Redhat 5.4 Oracle 10g RAC 添加节点

Oracle RAC 添加节点，操作也简单。 官网的操作说明如下：

http://www.oracle.com/technology/global/cn/pub/articles/vallath-nodes.html

假设已经有了2个节点的RAC，节点分别为rac1 和 rac2，其平台是raw + ASM + Oracle 10g +redhat 5.4 , 我们现在在这个集群上添加一个节点rac3. 步骤和2个节点的RAC 安装差不多。

2个节点的RAC 安装，参考：

Redhat 5.4 + ASM + RAW+ Oracle 10g RAC 安装文档

http://blog.csdn.net/tianlesoftware/archive/2010/09/09/5872593.aspx

Rac1 , rac2 和rac3 节点的信息规划如下：

服务器主机名	rac1	rac2	rac3
公共IP地址（eth0）	10.85.10.1	10.85.10.2	10.85.10.5
虚拟IP地址（eth0）	10.85.10.3	10.85.10.4	10.85.10.6
私有IP地址（eth1）	192.168.1.200	192.168.1.201	192.168.1.202
ORACLE RAC SID	rac1	rac2	Rac3
集群实例名称	Rac
OCR(oracle集群注册表)	/dev/raw/raw1 /dev/sdb1 200M /dev/raw/raw2 /dev/sdb2 200M
表决磁盘（voting disk）	/dev/raw/raw3 /dev/sdc1 200M /dev/raw/raw4 /dev/sdc2 200M /dev/raw/raw5 /dev/sdc3 200M
ASM	/dev/sdd1 10G VOL1 for Oracle Data /dev/sdd1 5G VOL2 for flash_recovery_area
数据库备份	/dev/sde1 10G （mkfs -t ext3 /dev/sde1）

一． 安装前准备及OS安装配置

同2个节点的类似，装好虚拟操作系统，配置好硬盘，网关，IP地址，建立用户等效性，建立用户并创建相关目录，修改linux 参数等。

1.1 安装好虚拟机，并在配置文件里添加如下信息：

ethernet1.present = "TRUE"

ethernet1.allowGuestConnectionControl = "FALSE"

ethernet1.features = "1"

ethernet1.wakeOnPcktRcv = "FALSE"

ethernet1.networkName = "Bridged"

ethernet1.addressType = "generated"

scsi1.present = "TRUE"

scsi1.virtualDev = "lsilogic"

scsi1.sharedBus = "virtual"

scsi1:1.present = "TRUE"

scsi1:1.mode = "independent-persistent"

scsi1:1.filename = "F:/VM/racshare/ocr.vmdk"

scsi1:1.deviceType = "disk"

scsi1:2.present = "TRUE"

scsi1:2.mode = "independent-persistent"

scsi1:2.filename = "F:/VM/racshare/votingdisk.vmdk"

scsi1:2.deviceType = "disk"

scsi1:3.present = "TRUE"

scsi1:3.mode = "independent-persistent"

scsi1:3.filename = "F:/VM/racshare/asm4data.vmdk"

scsi1:3.deviceType = "disk"

scsi1:4.present = "TRUE"

scsi1:4.mode = "independent-persistent"

scsi1:4.filename = "F:/VM/racshare/backup.vmdk"

scsi1:4.deviceType = "disk"

disk.locking = "false"

diskLib.dataCacheMaxSize = "0"

diskLib.dataCacheMaxReadAheadSize = "0"

diskLib.DataCacheMinReadAheadSize = "0"

diskLib.dataCachePageSize = "4096"

diskLib.maxUnsyncedWrites = "0"

1.2 配置raw3的2个网卡的固定IP，hostname, gateway， 也可以在安装系统时指定。

/etc/sysconfig/network-scripts/ifcfg-eth0

/etc/sysconfig/network-scripts/ifcfg-eth1

/etc/sysconfig/network

[root@rac3 network-scripts]# more /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=static

IPADDR=10.85.10.5

NETMASK=255.255.255.0

NETWORK=10.85.10.253

ONBOOT=yes

TYPE=Ethernet

[root@rac3 network-scripts]# more /etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1

BOOTPROTO=static

IPADDR=192.168.1.202

NETMASK=255.255.255.0

NETWORK=192.168.1.1

ONBOOT=yes

TYPE=Ethernet

--修改主机名

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=rac3

注：需要重启才能生效

修改完之后重启生效：

/etc/rc.d/init.d/network restart 重新启动

1.3 同步时间：

在rac3 上添加任务，每一分钟和rac1进行一次时间同步。

[root@rac3~]# crontab -l

*/1 * * * * rdate -s 10.85.10.1

rac 对节点间时间较敏感，如果不同步在安装clusterware 时后会报错，而且在安装vipca 的时候也会报错。 具体时间同步参考我的blog：

Linux 时间同步配置

http://blog.csdn.net/tianlesoftware/archive/2010/02/21/5315587.aspx

linux 下修改日期和时间

http://blog.csdn.net/tianlesoftware/archive/2009/11/13/4808096.aspx

1.4. 修改解析文件： /etc/hosts

每个节点都要设置成如下模式：

[root@rac3 network-scripts]# more /etc/hosts

# Do not remove the following line, or various programs

# that require network functionality will fail.

127.0.0.1 localhost

10.85.10.1 rac1

10.85.10.2 rac2

10.85.10.5 rac3

192.168.1.200 rac1-priv

192.168.1.201 rac2-priv

192.168.1.202 rac3-priv

10.85.10.3 rac1-vip

10.85.10.4 rac2-vip

10.85.10.6 rac3-vip

1.5 建立用户及用户等效性

-- 建立用户和相关组

[root@rac3 ~]# groupadd oinstall

[root@rac3 ~]# groupadd dba

[root@rac3 ~]# useradd -g oinstall -G dba oracle

[root@rac3 ~]# passwd oracle

-- 建立用户等效性

[root@rac3 /]# su - oracle

[oracle@rac3 ~]$ mkdir ~/.ssh

[oracle@rac3 ~]$ chmod 700 ~/.ssh

[oracle@rac3 ~]$ ssh-keygen -t rsa

[oracle@rac3 ~]$ ssh-keygen -t dsa

-- 将rac1上将authorized_keys 文件copy到raw3

[oracle@rac3 ~]$ scp rac1:~/.ssh/authorized_keys ~/.ssh/authorized_keys

-- 将rac3的id_rsa.pub 和id_dsa.pub 写入authorized_keys

[oracle@rac3 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[oracle@rac3 ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

-- 将rac3上最新的authorized_keys 文件copy到rac1 和rac2上

[oracle@rac3 ~]$ scp ~/.ssh/authorized_keys rac1:~/.ssh/authorized_keys

[oracle@rac3 ~]$ scp ~/.ssh/authorized_keys rac2:~/.ssh/authorized_keys

-- 在三个节点上用Oracle用户分别ssh 所有节点

[oracle@rac3 ~]$ ssh rac1 date

[oracle@rac3 ~]$ ssh rac1-priv date

[oracle@rac3 ~]$ ssh rac2 date

[oracle@rac3 ~]$ ssh rac2-priv date

[oracle@rac3 ~]$ ssh rac3 date

[oracle@rac3 ~]$ ssh rac3-priv date

1.6 创建目录结构

[root@rac3 ~]# mkdir -p /u01/app/oracle

[root@rac3 ~]# chown -R oracle:oinstall /u01

[root@rac3 ~]# chmod -R 777 /u01

1.7 修改linux 系统参数

[root@rac3 ~]# more /etc/sysctl.conf

net.ipv4.ip_forward = 0

net.ipv4.conf.default.rp_filter = 1

net.ipv4.conf.default.accept_source_route = 0

kernel.sysrq = 0

kernel.core_uses_pid = 1

net.core.rmem_default=262144

net.core.wmem_default=262144

net.core.rmem_max=262144

net.core.wmem_max=262144

kernel.shmall = 78643200

kernel.shmmax = 314572800

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

fs.file-max = 65536

net.ipv4.ip_local_port_range = 1024 65000

# sysctl -p 立刻生效

vi /etc/sysconfig/limits.conf

--使用HugePage 内存技术，添加下面2行

Oracle soft memlock 5242880

Oracle hard memlock 524280

--进程句柄数量

oracle soft nproc 2047

oracle hard nproc 16384

-- 文件句柄

oracle soft nofile 65536

oracle hard nofile 65536

将下面一行添加到/etc/pam.d/login文件中:

session required /lib/security/pam_limits.so

1.8 配置 hangcheck-timer 模块

--查看模块位置

[root@rac3 ~]# find /lib/modules -name "hangcheck-timer.ko"

/lib/modules/2.6.9-78.EL/kernel/drivers/char/hangcheck-timer.ko

/lib/modules/2.6.9-78.ELsmp/kernel/drivers/char/hangcheck-timer.ko

--配置系统启动时自动加载模块，在/etc/rc.d/rc.local 中添加如下内容

[root@rac3 ~]# modprobe hangcheck-timer

[root@rac3 ~]# more /etc/rc.d/rc.local

touch /var/lock/subsys/local

modprobe hangcheck-timer

-- 配置hangcheck-timer参数, 在/etc/modprobe.conf 中添加如下内容：

[root@rac3 ~]# more /etc/modprobe.conf

options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

--确认模块加载成功：

[root@rac3 ~]# grep Hangcheck /var/log/messages | tail -2

Sep 9 02:09:08 rac3 kernel: Hangcheck: starting hangcheck timer 0.9.0 (tick is 180 seconds, margin is 60 seconds).

Sep 9 02:09:08 rac3 kernel: Hangcheck: Using monotonic_clock().

1.9 配置raw 设备

因为是添加节点，所以这些设备都是已经分配好的，我们只需要把他们添加到参数中即可。操作系统是redhat 5.4，在raw 的配置和redhat 4有点区别。

1）修改/etc/udev/rules.d/60-raw.rules 文件

添加如下内容：

ACTION=="add", KERNEL=="sdb1",RUN+="/bin/raw /dev/raw/raw1 %N"

ACTION=="add", KERNEL=="sdb2",RUN+="/bin/raw /dev/raw/raw2 %N"

ACTION=="add", KERNEL=="sdc1",RUN+="/bin/raw /dev/raw/raw3 %N"

ACTION=="add", KERNEL=="sdc2",RUN+="/bin/raw /dev/raw/raw4 %N"

ACTION=="add", KERNEL=="sdc3",RUN+="/bin/raw /dev/raw/raw5 %N"

ACTION=="add",KERNEL=="raw[1-5]", OWNER="oracle", GROUP="oinstall", MODE="660"

2）重启服务：

[root@rac3 ~]# start_udev

Starting udev: [ OK ]

3） 查看raw设备：

[root@rac3 ~]# ls -lrt /dev/raw

total 0

crw-rw---- 1 oracle oinstall 162, 2 Sep 9 02:15 raw2

crw-rw---- 1 oracle oinstall 162, 1 Sep 9 02:15 raw1

crw-rw---- 1 oracle oinstall 162, 5 Sep 9 02:15 raw5

crw-rw---- 1 oracle oinstall 162, 4 Sep 9 02:15 raw4

crw-rw---- 1 oracle oinstall 162, 3 Sep 9 02:15 raw3

1.10 安装ASM包，配置ASM，并搜索ASM

--在rac3上安装 ASMLibs, tools, support 三个rpm文件

# rpm -ivh *.rpm --nodeps --force

-- 运行 /etc/init.d/oracleasm configure

回答 oracle , dba, y, y 就可以了

-- linux 挂在windows 共享的盘

1. 启动nfs服务: service nfs start

2. mount -o username=share,password=share //10.85.10.80/RAC /mnt

-- 查看ASM 磁盘

[root@rac3 asm]# /etc/init.d/oracleasm listdisks

VOL1

VOL2

1.11 用oracle 用户，修改ORACLE 参数文件 /home/oracle/.bash_profile, 添加以下内容：

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1

export ORA_CRS_HOME=$ORACLE_BASE/product/crs

export ORACLE_SID=rac3

export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin

export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin

export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin

export ORACLE_TERM=xterm

export TNS_ADMIN=$ORACLE_HOME/network/admin

export ORA_NLS10=$ORACLE_HOME/nls/data

export LD_LIBRARY_PATH=$ORACLE_HOME/lib

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib

export CLASSPATH=$ORACLE_HOME/JRE

export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib

export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib

export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib

export THREADS_FLAG=native

export TEMP=/tmp

export TMPDIR=/tmp

二． 安装Clusterware

Oracle 集群件已经安装在集群上；这里的任务是将新节点添加到集群配置中。要执行该任务，需要执行 Oracle 提供的名为 addnode 的实用程序，该工具位于 Clusterware 的主 oui/bin 目录中。Oracle 集群件有两个文件（Oracle 集群信息库 (OCR) 和 Oracle 集群同步服务 (CSS) 表决磁盘），它们包含有关该集群以及由 Oracle 集群件管理的应用程序的信息。这些文件需要使用关于新节点的信息进行更新。集群件安装过程的第一步是验证新节点是否准备好进行安装。

2.1 验证硬件和操作系统配置已经完成

[oracle@rac1 bin]$ pwd

/u01/app/oracle/product/crs/bin

[oracle@rac1 bin]$ ./cluvfy stage -post hwos -n rac1,rac3

2.2 在安装集群之前检查节点列表中的所有节点

[oracle@rac1 bin]$ ./cluvfy stage -pre crsinst -n rac1,rac3

这里会检查相关的包，如果有缺少的，到这个网站搜索，下载后打上即可：

http://rpm.pbone.net/

2.3 用Xmanager 连接到rac1，用Oracle用户运行$ORA_CRS_HOME/oui/bin/addNode.sh 命令。 运行命令之前先指定export DISPLAY=10.85.10.80:0.0

若在此处报错：

Exception java.lang.NullPointerException occurred..
java.lang.NullPointerException
at oracle.sysman.oii.oiic.OiicAddNodeSession.initialize(OiicAddNodeSession.java:564)
at oracle.sysman.oii.oiic.OiicAddNodeSession.<init>(OiicAddNodeSession.java:135)
at oracle.sysman.oii.oiic.OiicSessionWrapper.createNewSession(OiicSessionWrapper.java:860)
at oracle.sysman.oii.oiic.OiicSessionWrapper.<init>(OiicSessionWrapper.java:186)
at oracle.sysman.oii.oiic.OiicInstaller.init(OiicInstaller.java:481)
at oracle.sysman.oii.oiic.OiicInstaller.runInstaller(OiicInstaller.java:928)
at oracle.sysman.oii.oiic.OiicInstaller.main(OiicInstaller.java:866)

这个错误是由于/etc/oraInst.loc 的权限问题造成，切换root用户，给777权限即可：

[root@rac2 oraInventory]# ls -al /etc/oraInst.loc

-rwxr-x--- 1 root root 63 Aug 5 19:34 /etc/oraInst.loc

[root@rac2 oraInventory]# chmod 777 /etc/oraInst.loc

[root@rac2 oraInventory]# ls -alrt /etc/oraInst.loc

-rwxrwxrwx 1 root root 63 Aug 5 19:34 /etc/oraInst.loc

2.4 在界面上下一步，会提示输入新节点的名称。 填写完之后进入安装。

2.5 当需要的所有集群件组件从 orc1 复制到 orc3 之后，OUI 将提示用root用户在对应的节点上执行三个文件

/u01/app/oracle/oraInventory/orainstRoot.sh -- >rac3

/u01/app/oracle/product/crs/install/rootaddnode.sh àrac1

/u01/app/oracle/product/crs/root.sh à rac3

在执行root.sh 脚本的时候，最后会调用vipca命令。 提示如下：

Running vipca(silent) for configuring nodeapps

IP address "rac2-vip" has already been used. Enter an unused IP address.

产生错误“rac2-vip’ has already been used”，因为 VIP 已经在所有节点（而非 rac3）上进行了配置。我们手动执行 VIPCA（虚拟 IP 配置助手）即可。用Xmanager 工具连到新节点，在root用户下执行vipca。

[root@rac3 ~]# cd /u01/app/oracle/product/crs/bin/

[root@rac3 bin]# ./vipca

完成 Oracle 集群件安装后，将在其各自目录中创建下列文件。

集群件文件：

[root@rac3 /]# ls -ltr /etc/init.d/init.*

-r-xr-xr-x 1 root root 3190 Sep 9 03:52 /etc/init.d/init.evmd

-r-xr-xr-x 1 root root 35394 Sep 9 03:52 /etc/init.d/init.cssd

-r-xr-xr-x 1 root root 4714 Sep 9 03:52 /etc/init.d/init.crsd

-r-xr-xr-x 1 root root 1951 Sep 9 03:52 /etc/init.d/init.crs

使用以下条目更新了操作系统提供的 inittab 文件。

[root@rac3 /]# tail -5 /etc/inittab

# Run xdm in runlevel 5

x:5:respawn:/etc/X11/prefdm -nodaemon

h1:35:respawn:/etc/init.d/init.evmd run >/dev/null 2>&1 </dev/null

h2:35:respawn:/etc/init.d/init.cssd fatal >/dev/null 2>&1 </dev/null

h3:35:respawn:/etc/init.d/init.crsd run >/dev/null 2>&1 </dev/null

使用 olsnodes 命令验证集群件是否注册了所有节点

[oracle@rac3 bin]$ olsnodes

rac2

rac1

rac3

使用 crs_stat 命令验证是否启动了集群服务。

[oracle@rac3 bin]$ crs_stat -t

Name Type Target State Host

------------------------------------------------------------

ora.rac.db application ONLINE ONLINE rac1

ora....oltp.cs application ONLINE ONLINE rac2

ora....ac1.srv application ONLINE ONLINE rac2

ora....ac2.srv application ONLINE ONLINE rac1

ora....c1.inst application ONLINE ONLINE rac2

ora....c2.inst application ONLINE ONLINE rac1

ora....SM2.asm application ONLINE ONLINE rac1

ora....C1.lsnr application ONLINE ONLINE rac1

ora.rac1.gsd application ONLINE ONLINE rac1

ora.rac1.ons application ONLINE ONLINE rac1

ora.rac1.vip application ONLINE ONLINE rac1

ora....SM1.asm application ONLINE ONLINE rac2

ora....C2.lsnr application ONLINE ONLINE rac2

ora.rac2.gsd application ONLINE ONLINE rac2

ora.rac2.ons application ONLINE ONLINE rac2

ora.rac2.vip application ONLINE ONLINE rac2

ora.rac3.gsd application ONLINE ONLINE rac3

ora.rac3.ons application ONLINE ONLINE rac3

ora.rac3.vip application ONLINE ONLINE rac3

三． 安装Oracle 软件

Oracle 已经提供了一个新的称为 addNode.sh 的可执行文件，它位于 $ORACLE_HOME/oui/bin 目录。 用Oracle 用户执行该脚本。

我们用x manager 连接上rac1，在运行这个脚本。运行脚本之前不要忘记指定DISPLAY 变量

[oracle@rac1 bin]$ export DISPLAY=10.85.10.80:0.0

在安装窗口上选中要安装的节点，然后安装即可。

安装最后会提示执行如下脚本：

/u01/app/oracle/product/10.2.0/db_1/root.sh à rac3

执行后，确定，安装结束。

四． netca 创建监听

注：创建数据库过程应该遵循这个顺序： 先配置监听， 再配置ASM 实例， 最后创建数据库实例， 这样可以减少出错的概率。

1. oracle rac3上运行 netca

2 选择 Listener configuration, 只选择rac3 这个节点，创建监听

3.添加一个LISTEN, 1521 port ,然后结束配置 ，监听配置成功后， 添加结点上的Listener Application Resource 注册到CRS中， 这样CRS 就可以监控Listener 的运行状态。 我们可以通过 crs_stat -t -v 查看Listener 状态。

五． 创建ASM 实例

1. 用Xmanager 连上rac1 或者 rac2上， 运行DBCA 命令

2. 选择 configure Automatic Storage Management，

3. 选择rac1和rac3结点，这里rac1是必选的，作为父节点，然后向rac3进行extend。在rac3上安装asm实例。

4. 输入之前asm实例的密码。

5. 创建完成。

ASM 的相关信息参考blog：

Oracle ASM 详解

http://blog.csdn.net/tianlesoftware/archive/2010/02/21/5314541.aspx

六. 用DBCA添加新实例

在rac1上，用Oracle 用户连接Xmanager。 进入$ORACLE_HOME/bin目录，运行DBCA。记得指定DISPLAY 变量。

Oracle Real Application Cluster database à Instance Management à Add an Instance –> 下一步，选择实例名。

然后就是下一步， TAF Policy选择Basic。 这个服务在RAC 的Failover中会用到，如果在这里没有配置，也可以通过dbca命令， 选择 Services Management 来进行配置。

Oracle RAC Failover 详解

http://blog.csdn.net/tianlesoftware/archive/2010/03/03/5340788.aspx

然后开始创建数据库。

七． 验证添加的节点

[root@rac2 bin]# ./crs_stat -t

Name Type Target State Host

------------------------------------------------------------

ora.rac.db application ONLINE ONLINE rac1

ora....oltp.cs application ONLINE ONLINE rac1

ora....ac1.srv application ONLINE ONLINE rac2

ora....ac2.srv application ONLINE ONLINE rac1

ora....ac3.srv application ONLINE ONLINE rac3

ora....c1.inst application ONLINE ONLINE rac2

ora....c2.inst application ONLINE ONLINE rac1

ora....c3.inst application ONLINE ONLINE rac3

ora....SM2.asm application ONLINE ONLINE rac1

ora....C1.lsnr application ONLINE ONLINE rac1

ora.rac1.gsd application ONLINE ONLINE rac1

ora.rac1.ons application ONLINE ONLINE rac1

ora.rac1.vip application ONLINE ONLINE rac1

ora....SM1.asm application ONLINE ONLINE rac2

ora....C2.lsnr application ONLINE ONLINE rac2

ora.rac2.gsd application ONLINE ONLINE rac2

ora.rac2.ons application ONLINE ONLINE rac2

ora.rac2.vip application ONLINE ONLINE rac2

ora....SM3.asm application ONLINE ONLINE rac3

ora....C3.lsnr application ONLINE ONLINE rac3

ora.rac3.gsd application ONLINE ONLINE rac3

ora.rac3.ons application ONLINE ONLINE rac3

ora.rac3.vip application ONLINE ONLINE rac3

------------------------------------------------------------------------------

Blog： http://blog.csdn.net/tianlesoftware

网上资源： http://tianlesoftware.download.csdn.net

相关视频：http://blog.csdn.net/tianlesoftware/archive/2009/11/27/4886500.aspx

DBA1 群：62697716(满); DBA2 群：62697977(满)

DBA3 群：63306533; 聊天 群：40132017