Oracle RAC 10g安装指导手册(vmware环境)

1、第二阶段 节点、IP、共享文件等规划：将两个服务器节点的Hostname命名为：rac1 ：192.168.54.3 192.168.15.3 （主结点） rac2 ：192.168.54.4 192.168.15.4Oracle 数据库文件RAC 节点名实例名数据库名称$ORACLE_BASE用于存储 DB 文件的文件系统/卷管理器tcs-rac1tcsdb1tcsdb/rac/app/oracleASMtcs-rac2tcsdb2tcsdb/rac/app/oracleASMOracle 集群件共享文件文件类型（Location）挂载点文件系统Oracle 集群注册表（Cluster Re

2、gistry）/dev/sdb/rac/crsOCFS2CRS 表决磁盘（Voting Disk）/dev/sdc/rac/VoteOCFS2Oracle RAC 节点 1 (rac1)设备IP 地址子网掩码默认网关目的eth0192.168.15.3255.255.255.0priv-ipeth1192.168.54.3255.255.255.0192.168.54.254公网/etc/hosts127.0.0.1 localhost localhost.localdomain localhost#:1 localhost6.localdomain6 localhost6注释掉此句#publ

3、ic-eth1192.168.54.3 tcs-rac1192.168.54.4 tcs-rac2#private-eth0192.168.15.3 tcs-rac1-priv192.168.15.4 tcs-rac2-priv#vip-eth1:110.10.54.3 tcs-rac1-vip10.10.54.4 tcs-rac2-vipOracle RAC 节点 2 (rac1)设备IP 地址子网掩码默认网关目的eth0192.168.15.4255.255.255.0priv-ipeth1192.168.54.4255.255.255.0192.168.54.254公网/etc/host

4、s127.0.0.1 localhost localhost.localdomain localhost#:1 localhost6.localdomain6 localhost6注释掉此句#public-eth1192.168.54.3 tcs-rac1192.168.54.4 tcs-rac2#private-eth0192.168.15.3 tcs-rac1-priv192.168.15.4 tcs-rac2-priv#vip-eth1:110.10.54.3 tcs-rac1-vip10.10.54.4 tcs-rac2-vip第三阶段 针对oracle linux 5.2配置环境：

5、更改服务状态关闭无用服务以 root 用户身份运行以下命令（在两个节点）：创建（编辑）syschk.sh 文件rootrac5 # vi syschk.sh chkconfig auditd off service auditd stop chkconfig bluetooth offservice bluetooth stopchkconfig cups offservice cups stopchkconfig hidd offservice hidd stopchkconfig hplip offservice hplip stopchkconfig ip6tables offservi

6、ce ip6tables stopchkconfig isdn offservice isdn stopchkconfig mcstrans offservice mcstrans stopchkconfig mdmonitor offservice mdmonitor stopchkconfig pcscd offservice pcscd stopchkconfig restorecond offservice restorecond stopchkconfig rhnsd offservice rhnsd stopchkconfig rpcgssd offservice rpcgssd

7、stopchkconfig rpcidmapd offservice rpcidmapd stopchkconfig setroubleshoot offservice setroubleshoot stopchkconfig yum-updatesd offservice yum-updatesd stopchkconfig sendmail offservice sendmail stopchkconfig iptables offservice iptables stoprootrac5 # chmod 755 syschk.sh rootrac5 #./syschk.sh 5.时间同步

8、：主节点restrict default kod nomodify nopeer noquery删除原有的notraprestrict 192.168.15.4 mask 255.255.255.0 nomodify notrap新增一行restrict -6 default kod nomodify notrap nopeer noqueryservice ntpd startwatch ntpq -p从节点ntpdate 192.168.15.3crontab -e0 21 * * * ntpdate 192.168.15.3 /root/ntpdate.log 2&6.修改内核参数：以

9、root 用户身份运行以下命令（在两个节点）：验证该Linux系统是否满足Oracle 10g的最低要求；所需最小 RAM 为 512MB，而所需最小交换空间为 1GB。对于 RAM 小于或等于 2GB 的系统，交换空间应为 RAM 数量的两倍；对于 RAM 大于 2GB 的系统，交换空间应为 RAM 数量的一到两倍。 Oracle 10g 软件还需要 2.5GB 的可用磁盘空间，而数据库则另需 1.2GB 的可用磁盘空间。/tmp 目录至少需要 400MB 的可用空间。要查看可用 RAM 和交换空间大小，运行以下命令：grep MemTotal /proc/meminfoMemTotal:

10、kBkernel.shmall- 1024/2:grep SwapTotal /proc/meminfo SwapTotal: kB1）vi /etc/sysctl.confkernel.shmall = kernel.shmmax = kernel.shmmni = 4096kernel.sem = 250 32000 100 128fs.file-max = 65536net.ipv4.ip_local_port_range = 1024 65000net.core.rmem_default = net.core.rmem_max = net.core.wmem_default = net

11、.core.wmem_max = stack=-1 /* 该行在安装完CRS后删除(经过证明可以不用删除)sysctl p /使内核改变立即生效，查看内核参数信息如下：7. 设置hangcheck-timer设定定时触发判断：以 root 用户身份运行以下命令（在两个节点）：echo modprobe hangcheck-timer hangcheck_tick=30 hangcheck_margin=180 /etc/rc.local8.添加oracle用户以 root 用户身份运行以下命令（在两个节点）：groupadd oinstallgroupadd dbauseradd -m -g

12、oinstall -G dba oracleid oraclepasswd oracle 9. 设置Oracle的shell限制：以 root 用户身份运行以下命令（在两个节点）：vi /etc/security/limits.conf增加下面内容oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 6553610. 网络设置公网私网VIP修改hosts文件：以 root 用户身份运行以下命令（在两个节点）： vi /etc/hosts# Do not remove the

13、following line, or various programs# that require network functionality will fail.127.0.0.1 localhost.localdomain localhost此处不能与下方一致！#:1 localhost6.localdomain6 localhost6#public-eth1192.168.54.3 tcs-rac1192.168.54.4 tcs-rac2#private-eth0192.168.15.3 tcs-rac1-priv192.168.15.4 tcs-rac2-priv#vip-eth1:

14、110.10.54.3 tcs-rac1-vip10.10.54.4 tcs-rac2-vip# Do not remove the following line, or various programs# that require network functionality will fail.127.0.0.1 localhost.localdomain localhost#:1 localhost6.localdomain6 localhost6#public-eth1192.168.54.3 tcs-rac1192.168.54.4 tcs-rac2#private-eth0192.1

15、68.15.3 tcs-rac1-priv192.168.15.4 tcs-rac2-priv#vip-eth1:110.10.54.3 tcs-rac1-vip10.10.54.4 tcs-rac2-vip11. 分别为 rac1、rac2来建立.ssh文件夹目录检查文件夹属性权限？以 Oracle用户身份运行以下命令（在两个节点）：Oracle用户su - oraclessh tcs-rac1cd .ssh12. 生成公钥.SSH等效性：以 Oracle用户身份运行以下命令（在两个节点）：Oracle用户一句一句执行将提示您输入一个用于保存密钥的位置。当提示时只需按 Enter 接受默认值

16、。本例中此处一直按回车选择默认（在一个节点执行完操作后，再到另一个节点执行）在 rac1 上执行ssh-keygen -t rsassh-keygen -t dsa在 rac2 上执行ssh-keygen -t rsassh-keygen -t dsa在 rac1 上执行cat /.ssh/id_rsa.pub /.ssh/authorized_keyscat /.ssh/id_dsa.pub /.ssh/authorized_keysssh tcs-rac2 cat /.ssh/id_rsa.pub /.ssh/authorized_keysssh tcs-rac2 cat /.ssh/id

17、_dsa.pub /.ssh/authorized_keysscp /.ssh/authorized_keys tcs-rac2:/.ssh/authorized_keys在 rac1 上执行ssh tcs-rac1 datessh tcs-rac2 datessh tcs-rac1-priv datessh tcs-rac2-priv date在 rac2 上执行ssh tcs-rac1 datessh tcs-rac2 datessh tcs-rac1-priv datessh tcs-rac2-priv date对于两个节点rac1和rac2必须分别设置等效性ssh 各个服务器所用名字（

18、除VIP名字） 使用SSH登录其他节点不用输入密码为SSH等效性设置成功注意顺序！成功标志：使用oracle用户，执行ssh rac1命令 不会再提示输入密码.第四阶段 Oracle RAC 10g 相关软件安装14. OCFS2集群文件系统准备（两个节点分别操作）mkdir /rac/app/oracle -pchown oracle:oinstall /rac/ -Rvi .bashrcroot用户身份在fi后面添加下面的内容：export ORACLE_BASE=/rac/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/10.2.0/d

19、b_1export ORA_CRS_HOME=/rac/app/oracle/product/10.2.0/crs_1export ORACLE_TERM=xtermexport ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/dataexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:lib64:/usr/lib:/usr/local/libPATH=$PATH:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:/sbinexport PATHsource .bash_profil

20、e以 Oracle用户身份运行以下命令（在两个节点）：su - oraclevi .bashrcracb2.50.2oracle用户身份在fi后面添加下面的内容：export ORACLE_BASE=/rac/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1export ORA_CRS_HOME=/rac/app/oracle/product/10.2.0/crs_1export ORACLE_TERM=xtermexport ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/dataex

21、port LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:lib64:/usr/lib:/usr/local/libPATH=$PATH:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:/sbinexport PATHsource .bash_profile /增加一句话到/etc/pam.d/login文件末尾echo session required /lib/security/pam_limits.so /etc/pam.d/loginroot 身份执行vi /etc/profile将下面的内容添加到/etc/prof

22、ile文件中（一般放在unset之前，实际上放在最末尾也行）if $USER = oracle ; thenif $SHELL = /bin/ksh ; thenulimit -p 16384ulimit -n 65536elseulimit -u 16384 -n 65536fifi15. OCFS2集群文件系统安装cd /root/oel52/OracleLinux/Server /cd 安装文件目录ll | grep ocfs2 /找到ocfs2的相关安装包rpm -ivh ocfs2-2.6.18-92.el5-1.2.8-2.el5.x86_64.rpm ocfs2console-1

23、.2.7-1.el5.x86_64.rpm rpm -ivh ocfs2-tools-1.2.7-1.el5.x86_64.rpm ocfs2-tools-devel-1.2.7-1.el5.x86_64.rpmchkconfig o2cb onchkconfig ocfs2 onroot身份执行fdisk /dev/sdb创建分区sdb1 选项输入 np1w以 root用户身份运行以下命令（在图形界面模式执行以下）【主节点上rac1上执行，机房图形界面】/etc/init.d/o2cb start/etc/init.d/o2cb enable启动该项服务，否则add节点时会报错， o2ct#

24、 ocfs2console &（1） 单击选择【Cluster】-【Configure Nodes】 这将启动 OCFS2 集群堆栈并显示【Node Configuration】对话框。（2） 在【Node Configuration】对话框上，单击 【Add】 按钮。 这将显示【Add Node】对话框。 （3） 在【Add Node】对话框中，输入集群中第一个节点的 Host name 和 IP address此处的IP为Private Network Interconnect IP- (eth1) /Cluster Network。将 IP Port 设置为默认值 7777。在本例中添加

25、了两个节点，即用tcs-rac1 / 192.168.15.3 表示第一个节点（主节点），并用tcs-rac2 / 192.168.15.4 表示第二个节点。（4） 单击【Node Configuration】对话框上的 【Apply】 所有节点现在将处于【Active】状态。确认所有值均正确后，单击【Node Configuration】对话框上的 Close。 如果报错，需要删除/etc/ocfs2/cluster.conf文件（5） 再单击【Cluster】选择【Propogate Configuration】（将配置信息发送到节点rac2上）此操作使集群中的所有节点上配置文件完全相同，

26、其他节点不用再进行以上操作。会弹出 【Propagating Cluster Configuration】对话框，按提示要求输入正确的【Password】即可。确认所有值均正确后，使用 File - Quit 退出应用程序。（6） 退出 ocfs2console 后，用cat /etc/ocfs2/cluster.conf查看，将获得一个类似如下内容所示的 /etc/ocfs2/cluster.conf。并且所有节点的 OCFS2 配置文件必须完全相同：node: ip_port = 7777 ip_address = 192.168.15.3 number = 0 name = tcs-ra

27、c1机器名， 应与/etc/sysconfig/network 中一致 cluster = ocfs2node: ip_port = 7777 ip_address = 192.168.15.4 number = 1 name = tcs-rac2 cluster = ocfs2cluster: node_count = 2 name = ocfs2启动 o2cb 服务注意：一定要完成一个节点的操作之后再到另一个节点的进行操作/etc/init.d/o2cb unload/etc/init.d/o2cb configure/etc/init.d/o2cb start/etc/init.d/o2

28、cb enableocfs2格式化磁盘分区只在主节点rac5上执行下面的操作重建rac， 需要重新mkfs /crs /votemkfs.ocfs2 -b 4K -C 32K -N 2 -L ocfs2 /dev/sdb1mkfs.ocfs2 -b 4K -C 32K -N 2 -L ocfs2 /dev/sdc1创建rac、vote目录，并挂载磁盘卷在两个节点rac1、rac2上分别执行（不要同步，要分开依次执行）两个节点都能够正常挂载mkdir /rac/crs -pmkdir /rac/vote pmkdir /rac/app -pmount -t ocfs2 -o datavolume

29、 /dev/sdb1 /rac/votemount -t ocfs2 -o datavolume /dev/sdc1 /rac/crs开机自动挂载磁盘卷vi /etc/fstab /dev/sdc1 /rac/crs ocfs2 _netdev,datavolume,nointr 0 0/dev/sdb1 /rac/vote ocfs2 _netdev,datavolume,nointr 0 0检查heartbeat的状态，两个节点的心跳都是active/etc/init.d/o2cb status16. ASM集群文件系统安装（1）安装oracleasmlib程序包。两个节点都需要安装,一个

30、完了在一个。否则会报Initializing the Oracle ASMLib driver:rpm ivh oracleasm-2.6.18-164.el5-2.0.5-1.el5.x86_64.rpmrpm ivh oracleasmlib-2.0.4-1.el5.x86_64.rpmrpm ivh oracleasm-support-2.1.4-1.el5.x86_64.rpmcd /etc/init.d/./oracleasm configure提示问题需要输入如下信息：-oracle-dba-y-y./oracleasm enableroot用户身份，两个节点执行创建 ASM 磁盘

31、fdisk /dev/sddroot身份，主节点执行创建asm磁盘分区/etc/init.d/oracleasm createdisk VOL1 /dev/sdd1/etc/init.d/oracleasm createdisk VOL2 /dev/sdd2/etc/init.d/oracleasm deletedisk VOL1 /etc/init.d/oracleasm deletedisk VOL2 /etc/init.d/oracleasm listdisks/etc/init.d/oracleasm scandisks17. oracle安装目录授权chown oracle:oins

32、tall /rac/* -Rroot用户身份运行以下命令（在两个节点）18. 安装Oracle Clusterware (CRS)主节点 以 oracle用户登录，不是 su ！解压 cpio -idmv clusterware.cpio这个地方系统默认只显示一个节点，另一个节点需要我们手工添加进来： （7）手工屏蔽掉不需要的网卡，将192.168.54.0设置为public方式。点击【Next】：（8）导入OCR所对应OCFS2路径，点击【Next】： /rac/crs/crs一定要/rac/crs/crs ， 不能只写到/rac/crs （9）导入【vote】所对应OCFS2路径，点击【N

33、ext】： /rac/vote/vote一定要/rac/vote/vote ， 不能只写到/rac/vote 修改一些文件，避免出现下面几个错误错误一/rac/app/oracle/product/10.2.0/crs_1/jdk/jre/bin/java: error while loading shared libraries: libpthread.so.0: cannot open shared object file: No such file or directory=root身份，在两个节点，修改vipca文件 和 srvctl文件vi /rac/app/oracle/produ

34、ct/10.2.0/crs_1/bin/vipca找到如下内容： Remove this workaround when the bug is fixed arch=uname -m if $arch = i686 -o $arch = ia64 then LD_ASSUME_KERNEL=2.4.19 export LD_ASSUME_KERNEL fi #End workaround在fi后新添加一行：注意不是文件最后可搜索 /LD_ASSunset LD_ASSUME_KERNELvi /rac/app/oracle/product/10.2.0/crs_1/bin/srvctl找到如下

35、内容：LD_ASSUME_KERNEL=2.4.19export LD_ASSUME_KERNEL同样在其后新增加一行：unset LD_ASSUME_KERNEL错误二Error 0(Native: listNetInterfaces:3)Error 0(Native: listNetInterfaces:3)=主节点root身份执行cd /rac/app/oracle/product/10.2.0/crs_1/bin./oifcfg setif -global eth1/192.168.54.0:public./oifcfg setif -global eth0/192.168.15.0:

36、cluster_interconnect./oifcfg getif/rac/app/oracle/product/10.2.0/crs_1/bin/vipca配置vipca，有的节点以root身份执行报错， Exception in thread main ，尝试用另外节点执行 1、启动如下“Welcome”界面，点击【Next】：2、系统自动找到public的eth0，点击【Select All】确认，点击【Next】： 3、在空白处填写各节点对应的vip名称以及IP地址（其实只要填写RAC1的vip名称，再点其他空白处，就自动获取出来了），点击【Next】：【添入VIP的别名，会自动识别

37、和加入】如果 /etc/crs status 里面只有一个节点 online，可能需要在另外一个节点， 执行vipca 4、下面开始安装： 安装完成后就可以点击【ok】退出了。（12）上面的附加操作执行完之后，需要做的就是返回到RAC1节点完成clusterware的安装，执行剩下的步骤，返回 “Execute Configuration Scripts”对话框，1、 先在rac2上执行2个脚本2、 再在rac1上执行2个脚本，执行root.sh时，会提示Running vipca(silent) for configuring nodeapps3、主节点root身份执行cd /rac/app

38、/oracle/product/10.2.0/crs_1/bin./oifcfg setif -global eth1/192.168.54.0:public./oifcfg setif -global eth0/192.168.15.0:cluster_interconnect4、 在rac1上，手工配置vipca/rac/app/oracle/product/10.2.0/crs_1/bin/vipca5、 2各节点都需要 修改 配置文件，否则vipca会出错6、 最后返回rac1，点击确定7、 安装程序完成最后3个检测，都应该是 success 卸载crs驱动命令/rac/app/ora

39、cle/product/10.2.0/crs_1/install/rootdelete.sh/rac/app/oracle/product/10.2.0/crs_1/install/rootconfig（15）安装完clusterware之后，为的就是能在各自节点上看到CRS进程，如果这个检测没问题，那才表示clusterware软件彻底安装成功：cd /rac/app/oracle/product/10.2.0/crs_1/bin./crs_stat t重启机器，出现错误CRS-0184: Cannot communicate with the CRS daemon.手工启动crs服务/ra

40、c/app/oracle/product/10.2.0/crs_1/bin/crsctl start crs/etc/init.d/init.crs enable crs服务开机自动启动root 环境变量配置不对，导致crs服务不能正常启动/rac/app/oracle/product/10.2.0/crs_1/bin/crs_stat t/rac/app/oracle/product/10.2.0/crs_1/bin （16）ifconfig 能够看到 eth1:1 的vip地址10.10.54.4， 实际并不存在ifcfg-eth1:1文件19.安装Oracle RAC 10g的DataB

41、ase 数据库软件与单机版类似，但需注意20.配置节点监听器数据库软件安装完成之后，接下来要做的是给两个节点配置listener，也就是监听器。监听在ORACLE RAC中的地位非常重要，如果监听没有配置好，后期使用RAC方式建立实例就会出问题，下面在主节点RAC1节点上以oracle身份登陆，运行netca，打开网络配置，来完成监听过程的全过程。 （1）以oracle身份运行netca，打开网络配置界面，选择cluster配置方式，点击【Next】： （2）点击【Select all nodes】选中两个节点，点击【Next】：（3）选择【Lister Configuration】模式，点击

42、【Next】：（4）选择【Add】，点击【Next】：（5）给监听器命名，可以使用系统默认的“LISTENER”，然后点击【Next】： （6）选择可使用的协议，这里选择TCP协议，点击【Next】： （7）默认使用1521端口，点击【Next】： （8）系统提示是否还要配置其他监听器，选择【No】，点击【Next】：（9）监听器配置完毕，点击【Next】退出：（10）在终端窗口可以看到监听的配置情况：（11）在/opt/ora10g/product/10.2.0/crs_1/bin下运行命令crs_stat -t，可以看到刚配置好的两个监听进程已经启动：到这里，监听部分的配置过程结束，接下来是要进行ORACLE RAC环节中的最后一步，也就是实例的创建过程。第五阶段 Oracle RAC数据库创建：（2）以RAC方式创建数据库选择“Oracle Real Appli