Oracle_11g_R2_RAC集群系统在_Solaris10_x86_64_上的安装.doc

一、安装Solaris10操作系统，在两个RAC节点的主机上安装，并在安装完毕后作相关的系统设置 1安装Solaris10操作系统，安装的具体过程从略，只把要注意的几点一一指出 (1)主机名和IP地址的分配，在安装过程中要把2块网卡都选中，分别设置主机名和IP地址每台主机都有2块网卡，把第一块作为公网使用的网卡，把第二块作为私网使用的网卡，公网和私网的网段分开 注意：如果在安装过程中没有设置正确，可以在系统安装完毕后修改，在Solaris中修改方法如下： 改主机名：#setuname -n 新名称 (如 #setuname -n racnode1) 改网卡对应的主机名：找到 /etc/hostname.网卡名 文件 (如：/etc/hostname.iprb0 写为 racnode1；/etc/hostname.iprb1 写为 racnode1-priv) 改默认网关：先创建文件 #touch /etc/defaultrouter，之后在其中添加 改 /etc/netmasks 文件：在最后一行添加 网卡1 网卡2 公网节点名称 Public IP(公网) Public Gateway私网节点名称 Private IP(私网) Private Gateway RAC节点1 racnode1 51/24 racnode1-priv 51/24无 RAC节点2 racnode2 52/24 racnode2-priv 52/24无 (2)在选择安装类型一步，要选择“Custom Install”，如下截图 在选择Solaris系统安装包时，按下面截图所示选择，这样可以安装全部系统所需要的包，在安装完系统后就不用单独安装Oracle 11g R2 所需要的包了。 (3)在给文件系统分区时，要做修改，如下截图所示，点击“Modify”按钮做修改 注意：系统默认分配的swap交换空间太小了，要修改为10G(最少要保证2G)，否则在安装Database软件时到Link RMAN一步会报错。 如果在安装过程中没有修改swap空间的大小为2G以上，在系统安装完毕之后可以用添加文件的方式来增加swap空间，方法如下： 增加一个磁盘分区来扩展swap的空间，如 # swap -a /dev/dsk/c1t1d0s3，这里/dev/dsk/c1t1d0s3只是一个例子，是把分区设置在了slice3上，关于Solaris_x86_64磁盘分区的知识会在后面介绍。再修改 /etc/vfstab 文件，如 swap - /tmp tmpfs - yes size=2048M 2在安装完成后首先启用远程登陆 # vi /etc/ssh/sshd_config 在其中找到 PermitRootLogin no 一行，把no修改为yes，再执行以下命令来重启ssh服务 # svcadm restart ssh 做完此修改后，就可以在管理机上用XManager远程登录软件来操作两个RAC节点了。 3改用bash SHELL Solaris系统默认使用的是sh SHELL，使用起来不是很方便，我们可以把默认的SHELL改为bash # vi /etc/passwd 把第一行中的/sbin/sh 改为 /usr/bin/bash 重新登录系统后的操作符就会变为bash的提示符 -bash-3.00# 4切换图形界面和字符界面，在服务器上关闭图形界面可以节省资源，下面介绍几个相关的命令 在图形界面下-bash-3.00# /usr/dt/bin/dtconfig -d (禁用) -bash-3.00# /usr/dt/bin/dtconfig -e (启用) 在字符界面下启动图形界面 -bash-3.00# /usr/dt/bin/dtsession -bash-3.00# /usr/dt/bin/dtlogin 5禁用 ntp 和 sendmail 服务 Oracle 11g R2 中新添加了时间同步服务Cluster Time Synchronization Service(CTSS)，要想使用该功能，就必须先关闭ntp服务 -bash-3.00# svcadm disable ntp -bash-3.00# svcadm disable sendmail 6添加安装Oracle所必须的包 查看必须安装的包，使用命令 -bash-3.00# pkginfo -i 包名 -bash-3.00# pkginfo -i SUNWarc SUNWbtool SUNWhea SUNWlibC SUNWlibm SUNWlibms SUNWsprot SUNWtoo SUNWi1of SUNWi1cs SUNWi15cs SUNWxwfnt SUNWcsl 添加一个包，使用命令 -bash-3.00# pkgadd -d 路径 包名 (如：#pkgadd -d /cdrom/Product SUNWgcc) 执行以下命令添加包 -bash-3.00# pkgadd -d /cdrom/SOL_10_1009_X86/SOLARIS_10/PRODUCT SUNWarc 7设置udp参数 在Oracle的官方文档中的方法是把udp参数写在/etc/system中，该方法不对，要按以下方法操作 在 /etc/init.d/ 目录下创建upd_rac文件 -bash-3.00# touch /etc/init.d/udp_rac 在其中添加以下内容 #!/sbin/sh case $1 in start)ndd -set /dev/udp udp_xmit_hiwat 65536ndd -set /dev/udp udp_recv_hiwat 65536;state) ndd /dev/udp udp_xmit_hiwatndd /dev/udp udp_recv_hiwat;*) echo Usage: $0 start | state exit 1 ;Esac 最后建立一个软连接 -bash-3.00# ln -s /etc/init.d/udp_rac /etc/rc3.d/S86udp_rac 8改系统参数(重启系统修改后的参数才能生效) -bash-3.00# vi /etc/system 在其中添加以下内容 set noexec_user_stack=1 set semsys:seminfo_semmni=100 set semsys:seminfo_semmns=1024 set semsys:seminfo_semmsl=256 set semsys:seminfo_semvmx=23767 set shmsys:shminfo_shmmax=4294967295 set shmsys:shminfo_shmmin=1 set shmsys:shminfo_shmmni=100 set shmsys:shminfo_shmset=10 9改/etc/hosts 文件，来配置Public Network 和 Private Network 我们在这里只写上两个RAC节点的公网和私网地址就可以了，VIP和共享存储的IP地址不用写，本次安装要使用11g R2 的最新功能，在安装Grid组件是选择配置Grid Naming Service(GNS)服务，RAC节点的VIP靠DHCP服务自动获取。 RAC节点1 RAC节点2 # # Internet host table # localhost #Public network 51 racnode1 loghost 52 racnode2 #Private network 51 racnode1-priv 52 racnode2-priv # # Internet host table # localhost #Public network 51 racnode1 52 racnode2 loghost #Private network 51 racnode1-priv 52 racnode2-priv 两个RAC节点的hosts文件内容如下 注意：如果要使用GNS服务，这里一定不要写SCAN VIP地址(如：10 racnode-cluster-scan)，否则在安装完Grid做集群配置时，配置Listener时会报错(在/etc/hosts文件中写SCAN VIP和配置GNS服务，连个操作不能同时作)。如果把SCAN地址写在hosts文件中只能有一个地址，通过DNS服务可以设置3个SCAN VIP地址。 10在Solaris10系统上启用DNS客户端功能，使RAC节点支持Grid Naming Service(GNS)功能 (1) 创建并修改 /etc/resolv.conf 文件-bash-3.00# touch /etc/resolv.conf -bash-3.00# vi /etc/resolv.conf 在其中添加以下内容 domain nameserver 30 (其中第一行“domain ”在Solaris系统中必须写，在Linux系统中是不必写的) (2) 修改 /etc/nsswitch.conf 文件找到hosts和networks两行，在后面加dns，改之后为 hosts: files dns networks: files dns 说明：作以上两点修改，就是在Solaris系统上启用DNS客户端功能，为支持11g R2中提供的新功能(GNS, SCAN等)，在RAC节点上必须启用DNS客户端功能，我把DNS服务器配置在一台Windows2003的主机上(IP: 30)，即作管理的那台笔记本电脑，这部分只介绍Solaris系统的设置，DNS服务器的设置在后面单独说明。11双机时间同步 把节点2的时间与节点1同步，下面两个操作在两个RAC节点都执行 显示以下内容 (都处于不可用状态) disabled 8:54:40 svc:/network/daytime:dgram disabled 8:54:40 svc:/network/daytime:stream disabled 8:54:40 svc:/network/time:dgram disabled 8:54:40 svc:/network/time:stream 把后面2个改为可用 -bash-3.00# svcadm enable time:stream -bash-3.00# svcadm enable time:dgram (以上内容两个RAC节点都执行) 在节点2上执行以下命令，与节点1的时间同步 -bash-3.00# rdate racnode1 12Solaris系统关机及重启 使用命令关闭Solaris系统的方法是 (root用户) -bash-3.00# shutdown -i 5 -bash-3.00# poweroff 重启动 -bash-3.00# shutdown -i 6 /.ssh/authorized_keys -bash-3.00$ ssh racnode2 cat /.ssh/id_rsa.pub /.ssh/authorized_keys -bash-3.00$ scp /.ssh/authorized_keys racnode2:.ssh/authorized_keys 以下两个RAC节点都执行 -bash-3.00$ chmod 600 /.ssh/authorized_keys 当用户等效性建立完毕后，在两个RAC节点都执行下面的命令，来验证等效性是否正确 -bash-3.00$ ssh racnode1 date;hostname Wed Feb 24 20:00:01 CST 2010 racnode1 -bash-3.00$ ssh racnode2 date;hostname Wed Feb 24 20:00:07 CST 2010 racnode2 在节点2上执行时，第一次根据提示输入yes后显示时间和主机名，注意如果第二次执行以上命令还有其它提示出现，如要求密码等，代表用户等效性设置没有正确。 (安装Grid组件前的检测)到这里，安装Grid组件的前置设置都完成了，在安装Grid之前先做一个检测，查看一下是否有配置不正确的地方，以便在安装前修改正确。先把安装介质下载到RAC节点1的/export/home/OraFile目录下，一共3个压缩文件：solaris.x64_11gR2_grid.zip、solaris.x64_11gR2_database_1of2.zip、solaris.x64_11gR2_database_2of2.zip (使用ftp的方法比较慢，我是在管理机上建立了IIS服务器，设置虚路径，把3个安装文件包括进来，再由RAC节点1下载。) 1解压安装介质，并授权/export/home/OraFile文件夹 -bash-3.00# cd /export/home/OraFile -bash-3.00# unzip solaris.x64_11gR2_grid.zip -bash-3.00# unzip solaris.x64_11gR2_database_1of2.zip -bash-3.00# unzip solaris.x64_11gR2_database_2of2.zip-bash-3.00# chown -R oracle:oinstall /export/home/OraFile -bash-3.00# chmod -R 775 /export/home/OraFile 2切换用户为grid，并执行检测命令 -bash-3.00# su - grid Sun Microsystems Inc. SunOS 5.10 Generic January 2005 -bash-3.00$ cd /export/home/OraFile/grid/ -bash-3.00$ ls doc response rpm runInstaller stage install rootpre.sh runcluvfy.sh sshsetup welcome.html 执行检测命令runcluvfy.sh -bash-3.00$ ./runcluvfy.sh stage -pre crsinst -n racnode1,racnode2 -fixup -verbose Performing pre-checks for cluster services setup Checking node reachability. (只显示检测失败的内容) Check: Soft limits for maximum open file descriptors Node Name Type Available Required Comment - - - - - racnode2 soft 256 1024 failed racnode1 soft 65536 1024 passed Result: Soft limits check failed for maximum open file descriptors Check: Hard limits for maximum user processes Node Name Type Available Required Comment - - - - - racnode2 hard 16373 16384 failed racnode1 hard 16373 16384 failed Result: Hard limits check failed for maximum user processes Pre-check for cluster services setup was unsuccessful on all the nodes. 可以看到只有两项失败 Check: Soft limits for maximum open file descriptors Check: Hard limits for maximum user processes 这两项不影响安装。 八、安装Grid网格组件（代替了以前的Clusterware）在完成了全部前置安装任务后，开始安装Grid组件。首先执行安装，安装完毕后再作一些对Clusterware的验证操作。1 安装Grid组件 在管理主机上用XManager3.0登录RAC节点1，XManager可以显示图形界面，Oracle的安装界面是图形的，所以使用该远程登陆工具来执行安装。-bash-3.00# export DISPLAY=30:0.0 -bash-3.00# /usr/openwin/bin/xhost + access control disabled, clients can connect from any host -bash-3.00# su - grid Sun Microsystems Inc. SunOS 5.10 Generic January 2005 (启用用户等效性，如果设置密钥时密码为空，就不用执行这两个命令了) -bash-3.00$ exec /usr/bin/ssh-agent $SHELL -bash-3.00$ /usr/bin/ssh-add (启用图形功能) -bash-3.00$ export DISPLAY=30:0.0 -bash-3.00$ /usr/openwin/bin/xhost + 30 30 being added to access control list -bash-3.00$ pwd /export/home/grid -bash-3.00$ cd . -bash-3.00$ cd OraFile/grid/ -bash-3.00$ ls doc response rpm runInstaller stage install rootpre.sh runcluvfy.sh sshsetup welcome.html -bash-3.00$ ./runInstaller Starting Oracle Universal Installer. Checking Temp space: must be greater than 180 MB. Actual 11184 MB Passed Checking swap space: must be greater than 150 MB. Actual 11475 MB Passed Checking monitor: must be configured to display at least 256 colors. Actual 16777216 Passed Preparing to launch Oracle Universal Installer from /tmp/OraInstall2010-02-24_09-53-57PM. Please wait .-bash-3.00$ You can find the log of this install session at: /u01/app/oraInventory/logs/installActions2010-02-24_09-53-57PM.log 显示出安装界面，开始安装 Grid安装过程步骤 安装说明1安装选项 按默认设置，选择为集群安装Grid组件 17Grid组件的集群配置配置脚本执行成功后，安装程序要针对集群进行一些配置 (注意：我们在前面安装中选择了配置GNS服务，并配置了DNS和DHCP服务器，而且在两个RAC节点上启用了DNS客户端功能。如果在这一步netca失败，请检查RAC节点上的/etc/hosts文件，是否有VIP或SCAN地址，如果有要删除掉，否则配置网络监听时会报错。)18Grid安装完成本次安装完全成功，配置全部正确，点击“Close”按钮关闭安装界面。2安装后对Clusterware集群件的校验(1) 查看集群启动了那些服务，以grid用户执行crs_stat -t -v命令 -bash-3.00# su - grid -bash-3.00$ crs_stat -t -v Name Type R/RA F/FT Target State Host - ora.CRS.dg ora.up.type 0/5 0/ ONLINE ONLINE racnode1 ora.ER.lsnr ora.er.type 0/5 0/ ONLINE ONLINE racnode1 ora.N1.lsnr ora.er.type 0/5 0/0 ONLINE ONLINE racnode2 ora.N2.lsnr ora.er.type 0/5 0/0 ONLINE ONLINE racnode1 ora.N3.lsnr ora.er.type 0/5 0/0 ONLINE ONLINE racnode1 ora.asm ora.asm.type 0/5 0/ ONLINE ONLINE racnode1 ora.eons ora.eons.type 0/3 0/ ONLINE ONLINE racnode1ora.gns ora.gns.type 0/5 0/0 ONLINE ONLINE racnode1ora.gns.vip ora.ip.type 0/0 0/0 ONLINE ONLINE work ora.rk.type 0/5 0/ ONLINE ONLINE racnode1ora.oc4j ora.oc4j.type 0/5 0/0 OFFLINE OFFLINE ora.ons ora.ons.type 0/3 0/ ONLINE ONLINE racnode1 ora.SM1.asm application 0/5 0/0 ONLINE ONLINE racnode1 ora.E1.lsnr application 0/5 0/0 ONLINE ONLINE racnode1 ora.de1.gsd application 0/5 0/0 OFFLINE OFFLINE ora.de1.ons application 0/3 0/0 ONLINE ONLINE racnode1 ora.de1.vip ora.t1.type 0/0 0/0 ONLINE ONLINE racnode1 ora.SM2.asm application 0/5 0/0 ONLINE ONLINE racnode2 ora.E2.lsnr application 0/5 0/0 ONLINE ONLINE racnode2 ora.de2.gsd application 0/5 0/0 OFFLINE OFFLINE ora.de2.ons application 0/3 0/0 ONLINE ONLINE racnode2 ora.de2.vip ora.t1.type 0/0 0/0 ONLINE ONLINE racnode2 ora.scan1.vip ora.ip.type 0/0 0/0 ONLINE ONLINE racnode2 ora.scan2.vip ora.ip.type 0/0 0/0 ONLINE ONLINE racnode1 ora.scan3.vip ora.ip.type 0/0 0/0 ONLINE ONLINE racnode1 -bash-3.00$ 可以看到，在11g Release2中增加了很多服务，比前的版本复杂了不少。(2) 检验SCAN的配置，使用命令cluvfy comp scan -verbose输出详细信息 -bash-3.00$ cluvfy comp scan -verbose Verifying scan Checking Single Client Access Name (SCAN). SCAN VIP name Node Running? ListenerName Port Running? - - - - - - racnode2 true LISTENER 1521 true Checking name resolution setup for . SCAN Name IP Address Status Comment - - - - 01 passed 02 passed ra