RAC 添加节点.docx

1、如果是两个节点的RAC：node1和node2，node2操作系统宕机，重装操作系统之后再把node2添加进去。则在node1现在是一个单节点的RAC，一定要在node1上把node2的信息删除干净，再添加node2。先dbca删除实例./runInstaller -updateNodeList1、准备工作：node2先安装下cvuqdisk包，这个包在GI安装文件中有。 /home/grid/grid/rpm # rpm -ivh cvuqdisk-1.0.9-1.rpm检查硬件和软件信息、补丁包是否安装、网络、存储是否配置合理：检查node2是否满足rac安装条件（在node1节点下面用grid用户执行） rootnode1 # su - grid 原来节点检查 gridnode1 $ cluvfy stage -post hwos -n sgdb1 -verbose 确定节点信息 gridnode1 $ cluvfy stage -pre nodeadd -n sgdb1 -fixup -verbose使用cluster verify工具验证新增节点是否满足cluster的要求:cluvfy stage -pre nodeadd -n 2、添加新节点node2的集群软件 在已经有节点node1下面执行这个命令添加新节点的集群软件（grid用户执行） rootnode1 # su - grid gridnode1 $cd /u01/app/11.2.0/grid/oui/bin/下面命令是执行addNode.sh时忽略检测，因为上面已经检查过。gridnode1 bin$ export IGNORE_PREADDNODE_CHECKS=Y gridnode1$./addNode.sh -silent CLUSTER_NEW_NODES=sgdb2 CLUSTER_NEW_VIRTUAL_HOSTNAMES=sgdb2vip CLUSTER_NEW_PRIVATE_NODE_NAMES=sgdb2priv &/add_node.log在另一个窗口中查看日志信息：tail -f add_node.log在新节点 node2用root用户执行 运行提示的root.sh脚本 rootnode2 #/u01/app/oraInventory/orainstRoot.sh rootnode2#/u01/app/11.2.0/grid/root.sh报错1：gridSGDB1 $ tail -f add_node.log Checking swap space: must be greater than 500 MB. Actual 4095 MB PassedOracle Universal Installer, Version 11.2.0.4.0 ProductionCopyright (C) 1999, 2013, Oracle. All rights reserved.Performing tests to see whether nodes sgdb2,sgdb2 are available. 100% Done.Error ocurred while retrieving node numbers of the existing nodes. Please check if clusterware home is properly configured.SEVERE:Error ocurred while retrieving node numbers of the existing nodes. Please check if clusterware home is properly configured.tail: add_node.log: file truncated-bash: ./addNode.sh: No such file or directory报错检测不到两个节点的信息，原因是因为在正常节点宕机节点的信息没有删除干净。重新删除。第一步：dba （一定要dbca删除废掉的实例）第二步：gridSGDB1 bin$ ./runInstaller -silent -updateNodeList ORACLE_HOME=/oracle/app/11.2.0/grid/ CLUSTER_NODES=sgdb1 CRS=TRUE集群软件添加之后在节点2启动集群：此时在node2 crs_stat -t -v 可能没有反应，要先启动集群。crsctl start crscrsctl start cluster在新加节点用GRID用户通过下面命令对RAC扩展结果进行验证gridnode2 $ cluvfy stage -post nodeadd -sgdb1,sgdb2Oracle Cluster Time Synchronization Services check passed Post-check for node addition was unsuccessful on all the nodes.scan name和ip是写在/etc/hosts中的,而没有采用DNS或GNS通过查询metalink,文档ID为887471.1CauseCause 1. SCAN name is resolved by hosts file instead of DNS or GNS, this could happen even you list all SCAN IP(s) in hosts fileSolution ListFor cause 1: Oracle strongly recommend to use DNS or GNS for SCAN name resolution as hosts file support only one IP for SCAN name. If you intended to use hosts file for SCAN name resolution, and ping command returns correct SCAN VIP, you can ignore the error and move forward.采用/etc/hosts方式的话,只能一个scan name和ip, ping scan name能返回正确ip的话,那这个报错可以忽略。gridnode2 $ ping rac-scan PING tony-scan (10.0.0.150) 56(84) bytes of data. 64 bytes from tony-scan (10.0.0.150): icmp_seq=1 ttl=64 time=1.17 ms3、为新节点安装数据库软件为新节点安装数据库软件（在已经有节点下用oracle用户执行） rootnode1 # su - oracle rootnode1 # cd $ORACLE_HOME/oui/binoraclenode1 $./addNode.sh -silent CLUSTER_NEW_NODES=sgdb2 &/add_node.log运行提示的root.sh脚本 ，在新节点 node2用root用户执行 /oracle/app/oracle/product/11.2.0/db_1/root.sh报错：执行上述./addNode.sh -silent CLUSTER_NEW_NODES=sgdb2 命令时还是报错：提示不能识别节点或者虚拟节点，在命令中按提示添加。oraclenode1 $./addNode.sh -silent CLUSTER_NEW_NODES=sgdb2CLUSTER_NEW_VIRTUAL_HOSTNAMES=sgdb2vip好像是标红部分虚拟名称，具体根据提示。因为在以前测试中没有出现让添加虚拟信息。报错2：oraclenode1 bin$ ./addNode.sh CLUSTER_NEW_NODES=node2 &/add_node.logoraclenode1 $ tail -f add_node.log Performing pre-checks for node addition Shared resources check for node addition failed Cannot identify existing nodes in cluster The required component olsnodes is missingVerification cannot proceed4、为新节点添加实例 用命令行直接添加实例（在已经有节点下面用oracle用户执行） oraclenode1 $ dbca -silent -addInstance -nodeList sgdb2 -gdbName orcl -instanceName orcl2 -sysDBAUserName sys -sysDBAPassword oracle报错1：提示不能识别虚拟IP什么的，出现一个未知的IP，删除。rootnode1 bin# ./srvctl remove vip -i node2报错2：再次执行添加实例的命令，提示实例orcl2已经存在。因为当初在正常节点node1删除宕机节点node2信息时，没有在node1上执行dbca删除实例。现在node2配置了和原先一模一样的环境和信息。node2又活了过来。关机重启服务器，查看资源、实例等信息是否正常，如何正常则OK。重启后资源等正常。增加完成，验证：rootnode2 grid# /u01/app/11.2.0/grid/bin/crsctl stat res -trootnode2 grid# /u01/app/11.2.0/grid/bin/crs_stat -t -v5、网络不稳定的问题：节点2添加进集群后，出现网络不稳定的问题：ifconfig service network restart：提示端口不正常。重启后节点2登陆不上，但是通过节点1 SSH 能够登陆。心跳一会儿通一会儿不通。检查网络IP配置，配置都正常。最终关闭网络自动管理功能：service NetworkManager stopchkconfig NetworkManager off原正常节点node1 UDEV绑定的内容：存储和服务器都是华为的，华为有自带的多路径，光盘安装多路径之后，将此文件拷贝到新装操作系统的相应目录下，重启服务器，节点2正常识别到了存储。UDEV绑定：rootSGDB2 rules.d# cat 99-x-asmdisk.rules KERNEL=sd?1, BUS=scsi, PROGRAM=/sbin/scsi_id -g -u -d /dev/$parent, RESULT=36105172100114193000844e500000001, NAME=asmdisk1, OWNER=grid, GROUP=asmadmin, MODE=0660KERNEL=sd?2, BUS=scsi, PROGRAM=/sbin/scsi_id -g -u -d /dev/$parent, RESULT=36105172100114193000844e500000001, NAME=asmdisk2, OWNER=grid, GROUP=asmadmin, MODE=0660KERNEL=sd?1, BUS=scsi, PROGRAM=/sbin/scsi_id -g -u -d /dev/$parent,