RAC之RHEL5.5+ORACLE10.2.0.5+Clusterware+ASM.docx

目录资源概述2主机概述2网络2磁盘2XManager2安装前准备3用户环境配置3创建安装目录5提高用户的shell限制5配置内核参数5网络主机名配置6使用SSH建立用户等效性7配置hangcheck timer内核模块8配置时间同步9创建共享盘9安装oracleasmlib程序包12安装Oracle集群件12安装CRS13CRS安装错误处理20第一步：消除问题根源20第二步：运行VIPCA21验证集群24安装Oracle数据库10g第2版25升级CRS和Oracle补丁()31创建数据库和ASM实例36资源概述主机概述主机名操作系统处理器内存dsdbserver1redhat Enterprise Linux 5.5（64位）4*864GBdsdbserver2redhat Enterprise Linux 5.5（64位）4*864GBdsdbserver3redhat Enterprise Linux 5.5（64位）4*864GBdsdbserver4redhat Enterprise Linux 5.5（64位）4*864GB网络主机IP私有IPVIPdsdbserver11dsdbserver22dsdbserver333dsdbserver444磁盘路径大小用途/dev/cciss/c0d0p1190MB/boot/dev/cciss/c0d0p297GB/dev/cciss/c0d0p549G/tmp/dev/cciss/c0d0p61.2T/opt/dev/emcpowera1100MBOCR/dev/emcpowera2100MBVoteDisk/dev/emcpowera3100MBASMXManager一、在/usr/share/gdm/defaults.conf里确保有以下几句配置 Enable=true DisplaysPerHost=10 Port=177二、在/etc/inittab里把默认级别改为5： id:5:initdefault:再把最后一句里 x:5:respawn:/etc/X11/prefdm -nodaemon 改成 x:5:respawn:/usr/sbin/gdm（注意这里是sbin，不是bin）三、让Root登陆Xmanager 以上修改之后，root用户还不能通过Xmanager远程登录Linux，还要继续修改/usr/share/gdm/defaults.conf文件，在security字段里开启以下两项： AllowRoot=true AllowRemoteRoot=true四、修改/etc/gdm/custom.conf，找到“xdmcp”,在该段下面加入 Enable=true Port=177五、开启Linux防火墙的177 UDP端口。iptables -A INPUT -p udp -dport 177 -j ACCEPT六、重启GDMgdm-restart七、检查侦听端口netstat -ntpul | grep 177安装前准备用户环境配置root的.bash_profile添加如下（目的便于维护管理）：export ORACLE_BASE=/opt/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/10.2.0/dbexport ORA_CRS_HOME=$ORACLE_BASE/product/10.2.0/crsexport PATH=$PATH:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin以root用户身份执行groupadd oinstalllgroupadd dbauseradd -g oinstall -G dba oraclepasswd oracle oracle的.bash_profile如下：PATH=$PATH:$HOME/binexport PATHunset USERNAMexport EDITOR=viexport TEMP=/tmpexport TMPDIR=/tmpexport ORACLE_BASE=/opt/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/10.2.0/dbexport ORA_CRS_HOME=$ORACLE_BASE/product/10.2.0/crsexport ORACLE_SID=RACDBexport ORACLE_TERM=xtermexport NLS_LANG=AMERICAN_AMERICA.ZHS16GBKexport ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/dataexport LIBPATH=$ORACLE_HOME/lib:/usr/lib64:/usr/local/lib64export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib64:/usr/lib64:/usr/local/lib64export PATH=$PATH:$ORACLE_HOME/bin: $ORA_CRS_HOME/binexport CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlibexport LC_CTYPE=Cexport LC_NUMERIC=Cexport LC_TIME=Cexport LC_COLLATE=Cexport LC_MONETARY=Cexport LC_MESSAGES=Cexport LC_PAPER=Cexport LC_NAME=Cexport LC_ADDRESS=Cexport LC_TELEPHONE=Cexport LC_MEASUREMENT=Cexport LC_IDENTIFICATION=Cexport LC_ALL=Cexport LANG=Cumask 022Root用户关闭redhat Enterprise Linux5.5暂时不需的服务chkconfig -level 2345 bluetooth offchkconfig -level 2345 cups offchkconfig -level 2345 gpm offchkconfig -level 2345 isdn off创建安装目录Root执行：chown oracle.oinstall /opt/appOracle执行：mkdir p $ORACLE_BASE/adminmkdir p $ORACLE_HOMEmkdir p $ORA_CRS_HOME提高用户的shell限制（每台设备都需进行以下操作）1. 编辑 /etc/security/limits.conf ，加入以下内容：* soft nproc 2047* hard nproc 16384* soft nofile 1024* hard nofile 655362. 编辑 /etc/pam.d/login ，加入以下内容（32位改为/lib/）：session required /lib64/security/pam_limits.so3. 编辑/etc/profile，加入以下内容if $USER = oracle ; then if $SHELL = /bin/ksh ; then ulimit -p 16384 ulimit -n 65536 else ulimit -u 16384 -n 65536 fifi配置内核参数（每台设备都需进行以下操作）添加以下行到/etc/sysctl.confkernel.shmmni = 4096kernel.sem = 250 32000 100 128fs.file-max = 101365net.ipv4.ip_local_port_range = 9000 65500net.core.rmem_default = 1048576net.core.rmem_max = 1048576net.core.wmem_default = 262144net.core.wmem_max = 262144root执行/sbin/sysctl p让参数即时生效网络主机名配置（每台设备都需进行以下操作）1. 修改/etc/hosts文件，添加以下行。1 dsdbserver2 dsdbserver3 dsdbserver34 dsdbserver4 dsdbserver1-priv dsdbserver2-priv dsdbserver3-priv dsdbserver4-priv1 dsdbserver1-vip2 dsdbserver2-vip3 dsdbserver3-vip4 dsdbserver4-vip注：vip网址为rac在某个节点故障时系统自动切换使用，不用配置，/24网络为rac对外公布网络，/24网络为节点之间的心跳线网络2.修改/etc/hosts.equiv文件，添加以下行：+dsdbserver1 oracle+dsdbserver2 oracle+dsdbserver3 oracle+dsdbserver4 oracle+dsdbserver1-priv oracle+dsdbserver2-priv oracle+dsdbserver3-priv oracle+dsdbserver4-priv oracle+dsdbserver1-vip oracle+dsdbserver2-vip oracle+dsdbserver3-vip oracle+dsdbserver4-vip oracle使用SSH建立用户等效性在集群就绪服务(CRS)和RAC安装过程中，Oracle Universal Installer(OUI)必须能够以oracle的身份将软件复制到所有RAC节点，而不提示输入口令。在Oracle 10g中，可以使用ssh代替rsh完成此操作。要建立用户等效性，请在四个节点上以oracle用户身份生成用户的公钥和私钥。su - oraclemkdir /.sshchmod 700 /.sshssh-keygen -t rsassh-keygen -t dsatouch /.ssh/authorized_keysssh dsdbserver1 cat /.ssh/id_rsa.pub /.ssh/authorized_keysssh dsdbserver2 cat /.ssh/id_rsa.pub /.ssh/authorized_keysssh dsdbserver3 cat /.ssh/id_rsa.pub /.ssh/authorized_keysssh dsdbserver4 cat /.ssh/id_rsa.pub /.ssh/authorized_keysscp /.ssh/authorized_keys dsdbserver1:/.ssh/authorized_keysscp /.ssh/authorized_keys dsdbserver2:/.ssh/authorized_keysscp /.ssh/authorized_keys dsdbserver3:/.ssh/authorized_keysscp /.ssh/authorized_keys dsdbserver4:/.ssh/authorized_keyschmod 600 /.ssh/authorized_keys在每个节点上测试连接。验证当您再次运行以下命令时，系统是否不提示您输入口令。ssh dsdbserver1 datessh dsdbserver2 datessh dsdbserver3 datessh dsdbserver4 datessh dsdbserver1-priv datessh dsdbserver2-priv datessh dsdbserver3-priv datessh dsdbserver4-priv date配置hangcheck timer内核模块hangcheck timer内核模块可监控系统的运行情况，并重新启动出现故障的RAC节点。它使用两个参数，即hangcheck_tick（定义系统检查频率）和hangcheck_margin（定义在重置RAC节点前的最大挂起延时）来确定节点是否出现故障。执行：cd /lib/modules/2.6.18-128.el5/kernel/drivers/char/ & insmod hangcheck-timer.ko hangcheck_tick=30 hangcheck_margin=180将以上命令添加到/etc/rc.d/rc.local文件中通过cat /var/log/messages | grep hangcheck | tail -100查看hangcheck模块是否正常加载配置时间同步（每台设备都需进行以下操作）1、配置/etc/ntp.conf,添加如下红色行# Undisciplined Local Clock. This is a fake driver intended for backup# and when no outside source of synchronized time is available.#server # local clockserver 02server 03fudge stratum 102、将/etc/ntp/ntpservers注释空3、执行echo 02/etc/ntp/step-tickersservice ntpd startchkconfig -level 2345 ntpd on创建共享盘1、存储盘分区rootdsdbserver1 dev# fdisk /dev/emcpowera Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabelBuilding a new DOS disklabel. Changes will remain in memory only,until you decide to write them. After that, of course, the previouscontent wont be recoverable.The number of cylinders for this disk is set to 65270.There is nothing wrong with that, but this is larger than 1024,and could in certain setups cause problems with:1) software that runs at boot time (e.g., old versions of LILO)2) booting and partitioning software from other OSs (e.g., DOS FDISK, OS/2 FDISK)Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)Command (m for help): nCommand action e extended p primary partition (1-4)pPartition number (1-4): 1First cylinder (1-65270, default 1): Last cylinder or +size or +sizeM or +sizeK (1-65270, default 65270): +100MCommand (m for help): nCommand action e extended p primary partition (1-4)pPartition number (1-4): 2First cylinder (14-65270, default 14): Using default value 14Last cylinder or +size or +sizeM or +sizeK (14-65270, default 65270): +100MCommand (m for help): nCommand action e extended p primary partition (1-4)pPartition number (1-4): 3First cylinder (27-65270, default 27): Using default value 27Last cylinder or +size or +sizeM or +sizeK (27-65270, default 65270): Using default value 65270Command (m for help): wThe partition table has been altered!Calling ioctl() to re-read partition table.Syncing disks.完成后，确认分区信息：fdisk l 显示：Disk /dev/emcpowera: 536.8 GB, 536870912000 bytes255 heads, 63 sectors/track, 65270 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System/dev/emcpowera1 1 27 216846 83 Linux/dev/emcpowera2 28 56 232942+ 83 Linux/dev/emcpowera3 57 65270 523831455 83 Linux2、重启其他几台集群。3、映射裸设备仅当您打算使用标准Linux I/O创建ASM磁盘时，才需要原始设备映射。本教程使用的是裸设备和asm创建Oracle RAC，所以要求创建ASM磁盘映射原始设备。稍后，您将使用ASM库驱动程序配置ASM磁盘。执行以下任务，将原始设备映射到先前创建的共享分区。每次引导集群节点时，原始设备都必须与块设备绑定。（每台设备都需进行以下操作）由于RHEL5中取消了rawdevices，如果不想将映射命令放到rc.local中的话，我们就需要将其配置到/etc/udev/rules.d/文件夹中，用vi编辑：root dsdbserver1 #vi /etc/udev/rules.d/60-raw.rules增加如下内容：ACTION=add, KERNEL=emcpowera1, RUN+=/bin/raw /dev/raw/raw1 %NACTION=add, KERNEL=emcpowera2, RUN+=/bin/raw /dev/raw/raw2 %NACTION=add, KERNEL=emcpowera3, RUN+=/bin/raw /dev/raw/raw3 %NACTION=add, KERNEL=raw1,OWNER=oracle,GROUP=oinstall,MODE=0600ACTION=add, KERNEL=raw2,OWNER=oracle,GROUP=oinstall,MODE=0600ACTION=add, KERNEL=raw3,OWNER=oracle,GROUP=oinstall,MODE=0600root dsdbserver1 vi /etc/udev/rules.d/50-udev.rules在KERNEL=raw0-9*, NAME=raw/%k 这行后面加上用户和权限信息：KERNEL=raw0-9*, NAME=raw/%k OWNER=oracle GROUP=oinstall, MODE=0600启动裸设备服务：root dsdbserver1 #start_udevStarting udev:OK验证一下：root dsdbserver1 # ls /dev/raw/ -ltotal 0crw-r- 1 oracle oinstall 162, 1 Aug 1 11:30 raw1crw-r- 1 oracle oinstall 162, 2 Aug 1 11:31 raw2crw-r- 1 oracle oinstall 162, 3 Aug 1 10:26 raw3PS：清空raw盘（如果重装oracle的话raw设备有内容可能有问题，建议清空raw设备）rootdsdbserver1 raw# dd if=/dev/zero of=/dev/raw/raw1 bs=8192 10000+0 records in10000+0 records out81920000 bytes (82 MB) copied, 2.54502 seconds, 32.2 MB/s安装oracleasmlib程序包（每台设备都需进行以下操作）从OTN下载根据操作系统下载合适的ASM库，并以root用户身份安装ASM RPM。此处下oracleasm会根据操作系统、cup构架、安装系统的内核版本分类，请仔细下载，以本指南为例，所需如下包：rpm -q -qf %NAME-%VERSION-%RELEASE (%ARCH)n binutils oracleasm-2.6.18-194.el5 oracleasm-support oracleasmlib compat-db gcc-c+ control-center glibc glibc-common gnome-libs libstdc+ libstdc+-devel makeasmlib下载地址：/technetwork/topics/linux/asmlib/index-101839.html在这个阶段，您应该已经安装了以下ASM程序包。并验证rootdsdbserver1# rpm -qa | grep oracleasmoracleasmlib-2.0.4-1.el5oracleasm-2.6.18-194.el5-2.0.5-1.el5oracleasm-support-2.1.7-1.el5安装Oracle集群件注意，在这项配置中，除非特别说明，所有操作都是基于oracle用户的。安装CRSrac的安装并没有太明显的主从关系，需要修改安装文件/install/oraparam.ini，添加红色Certified Versions Linux=redhat-3,SuSE-9,redhat-4,UnitedLinux-1.0,asianux-1,asianux-2,redhat-5。注意，下列操作需要在视窗模式下执行。oraclerac1 clusterware$./runInstaller提示：Has rootpre.sh been run by root? y/n (n)新安装机器可不检查直接输入yOracle clusterware安装欢迎页面，单击next选择证书和安装操作组名，默认，单击next选择安装名称和安装目录，Name默认，Path确保为$ORA_CRS_HOME目录，如果默认不是此目录，可以通过Browser按钮选择正确的目录安装的必要检查，此检查是自动检查，如果有什么不符合会有一定提示，需要仔细阅读提示内容，根据提示内容改进，如果不改进很可能会安装不成功Cluster名称和Cluster节点配置，此页面会自动找到正在执行安装的节点，其他节点需要手动添加，单击add添加其他节点，只需要填入对应的Public node Name，Private Node Name和Virtual Host Name，即根据/etc/hosts文件中对应公共ip、私有ip和虚拟ip所对应的解析名称，完成后单击next； 编辑公共接口，选择你相对应的公共接口，单击edit将Interface Type改成public配置OCR磁盘，选择External Redundancy，在Specify OCR Location中输入raw1块设备路径，即/dev/raw/raw1；默认的Normal Redundancy为两块OCR块设备，本例安装只配置一块；配置Voting Disk，选择External Redundancy，在Voting Disk Location中输入raw2块设备路径，即/dev/raw/raw2；默认的Normal Redundancy为三块Voting disk块设备，本例安装只配置一块；所要安装的的详细信息，如果不修改，单击Install，开始安装；安装过程中，大约花费15分钟，这个时间不固定，根据个人机器不同而不同建议按下列顺序执行执行配置脚本：以root用户身份按顺序执行以下脚本（一次执行一个）。在当前脚本完成后，再继续执行下一个脚本。在dsdbserver1上执行/opt/app/oracle/oraInventory/orainstRoot.sh；在dsdbserver2上执行/opt/app/oracle/oraInventory/orainstRoot.sh；在dsdbserver3上执行/opt/app/oracle/oraInventory/orainstRoot.sh；在dsdbserver4上执行/opt/app/oracle/oraInventory/orainstRoot.sh；在dsdbserver1上执行/opt/app/oracle/product/10.2.0/crs/root.sh；在dsdbserver2上执行/opt/app/oracle/product/10.2.0/crs/root.sh；在dsdbserver3上执行/opt/app/oracle/product/10.2.0/crs/root.sh；在dsdbserver4上执行/opt/app/oracle/product/10.2.0/crs/root.sh；CRS安装错误处理第一步：消除问题根源在对最后一个节点执行root.sh时，vipca将无法运行，会出现以下错误：Oracle CRS stack installed and running under init(1M)Running vipca(silent)for configuring nodeapps/u01/app/crs/jdk/jre/bin/java:error while loadingshared libraries:libpthread.so.0:cannot open shared object file:No such file or directory注意，在采取下述解决办法之前，srvctl也会产生类似的输出。出现该错误的原因是，Linux内核的这些版本会采用Oracle以前的一个解决办法，即在vipca和srvctl中使用LD_ASSUME_KERNEL设置来修补Linux线程中的一个原有缺陷。而这个解决办法在OEL5、RHEL5或SLES10上不再有效，故而产生错误。要解决上面的问题1，编辑vipca（在所有节点的$ORA_CRA_HOME/bin目录下）以撤消对LD_ASSUME_KERNEL的设置。在第120行左右的IF语句之后，添加一条unset命令，从而确保LD_ASSUME_KERNEL未经过设置，如下所示：if$arch=i686-o$arch=ia64thenLD_ASSUME_KERNEL=2.4.19export LD_ASSUME_KERNELfiunset LD_ASSUME_KERNEL/增加此行类似地，对于srvctl（在所有节点的$ORA_CRA_HOME/bin目录，以及（若已安装）RDBMS bin和ASM bin目录下），通过在第168行左右添加一行来取消设置LD_ASSUME_KERNEL，应如下所示：LD_ASSUME_KERNEL=2.4.19export LD_ASSUME_KERNELunset LD_ASSUME_KERNEL/增加此行注：切记要对所有节点重新编辑这些文件：/bin/vipca/bin/srvctl/bin/srvctl/bin/srvctl#(If exists)可通过find命令找出已经安装的所有的vipca和srvctl文件全部更改；rootdsserver2#find /opt/app -name vipcaroot dsserver2#find /opt/app -name srvctl第二步：运行VIPCA做完以上步骤后，以root用户身份从发生错误的最后一个节点手动运行vipca。请记住，vipca是一个GUI X，需要根据您的服务器设置DISPLAY变量：#$ORA_CRS_HOME/bin/vipca出现“VIP Configuration Assistant”时，我按如下所示回应屏幕提示：欢迎页面：单击NextNetwork interfaces：只选择公共接口eth0 Summary：单击FinishConfiguration Assistant Progress Dialog：配置完成后单击OK配置助手进度对话框：配置完成后，单击OK。配置结果：单击Exit。返回到dsdbserver1的执行配置脚本屏幕，然后单击OK。重新检查安装结束：单击Exit。验证集群首先检查集群节点是否正确，后验证clusterware安装后所需要的服务是否正常启动。检查集群节点$ORA_CRS_HOME/bin/olsnodes -ndsdbserver1 1dsdbserver2 2dsdbserver3 3dsdbserver4 4验证Oracle集群件功能$ORA_CRS_HOME/bin/crs_stat t -vName Type R/RA F/FT Target State Host -ora.er1.gsd application 0/5 0/0 ONLINE ONLINE dsdbserver1 ora.er1.ons application 0/3 0/0 ONLINE ONLINE dsdbserver1 ora.er1.vip application 0/0 0/0 ONLINE ONLINE dsdbserver1 ora.er2.gsd application 0/5 0/0 ONLINE ONLINE dsdbserver2 ora.er2.ons application 0/3 0/0 ONLINE ONLINE dsdbserver2 ora.er2.vip application 0/0 0/0 ONLINE ONLINE dsdbserver2 ora.er3.gsd application 0/5 0/0 ONLINE ONLINE dsdbserver3 ora.er3.ons application 0/3 0/0 ONLINE ONLINE dsdbserver3 ora.er3.vip application 0/0 0/0 ONLINE ONLINE dsdbserver3 ora.er4.gsd application 0/5 0/0 ONLINE ONLINE dsdbserver4 ora.er4.ons application 0/3 0/0 ONLINE ONLINE dsdbserver4 ora.er4.vip application 0/0 0/0 ONLINE ONLINE dsdbserver4检查CRS状态$ORA_CRS_HOME/bin/crsctl check crsCSS appears healthyCRS appears healthyEVM appears healthy安装Oracle数据库10g第2版执行安装命令欢迎界面，直接下一步选择要安装的数据库类型选择安装目录选择节点安装，并同时全选所有节点安装环境检查注意看一下出错或warning的检查项，根据实际情况或忽略，或修正。只安装数据库软件，数据库留待之后创建摘要信息最有确认一下设置，没有问