AIX6.1上Oracle11gR2 RAC安装.doc

Oracle11gR2 RAC for AIX6.1安装 For .0（2012-06-11）系统检查与规划硬件环境：IBM P710 2台：Processor Type: PowerPC_POWER7Processor Implementation Mode: POWER 7Number Of Processors: 8Processor Clock Speed: 3550 MHzCPU Type: 64-bitKernel Type: 64-bitMemory Size: 31616 Total Paging Space: 16384MB可用LUN：hdisk2hdisk10（已划分好）DS4000阵列1台软件环境： # oslevel -s6100-04-03-1009Oracle软件列表：aix.ppc64_11gR2_grid.zipaix.ppc64_11gR2_database_1of2.zipaix.ppc64_11gR2_database_2of2.zip 安装规划主机规划主机名：ibm710a,ibm710b文件系统#smitty chfs -扩充文件系统扩充文件系统或新建文件系统如下： / 5G /usr 10G /var 5G /tmp 5G /home 5G /opt 5G /software 10G /oracle 20G /oradb 20G磁盘规划OCR、VOTE存储规划在我们的方案中规划使用三个阵列盘用来存放OCR、VOTE文件，这三块盘在ASM中做成Normal磁盘组。数据库数据文件存储规划在我们的方案中规划使用6个100GB的阵列盘用来存放数据库数据文件文件，这6块盘在ASM中做成external磁盘组。网络规划Oracle 11gR2 RAC中对网络的要求与11R1版本和10g版本稍有些不同，在Oracle 11gR2 RAC中引入了SCAN的概念。SCAN全称是Single Client Access Name ，它是Oracle RAC 11gR2版本的一个新特性。它为需要访问Oracle集群数据的客户端提供一个简单名字。它的好处是如果你使用SCAN当你增长或踢除集群中的节点时客户端不需要做任何改变，这一点在三层架构应用系统中（数据库-应用服务器-客户机）优势明显。使用单个名字去访问集群允计客户端使用EZConnect 客户端和简单JDBC thin URL去访问运行在集群中的任何数据库，而不用管在集群中那个或那些服务器（或叫实例）是Active的。配置好固定IP（public），ORACLE的私有IP（priv），和VIP，尤其要注意的是：两台机器需配置对应关系一致的IP与网卡。如：名称对应网卡IP用途ibm710aEn001publicibm710a-vip03VIPibm710a-privEn4privateibm710bEn002publicibm710b-vip04VIPibm710b-privEn4privatescanScan addressORACLE推荐使用DNS解析的方法来实现SCAN，这就要求网络中有一台DNS服务器用来解析SCAN地址，使用DNS解析SCAN时需要3个IP，也可以使用/etc/hosts文件来解析，只需要配置1个IP。安装准备检查系统环境Oracle11gR2 RAC最低安装要求：内存：安装grid infrastructure最少需要1.5GB的内存，安装grid infrastructure和RAC最少需要2.5GB的内存swap：最少需要1.5GBtemp：最少1GB安装目录：grid infrastructure+ASM+Clusterware最少需要12GB，验证方法：1、确认内存大小localhost /usr/sbin/lsattr -E -l sys0 -a realmem2、确认SWAP空间，最少2G。(推荐是内存的0.75倍)localhost /usr/sbin/lsps -a3、确认/tmp大于1.5GB和Oracle目录空间15GB（推荐在25GB左右，grid infrastructure+ASM安装在/oracle目录下，其中Oracle11g 数据库软件安装在/oradb目录下）：4、确认系统结构localhost /usr/bin/getconf HARDWARE_BITMODE645、确认系统CPU个数和主频：# lsdev -C |grep proc# lsattr -E -l procN （N为CPU的编号1N）检查系统软件包AIX 6.1需要安装如下软件包：bos.adt.basebos.adt.libbos.adt.libmbos.perf.libperfstat or pat.clients.rtexlC.aix61.rte (or later)gpfs.base or later (Only for RAC)AIX版本要求如下AIX 6.1 TL 02 SP1 (6100-02-01), 64-bit kernel或以上版本检查方法：# oslevel -r6100-04AIX 6.1以后不再检查这些补丁其它单个补丁的要求如下：fixes:IZ41855IZ51456IZ52319验证：#/usr/sbin/instfix -i -k IZ41855调整系统参数修改网络参数查看当前的设置值：# no -a | more查看系统是否为兼容模式：# lsattr -E -l sys0 -a pre520tune如果输出结果类似以下内容则说明为兼容性模式：pre520tune enable Pre-520 tuning compatibility mode True若为兼容性模式，则修改参数的方法如下：执行以下命令：/usr/sbin/no -o ipqmaxlen=512 /usr/sbin/no -o rfc1323=1/usr/sbin/no -o sb_max=1310720/usr/sbin/no -o tcp_recvspace=65536/usr/sbin/no -o tcp_sendspace=65536/usr/sbin/no -o udp_recvspace=655360/usr/sbin/no -o udp_sendspace=65536将以下内容添加到/etc/if -f /usr/sbin/no ; then/usr/sbin/no -o udp_sendspace=65536/usr/sbin/no -o udp_recvspace=655360/usr/sbin/no -o tcp_sendspace=65536/usr/sbin/no -o tcp_recvspace=65536/usr/sbin/no -o rfc1323=1/usr/sbin/no -o sb_max=2*655360/usr/sbin/no -o ipqmaxlen=512fi若为非兼容性模式：# lsattr -E -l sys0 -a pre520tunepre520tune disable Pre-520 tuning compatibility mode True则修改参数的方法如下：/usr/sbin/no -r -o ipqmaxlen=512 #必须重启OS该修改才能生效/usr/sbin/no -p -o rfc1323=1/usr/sbin/no -p -o sb_max=5242880/usr/sbin/no -p -o tcp_recvspace=65536/usr/sbin/no -p -o tcp_sendspace=65536/usr/sbin/no -p -o udp_recvspace=5242880/usr/sbin/no -p -o udp_sendspace=524288/usr/sbin/no -p -o tcp_ephemeral_low=9000/usr/sbin/no -p -o tcp_ephemeral_high=65500/usr/sbin/no -p -o udp_ephemeral_low=9000/usr/sbin/no -p -o udp_ephemeral_high=65500这些命令会将修改内容写入/etc/tunables/nextboot，使操作系统重启后也可生效。调整shell限制修改/etc/security/limits 文件，具体参数如下：default:fsize = -1core = 2097151cpu = -1data = -1rss = -1stack = -1nofiles = -1 调整内存参数 vmo -p -o minperm%=10vmo -p -o maxclient%=20vmo -p -o maxperm%=20vmo -p -o lru_file_repage=0vmo -p -o strict_maxclient=1vmo -p -o strict_maxperm=0调整允许用户处理的最大进程数查看当前的设置值：#lsattr -E -l sys0 -a maxuproc配置所有用户的允许处理的最大进程数，该参数要求最小为16384。执行：# smit chgsys Change / Show Characteristics of Operating SystemType or select values in entry fields.Press Enter AFTER making all desired changes. Entry Fields Maximum number of PROCESSES allowed per user 16384 +#检查虚拟内存如果不够，使用smit chps命令进行扩展#lsps a#smit chps打开异步IO在AIX5.3中，在安装grid软件前执行rootpre.sh会自动打开异步IO服务，在AIX6.1中默认异步IO服务是打开的。推荐的aio_maxreqs值为 64k (65536)，检查方法如下：# ioo -o aio_maxreqsaio_maxreqs = 65536配置NTP（推荐）修改/etc/hosts文件修改每个节点上的/etc/hosts文件，要求里面包含所有节点的service ip, private ip, virtual ip。内容如下： loopback localhost # loopback (lo0) name/address01 ibm710a03 ibm710a-vip ibm710a-priv02 ibm710b04 ibm710b-vip ibm710b-priv scan！注意：如果你的环境里不具备DNS服务器，那么SCAN地址解析可以通过GNS来实现，这需要在你的所有数据库主机的host文件里添加一个SCAN地址，并且这个地址的解析名不要超过16个字符，超过的话，oracle只会解析前16个字符。修改/etc/ssh/sshd_config 文件找到LoginGraceTime 0行将注释去掉并将值改为0 否则在pre install cluster 检测的时候会产生警告创建用户组及用户在每个节点上建立dba组和oracle，grid用户。注意保持双机用户与组的ID的一致。注可以通过命令smit 或smitty 操作。修改用户属性grid用户1、在两台主机上要保证grid用户具有以下能力：CAP_NUMA_ATTACH, CAP_BYPASS_RAC_VMM, and CAP_PROPAGATE查看grid用户能力：# /usr/bin/lsuser -a capabilities grid增加grid用户能力：# /usr/bin/chusercapabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE grid2、设置grid用户密码：#passwd gridoracle用户1、在两台主机上要保证oracle用户具有以下能力：CAP_NUMA_ATTACH, CAP_BYPASS_RAC_VMM, and CAP_PROPAGATE查看oracle用户能力：# /usr/bin/lsuser -a capabilities oracle增加oracle用户能力：# /usr/bin/chusercapabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE oracle2、设置oracle用户密码：#passwd oracle安装配置SSH安装软件#smit install Install Software Install SoftwareType or select a value for the entry field.Press Enter AFTER making all desired changes. Entry Fields* INPUT device / directory for software /dev/cd0 + 输入光盘路径，回车： Entry Fields* INPUT device / directory for software /dev/cd0* SOFTWARE to install _all_latest + 在*SOFTWARE to install选项光标处按F4，然后按Esc+7选择ssh所有的包。配置SSH在两个节点上都执行：#su grid$mkdir -p /.ssh$chmod 700 /.ssh$/usr/bin/ssh-keygen -t rsa提示输密码时保持为空，直接回车即可。以下只在节点1上执行：ibm710a:/home/grid$touch /.ssh/authorized_keysibm710a:/home/grid$ssh ibm710a cat /.ssh/id_rsa.pub/.ssh/authorized_keysThe authenticity of host ibm710a (01) cant be established.RSA key fingerprint is cc:99:7a:16:31:36:b5:00:30:05:ed:80:0c:84:e6:9e.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added ibm710a,01 (RSA) to the list of known hosts. WARNING: UNPROTECTED PRIVATE KEY FILE! Permissions 0644 for /home/grid/.ssh/identity are too open.It is recommended that your private key files are NOT accessible by others.This private key will be ignored.bad permissions: ignore key: /home/grid/.ssh/identitygridibm710as password: ibm710a:/home/grid$ssh ibm710b cat /.ssh/id_rsa.pub/.ssh/authorized_keysThe authenticity of host ibm710b (02) cant be established.RSA key fingerprint is c1:a6:c2:d7:fc:75:c1:80:e9:4f:45:c0:10:55:1e:84.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added ibm710b,02 (RSA) to the list of known hosts.gridibm710bs password: ibm710a:/home/grid$scp /.ssh/authorized_keys ibm710b:.ssh/authorized_keysgridibm710bs password: authorized_keys 100% 1027 1.0KB/s 00:00 ibm710a:/home/grid$在第二个节点上执行：ibm710b:/home/grid$cd /.sshibm710b:/home/grid/.ssh$chmod 600 authorized_keys测试：ibm710a:/home/grid/$ssh ibm710bibm710b:/home/grid/$ssh ibm710a除了第一次需要输入密码，以后就不要输入。注：在grid安装时SSH 验证可能会提示INS-06006 Passwordless SSH connectivity not set up between the following node(s): ibm710b需要将第一个节点上的known_hosts文件传输到第二个节点，执行：ibm710a:/home/grid$scp /.ssh/known_hosts ibm710b:.ssh/known_hosts创建安装目录为每个节点建立相同的Oracle软件主目录创建 Oracle grid目录：# mkdir -p /oracle/grid# mkdir -p /oracle/11.2/grid# chown -R grid:dba/oracle# chmod -R 775 /oracle创建Oracle Base目录：# mkdir -p /oradb/product/11.2# chown -R oracle:dba /oradb# chmod -R 775 /oradb配置磁盘设备设置保持策略，该步骤若不做，在grid安装完建立ASM时，第二个节点会找不到硬盘，同时加入不了集群。(此命令适用于ESS、EMC、HDS、CLARiiON以及MPIO-capable设备，如果是SSA和FAStT设备，使用命令：chdev -l hdiskn -a reserve_lock=no)chdev -l hdisk2 -a reserve_policy=no_reservechdev -l hdisk3 -a reserve_policy=no_reserve 清除PVID：chdev -l hdisk2 -a pv=clearchdev -l hdisk3 -a pv=clear 设置属主：chown grid:dba /dev/rhdisk2chown grid:dba /dev/rhdisk3 设置权限：chmod 660 /dev/rhdisk2 此处必须为660否则oracle检查的时候会报错chmod 660 /dev/rhdisk3 注意：根据实际情况定义所需要的裸设备权限。修改.profile文件为每个节点设置grid用户的环境变量#su - grid$ vi /home/grid/.profileumask 022export ORACLE_BASE=/oracle/gridexport ORACLE_HOME=/oracle/11.2/gridexport ORACLE_SID=+ASM1export NLS_LANG=AMERICAN_AMERICA.UTF8export NLS_DATE_FORMAT=yyyy-mm-dd hh24:mi:ssexport PATH=.:$PATH:$HOME/bin:$ORACLE_HOME/binexport PATH=$PATH:/usr/bin:/bin:/usr/bin/X11:/usr/local/binexport PATH=$PATH:$ORACLE_BASE/common/oracle/binexport ORACLE_PATH=$PATH:$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/adminexport ORACLE_TERM=xtermexport TNS_ADMIN=$ORACLE_HOME/network/adminexport ORA_NLS10=$ORACLE_HOME/nls/dataexport LD_LIBRARY_PATH=$ORACLE_HOME/libexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/oracm/libexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/lib:/usr/lib:/usr/local/libexport CLASSPATH=$ORACLE_HOME/JREexport CLASSPATH=$CLASSPATH:$ORACLE_HOME/jlibexport CLASSPATH=$CLASSPATH:$ORACLE_HOME/rdbms/jlibexport CLASSPATH=$CLASSPATH:$ORACLE_HOME/network/jlibexport THREADS_FLAG=nativeexport TEMP=/tmpexport TMPDIR=/tmpexport PS1=hostname:$PWD$ 注为每个节点配置ORACLE_SID的时候，注意实例名不同，如第二个节点为+ASM2。为每个节点设置oracle用户的环境变量#su - oracle$ vi .profileumask 022export ORACLE_BASE=/oradbexport ORACLE_HOME=$ORACLE_BASE/product/11.2export ORACLE_SID=testdb1export ORACLE_UNQNAME=testdbexport NLS_LANG=AMERICAN_AMERICA.UTF8export NLS_DATE_FORMAT=yyyy-mm-dd hh24:mi:ssexport PATH=.:$PATH:$HOME/bin:$ORACLE_HOME/binexport PATH=$PATH:/usr/bin:/bin:/usr/bin/X11:/usr/local/binexport PATH=$PATH:$ORACLE_BASE/common/oracle/binexport ORACLE_PATH=$PATH:$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/adminexport ORACLE_TERM=xtermexport TNS_ADMIN=$ORACLE_HOME/network/adminexport ORA_NLS10=/oracle/11.2/grid /nls/data此处必须填写grid用户的oracle_home位置否则安装数据库软件的时候会报错。export LD_LIBRARY_PATH=$ORACLE_HOME/libexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/oracm/libexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/lib:/usr/lib:/usr/local/libexport CLASSPATH=$ORACLE_HOME/JREexport CLASSPATH=$CLASSPATH:$ORACLE_HOME/jlibexport CLASSPATH=$CLASSPATH:$ORACLE_HOME/rdbms/jlibexport CLASSPATH=$CLASSPATH:$ORACLE_HOME/network/jlibexport THREADS_FLAG=nativeexport TEMP=/tmpexport TMPDIR=/tmp注为每个节点配置ORACLE_SID的时候，注意实例名不同，如第二个节点为testdb2。安装软件安装grid 软件进入grid软件所在目录，解压软件包(unzip软件包系统默认不安装，可以从工具盘中找到并安装)：#cd /software#unzip aix.ppc64_11gR2_grid.zip Grid软件包需要在两个节点上都解压，安装时需要执行其中的rootpre.sh脚本。另外，由于oracle安装内部会执行bash命令，所以建议安装前安装bash。安装前可以检查配置情况：$cd /software/grid$./runcluvfy.sh stage -pre crsinst -n ibm710a,ibm710b -verbose#chmod R 755 /software用grid 用户打开图形界面XDM，执行安装文件：#xhost +#su grid$export DISPLAY=clientIP:0.0$cd /sortware/grid$./runInstaller执行安装命令后会提示执行rootpre.sh文件，需要以root用户在两个节点上都执行。进入欢迎界面：选择Install and Configure Grid Infrastructure for a Cluster选择高级安装选择简体中文指定Cluster Name和SCAN Name，SCAN需要可用。可以用ping命令测试。测试SSH连同性，需要安装前配置，应用grid软件自带的sshSetup配置不可用。安装时会自动识别出网络类型，点击next：点击next创建ASM磁盘组选择为SYS和ASMSNMP统一分配密码确认安装组为dba，点击next由于oracle建议的安装用户组为oinstall（可选），所以忽略提示，点击next确认安装路径，点击next点击next检查安装前提条件，对于建议的3个patch和NTP服务，可以选择忽略。按照提示在两个节点分别执行orainstRoot.sh和root.sh脚本。注意执行顺序为：Ibm710a#orainstRoot.shIbm710b#orainstRoot.shIbm710a#root.shIbm710b#root.sh遇到INS-20802错误，查看安装日志，发现是NTP服务导致的，可以不用管，点击OK安装过程中报告INFO: Checking name resolution setup for ynlt-scan.INFO: ERROR: INFO: PRVF-4664 : Found inconsistent name resolution entries for SCAN name ynlt-scanINFO: ERROR: INFO: PRVF-4657 : Name resolution setup check for ynlt-scan (IP address: 40) failedINFO: ERROR: INFO: PRVF-4663 : Found configuration issue with the hosts entry in the /etc/nsswitch.conf file经检测如果采用hosts方式配置scan的话会产生这个错误如果ping 在hosts里面配置的scan地址能够返回正确的ip的话可以忽略这个错误点击close，安装完成。安装数据库软件以Oracle用户登录，进入解压后的database目录，执行runInstaller。提示执行rootpre.sh，执行后按提示输入y，进入如下安装界面：不需要输入邮件并去掉默认选项，点击next。 对于弹出的提示窗口，点击OK。选择只安装数据库软件：选择所有节点，并按照前面的grid用户的SSH配置方法配置oracle用户的SSH信任，测试通过后点击next。添加简体中文选择企业版确认安装目录，点击next。点击next对于如下几个补丁包和时钟同步选择Ignore All，点击next安装提示，在两个节点上分别以root用户执行root.sh。点击close安装完成。创建ASM磁盘组在建库前需要先创建数据文件的ASM磁盘组，以grid用户登录，执行asmca命令：$asmca弹出如下界面，按规划要求创建好相应的磁盘组：点击Disk Groups标签点击Create按钮。在Create Disk Group窗口中输入磁盘组名，选择需要包括的磁盘，并选择合适的Redundancy级别，然后点击OK按钮。创建成功后弹出提示窗口，点击OK。在Disk Groups 列表中可以看到刚才创建的磁盘组。点击Exit退出。建立数据库以oracle用户登录，执行dbca命令：$dbca点击Browse按钮，选择数据库使用的磁盘组，注意，如果在数据库软件安装的过程中改变安装路径权限，将可能导致在此处无法自动识别磁盘组。数据库创建完成。检查安装情况安装完成后登录两个节点分别查看监听：# su - oracle$ lsnrctl statusLSNRCTL for IBM/AIX RISC System/6000: Version .0 - Production on 28-APR-2011 13:40:21Copyright (c) 1991, 2009, Oracle. All rights reserved.Connecting to (ADDRESS=(PROTOCOL=tcp)(HOST=)(PORT=1521)STATUS of the LISTENER-Alias LISTENERVersion TNSLSNR for IBM/AIX RISC System/6000: Version .0 - ProductionStart Date 27-APR-2011 18:20:45Uptime 0 days 19 hr. 19 min. 37 secTrace Level offSecurity ON: Local OS AuthenticationSNMP ONListener Parameter File /oracle/11.2/grid/network/admin/listener.oraListener Log File /oracle/grid/diag/tnslsnr/ibm710a/listener/alert/log.xmlListening Endpoints Summary. (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=LISTENER) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=01)(PORT=1521) (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=03)(PORT=1521)Services Summary.Service +ASM has 1 instance(s). Instance +ASM1, status READY, has 1 handler(s) for this service.Service testdb has 1 instance(s). Instance testdb1, status READY, has 1 handler(s) for this service.Service testdbXDB has 1 instance(s). Instance testdb1, status READY, has 1 handler(s) for this service.The command completed successfully$查看listener.ora文件：$ more /oracle/11.2/grid/network/admin/listener.oraLISTENER=(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=IPC)(KEY=LISTENER) # line add