AIX6.1+HACMP+oracle11g_R2 主备 安装手册 V1.docx

数据存储系统测试方案 版本：V1.0 技术顾问：曹利民AIX6.1+HACMP6.1+ROACLE11G_R21 前期系统准备工作1.1 安装AIX61061.2 修改时区、时间修改时间#smitty date修改时区1.3 修改密码#smitty passwd1.4 设置主机名、IP#smitty mktcpip进入系统1.5 双网卡绑定#smitty etherchannel1.1 IP地址规划系统启动时HACMP启动时网卡1损坏时网卡2也损坏时ora1Boot1：网卡1启动地址010105 服务IPPersistent IP：别名地址本节点永久IP管理IP01Boot2：网卡2启动地址010105 服务IP切换速度快- 30sora2Boot1：网卡1启动地址0322Persistent IP：别名地址本节点永久IP管理IP03Boot2：网卡2启动地址0305 服务IP切换需要时间1.2 修改 /etc/hosts 文件添加： loopback localhost # loopback (lo0) name/addresshosts1 ora1 ip01 ora1_boot1 ora01 ora1_boot201 ora1_pershosts2 ora2 ip03 ora2_boot2 ora03 ora2_boot203 ora2_persoracle service ip05 service1.3 扩容1装完系统后默认的文件系统大小chfs -a size=6G /chfs -a size=6G /usrchfs -a size=6G /varchfs -a size=6G /tmpchfs -a size=6G /homechfs -a size=6G /adminchfs -a size=6G /opt2 #lsps a 扩容swap分区默认swap更改后的swap大小2.1 做镜像1将hdisk1添加到rootvg里2将roortvg中的两块硬盘做镜像3 将启动信息添加到hdisk1，并且更改启动列表。2.2安装基本软件：AIX 6.1需要安装如下软件包： bos.adt.base bos.adt.lib bos.adt.libm bos.perf.libperfstat or later bos.perf.perfstat ctools rsct.basic.rte pat.clients.rte xlC.aix61.rte (or later)AIX 5.3需要安装如下软件包： bos.adt.base bos.adt.lib bos.adt.libm bos.perf.libperfstat or later bos.perf.perfstat ctools rsct.basic.rte pat.clients.rte xlC.aix50.rte (or later) 以上filesets 安装与否可以用命令 lslpp l进行检查确认。检查基本包：#lslpp -l |grep *#lslpp -l |grep bos.data*lslpp -l |grep bos.adt.base lslpp -l |grep bos.adt.lib lslpp -l |grep bos.adt.libm lslpp -l |grep bos.perf.libperfstat lslpp -l |grep bos.perf.perfstat lslpp -l |grep ctools lslpp -l |grep rsct.basic.rte lslpp -l |grep pat.clients.rte xlC.aix50.rte(AIX5.3) lslpp -l |grep xlC.aix61.rte(AIX6.1)3.1 unzip软件包安装下载地址：/systems/power/software/aix/linux/toolbox/ezinstall.htmlora1#rpm -Uvh unzip-5.51-1.aix5.1.ppc.rpm3.2 安装CDE （远程图形连接）#smitty install安装完CDE包后，需要运行/etc/rc.dt#./rc.dt3.3 安装JAVA（安装最新JAVA）1#tar xvh java7_64.jre.tar先安装jre,再安装sdk2 #smitty install编辑/etc/environmentPATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:/usr/bin/X11:/sbin:/usr/java7_64/jre/bin:/usr/java7_64/binJAVA_HOME=/usr/java7_642.1 安装firefox（略过）系统其它设置2.2 修改#vi /etc/security/limits重启 #shutdown Fr2 预安装检查与规划2.1 我的硬件环境2.2 下载软件下载 Oracle11gR2 for AIX 软件： /technology/software/products/database/oracle11g/112010_aixsoft.html 下载：aix.ppc64_11gR2_database_1of2.zip、aix.ppc64_11gR2_database_2of2.zip、aix.ppc64_11gR2_grid.zip 这三个包。上传到主机上，并使用 unzip 解压缩，AIX下默认没有安装 unzip，可以其中一张Linux 软件包光盘中找到，这张光盘是会随机带过来的，另外在解压的时候要特别注意一下，解压时 aix.ppc64_11gR2_database_1of2.zip、aix.ppc64_11gR2_database_2of2.zip 这两个包要解到同一个目录下，aix.ppc64_11gR2_grid.zip 包解到另一个不同的目录下，我在安装的时候就是因为没有将 db 的这两个包解压到同一下目录下结果在安装 db时报找到文件的错误，具体的错误下面有载图。数据库包：aix.ppc64_11gR2_database_1of2.zip、aix.ppc64_11gR2_database_2of2.zip 网络架构包(类似 10g的群集软件包)：aix.ppc64_11gR2_grid.zip$pwd /u01/soft/db $gunzip aix.ppc64_11gR2_database_1of2.zip $gunzip aix.ppc64_11gR2_database_2of2.zip$pwd /u01/soft/grid $gunzip aix.ppc64_11gR2_grid.zip2.3系统硬件环境检查验证方法： 1、确认内存大小 localhost /usr/sbin/lsattr -E -l sys0 -a realmem realmem 1048576 Amount of usable physical memory in Kbytes False2、确认SWAP 空间，最少2G。 localhost /usr/sbin/lsps -a Page Space Physical Volume Volume Group Size %Used Active Auto Type hd6 hdisk0 rootvg 4096MB 12 yes yes lv3、确认/tmp大于 1.5GB和Oracle 目录空间15GB4、确认系统结构 localhost /usr/bin/getconf HARDWARE_BITMODE 64 5、确认系统CPU 个数和主频： # lsdev -C |grep proc proc0 Available 00-00 Processor proc1 Available 00-01 Processor # lsattr -E -l proc0frequency 752010000 Processor Speed False state enable Processor state False type PowerPC_RS64-III Processor type False # lsattr -E -l proc1 frequency 752010000 Processor Speed False state enable Processor state False type PowerPC_RS64-III Processor type False 2.4系统参数文件lsattr -EH -l sys0 -a ncargs 检查内核参数ncargs的值lsattr -EH -l sys0 -a maxuproc 检查内核参数maxuproc的值lsattr -EH -l sys0 -a maxreqs 在AIX5.3中检查内核参数maxreqs的值ioo -o aio_maxreqs 在AIX6.1中检查内核参数maxreqs的值修改命令 ：chdev -l sys0 -a ncargs=256chdev -l sys0 -a maxuproc=16384 chdev -p -l aio0 -a maxreqs=65536 在AIX5.3中设置内核参数maxreqs的值ioo -o aio_maxreqs=65536 在AIX6.1中检查内核参数maxreqs的值修改命令 ：no -p -o tcp_ephemeral_low=9000no -p -o tcp_ephemeral_high=65500no -p -o udp_ephemeral_low=9000no -p -o udp_ephemeral_high=65500no -p -o udp_sendspace=655360no -p -o udp_recvspace=655360no -p -o tcp_sendspace=655360no -p -o tcp_recvspace=655360no -p -o rfc1323=1no -p -o sb_max=1310720 no -r -o ipqmaxlen=5123 用户和组设置创建用户： Oracle 主组是dba组为：dba。 #smitty mkgroup创建用户#smitty mkuser3.1.1 修改用户属性1设置oracle用户密码： #passwd oracle3.1.2 修改安装目录权限创建两个文件系统，分别挂载到/oracle, /oradata更改文件系统权限统权限： # chown -R oracle:dba /oracle# chown R oracle:dba /oradata# chmod -R 775 /oradata#chmod R 755 /oracle3.1.3 修改.profile文件oracle用户的.profile最后，增加如下内容： export DISPLAY=54:0.0umask 022 export ORACLE_BASE=/oracle export ORACLE_HOME=$ORACLE_BASE/product/11g export ORACLE_SID=testdb export ORACLE_UNQNAME=testdb export PATH=.:$PATH:$HOME/bin:$ORACLE_HOME/bin export PATH=$PATH:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin export PATH=$PATH:$ORACLE_BASE/common/oracle/binexport ORACLE_PATH=$PATH:$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin export PS1=hostname:$PWD$export ORACLE_TERM=xterm检测环境安装Oracle的基本环境配置完成，本次试验先安装调试HACMP。4 HACMP安装调试1) 安装HACMP软件在两台机器上都要安装HACMP软件#cd /soft/HACMP6.1#smitty isntallp此次安装HA时没有安装nfs和hativl包2) HACMP基本配置：在单机操作即可：3) 添加群集名：ora1#smitty hacmpExtended ConfigurationExtended Topology ConfigurationConfigure an HACMP ClusterAdd/Change/Show an HACMP Cluster* Cluster Name CLUSTER4) 添加节点：Configure HACMP Nodes Add a Node to the HACMP Cluster* Node Name ora1 Communication Path to Node ora1_boot1 * Node Name ora2 Communication Path to Node ora2_boot1 5) 节点发现：Discover HACMP-related Information from Configured Nodes6) 定义网络结构：Extended Topology ConfigurationConfigure HACMP NetworksAdd a Network to the HACMP Cluster ether (第一个)Add an IP-Based Network to the HACMP ClusterType or select values in entry fields.Press Enter AFTER making all desired changes. Entry Fields* Network Name net_ether_01* Network Type ether* Netmask(IPv4)/Prefix Length(IPv6) * Enable IP Address Takeover via IP Aliases Yes Yes 采用别名方式 + IP Address Offset for Heartbeating over IP Aliases 7) 添加网路结构Configure HACMP Communication Interfaces/DevicesAdd Communication Interfaces/Devices注：建议在此做次HACMP同步，确认以上步骤没有问题。1) 添加永久IP：Configure HACMP Persistent Node IP Label/AddressesAdd a Persistent Node IP Label/Address添加对应节点的永久IP 2) 添加服务IP：Extended Resource ConfigurationHACMP Extended Resources ConfigurationConfigure HACMP Service IP Labels/AddressesAdd a Service IP Label/AddressConfigurable on Multiple Nodesnet_ether_01 (/24 /24 /24)3) 添加磁盘心跳1Extended ConfigurationExtended Topology ConfigurationConfigure HACMP NetworksManage Concurrent Access Volume Groups for Multi-Node Disk HeartbeatCreate a new Volume Group and Logical Volume for Multi-Node Disk Heartbeat选择相应的磁盘即可注意：如果是安这个配置选的磁盘心跳，那么就不用再在网络里面添加diskhb了，HA会自动添加一条心跳网络到配置里。而且在后续的资源组属性设置时HA也会自动设置好 【磁盘心跳】这个资源组的属性（即：并发资源组属性）4) 定义磁盘心跳1Extended Topology ConfigurationConfigure HACMP NetworksAdd a Network to the HACMP Cluster5) 添加磁盘心跳Configure HACMP Communication Interfaces/DevicesAdd Communication Interfaces/DevicesAdd Pre-defined Communication Interfaces and DevicesCommunication Devicesnet_diskhb_016) 添加心跳heartvg2 同理7) 添加脚本：Extended Resource ConfigurationHACMP Extended Resources ConfigurationConfigure HACMP Application Servers Configure HACMP Application Servers添加脚本Add an Application Server8) 添加资源组：Extended Resource ConfigurationHACMP Extended Resource Group ConfigurationAdd a Resource Group9) 修改和定制资源组Extended Resource ConfigurationHACMP Extended Resource Group ConfigurationChange/Show Resources and Attributes for a Resource Grouporaresource看一下磁盘心跳资源组的属性，这里是HA自动定义好的，无需更改10) 同步HACMP的配置11) 启动HACMP#smitty clstart在两台机器上分别查看卷组和永久IP 是否启动。第一台机器磁盘和IP：因为HA配置为主备，所以oradata只在主机上启动，心跳磁盘时并发模式，所以在两台机器上都启动永久IP 现在在en4网口上，服务IP 在en2网口上第二台机器：心跳磁盘已启动，oradata只在主机上启动永久IP 在en4网口上12) 查看#lssrc g cluster13) HA切换#smitty clstop 在第一台机器上停止HA查看卷组状态查看IP地址状态服务IP 05 已经不在第一台机器上。查看第二台机器卷组状态，卷组oradata已经启动查看IP地址状态，服务IP 05 已经切换到第二台机器的en2网口上。5 Oracle安装查看oracle安装程序的权限更改权限#chmod R 755 /soft/oracle#chown R oracle:dba /soft/oracle运行./runInstall进行安装 用root用户执行这两个脚本数据库程序安装完成。$dbca创建库文件 Netcat Netcat 6 测试HACMP+Oracle 主备模式1.1 模拟故障状况：en4 网络接口故障a) 测试前系统状态：en0+en1 双网卡绑定为en4测试前en4状态为UP，并且服务IP 05在en4网口上。HACMP已经启动，卷组启动正常Oracle进程正常b) 测试方法：首先模拟故障，在AIX系统中输入ifconfig en4 down然后模拟恢复，在AIX系统中输入ifconfig en4 upc) 正常结果：在模拟故障后，Service IP应该切换至standby IP所在的接口，同时用ping和netstat-in测试网络的连通性并查看/tmp/hacmp.out中的网络接口错误信息。在模拟恢复后，Service IP不切回en4接口，而是继续附加在en2网口上，同时用ping和netstat-in测试网络的连通性并查看/var/hacmp/log/hacmp.out中的网络接口可用信息。d) 测试过程：输入ifconfig en4 down，模拟en4网络接口故障：在主机上测试en4网口#ifconfig en4 down。en4上的服务IP 05 已经切换到了en2上。输入ping 和netstat -in命令后系统状态截图如下：#ps ef |grep ora查看oracle进程状态hacmp.out中的网络接口错误信息如下：HACMP Event SummaryEvent: TE_SWAP_ADAPTERStart time: Thu Jul 12 08:47:41 2012End time: Thu Jul 12 08:47:44 2012Action:Resource:Script Name:-No resources changed as a result of this event-Jul 12 08:47:45 EVENT START: fail_interface ora1 01:fail_interface+58 high = high :fail_interface+58 version=1.12:fail_interface+59 :fail_interface+59 cl_get_pathHA_DIR=es:fail_interface+60 :fail_interface+60 cl_get_path -SOP_SEP=:fail_interface+62 2 -ne 2 :fail_interface+68 NODENAME=ora1:fail_interface+69 ADDR=01:fail_interface+70 PREFIX_LEN=:fail_interface+71 ADDR_FAMILY=:fail_interface+73 set -u:fail_interface+75 :fail_interface+75 dspmsg scripts.cat 8062 Interface 01 has failed on node ora1.n 01 ora1MSG=Interface 01 has failed on node ora1.:fail_interface+76 echo Interface 01 has failed on node ora1.:fail_interface+76 1 /dev/console:fail_interface+78 ora1 = ora1 :fail_interface+82 :fail_interface+82 cut -d -f3:fail_interface+82 cllsif -J -Sn 01NETWORK=net_ether_01:fail_interface+85 :fail_interface+85 odmget -qname=net_ether_01 HACMPnetwork:fail_interface+85 sed s/g:fail_interface+85 awk $1 = alias print $3ALIASING=1:fail_interface+85 1 = 1 :fail_interface+88 saveNSORDER=UNDEFINED:fail_interface+89 NSORDER=local:fail_interface+89 export NSORDER:fail_interface+90 netstat -inName Mtu Network Address Ipkts Ierrs Opkts Oerrs Collen2 1500 link#2 5c.f3.fc.8e.10.b0 1203115 0 805148 0 0en2 1500 10.1 01 1203115 0 805148 0 0en2 1500 192.168.1 01 1203115 0 805148 0 0en2 1500 192.168.1 05 1203115 0 805148 0 0en4* 1500 link#3 5c.f3.fc.8e.10.a0 218961 0 128837 12967 0en4* 1500 192.168.2 01 218961 0 128837 12967 0lo0 16896 link#1 193088 0 193088 0 0lo0 16896 127 193088 0 193088 0 0lo0 16896 :1%1 193088 0 193088 0 0输入ifconfig en4 up模拟恢复后：查看oracle进程输入ping 和netstat -in命令后系统状态截图如下：（Service IP 状态，en2 IP状态）hacmp.out中的网络接口信息如下：HACMP Event SummaryEvent: TE_JOIN_ADAPTERStart time: Thu Jul 12 08:52:02 2012End time: Thu Jul 12 08:52:03 2012Jul 12 08:52:03 EVENT START: join_interface ora1 01:join_interface+57 high = high :join_interface+57 version=1.9:join_interface+58 :join_interface+58 cl_get_pathHA_DIR=es:join_interface+59 :join_interface+59 cl_get_path -SOP_SEP=:join_interface+61 2 -ne 2 :join_interface+67 NODENAME=ora1:join_interface+68 ADDR=01:join_interface+69 BOOTIF=:join_interface+70 ADDR_FAMILY=:join_interface+71 PREFIX_LEN=:join_interface+73 set -u:join_interface+74 ora1 = ora1 :join_interface+80 :join_interface+80 awk -F -v bootif=01 ($2=boot & $7=bootif) printf(%sn,$9):join_interface+80 cllsif -J -Si ora1BOOTIF=en4:join_interface+80 -n en4 :join_interface+83 cllsif -J -Sn 01:join_interface+83 cut -d -f12:join_interface+84 read IF_ALIAS:join_interface+84 tr :join_interface+84 -n :join_interface+113 :join_interface+113 dspmsg scripts.cat 8064 Interface 01 is now available on node ora1.n 01 ora1MSG=Interface 01 is now available on node ora1.:join_interface+114 echo Interface 01 is now available on node ora1.:join_interface+114 1 /dev/console:join_interface+116 exit 0Jul 12 08:52:03 EVENT COMPLETED: join_interface ora1 01 0e) 测试结论：当en4网络接口出现故障时，server IP会自动漂移到standby IP所在的接口，对应用有影响，客户端连接服务IP地址会断开1520秒1.2 模拟故障状况：en0 网络线缆故障a) 测试前系统状态en0+en1 双网卡绑定为en4b) 测试方法：首先模拟故障，拔掉en0的网线。然后模拟恢复，重新插上en0的网线。c) 正常结果：由于我们en0和en1 网卡绑定为en4，单独拔掉一条网线对应用没有影响, 同时用ping 和 netstat -in测试网络的连通性并查看/tmp/hacmp.out中的适配卡错误信息。d) 测试过程：拔掉en0网线，模拟en0网络线缆故障：输入ping 和netstat -in命令后系统状态截图如下：hacmp.out中的网络接口错误信息如下：hacmp.out中没有关于en0网络故障的信息。插上en0网线，模拟恢复后：输入ping 和netstat -in命令后系统状态截图如下：hacmp.out中的网络接口错误信息如下：hacmp.out中没有关于en0网络故障的信息。e) 测试结论：对应用的影响程度：对应用无影响。切换时间：IP地址不切换。1.3 模拟故障状况：en0+en1 网络线缆故障a) 测试前系统状态en0+en1 双网卡绑定为en4b) 测试方法：首先模拟故障，拔掉en0+en1的网线。然后模拟恢复，重新插上en0+en1的网线。c) 正常结果：在模拟故障后，Service IP应该切换至standby IP所在的接口，同时用ping 和 netstat -in测试网络的连通性并查看/tmp/hacmp.out中的适配卡错误信息。在模拟恢复后，Service IP不切回en4接口，而是在en2是。同时用ping 和 netstat -in测试网络的连通性并查看/tmp/hacmp.out中的网络接口可用信息d) 测试过程：拔掉en0和en1网线，模拟en0和en1网络线缆故障：服务IP 05在en4(en0+en1绑定后的网口)没拔掉en4网线之前，服务IP05和永久IP是在en4网口上。拔掉en0和en1的网线输入ping 和netstat -in命令后系统状态截图如下：#netstat in 命令可以看到服务IP05和永久IP已经漂移的en2网卡上拔掉en0+en1的网线和在系统里用命令#ifconfig en4 down的结果一样，都会造成服务IP地址短暂的断开并切换，服务IP地址断开并切换会导致客户端失去与服务器端的连接。hacmp.out中的网络接口错误信息如下：:fail_interface+96 :fail_interface+96 clgetif -n 01:fail_interface+96 LC_ALL=CNETMASK= :fail_interface+97 :fail_interface+97 clgetif -a 01:fail_interface+97 LC_ALL=CIF1=en4 :fail_interface+98 BOOT1=01:fail_interface+101 :fail_interface+101 awk -F -v net=net_ether_01 -v if1=en4 ($2=boot & $3=net & $9!=if1) printf(%sn,$7):fail_interface+101 cllsif -J -Si ora1BOOT2=01:fail_interface+101 -n 01 :fail_interface+101 _AIX_ = _AIX_ :fail_interface+108 :fail_interface+108 awk -v boot1=01 (NR 4 & $1!=default & $2=boot1 & $3=U) printf(%s %s,$1,$2):fail_interface+108 netstat -rnBROUTE=192.168.2/24 01:fail_interface+108 -n 192.168.2/24 01 :fail_interface+108 clgetnet 01 :fail_interface+108 clgetnet 01 :fail_interface+108 = :fail_interface+108 UNDEFINED != UNDEFINED :fail_interface+169 export NSORDER=:fail_interface+174 exit 0Jul 10 23:58:14 EVENT COMPLETED: fail_interface ora1 01 0HACMP Event SummaryEvent: TE_FAIL_ADAPTERStart time: Tue Jul 10 23:58:13 2012End time: Tue Jul 10 23:58:14 2012插上en0和en1网线，模拟en0和en1恢复：输入ping 和netstat -in命令后系统状态截图如下：hacmp.out中的网络接口错误信息如下：:join_interface+57 high = high :join_interface+57 version=1.9:join_interface+58 :join_interface+58 cl_get_pathHA_DIR=es:join_interface+59 :join_interface+59 cl_get_path -SOP_SEP=:join_interface+61 2 -ne 2 :join_interface+67 NODENAME=ora1:join_interface+68 ADDR=01:join_interface+69 BOOTIF=:join_interface+70 AD