AIX+HACMP+Oracle+双机集群实施步骤.docx

AIX HACMP Oracle 双机集群实施步骤一、实现目标1、阵列硬盘分为两组分别实现 RAID5,并分别归属于两台小型机作为 datavg2、两台小型机分别运行两个不同的数据库服务，数据存放在 datavg 上，两机实现双机互备3、当有任一台小机故障时，另一台小机将自动接管故障机的数据库应用，以保证服务的持续高可用性4、双机热备切换描述：现有A、B二台机器。A机同时安装有Weblogic和Oracle,B机同时安装有Oracle和Weblogic。A机是Weblogic主机、B机是Oracle主机、A机是Oracle从机、B是weblogic从机。正常情况下是A主机和B主机提供服务。当A主机出现故障，Weblogic服务从A主机切换到B从机，与B主机一起提供服务。当A主机故障解除后，Weblogic服务从B从机切换到A主机，由A主机和B主机提供服务。当B主机出现故障，Oracle服务从B主机切换到A从机，与A主机一起提供服务。当B主机故障解除后，Oracle服务从A从机切换到B主机，由A主机和B主机提供服务二、硬件配置： 硬件平台系统软件平台品牌型号配置操作系统版本备注IBMP6-5508*4.2GHZ CPU/128GB内存 /6*146G/HBA卡：4*HBA卡AIX5.3只使用32G内存IBMP6-5508*4.2GHZ CPU/128GB内存 /6*146G/HBA卡：4*HBA卡AIX5.3只使用32G内存IBMEXP5000DS5100机头8G缓存/DS5100扩展柜7*450G光纤磁盘/DS5100扩展柜16*450G光纤磁盘=10T三、项目实施：1、硬件连接2、操作系统及配置2.1、安装 HACMP 所需扩展软件包，列表如下：pat.clients.sp2.2、安装 oracle 所需扩展软件包，列表如下：（可以和上面的包一起装）bos.cifs_f# smit install2.3、串口心跳2.3.1、串口心跳测试（使用串口线传输心跳信号）B802# lsdev -C | grep ttytty0 Avaliable 01-S1-00-00 Asynchronous TerminalB801# stty /dev/tty0 B802 机向 TTY0 输入信息B802# stty /dev/tty02.4、网络地址配置：B801 服务器：en0:01/24 boot IPen0:01/24 standby IPB801# smit tcpipB801# hostname B801B802 服务器：en0:02/24 boot IPen0:02/24 standby IPB802# smit tcpipB802# hostname B802 2.5、datavg 配置（可仅在主机上进行，完成后 import 到备机即可）B801# smit ssaraid 查看阵列中物理盘的属性- List SSA physical disk- List HotSpare/Candidate/system diskB801# smit ssaraid- Change use of an SSA phydical diskB801# smit ssaraid 选择 raid 成员创建两个 Array(hdisk)- Add an SSA ArrayB801# lspv 列出生成的两个物理卷 pv(hdisk)B801# smit vg 建 datavg801 和 datavg802,各含一个 hdisk,PP 大小 64MB801#lsvg -o 查看两卷组均已 varyon.B801# smit chvg分别定义两个 datavg 的 active automatically 属性为 No关键点：Volume grouop name 分别设为 datavg801 和 datavg802 Activate volume group automatically 设为 no(表示此处不要做(由集群软件控制)B801#varyoffvg datavg801 在 B801 机上卸载两激活卷组 B801# varyoffvg datavg802 以便备机能将 VG 信息进行 importvgB802#cfgmgr B802 机重认设备B802#importvg -y datavg801 hdisk? B802 机重认设备B802#importvg -y datavg802 hdisk? B802 机重认设备B802# lsvg -o 查看两卷组均已 varyonB802# smit chvg分别定义两 datavg 的 active automatically 属性为 no关键点：Volume grouop name 分别设为 datavg801 和 datavg802Activate volume group automatically 设为 no(表示此处不要做(由集群软件控制)B802# varyoffvg datavg801 将所有卷组在所有机器上 varyoffB802# varyoffvg datavg802 以便交由 HA 软件控制 varyonvg/varyoff2.6、应用系统启动脚本配置B801# touch /etc/801dbstart 生成 B801 服务器数据库启动脚本B801# touch /etc/801dbstop 生成 B801 服务器数据库停止脚本B801# touch /etc/802dbstart 生成 B802 服务器数据库启动脚本B801# touch /etc/802dbstop 生成 B802 服务器数据库停止脚本B801# chmod +x /etc/80*B802# touch /etc/801dbstartB802# touch /etc/801dbstopB802# touch /etc/802dbstartB802# touch /etc/802dbstopB802# chmod +x /etc/80* 3、HACMP 安装及配置3.1、安装 HACMP5.3除 HAtivoli/Haview；两类软件包外，安装其他所有 HA 软件包# smitty install3.2、双机网络地址配置B801# vi /etc/hosts(最好三个都不同)04 B802_service03 B802_service02 B802_standby01 B802_standby02 B802_boot01 B802_boot B801B802# vi /etc/hosts04 B802_service03 B802_service02 B802_standby01 B802_standby02 B802_boot01 B802_boot B8023.3、双机信任关系配置B801# vi /.rhostsB802_serviceB801_serviceB802_standbyB801_standbyB802_bootB801_bootB801# cp /.rhosts /etc/hosts.equivB801# cp /.rhosts /usr/es/sbin/cluster/netmon.cfB802 机同上设置3.4、HA 服务配置B801# cat /etc/inittab 确定 inittab 文件末行已加入启动 HA 服务clcomdES:2:once:startsrc -s clcomdES /dev/console 2&1 B801# lssrc -s clcomdES 确定 HA 服务当前为 ACTIVE 状态 B801#startsrc -s clcomdES 否则以命令启动 HA 服务B802 机同上设置（后续 HA 配置则可仅在单台主机如 B801 上进行）3.5、cluster 配置3.5.1、配置 cluster 逻辑名B801#smit hacmp -Etxtended Configuration -Extended Topology -configgure an HA cluster -Add a hacmp cluster配置 cluster 名称关键点：Cluster name 自己定3.5.2、配置 cluster 节点B801#smit hacmp -Initization -Add node指定 cluster 名称，并定义 NewNode(选择两个 boot 地址)关键点：New Nodes 选择 B801_boot 和 B802_boot B801#smit hacmp -Extended Configuration -Extended Topology -configure HA node -Add a node to HA cluster 分别定义两个 node name 为两机机器名，及各自的 communication Path 为自己的 boot IP关键点：Node name 设为 B801，对应 communication path 为B801_boot；Node name 设为 B802，则对应 communication path 为B802_boot。3.5.3、配置 cluster 中网络类型B801#smit hacmp -Extended Configuration -Extended Topology -configure HA networks -show HA networks确定系统中已有两种网络类型：net_ether_01(系统自定 IP 网络，其中包含 bootIP 和 standbyIP 的网段)； net_rs232_01(系统自定串口心跳网络)或 net_hdiskb_01(系统自定磁盘心跳网络)，并将 net_ether_01属性 enable IP address takeover via IP aliases 定义为 NO关键点：Enable IP address takeover via IP Aliases 设为 NOB801#smit hacmp -Extended configuration -Extended Topology -configure HA networks -add a network to the HA cluster若上步中无 net_ether_01 和 net_rs232_01 信息，则需手动指定添加两种网络类型:IP 网络类型 ether;rs232 （串口心跳网络）或 diskhb(磁盘心跳网络)关键点：(串口心跳 rs232 和磁盘 diskhb 只要配其中一个就行了)a.选择#pre-defined IP-based Network Types 下几行的 etherb.Enable IP address takeover via IP Aliases 设为 NOc.选择#pre-defined IP-serial Device Types 下几行的 ers232(串口心跳)d.选择#pre-defined IP-serial Device Types 下几行的 diskhb(磁盘心跳) 3.5.4、配置不同类型网络中的具体接口或设备B801#smit hacmp -Extended Configuration -Extended Topology -configure communication -Add -Predefined -Interfaces关键点：a.IP Label/Address 设为 B801_bootNode Name 设为 B801b.IP Label/Address 设为 B801_standbyNode Name 设为 B801c.IP Label/Address 设为 B802_bootNode Name 设为 B801d.IP Label/Address 设为 B802_standbyNode Name 设为 B801B801#smit hacmp -Extended Configuration -Extended Topology -configure communication/devices -Add -Predefined -devices(配串口（或者配磁盘心跳）a.选择 net_ether_01；B802 tty0 /dev/tty0b.选择 net_diskhb_01；Device Name 设为 diskhb_B801；Device Path 设为/dev/hdisk9；Node Name 设为 B801;Device Name 设为diskhb_B802；Device Path 设为/dev/hdisk9；Node Name 设为 B802。3.5.5、配置 HA 应用B801#smit hacmp -Extended Configuration-Extended Resources-Resources Configuration -Application-serversadd app server定义两机各自不同的 APP 名，及各自的服务启停脚本关键点：a.Server Name 设为 application_B801;Start Script 设为/etc/801dbstart;Stop Script 设为/etc/801dbstopb.Server Name 设为 application_B802;Start Script 设为/etc/802dbstart;Stop Script 设为/etc/802dbstop3.5.6、配置 cluster 服务 IPB801#smit hacmp -Extended Configuration -Extended Resources -Resources Configure -IP lables/Addresses -add a service IP -configurable -net_ethernet_01定义两机的 IP lables/Addresses 为各自机器的 service IP关键点：a.IP Label/Address 设为 B801_serviceb.IP Label/Address 设为 B801_service 3.5.7、配置 cluster 资源组 B801#smit hacmp -Extended Configuration-Extended Resources -Resources Group Configure -Add a resource group关键点：a.Resource Group Name 设为 resource_B801;Participating Nodes 设为 B801 B802(注意 801,802 前后顺序)b.Resource Group Name 设为 resource_B802;Participating Nodes 设为 B802 B801(注意 801,802 前后顺序)3.5.8、配置 cluster 资源组的资源B801#smit hacmp -Extended Configuration-Extended Resources -Resources Group Configure -Change attributes -resource_B801分别确定两 Resources Group 的 service IP/Address,ApplicationServers 和各自所属 VGs关键点：a.Service IP Label/Address 设为 B801_service;ApplicationServers 设为 application_B801;Volume Groups 设为 datavg801b.Service IP Label/Address 设为 B802_service;Application Servers 设为 application_B802;Volume Groups 设为 datavg8023.5.9、同步及校验 clusterB801#smit hacmp -Extended Configuration-Verification and synchronization将 HA 配置信息同步到从机如 B802 上，并进行校验关键点：Automatically correct errors found during 设为 Yes.3.5.10、启停 HAB801#smit clstart (now)B802#smit clstart (now)两机上同时启动 HA 服务关键点：Start now,on system restart or boot 设为 nowB801#lssrc -g clusterB802#lssrc -g cluster两机上同时查看 HA 服务是否正常（至少得有 clstrmgrES 有的有clsmuxpdES） B801#ifconfig -aB802#ifconfig -a两机上同时查看 bootIP 已切换为 serviceIPB801#lsvg -oB802#lsvg -o两机上同时查看 datavg 已 varyonB801#smit clstopB802#smit clstop两机上同时停止 HA 服务关键点：Stop now,on system restart or boot 设为 nowShutdown mode 设为 graceful(停节点但不接管)或 Force(停节点但不释放资源)或 Takeover(停节点，释放资源，且可以接管)Stop HA 的 3 种模式：Graceful： 停节点，释放资源，活动节点不接管Force： 停节点，不释放资源Takeover： 停节点，释放资源，活动节点接管资源B801#lssrc -g clusterB802#lssrc -g cluster两机上同时查看 HA 服务是否已停B801#ifconfig -aB802#ifconfig -a两机上同时查看 serviceIP 已切换为 bootIPB801#lsvg -oB802#lsvg -o两机上同时查看 datavg 已 varyoff3.5.11、HA 测试A.两机 clstart(now),可见 datavg801 和 datavg802 已在两机上分别varyon，然后各自拔掉 bootIP/service IP 网卡的网线，可见 serviceIP 切换到本机的 standbyIP 网卡上，两 datavg 不受影响B.接好上一步中拔掉的网线，在 B801 机上 clstop(now)并确定参数takeover，则 B801 机的 serviceIP 会切换回 bootIP，且 datavg801 在 B801机上自动 varyoff,随后 B802 机的 standbyIP 网卡自动接管 B801 机的serviceIP,同时 datavg801 在 B802 机上被自动 varyon,此时来那个 datavg 均在 B802 上被 varyonC.在 B801 机上重新 clstart(now)，则 B801 机会把自己的 serviceIP 从B802 机上收回， B801 机的 bootIP 切换为 serviceIP,datavg80 被重新 varyon到 B801 上，同时 B802 机的 standbyIP 网卡恢复 standbyIPD.在 B802 上再进行上述两步测试上述测试正常，clstop(now)关闭两机的 HA 服务，以便进行后续配置4、oracle 安装及配置（两台服务器上均需进行）4.1、oracle 安装环境检查4.1.1、mem1G#lsattr -El mem04.1.2、swapmem*1.2#lsps -a4.1.3、/tmp400M#df -k(df -m 或 df -g 都可)4.1.4、Hard Disk Space: 4G(安装所需空间)+3G(安装源文件)#df -k 4.2、AIX 扩展软件包及补丁需求#lslpp -l bos.adt.lib#lslpp -l bos.adt.libm#lslpp -l bos.perf.libbperfstat#lslpp -l bos.perf.libperfstat#lslpp -l ctools#instfix -ik IY58143#instfix -ik IY59386#instfix -ik IY60930#instfix -ik IY66513#instfix -ik IY70159#instfix -ik IY689894.3、其他参数限制#smit system -change/show characteristics of OS关键点： Maximum number of PROCESSES allowed per user 设为 2048#smit aio -change/show characteristics of AIO关键点：STATE to be configured at system restart 设为 avaliable(更改异步 IO（在oracle 中必须打开（AIX6 默认打开)4.4、增加用户和组#smit group -add group -oinstall/dba#smit user -add user -oracle#passwd oracle关键点：User Name 设为 oraclePrimary Group 设为 dba,haguserSoft file size 设为-1soft cpu time,soft data segment 设为-1soft stack size设为-1 soft core file size 设为-1注：软限 (-1 表示没有限制) 4.5、修改环境变量#vi /home/oracle/.profilePATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:$HOME/bin:/usr/bin/X11:/sbin:/usr/java6_64/jre/bin:/usr/java6_64/bin:.export PATHORACLE_TERM=vt100; export ORACLE_TERMexport TMP=/tmpexport TMPDIR=$TMPexport ORACLE_BASE=/home/oracleexport ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1export ORACLE_TERM=xtermexport ORACLE_SID=orclexport PATH=$ORACLE_HOME/bin:$PATHexportCLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibumask 022Export DISPLAY=01:0.0 (B801 设置)Export DISPLAY=02:0.0 (B802 设置)4.6、创建 oracle 文件系统及处理 oracle 安装文件#mklv -y lv_oracle rootvg 8G#smit fs#mount /oracle#chown -R oracle:oinstall /oracle#chmod -R 775 /oracle#su - oracle$cd /oracle$gunzip 10gr2_aix5l64_database.cpio.gz$cpio -icdmv show parameter spfile;SQL show parameter sgaSQL show parameter pgaspfile文件一般在windows的$ORACLE_HOME/dbs/目录下SQL create pfile from spfile;刚创建的pfile文件一般在windows的$ORACLE_HOME/database/目录下,init$ORACLE_SID.ora修改init$ORACLE_SID.ora文件中的*.pga_aggregate_target=7340032（字节:7G*1024*1024）和*.sga_target= 1690304512（字节13G*1024*1024） 的值然后SQL create spfile from pfile;在关闭数据库之前最好备份一些数据库，如果SGA大小配置不当，会遇到各种不能打开数据的问题。关闭数据库：SQLshutdown immediate启动数据库SQLstartup检查sga和pga的值SQL show parameter sgaSQL show parameter pga修改成功！4.13、两机上配置启停脚本#vi /etc/801dbstartsu - oracle -c “/etc/801dbstart.sh”#vi /etc/801dbstopsu - oracle -c “/etc/801dbstop.sh”#vi /etc/801dbstart.shexport ORACLE_SID = ora101lsnrctl start listener_ora101sqlplus sys/vvk as sysdba EOFstartup exitEOF#vi /etc/801dbstop.shexport ORACLE_SID = ora101lsnrctl stop listener_ora101sqlplus sys/vvk as sysdba EOFshutdown immediateexitEOF#vi /etc/802dbstartsu - oracle -c “/etc/802dbstart.sh”#vi /etc/802dbstopsu - oracle -c “/etc/802dbstop.sh”#vi /etc/802dbstart.shexport ORACLE_SID = ora102lsnrctl start listener_ora102sqlplus sys/vvk as sysdba EOFstartupexitEOF#vi /etc/802dbstop.shexport ORACLE_SID = ora102lsnrctl stop listener_ora102sqlplus sys/vvk as sysdba shutdown immediate;B801#ps -ef | grep ora B801#export ORACLE_SID=o