HACMP配置与维护手册

1、精品文档POWER HA5配置与维护手册2010 年 9 月 2 日目录第一章一体化系统HACM配置 31.1系统结构图 31.2拓扑规划 31.3磁盘资源规划 41.4应用规划 51.5操作系统要求 6第二章HACM日常维护 8.1HACM服务正常启停 82.1.1 HACM启动 82.1.2停止HA 9.2查看HACM集群服务状态 102.2.1查看HACM服务状态 102.2.2查看资源组的状态 102.2.3查看HACM集群状态 11第三章 系统切换方案 13.1rlw1机器应用出现故障，HACM资源切换 133.1.1切换rlw1_apprg资源组 133.1.2恢复rlw1_app

2、rg资源组 14.2hg2机器应用出现故障，HACM资源切换 163.2.1切换rlw2_orarg资源组 163.2.2 恢复 rlw2_orarg 资源组 18第四章 HACM切换测试 204.1网卡故障模拟测试 204.2rlw1系统单机故障模拟测试 214.3rlw2系统单机故障模拟测试 234.4rlw1系统 HA 手工切换测试 254.5rlw2系统 HA 手工切换测试 271欢迎。下载精品文档第一章一体化系统 HACM配置1.1系统结构图Persistent Networkent2ent2Service Networkent0P780(1)主机(LPAR rlw1)P780(2)

3、主机(LPAR rlw2)共享磁盘阵列（HDS USPV存储系统）1.2拓扑规划CLUSTER NAME:rlwclusterNetworkNode Name :rlw1rlw2Service IP (Default gate: 26/28)192.168.1/28(net_ether_01)Labelrlw1_serrlw2_serAddress 121.xxx21.xxxPersiste nt IP (Default gate: 26/28)192.168.1/28(net ether 01)Labelrlw1rlw2Address 1192.1

4、68.1.50221.7.0/28(net ether 01)Labelrlw1_boot1rlw2_boot1Address 191192.168.0/28(net_ether_01)Labelrlw1_boot2rlw2_boot2Address 291Comm. DevDevice n amerlw1_tty0_01net_rs232_01path/dev/tty0Node n amerlw1Device n amerlw2_tty0_01net_rs232_01pa

5、th/dev/tty0Node n amerlw2rlwl机器bootl地址配置在第一块外置网卡上（enO）,将boot2地址配置在第二 块外置网卡（en2）, persistent ip地址绑在第二块外置网卡上 （en2） ； rlw2机器bootl 地址配置在第一块外置网卡上（enO），将boo2地址配置在第二块外置网卡（en2）， persistent ip 地址绑在第二块外置网卡上（en2）。将两个LPAR的两块外置网卡分别 连接在两个网络交换机上，属同一个vlan。Node Namerlw1rlw2备注Boot1 IPenOenOBoot2 IPen2en2Persiste nt I

6、Pen2en21.3磁盘资源规划卷组名逻辑卷名文件系统物理卷名备注appvgapplv/appHdisk4/5/6rlw1batchlv/batchoraclevglv_data1/oracleHdisk7/8/9rlw2lv_data2/oraclellv_data2/oracle21.4应用规划Applicati on ServerNamerlw1_appStart Script/opt/app_script/rwpstart.shStop Script/opt/app_script/rwpstop.shNamerlw2_appStart Script/opt/ora_script/ora

7、_start.shStop Script/opt/ora_script/ora_stop.shResource GroupNamerlw1_apprgrlw2_orargParticipat ingNoderlw1 rlw2rlw2 rlw1Startup PolicyOnline On Home Node OnlyOnline On Home Node OnlyFallover PolicyFallover To Next Priority Node InThe ListFallover To Next Priority Node InThe ListFallback PolicyNever

8、 FallbackNever FallbackService Labelrlw1_serrlw2_serApplicati onServerrlw1_apprlw2_appShare File Systems/app /batch/oracle /oracle1 /oracle2Share Volume Groupappvgoraclevg1.5操作系统要求Required AIX 6.1 BOS Compo nentsThe followi ng AIX 5L base operat ing system (BOS) comp onents are required for HACMP:AI

9、X 6.1 BOS Compo nentAIX 5L v.5.3AIX 5L v.5.2bos.adt.lib00bos.adt.libm03bos.adt.syscalls01bos .n et.tcp.clie nt04bos .n et.tcp.server04bos.rte.SRC00bos.rteibc04bos.rteibcfg0bos.rtei bcur05.

10、2.0.10bos.rtei bpthreads02bos.rte.odm01bos.rte .l vm.rte (required only usingCon curre nt Logical Volume Man ager for con curre nt access)bos.clvm.e nh (required only usingCon curre nt Logical Volume Man ager forcon curre nt access)Requireme nts for RSCTIn stallthe RSCTim

11、ages before in stalli ngHACMPE nsure that each node has thesame versi on of RSCT.To determ ine if the appropriate filesets are in stalled and their level, issue5欢迎下载精品文档the following commands:/usr/bin/lslpp -l pat.basic.hacmp/usr/bin/lslpp -l pat.clients.hacmp/usr/bin/lslpp -l rsct.b

12、asic.rte7欢迎。下载精品文档第二章 HACM日常维护2.1 HACM服务正常启停 2.1.1 HACM启动正常HACM启动，首先启动rlwl机器上HACM服务，然后启动rlw2上的HACMP服务。操作步骤如下：以root用户登录rlwl服务器，执行#smit cistart启动rlwl上面的HA服务。Start Cluster ServicesType or select values in entry fields.Press Enter AFTER making 11 desired changes*now， on电“严p占ofEntry FieldsStart Cluster S

13、ervices on these nodes * Manage Resource GroupsBRaflDCAST message mt startup?Startup Cluster Jnfornation Daeino?Autam-atlcally False trueStart now. on system restart or bothhfloue cursor to desired item and press Enter+EfEsrestart bothri=Help Esc*8=Image /-FindF2=Refresh Esc+ D=Exit n=Find NeKtF3=Ca

14、ncel Enter=Do启动的选项有三个：now, restart ，both一般选择默认的now既可，即立即启动HARestart表示在下次系统重新启动后，系统自动HABoth表示立即启动HA并且在下次系统启动后，也自动启动 HA 选择响应选项后，回车既可。同时查看 hacmp.out启动信息：#tail- f /var/hacmp/log/hacmp.out等rlwl启动成功后，登录rlw2上的HACM服务器，启动rlw2主机上面的HA服 务。 2.1.2 停止 HA正常情况下停止是先停rlwl机器上的HACM服务，然后停rlw2上的HACM服务 操作步骤如下：以root用户登录rlwl

15、服务器，#smitty clstopStop Cluster ServicesTjpp or select values in entry fieldsPress Enter AFTER making all desired changes* Stop non, onrestart ar bothStup Cluster Seruices on these nodes DROADCAST cluster shutdown?Entry Fields nowtrue+Bring Resource Groups +Select dn Action on Resource GroupsMove cur

16、sor to desired iten and press Enter-B广ing广ce Group占 OFFiinEMove Resource Groups Unmanage Rouace GroupsE$EsFl=Mplp Esc+8=Inage /-FindF2=Refresh Esc+0=Exit n=Find NextF3=Cancel Enter=Do停止时候于三个停止选项可以选择：Bring Resource Groups Offline表示停止HA服务并释放资源组资源，其它节点不接管其资源。Move Resource Groups表示停止HA服务并释放资源组资源，其它节点接管其

17、资源。Unman aged Resource Groups 表示停止HA服务，但是不释放资源。可以采用同样方式登录rlw2机器，停止rlw2主机上面的HA服务。2.2 查看HACM集群服务状态 2.2.1 查看HACMP艮务状态可以通过命令查看节点HAC M的服务状态。操作步骤如下:以root用户登录rlwl服务器：进入至 U /usr/es/sb in /cluster/utilities目录，执行./clshowsrv - v9欢迎下载bash-?. 00* pvdI/usr/es/sbi n/cl uster/ut i 1 it i esbas h-3 - 00#- ./cl shows

18、rv -vstatus of theR.5CT 5ub5/5tems usedby hacmp:GroupPIDstatu 弓topsvcst Op5VC55204OBactivegrpsvcsgrpsvcs532724activegrpglsmgrpsvcsinoper.qfiv&emsvcsemsvcs479258activeemai xosemsvcs491564activect rm 匚r set352432activeStatus of thmHACMP subsystems:subsystemGr DUpPIDstatus匚 1 camdE5匚匸 crniciE143488acti

19、veclstrmgrEScl ust er315612activestatus of thepti onal liACF subsystems:subsystetnGroupPIJstatuscl 1nfof5JJ匚 1 usxer495656activetopsvcs、grpsvcs 、emsvcs、emaixos、ctrmc、cIcomdES、clstrmgrES、clinfoES这些服务的状态是active的说明HAMC的服务正常 2.2.2查看资源组的状态可以通过命令查看节点资源组的状态。操作步骤如下：以root用户登录rlw1服务器：进入至U /usr/es/sbin/cluster

20、/utilities目录，执行./clRGinfoGroup Name StateNode精品文档rlw2_orargONLINErlw2OFFLINErlw1rlw1_apprgONLINErlw1OFFLINErlw2资源组 rlw2_orarg 在 rlw2 上是 online 的状态，资源组 rlw1_apprg 在 rlw1 上是 online 的状态 223 查看HACM集群状态可以通过命令查看节点HACM集群的状态。操作步骤如下：以 root 用户登录 rlw1 服务器： 进入到 /usr/es/sbin/cluster目录，执行 ./clstatCluster: rlwclus

21、terThu Aug 20 02:53:48 CDT 2010State: UP Nodes: 2 SubState: STABLENode: rlw1 State:UPInterface: rlw1_boot1 (1)Address: 7State:UPInterface: rlw2_boot2 (1)Address: 7State:UPNode: rlw2 State:UPInterface: rlw2_boot1 (1)Address: 9UPUPState:Interface: rlw2_boot2 (1)Add

22、ress: 9State:#欢。迎下载精品文档第三章系统切换方案S.1 rlwl机器应用出现故障，HACM资源切换 3.1.1 切换 rlw1_apprg 资源组1.在rlwl机器上移除rlw1_apprg至到 rlw213欠迎下载system Managemenr (c-spoc2)Move cursor to dFsired irem and press Enter.卩壮訂丄护hacmp servl csshacpip 匸cimnuiTi 芯afidn mtmrFa亡色啊削dBqam包rtt hacmp Loa vi电wing a nd Ma nagsm e nt

23、HACPiP Fi 1e 匚ol 1 ection ManagemeritHACPiP security and us er5 Managementhagpip Logl cal volume Management hachp concurrent Loglvolume HanagemenxH/np Physl匚a】 vol une Managemem corrTIgiire GPF5open a SMIT session on a NodeFlHelp叩IF2-RefreshF3cancel En w=D口Esc+Simage选择第 3 项：HACMP Resource Groupand A

24、pplication Management,然后回车。显示如下:hacmp 口EMBur 丈乜 GroupAppl io n Mart a gem 5 ntMove cursor ro desired已m ind press eitceshow the 匚urrent state uf Applictlcns and Resuurce Groups Bring a Resource Group onlinen R=百tju广匚吕 GrtJUR OffIGn石Move a Resource Group t 口 AriuthEr NqcIe / SiTESuspend/Resume Applnsf

25、ion monitcrlng Appnicafiori AvallabnUty Anlysi选择第 4 项：Move a Resource Groups to Another Node/Site ，然后回车。a Resource Group to Another Mode /Move cursor to desireditem and press Enter.Move Resource Groupsto Another选择第 1 项：Move Resource Groups to Another Node ，然后回车 。选择资源组：rlw1 apprg然后回车确认选择移到的节点：rlw2然后回

26、车确认，则开始从切换资源组2.检查切换状态在rlw2机器上查看hacmp.out文件，看是否成功启动# tail - f /var/hacmp/log/hacmp.out3.1.2 恢复 rlw1_apprg 资源组rlw1机器恢复，重新接管资源rlw1_apprg1、在rlw2机器上移除rlw1_apprg到rlw1#smitty hacmp精品文档Move cursor ro desired Item and pres5 Enteinitialization and standard configuratlon Extended 匚onfigurationFroblen Determin=

27、it121。迎下载选择第3项：System Management(C-SPOC)然后回车。显示如下:system Managemenr (c-spoc2)Move cursor to desired irem and press Enter.hacmp servi ceshatpip 匸ciirmurri啊aridgani包rtthacmp Loa viewing and Ma nagement haciip File Qol 1 ectnon Mangsmerit hacpip security and users Managemerrt hacpip Logl cal volume nan

28、agemenT hacmp conurrenx Loglvolume Minagemenx HAtnp Physi匚a】 vol une Mnagemert coirTIgure GPF5open a smit session on a NodeF2=Fief reshES匚+0=対工F-CarKel En w=D口Esc+8-lmage选择第 3 项：HACMP Resource Groupand Application Management,然后回车。显示如下:hacmp Resour*: croup Appl i on ManageitieritMove cursor to desire

29、d *1tern nd press EnteShow the 匚urrent State uf Applications and ResQiirce Groups Bring a Resource Group onl 1 neBing n R匚Btjurw耳 GrtJUF OffIGn宕Move a Resource Grp up t 口 肿口廿刖 nocIe / siTEsuspend/Resume Applnxion rwntcring App neat ion Avai labnUty Analysis,然后回车。选择第 4 项：Moving a Resource Groups to A

30、nother Node/SiteHove a Resource Group to Another Mode /Move cursor to desired item and press Enter.Move Resource Groups to Another Sit选择第 1 项：Move Resource Groups to Another Node ，然后回车 。选择资源组：rlw1_apprg然后回车确认选择移到的节点：rlwl然后回车确认，则开始从切换资源组2、rlwl机器上查看hacmp.out文件，看是否成功启动# tail - f /var/hacmp/log/hacmp.ou

31、tS.2 hg2机器应用出现故障，HACM资源切换 3.2.1 切换 rlw2_orarg 资源组1. 在rlw2机器上移除rlw2_orarg至到 rlw1#smitty hacmpcursor ro desired Item and pres5 Enreiniti dli zatian 且门ci standird 匚onfiquraTl on Extended 匚onfiguratlonproblen Dete选择第3项：System Management(C-SPOC)然后回车。显示如下:system Managemenr (c-spoc2)Move cursor to desired

32、irem and press Enter.hacmp servlceshatpip 匸ciirmurri啊aridqani包rtthacmp Loa viewing and Ma nagement haciip Fi 1e Qol 1 ectnon Mangsmerit hacpip security and users Managemerrt hacpip Logl cal vol urns Management hacmp conurrenx Loglvolume Minagemenx hacnip Physl匚a】 vol une Managem已rn: coirTIgure GPF5o

33、pen a smit session on a NodeF2-RefreshES 匚+O=EjdtFcanel En w=D口Esc+Simage选择第 3 项：HACMP Resource Groupand Application Management,然后回车。显示如下:hacmp Resour*: Group nd Appl i on ManageitieritMove cursor to desired *1tern 且nd pre55 EnteShow the 匚urgent State uf Applications and ResQiirce GroupsBrnng a Reso

34、urce Group onl 1 neBing n R匚Btjurw耳 GrtJUF OffIGn宕Move a Resource Grp up t 口 AriuthEr nqcIe / site suspend/Resume Applnsxion rwntcring App neat ion Avai labnUty Analysis选择第 3 项：Moving a Resource Groups to Another Node/Site ，然后回车。Mnue a Resource Group to Another Made / sireMove cursor to desireditem

35、and press Enter.Move Resource Groupsto AnotherSite选择第 1 项：Move Resource Groups to Another Node ，然后回车 。选择资源组：rlw2_orarg然后回车确认选择移到的节点：rlw1_然后回车确认，则开始从切换资源组2. rlw1机器上查看hacmp.out文件，看是否成功启动# tail-f /var/hacmp/log/hacmp.out 3.2.2恢复rlw2_orarg 资源组1 在rlwl机器上移除rlw2_orarg至到 rlw2#smitty hacmpMove cursor ro desi

36、red Item and press Enter. init 1 -il 1 zation and standard confnquraxion Exrended匚口口尸1口口厂2上彳口门选择第3项：System Management(C-SPOC)然后回车。显示如下:system Managemenr (c-spocZ)Move cursor to desired i匸包m and press Enter.hacmp servl ceshacmp (ZcitrniurricafiQn mtmrFa亡总制aridq0ni包nthacmp Loa vn ewi ng and Ma nagerne

37、nthacpip ftTe Qol 1 ection ManagemeritHACPiP security arid users Mariagernerrt hacpip Logi cal volume ManagenenTH At pip CQnurrenx Logi volume Minagemenx H/np Physi匚a】 vol une Managemert 匚口nflgure gpfsopen a smit session on a bodeFl=HlpEH+9=th 亦IF2-RefreshF3=can丈elEnwi=D 口Esc+Simage选择第 3 项：HACMP Res

38、ource Groupand Application Management,然后回车。显示如下：hacmp Resaur-: croup ard AppHiTlon Manageitierit Move cursor to desired *lrem and press Erne5how the 匚urrent state uf Applictlcns and Resuurce Groups Brlng a Res口ur匚已 Group onllrien R=百tju广匚吕 GrtJUR OfF1in毛Move a Resource Group tu AncnihEr nqcIe /suspe

39、nd/Resume AcpHaxion MonTcring App ncafion AvallabnUty Anslysi选择第 4 项：Moving a Resource Groups to Another Node/Site ，然后回车。Move a Resource Group to Another Mad /Move cursor to desireditem and press Enter.mdur Resource Groups匸匚i Another 5ito选择第 1 项：Move Resource Groups to Another Node ，然后回车 。选择资源组：rlw2

40、_orarg然后回车确认选择移到的节点：rlw2然后回车确认，则开始从切换资源组2、rlw2机器上查看hacmp.out文件，看是否成功启动# tail - f /var/hacmp/log/hacmp.out第四章HACM切换测试乳1网卡故障模拟测试按照下面测试表格，分别在rlw1,rlw2两台台主机节点上面进行测试测试项目网卡故障模拟测试施工单位序号测试时间分钟测试目的测试HACM对网卡故障的保护能力操作预备条件操作系统运行正常、HAC M运行正常操 作 步 骤序号内容测 试 项 目 描 述预期结果实际结果1# ps - ef | grep cluster;确认所有节点上的HACM已启动。

41、所有节点上的HACM都已经启动2# errclear 0;清空系统错误日志。#tail - f/var/hacmp/log/hacmp.out ；监控HACM的运行状态。3# ifconfig en down ; 宕掉 Service 网卡。Service 网卡 down4# netstat- in ；查看另一块 boot网卡是否接管了宕掉的Service网卡的IP地址已经接管Service网卡上的IP地址5使用客户端连接数据库，并对数据库做简单操作，验证数据库完整性数据库正常连接，数据完整6# ifconfig e*? up恢复先前宕掉的service 网卡网卡恢复本项测试结论通过口未通过

42、部分通过 备注（存 在的 问题 及整 改措 施）蛍.2rlwl系统单机故障模拟测试测试项目单机故障模拟测试施工单位精品文档主机序列号测试时间分钟测试目的测试HACM的高可用性操作预备条件操作系统运行正常、HAC M运行正常操 作 步 骤序号内容测试项目描述预期结果实际结果1# ps - ef | grep cluster ;确认所有 节点(rlwl, rlw2 )上的HACM已启动。所有节点上的HACMP都已经启动2# errclear 0;清空系统错误日志。在rlw2主机执行：#tail - f/var/hacmp/log/hacmp.out ； 监控HACM的运行状态。3在rlw1节点上#

43、 halt -q系统宕机4在 rlw2 节点上 # netstat in、# lsvg - o、# ps - ef APP_PID，查看 备份节点是否接管了故障节点的 Service地址、共享卷组和应用程序rlw1 已经接 管了故障节 点的 Service 地址、共享卷 组和应用程 序5重新启动故障节点，并启动 HACMP6# netstat - in、# Isvg - o、# ps - ef APP_PID查看该节点是否将原属于 他的Service地址、共享卷组和应用程 序接管回来了原属于 rlw1 的 Service 地址、共享卷 组和应用程 序不接管回 来了7在 rlw2 上 mv rl

44、w1_apprg 资源组在rlw1 上 面 on li ne rlw1_apprg 资源组Rlw1手动接管rlw1_apprg资源和service IP本项 测试 结论通过口未通过部分通过 备注（存 在的 问题 及整 改措 施）乳3 rlw2系统单机故障模拟测试测试项目单机故障模拟测试施工单位主机序列号测试时间分钟测试目的测试HACM的高可用性操作预备条件操作系统运行正常、HAC M运行正常操 作 步 骤序号内容测试项目描述预期结果实际结果1# ps - ef | grep cluster ;确认所有 节点(rlwl, rlw2 )上的HACM已启动。所有节点上的 HACMPE已经启动2# e

45、rrclear 0;清空系统错误日志。#tail - f/var/hacmp/log/hacmp.out ； 监控HACM的运行状态。3在 rlw1 节点上 # netstat in、# lsvg - o、# ps - ef APP_PID，查看 备份节点是否接管了故障节点的 Service地址、共享卷组和应用程序rlw1 已经接管了故障 节点的Service 地址、共享卷 组和应用程 序4重新启动故障节点，并启动 HACMP6# netstat - in、# Isvg - o、# ps - ef APP_PID查看该节点是否将原属于 他的Service地址、共享卷组和应用程 序接管回来了rlw2_orarg资源和service IP不切换到rlw2节点7在rlw1上面mv rlw2_orarg资源组在rlw2上 面 on li ne rlw2_orarg 资源组Rlw2手动 接管rlw2_orarg资源和service IP