双机集群的实施与维护(信产部IBM小型机)

1、一、HACMP 双机系统配置计划HACMP 的配置计划是一个很大的范围，它不仅包括双机系统涉及到的硬件方面的考虑（CPU， Network ，Disk）， 同时也包含其他许多方面的内容。这包括双机系统在节点失效情况下希望各节点所采取的动作，以及关键应用在节点上的负载特性优先级等。在IBM HACMP 的配置指南中推荐了一种配置计划表的方式（Planning Worksheet ），在进行配置考虑的时候将这些表格填完即可。双机系统计划表格如下：Cluster WorksheetCluster ID: 10 （注意。在设置ID号时要检查同一局域网内是否有相同ID的cluster,避免ID冲突）Cl

2、uster Name: clusterNetwork Name Network Type Network Attribute Network Mask Node Namesethernet Ether public p630b p630attynet RS-232 serial N/A p630b p630aNetwork Adapter Worksheet /etc/hosts文件内容 p630a_boot1 p630a p630a_boot2 p630a03 p630a_svc p630

3、b_boot1 p630b p630b_boot2 p630b04 p630b_svc p630bHACMP 4.5 的别名配置和传统配置有点区别，只需配置boot、service地址，service地址是服务地址，应用于应用程序的IP 地址，浮动于双机网卡之间。HACMP启动时以别名的方式加载于boot网卡上。如果一个机器上配多个boot地址，boot地址应在不同网段，service地址与boot地址也在不同网段。注意:1. Cluster ID 和Cluster Name 必须在（同一网内）唯一。Cluster ID 的取值范围为199999，而Cl

4、uster Name 的文本长度不能超过31个字符。 本案中Cluster Name 的命名为"cluster"。2. 网络地址和网络掩码都必须遵从相应的IP 地址规划。磁盘阵列上卷组和文件系统的划分表格就省略了，因为它们对双机系统的拓扑结构没有 任何影响。二、HACMP 双机系统TCP/IP 的配置在HACMP 双机系统配置计划表格中定义的网卡IP 地址需要配置。需要在操作系统AIX 中配置的是各网卡相应的boot 地址。1. 设置主机名# smitty hostname->Set the Hostname->HOSTNAME(symbolic name of

5、 your machine p630b敲enter键，OK。2. 网卡IP 地址的配置在AIX 操作系统中配置网卡的IP 地址，只需以root 用户的身份执行命令# smitty mktcpip 在弹出的菜单中选择相应的网卡接口（如：en0 或 en1 ）并按下回车键，将该网卡的IP地址及子网掩码填入此菜单中，即可分别完成对各网卡的配置。这里只需配置boot地址3. 配置各节点的 /etc/hosts 文件在 /etc/hosts 文件中加入两台主机上网卡的IP 地址和相应的IP Label。具体内容如下 p630a_boot1 p630a (p630a为机器名，也是别名1

6、 p630a_boot2 p630a03 p630a_svc p630b_boot1 p630b p630b_boot2 p630b04 p630b_svc p630b编辑完成以后注意保存编辑结果. 上述配置工作需在两台 主机上分别执行。4. 编辑各节点的/.rhosts 文件把两个节点配置成相互信任的主机，即在两台机器上分别编辑 /.rhosts 文件，内容如下：p630a_boot1 p630a_boot2 p630a_svcp630b_boot1 p630b_boot2 p630b_svc

7、完成后可用 rlogin 命令检测 /.rhosts 文件是否生效（使用 rlogin 登陆对方机器时不需使用password）。5. 检查网络配置的正确性用ping 命令检查各定义的网卡的连通性，直到所有的网卡都是连通的才做下一步的操作。配置tty 设备1. 检查tty设备是否已经配置若没有配置则使用下列菜单定义tty 设备：smitty tty-> Add a TTY选择 tty 类型(rs232 并按下回车键，选择串口设备 “s3”并按下回车键（最好不要用S1口），在此菜单中填写Port Number 0 将光标移至此字段，按下 选择port number 即可。2. 检查串口通信

8、的连通性（把串口线连在相应的串口）在 p630a 上使用命令# cat < /dev/tty0在 p630b 上使用命令# cat /etc/hosts > /dev/tty0观察p630a 上显示的数据是否正确并确保没有乱码。6定义卷组创建卷组datavg,注意要把auto varyonvg选项关闭。并在另一台机器上importvg 该配置（把vg的ID号设成一样）。三、HACMP 双机系统软件的安装在两台主机上分别安装HACMP 软件。1、将HACMP安装盘放入CD-ROM，安装HACMP 软件包及其patchsmitty installp-> Install and U

9、pdate from LATEST Available Software按下 选择 "/dev/cd0" 并按下 ，将光标移至字段 "SOFTWARE to install"，按下 ，用功能键 或 "ESC + 7" 选择软件包Cluster.adt.esCluster.es.clvm (concurrentCluster.es.cspocCluster.es.pluginsCluster.license在安装菜单中设置选项Accept new license agreements 为YES.2.安装HACMP 的补丁用Smitty

10、installp . (在也可用smitty update_all命令安装补丁.HACMP软件安装好以后要重启机器。# shutdown Fr四、HACMP的配置一、定义群组拓扑结构（Cluster Topology）选择其中一个节点完成下列步骤。假设我们选择节点 p630b 完成下列操作。1、配置双机拓扑结构(Cluster Topologya、进入Cluster Topology 配置主菜单smitty hacmp -> Cluster Configuration -> Cluster Topology即可看见双机拓扑配置主菜单。b、定义Cluster (Cofigure Cl

11、uster选择 Configure Cluster -> Add a Cluster Definition对Cluster ID 域填入10对Cluster Name 域填入cluster回车，系统执行命令。然后按 退到Cluster Topology 配置主菜单。c、定义构成Cluster 的节点（Configure Nodes选择 Configure Nodes -> Add Cluster Nodes在Node Names 域填入p630a p630b（中间用空格分开） 回车，系统执行命令，.然后按 退到Cluster Topology 配置主菜单。d、定义Cluster中网

12、卡 (Configure Adapter配置boot地址选择 Configure Networks-> Configure IP-based Networks->Add initial interface敲enter, OK；F3回到上一个菜单.IP Label p630b_boot1Network Name ethernetNetwork Attribute publicNetwork Type 敲F4选择etherNode name p630b 或敲F4选择p630b同样的方法定义p630b_boot2,p630a_boot1,p630a_boot2.配置service地址选择

13、 Configure Networks-> Configure IP-based Networks->Add Mutiple Service IP label to a network敲enter, OK；F3回到上一个菜单.同样的方法定义p630a_svc.更改service网卡的属性选择 Configure Networks-> Configure IP-based Networks->Change / Show an IP-based Adapter主要修改service网卡的节点属性，在 node name域选入p630b,同样方法改p630a_svc属性为p6

14、30a.配置串口Configure Non IP-based Networks-> Add a Non IP-based AdapterAdapter Label p650b_ttyNetwork Nme ttynetDevice name /dev/tty0Node Name p630bNetwork Type 敲F4选择rs232回车，系统执行命令，.然后按 退到Cluster Topology 配置主菜单。同样定义p650a_ttye、检查Cluster Topology 定义是否正确选择 Show Cluster Topology， 在其子菜单下有很多可以查看的方式，这里不一一细

15、述。f、同步群组中各节点上的拓扑定义选择Synchronize Cluster Topology对Ignore Cluster Verification Errors? 域选择no对Emulate or Actual? 域选择Actual回车，系统执行命令。观察系统在同步的过程中是否出现错误。若有错误则仔细检查配置步骤。若没有错误则表明Cluster Topology 已配置成功，然后退回到Cluster Configuration 配置主菜单。二、配置资源（Cluster Resource Group）1. 定义资源组 "dbres"创建资源组：选择 Define Res

16、ource Groups -> Add a Resource Group 并按下 . 1）依次填写下列字段：Resource Group Name dbresNode Relationship cascadingParticipating Node Names p630a p630b2） 按下 完成此操作。3） 按下 回到 Cluster Resource 主菜单。2. 定义application server "dbapp"a、选择 Cluster Resources > Define Application Servers > Add an Appli

17、cation Serverb、依次填写下列字段：Server Name dbappStart Script /etc/StartSybaseStop Script /etc/StopSybasec、按下 将此定义完成。(start.sh,stop.sh文件必需在配置前在两台机器上定义好d、按下 回到Cluster Resources 主菜单。3. 定义Application Monitor （根据需要而定，可以不定义）本案使用 "Custom Application Monitor" 对应用系统进行监测(前提：/home/cluster/monitor.sh 文件已编辑正确

18、）。具体配置方法如下：选择 Configure Application Monitoring-> Define Custom Application Monitor-> Add Custom Application Monitor选择 "-RG"后按下 ，依次填入下列字段：Application Server Name dbappMonitor Method /home/cluster/monitor.shMonitor Interval 30Hung Monitor Signal 9Stabilization Interval 180Restart Count

19、 0Restart Interval 0Action on Application Failure falloverNotify Method Cleanup Method /etc/StopSybaseRestart Method /etc/StartSybase按下 完成此操作。按下 Cluster Resource 主菜单。4. 定义资源组中的资源1）选择 Define Resource Groups-> Change/Show Resources/Attributes for a Resource Group2）从显示的资源组中选择要配置的资源组（RG）3）在随后显示的菜单中依次

20、填入：Service IP Label p630b_svcVolume Groups datavg bkvgApplication Servers dbapp其它各字段取其默认值。4）按下 完成此操作。5） 按下 回到 Cluster Resources 主菜单。5. 同步资源组与同步Cluster 拓扑结构相同，在Cluster Resources主菜单中选择Synchronize Cluster Resources按下 完成资源组的同步。至此，IBM HAESCRM全部安装配置完毕，oracle数据库和应用软件安装配置正确完成，则启动HA系统即可对外提供服务； 并且可以对HACMP双机系统

21、进行一系列功能和性能验证测试。五、IBM HACMP 双机系统的管理和维护本节将说明HACMP 双机软件的一些基本管理和维护命令。这些命令将会在HACMP 双机系统的日常工作中经常用到。1. HACMP 双机系统的启动要启动HACMP 双机系统，必须要有root 用户的权限分别进入到Cluster 各节点主机。在命令行上执行下述命令即可：# smit clstart或# /usr/sbin/cluster/etc/rc.cluster -boot -N -i需要注意的是在双机系统中，HACMP 双机软件先启动的节点将成为主节点拥有资源，并对外提供关键服务，后启动的节点将成为备节点。Oracle

22、 和应用系统作为群集系统资源组的一部分将随HACMP 自动启动（/home/cluster/start.sh中定义）。2. HACMP 双机系统的关闭要关闭某节点上的HACMP 双机软件，必须要有该节点root 用户的权限。以root 用户进入到 该节点主机，在命令行上执行下述命令即可：# smit clstop或# clstop -gr需要注意的是若该节点是主节点，并且备节点上的HACMP 软件亦正常运行，则需注意 clstop 关闭模式的三种选项的不同：a、forced 是指立即关闭双机软件，不调用任何客户应用的善后处理例程，不释放资源。b、graceful 是指在关闭双机软件时，将调用客

23、户应用预定义的善后处理例程，释放资源。c、takeover 是指该节点将关闭双机软件并释放资源，请求备节点进行接管。如该节点是备节点，则此关闭模式选项没有多大意义。另外，关闭HACMP 将自动关闭 应用和 Oracle 数据库（/home/cluster/stop.sh中定义）。3. 查询HACMP 双机系统的状态在双机系统的运行过程中管理员经常需要知道双机系统的当前状态，才有可能对双机系统出现的异常情况进行恢复处理，以保证双机系统的高可用性和高容错性。查询HACMP 双机系统的状态，只需以root 用户进入需要查询的节点，进行下列操作：首先检查HACMP 双机软件在该节点是否已启动。命令如下

24、：# lssrc -g cluster若是系统显示出下面类似的信息，则说明HACMP 双机软件已正常启动：Subsystem Group PID StatusclstrmgrES cluster 22500 activeclsmuxpdES cluster 23674 activeclinfoES cluster 28674 active在已确认双机软件HACMP 正常启动的情况下，在命令行执行下述命令来察看双机系统的当前状态：# /usr/sbin/cluster/clstat -a如果双机系统一切工作正常，则系统将显示下述类似信息：clstat - HACMP for AIX Cluste

25、r Status Monitor-Cluster: cluster_shenzhen(100 Thu Jan 20 08:45:17 TAIST 2000State: UP Nodes: 2SubState: STABLENode: p630a State: UPInterface: service_ip(0 Address: 0State: UPInterface: p630a_tty(0 Address: State: UPNode: p630b State: UPInterface: p630b_boot(0 Address: State:

26、UPInterface: p630b_tty(0 Address: State: UP# /usr/sbin/cluster/clfindres （看系统双机资源状态）#/usr/es/sbin/cluster/utilities/clshowres -n'p630b' （看系统双机资源配置一个节点情况）#/usr/es/sbin/cluster/utilities/clshowres -g'appres' （看系统双机资源配置一个资源情组配置）#clshowres Resource Group Name dbres Node Relationsh

27、ip cascading Site Relationship ignore Participating Node Name(s p630b p630a Node Priority Service IP Label p630b_svc Filesystems ALL Filesystems Consistency Check fsckFilesystems Recovery Method sequentialFilesystems/Directories to be exported Filesystems to be NFS mounted Network For NFS Mount Volu

28、me Groups datavg Concurrent Volume Groups Disks GMD Replicated Resources PPRC Replicated Resources AIX Connections Services AIX Fast Connect Services Shared Tape Resources Application Servers dbapp Highly Available Communication Links Primary Workload Manager Class Secondary Workload Manager Class M

29、iscellaneous Data Automatically Import Volume Groups false Inactive Takeover false Cascading Without Fallback false SSA Disk Fencing false Filesystems mounted before IP configured falseRun Time Parameters:Node Name p630bDebug Level highFormat for hacmp.out StandardNode Name p630aDebug Level highForm

30、at for hacmp.out StandardResource Group Name appres Node Relationship cascading Site Relationship ignore Participating Node Name(s p630a p630b Node Priority Service IP Label p630a_svc Filesystems ALL Filesystems Consistency Check fsckFilesystems Recovery Method sequentialFilesystems/Directories to b

31、e exported Filesystems to be NFS mounted Network For NFS Mount Volume Groups frontvg bkvg Concurrent Volume Groups Disks GMD Replicated Resources PPRC Replicated Resources AIX Connections Services AIX Fast Connect Services Shared Tape Resources Application Servers Highly Available Communication Link

32、s Primary Workload Manager Class Secondary Workload Manager Class Miscellaneous Data Automatically Import Volume Groups false Inactive Takeover false Cascading Without Fallback false SSA Disk Fencing false Filesystems mounted before IP configured falseRun Time Parameters:Node Name p630aDebug Level h

33、ighFormat for hacmp.out StandardNode Name p630bDebug Level highFormat for hacmp.out Standard4. 备份HACMP 双机系统的配置smitty hacmp -> Cluster Configuration -> Cluster snapshot在 cluster Snapshot Name 中键入 保存的文件名（可任取），如ss7_cluster;在 cluster Snapshot Description 中键入 描述内容（可任取），如ss7 cluster config。配置文件会保存在

34、/user/es/sbin/cluster/snapshot/ 目录。 备份的文件可用来做配置恢复。保存*.odm *.info5. 网卡接管功能测试在HACMP正常启动状态下，任意节点上拔去主用网卡的网线，或执行命令# ifconfig en0 down en0为主用网卡HA将启动主备网卡切换脚本Swap_adapter, 并完成主备网卡间的IP地址切换，可以通过执行命令#netstat -i重新插入网线，HA将执行join_standby脚本，但不再执行主备网卡IP地址切换。5. 节点间资源接管功能测试a、在HACMP正常启动状态下，主节点上同时拔去主备用网卡的网线，或执行命令# ifco

35、nfig en0 down en0为备用网卡# ifconfig en1 down en1为主用网卡b、在HACMP正常启动状态下，主节点上执行# smitty clstop选择Shutdown mode 为takeover方式c、在HACMP正常启动状态下，主节点上拔去其电源线，系统将掉点关机。以上三种情况下，HA都将执行节点间共享资源组的接管，在备用机上执行事件前后的状态如下：# netstat i (监测网卡配置状态#lsvg -orootvg切换后# netstat -i# lsvg -orootvgdatavg6. monitor检控功能验证本案中配置了双机检控应用功能（/home/

36、cluster/monitor.sh），对应用、数据库和HA的状态进行检控。在HA双机正常启动时，主用机上关闭oracle数据库进程、运行switchflag进程或HA进程等，HA将依据Monitor.sh所定义的运行规范进行双机资源组的切换。在备用机上采用同样方法检控到的现象与节点间资源接管类似。7. HA正常操作流程a、启动HA前必须保证：双机结构组件物理连接正确无误操作系统运行正常HA软件安装配置正确，拓扑结构和资源组同步成功完成系统当前无任何HA进程如clstrmgrES、clsmuxpdES或clinfoES运行，如果有则首先执行HA关闭操作系统当前无任何HA资源组中定义的应用进程或设备击活，如共享磁盘vg未挂接在任何节点上、属于资源组的数据库和应用进程未启动等b、HA启动过程是clstrmgrES被击活后由它在后台调用执行相关脚本完成，