51CTO下载-PowerHA SystemMirror Hands-on Guide_v0.1.doc

BluEngine L4PowerHA SystemMirror系统安装与配置试验v0.1一、实验环境介绍1.实验目标PowerHA是运行在IBM Power服务器上的一款集群管理软件。它可以通过对服务器、操作系统、应用程序的监控，实现应用的高可用性，保证业务的连续性。通过实验，可以加强对PowerHA结构的了解，进一步熟悉PowerHA在实现高可用方面的功能和特性。本实验将主要完成PowerHA的配置、一些日常管理任务以及对cluster状态的监控。2.实验环境介绍本次实验将配置2个节点的cluster。所配置的2个节点（node），实际上为同一台Power 740物理服务器上的2个VIO client分区（每分区0.4 core CPU、4GB 内存）（创建分区的过程可参考“创建VIOC”的guide），其网卡和FC卡均由VIOS来提供，生产环境中cluster 节点一般会部署在不同的物理server上。我们从逻辑上将2个分区看作是2个独立的cluster 节点来操作。逻辑图如下（ip地址视具体规划）：网卡由VIOS通过虚拟网卡提供，磁盘采用vSCSI方式访问存储获得。因SAN-based 心跳需要修改VIOS 的光纤卡属性，会影响其他的分区环境，所以本次环境中不会看到”SFWCOM”的心跳。注：要实现SAN-based心跳，需要满足以下条件（满足条件即可，不需要在cluster中配置）：A）两个节点的光纤卡在一个switch zone里B）要enable 物理光纤卡的Target Mode Enable属性 注：target mode允许一个port收到需求。C）要设置fscsi属性dyntrk=true 及fc_err_recov=fast_fail修改光纤卡属性# chdev -P -l fcs0 -a tme=yes # chdev -P -l fscsi0 -a dyntrk=yes -a fc_err_recov=fast_fail 修改磁盘为no_reserve#chdev -l hdiskX -a reserve_policy=no_reserve二、Planning & Prerequisite1.基础环境操作系统AIX SP3双机软件PowerHA SystemMirror 7.1 SP42.网络拓扑（ip地址视具体规划）Node_1Node_2Boot_ip1213Standby_ip1719Persistent_ip2021Repository diskHdisk4 (size=5G)本环境暂不具备配置SAN-based的心跳网络的条件3.资源和资源组（ip地址视具体规划，hdisk*视具体情况）Service ip14VGAppvg:hdisk2 hdisk3Application controllerApp: start.sh stop.shRGapprg4.安装初始环境在前一个实验”Power DLPAR系统管理实验”的基础之上(确认分区状态良好或重新创建VIOC分区)。当创建完VIOC的实验分区以后，安装AIX操作系统和PowerHASystemMirror软件。这里需要使用的ISO镜像文件是VIOS中的aix7_ha7_image。该镜像中已经包含AIX SP3、PowerHA 7.1 SP4，root用户的profile以及将会用到的application controller的简易脚本（“/”目录下的start.sh和stop.sh）。这里需要确认是否使用含有PowerHA介质的AIX系统image(好处是节省时间及防止分开安装时可能产生的错误)。以下步骤是分别采用含有PowerHA软件的image安装方法和分开安装AXI操作系统image和PowerHA的image的方法。4.1.含有PowerHA介质的AIX系统image具体安装步骤如下：不勾选任何分区，选中下面红框菜单在弹出窗口，选择所使用的VIOS，点击Query后，在弹出窗口按下图顺序操作然后，按下图所示顺序操作选择完成后，会看到，该镜像文件已经映射给所选Lpar，如下图出现如下界面后，点击close，接下来，我们所用的VIOC分区，就可以使用该镜像文件做成的虚拟光驱勾选VIOC分区后，打开一个虚拟终端端口，如下图点击ok后，之后弹出警告选择运行，会弹出分区的控制终端。 在如下窗口下按数字键1之后出现如下界面：选择5（启动相关选项），按回车。之后出现下图： 选择1（选择安装设备），按回车之后出现下图：选择7（列出所有可启动设备），按回车之后出现下图：由于磁盘是多路径的，所以能看到两个17GB的磁盘设备选择3（SCSI光驱为启动设备），（该数字可能会不同，请选择SCSI CD-ROM）按回车之后出现下图：选择2（正常模式启动），按回车出现下图：选择1（yes），按回车之后，该分区会读取光驱，并启动安装操作系统，等到出现如下界面，按1并回车 出现后面界面时，一路回车即可。安装操作系统并启动的时间，大概在10-20分钟。之后就可以使用root/root进行登录了。4.2.独立安装AIX系统image和PowerHA的image在安装AIX系统image时和前面的步骤相同，只不过在选择介质的时候选择独立的AIX介质。在弹出窗口，选择所使用的VIOS，点击Query后，在弹出窗口按下图顺序操作此处选择独立的AIX7介质。选择完成后，会看到，该镜像文件已经映射给所选Lpar。接下来的步骤就是安装操作系统(之前的步骤同4.1)。 Type1WaitingType 1Type 1Type 2Type 1,选择hdiskType 0Type 1,进行安装在等待操作系统安装完成之后，此处/dev/cd0为虚拟光驱。安装需要的bundle。需要安装bundle包：APP，CDE，server，Pertool#Smit installp选择install software bundle选择光盘选择APP-Dev将ACCept new license agreements 选择为yes，进行安装之后用同样方法安装剩余bundle包。接下来就是选择安装PowerHA SystemMirror 7.1软件。首先在安装前确认AIX操作系统中是否有以下包：bos.adt.lib bos.adt.libm bos.adt.syscalls bos.ahafs bos.clvm.enh bos.cluster bos.data .tcp.client .tcp.server bos.rte.SRC bos.rte.libc bos.rte.libcfg bos.rte.libcur bos.rte.libpthreads bos.rte.lvm bos.rte.odm cas.agent (required for the IBM Systems Director plug-in) 先用AIX光盘安装以下RSCT包：rsct.basic.rte pat.basic.hacmp pat.clients.hacmp 然后安装所有的HA 安装包：Smitty installp选择install and update from All Available Software5.配置前准备安装完成后的系统已经安装有PowerHA 7.1 SP4的软件，在配置cluster之前，需要做一些准备工作，包括：a）配置ip地址（每个节点的2个网卡）注：en0和en1的配置smit快捷路径不一样en0: smit mktcpip-en0（此方式要更改hostname和ip地址、掩码、网关，如下图）en1: smit chinet-en1（此方式只更改ip地址和掩码，如下图）b）配置/etc/hosts文件（2个节点都要配置）vi /etc/hostsc）配置/etc/cluster/rhosts文件（2个节点都要配置）（注意，是rhosts，不是hosts）vi /etc/cluster/rhostsd）创建共享卷组注：先在两边节点上执行lspv，检查hdisk*与 PVID的对应关系是否一致。hdisk*视具体情况。如一致，在node1上执行 mkvg -y appvg -CSfn hdisk2在node2上执行 importvg -y appvg hdisk2E）建立启停脚本 Mkdir /etc/app Cd /etc/app Touch start.sh stop.sh Chmod 700 *F) lssrc -g caa查看CAA状态(属于操作系统的进程，这点和以往的PowerHA不同),如果有的子系统没有启动用starsrc -g caa，进行启动三、配置cluster配置cluster的工具-SMIT是一个树形结构的菜单，按Enter进入下级菜单，按ESC+3（组合键）返回上级菜单。以下配置过程在其中一个节点操作即可。（可通过hmc的虚拟终端登录，或者配了ip地址后telnet登录）在命令行输入smit sysmirror或者smit hacmp（以前版本的快速路径，现在仍然保留）可以进入到如下菜单PowerHA SystemMirror提供两种方式的配置方式：典型配置方式和自定义配置方式（即以前版本中的扩展配置方式），自定义配置方式提供更多的可选菜单，提供更多的功能，如事件管理等。这两种配置方式提供给用户更高的简便性和灵活性。以下操作采用典型配置方式进行。配置cluster的大致步骤如下：a) 创建cluster，包括cluster的名字、节点和ip心跳网络b) 指定repository diskc) 为每个节点添加persistent ipd) 添加应用的起停控制脚本e) 添加service ipf) 创建资源组，并设置资源组的启动、切换和回切策略g) 将资源（service ip、应用起停脚本、共享卷组、文件系统等）加入资源组h) 校验配置，并同步1.创建cluster进入第一项：注：默认情况下，此步创建cluster结束后，各节点以及各节点之间的通讯网络都已自动创建完成(可在Manage Networks and Network Interfaces-Networks-Change/Show a Network中查看。)如发现未定义网络，可以通过以下图示添加和管理心跳网络及接口，如定义cluster时已经创建，可忽略此处2.定义repository disk 创建cluster成功后，ESC+3 返回上级菜单，定义Rep Disk，如下图注：Repository Disk是PowerHA 7.1 的一种新的心跳方式，它除了为各节点交换心跳信息之外，也储存cluster配置信息。其在cluster内具有重要的作用。该磁盘要让所有节点都能够访问，其大小需大于1GB，且该磁盘不能用于其他用途。当它被定义成Repository Disk时，并且同步配置后，操作系统会把它单独创建成卷组caavg_private，同时其上会有4个lv，如下图由于repository disk上可能会残留上次HA环境中的信息，建议创建完以后，进行Verify and Synchronize Cluster Configuration，然后通过lsvg命令，查看是否创建caavg_private的vg。如果没有创建，可能是由于该次使用的repository disk上有上次ha环境中残留的caavg_private vg的信息导致创建失败，需要使用如下命令在两个分区上手动删除之前残留的信息：rmcluster r hdiskX，然后再次创建repository disk。（在5.3节有介绍如何删除repository disk）3.配置persistent ip返回上级菜单，进入-manage nodes，选择配置persistent ip要为2个节点依次添加persistent ip至此，一个两节点的cluster的拓扑结构就配置完成，下面进行资源和资源组的配置4.配置应用起停控制脚本输入命令smit systemmirror到主菜单下后，进入第二项配置应用、资源和资源组进入下图第一项，配置应用起停脚本注1：在此处，可以看到PowerHA SystemMirror 7.1可以配置对应用的监控。它可以监控应用在启动时是否能够正常启动，在运行过程中是否出现意外的中止。并且还可以对如何判断意外设置参数，及出现应用异常时所要采取的措施。PowerHA通过加强对应用的监控，更好的保证了应用的高可用性。如下图，填写正确的脚本路径后，回车5.配置service ip注：PowerHA SystemMirror 7.1 可以对service ip的分布方式进行设置，设置方式如下图按下图所示，完成service ip的添加6.创建资源组并设置策略注：PowerHA提供多种方式控制资源组启动、切换、回切，方便灵活的控制资源组，这些策略简单介绍如下：启动策略Online On Home Node Only只在高优先级节点启动Online On First Available Node在cluster内第一个可用节点启动Online Using Node Distribution Policy在多个RG启动时可使RG分布在不同节点Online On All Available Nodes在所有节点启动（需要RG支持）切换策略Fallover To Next Priority Node In The List切换到下一优先级节点Fallover Using Dynamic Node Priority根据各节点内存、CPU、硬盘情况动态判断Bring Offline (On Error Node Only)不切换，offline资源组回切策略Fallback To Higher Priority Node In The List回切到当前cluster内最高优先级的节点Never Fallback不回切7.将资源添加至资源组8.校验配置并同步、启动cluster到此为止，cluster的网络拓扑及相应的资源组均已配置完成，下面可以开始校验、同步。当cluster在本机校验正确时，然后同步到cluster中的其他节点，之后我们可以启动cluster。9.PowerHA启动及测试1. 使用smit clstart 和smit clstop进行HA启停2. 使用lssrc -ls clstrmgrES 查看HA状态3. 使用tail -f /var/hacmp/log/hacmp.out 查看HA启动日志4. HA启动后，在一端分区执行halt -q命令进行切换测试10.PowerHA基本问题日志1. 在同步ha时报错，可以查看/var/adm/ras/syslog.caa日志2. 日常维护是可以查看/var/hacmp/log中的hacmp.out及cluster日志四、监控cluster在cluster启动之后，我们需要对cluster的状态进行监控，可以有以下方式：1. lscluster lscluster -i|-m|-d|-s|-cPoint-of-contact：本地节点显示N/A，remote 节点接口状态是up，表示本地节点通过该接口有心跳在传输。其他配置选项，可自己练习观察，也可以通过man来查看具体选项。2.clstat o该命令可以查看cluster处于什么状态，节点数，以及各节点的ip情况。注：要使用该命令，cluster内各节点都需将SNMP v3转换成 SNMP v1.stopsrc -s snmpd;/usr/sbin/snmpv3_ssw -1;startsrc -s snmpd.此外，为方便直接使用clstat，可设置环境变量,在“/”目录下，vi .profile,添加export PATH=$PATH:/usr/es/sbin/cluster:/usr/es/sbin/cluster/utilities 重新登录后生效。3.clRGinfo该命令可以查看资源组的状态4.lssrc -g 该命令查看caa及cluster等子系统进程信息5.clcmd该命令可以使aix命令在多个及至cluster所有节点内执行。格式为 clcmd aix命令如 clcmd lspv6.smit cl_admin该命令进入的是 smit sysmirror里的C-SPOC菜单该菜单可以进行诸多cluster任务管理，包括状态监控等。五、实验举例1.资源组迁移本次主要演示资源组的漂移过程，之前定义的apprg资源组包括service ip、appvg以及app的起停脚本。先查看一下当前资源组及相应资源状态：node1:可以看到，apprg资源组在node1上onli