HACMP日常操作手册.docVIP

HACMP操作手册强制方式停掉 HACMP: HACMP 的停止分为 3 种，graceful（正常），takeover（手工切换），force（强制）。 下面的维护工作，很多时候需要强制停掉 HACMP 来进行，此时资源组不会释放，这样做的好处是，由于 IP 地址、文件系统等等没有任何影响，只是停掉 HACMP 本身，所以应用服务可以继续提供，实现了在线检查和变更 HACMP 的目的。host1root/smitty clstop Stop Cluster ServicesType or select values in entry fields.Press Enter AFTER making all desired changes.* Stop now, on system restart or both now Stop Cluster Services on these nodes host1 BROADCAST cluster shutdown? true* Select an Action on Resource Groups Unmanage Resource Groups 一般所有节点都要进行这样操作。强制停掉后的 HACMP 启动 : 在修改 HACMP 的配置后，大多数情况下需要重新申请资源启动，这样才能使 HACMP 的配置重新生效。host1root/smitty clstart Start Cluster ServicesType or select values in entry fields.Press Enter AFTER making all desired changes. Entry Fields* Start now, on system restart or both now Start Cluster Services on these nodes bgbcb04 BROADCAST message at startup? true Startup Cluster Information Daemon? false Reacquire resources after forced down ? true 日常检查及处理 为了更好地维护 HACMP，平时的检查和处理是必不可少的。下面提供的检查和处理方法除非特别说明，均是不用停机，而只需停止应用即可进行，不影响用户使用。不过具体实施前需要仔细检查状态，再予以实施。clverify 检查 这个检查可以对包括 LVM 的绝大多数 HACMP 的配置同步状态，是 HACMP 检查是否同步的主要方式。smitty clverify - Verify HACMP Configuration Verify ClusterType or select values in entry fields.Press Enter AFTER making all desired changes. Entry FieldsBase HACMP Verification Methods both(Cluster topology, resources, both, none)Custom Defined Verification Methods Error Count Log File to store output Verify changes only? NoLogging Standard回车即可 经过检查，结果应是 OK。如果发现不一致，需要区别对待。对于非 LVM 的报错，大多数情况下不用停止应用，可以用以下步骤解决：1. 先利用强制方式停止 HACMP 服务。 同样停止 host2 的 HACMP 服务。1. 只检查出的问题进行修正和同步 ： smitty hacmp - Extended Configuration- Extended Verification and Synchronization 这时由于已停止 HACMP 服务，可以包括”自动修正和强制同步 “。对于 LVM 的报错，一般是由于未使用 HACMP 的 C-SPOC 功能，单边修改文件系统、lv、VG 造成的，会造成 VG 的 timestamp 不一致。这种情况即使手工在另一边修正（通常由于应用在使用，也不能这样做），如何选取自动修正的同步，也仍然会报 failed。此时只能停掉应用，通过整理 VG 来解决。cldump 检查： cldump 的监测为将当前 HACMP 的状态快照，确认显示为 UP，STABLE。host1root/usr/sbin/cluster/utilities/cldump_Cluster Name: test_clusterCluster State: UPCluster Substate: STABLE_Node Name: host1 State: UP Network Name: net_ether_01 State: UP Address: Label: host1_l1_svc1 State: UP Address: Label: host1_l1_svc2 State: UP Address: Label: host1_l1_boot1 State: UP Address: Label: host1_l1_boot2 State: UP Network Name: net_ether_02 State: UP Address: Label: host1_l2_svc State: UP Address: Label: host1_l2_boot1 State: UP Address: Label: host1_l2_boot2 State: UPNode Name: host2 State: UP Network Name: net_ether_01 State: UP Address: Label: host2_l1_svc1 State: UP Address: Label: host2_l1_svc2 State: UP Address: Label: host2_l1_boot1 State: UP Address: Label: host2_l1_boot2 State: UP Network Name: net_ether_02 State: UP Address: Label: host2_l2_svc State: UP Address: Label: host2_l2_boot1 State: UP Address: Label: host2_l2_boot2 State: UPCluster Name: test_cluster Resource Group Name: host1_RGStartup Policy: Online On Home Node OnlyFallover Policy: Fallover To Next Priority Node In The ListFallback Policy: Fallback To Higher Priority Node In The ListSite Policy: ignoreNode State - - host1 ONLINE host2 OFFLINE Resource Group Name: host2_RGStartup Policy: Online On Home Node OnlyFallover Policy: Fallover To Next Priority Node In The ListFallback Policy: Fallback To Higher Priority Node In The ListSite Policy: ignoreNode State - - host2 ONLINE host1 OFFLINE clstat 检查 clstat 可以实时监控 HACMP 的状态，及时确认显示为 UP，STABLEhost1root/usr/sbin/cluster/clstat注：如果没有反应，运行 clinfo/etc/hosts 环境检查 正常情况下，2 台互备的 /etc/hosts 应该是一致的，当然如果是主备机方式，可能备机会多些 IP 地址和主机名。通过对比 2 个文件的不同，可以确认是否存在问题。host1root/rsh host2:/etc/hosts /tmp/host2_hostshost1root/diff /etc/hosts /tmp/host2_hosts 脚本检查 需要注意以下事项：i. 应用的变更需要及时修正脚本，两边的脚本需要及时同步，并及时申请时间测试。 ii. 上一点需要维护人员充分与应用人员沟通，运行环境的任何变更必须通过维护人员实施。 iii. 维护人员启停应用要养成使用这些脚本启停的习惯，尽量避免手工启停。 iv.host1root/home/scriptsrsh host2 cd /home/scripts;ls -l host1 host2 comm /tmp/host2_scriptshost1root/home/scripts ls -l host1 host2 comm /tmp/host1_scriptshost1root/diff /tmp/host1_scripts /tmp/host2_scripts 用户检查 正常情况下，2 台互备的 HA 使用到的用户情况应该是一致的，当然如果是主备机方式，可能备机会多些用户。通过对比 2 节点的不同，可以确认是否存在问题。host1root/rsh host2 lsuser -f orarun,orarunc,tuxrun,bsx1, xcom /tmp/host2_usershost1root/ lsuser -f orarun,orarunc,tuxrun,bsx1, xcom /tmp/host1_users /tmp/host1_usershost1root/diff /tmp/host1_user /tmp/host2_user 注：两边的必然有些不同，如上次登录时间等等，只要主要部分相同就可以了。还有两边 .profile 的对比，用户环境的对比。host1root/rsh host2 su - orarun -c set /tmp/bhost1root/ su - orarun -c set /tmp/ahost1root/diff /tmp/a /tmp/b tty 心跳检查 由于心跳在 HACMP 启动后一直由 HACMP 在使用，所以需要强制停掉 HACMP 进行检查。 察看 tty 速率 确认速率不超过 9600host1root/stty -a cat /etc/hosts /dev/tty0host1 上显示speed 9600 baud; 0 rows; 0 columns; eucw 1:1:0:0, scrw 1:1:0:0: 检查连接和配置 host1root/host1: cat /etc/hosts/dev/tty0host2root/host2:cat/dev/null 2/dev/null # HACMP for AIX Logfile rotation即实际上每天零点，系统会自动执行 HACMP 的检查，如果发现问题，会在 errpt 看到。除了 HACMP 检查会报错，其他运行过程中也有可能报错，大都是由于心跳连接问题或负载过高导致 HACMP 进程无法处理，需要引起注意，具体分析解决。变更及实现 由于维护的过程出现的情况远比集成实施阶段要复杂，即使红皮书也不能覆盖所有情况。这里只就大家常见的情况加以说明，对于更为复杂或者更为少见的情况，还是请大家翻阅红皮书，实在不行计划停机重新配置也许也是一个快速解决问题的笨方法。这里的变更原则上是不希望停机，但实际上 HACMP 的变更，虽然说部分支持 DARE（dynamic reconfiguration），绝大部分操作支持 Force stop 完成， 我们还是希望有条件的话停机完成。对于 DARE，我不是非常赞成使用，因为使用不当会造成集群不可控，危险性更大。我一般喜欢使用先强制停止 HACMP，再进行以下操作 , 结束同步确认后再 start HACMP。卷组变更 - 增加磁盘到使用的 VG 里 : 注意，pvid 一定要先认出来，否则盘会没有或不正常。1. 集群的各个节点机器运行 cfgmgr，设置 pvid host1root/cfgmgr host1root/lspv.hdisk2 00c1eedf6ddb9f5e host1vg hdisk3 00c1eedffa577b0e host2vg hdisk4 none none host1root/chdev -l hdisk2 -a pv=yes host1root/lspv.hdisk4 00c1eedffc677bfe none 在 host2 上也要做同样操作。 1. 运行 C-SPOC 增加盘到 host2vg: smitty hacmp-System Management (C-SPOC)- HACMP Logical Volume Management -Shared Volume Groups- Set Characteristics of a Shared Volume Group -Add a Volume to a Shared Volume Group 选择节点 VG 和磁盘增加即可 Resouce Group Name host2_RGVOLUME GROUP name hostvgReference node host2VOLUME names hdisk4完成后两边都可看到hdisk3 00c1eedffa577b0e host2vg hdisk4 00c1eedffc677bfe host2vglv 变更 lv 的变更不多，可以变更的部分如下： smitty hacmp-System Management (C-SPOC)- HACMP Logical Volume Management -Show Characteristics of a Shared Logical Volume- Shared Logical Volumes -Change a Shared Logical Volume 选择 lv * Resource Group Name host2_RG MAXIMUM NUMBER of PHYSICAL VOLUMES 8 /ora10runcMAXIMUM NUMBER of LOGICAL PARTITIONS 512裸设备增加空间： smitty hacmp-System Management (C-SPOC)- HACMP Logical Volume Management - Shared Logical Volumes-Set Characteristics of a Shared Logical Volume - Increase the Size of a Shared Logical Volume Entry Fields Resource Group Name rac2_RG LOGICAL VOLUME name XWFTPlv Reference node rac2* Number of ADDITIONAL logical partitions 100 PHYSICAL VOLUME names hdisk3 POSITION on physical volume outer_middle RANGE of physical volumes minimum MAXIMUM NUMBER of PHYSICAL VOLUMES to use for allocation Allocate each logical partition copy superstrict on a SEPARATE physical volume? File containing ALLOCATION MAP 文件系统变更 smitty hacmp-System Management (C-SPOC)- HACMP Logical Volume Management -Shared File Systems-Enhanced Journaled File Systems -Change / Show Characteristics of a Shared Enhanced Journaled File System Resource Group Name bg595b02_RG File system name /cube NEW mount point /cube SIZE of file system 6291456 Mount GROUP PERMISSIONS read/write Mount OPTIONS Start Disk Accounting? no Block Size (bytes) 4096 Inline Log? no Inline Log size (MBytes) 0服务 IP 地址变更 增加服务 IP 地址 1. 修改 /etc/hosts, 增加以下行 host1_l2_svc host2_l2_svc2HACMP 新增服务 IPsmitty hacmp- Extended Configuration- HACMP Extended Resources Configuration - Configure HACMP Service IP Labels/Addresses - Add a Service IP Label/Address- Configurable on Multiple Nodes 选择网络 Add a Service IP Label/Address configurable on Multiple Nodes (extended)Type or select values in entry fields.Press Enter AFTER making all desired changes.* IP Label/Address host1_svc2 * Network Name net_ether_01 Alternate HW Address to accompany IP Label/Address 同样增加 host2_svc21. 修正资源组 smitty hacmp-Extended Configuration-Extended Resource Configuration -HACMP Extended Resource Group Configuration -Change/Show Resources and Attributes for a Resource Group -Change/Show All Resources and Attributes for a Resource Group Type or select values in entry fields. Press Enter AFTER making all desired changes. Entry Fields Resource Group Name eai1d0_RG Participating Nodes (Default Node Priority) bgbcb11 bgbcb04 Startup Policy Online On Home Node Only Fallover Policy Fallover To Next Priority Node In The List Fallback Policy Fallback To Higher Priority Node In The List Fallback Timer Policy (empty is immediate) Service IP Labels/Addresses host1_svc host1_svc21. HACMP 同步 需要同步，参见第 2 部分的“检查和同步 HACMP 配置”一节。1. HACMP 启动 注意修改启动参数使得启动时重新申请资源，触发新增服务 IP 生效。这时 netstat -in，可以看到地址生效了。修改服务 IP 地址 如果要修改应用服务使用的 IP 地址，自然是需要停止应用来进行的。比如要将原地址 10.2.200.x 改为 10.2.201.x，路由改为 54 步骤如下：1. 正常停止 HACMP smitty clstop -graceful 1. 所有节点修改 /etc/hosts 将服务地址修改为需要的地址 host1_l2_svc host1 host2_l2_svc host2 1. 修改启动脚本的路由部分（如果需要） GATEWAY=54 1. 在一个节点修改 HACMP 的配置 smitty hacmp-Extended Configuration- HACMP Extended Resources Configuration -Configure HACMP Service IP Labels/Addresses -Change/Show a Service IP Label/Address 选择 host1_l2_svc 不做修改 ，直接回车即可，同样修改 host2 璤 l2_svc。smitty hacmp-Extended Configuration-Extended Resource Configuration -HACMP Extended Resource Group Configuration -Change/Show Resources and Attributes for a Resource Group -Change/Show All Resources and Attributes for a Resource Group 选择 host1_RG 不做修改 ，直接回车即可，同样修改 host2 璤 RG1. 同步 HACMP。 1. 重新启动 HACMP 并确认。 注意修改启动参数使得启动时重新申请资源，触发新服务 IP 地址生效。注意： 如果修改的不是应用服务要用的地址，或者修改期间对该地址的服务可以暂停，则可以将步骤 1 改为强制停止，增加第 7 步。整个过程可以不停应用服务。 7. 去除原有服务 IP 地址 netstat -in 找到该服务 IP 地址所在网卡 en2。然后执行：ifconfig en2 alias delete boot 地址变更 1. smitty tcpip 修改网卡的地址 2. 修改 /etc/hosts 的 boot 地址 3. 修改 HACMP 配置 smitty hacmp -Extended Configuration- Extended Topology Configuration - Extended Topology Configuration Change/Show a Communication Interface Node Name bgbcb04 Network Interface en1 IP Label/Address bgbcb04_boot1 Network Type ether* Network Name net_ether_01