hacmp4.5新功能手册

hacmp4 5 软件预要求 1 新特点和新功能 1 易用性上的增强 2 在线配置计划表 Online Plan Worksheets 2 客户传呼机通知功能 3 动态节点优先级策略 5 资源组处理的定序 6 增强的选择性资源接管粒度 8 增强的并发模式和 64 位 clinfo API 8 HACMP 管理功能上的增强 8 用户可自定义 config too long 告警出现的时间 9 WEB 方式的 clstat 命令 9 增强的事件概述显示 10 应用服务可用性分析工具 11 网络功能上的增强特性 12 固定的节点 IP 别名 13 广域网通讯支持 14 增强的网络拓扑自动搜索功能 14 通过 IP 别名实现的 IP 地址接管 15 新的设备支持 18 软件预要求软件预要求 HACMP 要求 AIX 5L Version 5 1 和 RSCT Version 2 2 1 0 本书内容基于 AIX 5L Version 5 1 ML02 及 HACMP 4 5 PTF 1 还需要安装如下的软件包 bos adt libm 5 1 0 0 bos adt syscalls 5 1 0 0 bos data 5 1 0 0 pat basic hacmp 2 2 1 0 pat clients hacmp 2 2 1 0 vacpp msg en US ioc rte vacpp ioc aix50 rte 针对 RSCT 还需要如下软件包 csm client 1 1 0 25 devices chrp base ServiceRM 1 1 0 25 新特点和新功能新特点和新功能 作为 IBM 群集产品中的新兵 HACMP4 5 增强了其用户接口和可管理特性 另外增加 对新的网络和主机系统的支持 具体有如下几点 易用性 可管理性 新支持的网络类型 新支持的设备 新支持的应用 易用性上的增强易用性上的增强 在线配置计划表 在线配置计划表 Online Plan Worksheets OLPW 功能基于 JAVA 实现 能够运行在 AIX 或者 WINDOWS 上 HACMP 的配置 简化成 填写配置计划表 提交配置 校验并同步群集配置 具体步骤如下 1 拷贝工作表文件 要使用该功能要求 Java 2 Runtime Environment J2RE Version1 2 或更高版本 安装 HACMP ES 4 5 后 工作表文件位于 usr es sbin cluster samples worksheets 目录下 worksheets html 文件中有帮助信息 对于 AIX5 1 或更高版本缺省安装 J2RE 只需要拷贝 worksheets 启动脚本 和 worksheets jar java 库 如果拷贝存放目录不是缺省目录 usr lpp cluster samples worksheets 那么还需要手工修改 worksheets 中 WORKSHEETS 变量以反映你的存放目录 对于 WINDOWS 平台上需另行检查软件安装是否满足 J2RE 要求 需拷贝 worksheets bat 启动脚本 和 worksheets jar java 库 并更新 worksheets bat 中的路径设置以反映拷贝存放目录 2 运行启动脚本 3 提交工作表配置数据 点击界面上的 Create Configuration 生成配置文件 缺省 名为 cluster conf 上传到群集中的一个节点上 运行 usr sbin cluster utilities cl opsconfig 命令提交配置 装入 HACMP 数据库 有些类似 snapshot 的功能 该脚本还会自动执行配置校验和同 步 客户传呼机通知功能客户传呼机通知功能 通过传呼机通知所发生的 hacmp 事件 应该在先前的版本已经存在 V4 5 增加了测试 功能 每个节点及其未用的 tty 口构成一个组合 定义传呼通知时 可以选用一个或多个 这样的组合来达到发送传呼的目的 如果存在多个 系统会自动选择第一个可用的组合 定义传呼的 SMIT 路径走 Cluster Configuration Cluster Custom Modification Define Custom Pager Notification Method 或者 smitty hacmp RAS Support Define Custom Pager Notification Method SMIT 屏幕显示如下 定义好传呼通知的方法后 可以通过下面的界面发送测试信息 确认后 SMIT 实际上是调用 usr es sbin cluster utilities clissuepage 命令 命令的执行 过程会显示在 SMIT 的输出结果屏幕上 如下图 动态节点优先级策略动态节点优先级策略 先前的 HACMP 版本 Cascading 类型的资源组中节点的接管优先级顺序 是在定义资 源组的时候就定下的 而在 V4 5 中 支持一种动态的优先级顺序 也就是说当主节点失败 后 可以根据用户预定的策略来动态的决定由哪个后备节点来接管资源 缺省就有 3 种预定义的优先级策略 cl highest free mem 看哪个节点的剩余内存最多 cl highest idle cpu 看哪个节点的 cpu 最空闲 cl lowest disk busy 看哪个节点的营盘最空闲 但用户也可以通过选择 RSCT 变量来制定自己的策略 通过 Configure Dynamic Node Priority Policies 菜单可以增加 删除或修改节点优先级策略 例如下面的增加界面 要激活节点动态优先级策略 通过 Change Show Resources Attributes for a Resource group SMIT 菜单进行设置 截屏如下 这种策略只应用于 node down 和 rg move 事件 而 node up 和 reconfig resource 事件 还是沿用先前的优先级方法 另外对使用动态策略 还有一些注意事项 资源组至少由三个节点构成 对并发类型的资源组无效 Dynamic Reconfigure DARE 事件也不使用动态策略 在一开始 启动 HACMP 时 资源还是在所定义的第一个节点上 资源组处理的定序资源组处理的定序 如果某个 HACMP 事件发生 导致多个资源组产生接管或移动 那么它们的处理顺序 是怎样的呢 在 V4 5 之前 HACMP 除了把涉及 NFS 的资源组放在最后处理外 是按照 资源组名字的字母顺序来处理的 所以 如果想让资源组按照自己需要的顺序进行处理 那么就需要在资源组的名字上动动脑筋了 这一点在 HACMP 4 5 上得以改观 现在用户 可以定义获得或释放资源组的顺序 对于 HACMP 4 5 传统版本 HAS 4 5 获得资源组的缺省顺序如下 顺序获取显式指定的资源组 按名字字母依次获取未显式指定的资源组 顺序获取显式指定的仅包含 NFS 装载的资源组 按名字字母依次获取未显式指定的仅包含 NFS 装载的资源组 释放资源组的缺省顺序如下 按名字字母依次释放未显式指定的资源组 顺序释放显式指定的资源组 按名字字母依次释放未显式指定的仅包含 NFS 装载的资源组 顺序释放显式指定的仅包含 NFS 装载的资源组 对于 HACMP ES 4 5 版本 HAES 4 5 缺省的处理模式是并发的 但不是每个资源 组一个线程这样的并发方式 HACMP 实际上把几个资源组合并成一个大的资源组 这个 虚拟的大资源组内 不同类型的资源还是依次顺序处理的 但同一类型的资源 例如卷组 就可以并发激活或释放 如果用户更改了缺省方式 那么 获取资源组的缺省顺序如下 顺序获取显式指定的资源组 并发获取仅包含 NFS 装载的资源组 并发获取未显式指定的资源组 释放资源组的缺省顺序如下 并发释放未显式指定的资源组 顺序释放显式指定的资源组 并发释放仅包含 NFS 装载的资源组 见这样一个 HA ES 的例子 共有 rg1 rg2 rg3 rg4 rg5 五个资源组 他们都与同 一个节点相关 所以缺省方式下 HACMP 是并发处理这些资源组的 但现在要求 rg4 必 须先于 rg2 处理 而 rg2 必须先于其他 rg 之前处理 基于这样的要求 我们在 HACMP 的 SMIT 菜单中这样定义 见下图 根据这样的设置 HACMP 重新定义的处理顺序见 SMIT 输出结果 增强的选择性资源接管粒度增强的选择性资源接管粒度 HACMP4 5 之前 已经能设置在下面几种情况下 产生资源组接管 网卡失败 本地网络失效 应用退出 X 25 通讯链路掉 V4 5 上增加了卷组失败导致资源组的可选粒度 对于 HA ES 4 5 还允许设置在卷组失 去 QUORUM 情况下发生接管 这实际是通过 AIX ERROR NOTIFICATION 功能实现的 所以如果 errdaemon 没有运行 那么该功能肯定无效 在 V4 5 之前 要实现这样的功 能 用户需要在 ODM 中自行定义 errot notify 事件 现在 HACMP 自行替用户完成设置 增强的并发模式和增强的并发模式和 64 位位 clinfo API 增强的并发模式是在 AIX5L 内部集成的 AIX5L 上的 HACMP4 5 版本利用该功能扩 展了对增强型并发卷组的支持 新的 cluster es client lib 文件集同时包含了 64 位和 32 位的 libcl a 库 64 位应用程序可 以调用 64 位的 clinfo API 从 clsmuxpd 获取群集的状态信息 HACMP 管理功能上的增强管理功能上的增强 HACMP4 5 在管理灵活性 便捷性上也有不小的提高 具体表现在下面几个方面 用户可自定义 config too long 告警出现的时间 基于 WEB 界面的 clstat 命令 hacmp out 中增强的事件描述 增强的故障定位 对于 HACMP ES4 5 还增加一项功能提升管理的灵活性 应用可用性分析工具 用户可自定义用户可自定义 config too long 告警出现的时间告警出现的时间 通常 HACMP 最多允许一个事件执行 6 分钟 一旦超出 就会每 30 秒在 hacmp out 中 增加一条 config too long 警告信息 直到事件完成或者 HACMP 结束运行 在先前的版本 中 可以用 chssys s clstrmgr a u delay in milliseconds 命令 来修改 6 分钟最大允许执行 时间 属于秘籍哦 在 HACMP4 5 上 把 HACMP 事件分成两类 快速事件 不涉及资源组获取或释放 因此能比较快就结束 慢速事件 与资源获取或释放 APPSERVER 运行 HAGEO SITE 事件等有关 所以通常要执行比较长的时间 通过这种方式 用户更好地为慢速事件定义最长执行时间以避免误报 config too long 警告 具体的 smit 菜单通过 Cluster Configuration Advanced Performance Tuning Parameters 进入 见下图 这里 Event Duration 制定了快速事件的最长允许执行时间 缺省为 360 秒 而 Event Duration 加上 Resource Group Duration 则制定了慢速事件的最长允许执行时间 缺省为 0 config too long 警告信息出现的频率也与之前的固定 30 秒有所不同 HACMP4 5 中 前 5 条警告信息每 30 秒出现一次 之后每显示 5 条 告警出现的间隔频率增大一倍 直到 达到一小时出现一次 之后维持每小时显示一条的频率直到事件完成或者 HACMP 结束 另外 之前的 clstrmgr 通过发送 SIGKILL 信号给 config too long 事件 这是程序无法 截取或屏蔽的信号 而在 HACMP4 5 中改成发送 SIGQUIT 信号 config too long 事件可 以截获该信号 打印提示信息 然后干净地退出 WEB 方式的方式的 clstat 命令命令 新版本附带一个 clstat cgi 文件 提供基于 web cgi 程序的方式 来显示 hacmp 群集的 状态 如果远程的客户端通过浏览器调用该文件 以超文本形式查看群集 节点 adapter 等状态信息 见下图 实现这样的功能 还需要下面的配置 在运行 clinfo 的节点上安装 web 服务器软件 把 clstat cgi 拷贝到该 web 服务器的 cgi bin 目录下 使用类似 http 192 168 6 35 cgi bin clstat cgi 这样的 URL 来调用 clstat 增强的事件概述显示增强的事件概述显示 HACMP4 4 1 中的 hacmp out 文件中就已经包含有每个事件的概述信息 HACMP4 5 中在通过 clcycle 切换 hacmp out 文件 切换到 hacmp n 为 1 10 的数字 之前 会把 其中的事件概述信息截取出来存入位于 usr es sbin cluster etc 目录下的 cl event summaries 文件中 另外还增加了 clevsummary 程序和对应的 smit 界面 见下图 其中 Show Event Summaries 和 Save Event Summaries to a file 菜单项都会完成下面三项 操作 从 clevsum txt 中读取信息 通过 odm 中读取 hacmp out 文件的存放位置并截取其中的事件概述 对每个资源组 分别运行 clfindres 然后根据菜单项 把输出送往标准输出或者存入指定的文件 下面是 HACMP 事件概 述的示例 应用服务可用性分析工具应用服务可用性分析工具 应用服务可用性分析工具 AAAT Application Available Analysis Tool 可以用来分析 HACMP 中所定义应用服务的在线时间 这是通过分析 clavan log 文件实现的 这个文件中 包含有应用服务的各种状态变化 如 应用服务监控的定义 修改和删除 应用启动 停止和失败 节点失败 关闭或启动 资源组掉线或移动 应用服务监控挂起或继续 只要定义了应用服务 hacmp 就开始往 clavan log 文件追加上述相关事件记录 由于 这个文件的内容是不断累加的 所以需要注意存放该文件的文件系统是否有足够的空间 必要时可以通过 smit 菜单修改缺省的存放位置 var adm 调用应用服务可用性分析工具的 smit 菜单路径是 Cluster System Management Cluster Applications Application Availability Analysis 对应的界面是 对应的输出结果如下图 调用应用服务可用性分析工具时有些限制和注意事项 调用工具时 所有的节点都处于可访问状态 另外各节点的时钟也应相互同步 对于并发类型资源组上的应用服务 只要有一个节点能工作 AAAT 就认为该应 用服务可用 AAAT 工具不是以端客户角色去看待应用服务的可用性 例如 某个客户端自身 的网络故障导致无法使用应用服务 但只要在服务器上应用工作正常 AAAT 还 是认为应用服务处于可用状态 clavan log 处于不断累加的状态 如果中途变更过其存放位置 有可能导致 AAAT 分析不正常 网络功能上的增强特性网络功能上的增强特性 新增加的网络特性有 节点固定的 IP 别名 HACMP HACMP ES 广域网支持 HACMP HACMP ES 增强的网络拓扑结构搜索能力 仅 HACMP ES 通过 IP 别名实现的 IP 地址接管 仅 HACMP ES 固定的节点固定的节点 IP 别名别名 HACMP 4 5 上增加了一种新的网卡功能类型 persistent 类型 固定 ip 别名不会随 着 HACMP 资源的迁移离开节点 通过这个 IP 地址 总是可以访问相应的主机 这很适合 tivoli 这样的网管程序用来监控节点的状态 由于采用了 ip 别名的实现方法 用户就不用 为管理用途专门配备一块网卡了 通常 persistent ip 绑定在 boot 或 service 的网络接口上 当该网络接口失败时 swap adapter 事件处理会自动把 persistent ip 绑定到同一节点同一网络的下一个接口上 但 如果该接口已经不在 standby 状态 例如发生 IPAT 接管了别的失败节点的 IP 地址 这时 Persistent IP 不会发生迁移 而是处于不可用状态 即使整个节点失败了 persistent ip 也 不会漂移到别的主机上 因此 persistent ip 具有如下特性 总是绑定在固定的节点上 每个节点的每个物理网上只能有一个 persistent ip 与 boot 或 service ip 共存于一个网络接口上 不需要额外购买网卡 不作为任何一个资源组中的 ip 资源 HACMP 配置完毕并同步后生效 之后不管群集管理器是否启动均保持可用 目前支持以太网 令牌环 FDDI ATM LANE 等协议 目前不支持 SP SWITCH 和 ATM CLASSIC IP 对于使用标准 IP 的 HACMP 网络 不借助 IP 别名 要求固定 IP 别名满足下面的子 网要求 Persistent IP 与 standby IP 在不同的子网上 Persistent IP 与 boot service IP 可以在相同的子网上 对于基于 IP 别名实现的 HACMP 网络 要求 Persistent IP 与 boot service IP不在相同的 子网上 Persistent IP 的设置方法与 boot service standby IP 的设置方法一样 定义 adapter 的 smit 对话框中增加了 Persistent 的 Interface IP Label function 选项 具体内容如下 如前面 Persistent IP 特性中所介绍 完成 HACMP 配置和同步后 新的 Persistent IP 就 能生效 在同步过程中 Persistent IP 别名定义被追加到 HACMP ODM 中 同时运行 ifconfig 命令让配置生效 然后在 etc inittab 中作下面的修改 追加一条入口 调用 usr es sbin cluster etc 脚本 确认 rc tcpip rc nfs qdaemon 和 writesrv 的运行级别设在 a 上 还有 clinit 和 pst clinit 都存在并且运行级别也设在 a 上 脚本完成 IP 别名设置 并启动上述几项服务 因此在 HACMP 启动之前 Persistent IP 就已经生效 因为 init 在启动过程中就会调用了 HACMP 启动过程 中 去掉 boot IP 加上 service IP 这过程中 Persistent IP 也是去掉再重新加上 从 HACMP 配置中删除 Persistent IP 设置 并不会自动删除当前的 IP 别名设置 这需 要手工执行 ifconfig enX delete 或重新启动节点 广域网通讯支持广域网通讯支持 在 V4 5 之前 对于广域网 HACMP 仅支持基于 LAN 的 SNA 实现 现在 X 25 及基 于 X 25 的 SNA 这两种广域网通讯连接也可以设置为高可用的 HACMP 资源 通过运行 x25status 命令 可以清楚的得知当前的 x 25 连接是否可用 HACMP 就是用 这个命令来监测 X 25 网络连接的状态 专门的守候进程 clcommlinkd 处理 node up 事件 时启动 负责完成相关的工作 启动和关闭高可用 x 25 连接 监测 x 25 连接的状态 发起 x 25 连接失败时的恢复程序 clcommlinkd 调用 x25status 发现当前的 x 25 连接不可用时 会按照下面的故障恢复 程序开始处理 如果节点上还有一个可用的 x 25 端口 开始端口切换恢复程序 如果不存在这样的端口 对于 HA ES 开始资源组切换程序 对于 HAS 执行带 take over 选项的 HACMP 关闭程序 对于基于 X 25 的 SNA 监控机理基本同 X 25 新的 HACMP 版本在发现 X 25 链路故 障并切换到可用端口时 会自动把原先端口上的 SNA 连接也切换到新的 X 25 端口上 注 意 对于非 X 25 失败引发的 SNA 连接故障 HACMP 是不会自动采取恢复措施的 增强的网络拓扑自动搜索功能增强的网络拓扑自动搜索功能 HACMP 4 5 中的网络拓扑自动搜索功能 速度更快 并能一步实现多块网卡的定义和 删除 这使得网卡定义变得更快 更容易 在这种新的网卡定义方式下 IBM 推荐的网络拓扑配置步骤是 1 增加初始网卡 每个节点定义一个初始网卡 这是为了让自动搜索程序能够访问 所有的节点 2 搜索 IP 拓扑 Discover IP Topology HACMP ES 能够区分出先前已经定义到群 集配置的 IP 地址 3 增加 boot standby 网络接口 IP 相同网络上的 相同属性的网卡可以一次完成定 义 4 增加共享的 serivice 网络接口 IP 同步骤 3 5 增加非共享的 service 网络接口 IP Persistent IP 和需要可变物理硬件地址 alternate hardware address 这些地址需要单独加入 注 限于环境 无法给出步骤 3 5 的 smit 界面 通过通过 IP 别名实现的别名实现的 IP 地址接管地址接管 HACMP ES 4 5 增加一项新功能 能够实现基于 IP 别名的 IP 地址接管 有别于传统方 式下 Service IP 替代 Boot IP 新的实现方法中是在 Boot IP 所在的网络接口上增加 Service IP 别名 另外在基于 IP 别名的 HACMP 网络中 IPAT 不是通过 standby 网卡实现 所有 网卡的功能都定义为 boot 类型 因此 boot 与 service 要配置在不同的网段上 与之前的版 本不一样 基于别名的 IPAT 与传统方式有很大的不同 1 减少了切换需要的时间 同样执行 acquire service addr 事件 传统方式要用 11 秒 而基于别名的 IPAT 仅需要 5 秒 2 由于 service 地址是以别名方式附加到网卡上的 所以在新的方式下 boot 网卡始 终可用 3 基于别名的 IPAT 不支持硬件地址接管 4 boot 类型和 standby 类型变得无关紧要 HACMP 将按照它们定义的顺序 可以用 cllsif 来显示其顺序 来选择网卡追加别名 5 一块网卡上可以绑定多个通过别名实现的 service 地址 例如 双机互备的情况下 一台主机失败 其 service 地址就被另一台主机的第一块网卡接管 而这时该网卡 上已经绑定了自己的 service 地址 在基于别名的 hacmp 网络中配置 service 网卡 使用别名来实现 IPAT 的方法与配置 boot 网卡没有什么区别 只需要注意 boot 与 service 在不同的子网上即可 等启动 hacmp 后 netstat 的输出如下 sp2 n1 netstat i NameMtuNetworkAddressIpktsIerrsOpktsOerrsColl en01500link 20 4 ac 49 c7 465334304492800 en01500192 168 6 3sp2 n15334304492800 en0150010 10 11spn1 alias svc5334304492800 en11500link 30 4 ac 5e b8 ce94540906300 en11500192 168 6 1sp2 n1 boot294540906300 lo016896link 13759903784300 lo016896127loopback3759903784300 lo016896 13759903784300 sp2 n1 netstat in NameMtuNetworkAddressIpktsIerrsOpktsOerrsColl en01500link 20 4 ac 49 c7 46361035034511200 en01500192 168 6 3192 168 6 35361035034511200 en0150010 10 1110 10 11 1361035034511200 en11500link 30 4 ac 5e b8 ce307831030333300 en11500192 168 6 1192 168 6 131307831030333300 lo016896link 1315764031623600 lo016896127127 0 0 1315764031623600 lo016896 1315764031623600 如果发生 swap adapter 事件 netstat 输出变成 sp2 n1 netstat i NameMtuNetworkAddressIpktsIerrsOpktsOerrsColl en0 1500link 20 4 ac 49 c7 46356745034089000 en0 1500192 168 6 3sp2 n1356745034089000 en11500link 30 4 ac 5e b8 ce303561029912800 en11500192 168 6 1sp2 n1 boot2303561029912800 en1150010 10 11spn1 alias svc303561029912800 lo016896link 1311333031179300 lo016896127loopback311333031179300 lo016896 1311333031179300 如果发生节点切换 那么可以看到第二个节点上的第二块网卡接管了 service 地址 sp2 n2 netstat i NameMtuNetworkAddressIpktsIerrsOpktsOerrsColl en01500link 20 4 ac 49 ba 462769802517100 en01500192 168 6 3sp2 n22769802517100 en0150010 10 12spn2 alias svc2769802517100 en11500link 30 20 35 12 40 e883580785100 en11500192 168 6 1sp2 n2 boot283580785100 en1150010 10 11spn1 alias svc83580785100 lo016896link 179240798200 lo016896127loopback79240798200 lo016896 179240798200 HACMP ES4 5 是根据下面原则 自动把 HACMP 网络认定为一个基于别名的网络 即使用别名实现 IPAT 没有配置 standby 网卡 没有配置硬件地址接管 该类型网络支持 gratuitous arp boot 和 service 地址在不同的网段上 上面显示两种类型网络很关键的一点区别 就是基于别名的网络上配置了多块位于不 同网段上的 boot 网卡 而普通网卡配置的是位于不同网段上的 boot 及 standby 网卡 一般在基于别名的网络上一个节点上配置至少两块 boot 类型网卡以避免单点失败 但 这不是必要条件 下面的 netstat 输出显示仅有一块 boot 类型网卡带有两个 service 别名的 情形 sp2 n2 netstat i NameMtuNetworkAddressIpktsIerrsOpktsOerrsColl en01500link 20 4 ac 49 ba 46323739031199400 en01500192 168 6 3sp2 n2323739031199400 en0150010 10 11spn1 alias svc323739031199400 en0150010 10 12spn2 alias svc323739031199400 lo016896link 1272826027327300 lo016896127loopback272826027327300 lo016896 1272826027327300 总结一下 基于别名的 HACMP 网络配置有下面的注意事项 至少定义一块 boot 类型网卡 推荐配置两块以上 任意一个节点不能配置 standby 类型网卡 任何一块网卡不能配置硬件地址接管 serviceIP 与 bootIP 必须在不同的子网上 虽然 AIX5L 支持相同子网上的多条路由 并存 多个 serviceIP 和 bootIP 可以别名方式共存于一块物理网卡上 HACMP ES4 5 仍然支持老的 sp switch 网络 也是通过别名实现 IPAT 但与新的 别名网络不同 例如有定义 standby 网卡 不过 IBM 推荐迁移到新的基于别名的 HACMP 网络 另外需要强调的是 serviceIP 所绑定的网卡并不总是 en0 而是与定义 h