HACMP配置与维护手册

精品文档 1欢迎下载 POWERPOWER HA5 5HA5 5 配置与维护手册配置与维护手册 20102010 年年 9 9 月月 2 2 日日 目录目录 第一章第一章 一体化系统一体化系统 HACMPHACMP 配置配置 4 4 1 11 1系统结构图系统结构图 4 4 1 21 2拓扑规划拓扑规划 4 4 精品文档 2欢迎下载 1 31 3磁盘资源规划磁盘资源规划 5 5 1 41 4应用规划应用规划 6 6 1 51 5操作系统要求操作系统要求 7 7 第二章第二章HACMPHACMP 日常维护日常维护 9 9 2 12 1HACMPHACMP 服务正常启停服务正常启停 9 9 2 1 1 HACMP 启动 9 2 1 2停止 HA 10 2 22 2查看查看 HACMPHACMP 集群服务状态集群服务状态 1111 2 2 1查看 HACMP 服务状态 11 2 2 2查看资源组的状态 11 2 2 3查看 HACMP 集群状态 12 第三章第三章系统切换方案系统切换方案 1313 3 13 1rlw1rlw1 机器应用出现故障 机器应用出现故障 HACMPHACMP 资源切换资源切换 1313 3 1 1切换 rlw1 apprg 资源组 13 3 1 2恢复 rlw1 apprg 资源组 14 3 23 2hg2hg2 机器应用出现故障 机器应用出现故障 HACMPHACMP 资源切换资源切换 1616 3 2 1切换 rlw2 orarg 资源组 16 3 2 2恢复 rlw2 orarg 资源组 18 第四章第四章HACMPHACMP 切换测试切换测试 2020 4 14 1网卡故障模拟测试网卡故障模拟测试 2020 4 24 2rlw1rlw1 系统单机故障模拟测试系统单机故障模拟测试 2121 4 34 3rlw2rlw2 系统单机故障模拟测试系统单机故障模拟测试 2323 4 44 4rlw1rlw1 系统系统 HAHA 手工切换测试手工切换测试 2525 4 54 5rlw2rlw2 系统系统 HAHA 手工切换测试手工切换测试 2727 精品文档 3欢迎下载 第一章第一章 一体化系统一体化系统 HACMPHACMP 配置配置 1 1系统结构图 P780 1 主机主机 LPAR rlw1 共享磁盘阵列共享磁盘阵列 HDS USPV存储系统存储系统 心跳线心跳线 tty0 ent2 ent0 P780 2 主机主机 LPAR rlw2 ent2 ent0 Service Network 1 2拓扑规划 CLUSTERCLUSTER NAME rlwclusterNAME rlwcluster NetworkNetwork NodeNode NameName rlw1rlw1rlw2rlw2 ServiceService IPIP Default Default gate gate 192 168 1 126 28 192 168 1 126 28 Label rlw1 serrlw2 ser 192 168 1 28 net ether 01 Address 121 xxx21 xxx PersistentPersistent IPIP Default Default gate gate 192 168 1 126 28 192 168 1 126 28 Persistent Network 精品文档 4欢迎下载 Labelrlw1rlw2 192 168 1 28 net ether 01 Address 1192 168 1 50192 168 1 52 Label rlw1 boot1rlw2 boot1 21 7 0 28 net ether 01 Address 1192 168 28 49192 168 28 51 Label rlw1 boot2rlw2 boot2 192 168 0 28 net ether 01 Address 2192 168 128 49192 168 128 51 Comm Comm DevDev Device name rlw1 tty0 01 path dev tty0 net rs232 01 Node name rlw1 Device name rlw2 tty0 01 path dev tty0net rs232 01 Node namerlw2 rlw1 机器 boot1 地址配置在第一块外置网卡上 en0 将 boot2 地址配置在第二 块外置网卡 en2 persistent ip 地址绑在第二块外置网卡上 en2 rlw2 机器 boot1 地址配置在第一块外置网卡上 en0 将 boo2 地址配置在第二块外置网卡 en2 persistent ip 地址绑在第二块外置网卡上 en2 将两个 LPAR 的两块外置 网卡分别连接在两个网络交换机上 属同一个 vlan Node Namerlw1rlw2 备注 Boot1 IPen0en0 Boot2 IPen2en2 Persistent IPen2en2 1 3磁盘资源规划 精品文档 5欢迎下载 卷组名卷组名逻辑卷名逻辑卷名文件系统文件系统物理卷名物理卷名备注备注 applv app appvg batchlv batch Hdisk4 5 6rlw1 lv data1 oracle lv data2 oracle1oraclevg lv data2 oracle2 Hdisk7 8 9rlw2 1 4应用规划 ApplicationApplication ServerServer NameNamerlw1 app Start Script opt app script rwpstart sh Stop Script opt app script rwpstop sh NameNamerlw2 app Start Script opt ora script ora start sh Stop Script opt ora script ora stop sh ResourceResource GroupGroup NameNamerlw1 apprgrlw2 orarg Participating Node rlw1 rlw2rlw2 rlw1 Startup PolicyOnline On Home Node Only Online On Home Node Only Fallover Policy Fallover To Next Priority Node In The List Fallover To Next Priority Node In The List Fallback PolicyNeverNever FallbackFallback NeverNever FallbackFallback Service Labelrlw1 serrlw2 ser Application Server rlw1 apprlw2 app Share File app batch oracle oracle1 oracle2 精品文档 6欢迎下载 Systems Share Volume Groupappvgoraclevg 1 5操作系统要求 RequiredRequired AIXAIX 6 16 1 BOSBOS ComponentsComponents The following AIX 5L base operating system BOS components are required for HACMP AIXAIX 6 16 1 BOSBOS ComponentComponentAIXAIX 5L5L v 5 3v 5 3AIXAIX 5L5L v 5 2v 5 2 bos adt lib5 3 0 105 2 0 10 bos adt libm5 3 0 105 2 0 13 bos adt syscalls5 3 0 105 2 0 11 tcp client5 3 0 105 2 0 14 tcp server5 3 0 105 2 0 14 bos rte SRC5 3 0 105 2 0 10 bos rte libc5 3 0 105 2 0 14 bos rte libcfg5 3 0 10 bos rte libcur5 3 0 105 2 0 10 bos rte libpthreads5 3 0 105 2 0 12 bos rte odm5 3 0 105 2 0 11 bos rte lvm rte required only using Concurrent Logical Volume Manager for concurrent access bos clvm enh required only using Concurrent Logical Volume Manager for concurrent access Requirements for RSCT Install the RSCT images before installing HACMP Ensure that each node has 精品文档 7欢迎下载 the same version of RSCT To determine if the appropriate filesets are installed and their level issue the following commands usr bin lslpp l pat basic hacmp usr bin lslpp l pat clients hacmp usr bin lslpp l rsct basic rte 精品文档 8欢迎下载 第二章第二章 HACMPHACMP 日常维护日常维护 2 1HACMP 服务正常启停 2 1 1 2 1 1 HACMPHACMP 启动启动 正常 HACMP 启动 首先启动 rlw1 机器上 HACMP 服务 然后启动 rlw2 上的 HACMP 服务 操作步骤如下 以 root 用户登录 rlw1 服务器 执行 smit clstart 启动 rlw1 上面的 HA 服务 启动的选项有三个 now restart both 一般选择默认的 now 既可 即立即启动 HA Restart 表示在下次系统重新启动后 系统自动 HA Both 表示立即启动 HA 并且在下次系统启动后 也自动启动 HA 选择响应选项后 回车既可 同时查看 hacmp out 启动信息 tail f var hacmp log hacmp out 精品文档 9欢迎下载 等 rlw1 启动成功后 登录 rlw2 上的 HACMP 服务器 启动 rlw2 主机上面的 HA 服 务 2 1 2 2 1 2 停止停止 HAHA 正常情况下停止是先停 rlw1 机器上的 HACMP 服务 然后停 rlw2 上的 HACMP 服务 操作步骤如下 以 root 用户登录 rlw1 服务器 smitty clstop 停止时候于三个停止选项可以选择 Bring Resource Groups Offline 表示停止 HA 服务并释放资源组资源 其它节点不 接管其资源 Move Resource Groups 表示停止 HA 服务并释放资源组资源 其它节点接管其资源 Unmanaged Resource Groups 表示停止 HA 服务 但是不释放资源 可以采用同样方式登录 rlw2 机器 停止 rlw2 主机上面的 HA 服务 精品文档 10欢迎下载 2 2查看 HACMP 集群服务状态 2 2 1 2 2 1 查看查看 HACMPHACMP 服务状态服务状态 可以通过命令查看节点 HACMP 的服务状态 操作步骤如下 以 root 用户登录 rlw1 服务器 进入到 usr es sbin cluster utilities 目录 执行 clshowsrv v topsvcs grpsvcs emsvcs emaixos ctrmc clcomdES clstrmgrES clinfoES 这些服务的状态是 active 的说明 HAMCP 的服务正常 2 2 2 2 2 2 查看资源组的状态查看资源组的状态 可以通过命令查看节点资源组的状态 操作步骤如下 以 root 用户登录 rlw1 服务器 进入到 usr es sbin cluster utilities 目录 执行 clRGinfo Group Name State Node 精品文档 11欢迎下载 rlw2 orarg ONLINEONLINE rlw2 OFFLINE rlw1 rlw1 apprg ONLINEONLINE rlw1 OFFLINE rlw2 资源组 rlw2 orarg 在 rlw2 上是 online 的状态 资源组 rlw1 apprg 在 rlw1 上是 online 的状态 2 2 3 2 2 3 查看查看 HACMPHACMP 集群状态集群状态 可以通过命令查看节点 HACMP 集群的状态 操作步骤如下 以 root 用户登录 rlw1 服务器 进入到 usr es sbin cluster 目录 执行 clstat Cluster rlwcluster Thu Aug 20 02 53 48 CDT 2010 State UP Nodes 2 SubState STABLE Node rlw1 State UPUP Interface rlw1 boot1 1 Address 192 168 28 97 State UPUP Interface rlw2 boot2 1 Address 192 168 128 97 State UPUP Node rlw2 State UPUP Interface rlw2 boot1 1 Address 192 168 28 99 State UPUP Interface rlw2 boot2 1 Address 192 168 128 99 State UPUP 精品文档 12欢迎下载 精品文档 13欢迎下载 第三章第三章 系统切换方案系统切换方案 3 1rlw1 机器应用出现故障 HACMP 资源切换 3 1 1 3 1 1 切换切换 rlw1 apprgrlw1 apprg 资源组资源组 1 在 rlw1 机器上移除 rlw1 apprg 到 rlw2 smitty hacmp 选择第 3 项 System Management C SPOC 然后回车 显示如下 选择第 3 项 HACMP Resource Groupand Application Management 然后回车 显示如下 精品文档 14欢迎下载 选择第 4 项 Move a Resource Groups to Another Node Site 然后回车 选择第 1 项 Move Resource Groups to Another Node 然后回车 选择资源组 rlw1 apprgrlw1 apprg 然后回车确认 选择移到的节点 rlw2rlw2 然后回车确认 则开始从切换资源组 2 检查切换状态 在 rlw2 机器上查看 hacmp out 文件 看是否成功启动 tail f var hacmp log hacmp out 3 1 2 3 1 2 恢复 rlw1 apprg 资源组 rlw1 机器恢复 重新接管资源 rlw1 apprg 1 在 rlw2 机器上移除 rlw1 apprg 到 rlw1 smitty hacmp 精品文档 15欢迎下载 选择第 3 项 System Management C SPOC 然后回车 显示如下 选择第 3 项 HACMP Resource Groupand Application Management 然后回车 显示如下 选择第 4 项 Moving a Resource Groups to Another Node Site 然后回车 精品文档 16欢迎下载 选择第 1 项 Move Resource Groups to Another Node 然后回车 选择资源组 rlw1 apprgrlw1 apprg 然后回车确认 选择移到的节点 rlw1rlw1 然后回车确认 则开始从切换资源组 2 rlw1 机器上查看 hacmp out 文件 看是否成功启动 tail f var hacmp log hacmp out 3 2hg2 机器应用出现故障 HACMP 资源切换 3 2 1 3 2 1 切换 rlw2 orarg 资源组 1 在 rlw2 机器上移除 rlw2 orarg 到 rlw1 smitty hacmp 选择第 3 项 System Management C SPOC 然后回车 显示如下 精品文档 17欢迎下载 选择第 3 项 HACMP Resource Groupand Application Management 然后回车 显示如下 选择第 3 项 Moving a Resource Groups to Another Node Site 然后回车 选择第 1 项 Move Resource Groups to Another Node 然后回车 选择资源组 rlw2 orargrlw2 orarg 然后回车确认 选择移到的节点 rlw1rlw1 然后回车确认 则开始从切换资源组 2 rlw1 机器上查看 hacmp out 文件 看是否成功启动 精品文档 18欢迎下载 tail f var hacmp log hacmp out 3 2 2 3 2 2 恢复 rlw2 orarg 资源组 1 在 rlw1 机器上移除 rlw2 orarg 到 rlw2 smitty hacmp 选择第 3 项 System Management C SPOC 然后回车 显示如下 选择第 3 项 HACMP Resource Groupand Application Management 然后回车 显示如下 精品文档 19欢迎下载 选择第 4 项 Moving a Resource Groups to Another Node Site 然后回车 选择第 1 项 Move Resource Groups to Another Node 然后回车 选择资源组 rlw2 orargrlw2 orarg 然后回车确认 选择移到的节点 rlw2rlw2 然后回车确认 则开始从切换资源组 2 rlw2 机器上查看 hacmp out 文件 看是否成功启动 tail f var hacmp log hacmp out 精品文档 20欢迎下载 第四章第四章 HACMPHACMP 切换测试切换测试 4 1网卡故障模拟测试 按照下面测试表格 分别在 rlw1 rlw2 两台台主机节点上面进行测试 测试 项目 网卡故障模拟测试 施工 单位 序号 测试时 间 分钟 测试 目的 测试 HACMP 对网卡故障的保护能力 操作 预备 条件 操作系统运行正常 HACMP 运行正常 序 号 内容 测 试 项 目 描 述 预期结果实际结果 1 ps ef grep cluster 确认所有 节点上的 HACMP 已启动 所有节点上的 HACMP 都已经启动 操 作 步 骤 2 errclear 0 清空系统错误日志 tail f var hacmp log hacmp out 监控 HACMP 的运行状态 精品文档 21欢迎下载 3 ifconfig en down 宕掉 Service 网卡 Service 网卡 down 4 netstat in 查看另一块 boot 网 卡是否接管了宕掉的 Service 网卡的 IP 地址 已经接管 Service 网卡上的 IP 地址 5 使用客户端连接数据库 并对数据库做 简单操作 验证数据库完整性 数据库正常连接 数据完整 6 ifconfig en up 恢复先前宕掉的 service 网卡 网卡恢复 本项 测试 结论 通过 未通过 部分通过 备注 存 在的 问题 及整 改措 施 4 2rlw1 系统单机故障模拟测试 测试 项目 单机故障模拟测试 施工 单位 精品文档 22欢迎下载 主机 序列 号 测试时间分钟 测试 目的 测试 HACMP 的高可用性 操作 预备 条件 操作系统运行正常 HACMP 运行正常 序 号 内容 测试项目描 述 预期结果 实际结 果 1 ps ef grep cluster 确认所 有节点 rlw1 rlw2 上的 HACMP 已 启动 所有节点上 的 HACMP 都 已经启动 2 errclear 0 清空系统错误日志 在 rlw2 主机执行 tail f var hacmp log hacmp out 监控 HACMP 的运行状态 3 在 rlw1 节点上 halt q系统宕机 4 在 rlw2 节点上 netstat in lsvg o ps ef APP PID 查看 备份节点是否接管了故障节点的 Service 地址 共享卷组和应用程序 rlw1 已经接 管了故障节 点的 Service 地 址 共享卷 组和应用程 序 操 作 步 骤 5 重新启动故障节点 并启动 HACMP 精品文档 23欢迎下载 6 netstat in lsvg o ps ef APP PID 查看该节点是否将原 属于他的 Service 地址 共享卷组和 应用程序接管回来了 原属于 rlw1 的 Service 地址 共享 卷组和应用 程序不接管 回来了 7 在 rlw2 上 mv rlw1 apprg 资源组 在 rlw1 上 面 online rlw1 apprg 资源组 Rlw1 手动接 管 rlw1 apprg 资源和 service IP 本项 测试 结论 通过 未通过 部分通过 备注 存 在的 问题 及整 改措 施 4 3rlw2 系统单机故障模拟测试 测试 项目 单机故障模拟测试 施工 单位 精品文档 24欢迎下载 主机 序列 号 测试时间分钟 测试 目的 测试 HACMP 的高可用性 操作 预备 条件 操作系统运行正常 HACMP 运行正常 序 号 内容 测试项目描 述 预期结果实际结果 1 ps ef grep cluster 确认所 有节点 rlw1 rlw2 上的 HACMP 已 启动 所有节点上 的 HACMP 都 已经启动 2 errclear 0 清空系统错误日志 tail f var hacmp log hacmp out 监控 HACMP 的运行状态 3 在 rlw1 节点上 netstat in lsvg o ps ef APP PID 查看 备份节点是否接管了故障节点的 Service 地址 共享卷组和应用程序 rlw1 已经 接管了故障 节点的 Service 地 址 共享卷 组和应用程 序 操 作 步 骤 4 重新启动故障节点 并启动 HACMP 精品文档 25欢迎下载 6 netstat in lsvg o ps ef APP PID 查看该节点是否将原 属于他的 Service 地址 共享卷组和 应用程序接管回来了 rlw2 orarg 资源和 service IP 不切换到 rlw2 节点 7 在 rlw1 上面 mv rlw2 orarg 资源组 在 rlw2 上 面 online rlw2 orarg 资源组 Rlw2 手动 接管 rlw2 orarg 资源和 service IP 本项 测试 结论 通过 未通过 部分通过 备注 存 在的 问题 及整 改措 施 4 4 rlw1 系统 HA 手工切换测试 测试项 目 手工切换测试 施工单 位 序号 测试时 间 分钟 精品文档 26欢迎下载 测试目 的 测试 HA 手工切换接管是否正常 操作预 备条件 该测试必须在网络环境中进行 确保两台服务器上 HACMP 处于启动状态 序 号 内容测试项目描述预期结果实际结果 1 ps ef grep cluster 确认所有 节点上的 HACMP 已 启动 测试两个节点上的 HA 都 已经正常启动 所有节点上 的 HACMP 都 已经启动 2 停止 rlw1 节点上的 HACMP 服务 用 smit 停止 rlw1 上的 HACMP 选择 takeover 模 式 可以正常停 止 3 检查 rlw1 上面的资 源 用 netstat in lsvg o df 命令查看 rlw1 上 面的资源 相关资源已 经不存在 4 检查 rlw2 上面的资 源 用 netstat in lsvg o df ps ef APP PID 命令查看 rlw2 上 面的资源 已经接管 rlw1 的卷组 IP 地址 文 件系统 应 用程序等相 关资源 操 作 步 骤 5 启动 rlw1 上的 HACMP 服务 用 smit 启动 rlw1 上的 HACMP