nfs在hacmp的配置.doc

NFS ON HACMP 实施心得 2010 08 2 题题记记 xx 中在我们的项目头一次设计了在 Aix 系统下建立 NFS 集群用来给 uap 挂载存储录音 文件 之前在与华为客服的沟通中 客服信誓旦旦的说 uap 可以挂载 aix 系统的 nfs 但在 项目的真正实施中遇到问题时 客服又立马变卦说 uap 仅支持 suse linux 以及 windows nfs 于是开始了在完全没有技术支持的情况下且要实现在网络上几乎找不到资料的 hacmp nfs 系 统的苦难历程 前后耗费 4 天之久 在几乎准备放弃的情况下 最终还是坚持下来并实现 了功能 中间做了各种各样的方式去尝试 甚至下载了 ibm 关于 nfs 的红皮书去查 可谓心 力交瘁 写下上面的东西 只是想告诉自己 做技术千万不能被技术所打倒 只要努力去做 没有会或者不会 多分析 多总结 即便最终没有实现想要的功能 但只要过程中你没有 敷衍自己 那就算是成功了 文文档档参参考考部部分分 1 集群环境 两台 P550 小型机 操作系统 Aix 5 3 ML 11 已经部署 hacmp 5 4 部署 NFS 之前已经在 该集群中成功部署 Oracle 双机 共享卷组和浮动 IP 分别如下 共享卷组 appvg 大小约 1 66T 其上建立文件系统并挂载为 fileserver 浮动 IP 10 80 4 145 两台集群主机网卡 IP 分别为 10 80 4 142 10 80 4 143 3 2 最终 NFS 配置 作为参考文档 先附上最终的必须配置 etc hosts 文件 以一台为例 127 0 0 1 loopback localhost dbsvr2 loopback lo0 name address LOCALHOST后边的后边的DBSVR2S是主机是主机HOSTNAME 添加的作用是解决 添加的作用是解决 ORACLE EM创建失败 提示端口冲突 以及忽略后不能启动的故障创建失败 提示端口冲突 以及忽略后不能启动的故障 10 80 4 142 dbsvr1 boot dbsvr1 hacmp boot 192 169 100 1 dbsvr1 stb hacmp standby 10 80 4 143 dbsvr2 boot dbsvr2 hacmp boot 10 80 4 144 dbsvrhacmp service ip oracle 4 10 80 4 145 appsvrhacmp service ip nfs 192 169 100 2 dbsvr2 stb hacmp standby 10 80 4 132 uap1指定的指定的 mrs 板地址和板地址和 hostname hostname 可可 自己指定 注意这里必须添加 而且必须是自己指定 注意这里必须添加 而且必须是 mrs 板的板的 ip 地址 下同 共地址 下同 共 3 块板 块板 10 80 4 133 uap2 10 80 4 134 uap3 etc passwd 以及 etc group 默认情况下 aix 的 nobody 用户和组 id 是一个比较大的数字 而 uap 默认使用的 uid 是 65534 所以需要修改 nobody 用户 gid 为 65534 uid 为 65534 5 共享文件系统权限 etc exports 以及 etc xtab 文件 其实只需要改 etc exports 文件就可以了 启动和关闭 nfs 的脚本 首先是要给脚本执行权限 ls l 中的 x 参数 Appstart 和 appstop 是 hacmp 资源中加载的脚本 Appstart 之所以加了一个先关 闭再启动 是因为 hacmp 情况下 作为集群资源的文件系统只要检测到 etc exports 文件的存在 就会启动 nfs 而实际测试的过程中 发现有时 uap 不 能发现系统自动启动的 nfs 所以加上一个关闭再启动 6 Nfs 启动后的进程 最重要的 集群中资源卷组的参数设置 执行 smitty hacmp extended configuration entened resource configuration hacmp extened resource group configuration change show app rg 关键在于图中椭圆标记的 3 个位置 这里都是需要手动添加和修改的 第一处修 改告诉系统我们要接受 hacmp nfs 管理的文件系统 第二处修改是告诉系统在 ip 配置之前配置卷组 第三处告诉系统要将哪个目录 export 出去给其他系统共享 7 最后看看 nfs 的几个守护或者关联必须进程 图中 active 的各进程任何一个没有启动都会无法正确执行 nfs 3 UAP 下 NFS 路径设置 看看这里的 remotedir 参数吧 客服肯定的告诉你 remotedir 不需要加 但是实 际上 只有 windows 下的 nfs 是不需要 的 而 linux 和 aix 必须加 才能访问 8 后后记记 搭搭建建过过程程中中的的思思路路 最初的思路是认为让 nfs 不随机启动 在 hacmp 接管卷组和 ip 资源后 利用脚本 中的启动 nfs 命令将 nfs 启动起来实现切换 理论上确实没问题 关闭 etc initab 文件中的 nfs 自启动后 居然发现 nfs 又奇迹般的自动启动了 而且在切换的过程中发现由于系统已经启动了一个 nfs daemon 再启动另外的一 个 nfs 的过程中居然会导致 hacmp 无法启动 这个时候在 uap 上发现无论如何 uap 也无法挂载已经启动的 aix nfs 但是用 linux aix 甚至 windows 系统都可以挂载 aix nfs 并且在虚拟机上安装了两个不同 类型的 linux 测试 发现 uap 只识别到了 windows nfs 于是开始怀疑 uap 的问题 咨询了华为 800 后的答复居然是 uap 仅支持 suse linux 和 windows nfs 但理论上 分析 既然 suse 支持 那么就算 aix 不行 红帽也总可以吧 于是分析红帽的日 志 var log messages 首先发现的报错是 bad path fileserver 说明不加 是行不通 的 但是加了 后日志显示验证成功 但是 uap 怎么也发现不了 于是开始有些灰 心 决定放弃等华为支持 靠华为是靠不住的 再次重装了 redhat as 5 系统测试 uap 挂载 最初是按照华为 uap 开局指导书中的参数进行 etc exports 配置 share 10 80 4 128 255 255 255 192 rw all squash async anon uid 65534 anongid 65533 9 Exportfs 时系统会提示你使用 10 80 4 128 255 255 255 192 sync rw all squash async anon uid 65534 anongid 65533 进行配置 但是看参数说明 又找不 出加了 ip 地址段有什么问题 几经分析后觉得既然 代表所有 那么要 ip 段要什么用呢 遂删之 结果就成了如下这个结果 root localhost cat etc exports fileserver rw all squash anonuid 65534 anongid 65534 重启 uap 后 奇迹出现了 mrs nfs 居然挂载成功了 但是在 aix 下仍然是 disconnect 一筹 莫展 这个时候 aix 主机上 etc hosts 中记录的仍然是 uap 主板的 ip 地址 这一点其实从 开始就犯错误了 但是由于 windows 下挂载时不要求 hostname 和 ip 的对应关系 而且 linux 下也不需要 再次开始怀疑是 aix 的 exports 问题 开始改 client 版本 改验证方式 无效 于是再和 linux 对比 在观察日志的时候 突然发现 linux 接收 到的是 mrs 板 ip 地址的挂载请求 事情终于有了眉目 修改 aix 下的 etc hosts 后 果然 uap 可以挂载了 但是兴奋的的去切换双机时 系统提示 fileserver 无法卸载 双机直接挂掉了 再次陷入低谷 查了很多资料 文件系统挂载有硬 mount 和软 mount 两种方式 其中软 mount 可以用用如下命令 fuser x c home home 11630 ps fp 11630 UID PID PPID C STIME TTY TIME CMD guest 11630 14992 0 16 44 51 pts 1 0 00 sh kill 1 11630 umount home 尝试之后 仍然是 umount busy 难道只能做单机 但总觉得 ibm 既然在 hacmp 中支 持 nfs 不应该考虑不到卷组正在使用的情况 于是继续查资料 继续思索 终于查到一 点可以把文件系统防在 hacmp 中管理的一点资料 原文如下 NFS mount 10 当servera 宕机后 HACMP进行正常的接管过程 serverb 重新varyon sharedvg 并且 mount sharedfs 并把它输出 客户端重新mount sharedfs 修改app rg参数后终于可以正常切换了 Change Show Resources Attributes for a Resource Group Type or select values in entry fields Press Enter AFTER making all desired changes Resource Group Name appvg Node Relationship cascading 11 Site Relationship ignore Participating Node Names Default Node Priority servera serverb Dynamic Node Priority Service IP label Filesystems default is All fileserver Filesystems Consistency Check fsck Filesystems Recovery Method sequential Filesystems Directories to Export fileserver Filesystems Directories to NFS mount Network For NFS Mount 继续测试双机切换 发现偶尔在切换到另外一台机器后 uap 发现 nfs 是 disconnect 状态 而这时候 hacmp 发现 client 一直在连 nfs 达到一定次数不能连 接后 居然自动又切换了 然后 hacmp 又挂掉了 继续尝试 发现在双机切换后 手动执行下 appstop 和 appstar