记一次AD域域管理员密码更改导致某系统群集管理器故障排查解决过程

记记一次一次 AD 域域管理域域管理员员密密码码更改更改导导致某系致某系统统群集管理器故障排群集管理器故障排查查解决解决过过程程 2015 11 12 0 个评论 来源 reedyan 的 BLOG 收藏 我要投稿 环境描述 某公司有一套系统 2 台 Windows2003 系统 采用自带的群集管理器功能实现双机热备功能 正常情况下 服务器 10 1 1 1 承载中间件应用服务 服务器 10 1 1 2 承载数据库服务 仅当其 中一台服务器故障时才会把资源切换至另一台 系统名称系统版本IP 地址备注 S EIP APPWindows2003ENTSP210 1 1 1 S EIP DATAWindows2003ENTSP210 1 1 2 采用 Windows2003 自 带的群集管理器 实现双机热备功 能 故障表现 某天晚上收到短信告警 系统异常 无法访问 登录系统 10 1 1 1 查看群集管理器状态 发现 服务器 10 1 1 2 处于脱离群集状态 处理和分析过程 1 远程登录系统 10 1 1 1 打开群集管理器 发现 S EIP DATA 数据库服务器节点故障 显 示 红色叉 活动资源中的 EAIEIP Oracle Services for MSCS OracleOraDb10g home1TNSListenerFsloracle vip 状态处于 失败 群集管理器尝试把故障 自动转移至 S EIP APP 节点上 但故障依旧 2 把 10 1 1 2 服务器重启系统尝试解决 问题依旧 3 登录到 10 1 1 2 服务器 查看事件日志 发现告警信息和错误信息 安全系统检测到一个 对服务器 DNS s xx1 hq cxxp xxx 的身份验证错误 来自身份验证协议 kerbers 的失败代码为 登录无效 可能原因为无效的用户名或验证消息 如图 服务器托管景安最快 点击进入 机房位于骨干节点 用户访问网站全国最快 景安 河南最大的多线服务器托管商 查 看 服务器托管景安最快 点击进入 机房位于骨干节点 用户访问网站全国最快 景安 河南最大的多线服务器托管商 查 看 服务器租用专家 吉特客网络 点击进入 独立服务器租用价格低至 399 元 更有双线 高防 24 小时客服团队在线 百人售后团队 查 看 选学校 到江西万通汽车学院 点击进入 江西选技校职校 就到江西万通汽车学院 技能 学历 努力两年 收获一生 查 看 4 从上图日志看出 均出现类似 未知的用户名和密码错误 错误 由于 Windows2003 群集管 理器采用 AD 域进行集中管理 咨询 AD 域管理员得知 之前有更改过 AD 域的管理员密码 5 此时排查重点为 如何在门户的群集管理器中修改 AD 域最新的密码 经过查阅官方 KB 和网上资料 尝试修改群集管理器中的 AD 域的密码 分别登录 10 1 1 1 和 10 1 1 2 修改 服务 中的 cluster service 登录 修改密码 如图 6 修改 cluster service 服务中的密码后 问题依旧 查看群集管理器中的 S EIP DATA 中的 Oracle Services for MSCS 仍为失败状态 查看日志得知 仍是用户密码问题 如图 7 解决办法 分别修改 10 1 1 1 和 10 1 1 2 中的 服务 中的 oracleMSCSServices 登录密码 如图 8 修改完成后 群集管理器 S EIP DATA 活动资源中的 EAIEIP 资源仍处于失败状态 如 图 9 从上图报错可以看出 oracle fail safe 故障转移群集出现错误用户密码 按照上面的经验 应该为 oracle fail safe 同样采用的是 AD 域的管理员密码 尝试修改密码 登录 10 1 1 2 开始 程序 oracle ofs34 home1 oracle services for MSCS Security Setup 修改新的 AD 域管理员密码 10 把所有与 AD 域管理员帐号相关的密码更改成与 AD 域一致后 问题解决 群集管理器 功能正常 业务恢复