双机热备中的错误与分析.doc

由HACMP软件引起的错误及分析一、前言：HACMP是IBM公司为RS/6000和SP系统设计的一套高可靠性软件。它基于AIX操作系统，性能稳定，能够在多台小型机上工作。当某台小型机出现故障时，可以由其它小型机迅速接管该台上的业务，避免了因系统宕机给业务带来重大损失。但是在具体接管工作中，HACMP对网络拓扑和资源组要求非常严格，一点错误都有可能导致接管失败，严重地影响到系统的可靠性。笔者就本单位的hacmp软件的出错现象及解决方案做一初步分析。二、现状介绍：我单位的两台H85小型机安装了HACMP软件，采用双机热备模式（即一主机，一备机），共享1个7133磁盘阵列，分别通过四对光纤跳线与CISCO6509主交换机相连，主机上安装有生产系统，备机在主机出现故障后，马上接管主机业务并向客户端提供可靠性服务。生产系统采用客户端服务器模式，数据以oracle数据库形式存储在7133磁盘阵列上。二、出错现象一某日当技术人员停掉CISCO6509主交换机，检查网络故障时，突然发现备机宕机。三、分析：在网络恢复正常的情况下，用errpt|more命令查看备机的错误日志，发现在主交换机掉电时，发生了备机接管主机业务的现象，猜想原因可能是因主交换机掉电，hacmp软件误以为主机出现网络故障，故发生备机接管主机工作。为证实猜想，切换主机业务到备机，通过tail f /tmp/hacmp.out命令 观察主、备机的资源接管情况，发现备机在启动oracle数据库时，立即down机，这就印证了主交换机掉电时引起了双机热备动作的现象。至于备机为什么没有正常接管主机工作，而down机，考虑问题出在HACMP软件上。双机热备的工作步骤是：HACMP软件开始运行，主机的服务IP“漂”到备机上，激活7133上的共享datavg，联（mount）上文件系统，启动应用服务。按照上述步骤进行认真检查，发现主、备机的应用服务中的启动和关闭脚本均指向一个oracle启动。于是把关闭脚本改为oracle关闭脚本，重新进行双机热备测试，发现备机不再死机，主机的服务ip也顺利地“漂”到了备机上。由此看来，备机死机的原因是：主机在释放资源时，没有正常关闭oracle数据库，反而第二次启动了数据库，当备机接管资源时，又第三次启动了数据库，造成了资源冲突，导致了备机宕机。至于应用服务中的关闭脚本为何选成了启动oracle问题，可能是技术人员在以前的调试设备时的误操作所致。四、出错现象二 备机接管主机后，客户端不能正常应用生产系统。具体表现在客户端启动生产系统后，无法与远程数据库相连接。五、分析鉴于备机接管主机业务前，生产系统一直处于正常。于是再把系统由备机切换到主机，发现在客户端可正常访问生产系统，看来这错误又与hacmp有关，但是经过对hacmp的配置检查，并没有查到错误。后经有经验的oracle工程师帮助，笔者发现主机的Oracle安装目录 （ /oracle/product/9.2.0/dbs）与备机对应目录相比，多出一个powermis1文件。经核实，该文件为一测试文件，是软件开发公司为测试数据临时加上的，删除该文件，再 启动HACMP，一切正常。六、结论：由双机热备引起的故障多种多样，具体问题应具体分析，笔者认为经常查看小型机上的错误日志，是一个判断错误类别的好方法。在搞清错误类别后，通过分析HACMP软件的工作步骤，“顺藤摸瓜”，最终可以解