XXX单位EMC双机热备维护事件.doc

8月23日xxx双机热备维护事件23日上午接公司任务，要求去XXX单位在双机热备上将E分区也加入双机热备共享盘，受EMC热备软件控制管理，实现E分区上的数据和软件双机热备。到达XXX单位机房后打开双机热备软件查看，发现主机2图标为红色，表示主机2已掉线无法和主机1心跳同步，但是此时任然是主机2在对外提供应运系统服务。经过检查各项设置，以及网络通信情况，没有发现任何故障，随后询问单位相关管理人员，可否重启服务器2，装在服务器2的OA系统是否要退出才可关闭系统重启，得到答复说OA不用退出，万维系统可暂时中断，可直接重启服务器，随即重启服务器2，重启后发现两台服务器双机热备连接正常，随后配置将E盘加入双机热备共享盘，再次重启服务器2，重启进入系统时，发现OA自启动时已报错，提示大意为找不到文件路径，进入EMC热备软件发现E分区共享盘已经开始同步，还有之前的共享D分区也开始同步，此时知道，OA启动时提示找不到文件路径的原因就是因为E分区已经被热备软件控制接管，OA系统无法访问读取E分区。由于OA系统没有在双机上安装，没有加入双机热备，所以E分区是不应该加入双机热备共享盘的。此时立刻将资源组脱机，删除加入资源组的E分区，在数据源里删除加入的E共享盘，再次重启服务器2,启动后E分区已经不在热备软件共享盘资源里，E分区已经变为普通分区。但是此时发现OA依然在启动时报错，中断无法登陆使用。此时原来的D共享盘又再次从头开始同步，在终端测试万维系统也无法登陆使用。现在服务器上的两个应运系统全部不能使用。万维系统不能使用的原因是当数据共享盘在完全同步时，类似于ghost镜像，此时应运服务停止对外服务。在双机热备两台服务器通信正常情况下是不会进行完全同步的，而是实时在后台同步数据，此时应运系统对数据共享盘读写正常，对外应运服务不受影响。双机热备软件只有在两种情况下才会进行完全数据同步工作，第一种情况是在新安装热备软件时，第一次数据完全同步；第二种情况是在双机热备正常运行过程中，由于其中一台服务器掉线，导致掉线的服务器共享盘和对外服务的服务器对应的共享盘数据差别太大而必须进行完全同步。此次共享盘完全同步就是服务器2掉线造成，掉线的原因可能是因为在21日机房停电导致。虽然已经将加入共享盘的E分区重新变为普通分区，但是安装在E分区的OA系统还是无法正常运行，咨询OA系统运维人员，运维人员的解答是因为我们在重启服务器时没有正常退出OA系统，退出的方法是在OA“DOS”界面命令提示符后输入”Q”回车即可，如果没有正常退出就关闭系统，在下次启动操作系统时，OA系统启动时就要重新扫描数据库，查找数据，时间大致需要15分钟后OA才能正常运行。但是过了15分钟之后在终端测试，发现OA系统还是无法正常访问，再次咨询OA运维人员，OA运维人员说在他们那端发现有一个服务没有启动，启动服务后OA系统访问正常。在下午2点多后，双机热备共享盘同步完毕，双机热备软件界面里一切显示绿色正常，但是万维系统还是无法正常使用，此时联系万维公司，万维公司工程师上门后检查发现万维系统已损坏，共享盘有大量损坏文件无法读取，经过运行磁盘扫描修复程序后，损坏的文件可以删除重建，当万维系统故障处理完成可以登录后，发现7月29日之后大约500份文件已经丢失。此时分析这一系列故障，万维系统文件损坏混乱的原因是，当双机热备掉线的服务器正常上线后在共享盘在完全同步过程中服务器多次重启，因为共享盘在同步未完成时重启服务器后同步工作会自动从零开始同步，就像分区在做GHOS镜像过程中强制终止一样，会导致分区上的文件丢失和损坏及混乱。而7月29日之后的文件丢失是因为热备软件在自动同步共享盘时同步方向搞错，本应该是将数据较新的数据向数据少的另一台服务器共享盘同步，却把数据少的共享盘数据同步到数据新的服务器共享盘上。丢失的文件在24日已经通过我方维护人员扫描后全部导入万维系统。此次事件总结如下：关于OA系统，首先是OA系统及数据全部在第二台服务器的E分区。并没有在第一台服务器上安装，OA系统服务也没有加入双机热备管理软件，受热备软件管理控制，所以E分区是不可以加入双机热备共享盘的，由于OA系统相应服务没有加入热备软件控制管理。E分区加入热备共享盘后会导致OA系统无法正常访问读写数据，导致OA系统故障。第二，根据在XXX单位日常服务的同事反应，当双机热备的对外提供应运的服务器切换到第一台服务器时，OA系统也无法正常运行。据此推测有两种情况，首先是第二台服务器E分区上安装的OA系统可能是和服务器上SQL数据库有关联，当承担对外服务的服务器切换到第一台服务器时，第二台服务器的数据库服务会被EMC热备软件关闭而导致OA系统故障，第二就是OA系统在安装时可能使用了EMC热备软件设定的虚拟映射IP地址，当双机热备的对外提供应运的服务器切换到第一台服务器时，虚拟的IP地址映射的已经是第一台服务器了，但事实上OA系统是安装在第二台服务器的E分区的。第三，OA系统在退出时一定要在桌面OA系统启动窗口中命令提示符后键入“Q”回车退出后才可以关闭或重启操作系统。否则在下次启动进入系统后OA系统会重新扫描数据库，查找文件，导致OA系统大约需要15分钟后才能正常使用。关于双机热备，双机热备的两台服务器在断电关机后，再次开机时，开启的顺序是有讲究的。就是需要哪台服务器作为主机对外提供服务时，就要先开哪台服务器，之后再开备机，都开启后要在热备软件主界面里检查，看看有无显示橙色或红色的项目，如果有看看是哪一项，然后找到原因处理即可。而双机热备服务器在关闭时，要先关闭备机，再关主机，如果先关主机，对外应运服务会自动被双机热备软件切换到备机。此次事件热备软件在做数据同步时，同步反的原因就是，虽然显示第二台服务器掉线，但是当时对外提供应运服务的还是第二台服务器。当重启第二台服务器的过程中对外应运的服务器已经被双机热备软件切换到了第一台服务器上。由于掉线时间较长，服务器重启后，双机热备恢复正常后发现数据共享盘差异较大，势必要对数据共享盘做完全同步。热备软件数据同步的规律是正常情况下数据同步实时在后台即时同步，而不影响应运服务对数据的访问读写操作，同步的方向是对外提供服务的服务器，也就是主机的共享盘作为源数据盘把数据同步到备机的对应共享盘。此次就是因为第二台服务器重启后，双机热备恢复了正常，但此时对外应运的服务器已经切换到了第一台服务器，所以完全同步就把第一台服务器的数据共享盘作为原数据给第二台服务器同步。结果就是不完整的旧数据覆盖了新数据，导致近期500份文件丢失。当前XXX单位双击热备使用状况：现在由于万维系统只有一个加密狗是插在第二台服务器上，且OA系统只安装了一台服务器，也安装在第二台服务器上，所以现在的情况是双机热备不能发挥应有的作用，一旦双机热备切换到了第一台服务器，必须手动切换回第二台服务器，因为第一台服务器没有万维系统的加密狗，也没有安装OA系统。切换到第一台服务器后两个应运系统全部无法使用。解决方案：解决方案只有两种办法，一种是万维系统再提供一个加密狗装在第一台服务器，在确认EMC这个双机热备软件支持OA系统后，让电子政务办给第一台服务器也安装OA系统，然后我方将OA系统服务加入双机热备软件资源组，并将OA系统安装分区加入双击热备共享盘，OA系统完全受热备软件统一管理控制。真正实现两种应运服务双机热备。第二种方案就是如果电子政务办不同意安装两台服务器，那就只有把OA系统迁出双机热备的服务器，安装在其他服务器上，让万维的系统在双机热备上正常运行。两个应运服务互不干扰。避免此类事件再次发生的教训：最主要的是数据安全，在没有外接存贮的情况下，双击热备并不能对数据保证安全，只是尽量保证对外应运服务不中断，所以我方维护人员必须至少每周对服务器上的数据进行备份，每天上班后都要在机房巡视一下，看看双机热备系统是否正常工作，有无报警或报错，如有异常，通知公司，由公司指定人员去处理，并对每次处理事件详细记录并上报。第二，如果双机热备服务器要停机，或已停机，在开机和关机顺序上是有讲究的。如果两台服务器都在关机状态下，要开机时想让哪一台服务器作为主机，那就要先看哪一台服务器，后开备机。如果要关闭双机服务器时要先关备机，再关主机。如果双机热备服务器都在运行，但是在热备软件里出现了异常，比如某项资源报警，或出现一台服务器脱机等其他异常，（在EMC双机热备软件界面里只有全部项目显示为绿色才是完全正常，如果是橙色就是告警，红色为严重告警，总之如果不是绿色就不完全正常）要首先在热备软件里查看当前是哪台服务器是在对外提供服务，这时就要注意双机热备同步的规律“数据同步方向是对外提供服务的服务器共享盘作为源数据，数据同步到备机，备机的共享盘数据被更新