iGWB设备应急指导书(客户版)-20030909-C-V1.00.doc

目 录1、目的42、使用对象43、适用场合44、预防措施45、应急措施45.1紧急情况界定45.2应急措施及应急流程45.2.1 iGWB故障应急处理指导65.3信息采集与信息记录95.4通报和技术支援91、目的本指导书是针对华为公司 iGWB 设备在运行过程中或者操作过程中可能出现的紧急问题，而制定的操作指导，其目的是在设备发生故障时，提供紧急维护的手段。指导书中同时提供了一些预防措施，使得在故障发生前及时发现故障的苗头，在故障发生后，降低故障对系统的影响。2、使用对象iGWB设备维护人员3、适用场合设备出现紧急问题时，指导设备维护人员进行初步的故障定位与排除。 4、预防措施为保证iGWB稳定运行，尽最大可能减少突发事故，请遵照华为公司用户资料做好日常维护。5、应急措施5.1紧急情况界定l iGWB 应急问题；5.2应急措施及应急流程在出现紧急情况后，请根据以下图中的“应急流程”采用相应的应急措施应急处理流程说明 表示状态，如：开始、结束 表示进行一种判断 表示进行一种操作在应急处理流程图上使用数字标号表示各个操作步骤，然后在每个应急处理流程图后面，对每个标号都有比较详细的操作说明；请熟悉故障应急处理流程后，参考操作处理说明进行故障处理；5.2.1 iGWB故障应急处理指导iGWB故障应急处理说明看具体说明前请先了解一些判断方法：a， 从客户端 业务状态查询，可以看到iGWB的运行情况，（包括：主备，心跳，CPU占用率，前、后存盘空间，内存使用等情况）b， 判断对端是否可以切换，可以 在对端运行“netstat a |grep 600”，查看是否有6000，6001，6007端口被占用。在对端运行“netstat a |grep 9999”，查看是否有9999端口被占用。1、从M2000或者 告警台查看iGWB的告警，可以从详细告警信息的告警参数中获取哪个服务器出现了该告警；注：iGWB号0为主iGWB （Node1）；iGWB号1为备iGWB （Node2）； 2、查看是否有 磁盘空间不足告警，从详细告警信息的告警参数中获取哪个磁盘出现了磁盘空间不足的告警注：磁盘类型0表示前存盘（存放原始话单的盘）；磁盘类型1表示后存盘（存放最终话单的盘）；磁盘类型2表示备份介质； 3、查看磁盘空间，对于前存盘和后存盘，如果空间小于所配置的空间大小（默认为800M），则磁盘空间不足。前存盘和后存盘都位于磁盘阵列上，只有掌握磁盘阵列资源的节点可以访问。前存盘在/var/frontsave，后存盘在/var/backsave。这两个空间可以从客户端查看得到，比如前存盘空间显示为 “9758/10183”表明：总共有空间10183M，可用空间为9758M。4、对于后存盘空间不足，可以让计费中心取走话单来解决。或者增加硬盘、通过对产品重配置来缩短话单保存的时间、增加设备分流话单的接收处理。5、可以从客户端查看到心跳的情况，比如显示为 “1/2”表明配置了2条心跳，但只有1条可用。6、可能是心跳线未连或者未连好，把机器后面的心跳线给连接好了。极特殊情况，如果还不能消除，可能是心跳线损坏或者是该用作心跳的网口损坏。请通报等待处理。7、从M2000或者 告警台查看iGWB的告警，可以从详细告警信息的告警参数中获取哪个节点以及哪个资源出现了告警；参见1，可知哪个节点出现了告警，从参数可以知道哪个虚拟IP出现了告警。8、请检查该虚拟IP所对应的网口情况，是否网线连接不正常。9、请检查连接并确认连接好。对于此告警，如果目前的节点不是发生告警的节点，需要告警发生1小时后，确认可以切换，并切换至对端，等待10分钟看该告警是否出现。10、从M2000或者 告警台查看iGWB的告警，可以从详细告警信息的告警参数中获取哪个资源出现了告警；11、在掌握磁盘阵列的节点上运行“vxinfo g igwbdg”检查输出，或检查磁盘阵列上的灯是否有红色出现，如果输出结果不都为strated，或者有红灯出现，请联系华为技术支持。极特殊情况为磁盘故障导致iGWB故障，需要修复或者更换磁盘。12、可能是心跳线未连或者未连好，把机器后面的心跳线给连接好了。极特殊情况，如果还不能消除，可能是心跳线损坏或者是该用作心跳的网口损坏。请通报等待处理。13、请联系计费中心来取话单，或检查与计费中心的网络连接情况。14、因为iGWB的双机特性，手工倒换 或者 资源失效 都会发生节点的切换，都会发该告警。15、看是否是其他的故障原因（非手工倒换）造成的，如果有请先处理其他的告警，如果没有则可能是手工倒换造成，不是问题。16、转相应的告警处理。17、不是问题18、从M2000或者 告警台查看iGWB的告警，可以从详细告警信息的告警参数中获取哪个服务器出现了该告警；19、从M2000或者 告警台查看iGWB的告警，可以从详细告警信息的告警参数中获取哪个服务器出现了该告警；20、查看是否运行了其他的不必要的软件，或者是否接入的GSN容量超过iGWB的正常承担值。21、如有不必要的软件则停止该软件，如果是容量过大的因素则要考虑增加设备或者让其他的iGWB分流。22、如对相关的配置不妥当，则考虑对iGWB进行重新配置（两个节点均需要配置），制定更加合理的该告警发生条件。23、因对CG进行了重新的配置，需要重起，可以采取确认可以倒换到对端，然后切换至对端，观察该告警情况。24、如果告警恢复/问题未再出现，则解决。注： 对于没有倒换和重起的处理，则看告警是否恢复 对于发生倒换和重起的处理，则观察告警是否仍会出现。25、如果伴有“磁盘空间不足”的告警，则转该告警处理。否则查看联系华为支持人员，准备好trace文件。26、检查与所设置的网络备份目的机器的网络连接情况，排除网络原因，以及设置原因。27、检查备份目的机器所提供的备份路径是否存在，以及给相应的用户开放了写权限。如果以上处理不能排除故障，请收集以下信息：根据以上操作方法，进行了哪些操作处理，记录每一次操作的操作结果；具体的告警信息是什么？并把两个节点中/opt/iGWB/trace目录中的trace文件，/opt/iGWB/config/ini/iGWB.ini 文件磁盘阵列中的/var/other/alarm中的文件 /var/other/log中的文件保存好，以便问题更快更准的解决。准备好拨号服务器；并拨打华为公司集中受理