MSOFTX3000 事故快速恢复应急预案 V10

1、MSOFTX3000事故快速恢复应急预案(CPCI)(客户版)HUAWGIHUAWEI Technologies CO. LTD.IIU5PEI内部公开目录 TOC o 1-5 h z HYPERLINK l bookmark14 o Current Document 注意事项3 HYPERLINK l bookmark20 o Current Document 应急预案场景和总体步骤3应用场景3故障恢复总体步骤4 HYPERLINK l bookmark23 o Current Document CPCI平台设备MSOFTX3000业务快速恢复三板斧4高危告警4 HYPERLINK l bo

2、okmark65 o Current Document 高危操作10 HYPERLINK l bookmark77 o Current Document 复位恢复11CPCI平台设备MSOFTX3000业务抢通方案错误！未定义书签。CPCI平台设备MSOFTX3000设备抢修方案错误！未定义书签。1注意事项本应急预案必须征求本网络客户同意后才可以使用。2 匚应急预案场景和总体步骤21应用场景应用场景：本文档主要是用于在设备日常运行过程中，发生重大事故或紧急问题情况，没有定位的情况下，如何快速恢复。不适用于由于升级引发的紧急问题。升级、打补丁后导致的问题需要通过回退解决，不在本文讨论范围内。使用

3、人员：一线服务和客户适用版本：CPCI V100R007C03/V100R008C02及 以上版本HUAWEI2.2故障恢复总体步骤YES 口务中襁通JHa NOT ND 域暇爵抢通板斧快速恢夏三版斧% 咨妇描liL ：E慌集航倒|u|34TFaJ;k+ W3 CPCI平台设备MSOFTX3000业务快速恢复三板斧3.1高危告警1) MSOFTX3000告警查询步骤流程步骤执行时间备注1查询告警列表1 min跆。:一部其？高危告 警查询脚本.tMt注：脚本中时间需要根据实际情况调整。2） MSOFTX3000存在“ALM-1522设备退出服务”告警步流程步骤 骤判断是否更改 过FECFG配置

4、以及SCTP参数 配置执行备注时间1、在Server上确认是否修改过FECFG配置以及SCTP参数，命令 如下（需要修改时间“年&月&日&时&分&秒”）：LST CMDLOG: ST=2011&06&01&00&00&00, ET=2011&06&01&02&00&00, QM=KWDM, KWD=FECFG”;LST CMDLOG: ST=2011&06&01&00&00&00, ET=2011&06&01&02&00&00, QM=KWDM, KWD=SCTPPARA”;如果修改过配置，并且与故障发生时间吻合，则需要确认修 改参数是否正确；2、如果确认修改错误，则重新修改正确。如果无法确认

5、，则回 退配置操作。完毕执行DSP MGW判断是否恢复；注意：（a）回退的数据需要跟客户确认正确性。5min（b）更改这部分数据需要根据提示信息操作，可能会j求复位相应单板，参考下一步骤。3、如果确认修改正确，再在告警台上查询修改FECFG和SCTPPARA之后时间里，WIFM、WBSG（WSGU）、WCCU（WCSU）、WMGC 和WEAM单板是否都已经复位完毕；没有复位的单板，需要重 新复位；说明：（a）执行MOD FECFG命令后，修改除稳定性选项外的配 置，要执行FMT命令并重启 WIFM/WBSG（WSGU）/WCCU（WCSU）/WMGC/WEAM板o（b） 执行SET SCTPP

6、ARA命令后，需要复位BSG单板。4、执行DSP MGW判断是否恢复，如果没有恢复继续下面步骤。判断必可侧是2否更改过SCTP 2min参数配置执行 ACT MGW激 活网关1min1、在MGW侧执行LST LOG查询是否修改过SCTPINIT配置及IPIF 配置（修改时间，SD表示开始日期，ST表示开始时间，ED 表示结束日期，ET表示结束时间）：LST LOG: LTP=OPER, SD=2011&06&01, ST=00&00&00, ED=2011&06&01ET=01&00&00, CN=SET SCTPINIT”;LST LOG: LTP=OPER, SD=2011&06&01,

7、ST=00&00&00, ED=2011&06&01ET=01&00&00, CN=”MOD IPIF”；2、如果有修改，则恢复原先的配置；3、在MSOFTX3000侧执行DSP MGW判断是否恢复，如果没有恢复 继续下面步骤。1、使用ACT MGW命令激活网关；2、执行DSP MGW判断是否恢复，如果没有恢复继续下面步骤。在甲侧激活虚拟媒体网关1min在MGW侧执行ACT VMGW激活虚拟媒体网关。查询H248链路状态，确认告警中退服MGW的H248链路是否全 部故障：确认H248链路 是否正常2minDSP H248LNK: MGWNAME=”xxx”；1、如果存在至少一条正常的H248链

8、路，则请跳出此告警的处 理，跳到执行MSC Server存在“ALM-4662 Q922 链路 CRC 校验失败比例高”或“ALM-2069模块间通信故障”告警。2、如果H248链路全部故障，则继续如下步骤。1、MSOFTX3000侧执行Ping操作（改变“次数”为100；改变“数据大小（字节）”的数值为64,500,1400进行三次操作），对于SCTP多归属链路，两个路径都需要进行；检查IP承载网 是否正常5 min2、如果上述Ping操作显示丢包率大于20%，则可以确认承载 网存在问题，尝试强制倒换平面(拔掉网线，这根网线连接 在有问题路径的IFM后插单板)。7存在IFM单板2号端口“AL

9、M-2271单板网口协商失败”告警5min1、检查本端IFM单板(LST FECFG)和外接LanSwitch或路由器 端口配置端口工作模式是否一致(DIS DIA)，如果不一致， 需要修改为一致。一般都应该配置为自适应模式；注意：如果修改LanSwitch上的工作模式，重启LanSwitch 但不需要重启主机上的模块。如果通过MOD FECFG命令修改IFM单板的工作模式后 需要执行FMT命令并重启wifm/wbsg(wsgu)/wccu(wcsu)/wmgc/weAM板，但 不需要重启LanSwitch2、执行DSP MGW判断是否恢复，如果没有恢复继续下面步骤。8存在“ALM-2141

10、WIFM板IP地址 冲突,，告警15m in1、这时一般是因为新接入设备引起，确认新接入网络的设备，将具备冲突IP地址的设备进行隔离；2、执行DSP MGW判断是否恢复。3) MSOFTX3000存在“ALM-2902话单池满”或“ALM-2904话单池越限” 或“ALM-2931话单池占用空间超过20%”告警步骤流程步骤执行 时间备注1检查拥塞范围1 min查看告警，确认是单个模块、单个单板、还是整个局点的话单 池拥塞2确认话单池疏导参数配置正 确1 min确认P135BIT7设置为默认值0，如果不为0，则修改为0：MOD MSFP: ID=P135, MODTYPE=P1, BIT=7,

11、BITVAL=0;3如果单个模块 拥塞，则尝试 隔离该单板业 务1 min执行如下命令去将此模块业务隔离(即该模块不处理业务)， 不再产生话单：，隔离移动侧业务SET SPA: MN=22, SA=BSSAP-0&RANAP-0&GS-0&MAP-0&CAP-0&INAP-0;隔离中继业务ISUP： BLK N7TKCBICC： BLK BICCCIC如果所有模块都拥塞，则尝1min试倒换iGWB转移业务到应527急设备min注：SIP业务暂时无法隔离如果是整个局点所有模块都存在话单池拥塞告警，则尝试倒换 iGWB 如果短时间仍然无法恢复，则建议尽快将业务转移到应急设备， 避免话单损失。4）M

12、SOFTX3000存在“ALM-4662 Q922链路CRC校验失败比例高”或“ALM-2069模块间通信故障”告警步骤流程步骤执行时间备注1根据告警信息，确认是哪 个模块存在问题（确认是个 别业务单板故 障，还是HSC单 板故障），更 换故障单板10mi n1、所有这些告警中源模块号或者目的模块号都存在相同的模 块号，则说明此模块可能存在问题，则倒换单板（如果是 BSG单板，则更换这块BSG单板），观察告警是否不再产生； 如果仍然不断发出这个模块的告警，把单板拔出暂时隔离；2、如果没有解决，则可能是某个机框的HSC单板存在问题，更 换HSC单板解决。找出具体故障HSC单板的方法如下：（a）

13、有A、B、C三个机框，上述的一部分告警的源模块 集中A或B机框并且目的模块集中在C机框；剩余 的其他告警的源模块集中在C机框并且目的模块集 中在A或B机框。则，说明C机框的HSC单板存在 问题；（b）如果每一个告警中的（告警源模块号+告警目的模 块号）数值之和都为偶数，则更换C框9槽HSC单 板，如果（告警源模块号+告警目的模块号）数值 之和都为奇数则更换C框7槽HSC单板；如果奇偶 都存在，则依次更换C框9槽、7槽HSC单板。！注意：9槽HSC对应的是6槽SMU，7槽HSC对应的是8 槽SMU。更换HSC单板时，必须确保HSC单板对应的SMU是备用状态。如果不是，则需要通过倒换SMU使得HS

14、C单板对 应SMU为备用状态才能更换。否则突然拔掉主用HSC或SMU 可能引起整框下电。MSOFTX3000存在 “ALM-1707 MTP 缓冲区拥塞”或 “ALM-1709 MTP 二 层拥塞”或“ALM-1809 M3UA链路拥塞”告警步骤流程步骤执行 时间备注1执行命令减少业务量5 min参考：网元拥塞业务流控方法MSOFTX3000存在“ALM-2049 单板 CPU 过载”告警步骤流程步骤执行 时间备注尝试抑制重复 监听将P1350比特0设置为0，打开重复监听抑制功能11 minMOD MSFP: ID=P1350, MODTYPE=P1, BIT=0, BITVAL=0;2关闭所

15、有消息 跟踪2 min在BAM服务器关闭MML进程，并设置MML进程为手动，2分钟后再 启动这个MML进程。3尝试断开M2000链接1 min在M2000上手动将MSOFTX3000网元断连：在M2000客户端菜单中，选择拓扑-主拓扑，选择需要断连的网 元图标，点击右键，选择“设置不连接”4执行命令减少业务量5 min参考: 5)MSOFTX3000存在“ ALM-1707 MTP缓冲区拥塞”或 “ALM-1709 MTP二层拥塞”或“ALM-1809 M3UA链路拥塞”告警 中的减少业务量的操作步骤。MSOFTX3000存在“ALM-1874 MSRN 资源不足”告警步骤流程步骤执行 时间备

16、注1检查确定自动缩短超时时间功能开启1 min执行如下命令检查软参P204Bit14是否为0LST MSFP: ID=P204;如果不为0，则执行如下命令，将该参数修改为0，打开漫游号码释放时间自动调整功能MOD MSFP: ID=P204, MODTYPE=P1, BIT=14, BITVAL=0;2开启MSRN超时释放事件确定1 min执行如下命令打开漫游号码超时释放事件功能：漫游号码没有及时释放的局 向MOD MSFP: ID=P400, MODTYPE=P1, BIT=7, BITVAL=1;打开此功能后，漫游号码超时释放会上报事件（1892 MSRN超时 释放），通过此告警中的GMS

17、C号可以确定是哪个局申请了漫游 号码没有入局导致MSRN超时。3确认此局点的漫游号码无法分配的原因并设法恢复2 min找到该申请漫游号码局点，确认分配了漫游号码没有入局的原因并恢复，常见原因有：1）中继电路故障或不足。确认方法：通过观察该局点中继局向话统，确认是否存在溢出次数，如果存在溢出次数则说明是中继电路故障或不足。2）修改了号码分析相关数据，导致漫游号码返回后，被号码变 换送到其他局向或者没有出局。确认方法：通过观察该局点操作日志，分析该局点在故障前是 否做过针对漫游号码的号码分析类数据。3.2高危操作1） MSOFTX3000操作命令查询脚本步骤流程步骤执行时间备注1确认事故前是否有修

18、改可疑数据配置2 min检查操作日志中是否存在ADD/MOD/RMV/SET修改配置的操作，执行 如下命令（修改红色部分ST为查询起始时间，ET为查询结束时间， 如果可以确认事故发生时间（小时级别）则收集事故发生前2小时 内的操作日志，如果无法确认事故发生的时间（小时级别），则 收集24小时内的操作日志）：LST CMDLOG: ST=2011&06&01&00&00&00, ET=2011&06&01&23&59&59, QM=CHM, CH=ADD&MOD&RMV&SET”;2) MSOFTX3000事故前执行了数据配置操作步骤流程步骤执行时间备注1恢复数据3 min如果通过操作日志可以确认数据配置错误或者有可疑操作，则与 相关人员确认，执行命令回退数据，恢复数据到修改前。可疑操作判断原则：业务相关：与故障现象现象可能有关联。例如故障现象为部分