网络应急预案

1、黑龙江移动 - 铁通网络应急预案鸡西应急日常准备网络基本信息准备:工具和仪表准备：工具名称用途光功率计用于测量光功率。光纤跳线用于替换故障尾纤。光纤绑扎带用于捆扎替换后的故障尾纤。网线用于连接网元或局域网的网线。光谱分析仪用于查看光线路的光谱。万用表用于测量各种电气参数。防静电腕带防止人体静电损坏敏感元器件。防静电包装袋保护需要防静电的部件。防静电服防止人体静电损坏敏感元器件。十字螺丝刀用于拆装设备螺丝。标签纸用于标示设备或者线缆。SDH ETH业务分析仪用于测量业务信号。应急恢复总体原则：以业务快速恢复为目标，优先抢通业务，做好分工和解决方案的沟通，争取抢通和抢修并行。当故障业务条数小于等于

2、 2条时,如初步判断不能短期解决，优先将重要业务倒换到保护波道。事故信息收集（10分钟）第一时间关键信息收集操作人员操作步骤具体动作备注网管人故障基本信息收1、故障发生时间：年/月/日时：分:秒员集2、影响业务信息：波数，业务级别（2.5G，10G,40G, 100G）和承载的业务类型（大客户专线，移动回传）及对接设备类型（可选）。3、故障前外部操作或环境变化：如掉电，机房温度 变化，光缆割接，网络拓扑调整（增删节点，网络改造），客户侧业务割接调整等；4、故障后已做操作及结果：网管侧操作：业务配置，人工保护倒换，复位单板，环回等；现场操作：拔插光纤/电缆，物理环回，拔插单板，更换单板， 网元上

3、下电；处理结果：中断业务部分恢复，中 断业务更多，网兀返回失败，单板不幵工；等等网管人员网络基本信息收集5、网络拓扑：节点数、保护类型 （ODUk SNCP OLP光线路 1+1,客户侧 1+1，ODUkSpring，ERPS 板内1+1,无保护）、网络层次（骨干，汇聚，接入）、 拓扑类型（链，环，环相切，环相交，环带链 ）6、设备信息及运行情况:设备类型，网元版本、网 元状态网管人员查询告警和性能信息根据承载业务中断的具体时间， 查询对应时间段是否存在关键告警或异常状态（如:光纤中断RLOS单板复位、网元脱管、保护倒换告警、环回告警、安装态告警）7、在网管上先同步告警，然后查询当前和历史告警

4、 以及当前及历史15m性能。8、把设备、单板、线路的告警与业务中断的时间进 行致性确认。9、建议检查告警屏蔽状态和通道非介入监视状态， 确保告警正常上报。10、故障前后主通道光功率值（光放大板/OSC 板）;（通过24H历史性能查询历史值）网管人员查询操作日志11、根据承载业务中断的具体时间,查询该时间段的关键操作日志。（关键步骤为：配置业务、 复位、环回、优化、倒换等操作）网管人员初步判断12、根据告警和操作日志是否能初步准确定位到关键设备和保护子网。采取相应预案。网管人员求助烽火工程师13、请第一时间电话烽火工程师。有条件的可以取得客户授权的情况下远程接入；网管人查询业务中断共14、如果是

5、多波中断，查询所有中断波长所经过员同路由的路径，确认波长经过的共同网元节点。15、选取一条中断的路径，点击维护-环回，进入网管人通过环回功能定环回界面。采用二分法，从源端到宿端逐步环回。员位到单站确认影响业务中断具体设备，再根据该设备的具体异常，采取预案。避免在情况不明的情况下盲目操作 ，导致问题扩大化。 处理过程中一定要作好故障记录，保存好故障的原始数据。 分析定界：（5分钟）根据上述采集的信息，判断是否波分网络的问题：信息分析定界步骤操作人员判断和定位时间花费1网管人中断的业务只在波分系统上有共同的故障路由，则需要先排除波员分侧故障；5分钟2网管人波分设备0T单板的波分侧存在员0TN_L0

6、F/0TN_L0S/0TUk_SM_BIP8_SD/0TUk_SM_BDI/0TUk_SIODUk_PM_AIS /0DUk_PM_B等告警，确认为波分侧问题；34网管人员中断业务经过的共同路由有明确的设备、单板等硬件故障告警（如：C0MMUN_FA/LEMP_0VE等），判断为波分设备问题，并马上启动硬件备件响应；网管人员波分设备0T单板客户侧端口存在 R L0S R L0F等告警，则需要 先排查客户侧光口和对接设备之间的故障。定位恢复：（50分钟）场景一：单波业务中断此处指无保护场景定位恢复步骤场景介绍A/B/C/D/E 五个站点组成一个 96波波分环（左 上图），各站信 号流图见右图。每

7、个波道在中间站点均OMU48-ODU48尾纤直接穿通。现发现Av-D之间的192.1THZ 单波道中断。有相关(OTN_LOS/OTNLOF/ODUk_SM_BIP8_SD/ODUk_PM_AIS等）上报。假设 告警上报在D站 点，A站有对应 的BDI回告。操步骤作排除故障原因操作动作员费1网 管&现 场 人 员快速恢复动作在资源允许的情况下：将客户业务调至其它可用的波 道或者备用波道；或者客户对接设备存在保护则可以 通过关闭OTL单板激光器触发倒换，或者联系对接设 备维护人员手动倒换。30分钟故障综述：单波故障绝大部份可以归为两类， 类为由于光功率异常导致（以下统 描 述为光功率子场景），另

8、 类为由于板件、尾纤等异常导致（以下统 描述为非光功率 子场景），关键在于定位到具体的故障点，采取相应措施解决。光功率问题子场景（D站点波分侧直接报R_LOS勺情况）处理步骤1网 管&现场人排除收端先扫描收端站点192.1THZ波长是否丢失，如果没有丢 失且光功率正常，则进一步排查站点下波尾纤、 光衰， 尝试远程硬复位单板，同时安排人现场使用光纤环回 OTL单板的波分侧，确定是否单板故障，如故障，则 更换单板；10分钟员2网 管&现 场 人 员排除发端然后再扫描发端站点192.1THZ波长是否丢失，如果丢 失，则排杳上波尾纤和光衰、尝试远程硬复位单板， 同时安排人现场使用光纤环回确定是否单板故

9、障，如故障，则更换单板；5分钟3网 管&现场人 员定位中间站点如果发端192.1THZ波长没有丢失，从发端A站点幵始， 按信号流方向逐站扫描192.1THZ波长是否丢失，确认 波长丢失站点，（通过光功率计测试方法：发端站点：OTU-OMU48 收端站点：ODU48-OTU 中间穿通站点：ODU48-OMU48查找故障点，并通过清洁 光口、更换尾纤、更换单板的方式解决。15分钟备注：如果现场没有配置 OPh单板，又无法调波，业务恢复时长很难控制，同时网管中 心通过总光功率变化来粗略判断故障点（波数很少的情况比较有效，波数多则无法判 断），需要维护人员带上光功率计、光谱分析仪、备件、尾纤等物料逐站

10、排查。光功率问题子场景（非报R_LOS处理步骤1网 管 人 员检查光功率是否下降、是否有误码分别查询A、D两站OTL单板的收发光功率，并对比历 史24H性能值，确认是否是光功率问题导致的故障（可 通过与故障前的光功率数据（如历史光功率性能数据 或定期刷新过的文档）进行比较，以确定当前光功率 值是否异常。）此场景通常会伴随存在误码、FEC纠错等异常性能事件。3分钟2网 管&现场人 员排除硬件故障分别对A、D占OT单板使用光纤进行环回，确认是否 单板故障，若单板故障直接更换；（单光口板可以直 接尝试硬复位单板）10分钟3网 管 人 员排除波长漂移问题对发端OT单板（本例中为A站点）扫描波长，确认是

11、 否波长漂移，若漂移则硬复位单板临时恢复；5分钟4网 管 人 员快速恢复动作尝试提咼该单波的收光功率 （不能超过过载点）并观察性能变化。方法：从发端幵始减少各站0MU4对应通道的衰减值。3分钟5网 管 人 员快速恢复动作尝试调整发端线路总光功率：注意观察其他波长性能 变化，在不影响其他波长性能的前提下小量多次，调整幅度不超过3dB。5分钟6网 管 人 员从发端A站点幵始，按信号流方向逐站扫描 192仃HZ 波长，确认波长突变量较大的点，（通过光功率计测 试方法：发端站点：OTU-OMU48收端站点：ODU48-OTU 中间穿通站点：ODU48-OMU48 查 找故障点，并通过清洁光口、更换尾纤

12、、减小 M40V 衰减、更换单板的方式解决。15分钟非光功率问题子场景处理步骤1网 管 人确认为非光功率问题分别查询A、D两站OTL单板的收发光功率，并对比历史24H性能值，确认是非光功率问题导致的故障（可通过与故障前的光功率数据（如历史光功率性能数据3分钟员或定期刷新过的文档）进行比较，以确定当前光功率值是否异常。）2网 管 人 员排除硬件故障1、先硬复位发端单板，再硬复位收端单板；2、如果硬复位完成后，业务未恢复，分别对 A D站0T单板进行软件内环回、 外环回，确认是否单板故障；5分钟3现 场 人 员排除硬件故障1、对收发端单板进行硬环回，确认故障单板。2、对故障单板进行更换。10分钟场

13、景二：多波业务中断此处指无保护场景定位恢复步骤场景介绍A/B/C/D/E五个站点组成一个80波波分环（左上图），每个站点均为背靠背的OTM占，各站信 号流图见左下图。每个波道在中间站点均为M40-D40尾纤直接穿通。现发现环上大量波道出现异常告警。多波中断。步骤操作 人 员操作动作排除故障原因时间花费故障综述：环路多波故障绝大部份都是由于主光路异常或者合分波板、光放板故障导致，在没有光纤中断的情况下，关键在于定位出故障出现的站点。1网 管 人 员排除光缆故障查询环路上所有站点OS（单板的输入、输出光功 率（对比单板当前和历史性能值），对比历史 记录值，确认主光路是否存在光功率跌落，如 果有跌落

14、：5分钟1、减少链路上可调衰减器件的衰减值（比如VO/等）;2、适当增大光放板增益；通知客户修复主光路；2网 管&现 场 人 员排除光放板故障查询环路上所有段落光放板的输入、输出光功 率，对比历史记录值（对比单板当前和历史性 能值），确认是否存在异常的光放板，如果异 常：1、首先确认增益设置是否正确， 不正确则修复 并确认故障是否恢复；2、 通过光功率确认光放板（如果是OA系列单 板）内部口衰耗是否正常，不正常则更换尾 纤（DCMI块不动）；3、尝试修改光放增益，无效则硬复位光放，4、上述三步无法解决则更换光放大板；5分钟3网管&排除OMU48/OD U48查询环路上所有站点OMU48/ODU

15、48输入、输出光功率，对比历史记录值（对比单板当前和历 史性能值），如果有异常，则通过清洁光口、20分钟现 场 人 员故障更换相关尾纤，调整光衰的方法排除故障，如 无法排除，则更换单板。4网 管&现 场 人 员排除操作异常上述主光功率问题均排除的情况下，应重点了 解现场人员故障前的操作情况，是否存在 DCM 口 光缆变化的情况，同时核查各站 DCI配置，分析 路由，尝试性增减、替换 DCM来解决。25分钟场景三：常见保护业务中断此处常见保护包括：光线路保护、客户侧 1+1保护、板内1+1保护、ODUk SNC保护、SW SNC保护定位恢复步骤步骤操作人员操作动作快速恢复步骤时间花费1网管人员检查保护组状态，确认是否存在保护组被强制/锁定 在非NORMAL通道上。如果是，解除强制/锁定倒换 查看业务是否恢复，如业务未恢复，将保护组强制 倒换到另一通道上，杳看业务是否恢复。强制倒换恢复32网管人员针对SNC保护，可以尝试去激活、激活保护组，业 务无法恢复则再尝试进行强制倒换，看业务是否恢 复。去激活/激活恢复33网管人员删除保护组重新配置，杳看业务是否恢复；如果不恢复，再进行强制倒换，看业务是否恢复。重新配置保护组恢复54网管人员如果采取以上操作后都不恢复，将保护组两端强制 到主通道，参照波分侧单波故障、多波故障的方式