网络应急预案

1、黑龙江移动 - 铁通网络应急预案鸡西1 / 10应急日常准备1.1网络基本信息准备：黑龙江铁通 2011年全业务城域传送网一期1.2工具和仪表准备：工具名称用途光功率计用于测量光功率。光纤跳线用于替换故障尾纤。光纤绑扎带用于捆扎替换后的故障尾纤。网线用于连接网元或局域网的网线。光谱分析仪用于查看光线路的光谱。万用表用于测量各种电气参数。防静电腕带防止人体静电损坏敏感元器件。2 / 10防静电包装袋保护需要防静电的部件。防静电服防止人体静电损坏敏感元器件。十字螺丝刀用于拆装设备螺丝。标签纸用于标示设备或者线缆。SDH 、ETH 业务分析仪用于测量业务信号。2 应急恢复总体原则：以业务快速恢复为目

2、标，优先抢通业务，做好分工和解决方案的沟通，争取抢通和抢修并行。当故障业务条数小于等于2 条时 ,如初步判断不能短期解决,优先将重要业务倒换到保护波道。3 / 104 / 102.1事故信息收集（ 10分钟）第一时间关键信息收集操作人员操作步骤具体动作备注1、 故障发生时间：年 / 月 / 日 时:分 :秒2、 影响业务信息：波数，业务级别（2.5G ，10G ，40G ，100G)和承载的业务类型 ( 大客户专线，移动回传)及对接设备类型（可选）。3、 故障前外部操作或环境变化：如掉电，机房温度变化，光缆割接，网络拓扑调整（增删节点，网络改造），客户侧业务割接调整等；网管人员故障基本信息收集

3、4、 故障后已做操作及结果：网管侧操作：业务配置，人工保护倒换，复位单板，环回等；现场操作：拔插光纤/ 电缆，物理环回，拔插单板，更换单板，网元上下电；处理结果：中断业务部分恢复，中断业务更多，网元返回失败，单板不开工；等等5、 网络拓扑：节点数、保护类型 (ODUk SNCP ，OLP 光线路 1+1，客户侧网管人员网络基本信息收集1+1 ， ODUk Spring ，ERPS，板内 1+1 ，无保护 )、网络层次 (骨干，汇聚，接入 )、拓扑类型 (链，环，环相切，环相交，环带链 )6、 设备信息及运行情况 : 设备类型，网元版本、网元状态根据承载业务中断的具体时间， 查询对应时间段是否存

4、在关键告警或异常状态 (如 :光纤中断 RLOS 、单板复位、网元脱管、保护倒换告警、环回告警、安装态告警 )7、 在网管上先同步告警， 然后查询当前和历史告警以及当前及历史15m 性网管人员查询告警和性能信息能。8、 把设备、单板、线路的告警与业务中断的时间进行一致性确认。9、 建议检查告警屏蔽状态和通道非介入监视状态，确保告警正常上报。10 、 故障前后主通道光功率值 ( 光放大板 /OSC 板 )；（通过 24H 历史性能查询历史值）网管人员查询操作日志11 、 根据承载业务中断的具体时间 , 查询该时间段的关键操作日志。（关键步骤为：配置业务、复位、环回、优化、倒换等操作）网管人员初步

5、判断12 、 根据告警和操作日志是否能初步准确定位到关键设备和保护子网。采取相应预案。网管人员求助烽火工程师13 、 请第一时间电话烽火工程师。有条件的可以取得客户授权的情况下远程接入；网管人员查询业务中断共同路由14 、 如果是多波中断，查询所有中断波长所经过的路径，确认波长经过的共同网元节点。通过环回功能定位到单15 、 选取一条中断的路径，点击维护- 环回，进入环回界面。采用二分法，网管人员从源端到宿端逐步环回。 确认影响业务中断具体设备， 再根据该设备的站具体异常，采取预案。避免在情况不明的情况下盲目操作, 导致问题扩大化。5 / 10处理过程中一定要作好故障记录，保存好故障的原始数据

6、。2.2分析定界：（ 5 分钟）根据上述采集的信息， 判断是否波分网络的问题：信息分析定界步骤操作人员判断和定位时间花费1网管人员中断的业务只在波分系统上有共同的故障路由，则需要先排除波分侧故障；波分设备 OTU 单板的波分侧存在2网管人员OTN_LOF/OTN_LOS/OTUk_SM_BIP8_SD/OTUk_SM_BDI/OTUk_SM_BEI5分钟ODUk_PM_AIS /ODUk_PM_BDI等告警，确认为波分侧问题；中断业务经过的共同路由有明确的设备、单板等硬件故障告警（如：COMMUN_FAIL3 网管人员/TEMP_OVER 等），判断为波分设备问题，并马上启动硬件备件响应；波分

7、设备 OTU 单板客户侧端口存在R_LOS、R_LOF等告警，则需要先排查客户侧光口和对4 网管人员接设备之间的故障。2.3定位恢复：（ 50 分钟）场景一：单波业务中断此处指无保护场景定位恢复步骤A/B/C/D/E五个站点组成一个 96 波波分环（左上图），各站信号流图见右图。每个波道在中间站点均 OMU48-ODU48尾纤直接穿通。场景介绍现发现 AD之间的 192.1THZ 单波道中断。有相关告警（OTN_LOS/OTN_L OF/ODUk_SM_BIP8 _SD/ ODUk_PM_AIS等）上报。假设告警上报在 D站点， A 站有对6 / 10应的 BDI 回告。操时步骤作间排除故障原

8、因操作动作人花员费网管&在资源允许的情况下： 将客户业务调至其它可用的波道或者备用波道；或者301现快速恢复动作客户对接设备存在保护则可以通过关闭OTU 单板激光器触发倒换，或者联分场系对接设备维护人员手动倒换。钟人员故障综述：单波故障绝大部份可以归为两类，一类为由于光功率异常导致（以下统一描述为光功率子场景），另一类为由于板件、尾纤等异常导致（以下统一描述为非光功率子场景），关键在于定位到具体的故障点，采取相应措施解决。光功率问题子场景（D 站点波分侧直接报R_LOS 的情况）处理步骤网管&先扫描收端站点 192.1THZ 波长是否丢失，如果没有丢失且光功率正常，则101现排除收端进一步排查

9、站点下波尾纤、光衰，尝试远程硬复位单板，同时安排人现场使分场用光纤环回 OTU 单板的波分侧，确定是否单板故障，如故障，则更换单板；钟人员网管&然后再扫描发端站点 192.1THZ 波长是否丢失，如果丢失，则排查上波尾纤5 分2现排除发端和光衰、尝试远程硬复位单板，同时安排人现场使用光纤环回确定是否单板钟场故障，如故障，则更换单板；人员网管如果发端 192.1THZ 波长没有丢失，从发端 A 站点开始，按信号流方向逐站&扫描 192.1THZ 波长是否丢失，确认波长丢失站点，（通过光功率计测试方153现定位中间站点法：发端站点： OTU-OMU48，收端站点： ODU48-OTU，中间穿分场通

10、站点： ODU48-OMU48）查找故障点， 并通过清洁光口、 更换尾纤、钟人更换单板的方式解决。员备注：如果现场没有配置 OPM 单板，又无法调波，业务恢复时长很难控制，同时网管中心通过总光功率变化来粗略判断故障点（波数很少的情况比较有效，波数多则无法判断） ，需要维护人员带上光功率计、 光谱分析仪、备件、 尾纤等物料逐站排查。光功率问题子场景（非报 R_LOS ）处理步骤网分别查询 A 、D两站 OTU 单板的收发光功率，并对比历史24H 性能值，确认1管检查光功率是否下降、是否是光功率问题导致的故障 （可通过与故障前的光功率数据 （如历史光功3 分人是否有误码率性能数据或定期刷新过的文档

11、）进行比较，以确定当前光功率值是否异钟员常。）此场景通常会伴随存在误码、FEC纠错等异常性能事件。7 / 10网管&分别对 A 、D 站OTU 单板使用光纤进行环回，确认是否单板故障，若单板故102现排除硬件故障分障直接更换；（单光口板可以直接尝试硬复位单板）场钟人员网3管排除波长漂移问题对发端 OTU 单板（本例中为 A 站点）扫描波长，确认是否波长漂移，若漂移5 分人则硬复位单板临时恢复；钟员网4管快速恢复动作尝试提高该单波的收光功率（不能超过过载点）并观察性能变化。3 分人方法：从发端开始减少各站OMU48 对应通道的衰减值。钟员网5管快速恢复动作尝试调整发端线路总光功率：注意观察其他波

12、长性能变化，在不影响其他波5 分人长性能的前提下小量多次，调整幅度不超过3dB 。钟员网从发端 A 站点开始，按信号流方向逐站扫描192.1THZ 波长，确认波长突变15管量较大的点，（通过光功率计测试方法：发端站点：OTU-OMU486，收端站点： ODU48-OTU ，中间穿通站点： ODU48-OMU48分人）查找故员障点，并通过清洁光口、 更换尾纤、 减小 M40V 衰减、更换单板的方式解决。钟非光功率问题子场景处理步骤网分别查询 A 、D两站 OTU 单板的收发光功率，并对比历史24H 性能值，确认管3 分1确认为非光功率问题是非光功率问题导致的故障（可通过与故障前的光功率数据（如历

13、史光功率人钟员性能数据或定期刷新过的文档） 进行比较，以确定当前光功率值是否异常。）网1 、 先硬复位发端单板，再硬复位收端单板；管5 分2排除硬件故障2 、 如果硬复位完成后，业务未恢复，分别对A 、D 站OTU 单板进行软件内人钟环回、外环回，确认是否单板故障；员现10场1 、对收发端单板进行硬环回，确认故障单板。3排除硬件故障分人2 、对故障单板进行更换。钟员场景二：多波业务中断此处指无保护场景定位恢复步骤8 / 10A/B/C/D/E五个站点组成一个 80 波波分环（左上图），每个站点均为背靠背的OTM 站，各站信号流图见左下图。场景介绍每个波道在中间站点均为M40-D40尾纤直接穿通

14、。现发现环上大量波道出现异常告警。多波中断。操作时间步骤操作动作排除故障原因人花费员故障综述：环路多波故障绝大部份都是由于主光路异常或者合分波板、光放板故障导致，在没有光纤中断的情况下，关键在于定位出故障出现的站点。查询环路上所有站点 OSC 单板的输入、输出光功率（对比单板当前网和历史性能值） ，对比历史记录值， 确认主光路是否存在光功率跌落，管如果有跌落：5 分钟1排除光缆故障1 、 减少链路上可调衰减器件的衰减值（比如VOA 等）；人员2 、 适当增大光放板增益；通知客户修复主光路；查询环路上所有段落光放板的输入、输出光功率，对比历史记录值（对网比单板当前和历史性能值） ，确认是否存在异

15、常的光放板， 如果异常：管 &1 、 首先确认增益设置是否正确，不正确则修复并确认故障是否恢现排除光放板故障复；5 分钟22 、 通过光功率确认光放板（如果是OA 系列单板）内部口衰耗是否场人正常，不正常则更换尾纤（ DCM 模块不动）；员3 、 尝试修改光放增益，无效则硬复位光放，4 、 上述三步无法解决则更换光放大板；网管 &查询环路上所有站点 OMU48/ODU48的输入、输出光功率，对比历现排 除 OMU48/OD史记录值（对比单板当前和历史性能值），如果有异常，则通过清洁20 分钟3U48 故障场光口、更换相关尾纤，调整光衰的方法排除故障，如无法排除，则更人换单板。员网管 &上述主光

16、功率问题均排除的情况下，应重点了解现场人员故障前的操现排除操作异常作情况，是否存在 DCM 和光缆变化的情况， 同时核查各站 DCM 配置，25 分钟4场分析路由，尝试性增减、替换 DCM 来解决。人员9 / 10场景三：常见保护业务中断此处常见保护包括：光线路保护、 客户侧 1+1 保护、板内 1+1 保护、 ODUk SNCP 保护、 SW SNCP保护定位恢复步骤步骤操作人员操作动作时间快速恢复步骤花费检查保护组状态，确认是否存在保护组被强制/ 锁定在非 NORMAL的通道1网管人员上。如果是，解除强制 / 锁定倒换查看业务是否恢复，如业务未恢复，将保强制倒换恢复3护组强制倒换到另一通道上，查看业务是否恢复。2针对 SNCP 保护，可以尝试去激活、激活保护组，业务无法恢复则再尝试去 激 活 / 激 活网管人员3进行强制倒换，看业务是否恢复。恢复3删除保护组重新配置， 查看业务是否恢复； 如果不恢复， 再进行强制倒换，重新配置保护网管人员看业务是否恢复。5组恢复4网管人员如果采取以上操作后都不恢复，将保护组两端强制到主通道，参照波分侧1单波故障、多波故障的