传输网告警故障典型案例.doc

本地传输网故障告警典型案例光缆线路中断导致业务全阻系统概述某局本地传输网采用ZXSM-150/600/2500设备组网，整个网络由5端ZXSM-150/600/2500网元组成，构成一个通道保护环带链的结构，环一上的传输速率是2.5Gbit/s，F到C的链上的传输速率是622Mbit/s，B和D的链上的传输速率是155Mbit/s。网络结构如图6-1所示。中心局设在E网元，网管终端放在中心局。图6-1 案例1网络结构图链上光纤连接关系如下：F网元的27#OL4接A网元7#OL4，A网元的10#OL4接B网元7#OL4，B网元的10#OL4接C网元7#OL4，B网元的13#OL1接D网元7#OL1。所有其他网元均只和E网元有业务配置，A到E的业务使用链上的1#AU，B到E的业务使用链上的2#AU，C到E的业务使用链上的3#AU，D到E的业务使用链上的4#AU。网元A设置为内时钟，其余网元通过S1使用双向提取线路时钟。故障现象描述A，B，C，D到E的业务全部中断，通过网管采集告警发现，F网元的27#OL4上有“622M接收信号丢失”，A网元的7#OL4上有“622M接收信号丢失”，7#和10#OL4上有14#AU的“AU通道告警指示信号”、“不可用时间开始”等告警。B，C，D网元的光板上有相关AU的“AU通道告警指示信号”、“不可用时间开始”等告警。A网元和F网元间有B1/B2/B3 UAS性能指示。故障分析由于有再生段和复用段等高级别的告警和B1/B2性能，首先必须排除光路上的故障和外部光缆线路的因素。通过上面的告警指示可以知道，A和F都没有收到光信号。故障在A和F之间，由于A和F光板同时产生故障的可能性比较小，因此外部光缆线路等因素导致上述故障的可能性比较大。故障定位和排除步骤采用光功率指标测试法：到网元F所在机房，用光功率计从27#光板输入口、ODF的收光法兰连接、ODF上光缆成端的法兰连接，逐级测量光接口的功率。光功率计上均为收无光率指示。测试27#光板的发口光功率，为-2.15dBm，由于F和A距离25km，采用L4.1的光板连接，测试值在发送指标范围内。然后联系网元A所在机房，使用光功率计做类似测试，收光测试结果相同，7#OL4发口光功率，为-1.85dBm。于是确认是外部光缆线路中断，通知局方处理。并配合局方调度中断的业务到其他设备和线路上。进一步的工作：必须确认A网元7#OL4和F网元的27#OL4收口良好。采用尾纤自环的办法将光板的收口和发口自环，但必须保证光板收口接收从尾纤过来的光功率在指标范围内。此时如果该网元指示“622M接收信号丢失”告警消失，证明该光板收口良好。通过局方检查确认光缆线路由于工程施工被挖断，熔接处理后光缆恢复正常。在网元A和F测试收口光功率正常后，将光板上的尾纤接回，光路正常，告警消失。注意：因为局方处理外部光缆线路故障要使用OTDR（光时域反射计），验证A和F光板收发接口良好后，必须将光板上的收发尾纤拔掉，避免OTDR发出的强光功率损伤光板上的光器件。设备温度过高导致B2误码 系统概述某局本地传输网采用ZXSM-150/600/2500系统组网，整个网络由2端ZXSM-150/600/2500网元组成，传输速率是2.5Gbit/s。采用点对点无保护链形组网，网络结构如图6-2所示。中心局设在B网元，网管终端放在中心局。图6-2 案例2网络结构图光纤连接关系如下：A网元的5#OI16接B网元5#OI16。A网元和B网元的业务配置使用全部16个AU资源。网元B设置为外时钟，网元A提取线路时钟。故障现象描述局方反映交换业务层有误码，怀疑是传输有故障。检查网管发现：网元A的7#LP16板上有大量的“B2，B3 BBE/ES/SES性能值”上报，同时有“复用段信号劣化”和“B2，B3 BBE/ES/SES性能超值”告警。网元B的7#LP16板上有大量的“B2，B3 FEBBE/FEES/FESES性能值”，同时有“复用段远端缺陷指示”和“B2，B3 FEBBE/FEES/FESES性能超值”告警。故障分析由于有B2/B3和复用段告警，是复用段上的故障。首先检查机房环境和设备状况，然后再使用高阶故障定位处理的一般方法处理故障。故障定位和排除步骤检查设备发现设备的风扇被局方的维护人员关掉，LP16板温度非常高，怀疑故障由此引起。将风扇打开10分钟后，观察网管性能和告警指示，故障消除。故障原因：由于LP16板温度过高，芯片不能正常工作而产生误码。光板故障导致B2误码系统概述某局本地传输网采用中兴通讯的ZXSM-150/600/2500设备组网，整个网络由3端ZXSM-150/600/2500网元组成，构成一个无保护链结构，传输速率为622Mbit/s。网络结构如图6-3所示，中心局设在A网元。图6-3 案例3网络结构图光纤连接关系如下：A网元的7#OL4接B网元10#OL4，B网元的7#OL4接C网元10#OL4。各网元间都有2M业务。故障现象描述从网管上查询监视的性能数据，在A站发现该站与B站和C站间的业务在支路上有大量低阶误码V5 BBE，在7#OL4线路上有大量B3 BBE和B2 BBE误码。检查B站，发现该站的10#OL4线路上有大量B3 FEBBE和B2 FEBBE在支路上与A站间的业务有大量V5 FEBBE，而与C站间的业务正常。检查C站，发现该站只有在支路上与A站间的业务有大量V5 FEBBE。故障分析先定位故障网元。从A站与B站，A站与C站间业务都有误码，而B站与C站间无误码这一规律可以判断出故障应该出在A站与B站间。因为所有有误码的业务都会经过这段路由。但问题是出在A站或B站，还是在光路上，这就需要分析性能数据。我们先分析线路上的性能数据。线路上共有B1/B2/B3三种误码监测开销字节，分别监测各自产生点和终结点之间的路由质量。其中B1字节，测两站再生段间的路由，B2字节监测两站复用段之间的路由，而B3则只监测两站间某高阶通道间的路由。显然B3监测的路由包括B2和B1监测的路由，而B2监测的路由包括Bl监测的路由。从现场的数据来，只有B2和B3误码数据，说明站点的再生段之间没有问题，从而排除了光路问题的可能性。有B2误码，说明两站的复用段路由之间有故障。从误码数据内容来看，A站有背景块误码BBE数据，而B站有远端背景块误码FEBBE数据，这说明信号中的误码是在A站监测到的，但这并不说明问题一定出在A站，因为我们知道，误码都是在下行信号流中检测到的，因此，A站检测到的误码既可能来自于本站的接收端，也可能来自对端站B站的发送端。故障定位和排除步骤通过逐站排除的方法来定位故障。先自环本站A站西向光路，发现本站误码消失，说明问题不在本站，更换B站光板，全网误码消失，问题解决。窍门在上面的问题分析中，根据B1/B2/B3误码所检测路由的覆盖关系，使用了一个判断方法，那就是假定B1误码会引起B2和B3误码，而B2误码会引起B3误码。但在事实上这一规律也不是绝对的，因为虽然三者之间所监测的路由有覆盖关系，但三者各自监测的内容并不具有覆盖关系，Bl监测该STM-N帧的所有字节，而B2只监测除再生段开销以外的所有字节，B3只监测各通道VC-3和VC-4，因此当开销字节出现误码时，三者之间的关联性就不能实现了。比如在再生段开销字节B1中监测出误码，B2和B3是不会检测出来的。然而在实际维护中，我们发现仅仅是开销字节出误码的情况非常少见，因此利用B1/B2/B3的路由覆盖关系来定位故障常常可以作为一个经验性的方法来运用。时钟导致B3误码系统概述某局本地传输网采用中兴通讯的ZXSM-150/600/2500系统组网，整个网络由9端ZXSM-150/600/2500网元组成，传输速率是622Mbit/s。构成两个无额外业务的复用段保护环，网络结构如图6-4所示。中心局设在A网元，网管终端放在中心局。图6-4 案例4网络结构图西环光纤连接关系如下：A网元的10#OL4接B网元7#OL4，B网元的10#OL4接C网元7#OL4，C网元的10#OL4接D网元27#OL4，D网元的30#OL4接E网元7#OL4，E网元的10#OL4接G网元7#OL4，G网元的10#OL4接A网元7#OL4。东环光纤连接关系如下：A网元的30#OL4接H网元7#OL4，H网元的10#OL4接I网元7#OL4，I网元的10#OL4接A网元27#OL4。所有其他网元均只和A网元有业务配置，西环中A到B业务使用10#OL4方向的1#AU，A到C和D业务使用10#OL4方向的2#AU；A到G业务使用7#OL4方向的2#AU，A到E和F业务使用7#OL4方向的2#AU。东环中A到H业务使用30#OL4方向的1、2#AU，A到I业务使用10#OL4方向的1、2#AU。网元A设置为内时钟，其余网元通过S1使用双向提取线路时钟。故障现象描述西环A到B的所有业务性能劣化，交换机和基站工作不正常，通过网管发现A网元10#OL4的1#AU有B3性能超值告警，同时性能上有连续的B3 BBE/ES，频率比较高，每分钟报100200个，同时相应的EP1上所有支路均有连续的V5 BBE/FEBBE/ES/FEES，各支路的V5误码指示不等，小的每分钟报2个，大的每分钟报1000个。故障分析由于没有再生段和复用段等更高级别的告警和B1/B2性能，可以把故障定位在高阶通道层。通过提取网管历史告警和性能，发现发生告警和性能的网元只有A和B，初步定位故障范围。由于观察性能发现两端网元V5都有近端和远端性能，为便于故障定位，从网元A到网元B依次做对A 10#OL4的1#AU的终端侧环回、对B 7#OL4的1#AU的线路侧环回，通过对网元A10#OL4的1#AU时隙的任一支路长时间（15分钟左右）挂误码仪定位故障网元。挂表后发现在网元A 10#OL4的1#AU的终端侧环回就有上述告警和相关性能，必须先排除此故障，再确定网元B是否有故障存在。故障定位和排除步骤定位网元A的故障点。首先分析网元A可能的故障点，由于有B3，所以凡是有AU总线的地方都有可能出现。列写可能的故障源如下：网元A的10#OL4光板；网元A的CS交叉板；和网元A的10#OL4光板1#AU交叉连接的2#、3#EP1支路板的AU总线；网元A的PWCK时钟板；网元A的MB后背板插针接插不良。排除故障：通过对网元A的10#OL4光板拔收纤，产生复用段倒换，使B和A的业务从7#OL4的3#AU接收，然后长时间（1小时左右）观察，误码仪没有任何误码指示；同时网管除A和B有复用段倒换告警指示外，网元A的10#OL4光板1#AU没有性能超值告警和性能指示，于是排除网元A的10#OL4光板故障的可能性。将网元A的10#OL4光板收纤插回，等待网管上A和B的复用段倒换告警指示消失后，通过网管对网元A的主备交叉板做倒换。倒换后观察误码仪，误码仍然存在，网管上很快就产生了性能超值告警和性能指示，于是排除网元A交叉板故障的可能性。33#和34#EP1支路板尚未开业务，观察相关支路板的历史性能并挂误码仪确认上述支路板性能良好，用它们更换2#和3#EP1，故障依旧，更换后的支路板放到33#和34#槽位后测试良好，排除了网元A的2#和3#EP1支路板故障的可能性。分析：由于该局交验不久，正在试运行阶段，开局时性能、倒换正常，由于插接不良或后背板插针不良的可能性非常小，而且后背板插针不良更多表现是AU通道中断和B3 UAS。基本定位是PWCK时钟问题。查询网元A的时钟状态：时钟工作在上排16#PWCK，锁定状态。通过网管软件倒换网元A的时钟到36#PWCK时钟板，故障转移到10#OL4的2#AU，故障仍然存在。拔掉16#PWCK，B3性能超值告警和所有支路V5性能立即消除。挂表观察2小时，误码仪指示正常。使用PWCK时钟板备件更换后观察2天，误码测试和网管性能均指示良好，故障排除。结论：PWCK时钟板的时钟故障导致AU处理出现不正常，出现B3误码。支路板故障导致B3误码系统概述某局本地传输网采用中兴通讯的ZXSM-150/600/2500系统组网，整个网络由三个环44端ZXSM-150/600/2500网元组成，环二的传输速率是622Mbit/s，环一、环三和所有支链的传输速率是155Mbit/s。环一、环二和环三采用通道保护环组网，网络结构如图6-5所示。中心局设在F网元，网管终端放在中心局。图6-5 案例5网络结构图环一光纤连接关系如下：A网元的10#OL1接B网元7#OL1，B网元的10#OL1接C网元7#OL1，C网元的10#OL1接D网元7#OL1，D网元的10#OL1接E网元7#OL1，E网元的10#OL1接F网元7#OL1，F网元的10#OL1接G网元7#OL1 ，G网元的10#OL1接H网元7#OL1，H网元的10#OL1接I网元7#OL1，I网元的10#OL1接A网元7#OL1。环一中所有其他网元均只和F网元有业务配置，使用一个AU的资源。网元F设置为内时钟，其余网元通过S1使用双向提取线路时钟。故障现象描述环一中A网元、B网元、C网元、I网元、H网元、G网元和相关链上网元到F网元的所有业务性能劣化，交换机和基站工作不正常，通过网管发现A网元有B3性能超值告警，其余网元都有B3性能超值告警；同时A网元性能上有连续的B3 BBE/ES，频率比较高，每分钟报50个，相应的EP1上所有支路均有连续的V5 BBE/ES；其余网元性能上有连续的B3 FEBBE/FEES，相应的EP1上所有支路均有连续的V5 FEBBE/FEES，各支路的V5误码指示基本相同每分钟报100个。故障分析由于没有再生段和复用段等更高级别的告警和B1/B2性能，可以把故障定位在高阶通道层。通过提取工作时隙状态，发现D网元、E网元和E下挂支链工作在F的7#OL1方向，A网元、B网元、C网元、I网元、H网元、G网元和相关链上网元工作在F网元的10#OL1方向。将F网元10#OL1的收纤拔断，让所有网元和F网元的业务都通过7#OL1收回来，网管上所有B3和V5性能以及相关告警消失。将F网元10#OL1的收纤插回，然后将F网元7#OL1的收纤拔断，让所有网元和F网元的业务都通过10#OL1收回来，此时发现B网元、C网元、D网元、E网元、F网元、G网元、H网元、I网元和所有下挂支链网元对F的业务均性能劣化，F网元有B3性能超值告警，其余所有网元都有B3FE性能超值告警；同时F网元性能上有连续的B3 BBE/ES，频率比较高，每分钟报50个，F网元所有的EP1上所有支路均有连续的V5 BBE/ES；其余网元性能上有连续的B3 FEBBE/FEES，其余网元EP1上所有支路均有连续的V5 FEBBE/ FEES，各支路的V5误码指示基本相同每分钟报100个。通过上述操作可以定位故障网元是网元F。故障定位和排除步骤分析网元F可能的故障点：网元F的10#OL1光板；网元F的CS交叉板对10#OL1的总线；和网元F的10#OL1光板交叉连接的13#EP1支路板的AU总线；网元F的PWCK时钟板；网元F的MB后背板插针接插不良。排除故障：保证不中断业务的前提下处理故障，拔掉10#OL1光板上的收发尾纤，倒换业务到7#OL1；使用OL1板备件更换10#OL1，然后将10#OL1光板的收发尾纤插回，通过在7#OL1上插入通道告警或者7#OL1收拔纤的方式将业务倒回到10#OL1上，观察网管发现故障依旧，于是排除原10#OL1故障的可能。重复前面的操作，将原10#OL1恢复回去。由于F网元只配置了一块CS板，在8#槽位，使用CS板备件插入9#槽位，通过网管倒换主用交叉板到9#CS，业务从9#CS走，并将8#CS拔出，故障依旧，排除CS故障的可能。重复前面的操作，将9#CS拔除。由于F网元只配置了一块PWCK板，在16#槽位，使用PWCK备件插入36#槽位，通过网管倒换时钟到36#PWCK，故障依旧，排除PWCK故障的可能。重复前面的操作，将36#PWCK拔除。使用EP1备件更换13#EP1后，B3故障消除。13#EP1支路板对10#OL1光板方向的AU总线故障导致前面的B3误码。尾纤导致155M光口对接不通系统概述某局本地传输网采用ZXSM-150/600/2500系统组网，整个网络由2端ZXSM-150/600/2500网元组成，传输速率是2.5Gbit/s。采用点对点1+1保护组网，网络结构如图6-6所示。中心局设在B网元，网管终端放在中心局。图6-6 案例6网络结构图光纤连接关系如下：A网元的5#OI16接B网元5#OI16，A网元的25#OI16接B网元25#OI16。A网元和B网元的业务配置使用8个主用AU资源。网元A上的业务全部是155M光口业务，网元B上的业务全部是155M电口业务，网元B设置为外时钟，网元A提取线路时钟。故障现象描述网元A有四个155M光口和某公司设备对接，对接后业务不能互通。故障分析由于是光口对接问题，主要从接口指标、开销字节、时钟等方面检查是否一致，找出原因，解决问题。故障定位和排除步骤测试网元A用于对接的四块OL1光板收发口光功率和对接设备的收发光功率，发现-10dBm的发光，到达对端（中间为一条尾纤连接）却变成了-40dBm。可以肯定是光接口问题。检查对接设备的光口指标，发现为多模光口，必须使用多模光纤进行连接。同时必须注意将OL1光板内跳纤更换成多模光纤。采用多模光纤更换原来单模光纤后对接正常，故障排除。传输距离导致155M电口对接不通系统概述某局本地传输网采用ZXSM-150/600/2500系统组网，整个网络由2端ZXSM-150/600/2500网元组成，传输速率是2.5Gbit/s。采用点对点1+1保护组网，网络结构如图6-7所示。中心局设在B网元，网管终端放在中心局。图6-7 案例7网络结构图光纤连接关系如下：A网元的5#OI16接B网元5#OI16，A网元的25#OI16接B网元25#OI16。A网元和B网元的业务配置使用8个主用AU资源。网元A上的业务全部是155M光口业务，网元B上的业务全部是155M电口业务，网元B设置为外时钟，网元A提取线路时钟。故障现象描述网元B所有155M电口和其他厂家设备对接，对接后业务不能互通。故障分析由于是对接问题，主要从接口指标、保护接地、时钟、环境电磁干扰等方面检查，找出原因，解决问题。故障定位和排除步骤确定并排除网元B故障点：检查网管发现155M电口信号劣化，有B1/B2/B3 BBE/ES性能上报。检查从设备机架到DDF架距离有24M，来回有近50M，传输距离比较长；同时连接电缆采用SYV75-2-1的同轴电缆，回损比较大。ITU建议155M电口电平指标在0到12.7dBm经过实际测试，发现上述电缆传输后接口电平不能满足接口电平指标。采用SYV75-2-2的同轴电缆更换后对接正常。由于交叉板失效引起的不能倒换或业务不通系统概述某局本地传输网采用ZXSM-150/600/2500设备组网，整个网络由9端ZXSM-150/600/2500网元组成，构成一个通道保护环带链的结构，环一上的传输速率是622Mbit/s，A到H的链上的传输速率是155Mbit/s。网络结构如图6-8所示。中心局设在E网元，网管终端放在中心局。图6-8 案例8网络结构图原配置所有站均只与网元E有业务且业务都配置在AU2和AU3。割接计划：重新分配通道资源，让网元F、网元G、网元A、网元B和网元E的业务占用AU1。网元C、网元D和网元E的业务占用AU2。网元H、网元I和网元E的业务占用AU3。故障现象描述割接后发现网元F、网元G、网元A、网元B和网元E的所有业务不通，网元E相应的2M电路上报“TU-12指针丢失”；将上述四网元和网元E的业务重新配置到AU4上，所有业务时通时断，V5性能值很快超限。重新将上述所有业务配回到原来使用的AU2上，测试正常。故障分析这是共同使用一个AU的多个网元故障。由做该AU直通的网元交叉板故障而导致此现象的可能性比较大。故障定位和排除步骤在网元E上将部分2M上到7#光板AU1和AU4，依照网元B、网元A、网元G到网元F的顺序逐站进行AU终端侧环回，证实在网元B环回AU1不通，在网元A环回AU4有大误码。复位两站交叉板均不起作用，于是更换网元B和网元A的交叉板，AU1和AU4均恢复正常；将三站的业务重配到AU1，测试正常。注意：二纤通道环的不能保护问题许多情况下都是由于交叉板引起的。部分业务不能正常交叉的问题，表现为保护环不能保护，2M不通或者有大误码。由此可见，一般交叉板的问题我们可以通过环回把故障准确定位。然后我们可以通过单点自环和互换槽位和单板的方法定位具体单板。一般对于定位到有故障的单板可以通过单板复位或带电拔插的方式确认是否损坏。若交叉板配置有备份，为避免或减少业务中断，操作前可以通过网管先进行主备切换。由于时隙配置不合理而引起业务不能完全保护系统概述某局本地传输网采用ZXSM-150/600/2500设备组网，整个网络由9端ZXSM-150/600/2500网元组成，构成一个通道保护环带链的结构，环一上的传输速率是2.5Gbit/s，A到H的链上的传输速率是622Mbit/s。网络结构如图6-9所示。中心局设在A网元，网管终端放在中心局。5#5#5#5#5#5#10#10#10#10#10#10#10#图6-9 案例9网络结构图在A站点通过27#OL4与I站和H站相接，此本地网只有通道环上各站点到网元H、网元I的业务，并使用同一个AU，此AU在A站没有上下业务，在A网元做AU直通，从27#OL4分别配置到7#OI16和10#OI16。故障现象描述F站点停电，网元F及其所带支链业务中断均属正常，但网元G所带业务也同时中断，其余站点业务正常，所有站点的告警均正常，反映出设备保护倒换存在问题，网元F停电不应该对网元G的业务有影响。初步故障定位在G站点倒换有问题（即另外一个方向的通道有问题），导致了网元G及其支链的业务不通。后网元F来电，所有业务恢复正常。故障分析首先AU级的通道保护触发倒换的条件需要有AU级的告警，而AU级的告警只有在AU直通的时隙配置时才往下传递，一旦这个AU在某个站点有TU业务上下，AU级的告警就在这个站点终结，不会继续往下传递。其次AU级的通道保护的优收只能在工作通道和保护通道中选择一个方向；而在一个AU里的TU级的通道保护每个TU可以根据TU通道的告警或传输质量选择走工作通道或保护通道。故障定位和排除步骤在网元A做测试：拔断网元G方向的光纤，所有业务正常；拔断网元B方向的尾纤，所有业务也正常。说明网元G两个方向的通道均正常，当初的故障定位不对。为了模拟网元F停电后的情况，到网元F做测试：拔断网元G方向的尾纤，出现的故障现象与停电时的故障现象完全相反，网元G及其所带支链站点的业务正常，而网元B、网元C、网元D、网元E、网元F及它们所带支链站点的业务全部中断；拔断网元E方向的尾纤，网元F、网元G及其所带支链站点的业务正常，而网元B、网元C、网元D、网元E及它们所带支链站点的业务全部中断。这个故障现象说明：网元F至网元B到网元A方向的这个通道有问题，但在A站点所做的测试又可以证明这个通道没有问题。分析此故障与硬件无关，应该是数据的问题。最后查明原因在于A站点的时隙配置是用AU级上下网元I和网元H，而此AU在通道环上又多站点上下业务。在通道环带链的组网下，当相交点配置环与链间的业务时，需要配置保护。如果某个AU的业务全部下到这个通道环上的某个站点，在相交点既可以配置成AU级的保护（但该AU在所经过的站点必须配置为AU的直通），也可以配置成TU级的保护；但如果这个AU的业务是对这个通道环上的多个站点上下业务，就不能配置成AU级的保护，必须配置成TU级的保护，主要是由于告警的传递和触发倒换的判决条件所决定的。时钟故障导致CSB不运行故障现象描述有一端ZXSM-150/600/2500设备加电后，插有一块TCS4的交叉板CSB上电自检通过，之后红、绿灯同时熄灭，