一起与伪线双归保护相关的TD业务中断案例分析.docx

一起与伪线双归保护相关的TD业务中断案例分析关键字：伪线双归保护、GIPI3板、伪线倒换故障描述2012.12.01 06:05 新余无线侧反映分宜县城大量TD同时中断，监控人员反映PTN网管和RNC网管上无告警，另外这些中断的基站市电及电池电压均无异常。现网PTN与RNC对接层面部署了伪线双归保护，每台RNC引出两个物理光口绑定成聚合口，此两个物理接口直接与两台传输9008对接，如下图所示；业务由传输9008和RNC各自分摊到两个接口，一旦某台9008或某个光口发生损坏，业务即切换到另一个接口，以此形成保护。本文主要是从传输侧的角度分析这次故障处理步骤（当时无线侧人员未到场）。故障诊断1、 首先怀疑是传输内故障，县公司的2个汇聚点到新余枢纽楼的所有业务都是通过2条10GE链路上行，并通过OLP保护分布在4条不同的实际光缆承载，而且前期也进行过路由分离排查、在上月刚进行过例行断纤倒换测试无异常。通过查看这2个上行10GE端口光功率及LLDP邻居正常，并抽查了几条中断基站的工作、保护隧道环回都正常，登录到网元查看无告警也无倒换事件，可以排除光缆故障及中间节点、网管漏报等故障；2、 抽查了几条中断基站的业务及伪线配置，网管上以及网元上都正常，排除配置属性丢失或异常的可能；3、 问题最大可能还是出在业务经过路径的最末端，再次让监控人员把中断TD站数量统计出来，共22个且全部归属在RNC4上，通过比对传输侧建立的电路维护资料，分宜县城共有44条TD业务，全部都是通过核心9008-3和9008-4与RNC对接，且这2台PTN设备同一单板上与其他RNC对接的TD站没有中断，同时县城TD站也没有全部中断，可以排除单板故障，那接下来就是分析特定的端口；4、 通过比对电路维护资料发现中断的22个站都在RNC4的聚合口3(物理端口4/7/1和4/8/1)和聚合口4(物理端口4/7/2和4/8/2)，分别登录到核心9008-3以及核心9008-4上查看对应端口状态及收发包情况，显示均为UP，但是与RNC4物理端口4/7/1、4/7/2对应的两个端口只有发包却没有收包增长，初步怀疑对端单板故障（当前RNC一块单板只有2个光口）；5、 联想到伪线双归保护的几个特点：第一、单发双收，对PTN而言，收发可能不同路径，传输侧只能决定发路径而收路径则由RNC侧决定，新余现网RNC侧的聚合口是负荷分担模式，RNC发送时会按特定规则（二层或三次报文头）将某条业务从固定的端口发出；第二、传输侧伪线倒换的条件是必须感知到收无光，光口状态down，否则，即使单板运行故障，倘若并未造成光口down，则业务也不会倒换；第三、PTN伪线倒换只能改变本端的发路径，同理返回式也是针对本端发路径。通过以上分析可以基本判定RNC4的 4/7单板故障，简而言之就是RNC倒换了但PTN没有倒换，RNC能正常发给PTN，但收不到PTN发过去的包，因为PTN还是从原有路径（端口）发送给有故障的单板了；6、12.02凌晨传输侧与无线侧双方一起做了验证，证实RNC4的4/7确实存在故障。解决措施分别强制关掉传输侧与RNC4物理端口4/7/1、4/7/2对应的两个端口激光器，业务马上恢复；预防、监控措施与之前部署的LAG保护不同，前者会有lacp报文协商，伪线双归保护中PTN与RNC之间对接时没有协议协商，PTN只有感知到RNC侧光口down才能进行正常的伪线倒换，所以对于软件运行故障如若未能导致光口down掉，则业务不会倒换；当然伪线双归保护的初衷是为了防止传输侧单节点失效，这个意义是重大的。建议无线侧能彻底查清GIPI3板的故障原因，并能实现单板故障时自动关闭激光器功能，目前而言如若RNC侧再次出现类似的软件