11月19日中兴LJR2十楼扩一设备故障分析报告(附图).doc

11月19日中兴LJR2十楼扩一设备故障分析报告一、 故障处理过程（1） 20：56网管中心派发工单：2013年11月19日20：43 TJH1至多个局向瞬报链路故障，网管中心派发工单至传输维护中心，传输维护中心值班人员判断故障段落后，通知相关设备主管及包机人处理故障；（2） 21：30查看相关告警并分析故障原因：紧急远程登录传输SDH中兴E300网管，查看LJR2网管相关告警，发现LJR2十楼扩一与LJR2十楼上联光板主用方向（7板位）上报背板帧失步，其它各板位频繁上报TU12-LOP以及TU12-AIS告警；（3） 21：35复位光板OL16：复位LJR2十楼扩一与LJR2十楼上联光板主用方向（7板位），该板位重启后，告警未恢复；（4） 21：40LJR2十楼扩一上联LJR2十楼光板主备倒换：对LJR2十楼扩一与LJR2十楼上联光板进行主备倒换，插入告警强制倒换，安排值班人员拔出LJR2十楼扩一与LJR2十楼上联光板主用方向（7板位），操作后告警均未消除；（5） 21：54倒换交叉板查询交叉板状态并倒换交叉板的业务选择方向到备用，查询告警未恢复，维护人员赴现场准备更换交叉板；（6） 22：01复位交叉板；查询同步定时源状态后，远程复位主用交叉板后，倒换业务到主用交叉板，告警逐步消除，经与网维中心人员确认TJH1告警恢复；（7） 22：40更换备用交叉板；现场更换备用交叉板以及主用光板，告警未反复；（8） 20日10：44更换主用交叉板；网维中心反馈4：55告警反复，2分钟后恢复。为避免其后类似情况再次出现更换主用交叉板，在进行主备交叉板倒换时LJR2十楼扩一各单板闪报背板帧失步。更换主用交叉板后，告警未反复。二、 故障原因分析LJR2十楼扩2LJR2十楼扩1TJH1TJDM3LJR2十一楼扩5LJR2十一楼扩4LJR2十一楼扩3LJR2十一楼扩2LJR2十一楼扩1LJR2十二楼扩1LJR2十二楼扩2LJR2十二楼扩3LJR2十一楼LJR2八楼LJR2五楼LJR2十四楼LJR2十二楼LJR2十楼根据故障现象以及操作过程判断，两块交叉板在故障发生同时上报背板信号劣化，之后反复，交叉板切换后故障仍未恢复，确认故障发生时主备交叉板均不能正常运行，单板已送交中兴公司进行故障检测。TJH1故障电路业务开通示意图经中兴研发部门确认，故障设备使用的CSAV交叉板为早期版本，此种单板本身存在检测定帧范围小的缺陷。此缺陷容易引发支路板与线路板背板信号劣化故障告警，存在故障隐患，现已被后期产品CSAZ交叉板所替代。经统计现网S385设备共加载CSAV单板22块。而此未收到中兴公司关于该单板存在问题的通报，中兴天津办事处工程师在故障发生时也不清楚该缺陷。设备如使用CSAV交叉板要求在具体板位加载上电时，需先加载交叉板，再加载线路侧光板。在设备运行过程中，一旦出现交叉板单板故障，复位或更换交叉板后，需重新插拔所有线路侧光板，否则设备后续运行过程中会有一定概率出现定帧不同步，造成背板OOF、SD等异常告警的出现，进而业务异常。该端设备交维后，未更换或复位过交叉板，建设期间即遗留该故障隐患，中兴公司在设备在网运行期间也未反馈该单板缺陷或通知升级，致故障隐患长期遗留。由于此故障原因较为复杂，涉及中兴SDH设备本身内部机制缺陷，在中兴公司未反馈该问题的情况下，我们按照应急方案进行单板上报告警处理，致故障处理过程比预计的要长。三、 后续处理措施1、 尽快安排对全网使用CSAV型号交叉板的11端S385设备进行光板复位，后续如遇CSAV单板故障，处理故障时需按照上电顺序操作，以防止使用该单板出现