BSC故障处理案例.doc

广东无线网络运营中心/广东无线网络优化中心BSC故障案例讲解本次演练旨在提高重大网络故障的指挥调度能力和应急处置能力，根据故障的影响范围，本次演练包括：XPU单板倒换、OIUA单板隔离、GOU单板隔离、OMU服务器倒换.1场景一：光纤传输中断产生断站22场景二：A3A7链路故障定位33场景三：PO1B接口板吊死故障处理实例44场景四：XPU单板故障倒换场景75场景五：OIUA单板故障隔离场景96场景六：GOU单板故障隔离场景137场景七：OMU倒换场景151 场景一：光纤传输中断产生断站定位【背景】：11月17日，BSC2，4出现数个13基站出现Abis链路中断告警。【措施】：定位故障产生原因，如果同时断站数量比较多的话，可能性最大的有：1. 光纤传输中断；2. BSC接口板故障；经检查发现，13个站点同时断站，分布在两套BSC共4块接口板上，传输链路状态为AIS告警，另外，与断站同在一块板上的其他站点状态正常。如此，单板出现问题的可能性不大，很可能是光纤传输问题。经与联通传输中心证实，该传输环上的光路存在告警，同在该环在的联通基站也已断站。【指令】：(1) 步骤1：通过网管系统观察断站所出现的告警特征，有无BSC级告警，例如单板不在位告警等（PO1B板等不在位）。(2) 步骤2：使用LST BTSLNK断站的链路信息，重点观察它们是否同框同槽，确认是否是BSC单板故障，同时进行步骤3。(3) 步骤3：咨询传输监控中心传输网络是否有异常告警，传输反馈某光路传输环确实有故障，且所断站点就在该传输环上。(4) 步骤4：进一步确认BSC单板无故障。使用LST BTSLNK断站的链路信息，重点观察它们的1X传输是否同框同槽，使用DSP E1T1STAT查看断站E1T1链路状态。若是传输问题，E1T1链路肯定是不可用的。(5) 步骤4：配合传输中心处理传输故障问题。(6) 步骤5：传输恢复正常后检查基站的各个状态是否正常。【小结】：光纤传输故障主要特征是断站分布在不同的接口板上。2 场景二：A3A7链路故障定位最近，惠州CBSC由于种种原因，经常出现A3A7告警。A3/A7接口是两个相邻BSC之间的逻辑接口，用于支持CDMA1X网络中BSC间的软切换，传输电路硬件上跟基站一样，也是由PO1B接口板承载。也就是说，检查A3A7链路故障，其实也是通过检查传输MLPPPLNK链路状态及IP路由来确定。A3A7故障处理步骤：（1） 步骤1：查看告警，确定产生问题的框槽链路组及IP等链路信息。（2） 步骤2：列出链路及路由信息。命令LST NBRBSC列出该BSC上的A3A7链路组信息及对应的IP；命令LST IPBRDROUT列出该框槽上的链路组信息及对应的IP。（3） 步骤3：确认故障A3A7链路传输状态。DSP MPLNKSTAT查看链路组状态。再用命令IPBRD PING 检查路由是否可达，注意，PING的IP是路由链路的IP，不是BSC的IP。（4） 步骤4：咨询传输中心和对端BSC是否有异常告警或操作。根据IP地址和链路信息，查询A3A7链路信息表确认对端BSC所在局（比如广州为，）。惠州BSC的A3A7链路路由信息对应表如下：（5） 步骤5：与对端BSC协作，定位并处理故障。对端局已从上表中检查出来后，即可与对端局协作处理故障。3 场景三：PO1B接口板吊死故障处理实例【背景】：10月11日惠州BSC3有19个基站出现AIS链路中断告警。【措施】：定位故障产生原因，如此大数量同时间的断站，可能性最大的有：1.光纤传输中断；2.BSC系统故障；产生告警如下。经询问传输维护中心，确认传输网络无异常告警，则可能性较大的是BSC系统故障。观察告警，发现断站主要集中在4框22，24，25三个接口板上。LST BTSLNK查看断站链路配置信息，发现断站1X链路全部挂在4框22槽，而该槽的所有站点都已断站，24、25槽挂的是DO链路。因1X链路承载基站的信令链路和操作维护链路，至此容易得出结论，是4框22槽出了问题。进一步确认故障，发现4框22槽PO1B板无单板不在位告警，而且PPP链路均可用，怀疑该板程序吊死。使用IPBRD PING命令PING该板上的PPP链路路由，发现 PING不通，证实该板确实吊死。最后，复位或者换板，问题解决。【指令】：步骤1：通过网管系统观察断站所出现的告警特征，有无BSC级告警，例如单板不在位告警等（PO1B板等不在位），但单板吊死通常不会出现单板不在位告警。步骤2：使用LST BTSLNK断站的链路信息，重点观察它们是否同框同槽，确认是否是BSC单板故障，同时进行步骤3。步骤3：咨询传输监控中心传输网络是否有异常告警，确认光纤传输无问题。步骤4：使用LST BTSLNK断站的链路信息，重点观察它们的1X传输是否同框同槽，使用DSP E1T1STAT查看断站E1T1链路状态。若是传输问题，E1T1链路肯定是不可用的；若是单板吊死，则通常是不仅链路的E1T1可用，PPP也可用。步骤5：使用IIPBRD PING检查PPP链路是否能PING通。如果路由PING不通，基本可以确认该接口板已经吊死。步骤6：传输恢复正常后检查基站的各个状态是否正常。【小结】：检查接口板是否吊死关键是PING链路路由。如果是PO1B单板失效出现不在位等告警，如下，可通过DSP BRDINFO检查其运行状态，确认不可用后直接更换单板。4 场景四：XPU单板故障倒换场景【背景】：BSC出现“单板不在位”告警，或者XPU单板的某个子系统失效。【措施】：复位XPUOa板或强制倒换异常XPUOa板。【指令】：启动人工倒换：STR MANUALSWITCHING: FN=2, SN=8, BTP=XPUOa;(1) 步骤1:登陆LMT，查看单板状态，并检查有无其他伴随告警。(2) 步骤2:用指令LST LOG检查有无人为操作。如LST LOG: STIME=2009&08&24&23&30, ETIME=2009&08&25&06&00;(3) 步骤3:给出预处理结果，用指令RST BRD重启单板。如：RST BRD: FN=2, SN=8, OPT=BOARD;(4) 步骤4:给出预处理结果，通知处理执行小组现场处理。(5) 步骤5、配合现场故障处理故障。(6) 步骤6:用指令DSP BRDINFO检查单板状态注：倒换前用指令“DSP BRDINFO: FN=框号, SN=槽号;”和“DSP BRDINFO: FN=框号, SN=槽号;”确认检查结果互为“主用”“备用”才可以倒换。 (7) 步骤7:用指令STR MANUALSWITCHING倒换单板。如STR MANUALSWITCHING: FN=2, SN=8, BTP=XPUOa;【流程】：【流程说明】：5 场景五：OIUA单板故障隔离场景【背景】BSC出现“七号信令链路不可用”告警。【措施】：闭塞异常OIUA板的A2电路。【指令】：BLK A2: OPC=0x0000, NI=NAT2C, SCIC=xx, ECIC=xxx;注：隔离前查询单板状态，确认单板是否异常。如果异常，需要再查询需要被隔离单板的源信令点编码及启始CIC号，执行隔离。隔离完成后检查隔离是否成功。另外，解隔离后也需要检查解隔离是否成功。(1) 步骤1、登陆LMT，查看单板状态，并检查有无其他伴随告警。(2) 步骤2、用指令LST LOG检查有无人为操作。如LST LOG: STIME=2009&08&24&23&30, ETIME=2009&08&25&06&00;(3) 步骤3、给出预处理结果，用指令RST BRD重启单板。如：RST BRD: FN=2, SN=12, OPT=BOARD;(4) 步骤4、通知并配合现场故障处理故障。(5) 步骤5、用指令LST SPUOC查询源信令点编码，如：LST SPUOPC: FN=2, SN=10;(6) 步骤6、用指令LST TKC查询CIC电路号，如：LST TKC: FN=2, SN=16; (7) 步骤7、用指令BLK A2隔离单板，如：BLK A2: OPC=”, NI=NAT2C,SCIC=0,ECIC=31;(8) 步骤8、用指令DSP A2查询单板隔离是否成功，如：DSP A2: OPC=”, NI=NAT2C,SCIC=0,ECIC=31;(9) 步骤9、给出预处理结果，用指令RST BRD重启单板。如：RST BRD: FN=2, SN=12, OPT=BOARD;(10) 步骤10、用指令UBL A2隔离单板，如：UBL A2: OPC=”, NI=NAT2C,SCIC=0,ECIC=31;(11) 步骤11、用指令DSP A2查询单板解除隔离是否成功，如：DSP A2: OPC=”, NI=NAT2C,SCIC=0,ECIC=31; 【流程】：【流程说明】：6 场景六：GOU单板故障隔离场景【背景】：BSC出现 “A10/A11/A12接口链路故障”告警。【措施】：隔离异常GOU板。【指令】：MOD BRDSEGINF: FN=x, SN=x, SEGTYP=SEG, CONFIRM=Y;l 注：隔离前查询单板状态，确认单板是否异常。如果异常，执行隔离(GOUXa是PCF数据业务处理合一接口板,Packet over STM-1,可工作在资源池方式.)；隔离完成后检查隔离是否成功。另外，解隔离后也需要检查解隔离是否成功。(1) 步骤1、登陆LMT，查看单板状态，并检查有无其他伴随告警。(2) 步骤2、用指令LST LOG检查有无人为操作。如LST LOG: STIME=2009&08&24&23&30, ETIME=2009&08&25&06&00;(3) 步骤3、给出预处理结果，用指令RST BRD重启单板。如：RST BRD: FN=2, SN=15, OPT=BOARD;(4) 步骤4、通知并配合现场故障处理故障。(5) 步骤5、用指令DSP BRDINFO查询主备用单板状态。如DSP BRDINFO: FN=2, SN=14; (6) 步骤6、用指令MOD BRDSEGINF屏蔽单板。如MOD BRDSEGINF: FN=2, SN=13, SEGTYP=SEG, CONFIRM=Y;(7) 步骤7、用指令DSP BRDINFO查询隔离是否成功。如DSP BRDINFO: FN=2, SN=14;(8) 步骤8、用指令MOD BRDSEGINF屏蔽单板。如:MOD BRDSEGINF: FN=2, SN=14, SEGTYP=UNSEG;(9) 步骤9、用指令DSP BRDINFO查询解决隔离是否成功。如DSP BRDINFO: FN=2, SN=14;【流程】：【流程说明】：7 场景七：OMU倒换场景【背景】：BSC出现“BAM紧急切换告警”和“BAM切换成功告警”告警【措施】：在主用BAM上备份ALARM数据库，在备用BAM上还原ALARM数据库。【指令】：双机主备倒换：SWP BAM: AUTOSYNCDATA=YES;注：如果双机系统倒换成功，所有连接到BAM系统上的客户端（包括LMT、告警台、M2000）都会断开，要继续对系统进行维护，客户端需要重新登录。(1) 步骤1：键入指令 BKP DB: DBNAME=ALARM; (