Gb over IP 紧急故障处理手册

GBOVERIP改造后紧急故障处理手册V10共16页第1页张兵战未经许可，不得外传GBOVERIP紧急故障处理指引（核心网络维护室）版本修订内容修订人V10根据爱立信提供的手册梳理形成故障处理指引手册，BSC侧需要完善指令和操作步骤张兵战GBOVERIP改造后紧急故障处理手册V10共16页第2页张兵战未经许可，不得外传目录目录2一、说明3二、GB口全阻故障的可能性3三、紧急排障操作41、业务全阻的现象及告警关注42、部分全阻的现象及告警关注43、BSC侧的紧急排障操作54、LANSWITCH侧的紧急排障操作6四、GBOVERIP应急处理81、LANSWITCH上联CE的端口吊死82、LANSWITCH端口闪断或者链路闪断93、【斟酌是否需要翻译】CONNECTIONBETWEENBSCANDLSHASPROBLEM124、【斟酌是否需要翻译】SOMELIPSAREMISSING145、【斟酌是否需要翻译】GPRSTRAFFICISABNORMALINSOMECELLS14五、故障处理流程简化指引151、【需要补充】BSC侧152、LS查看PCURP的状态EXRPPRPALL查看GB口状态RRGWPRRPPPAPLGBIRRAPPAPLGBIRRAPPAPLIPSRRAPPIPADDRALLRRIPPIPADDRALLRRINPNSEIALLRRBVPNSEIALL查看小区状态GBOVERIP改造后紧急故障处理手册V10共16页第6页张兵战未经许可，不得外传RLCRPCELLALLRLGRPCELLALLRLBDPCELLALLRLGSPCELLALLRLDEPCELLALL确认LS到BSC的通信是否正常DUMPIFCONFIGETHIFPINGLS1,LS2,SGSNEND4、LANSWITCH侧的紧急排障操作查看LS的所有端口状态SHOWPORTINFOSHOWPORTCONF检查LS1、LS2到CE、SGSN的通信是否出现故障PINGCEPINGSGSNFROMLSGBOVERIP改造后紧急故障处理手册V10共16页第7页张兵战未经许可，不得外传检查LS到达SGSN的路径是否异常TRACEROUTESGSNFROMLS如果PING和TRACEROUTE均没异常，则可以排除LS出局链路故障。如果能PING通SGSN，而不能TRACEROUTESGSN，则可选择TRACEROUTE其他的SGSN如101291601以确认GB业务是由对应的CE出局的不能TRACEROUTE对应的SGSN有可能是SGSN的软件版本不允许路由追踪而导致确认LS到BSC的通信是否正常清除IPARP信息CLEARIPARP检查LS下联BSC的链路是否正常LSPINGBSC33检查当前BSC业务IP是否从本LS出局查看BSC的业务IP是从互联端口3学习到的，还是从724、50端口学习到的LSSHOWIPARP检查LS的路由指向是否异常SHOWIPROUTE检查端口统计信息SHOWPORTSCONFIG查看端口配置SHOWPORTSRXERRORS查看端口是否存在错误接收报文GBOVERIP改造后紧急故障处理手册V10共16页第8页张兵战未经许可，不得外传SHOWPORTSTXERRORS查看端口是否存在错误发送报文SHOWPORTSSTATUS查看端口实时收发报文状态四、GBOVERIP应急处理前提BSC的GB口状态异常，业务完全阻断或部分阻断。1、LANSWITCH上联CE的端口吊死BSC侧的现象出现A1级别告警“RADIOTRANSMISSIONIPGBINTERFACEFAULT”，可能原因为“NOACTIVERIP”或者“NSALIVETIMEOUT”。RRINP显示GB口在NS层没有激活，同时获取不到SGSN侧的业务IP地址RIP或者RIP状态为NOOPERATIONAL。RRBVP显示所有小区的BVCI状态没有激活LANSWITCH侧的现象LS上联CE的端口是UP的，但是从LSPING不通CE，同时发现该端口数据收发流量均为0应急方案在上联CE侧关闭下联到LS的端口GBOVERIP改造后紧急故障处理手册V10共16页第9页张兵战未经许可，不得外传LOCALSE800CONFIGENTERCONFIGURATIONCOMMANDS,ONEPERLINE,ENDTOEXITLOCALSE800CONFIGPORTETHERNET12/1LOCALSE800CONFIGPORTSHUTDOWNLOCALSE800CONFIGPORTCOMMITTRANSACTIONCOMMITTEDLOCALSE800CONFIGPORTEND在LS侧关闭上联CE的端口LS1DISABLEPORT49LS1SAVEY现场操作断开LS对应的端口连接2、LANSWITCH端口闪断或者链路闪断LS与CE互联经过光波分设备时（广州不存在此现象）LS上联CE链路故障，此时会影响业务。BSC侧的现象出现A2级别告警“RADIOTRANSMISSIONIPGBINTERFACEFAULT”GBOVERIP改造后紧急故障处理手册V10共16页第10页张兵战未经许可，不得外传RRINP显示GB口在NS层已经被激活，但是部分RIP状态为NOOPERATIONAL。RRBVP显示部分小区的BVCI状态没有激活LANSWITCH侧的现象LS与CE无告警LS下联BSC链路单边故障BSC侧的现象出现A3级别告警“RADIOTRANSMISSIONIPGATEWAYFAULT”业务会自动倒换至备用边，业务不受影响LANSWITCH侧的现象LS与CE出现端口DOWN告警，此时业务不受影响；LS下联BSC链路双边故障BSC侧的现象出现A2级别告警“RADIOTRANSMISSIONIPGATEWAYFAULT”此时该RPP单板业务全阻，RRBVP显示小区的BVCI状态没有激活LANSWITCH侧的现象GBOVERIP改造后紧急故障处理手册V10共16页第11页张兵战未经许可，不得外传LS与CE出现端口DOWN告警。LS与CE互联不经过光波分设备时LS上联CE链路故障，不会影响业务。BSC侧的现象出现A2级别告警“RADIOTRANSMISSIONIPGBINTERFACEFAULT”RRINP显示GB口在NS层已经被激活，但是部分RIP状态为NOOPERATIONAL。RRBVP显示部分小区的BVCI状态没有激活LANSWITCH侧的现象LS与CE出现端口DOWN告警LS下联BSC链路故障，此时业务不受影响BSC侧的现象LS下联BSC链路单边故障BSC侧的现象出现A3级别告警“RADIOTRANSMISSIONIPGATEWAYFAULT”业务会自动倒换至备用边，业务不受影响LANSWITCH侧的现象LS与CE出现端口DOWN告警，此时业务不受影响；GBOVERIP改造后紧急故障处理手册V10共16页第12页张兵战未经许可，不得外传LS下联BSC链路双边故障BSC侧的现象出现A2级别告警“RADIOTRANSMISSIONIPGATEWAYFAULT”此时该RPP单板业务全阻，RRBVP显示小区的BVCI状态没有激活LANSWITCH侧的现象LS与CE出现端口DOWN告警。应急方案若经过光波分系统则预处理办法与端口吊死处理方式一致若不经过光波分系统，则为链路故障，需要紧急更换传输线缆3、【斟酌是否需要翻译】CONNECTIONBETWEENBSCANDLSHASPROBLEMERRORSYMPTOMSANDTROUBLESHOOTINGFINDINGSALARM“RADIOTRANSMISSIONIPGATEWAYFAULT”ISRECEIVEDANDBSCLOSESSOMELOCALIPRECOVERYACTIONSPCUWITHRPP1CHECKPHYSICALCABLEBETWEENBSCANDLSIFTHECABLEHASPROBLEM,THENREPLACETHEFAULTYCABLEGBOVERIP改造后紧急故障处理手册V10共16页第13页张兵战未经许可，不得外传2CHECKPHYSICALPORTSINEPSBIFFAULTYHWOFRPPISSUSPECTED,THENREPLACETHEFAULTYEPSB3CHECKIFETHERNETCONNECTIONISWORKINGIFTHESTATEOFRPPETHERNETINTERFACEISDOWN,THENDOARPPRESTARTTERDIRPXXETHIFIFCONFIGPINGLS1,LS2ENDFROMLS,PINGBSCPINGFROM4CHECKWHETHERTHEREARESOMEERROREVENTSINRPPBLOCKANDDEBLOCKTHERPPSHOULDBETRYFIRSTIFITDOESNOTHELP,THENTHEFAULTYHWOFRPPISSUSPECTED,WESHOULDREPLACETHERPPBLRPIRPRPBLRPERPRPEXRPPRPDIRRPRP5CHECKWHETHERTHEREARESOMEERROREVENTSINRPPBLOCKANDDEBLOCKTHERPPSHOULDBETRYFIRSTIFITDOESNOTHELP,THENTHEFAULTYHWOFRPPISSUSPECTED,WESHOULDREPLACETHERPPPCUWITHGARP21CHECKPHYSICALCABLEBETWEENBSCANDLSIFTHECABLEHASPROBLEM,THENREPLACETHEFAULTYCABLE2CHECKPHYSICALPORTSINSCBRPBLOCKANDDEBLOCKTHERPPSHOULDBETRYFIRSTIFFAULTYHWOFSCBRPISSUSPECTED,THENREPLACETHEFAULTYSCBRPBLRPIRPRPBLRPERPRPEXRPPRPDIRRPRP3CHECKIFETHERNETCONNECTIONISWORKINGIFTHESTATEOFRPPETHERNETINTERFACEISDOWN,THENDOARPPRESTARTTERDIRPXXGBOVERIP改造后紧急故障处理手册V10共16页第14页张兵战未经许可，不得外传ETHIFIFCONFIGPINGLS1,LS2ENDFROMLS,PINGBSCPINGFROM4CHECKWHETHERTHEREARESOMEERROREVENTSINGARP2IFFAULTYHWOFGARP2ISSUSPECTED,WESHOULDREPLACETHEGARP2BLRPIRPRPBLRPERPRPEXRPPRPDIRRPRP4、【斟酌是否需要翻译】SOMELIPSAREMISSINGERRORSYMPTOMSANDTROUBLESHOOTINGFINDINGSGBOVERIPDOWNTHENDISCONNECTCABLEBETWEENLS1ANDRP,RECOVEREDTHENCONNECTTHECABLEBACKLATERDISCONNECTTHECABLEBETWEENLS2ANDRPANDCONNECTBACK,5LIPMISSINGRECOVERYACTIONSDORPRANKSMALLRESTARTINBSCTORECOVERTHESYSTEMSYREIRANKSMALL,EXPLOTHER,RPRANKCOMPL5、【斟酌是否需要翻译】GPRSTRAFFICISABNORMALINSOMECELLSERRORSYMPTOMSANDTROUBLESHOOTINGFINDINGSCOMMANDRRBVPSHOWSSOMECELLSBVCSTATEINCONFIG/ABLSTATETHENA2ALARM“RADIOTRANSMISSIONIPGBINTERFACEFAULT”,THEREASONIS“PROTOCOLCOMMUNICATIONFAILURE“RAISERECOVERYACTIONS1IFTHESTATEOFNSLAYERISPASSIVE,THENDEACTIVATESANDACTIVATESTHENSLAYERSEPARATELYRRINCNSEINSEI,NSSTATEPASSIVERRINCNSEINSEI,NSSTATEACTIVECHECKIFTHESTATEOFNSLAYERBECOMESACTIVEANDTHEBVCISTATEOFCELLSBECOMEACTIVEGBOVERIP改造后紧急故障处理手册V10共16页第15页张兵战未经许可，不得外传RRINPNSEIALLRRBVPNSEIALL2IFTHESTATEOFNSLAYERISACTIVE,THENDEACTIVATESANDACTIVATESSUPPORTFORGPRSINTHESPECIFIEDCELLRLGSECELLCELLRLGSICELLCELLIFTHEBVCISTATEISNOTACTIVEORSTABLETHENCOLDRESTARTTHERPPORGARP2RLGRPCELLCELLTERDIRP/RESTARTCOLDENDIFTHISDOESNOTHELP,THENCHECKWHETHERTHEREARESOMEERROREVENTSINRELATEDRPIFFAULTYHWOFRPISSUSPECTED,WESHOULDBLOCKTHEFAULTYRPBLRPIRPRPRPEXRPPRPDIRRPRP五、故障处理流程简化指引1、【需要补充】BSC侧2、LSCE侧先检查LANSWITCH设备本身运行状态是否有异常，判断是否为物理链路故障或设备硬件故障。SHOWSWITCH；