BSC故障处理SOP.doc

BSC故障处理SOP1.1 传输故障传输障碍是基站常见障碍，处理传输障碍时首先要排除BSC设备本身的障碍。BSC涉及传输的设备主要是SNT和DIP。 SNT：所有直接连接在GS的设备统称 DIP： 对所有PCM传输接口的统称 指令如下：NTBLI：SNT=SNT； 闭死有问题的设备 NTTEI：SNT=SNT； 对SNT进行测试，如果有问题，要更换硬件，如果没有测出问题，可能是干扰引起，解闭设备 NTBLE；SNT=SNT； 解闭设备 DTBLI：DIP=DIP; 闭死DIP DTBLE：DIP=DIP; 解闭DIP STDEP：DEV=dev； 查看DEV状态 BLODI：DEV=dev； 闭死DEV BLODE：DEV=dev； 解闭DEV1.2 CP障碍处理此告警出现说明CP存在硬件临时或永久性错误，CP故障告警根据其严重性分为A1、A2、A3级别，告警出现后应先用指令DPWSP；查看CP工作状态，通常A3级别告警不影响CP工作状态。具体诊断修复过程如下： DPWSP; 查看CP工作状态 REPCI； 测试CP REMCI：MAG=CPUB，PCB=IPU1； 测试结果中会把所有可能有问题的电路板列出，用该指令进行修理。RECCI； 修复故障单元DPWSP; 检查CP状态 DIPCP； 诊断后查看CP事件纪录 DIPRP； 诊断后查看RP事件纪录SYRIP:SURVEY； 查看CP启动纪录1.3 RP障碍处理： 假设RP75出现问题,处理流程如下： BLRPI：RP=75； 闭RPREPRI：RP=75； 测RP RP必须在AB状态BLRPE：RP=75； 解闭RP修RP：BLRPI：RP=75；REMRI：RP=75，PCB=“ ”；RECRI：RP=75； EXRPP:RP=75； 如果用指令无法修理好，就需要到现场去更换硬件。1.4 网络同步错误告警（即时钟错误）A2/APT WHMSC6*57/GB/0/ 930 020828 1604 NETWORK SYNCHRONIZATION FAULTRCM/CCM/DIP/EXT STATE FCODERCM-0 BLOC 3此告警说明参考时钟存在硬件故障。可以进行测试后换板修复，处理步骤如下：（1）NSBLI:RCM=RCM-0; 闭掉该时钟EXECUTED（2）NSTEI:RCM=RCM-0; 交换机自行测试该参考时钟ORDERED CLOCK-REFERENCE TEST RESULTRCM/CCM/DIP/EXTRCM-0CLOCK-REFERENCE SIGNAL TOTALLY MISSINGPOSSIBLE FAULTY BOARDSMAG BOARDRCM-0 POU-1 POU-0 RPU ROUCLM-0 RCUCLM-1 RCUCLM-2 RCUEND测试结果说明电源故障导致参考时钟信号全部丢失，按提示关电，更换电源板，然后开电重新测试。若错误仍然如上所失，可尝试依次更换后续板块，直至测试无误，用指令NSBLE解闭设备后工作状态正常为止。1.5 SP FAULTA1/APZ WHHLR1*57/GB/0/ 127 040513 0415 SP UNIT FAULTSPG NODE0 B FAULT TYPEINTERNAL DIAGNOSTIC ERRORSUSPECTED BOARD(S)CABINET MAG PCB UNIT FAULT WEIGHTSPG-0-B SPVCM ODD1 OD-1 50SPG-0-B SPVCM VSA 25SPG-0-B SPVCM CPU 13SPG-0-B SPVCM HDD HD-1 13IOG20的所有重要故障都会产生告警。所有的故障信息都会被记录,SP中的一个或多个LOG用来记录这些故障信息,这些LOG是：FAULT DETECTION UOG、SPS EVENT LOG和SP TRACE SYSTEM LOG。以下是几条有用的指令:IMCSP：.；查看NODE状态IMALP：.；查看支持处理器子系统的EVENT LOGIMRDP：.；查看重启动数据IMTLP&IMTLT查看SP TRACE SYSTEM LOGLASSP：.；查看支持处理器系统数据下面简单介绍一下常见的几种告警：对于SP UNIT FAULT：当SP中发生永久性故障时,便会出现此类告警。所涉及的指令有：IMCSP；显示节点的状态。RESUP：SPG=spg,NODE=node；显示有故障的PCB列表DISFP：SPG=spg,NODE=node；显示故障检测记录RESUI：SPG=spg,NODE=node；检测节点BLSNE：SPG=spg,NODE=node；解闭节点相应的ALEX OPI是SP Unit Fault对于SP NODE RESTARTED：当一个NODE发生重启动时,便会出现此类告警。所涉及的指令有：IMCSP；显示节点的状态IMRDP：NODE=node；显示重启动信息IMALP：NODE=node；显示SPS事件记录IMTLP：NODE=node；显示SP跟踪系统记录对于SP NODE FAULT当系统与NODE失去联系时,便会出现此类告警。所涉及的指令有：RESUI：SPG=spg,NODE=node；检测节点BLSNE：SPG=spg,NODE=node；解闭节点对于SP LINK FAULT：SPG的NODE A和NODE B都连在RPB上。CP-RP链路就是从CP经过RPB和RPA到达SP的链路。当这条链路发生与RPB或CP无关的故障时,就会出现此类告警。所涉及的指令有：EXSLP：SPG=spgz显示SP链路数据BLSLE：SPG=spg,LINK=link；解闭链路BLSNI：SPG=spg,NODE=node；检测故障的PCBBLSNE：SPG=spg,NODE=node；解闭节点对于LINE UNIT BLOCKED：一个IOG最多能带四个LU。这些LU与背板相连。LU发生问题就会出现此类告警，更换LUM板可以修复。所涉及的指令有：BLLUI：LU=X-X-X；闭掉LU板BLLUE：LU=X-X-X；更换完毕后解闭注意事项：LU板上有跳线开关，用以确定LU的序号，更换新板时必须与取下的坏板对比，把跳线拨到正确位置。因为备板跳线设置为出厂默认值，LU跳线设置与其槽位不匹配时，指令无法解闭。跳线设置如下图5.1：图5.1 LUM跳线设置图1.6 GS 故障 当SPM或TSM发生障碍时：GSSTP； 看CLM、GS的工作状态GSBLI：SPM=SPM-A-1； 首先闭掉有问题的SPM。GSTEI：SPM=SPM-A-1； 测试根据测量报告更换有问题的电路板，注意在更换时，一定要先关闭机框的电源。更换以后，要再次进行测试，没有问题，执行解闭命令。GSBLE：SPM=SPM-A-1； 解闭该SPM1.7 EM FAULTEM FAULT:（1）EXEMP； 查看EM状态（2）REPRI； 诊断EM故障（3）REMRI； 根据诊断结果指令修复或插拔换板（4）RECRI； 指令修复EM1.8 SNT FAULT（1）NTBLI 闭掉SNT（2）NTTEI 指令进行SNT错误测试测试结果会列出可能出现的故障，如果需要换板，再换板后继续测试END（3）NTBLE 解闭SNT1.9 SIZE调整告警A2/APZ WHBSC51*57/GB/0/ 263 020826 1034 SIZE ALTERATION OF DATA FILES SIZE CHANGE REQUIRED此告警出现说明有部分FUNCTION BLOCK的SAE值需增加，可根据提示查看需要调整的SAE值，向爱立信工程师确认此FUNCTION BLOCK SAE值是否可以扩大（1）DBTSP：TAB=SAACTIONS； 通过查看SAACTIONS表，找到引起告警的FUNCTION BLOCKDATABASE TABLEBLOCK TAB TABLE WRAPPEDSAFTAB1 SAACTIONS YESACTNUM SAE BLOCK TYPE CNTRTYP CURRNI NEWNI 0 700 C7OMASE LOCAL CONS1 0 0 NIE NIR STATUS 0 0 REGEND通过该范例，可以发现需要调整的为SAE=700，BLOCK=C7OMASE，当前值为0，希望增加到的值仍为0，这是一个特例。可以通过参考同类其他网元的相同BLOCK值。如果当前和希望增加到的值相同，则可以通过指令SAALI；RESET此告警。（2）SAAEP：SAE=700，BLOCK=C7OMASE； SIZE ALTERATION OF DATA FILES INFORMATIONSAE BLOCK CNTRTYP NI NIU NIE NIR 700 C7OMASE CONS1 0END（3）SAALI;WO WHBSC51*57/GB/0/1/06/06 NVT-495 TIME 020827 1343 PAGE 1SIZE ALTERATION OF DATA FILES RESULTSAE BLOCK NI NIE NIR 700 C7OMASEFAULT CODE 97NI INCREASE TO ZERO REQUESTEDEND注：a)SAALI指令应慎用，因为该指令的作用是自动将BLOCK扩大到系统所期望的值，为避免引起不必要的SIZE调整，仍建议手工调整SAE值。b)HLR中如果出现SAE=501，BLOCK=ASD以及SAE=261 的SIZE调整告警，不要盲目调整，这两个SIZE的NI值与系统的设计容量有关，最好以释放资源的方式消除告警。1.10 半永久连接状态告警A2/APT WHBSC81*57/GB/0/ 926 020820 0627 SEMIPERMANENT CONNECTION FAULT NAMEMSC3-0此告警出现多伴随有信令中断以及DIP中断告警，多为传输故障引起。如果没有半永久连接所在设备的DIP告警出现，可以先拆除此半永久连接，再按原有定义数据重新定义激活，即可。若激活不成功，仍有告警，则说明信令终端设备也许有故障，可以另换一个新的C7ST2C设备定义（用STDEP：DEV=C7ST2C-0&-200；找出状态为IDLE的）。若告警仍出现，则注意观察与此有关的DIP是否有传输质量告警。具体步骤为：1、EXSCP：NAME=MSC3-0；找到对应的UPD设备及信令中断C7ST2C-xx2、EXSCE：NAME=MSC3-0，DEV=UPD-xx；拆除该半永久连接3、EXSPI：NAME=MSC3-0；重新定义EXSSI：DEV=UPD/C7ETC4/MALT-xx；EXSSI：DEV=C7ST2C-xx；4、EXSCI：NAME=MSC3-0，DEV=UPD-*；1.11 FORLOPP告警O1/APZ WHBSC41*57/GB/0/ 530 020819 1133 SYSTEM STATELONG DURATION TIME FOR FORLOPPINF1 INF2 INF3 INF4 H3E3 H2C H18 syfap:hours=1; ORDEREDWO WHBSC41*57/GB/0/1/06/06 NVT-534 TIME 020823 1047 PAGE 1ACTIVE FORLOPPSFORLOPP-ID STATUS NACT NPASS FLPROTYPE START BLOCKH0256 000D NORMAL 3 0 H0000 0002 020820 AOTH03EE 0019 ABORTED 10 4 H0000 0000 1133 C7TCPH02E1 002F ABORTED - - H0000 0000 1133 MRRMH02AF 001D NORMAL 1 26 H0000 0008 020821 JOBH03E3 002C NORMAL 3 0 H0000 0002 020816 AOTH012A 0030 NORMAL 3 0 H0000 0002 020819 AOTENDsyfip:fid=h3e3-h2c; ORDEREDWO WHBSC41*57/GB/0/1/06/06 NVT-534 TIME 020823 1047 PAGE 1HBWO WHBSC41*57/GB/0/1/06/06 NVT-534 TIME 020823 1049 PAGE 1INDIVIDUALS CONNECTED TO FORLOPPSEARCHYESFORLOPP-ID STATUS FLPROTYPE DATE TIMEH03E3 002C NORMAL H0000 0002 020816 1134BLOCK FILENUMBER INDIVIDUAL STATUS FID-VARAUE H0001 H0000 0000 ACTIVE1 H0051ADE H0001 H0000 0000 ACTIVE1 H0064AOT H0001 H0000 0000 ACTIVE1 H0090LAD H0011 H0000 007A ACTIVE2 H016BLAD H0012 H0000 0075 ACTIVE2 H016FLAD H0012 H0000 006A ACTIVE2 H016FLAD H0013 H0000 0152 ACTIVE2 H0166ENDSYFRI:FID=H3E3-H2C,BLOCK=AOT,IND=H0,FILENUM=H1;EXECUTED1.12 软件应用错误告警A3/APZ WHBSC11*57/GB/0/ 444 020822 0841 APPLICATION DETECTED SOFTWARE ERROR此告警出现多由于FORLOPP非正常释放引起，该告警仅仅只是告知维护人员此问题出现过。用指令确认后，即可去掉告警。但是我们应该观察此告警出现频率，如果频繁出现，应通知爱立信工程师，确认是否存在深层次软件问题。1、SYRIP：SURVEY； 指令查看软件事件记录，找到状态为ACTIVE的ORDEREDWO WHMSC1*57/GB/0/1/06/06 NVT-745 TIME 020823 1100 PAGE 1SOFTWARE RECOVERY SURVEYEVENT TYPE EXPLANATION EVENTCNT FRDEL 19 APPLERR ERROR REPORTED BY PROCEDURE FLERROR 456 18 APPLERR ERROR REPORTED BY PROCEDURE FLERROR 17 APPLERR ERROR REPORTED BY PROCEDURE FLERROR 16 APPLERR ERROR REPORTED BY PROCEDURE FLERROR 432 15 APPLERR ERROR REPORTED BY PROCEDURE FLERROR 167 14 APPLERR ERROR REPORTED BY PROCEDURE FLERROR 5 13 APPLERR ERROR REPORTED BY PROCEDURE FLERROR 12 APPLERR ERROR REPORTED BY PROCEDURE FLERROR 138 0 FORLOPP MANUALLY INITIATED FORLOPP RELEASE 0 61 FORLOPP FORLOPP RELEASE REQUESTED FROM APPL 1 53 FORLOPP MANUALLY INITIATED FORLOPP RELEASE 0 48 FORLOPP MANUALLY INITIATED FORLOPP RELEASE 0 44 LARGE FUNCTION CHANGE WITH SIDE SWITCH 43 LARGE COMMAND ORDERED RESTART 42 SMALL REST. OF APZ BLOCKS IN SB/SE AT FC 24 LARGE FUNCTION CHANGE WITH SIDE SWITCH EVENT CODE INF1 INF2 INF3 INF4 SIDE STATE DATE TIME ACTIVE 19 H4300 H6C02 H0201 H00D1 H002E A-EX PARAL 020822 0841 YES 18 H4300 H6C02 H0201 H00D1 H002E A-EX PARAL 020822 0838 NO 17 H4300 H6C02 H0201 H00D1 H002E A-EX PARAL 020822 0835 NO 16 H4300 H6C02 H0201 H00D1 H002E A-EX PARAL 020821 0747 NO 15 H4300 H6C02 H0201 H00D1 H002E A-EX PARAL 020820 2259 NO 14 H4300 H6C02 H0201 H00D1 H002E A-EX PARAL 020820 2244 NO 13 H4300 H6C02 H0201 H00D1 H002E A-EX PARAL 020820 2241 NO 12 H4300 H6C02 H0201 H00D1 H002E A-EX PARAL 020820 1421 NO 0 H310C H0000 H0144 H0001 H0000 A-EX PARAL 020819 1235 NO 61 H3100 H0146 H0001 H0000 H0002 A-EX PARAL 020816 1158 NO 53 H310C H0000 H0607 H0000 H0000 A-EX PARAL 020731 1619 NO 48 H310C H0000 H0001 H000F H0000 A-EX PARAL 020719 1537 NO 44 H900D H0000 H0000 H0000 H0000 B SINGLE 020712 2350 NO 43 H9003 H0000 H0000 H0000 H0000 B SB-SEP 020712 2246 NO 42 H900B H0000 H0000 H0000 H0000 B SB-SEP 020712 2243 NO 24 H900D H0000 H0000 H0000 H0000 B SINGLE 020519 2223 NOENDSURAE:RECTYPE=APPLERR; 指令去活该记录，使其状态变为DEACTIVEDA2/APT WHBSC11*57/GB/0/ 399 020823 1111 CCITT7 SIGNALLING LINK FAILURELS SPID SLC ST2-17-255-4 HLSTPB 0 C7ST2C-9SDLMLSTPB-0,C7BTC4-1FCODE INFO REASON 100 H0 EXCESSIVE ERROR RATE WHILST IN-SERVICEEND;1.13 用户非法登陆告警A2/APZ WHBSC52*57/GB/0/ 001 020713 2332 H0001-0000USER EXCEEDED ALLOWED ACCESS ATTEMPTSUSER SOURCE TIME NVT-200 000630 0813此告警出现说明用户登陆输入口令不正确，且输入错误达到三次以上。通常这类告警一段时间后能自动消除，但是FORLOPP未能正常释放，所以仍然存在，为避免无意义的告警出现，可人工释放FORLOPP。1、ALLIP：ACL=A2，FID=YES； 显示告警的FORLOPP ID，如上所示2、SYFIP:FID=H1-H0； 显示该FORLOPP的FUNCTION BLOCK和FILE NUMBER3、SYFRI：FID=H1-H0，FILENUM=xx，BLOCK=xxx，INT=xx； 释放FORLOPP1.14 话务统计文件未传送INFDP：dest=oss03; (也有可能是01、02) 看文件名称INFSP：dest=oss03，file=FILENAME； 看该文件是否发送YES 已发送 NO 未发送 INFTI：dest=oss03，file=FILENAME； 手工发送没有进库的话务文件。1.15 GPRS障碍处理对于整个BSC覆盖范围内都无法使用GPRS，首先检查GB接口的传输，如果传输正常，检查PCU的工作状态。如果PCU状态异常，可以尝试用指令修理，指令同修RP指令。如果PCU没有问题，可以重新定义GB接口。指令如下： RRVBI：NSVcI=4201； 闭半永久连接RRNSE：NSVcI=4201； 释放半永久连接RRNSI：NSVcI=4201，NUMDEV=9，DLCI=110，DEV=RTGLT-1； 定义半永久连接RRVBE：NSVCI=4201; 解闭半永久连接 对于个别小区无法使用GPRS，可以首先检查该小区是否开启了GPRS功能，如果没有开启，用指令开启；如果已经开启，可以尝试先关闭再开启GPRS功能。 RLGRP：CELL=CELL；查小区是否开启该功能RLGSI：CELL=CELL； 开启GPRS功能。RLGSE：CELL=CELL；关闭GPRS功能1.16 IOG终端接口障碍假设发现IOG上PORT1241阻塞，造成维护终端无法使用， IMLCT：SPG=0； 键入入口指令ILNPP：PORT=1-1-1-1； 查看通信端口的工作状态DCS PORT DATAPORT= 1- 1- 1- 1 TYPE STATE PROT RATE ADDR USERSLP AB X28/V24 19200 NTN=1011101END该端口目前工作不正常，STATE为AB状态，正常情况下为WO状态。ILBLI：NP=1-1-1-1； 闭死PORTEXECUTEDILNPP:PORT=1-1-1-1;DCS PORT DATAPORT= 1- 1- 1- 1 TYPE STATE PROT RATE ADDR USERSLP MB X28/V24 19200 NTN=1011101END人工闭死端口后，端口状态为MB。ILBLE：NP=1-1-1-1； 解闭PORTEXECUTEDILNPP:PORT=1-1-1-1;DCS PORT DATAPORT= 1- 1- 1- 1 TYPE STATE PROT RATE ADDR USERSLP WO X28/V24 19200 NTN=1011101END如果指令无法恢复，可以在机架上插拔该PORT所连接的端口线。在插拔时在键入闭解端口指令。APG告警处理流程告警1告警标题 “AP LOG STATISTICS”。 告警正文Date : 2004-08-09 14:54EventID : 22202Source : APEventLogNodename : AP040705931AProcess name : ACS_USA_SyslogAnalyser:397Specific problem : 8799Perceived severity : A1Probable cause : AP LOG STATISTICSObj class of ref : APZObj of ref : LOGFILE/SECURITY-LOGONProblem data : Mon Aug 09 07:54:31 2004 3759 AP040705931A 529 168 Security EVENTLOG_AUDIT_FAILURE LOGON32_LOGON_INSECURITY VIOLATION ATTEMPTProblem text : SECURITY VIOLATION ATTEMPT告警含义非法用户使用错误的用户名、密码连续三次尝试登陆系统失败。处理步骤用acease命令清除告警即可。告警2告警标题 “AP FAULT”。 告警正文Date : 2004-07-24 13:08EventID : 22202Source : APEventLogNodename : AP040705931AProcess name : ACS_USA_SyslogAnalyser: