交换设备维护故障处理_v1.1.docx

交换设备维护-故障处理 V1.0目录一、APZ部分81、SIZE ALTERATION OF DATA FILES SIZE CHANGE REQUIRED82、AUDIT FUNCTION THRESHOLD SUPERVISION83、COMMAND LOG OUTPUT ERROR84、COMMAND LOG BLOCKED95、BACKUP INFORMATION FAULT106、网元时间偏差过大107、RELOAD PARAMETERS INVALID118、SOFTWARE ERROR119、APPLICATION DETECTED SOFTWARE ERROR1110、SYSTEM RESTART1211、SIZE ALTERATION OF DATA FILES AUTOMATIC SIZE ALTERATION PASSIVE1212、INTELLIGENT NETWORKS MANAGEMENT INTERFACE FILE FAULT1213、TEST SYSTEM (1) ACTIVATED FROM AD-6691314、RPB-E NETWORK FAULT13二、IOG部分131、VOLUME LIMIT EXCEEDED132、SP TRANSIENT FAULT SUPERVISION143、INFINITE FILE END WARNING154、STATISTIC DATA FILE OUTPUT STANDARD FORMAT ERROR165、SP UNIT FAULT176、ALI FAULT MAG PCB ADDINFO ALI-0 - NO CONTACT187、PORT BLOCKED188、PVC SET-UP FAILURE199、LINE UNIT BLOCKED1910、SP NODE AUTOMATICALLY BLOCKED1911、SP TRACE SYSTEM INACTIVE20三、APG部分201、AP SCHEDULED BACKUP FAILURE202、burbackup -o不成功203、EXTERNAL ALARM214、LICENSE MANAGEMENT EVENT LOG OUTPUT ERROR215、EXTERNAL ALARM RECEIVER FAULT226、AP SYSTEM ANALYSIS237、AP FILE PROCESSING FAULT258、STATISTICS AND TRAFFIC MEASUREMENT FILE ACCESS FAULT269、AP FAULT279.1AP EXTERNAL ETHERNET LINK279.2 MIRRORED DISKS NOT REDUNDANT279.3 GENERAL ERROR289.4 AP-AP LINK ALARM289.5 AP EXTERNAL LINK ALARM2910、AP SYSTEM CLOCK NOT SYNCHRONIZED2911、公安告警拥塞问题3012、APG外部以太网连接中断3013、AP LOG STATISTICS3114、AP ANTIVIRUS FUNCTION FAULT3115、AP PROCESS REINITIATED3216、AP REBOOT3317、曾经出现有些网元APG REBOOT后，有两个进程ACS_PRC_ClusterControl_1，ACS_PRC_EventAnalyser_1的状态为OFFLINE，将这两个进程BRING ONLINE的时候会引起APG40的循环REBOOT。3318、AUDIT LOG DEACTIVATED3319、AP DIAGNOSTIC FAULT3320、AP NOT AVAILABLE3421、CP AP COMMUNICATION FAULT3422、AP NOT REDUNDENT3423、APG40中CLUSTER 无法正常启动的问题35四、APT部分351、SYNCHRONOUS DIGITAL PATH FAULT SUPERVISION352、DIGITAL PATH FAULT SUPERVISION373、BLOCKING SUPERVISION374、HIGH FAILURE RATE IN SUBRATE SWITCH SUPERVISION385、DISTRIBUTED GROUP SWITCH FAULT386、SWITCHING NETWORK TERMINAL FAULT397、SYNCHRONOUS DIGITAL PATH QUALITY SUPERVISION398、SEMIPERMANENT CONNECTION FAULT399、CCITT7 DESTINATION INACCESSIBLE4010、CCITT7 LINK SET SUPERVISION4111、CCITT7 LINK SET SUPERVISION4112、NETWORK SYNCHRONIZATION FAULT4113、GROUP SWITCH FAULT4214、DISTURBANCE SUPERVISION OF TRUNK ROUTES4315、SIGNALLING FAULT SUPERVISION4316、EVENT REPORTING THRESHOLD REACHED4317、NM ROUTE LOAD STATE CHANGE4318、ANALYSIS DATA FAULT4319、RP FAULT4420、CCITT7 DISTURBANCE SUPERVISION LIMIT REACHED44五、计费部分451、计费空文件确认45六、无线部分461、RADIO CONTROL ADMINISTRATION TRH LOAD THRESHOLD EXCEEDED462、RADIO TRANSMISSION TRANSCODER POOL MEAN HOLD TIME SUPERVISION463、RADIO TRANSMISSION GB INTERFACE FAULT474、CELL LOGICAL CHANNELS SEIZURE SUPERVISION485、 SEIZURE SUPERVISION OF DEVICES IN BSC48七、有关testload故障481、例行备份：SZ26A做dump成功，但是执行SYTUC时出fc58，重新做dump不成功(晚上做)492、例行testload失败：SZMTM2 FCCPL时出现66的FC（晚上做）493、进行testload时，RELFSW101文件创建后，无法识别，使用SYBFP也无法看到。504、做例行Testload时执行FCCPL出现Backup Information Falut 50，查看ALEX知道是File or subfile not found505、SZ28B做例行TESTLOAD出现RP FAULT 70。查看ALEX知道是Time Out Waiting For Singal From IPN516、监控做testload执行FCCPL指令时出现FC381,查看ALEX知是INDICATED FILE DOES NOT EXIST51八、有关备份拷贝511、IOG网元做CP备份是用指令SYMTP拷贝时，监控经常会拷贝不成功，然后派单给我们，这时我们就要看执行SYMTP指令后出现的FC是多少，然后查看ALEX描述的原因，进行处理。512、IOG网元备份时经常出现的FC，下面为处理的方法：51九、抢修部分511、IOG抢修511.1 IOG网元无法联机511.2 SPG出不了告警532、APG抢修532.1如果APG40有一边DOWN掉了532.2 APG中部分进程分析：543.3由于PES_CLH_Server进程运行时一些临时文件出现损坏，从而导致AP1 NODE状态不正常543、CP抢修553.1修复CP FAULT553.2 FEX LOAD563.3 FUNCTION CHANGE563.4 TESTLOAD563.5 INITIAL LOAD574、MGW抢修58十、指令查找581、CP相关指令582、APG相关指令603、IOG相关指令62十一、故障案例621、APG重启后无法连接CP的一种特殊情况622、CPT FAULT故障处理663、爱立信WUHGM2与诺西RNC对接后的无法进行电话接续的故障分析684、IOG网元统计缺失问题72十二、工作小记731、爱立信IP组网数据配置732、杂记742.1号码归属地查询和登记在哪个SERVER742.2查看license的值742.3监控testload的log位置742.4写出APG40中创建一个用户名为user1,密码为passWD1的账号，并且把该账号关联到CPUSRG和ACSUSRG这两个组中的指令。752.5在APG40 windows2003中检查NODE-A和NODE-B的账号是否同步的指令为？如果发现不同步，请写出强制同步指令为。752.6APG40的Alog所在目录（），该文件中的内容是（）752.7如果发现CHA无法连接某个APG40网元，可以重启一下哪两个进程？752.8当出现MML连接失败时，可重启的相关进程752.9选组的CLM CONTRVALUE值752.10 IOG计费文件拷贝方法752.11 MGW每个框的代号762.12统计功能的关闭和激活762.13与TRD、TMR统计相关的主要进程762.14各机房如果出现STSDEST新派单，请联系尤嘉处理。762.15找到对应的RNC762.16 NWEI板：从一块板telnet到另一块板:762.17 NWEI板配置设置762.18大家以后定位可以用以下脚本，通过HLR中的VLR信息来定位：762.19查APG的系统版本号772.20查GPRS功能772.21 APG密码的修改782.22当APG的远程桌面有人登陆时，TELNET上去后结束掉：782.23查看DS参数属性782.24 IOG重启或者倒边会出现RP BUS FAULT和CP FAULT是由于打了IPA28补丁，临时的解决办法792.25 IP前置机更换SPC板792.26 OSS统计文件入库丢失故障处理:792.27查看OSS上入库缺失的文件792.28 CE检查的IP和用户名密码792.29 SS在OSS上无文件802.30 A口路由不够802.31计费中心IP和电话802.32关于对ALOG记录的操作802.33对RELOAD情况的检查802.34 COMMAND LOG文件的查看812.35查看COMMAND LOG文件的内容812.36 3G核心网812.37 PSTN ( Public Switched Telephone Network )812.38 PLMN (Public Land Mobile-communication Network)812.39 SGSN822.40 GGSN (Gateway GPRS Support Node) 网关GPRS支持节点822.41 SZMTM2SZGMSC1到SZMR2SZMR7的彩铃的电路都不在用822.42 查看BSC局的GB License是多少？822.43 MGW R6 Know fault_录音通知不可用822.44 APG的基站软件目录823、GB口BSC侧重指向的方法82一、APZ部分1、SIZE ALTERATION OF DATA FILES SIZE CHANGE REQUIRED告警信息：* ALARM 0599 A2/CP_RP SZAHLR65/KD/00/U 101018 1631:SIZE ALTERATION OF DATA FILES SIZE CHANGE REQUIRED:END故障原因：SAE监测告警处理方法：DBTSP:TAB=SAACTIONS;查看打印数据中的CURRNI和NEWNI，分别为当前的SAE值和需要扩到的SAE值SAAEP:SAE=sae，BLOCK=block；打印查看批出的SAE的具体情况SAALI;自动扩SIZE，并看到SAE和BLOCKSAAII:SAE=sae，BLOCK=block，NI=ni；NI步长为需要扩到的SAE值，若自动扩SIZE无效，可用这条指令人工扩注：0-499的SAE编号属于Global Event；500-899的SAE编号属于Local Event，需要加上BLOCK才能有效使用SYBUP:FILE;话务闲时最好对交换机进行人工备份（CP40/CP50）2、AUDIT FUNCTION THRESHOLD SUPERVISION故障原因：该告警通常是伴随SAE监测告警同时出现的处理方法：DBTSP:TAB=SAACTIONS;查看打印数据中的CURRNI和NEWNI，分别为当前的SAE值和需要扩到的SAE值SAAEP:SAE=sae，BLOCK=block；打印查看批出的SAE的具体情况SAALI;自动扩SIZE，并看到SAE和BLOCKSAAII:SAE=sae，BLOCK=block，NI=ni；NI步长为需要扩到的SAE值，若自动扩SIZE无效，可用这条指令人工扩注：0-499的SAE编号属于Global Event；500-899的SAE编号属于Local Event，需要加上BLOCK才能有效使用SYBUP:FILE;话务闲时最好对交换机进行人工备份（CP40/CP50）3、COMMAND LOG OUTPUT ERROR告警信息：A2/IO_DEV SZ09ABSCR12/HD/ 617 101222 1000 COMMAND LOG OUTPUT ERRORFAULTFAULT CODE 45DEVICE FAULTA2/IO_DEV SZ09ABSCR12/HD/ 619 101222 1017 COMMAND LOG BLOCKEDFAULTFAULT CODE 155COMMAND LOG NOT ACTIVATED处理方法：首先用sycli;试解下，看能否解开，解不开只有用小启解决SYREI:RANK=SMALL,EXPL=OTHER; SYREI:RANK=SMALL,EXPL=OTHER;CONNECTION INTERRUPTEDEX-A SZ09ABSCR12/HD/G10/1/5 AD-450 TIME 101223 0037 PAGE 1SYSTEM RESTARTEDRANKSMALL小启后再用指令：SYCLI;解开COMMAND LOGSYCLI; SYCLI;ORDEREDMML -d ad-669WO ZSSM2B2R10/ID/0/0/7/52D AD-669 TIME 070316 1427 PAGE 1end TEST;14、RPB-E NETWORK FAULT告警处理：* ALARM 195 A2/APZ SZ55BR12/ME/G10U 111113 1428:RPB-E NETWORK FAULT:NET:B处理方法：EXRNP:RP=ALL;查看RPB-E RP DATAEXRPP:RP=rp;查看LINK为DOWN状态的RP状态FCRWS:RP=rp,WS=SEP;分离RPBLRPI:RP=rp;BLRPE:RP=rp;解闭对应的RPEXRPP:RP=rp;EXRNP:RP=ALL;RP对应的LINK为UP状态二、IOG部分1、VOLUME LIMIT EXCEEDED告警信息：* ALARM 0787 A2/IO_DEV SZBMTM*63/HB/0/U 090830 1901:VOLUME LIMIT EXCEEDED:SPG VOLUME LIMIT:0 EXCHVOLUME 85%:END处理方法：（删除无用文件）ALLIP:ACL=A2;INMCT:SPG=0;INFIP; 查看所有的卷INFIP:VOL=EXCHVOLUME; 查看卷下的文件夹INFIP:FILE=ICIFILE00; 查看文件下的文件INFIR:FILE=ICIFILE00-XXXX;删除文件INVOP:VOL=EXCHVOLUME;查看卷所占空间百分比END;2、SP TRANSIENT FAULT SUPERVISION告警信息：* ALARM 854 A1/IO_DEV SZ10BR12/GB/07AA 091118 1323:SP TRANSIENT FAULT SUPERVISION:SPG NODE:0 B :FAULT TYPE:INTERNAL DIAGNOSTIC ERROR:SUSPECTED BOARD(S):CABINET MAG PCB UNIT FAULT WEIGHT:SPG-0-B SPVCM VSA 39:SPG-0-B SPVCM HDD HD 21:SPG-0-B SPVCM CPU 20:SPG-0-B SPVCM ODD1 OD 20:END处理方法：IMMCT:SPG=0;IMCSP;查看NODE的状态END; BLSNI:NODE=B,SPG=0;闭掉RESUI:NODE=B,SPG=0;测试ok就解开BLSNE:NODE=B.SPG=0;解闭IMMCT:SPG=0;IMCSP;查看NODE的状态END; ALLIP:ACL=A1;确定告警消除处理了之后还有一个A3级的告警SP NODE RESTART也是相关的，处理下就是用指令吐出restart的结果就可以消除。IMMCT:SPG=0;IMRDP:NODE=node；（node为重启的node）END;另外：如果以上步骤不能解决问题，需要对相应的板进行拔插：拔前：BLSNI:NODE=B,SPG=0;闭NODEBLSLI:SPG=0，LINK=1;闭掉LINKEXSLP:SPG=0;查看是否闭掉LINKBLSUI:SPG=0，NODE=A,UNIT=NA-1;闭掉NA拔后：BLSUE:SPG=0，NODE=A,UNIT=NA-1;解开NABLSLE:SPG=0，LINK=1;解开LINK EXSLP:SPG=0;查看是否解开LINK RUSUI:NODE=B,SPG=0;测试ok就解开BLSNE:NODE=B,SPG=0;对硬盘：DISUI:SPG=0，NODE=B,UNIT=HD-1;测试硬盘是否有问题IOSTP;查看吊死的指令 IOREI:SIZIND=sizind;释放吊死指令3、INFINITE FILE END WARNING告警信息：* ALARM 598 A2/SNT SZ10BR12/GB/07BA 100329 1218:INFINITE FILE END WARNING:FILE FAULT CODE:MTRFIL11 214:END处理方法：IOIFP:FILE=MTRFIL11;FILE ATTRIBUTE INFINITE SEQUENTIAL FILEFILE ACTIVESUB NEXTSUB NSUB MAXSIZE MAXTIME RELEASE COMPMTRFIL11 0100 100 YES NOENDMTRFIL11是复合文件，最大子文件数是100,现在已经100了，所以要打开1文件，但因为1文件传送完后没删除，所以不能新建1文件。所以要删除1文件infup:file=mtrfil11;FILE PROCESS UTILITYFILE DATAFILE = MTRFIL11REMOVE DUMPCOND TRANSCOND02400 - - FILEID1 RULE1 FILEID2 RULE2- - MTRFIL11 1DEST EQUIP POLLOSS02 MTP NOEND查看DESTinfsp:file=mtrfil11,dest=oss02;FILE PROCESS UTILITYSUBFILE LISTFILE = MTRFIL11 DEST = OSS02SUBFILE SIZE TRANSF DUMPED SEQNUM0001 0 YES NO -0059 4 YES NO -0060 17 YES NO -0061 5 YES NO -0099 39 YES NO -END查看硬盘里已发文件和未发文件INFUE:FILE=MTRFIL11-0001,DEST=OSS02; INFUE:FILE=MTRFIL11-0001,DEST=OSS02;ORDEREDFILE PROCESS UTILITYFILE REMOVAL RESULTOF MTRFIL11-0001 FROM OSS02EXECUTEDEND去激活dest里面的MTRFIL11-0001文件，去激活后才能删除INMCT:SPG=0;:INFIR:FILE=MTRFIL11-0001;ORDERED:END;EXECUTEDFILE REMOVING RESULTEXECUTEDFILEMTRFIL11-0001END删除MTRFIL11-0001文件burbackup-oExecuteburBackupwiththeseparameters:burbackup-oy=yes,n=no?:yGZM19BAP1A:Parameterfileforbackupdoesnotexist:K:ACSDataRTRRTR.defSavealldiskinformationandruntimeparameterdatatofileGZM19BAP1AC$acsdataBURGZM19BAP1A_20090902_152947.ddicompletedParameterfileforbackupdoesnotexist:K:ACSDataRTRRTR.defSavealldiskinformationandruntimeparameterdatatofileGZM19BAP1BC$acsdataBURGZM19BAP1B_20090902_152947.ddicompletedontinuingwithpartitionbackuppleasewaitGZM19BAP1B:burBackuppartitionbackupcompleted2239directoriesand19605filescopiedorequaland0fileslockedContinuingwitharchivebackuppleasewaitGZM19BAP1A:burBackuppartitionbackupcompleted2251directoriesand19405filescopiedorequaland0fileslockedGZM19BAP1B:Anerroroccuredwhencompressingfile.Exitcodeis(18)Filenotfoundornoreadpermission.Pleasetryagain.burBackupexecutionfaile