爱立信监控常见故障处理指南.doc

监控室常见故障的处理方法目录1.CP FAULT22.RP FAULT33.EM FAULT34.SNT故障45.选组故障96.SP故障117.GB口故障128.用户GPRS功能丢失的处理方法129.SP LINK故障1310、CPT故障1411、DIGITAL PATH FAULT1412、SEMIPERMANENT CONNECTION FAULT1513、VOLUME LIMIT EXCEEDED1614、SAE告警处理11715、SAE告警处理21716、7号信令事件告警1817、SP UNIT FAULT1818、OSS连接网元失败1919、7号信令的干扰事件告警2020、某个APG网元的AP2无法联机2122、SAE263故障处理2423、APG网元系统备份后文件丢失2624、AP倒边后为UNDEFINE状态2825、intelligent networks management interface2926、AP NOT REDUNDENT3027、BILLING，AP DISK，FILES SPACE LIMIT REACHED3128、SP NODE RESTARTED处理方法3229COMMAND LOG BLOCKED告警3330、SEIZURE SUPERVISION OF DEVICES IN BSC告警3431、HLR启用备份后不一致检查（要在低话务时才可执行）：3532、EMG故障3533、常见的简单告警和消除指令371、CP FAULT 故障现象：CP FAULT故障处理流程：DPWSP;查看当前CP的状态是否正常，正常则REPCI;测试出错部件（排在第一个是最可能出错的部件）,一般临时性故障可以进行以下操作，进行修复。若是永久性故障，则需要换板才能修复，则需要派单给交换室处理。REPCE;终端测试CPREMCI:MAG=XX,PCB=YY;闭怀疑有故障的板RECCI;对CP进行测试，并修复CP说明：1）在修复CP时，一定要注意CP状态的变化。 2）若修复时出FCODE301，则说明交换机自己在修复，此时CP的状态为SE-FM(分离)，无法人工修复，只要等片刻就会发现CP状态变为UPDATING,然后会变为WO状态。2、RP FAULT故障现象：RP FAULT故障处理流程：EXRPP:RP=XXX;查看RP的状态 DBTSP:TAB=RPSRPBSPOS;查看RP的位置 REPRI; 测试出错部件（排在第一个是最可能出错的部件）, 一般临时性故障可以修复的。若是永久性故障，则需要换板才能修复，则需要派单给交换室处理。 REMRI:RP=XXX,PCB=XXX; 闭怀疑有故障的板 RECRI:RP=XXX; 对RP进行测试，并修复RP BLRPI/BLRPE:RP=XXX;闭解RP说明：1）出现此告警时，一定要用EXEMP:RP=XXX,EM=ALL;指令查出该RP所控制的设备是什么，要对RP FAULT的告警有个了解，若是控制IOG的RP出现告警，则要及时上报，以免导致与IOG失去联系； 2）具体流程也可以参考ALEX里的“RP FAULT”的处理流程来修复。3、EM FAULT故障现象：EM FAULT故障处理流程：EXEMP:RP=XXX,EM=AA;查看EM的状态1） 无RPT时（也即一个RP控制一个EM,不存在RP对的概念）REPRI:RP=XX,EM=AA; 测试出错部件（排在第一个是最可能出错的部件）REMRI:RP=XX,EM=AA,PCB=ZZ; 闭怀疑有故障的板RECRI:RP=XX,EM=AA; 修复EM 2)有RPT时（也即一对RP控制一个EM,有负荷分担的概念） REPRI:RP=XX,EM=AA; 测试出错部件（排在第一个是最可能出错的部件） BLEMI:RP=XX,RPT=YY,EM=AA;闭EM BLEME:RP=XX,RPT=YY,EM=AA;解EM4、SNT故障故障现象：SWITCHING NETWORK TERMINAL FAULT故障处理流程：一）SNT所连设备未连接到半永久连接 NTBLI:SNT=XXX;闭SNT NTTEI:SNT=XXX;测试SNT NTBLE:SNT=XXX;测试通过后，解开SNT，否则则有可能是硬件有故障，可以派单给交换室协助处理。 二）SNT所连设备连接到半永久连接（以9月2日AMSC告警为例） 1） NTSTP:SNT=C7SNT-11;查看告警的SNT的状态SWITCHING NETWORK TERMINAL STATE SNT STATE BLS LSTC7SNT-11 BLOC ABL 2）NTCOP:SNT=C7SNT-11;查看SNT所连的设备SWITCHING NETWORK TERMINAL CONNECTION DATASNT SNTV SNTP DIP DEV DEVPC7SNT-11 1 TSM-17-12 C7ST2C-44&-47 3）C7STP:ST=C7ST2C-44&-47;查看该ST连接到哪条链路的哪条链CCITT7 SIGNALLING TERMINAL DATAST ITYPE RP EM LS SPID SLC NPC7ST2C-44 14 111 0 3-9958 BSC1 12（已用）C7ST2C-45 14 111 0 2-19-255-22 STL1 11（已用）C7ST2C-46 14 111 0（未用）C7ST2C-47 14 111 0（未用） 4）C7TSP:ST=C7ST2C-44&-47;查看ST的状态CCITT7 SIGNALLING TERMINAL STATEST STATE ADM BLS RP EMC7ST2C-44 OSERV CCC 111 0C7ST2C-45 OSERV CCC 111 0C7ST2C-46 BLOC NCC ABL 111 0C7ST2C-47 OSERV NCC 111 0 5）C7LTP:LS=2-19-255-22;查看该SNT对应的链路状态是否好，查39958也一样CCITT7 LINK SET STATELS SPID SLC STATE INHIBST FCODE INFO2-19-255-22 STL1 08 ACTIVE 09 ACTIVE 10 ACTIVE 11 RESTORING 208 H0 6）EXSCP:NAME=STL1-11;查看对应的LS的半永久连接数据SEMIPERMANENT CONNECTION DATA NAME CSTATE DISTC MISC NUMCHSTL1-11 BLOC 14 1SIDE1 SSTATE ATT ES MISCS DEV=UPD-866 ACT SIDE2 SSTATE ATT ES MISCS DEV=C7ST2C-45 BLOC EXSCP:NAME=BSC1-12;SEMIPERMANENT CONNECTION DATA NAME CSTATE DISTC MISC NUMCHBSC1-12 BLOC 19 1SIDE1 SSTATE ATT ES MISCS DEV=MALT-4737 ACT SIDE2 SSTATE ATT ES MISCSDEV=C7ST2C-44 BLOC假如不知道对应的半永久连接数据的NAME是什么，可以用指令EXSCP:NAME=ALL;查得。 7）EXSCE:NAME=STL1-11,DEV=UPD-866;拆除半永久连接数据EXSCE:NAME=STL1-11,DEV=UPD-866;ORDEREDSEMIPERMANENT CONNECTION RELEASE RESULT NAME RESULTSTL1-11 SUCCESSFUL EXSCE:NAME=BSC1-12,DEV=MALT-4737; EXSCE:NAME=BSC1-12,DEV=MALT-4737;ORDEREDSEMIPERMANENT CONNECTION RELEASE RESULT NAME RESULTBSC1-12 SUCCESSFUL 8）NTBLI:SNT=C7SNT-11;闭SNT。（拆完半永久连接数据后，闭SNT将可以执行，否则会提示“DEVICE USED AS SEMIPERMANENT CONNECTION” 9）NTTEI:SNT=C7SNT-11;测试SNT，若测试无错误代码，则可以将原来半永久连接的数据重新连接回去，否则要选一个新的ST来重新连接。 10）NTBLE:SNT=C7SNT-11;解SNT 11）NTSTP:SNT=C7SNT-11;查看SNT的状态，已经由开始时的ABL变为WOSWITCHING NETWORK TERMINAL STATESNT STATE BLS LSTC7SNT-11 WO 12）重新定义半永久连接数据EXSPI:NAME=STL1-11;定义半永久连接数据的名字EXECUTEDEXSSI:DEV1=UPD-866;定义半永久连接数据的SIDE1的DEV1数据EXECUTEDEXSSI:DEV2=C7ST2C-45; 定义半永久连接数据的SIDE2的DEV2数据EXECUTEDEXSPE;退出半永久连接数据定义EXSPE;EXECUTED EXSCI:NAME=STL1-11,DEV=UPD-866;激活半永久连接数据 EXSCI:NAME=STL1-11,DEV=UPD-866;ORDERED SEMIPERMANENT CONNECTION ACTIVATION RESULT NAME RESULTSTL1-11 SUCCESSFUL对BSC的半永久连接数据也一样依此操作。需要说明的是，当EXSPE执行不成功时，需要执行EXSPE:DEL;并将半永久连接数据重新定义一次，即可。13）cluster res（查看进程状态）提示：System error 1722 has occuredThe RPC server is unavailable.C:net start clussvc（重启进程）提示：System error 1069 has occurred.The service did not start due to a logon failure.登录失败导致进程不能重启。C:setupservices（重新设置系统帐号的密码）提示：AP Service Administrator user HasTX89fUoc9BDfl8aDQ was found on system,a new password will be assigned to this user and all services running as this user.（系统发现了“HasTX89fUoc9BDfl8aDQ”这个帐号并重置了这个帐号的密码，以这个帐号运行Cluster Server。）Updating services: ClusSvc - Updated, LBBAM_Service - Updated, burServer - Updated, burServer - Updated, ACS_PRC_ClusterControl - Updated, ACS_PRC_LBB - Updated, ACS_SFC_Recovery - Updated, ACS_ALOG_BufMan - Updated, ACS_ALOG_SysMon - Updated, ACS_ALOG_SecLog - Updated, acs_fch_server - Updated, DoneC:net start clussvcThe Cluster Server service is startingThe Cluster Server service was started successfully.C:prcstatepassiveC:cluster res（查看进程状态，进程全部ONLINE）C:alist【故障总结】该故障是由于修改了ADMINISTRATOR（或系统）帐号引起。在APG40中，nodeA是PDC(Primary Domain Controller)，nodeB是（Backup Domain Controller），通过CLUSTER SERVER来对PDC和BDC的资源和进程进行控制。CLUSTER SERVER的运行需要一个系统管理员的帐号，通常情况下是这个帐号是选取系统自建的帐号（就如上面提到的HasTX89fUoc9BDfl8aDQ这个帐号），并且这个帐号和密码一般保持不变。但在这个案例中，CLUSTER SERVER运行的帐号是ADMINISTRATOR，维护人员在修改了这个帐号的密码后，没有对CLUSTER SERVER中运行的帐号密码修改，所以造成了Domain Controller accounts data中记录的ADMINISTRATOR的密码与CLUSTER SERVER中运行的ADMINISTRATOR的密码不一致，导致了CLUSTER SERVER无法启动，控制的进程全部OFFLINE。就东莞已经发生的此类故障而言，CLUSTER SERVER无法启动的主要原因都是由于CLUSTER SERVER运行的帐号修改引起。具体的原因，一是ADMINISTRATOR帐号修改（包括用户名和密码）时没有在PDC（即nodeA）修改，并且在修改后没有同步，最简单的解决方法就是在PDC修改此类系统帐号，并且同步，指令为C:net accounts /sync。一般帐号的增加、删除、修改也应该及时同步PDC和BDC的用户数据。二是系统帐号修改后没有修改CLUSTER SERVER运行的帐号，解决方法是修改CLUSTER SERVER运行的帐号，指令如案例所示。如果重新设置系统帐号的密码也不行，可以使用以下指令C:setupservices -r重新建立一个系统帐号，并使用该帐号运行CLUSTER SERVER。也可以使用GUI来解决问题。点击STARTSETTINGSSERVICES，选择CLUSTER SERVER双击，在弹出的对话框中点击“This Accounts”边上的按钮，选择要运行CLUSTER SERVER的帐号，并且输入该帐号的密码和确认密码，如图所示。注：该帐号的密码一定要正确，否则CLUSTER SERVER还是无法启动。22、SAE263故障处理【故障现象】MSC出现了A2级SIZE ALTERATION OF DATA FILES SIZE CHANGE REQUIRED告警， DBTSP：TAB=SAACTIONS；查看提示SAE=263所需扩的SIZE，按提示扩SIZE，出现提示FAULT CODE 10，告警消除，但过不久又出发现，检查SAE=263的SIZE值，发现此值已为最大值65535，但仍提示需扩到68155；我们又尝试了减小其SIZE后再增加，但原告警未消。【故障解决方法】由于该故障的处理过程中，需要对CP进行分离操作，所以要求在凌晨1点钟后处理。1) PCORP：BLOCK=MHLRAD； 检查BLOCK里是否已装载了补丁CN63MSCMWS5091（R10）或CN62MSCMWP0004（R9）；如还没打上此补丁，则将故障提交TR由爱立信跟进；如已打了该补丁，则下一步操作。2） FCSEI； 分离CP；3） APLOC； mml a s 连接CP-SB（以APG的为例）；4） SYATI：RESTRART； 在SB边执行；5） SAADI：SAE=263，NI=2000； 在SB边将SAE263减至2000；6） SAAII：SAE=263，NI=2500； 在SB边将SAE263扩至2500来消除告警；7） EXIT；mml 连接CP-EX;8） FCSWI:CTYPE=NOTR； 在EX边执行倒边；9） DPPAI； 并边；【故障总结】1） 在MSC/VLR中SAE263是用来存储HLR地址的，如该SAE出现拥塞，来自新的HLR的用户就不能在该MSC完成LOCATION UPDATE。2） 从爱立信工程师了解到：该SAE的数据存储方式有点不同，有点像阶梯式的，例如：当一个数据占用了第13个台阶，那么第13个台阶以下的，不管有没有空闲的，都不能再占用，所以出告警时，我们会看到其实NIU值并没用超过NI值。3） 出现此告警时，有时用DBTSP：TAB=SAACTIONS；看不到拥塞的详细情况，需要用DBTSP：TAB=SAEFAULTS；4） 如该SAE的NI值还未达到最大值65535时，则不要按上面的操作来消除故障，直接扩SAE就能清除告警。23、APG网元系统备份后文件丢失【故障现象】CP系统备份后经常会出现RELFSW0子文件丢失出FC50，备份后文件无法翻转或者可以翻转但无法激活自动DUMP。【故障解决方法】1) RELFSW0子文件丢失 由上面的翻转原理可以知道RELFSW0的子文件已导入RELFSWx，那么我们可以通过Pcanywhere进入L:FMSDataCPFRELVOLUMSW，将RELFSWx里面的全部子文件copy到RELFSW0文件夹，这样RELFSW0的子文件又回来了，再执行SYTUC;就可以将RELFSW2翻转到RELFSW0，保证RELFSW0为最新。2)RELFSW0丢失重新定义RELFSW0文件：cpfmkfile -l 2048 -c RELFSW0 RELVOLUMSW3)文件无法翻转，RELFSW0不是最新文件改名处理：cpfrename RELFSW0 RELFSW3cpfrename RELFSW2 RELFSW0cpfrename RELFSW3 RELFSW2这样就可以让RELFSW0最新。4)文件无法翻转，RELFSW0为空SYNIC；它可以在RELFSW0为空时，将最大文件翻转到RELFSW0；5)自动DUMP无法激活。重新申请做 CP DUMP,DUMP完成后立刻翻转激活。【故障总结】首先我们来了解一下CP系统备份过程几个重要的步骤:1Sybup：file；DUMP到RELFSW2文件2.SYTUC; 翻转3.SYBUI:DISC;激活（CP40不需加参数，即SYBUI;即可.）造成RELFSW0文件丢失或者无法翻转激活的主要原因就在做完备份后的翻转这一步出现了问题。那么下面我们就简单介绍一下RELFSWn文件翻转的原理。翻转的原理：一般我们用SYBFP能看到的备份文件有RELFSW0,RELFSW1,RELFSW2等3个文件，当使用SYTUC时，1) RELFSW0文件会首先倒入RELFSWX（该文件SYBFP看不到，属于过渡的文件）文件，2）然后RELFSW2文件会导入RELFSW0文件，3）接下来RELFSW1文件导入RELFSW2文件，RELFSWX文件导入RELFSW1文件。那么是什么原因造成了RELFSW0文件没有子文件呢？出现RELFSW0没有子文件并出FC5是由于我们在RELFSW2文件被占用时执行了SYTUC翻转的指令，此时RELFSW0文件导入了RELFSWX文件，而RELFSW2文件由于被其它程序占用而没有导入RELFSW0文件，程序在执行完1）时就停止了，从而造成了RELFSW0无子文件并出FC5的现象发生。那是什么程序在占用RELFSW2文件呢？多数情况是我们把备份DUMP到磁带时，由于没有DUMP完或者DUMP的过程中出现错误，而我们没有去确认，造成该程序一直占用RELFSW2文件这样我们明白了文件丢失的原因就可以得出解决的办法：例行备份中一定要通过PCANYWHERE进入该网元APG确认备份正常DUMP到磁带后然后再执行翻转的指令SYTUC；24、AP倒边后为UNDEFINE状态【故障现象】AP倒边