爱立信统计故障处理方法和统计定义.doc

Part one 统计故障处理方法第一部分、IOG故障l 1、OSS放IOG原始文件的目录下无统计文件产生现象：OSS放IOG原始文件的目录：/var/opt/ericsson/nms_eam_eac/data/fs/XXXXXX(网元名)下无统计文件产生原因：I) 如果是新网元，可能是OSS没有配置相应的入库信息II) 如果是旧网元，有可能是OSS和交换机断连，或者是IOG能产生文件而不能传送到OSS，另外也可能是IOG没有原始文件产生。后两种情况下面将会说明处理方法。解决方法：对于I) 需要网管组做相应的配置，并在下一小时查看结果；对于II)，前一种情况，如果所有网元都不能联机应为网管问题，可反映给网管组处理，如果单个网元不能联机就可能是交换机问题，可反映给维护一组处理；对于后两种情况下面将会说到处理方法。l 2、IOG没有原始统计文件产生现象：IOG没有原始统计文件产生或文件为空。用指令： INMCT:SPG=0; INFIP:FILE=SDM01; END;查看，SDM01文件大小为1，即统计数据为空。原因：查看前一天的软件装载记录，如果前晚进行了软件装载，可能是爱立信工程师没有激活相关的统计解决方法：IMLCT:SPG=0;SDDOI;SDDOP:OBJTYPE,AREA=OPER;SDDOC:OBJTYPE=,INCL=YES;SDDOE:EXEC;SDDCI;SDFOP:RPTID=ALL;SDFOI:FILE=SDM01,RPTID=,OBJTYPE=;SDTPI:MP=,RPTID=,INT=;SDTPP:MP=ALL;SDDTI;处理完15分钟后，可用指令SDTDP:RPTID=,INT=15;查看即时统计有无数据产生，若即时统计有数据一般定时统计也会有数据。Immct:spg=0;Imcsp;Imalp:node=;增加OBJTYPEIMLCT:SPG=0;SDDOI;SDDOP:OBJTYPE,AREA=OPER;SDFOP:RPTID=ALL;SDFOE:RPTID= ;SDFOI:FILE=SDM01,RPTID=,OBJTYPE=& &;SDDOE:EXEC;SDDCI;SDTPI:MP=,RPTID=,INT=;SDTPP:MP=ALL;SDDTI;处理完15分钟后，可用指令SDTDP:RPTID=,INT=15;查看即时统计有无数据产生，若即时统计有数据一般定时统计也会有数据。l 如果某个SDM无法传送到OSS查IOG网元上文件存在INMCT:SPG=0;INFIP:FILE=SDM01; 子文件积压查传送队列：INFUP; 少于100如果大于100，则用INFUE:FILE= 删除传送对列查DEST INFUP:FILE=SDM01;-DEST查对列中文件是否可以正常传送 TRANSF (YES)INFSP:FILE=SDM01,DEST=OSSDEST1;将文件从对列中删除INFSE:FILE=子文件添加子文件到传送对列INFSI:FILE=子文件l 3、数据库中某张表没有数据现象：isql到csddb，运行存储过程：check_sdm yyyymmdd mm:hh查到某张表缺数，其他表正常原因：I) 用指令：IMLCT:SPG=0;SDDOP:OBJTYPE=,AREA=OPER;END;看到该OBJTYPE的INCL=NO,即没有激活，无法获取数据II) 如果I)看到的是INCL=YES，则用：IMMCT:SPG=0;IMCSP;IMALP:NODE=,FRTIME=;END;查看IOG告警，一般会有7109的告警，提示OBJTYPE的对象超过了定义的NOBJ解决方法：I)IMLCT:SPG=0;SDDOI;SDDOC:OBJTYPE=,INCL=YES;SDDOE:EXEC;SDDCI;SDDTI;II)SDDOC:OBJTYPE=,NOBJ=;l 4、统计文件无法传送到OSS现象：统计原始文件已在IOG里生成，但无法传送到OSS，用指令INFTI手工传送不成功，出现告警“reason=2”原因：端口定义错误IMLCT:SPG=0;ILACP:NTN=ALL; X.25地址对应PRI为44才对ILDNP:DEST=ALL; 看DEST对应解决方法：ILACC:NTN=,PRI=4-4;ILDNR:DEST=OSS05; 删DESTILDNI:DEST=OSS05,NTN=8020110305;END;INFTI:FILE=SDM01,DEST=OSS02; 测试手工传送是否成功，若成功则下小时应可以自动传送文件 第二部分、APG故障 一. 统计文件生成和传送原理 1. OMS 统计文件OMS统计文件是使用CP系统文件，其统计结果首先存放L:FMSdataCPFEXCHVOLUME下面，然后根据它对应的传送队列，该子文件加上xxFILE的前缀名后立即送到L:FMSdataCPFTQxxFILE中，并在原目录（L:FMSdataCPFEXCHVOLUMExxFILE）中删除。此时，该子文件同时送到K:AESdatacdhftpOSSDESTxReady 中，并发一个通知(Notification)给OSS来取。OSSDESTx就是该传送队列传送方向的名字。该通知是一个IP包，告知OSS其 APG40中什么名字的文件，在哪个虚拟目录下面。如果OSS收到该通知Notification，并FTP到APG中指定的虚拟目录CDH中，即上述目录取走该文件后，OSS会接着将其移送到K:AESdatacdhftpOSSDESTxDelete目录中。大概过5分钟后，APG40会自动将其从Delete目录中清除。此时检查定义到该传送队列中文件的传送状态，发现其状态应为DELETE，跟着倒计时开始（REMOVE TIMER）,单位为分钟。计到0后，传送队列会将其从L:FMSdataCPFTQTRARFILE中删除。至此该文件从APG40中彻底消失。 2. STS 统计文件STS不使用CP文件系统，而是APG有自己的数据库及输出文件格式。STS是以Object Type和Counter的方式从CP申请统计的结果，并将结果存于AP中的数据库中R:STSdataDBTOP，然后又可以将不同类型的Object Type的统计组织成报告。可以通过Measure Program定期地或人工即时地将统计报告生成不同格式的统计文件（ASN.1）存放于S:STSdataDeliverybuffdir或者S:STSdataDeliverydir中，然后文件送到K:AESdatacdhftpOSSDESTxReady ，接下来的处理任务与OMS统计文件相同。二. 故障分析处理首先检查OSS存放APG原始文件：/var/opt/ericsson/nms_nws_sgw/outputfiles/apg40files/ 目录下带网元名和时间的文件是否存在。若存在，则报网管组处理，否则按以下步骤进行检查。I. 确定统计文件能否正常生成 A. OMS统计故障1.故障描述：在CP中，对应的Measure Program的状态不为”RECORDING”。解决方法：TRRPP:MP=ALL；查TMR的MP号TRDMP:MP=ALL；查TRD的MP号TRTSP:MP=n；查看定义的相关参数是否正确cpfls -l TRARFILEFILE TYPE CMP VOLUMETRARFILE inf EXCHVOLUMERLENGTH MAXSIZE MAXTIME REL ACTIVE SIZE USERS 2048 no no yes 24 0 0 0R 0W解决方法：应该强制删除，并重新创建该文件。cluster res FMS_CPF_server /off /waitcd /d L:FMSdataCPFEXCHVOLUMErd TRARFILE /s /qdel TRARFILE.attributecluster res FMS_CPF_server /on /waitcluster res CPS_BUAP_parmgr /on /waitcluster res CPS_BUAP_filemgr /on /waitcluster res CPS_BUAP_loader /on /waitcluster res CPS_BUFTPD /on /wait删除传送队列，并重新定义afprm TRARFILEafpdef -d 10 TRARFILE OSSDEST1cpfmkfile -l 2048 -f inf -r -d TRARFILE -m FILE TRARFILE EXCHVOLUME3. 故障描述：文件不能传送到OSS。1. 用cpfls -ls 可以看到大量的文件积在F:下，不能传送到K:下。解决方法：cluster res AES_AFP_Server /off /waitcluster res AES_AFP_Server /on /waitB. STS统计故障1. 故障描述：检查是否有关于AP, CP统计传输方面的告警C:alistObject of ReferenceSCPS_QItemFillerSTATISTICS AND TRAFFIC MEASUREMENT COLLECTION TIMEOUT FAULTA TIMEOUT OCCURRED DURING DATA COLLECTION FROM THE CP OR APProblem DataCollection Timeout解决方法：如果出现这个告警，一般应对CP作小启解决。2. 故障描述：检查统计的定义，查看是否其定义是否准确，统计（stmotls） RECORDING状态不为ON。解决方法： stmotd i stmotd -a xxxx stmotd e stmcc i stmttu3.故障描述： 用指令afpls l sdm01 出现告警Cannot connect to AES_AFP_server 解决方法：1） cluster res AES_AFP_server /off /wait 2) cluster res AES_AFP_server /on /wait4.故障描述： 在S:STSDataDeliverydir目录下的文件有时积压了太多，也会造成统计异常（敲有关统计指令时经常出现”ERROR CONNETING SEVER”）,清除这些垃圾文件后统计一般会恢复。解决方法：1） 停有关STS的RESOURCEcluster res 查看resourcecluster res stsmain /off /wait 将stsmain resource OFFLINE2） 删除文件在S:STSDATADELIVERYDIR下：for /D %i in (SDM04*) do del %i /S /Q /F 删LOADFILES目录下文件for /D %i in (SDM*) do rd %i /S /Q 删目录for /D %i in (STS*) do del %i /S /Q /F 删LOADFILES目录下文件for /D %i in (STS*) do rd %i /S /Q 删目录其他文件批量删除相类似。注意：一定要在放即时统计文件的目录下删文件，否则会误删有用的文件。3） 开启有关STS的RESOURCEcluster res stsprov /off /waitcluster res stsprov /on /wait 将stsprov resource OFFLINE5. 故障描述：OSS上没有原始文件，查交换机只有状态文件而没有统计数据。原因分析：整点时，到S:STSdataDeliverybuffdir中， 当MP文件夹中只有一个status文件，其中只有一行“Output file(s) request successful”，这说明其实真正的统计文件并没有生成。对于传送队列而言，它认为一个新的统计已经生成，就会将其拷贝到K:盘，但是发通知到OSS后，OSS过来发现文件夹中并没有真正有意义的统计文件，就不会将文件夹移到Delete目录中，通常K:AESdatacdhftpOSSDESTxReady下有空文件生成。解决方法：第一种方法cluster res stsmain /off /waitcluster res stsprov /on /wait如果文件还不能正常生成，则要求维护一组做APG倒边。详细步骤请参考nmc-db核心网络维护室质量分析组统计手册爱立信交换机APG相关文档6. 故障描述：afpdef 命令报错“Access error” 并且stmmp 命令报错：“Error: Destination not valid: SDM01”解决方法：用apfls 查看transfer queue的个数，超过99不能再定transfer queue。（一般发生在BSC） afprm MTRFILxx /CERFILxx/MRRFILxx（xx必须为中间的号码)7.故障描述：在K:AESdatacdhftpOSSDESTxready目录下有统计文件目录产生，但目录没有SDMxx的前缀，例如：MP1003_200708232200_12，也不能传到OSS上：解决方法：这种情况有可能是文件传送的OSSDEST定义参数不正确造成，用指令查看：cdhls -l OSSDEST9 CDH DESTINATION TABLEDESTINATION TRANSFER TYPE PARAMETERS OSSDEST9 FTPV2 -c r -f -x 50010 -k yesALEX解释： -k (Yes/No) Remove Fileprefix from File and Directory names. -h CDH正确传送STS文件的OSSDEST是没有 -k yes参数的，因此修改传送队列指向的OSSDEST到正确定义的DEST即可。而传送OMS文件的OSSDEST是必须有-k yes参数的。afprm SDM03 OSSDEST9 删除afpdef -d 10 SDM03 OSSDEST8 重新定义到其它DEST8.故障描述：afprm SDM03 OSSDEST9 命令报错：Transfer in progress解决方法：cluster res AES_AFP_Server /off /waitcluster res AES_AFP_Server /on /wait重启上面进程后再运行命令可以执行9.故障描述：所有统计文件为dummy，包括及时统计文件解决方法：cluster res stsmain /off /waitcluster res stsprov /on /wait10.故障描述：OSS上统计文件时间戳问题 新开局可能出现：Apr 24 14:12（OSS时间） C20080424.1100-20080424.1200（统计时间）_GZM15B:1003正常情况下：Apr 21 15:01（OSS时间） C200804210700（统计时间）_GZ28BSA:1000，（OSS时间）比（统计时间）应该早8小时。在APG上检查时区设置：mtzln p，正常应为：TMZ : TZ - 0 = (GMT+08:00) Beijing, Chongqing, Hong Kong, Urumqi11. 故障描述：输出的counter全部是累加型的重定MP stmmp -t SDM04 -z ASN.1 -p 60 -b 200804241700 60 2003故障产生可能原因：-a Generate absolute counter values This option specifies that absolute counter values are generated. 12. 故障描述：输出的统计文件在S:STSdataDeliverydir下定义：stmmp -z ASN.1 -n MP1000 -b time 60 2000错误在于缺少stmmp -t SDM -z ASN.1 -n MP1000 -p 60 -b 200806251700 60 200013. 故障描述：MP running R：盘上无文件更新。cluster res 查看resourcecluster res stsmain /off /wait 将stsmain resource OFFLINEcluster res stsprov /off /waitcluster res stsprov /on /wait 将stsprov resource OFFLINEII. 确认文件能否正常传到OSS传送1. 首先从APG40方面，看有没有传送失败的告警，并验证到传送目的链路工作正常。用到的指令是： C:cdhver OSSDEST1DESTINATION STATUS NOTIFICATION OSSDEST1 OK OK 如果STATUS状态是OK，说明传送目的的链路没有问题。NOTIFICATION是OK，说明处理Notification的服务请求工作没有问题。2. 可以尝试重新发送Notification信息给OSS，以防由于某种原因上一次的Notification信息包丢失或未被处理。重发Notification的命令为：C:cdhver -m OSSDEST1如果仍然不能够使OSS服务器来取走统计文件并把统计文件移到K:AESdatacdhftpOSSDEST1Delete中，应该报OSS网管处理。II. 在oss上的源文件有提前6个小时生成省级话务网管四期web采集监控核查发现GZS35网元从2008-07-08 开始性能数据异常；检查发现该网元在oss上的源文件有提前6个小时生成，（例如：在10点中查看源文件生成情况，网元正常生成的文件如：Jul 11 10:02 C200807110200_GZS02:1002，而GZS35生成原文件：Jul 11 10:11 C200807110800_GZS35:1003），经检查，GZS35网元APG中的tmz值为8，而CP中的tmz值为0，两者不匹配。使用remote desktop 登录GZS35网元AP1A 和AP1B， 对windows2003 任务栏右下角的时间属性里的时区修改为 （GMT+08:00）BEIJING，在修改时区后再重新校对APG的时间为北京时间。注意两个NODE都要修改 三、APG目录的删除方法由于APG40网元在每次定义即时统计会在S:下生成一个目录，如不及时删除会越积越多，造成统计异常（敲有关统计指令时经常出现”ERROR CONNETING SEVER”）,清除这些垃圾文件后统计一般会恢复。方法：4） 停有关STS的RESOURCEcluster res 查看resourcecluster res stsmain /off /wait 将stsmain resource OFFLINE5） 删除文件telnet到APG网元，在S:STSDATADELIVE