基于pmserver分布式升级0108定位问题方法

版本记 使用范 软件版 组网方 部分网元无告警/polling未..........................................................................................OTNM2000无历史性能数 Filezillaserver服务无法启 数据处理积压--manager2积 数据处理积压--pmserver积 数据处理积压--增值产品积 设备未上报历史性能数据--manager2未收到数 主要修改记录1随着0108版本增值产品的工程推广和使用，同时由于0108版本增值产品需采用基于1）OTNM2000（0550BD4）：5.18日基础包+8.6日全量补丁+8.19日增量补丁2）增值产品（0108版本）：8.19主2工程推广部署方式调试环境：主ip：5，ip：。Manager协议ip：5和6manager2、pmserverperformance.log等性能日志文件，以及由于每个管理程序管理的网元数不得超过1200个网元（注：不得全部为PTN660网元），manager下面提供msyql语句进行统计，具体命令如下：a）SELECT*FROM说明：使用SELECT*FROMmanager语句查询每个管理程序对应的managerid；如上图所示：managerno=1对应的managerid= ；managerno=2对应的 b)SELECTCOUNT(*)FROMneWHEREpartidIN(SELECTpartidFROMpartWHERE SELECTCOUNT(*)FROMneWHEREpartidIN(SELECTpartidFROMpartWHERE 说明：根据步骤a)查出的managerid，替换b）中managerid的值进行查询，即可计算出每个管理程序管理的网元数。如上图所示，管理程序1（managerid= ）管理1153个Manager日志：D:\OTNM\md\log\Manger2查看文件名：m2_pfm.logPmserver日志：D:\OTNM\md\log\PmServer”表示进程c）pmserver日志在pmserver所在服务器上 b）performance_**号表示pmserver实例号每个实例performance_* 下自动生成6个pm_1、 用于存在pb性能数据。部分网元无告警/polling告警，而且状态和性能都无法查询；管理配置等操作时提示polling未；协议ip地址；以及是否启动多个manager进程，进程数与[manager2]下Local个数是否一致；manager2日志下是否存在同样个数的*m2_pfm.log日志文件。解决方法：根据管理程序配置，补充Local个数；网卡中设置相应的协助ip，并重启OTNM2000无历史性能数otnm.iniPM_ENABLE_WRITEDB_PROC0（0:表示历史性能不入库，1:表示解决方法：如果未设置任务或任务已过期，需重新设置任务；如果PM_ENABLE_WRITEDB_PROC0，表示历史性能已经做不入库处理，不是问题（估计工程配置太大，入库效率，设置为0，需确认是否开启）。排查过程：manager2m2_pfm.logGatherInformation:SendDatatoPmServerSuccess，表示该管理程序已将历史性能数据发送的pmserver服务进行处理，10_170_162_36m2_pfm.log日志文件中全部打印：Tip:Timetocallpmof:531butpartisinterrupt，表示6对应的manager无法与设备连接，造成轮询失败。Filezillaserver现象：上Filezillaserver服务无法启排查过程：首先查看DataBusServer服务是否启动，如DataBusServerD:\OTNM\md\binFileZillaServer.exe文件补丁是否加载（819日补丁具备解决方法：DataBusServerFileZillaServer.exe5.18日生成，需重新打8月19日补丁；09-0709:12:08GatherInformation:GetPerformtaskFail!ErrorCode=[2015-09-0611:16:24-2018-09-0811:16:241-1-6,1-1-5,1-1-4,1-1-3,1-1-2,1-1-1,1-2-5,1-2-4,1-2-3,1-2-2,1-2-1-3-5,1-3-1,1-3-4,1-3-3,1-3-2,1-4-11,1-4-10,1-4-9,1-4-8,1-4-7,1-4-1-4-5,1-4-4,1-4-3,1-4-2,1-4-1,1-5-1,1-6-31,1-6-30,1-6-29,1-6-28,1-6-1-6-13,1-6-12,1-6-11,1-6-9,1-6-8,1-6-7,1-6-26,1-6-23,1-6-22,1-6-20,1-6-1-6-15,1-6-10,1-6-6,1-6-5,1-6-4,1-6-3,1-6-2,1-6-1,1-7-32,1-7-26,1-7-1-7-23,1-7-22,1-7-18,1-7-31,1-7-30,1-7-27,1-7-29,1-7-28,1-7-25,1-7-24,1-7-1-7-20,1-7-17,1-7-16,1-7-15,1-7-14,1-7-13,1-7-12,1-7-11,1-7-10,1-7-9,1-7-1-7-7,1-7-6,1-7-5,1-7-4,1-7-3,1-7-2,1-7-1,1-8-35,1-8-27,1-8-26,1-8-1-8-23,1-8-22,1-8-21,1-8-34,1-8-20,1-8-19,1-8-16,1-8-18,1-8-15,1-8-14,1-8-1-8-33,1-8-12,1-8-32,1-8-31,1-8-24,1-8-17,1-8-11,1-8-10,1-8-9,1-8-8,1-8-1-8-6,1-8-5,1-8-4,1-8-3,1-8-2,1-8-1,1-9-32,1-9-31,1-9-3,1-9-13,1-9-解决方法：如果pmserver日志中未出现PM_TASK_DUMP关键字，pmserver服务器上icenode节点；如果pmserver正常，需重新任务ENABLE_REMOTE现象：增值产品日志performance.log.2015-09-07中出现“EmsIP=09/07/201509:32:27-INFO-COtnmApi-15mReceive[PmServer1]EMSPack! 排查过程pmserverotnm.ini中[pmserver]节点下，ENABLE_REMOTE是否拼1；解决方法ENABLE_REMOTE拼写正常，使ENABLE_REMOTE=1PMSERVERIP09/07/201509:50:03-INFO-COtnmApi-15mReceive[PmServer1]EMSPack!=10000,Ip=5,FileName 09/07/201509:50:03-ERROR-CFTPFileHandler-[PmServer1],GetFile,9271.pb,ErrorCode=609/07/201509:50:03-ERROR-CGetNePerfFile-[PmServer1],GetFile,EmsIP=5,.pb,pmserverip解决方法PMSERVERIPip数据处理积压--manager209-0709:49:33---RecieveFromDevice:PS5 neaddr:51 starttime9-7 endtime9-79:14:59，manager09:49:33starttime9-79:00:0manager2服数据处理积压--pmserver排查过程：排查发现每个manager进程日志均不存在数据积压，需继续查看pmserver服务日志[INFO][08:58:18][5176][1780]_PM_FRAME_DONE(0002)[Ne: 16ms[(15:0,24:0)][pre546post0]prepmserver服务数据已经解决方法：pmserverpmserver2500-30000网元的能力进行pmserver实例的扩展。同时关闭otnm.ini中24_PROC=0（注：0：表示不启用，1：表示启用，默认启用数据处理积压--增值产品积压排查过程：排查发现增值产品日志performance.log.2015-09-07中出现AddToQueue_PmHisQueuesOverflow!，表示增值产品处理历史性能数据已经存在积压，将积压数据进行丢弃处解决方法：在OTNM2000或增值产品上对不关注的性能类型进行，减少历史性能数据排查过程：在pmserver服务在服务上，在D:\OTNM\md\ftproot\download\reportdat下以网元pb上有那些网元存在管理盘通信中断告警（NECONFAIL）或管理NE通信中断告警（MCOMFAIL）5.2.12章节继续查询是否存在设备漏解决办法5.2.12章节方法或抓包分析，设备未上报历史性能数据--manager2据；或者OTNM2000上也缺失某个时间段的历史性能数据；排查过程：如果排查发现增值产品日志未出现AddToQueue_PmHisQueuesOverflow，则表示未出现积压；需继续排查manager日志，使用关键字neaddr:104，在manager日志中使用UE进行过滤，查看过滤结果是不是某个15分钟内设备未返回数据；从下图可以看出16:46:49发送sendpollingToDeveice：PS0501，但是未收到设备返回的数据---RecieveFromDevice:PS51 neaddr:104，只有日志中打印网元对象的每个15分钟范围都存在一一对应的sendpollingToDeveice和-RecieveFromDevice:，才表明设备均正常上报历史性能数据。Managermanager①09-0712:07:28SendpollingToDevice:PS5 neaddr:43 RequestCurrent②09-0712:07:28---RecieveFromDevice:PS5 neaddr:43 starttime:9-7 endtime:9-7③09-0712:07:28GatherInformation:SendDatatoPmServerSuccess!neaddr:neaddr:1437①SendpollingToDevice③GatherInformation:SendDatatoPmServerSuccess!：表示manager2pmserver Saveto .pbSuccess reportto09/06/201516:39:22-INFO-COtnmApi-15mReceive[PmServer1]EMSPack!=10000,Ip=,FileName09/06/201516:39:22-INFO-CIncreasePmRequest-[PmServer1],ProcessIncreasePmRequest,EmsID=10000,NeId= ,Count=34,ObjCount=20,T