综合网管日常检查说明文档(联通现场)

综合网管及EOMS作业计划操作手册2010-021. 网管服务器相关检查（UNIX主机）1.1. 可用状态通过TELNET是否能登录主机。如不能登录或登录异常，请判断是否网络问题或主机异常导致无法登录。网络问题判断方法：ping主机IP是否能通？ping网关是否能通？网络问题请通知网络管理员处理。主机异常导致无法登录请联系项目经理处理。1.2. CPU使用率检查运行TOP指令，查看IDLE列的avg值，观察3-5分钟，avg的值不能长期为0。如果IDLE的值长期（超过30分钟）为0，请联系项目经理处理。1.3. 内存使用率检查运行TOP指令，查看Memory的free值，观察3-5分钟，free的值不能低于100M。如果free的值长期（超过20分钟）低于100M，请联系项目经理处理。1.4. 磁盘空间检查运行bdf指令，查看每个目录的空间大小，每个目录的used值不能大于85%，如果超过该值，请联系项目经理处理。1.5. 系统重要日志检查1.5.1. dmesg运行dmesg命令检查主机错误缓冲区（需要root用户）。正常情况下，该缓冲区只应该包含自检信息，如果出现了warning、error或者是一些不熟悉的信息，应该仔细检查或通知HP服务人员。1.5.2. Syslog日志“/var/adm/syslog/syslog.log”，该日志文件中包含一些重要的维护信息（需要root用户）。系统管理员应该定期用more或者vi命令，检查该文件。系统管理员如果发现warning、error、failure以及一些不熟悉的信息，应该提高警惕。1.5.3. Mail系统在发现问题时，往往会把一些信息发给root用户。系统管理员应该定期检查root的mail信息，检查最近一周内的 mail，mail 中是否有 warning、error、fail、panic 等异常提示，以确认系统中不存在异常。1.5.4. Shutdownlog日志“/etc/shutdownlog”，该日志文件中记录机器的重起记录，察看最后一次机器重起时间，判断机器在最近时间是否有异常重起。1.5.5. Core文件进入/var/adm/crash目录，检查是否有近期的 core dump 文件存在，如有需就问题分析。1.6. 磁盘检查运行指令ioscan fnCdisk，检查结果中是否有UNCLAIMED状态的disk，如出现这种情况，需联系HP服务人员更换硬盘。1.7. IO检查运行指令ioscan fn，检查结果中是否有UNCLAIMED、UNKNOWN、NO_HW状态，如出现这种情况，需联系HP服务人员来处理。1.8. 网络检查运行ioscan nfClan，检查结果中是否有UNCLAIMED状态，如出现这种情况，需联系HP服务人员来处理，运行lanscan，检查结果中是否都为UP状态，如出现DOWN状态情况，需联系HP服务人员来处理。1.9. 存储外设VA检查执行armdsp i 确认VA的别名，如：根据VA别名（如上图是：va7110_db2），在执行如下指令，armdsp -a va7110_db2检查最后显示的WARNINGS中是否为None，如果有告警，请联系HP服务人员来处理。2. 网管数据库相关检查（oracle）2.1. 数据库是否可用连接到数据库主机,运行srvctl status database -d hnwcdma或srvctl status database -d hnunicom查看数据库运行状态,如果其中有not running的实例，或者如果检查只存在一个数据库实例，请首先排除是否网络问题，如果是网络问题，请联系网络管理员，如果排除网络问题，请联系项目经理处理。2.2. 数据库表空间监控检查最大的表空间的利用率是否大于90%，对于表空间利用率大于90%时，要给予关注，先检查该表空间的存储是否设置了自动增长和该表空间能分配的最大空间，检查步骤如下：1、首先登录Oracle企业管理控制台 2、展开树图，查看“表空间”节点3、查看右边窗口的表空间使用情况，双击一表空间，得到其表空间的存储信息4、双击文件名查看该表空间的存储设置5、查看“数据文件已满后自动扩展”该选项是否选上，“最大大小”设置的数据文件大小的最大值 如果表空间利用率超过90%，表空间存储没有设置自动增长；如果表空间利用率超过90%，且表空间存储设置了自动增长，且现数据文件大小快达到设置的最大数据文件的最大值。出现这些情况，请及时联系项目经理。2.3. 数据库用户连接数执行SQL：select count(*) from v$session，查看结果数，如连接数超过150，请及时联系项目经理。2.4. 数据库日志检查ORACLE数据库的日志文件$ORACLE_BASE/admin/orasid/bdump/alert_orasid.log记录了重作日志的转换，数据库启动和关闭，数据库结构的改变，回退段的修改，死锁，内部错误等信息.DBA需要检查这个文件有无ORA-错误并定期地对这个日志文件进行存档整理。在UNIX下可以用grep命令把alert_orasid.log里出现的错误保存到另一个文件。然后去找原因。（其中orasid为oracle实例名）grep ORA- alert_orasid.log error.loglistener的日志文件$ORACLE_HOME/network/log/listener.log记录了通过listener处理的网络请求信息，它包含客户端请求的时间，连接方式(专用或共享)，连接程序，网络协议，主机名，网络端口号等信息。分析日志中的错误，现对一些可能出现的情况进行分析：2.4.1. 由于空间不足而无法扩展段提示如下：Sat Mar 29 04:34:22 2007ORA-1652:unable to extend temp segment by 1280 in tablespace TEMPSat Mar 29 05:24:39 2007ORA-1652:Unable to extend temp segment by 1280 in tablespace TEMP.Mon Aug 10 13:44:52 2007ORA-1650:unable to extend temp rollback segment APMDBS by 640 in tablespace APMDBS1Failure to extend rollback segment 2 because of 1650 conditionORA-1650:unable to extend rollback segment APMDBS by 640 in tablespace APMDBS1Failure to extend rollback segment 2 because of 1650 condition可能原因：空间确实不足；可能空间碎片太多而无法扩展。2.4.2. 缺乏足够的用户许可证提示如下：Mon jan 6 16:54:22 2007LICENSE_MAX_USERS = 16Tue Jan 7 09:58:46 2007LICENSE_MAX_SESSION = 8LICENSE_SESSION_WARNING = 7Non-DBA logon denied;current logons equal maximum (8)Thu Jan 7 10:52:56 2007License warning limit (7) exceededTue jan 7 11:07:22 2007Non-DBA logon denied;current logon equal maximum (8)可能原因：访问的用户或会话过多（检查V$LICENSE中允许本站点的最大用户数），其原因可能是用户的数量（或每个用户需要的会话数）随时间不断增长，或者可能是由于用户在获取了所需数据后仍然保持着与数据库的连接。2.4.3. 因等待空间管理资源超时提示如下：Thu Dec 3 13:13:28 2007Errors in file /opt/oracle/admin/hnunicom/bdump/smon_dt08_11196.trc:ORA-01575:timeout waiting for space management resourceThu Dec 3 13:13:34 2007Errors in file /opt/oracle/admin/hnunicom/bdump/smon_dt08_11196.trc:ORA-01575:timeout waiting for space management resource可能原因：Oracle 本身错误；由于空间管理活动使SMON过忙。2.4.4. 数据库中断提示如下：Mon Jul 7 23:18:48 2007Error in file /opt/oracle/admin/hnunicom/bdump/ hnunicom_pmon_24279.trc:ORA-00600 : internal error code，argments:6856，0，0 ，Mon Jul 7 23:18:57 2007Errors in file /opt/oracle/admin/hnunicom/bdump/ hnunicom_pmon_24279.trc:ORA-01578 :ORACLE data block corrupted ( file # 10，block # 32379 )2.4.5. 应用程序死锁提示如下：Tue Jun 22 00:02:27 2007Errors in file /opt/oracle/admin/hnunicom/udump/ hnunicom_ora_28930.trc:ORA-00600:internet error code，argments: 4406， ，ORA-00060:deadlock detected while waiting for resource对于oracle的错误可以使用oerr命令（unix）察看错误描述、可能原因及解决办法。如错误ORA-00060，执行指令如下：oerr ora 60显示结果如下：00060, 00000, deadlock detected while waiting for resource/ *Cause: Transactions deadlocked one another while waiting for resources./ *Action: Look at the trace file to see the transactions and resources/ involved. Retry if necessary.3. 网管相关应用检查3.1. 数据库服务器相关应用3.1.1. 省部接口检查省部接口进程检查以interbus用户登录，运行ps ef|grep interbus，检查相关进程是否存在。省部接口进程必须包括：SvrSupplierChannel，notserv，ProvinceServ三个进程，pnmc_mon.pl为监控省部接口的进程。如果省部接口进程不存在或需要重启省部接口程序，重启方法如下：以interbus用户登录运行cdi运行killall.sh运行startAll.sh重启后需通知电信总部张彪（ ）对湖南省部接口重新订购。总部接口机文件检查telnet 1telnet到总部接口机（1），用户名/密码：guest/unicom运行cd Hunan运行cd PM运行ls -lrt *_0.xml检查XML文件是否有最近上报的文件，最近上报的文件和当前时间延时3.8小时左右省部接口重新订购后，特别要关注总部接口机上性能数据文件是否自动定时上报。3.1.2. 告警省部接口上报进程检查以mqadmin()用户登录，运行ps ef|grep mqadmin，检查相关进程是否存在。告警省部接口进程必须包括：SockTransfer，fm2socket.pl三个进程，watchdog.pl为监控告警省部接口的进程。如果进程都存在，还需检查告警省部接口上报日志，以interbus用户登录，运行cdi，运行ls lrt，检查当天YYYYMMDD.log格式的日志文件是否存在。如果相关进程不存在或无上报日志或需要重启告警省部接口，重启方法如下：以mqadmin用户登录cd bin运行restart_fm2unicom.sh。重启后还需检查相关进程是否存在，日志是否存在。3.1.3. 汇总进程相关检查以npmuser()用户登录，运行ps ef|grep npmuser，检查相关进程是否存在。汇总进程必须包括：task_center.pl，daemon_monitor.pl，log2mq.pl三个进程。如果进程都存在，还需检查是否生成了最新的日志文件，以npmuser用户登录，运行cdp，运行cd ReportSum，运行cd log，然后进入以当日日期命名的目录，然后运行ls lrt，查看是否有最近时间生成的日志文件，注意如果超过一个小时没有生成最新的日志文件，说明汇总肯定有异常，请及时联系项目经理。3.1.4. CORBA接口相关进程检查以corba()用户登录，运行ps efx|grep corba，运行结果如下：hp8400db-/opt/NMC_CORBA ps -efx|grep corba corba 17397 15351 0 10:12:05 pts/tc 0:00 -csh corba 17627 17397 2 10:12:23 pts/tc 0:00 grep corba corba 23519 1 0 Feb 6 ? 152:51 /opt/java1.4/bin/PA_RISC2.0/java -Xbootclasspath/p:./lib/patch.jar -Djava.library.path=/opt/interbus40j/bin cbcsmr.BcMainApp -agent huawei -ORBconfig ./bin/star_huawei.conf corba 17626 17397 2 10:12:23 pts/tc 0:00 ps -efx corba 10556 1 0 Jan 13 ? 1187:09 /opt/java1.4/bin/PA_RISC2.0/java -Xbootclasspath/p:./lib/patch.jar -Djava.library.path=/opt/interbus40j/bin cbcsmr.BcMainApp -agent nokia_new -ORBconfig ./bin/star_nokia_new.conf corba 24818 1 0 Jan 13 ? 181:02 /opt/java1.4/bin/PA_RISC2.0/java -Xbootclasspath/p:./lib/patch.jar -Djava.library.path=/opt/interbus40j/bin cbcsmr.BcMainApp -agent nokia -ORBconfig ./bin/star_nokia.confrunconsumer进程的agent必须包括huawei、nokia和nokia_new，各agent说明：huawei 华为软交换nokia nokia的pcunokia_new nokia的Sgsn和Ggsn如果某个agent的consumer进程不存在，需要启动相应agent的consumer进程。以huawei 为例方法如下：以corba用户登录cdbrunconsumer huawei consumer进程启动完成后，需运行runoperation进行消息订购及性能任务测量订购，以huawei为例方法如下：以corba用户登录cdbrunoperation huawei输入1然后输入2然后输入2如图结果返回success并且status为Active，即消息订购成功。然后进行性能任务测量订购输入0，返回到上级菜单输入3输入1输入2输入msc 【说明：网元类型输入原则】然后输入y如图【说明：网元类型输入原则】：进入/opt/NMC_CORBA/ini目录，查看create_measurement_job_*.xml文件，以华为的网元类型为例create_measurement_job_agent_网元类型.xml如图huawei为agent名称，msc、vlr、pcu、mgw_26等为网元类型。3.2. 告警消息服务器3.2.1. 进程检查消息平台相关进程检查，以mqadmin用户登录，执行ps -ef|grep mqadmin，必须包含如下进程：aminterpreter、controller、transponder、dispatcher、fmhandler、related_alarm.hp如图消息平台业务进程重启方法：以mqadmin用户登录cd bin运行killall.sh然后运行startmq.sh告警采集相关进程检查，以daladmin用户登录，执行ps ef|grep daladmin，必须包含如下进程：invoker_rt、SCollector、rthandler、writefm告警采集业务进程重启方法：以daladmin用户登录cd bin运行ra_stop.sh然后运行ra_start.shMQserver重启方法：以mqm用户登录cd bin运行endmqm i CDMA_QM运行strmqm CDMA_QM如果要重启告警消息服务器所有业务及进程，停止及启动的顺序如下：停止 消息平台告警采集Mqserver启动 MQserver告警采集消息平台3.2.2. 检查告警监控平台是否有告警登录告警监控平台系统（hngsmadmin）新建告警监控窗口，不选择过滤器，不同步查看活动告警显示栏是否有告警新建告警监控窗口，选择【全省G网断站】过滤器，选择同步的时间段【建议同步前两个小时到当前时间之间的告警】如出现如下窗口，则表示同步异常，需要重启消息平台的aminterpreter进程重启方法：以mqadmin用户登录，执行ps -ef|grep mqadmin|grep aminterpreter，杀掉当前aminterpreter进程，如图如出现如下窗口，且同步到断站告警，则表示同步成功3.3. 性能采集服务器3.3.1. mysql数据库检查以dc_mysql()用户登录，执行ps -ef|grep mysql，查看mysqld_safe、mysqld进程是否存在。Mysql数据库重启方法：以dc_mysql用户登录执行/opt/dc_mysql/npm_dal/bin/mddb_stop.sh然后再执行/opt/dc_mysql/npm_dal/bin/mddb_start.sh3.3.2. 集中配置LDAP检查以npmdal(0)用户登录，执行ps ef|grep ldap，查看ns-slapd进程是否存在。LDAP进程重启方法：以root用户登录执行/opt/ldap/slapd-hpda-C/stop-slapd然后再执行/opt/ldap/slapd-hpda-C/start-slapd3.3.3. 性能采集进程检查以npmdal(0)用户登录，执行ps ef|grep npmdal，查看Gen_task.pl、Task_manager.pl、DataCheck.pl进程是否存在。性能采集重启方法：以npmdal用户登录cd bin执行dal_clear.sh两遍再执行dal_start.sh3.4. WEB服务器相关应用3.4.1. 进程检查远程登录到WEB服务器，查看Excel.exe进程数不能超过20个。如果超过，建议重启WEB服务器。3.4.2. 登录测试打开IE，在地址栏中输入：1/gsm进入G网WEB登录页面：输入用户名和密码登录。如果登录报错或者登录时间过长，请检查原因。首先排除是否网络原因。然后排除是否WEB服务器，如果WEB服务器不能远程登录，机房进行处理。再确定是否g网数据库原因。4. 备份检查4.1. 网管备份检查远程登录9（administrator/boco123）运行“Data Protecctor Manager”进入DP客户端后，在左上角的下拉框中选择“Internal Database”,然后在左边树图中选择“Sessions”,查看树下节点，如果节点前的图标是绿色的，而且上面有钩状图形的，说明备份正常。如果节点前的图标是红色的，需点击节点，然后右键选择“Properties”,然后再在右边选择“messages”的TAB页，查看里面文字描述的错误，根据错误描述处理问题。4.2. EOMS备份检查待补充5. 网管业务数据指标检查5.1. 省端5.1.1. 采集汇总监控运行采集汇总监控，点击左边树图的ROOT-GSM-数据表-采集表（上层表）或者采集表（底层表），然后在右边点击“24小时齐全率”并加载，如下图所示。对于颜色为非绿色的，特别是红色的或为空的需要特别关注，查明数据缺失原因，能补采数据的必须把数据补采上来，如果是厂商原因请和孔智鸿协商处理。5.1.2. 本地WEB报表登录省端WEB系统1/gsm/。 查看“湖南联通话务网报表-传统交换原始报表-表1”，选择地市粒度，全选所有地市，时间粒度选择五天以来的每日19点。查看查询后的结果：特别比较5天以来同一地市的“BSC数量”、“基站数量”、“小区数量”、“单双载频小区数量”、“900和1800基站数量”等，如果数据发生突变的，必须马上查明原因（割接原因、升级原因或程序存在问题），并给予解决。按照省和地市粒度查查看5天以来的如下报表是否有数据：日常报表-总部相关报表-2007版话务网报表-规则报表-中国联通GSM网地市考核指标规则报表传统交换软交换日常报表-总部相关报表-湖南联通话务网报表-地市考核指标报表软交换日常报表-总部相关报表-2007版话务网报表-规则报表-中国联通GSM网地市考核指标规则报表传统交换对于指标发生突变的请重点关注，并查明原因。对于“系统接通率”超100%或低于93%请重点关注，并查明原因。对于所有超100%的指标请重点关注，并查明原因。查看“日常报表-湖南本地报表-网管中心报表-日报-日报”，选择地市粒度，时间粒度选取前一天，得到查询结果如下图：主要关注“全天A接口话务量比例”（一般小于1）、“A接口话务量与业务信道话务量比例”（一般大于1）和“基站数差异”（一般大于1），对于存在异常情况的，必须查明原因。5.1.3. 配置采集检查本检查主要检查基站的在昨晚的采集情况，主要检查采集成功还是失败，执行SQL语句：select time_stamp, omc_id, count(*) from nrmdb.pub_site_info group by time_stamp, omc_idorder by omc_id, time_stamp得到的结果如下图所示：一般有7个OMC，如果OMC少了，或者time_stamp的时间不在昨晚的时间范围内，说明昨晚的基站配置数据采集存在问题，请通知网管项目组处理。5.1.4. 软交换的LOCALNET和LAC的归属地市和归属网元检查LOCALNET检查，请执行如下SQL语句：select ne_id, pm_rdn, userlabel,1,30, city_id, to_name(city_id), to_name(related_ne1), related_ne1, tmsc_cat from tcd_ne_pcm where ne_type=11045 order by pm_rdn得到如下结果：如果存在city_id或related_ne1为空的情况，请做好记录并通知网管项目组处理。LAC检查，请执行如下SQL语句：select ne_id, pm_rdn, userlabel,1,30, city_id, to_name(city_id), to_name(related_ne1), related_ne1, tmsc_cat from tcd_ne_pcm where ne_type=10015 order by pm_rdn得到如下结果：如果存在city_id或related_ne1为空的情况，请做好记录并通知网管项目组处理。5.1.5. 重点关注日常报表-总部报表-湖南联通软交换报表-软交换报表4,按地市、省分别检查前一天24小时数据，有空缺需要查明原因并修正。另要重点检查18、19、20忙时数据，这几个时间点数据不能超100%。5.2. 总部登录总部WEB系统20/webpm/，用户名administrator，密码1总部的核查报表是检查的重点，如果检查时发现存在核查错误项，必须填写到核查结果文档，并通知网管项目组成员处理。5.2.1. 考核报表进入日常报表-考核报表-2009年报表-核查报表-性能核查完整性- GSM省网移动综合网管系统考核性能文件的完整性核查报表，地理粒度选择湖南，时间粒度选择前三天以来的。查询得到如下示例：对于定时上报超过4小时的，需要做好记录、查明原因并处理。进入日常报表-考核报表-2009年报表-核查报表-性能核查完整性- GSM省网移动综合网管系统考核网元数量完整性核查报表，地理粒度选择湖南，时间粒度选择前三天以来的。查询得到如下示例：如果存在报错的数据，必须立即处理掉，比较麻烦的数据必须在72小时内处理完毕并补推至总部。进入日常报表-考核报表-2009年报表-核查报表-性能核查完整性- GSM省网移动综合网管系统考核网元性能数据的完整性核查报表，地理粒度选择湖南，时间粒度选择前三天以来的。查询得到如下示例：如果存在报错的数据，必须立即处理掉，比较麻烦的数据必须在72小时内处理完毕并补推至总部。进入日常报表-考核报表-2009年报表-核查报表-性能核查准确性- GSM省网移动综合网管系统考核网元性能数据合理性核查报表，地理粒度选择湖南，时间粒度选择前三天以来的。查询得到如下示例：如果存在报错的数据，如果是由于阀值设置问题造成的，请协调孔智鸿处理。其他情况，和孔智鸿协商，视情况处理。进入日常报表-考核报表-2009年报表-核查报表-性能核查准确性- GSM省网网元性能数据的关联性核查报表，地理粒度选择湖南，时间粒度选择前三天以来的。查询得到如下示例：如果存在报错的数据，请和孔智鸿协商后处理。进入日常报表-考核报表-2009年报表-核查报表-性能核查及时性- GSM省网移动综合网管系统考核性能数据的及时性核查报表，地理粒度选择湖南，时间粒度选择前三天以来的。查询得到如下示例：如果存在报错的数据，必须立即处理掉，比较麻烦的数据必须在72小时内处理完毕并补推至总部。5.2.2. 基站断站报表进入日常报表-考核报表-基站断站统计报表-基站断站分省统计报表-1，地理粒度选择湖南，时间粒度选择前七天以来的。查询得到如下示例：如果基站总数量或基站退服次数为零或发生突变，请做好记录，并反馈给网管项目组成员处理。5.2.3. 性能报表1-11进入日常报表-2007年报表-原始报表-地理报表-交换视角报表-地理交换视角忙时报表1-11，地理粒度选择湖南，时间粒度选择七天以来的。查询得到如下示例：对于所有指标发生突变的请做好记录，并反馈给网管项目成员处理。特别比较5天以来同一地市的“BSC数量”、“基站数量”、“小区数量”、“单双载频小区数量”、“900和1800基站数量”等，如果数据发生突变或数量为零，必须马上查明原因，并给予解决。对于“交换机数据量”只要发生变化必须马上查明原因，并给予解决。另外重点关注表四的数据，对于“系统接通率”超100%或低于95%请重点关注，并查明原因。对于所有超100%的指标请重点关注，并查明原因。6省端与总部WCDMA网管性能数据指标检查6.1.本地wcdma网管性能报表1. 登陆方式 1/gsm admin/wgzx012. 报表菜单CS报表查看 网元粒度选择湖南省，时间粒度选择全天24小时4、数据查看， 查看指标列中，622点之间如3G始发试呼次数等指标是否为0，如有连续为0的现象，要立即通知局方并协调厂家解决。5、RS、P