H3C监控故障信息收集指导手册.doc

0e758365ca5b22f3e89efb50e5066eb8.pdf文档密级监控故障信息收集指导手册hangzhou h3c technologies co., ltd. 杭州华三通信技术技术有限公司all rights reserved版权所有 侵权必究目录1信息收集注意事项162监控产品信息收集要点162.1vm定位信息收集要点162.1.1收集asvm、ccvm配置文件和日志162.1.2收集与其他组件交互的信令报文182.1.3获取vm数据库备份文件192.1.4获取操作系统运行状态信息202.1.5收集vm控制块信息222.1.6收集as、cc服务器内存使用信息232.1.7收集vm程序运行信息（gmon.out文件）242.2vc定位信息收集要点252.2.1收集vc、vm的版本信息252.2.2收集vc的日志和配置文件262.2.3收集vc主机系统信息262.2.4vc上抓取媒体流和信令报文312.2.5vc故障现象抓屏312.3dm定位信息收集要点322.3.1利用脚本收集dm信息322.3.2收集配置和日志信息332.3.3收集dm版本号352.3.4对dmweb的显示结果进行抓屏352.3.5获取dm程序运行状态352.3.6获取dm配置文件362.3.7使用dmesg命令获取系统启动时的信息362.3.8收集与其他组件交互的信令报文372.3.9收集iscsi信息372.3.10获取ipsan挂载信息382.3.11获取nas或ecr挂载mount状态392.3.12获取操作系统运行状态信息402.4ipsan定位信息收集要点402.4.1收集x-ray信息402.4.2收集ipsan管理台各raid状态的抓图412.5ms定位信息收集要点422.5.1利用脚本收集ms信息422.5.2获取ms配置文件432.5.3收集ms日志信息432.5.4收集iscsi信息452.5.5收集实况、录像转发表信息452.5.6收集与其他组件交互的信令报文和媒体流报文462.5.7获取操作系统运行状态信息472.6isc、ecr、ec、dc定位信息收集要点482.6.1收集设备的版本信息482.6.2获取快照信息482.6.3获取索引信息492.6.4收集与其他组件交互的信令报文512.6.5dc1001-ff接受报文丢包统计522.6.6isc、ecr、ec2016、ec3016debug信息。522.7isc3000系统web客户端信息收集要点542.7.1ie版本信息542.7.2控件版本信息542.7.3pc所在操作系统信息552.7.4控件日志信息552.7.5pc上抓取媒体流和信令报文552.8网络设备定位信息收集要点562.8.1交换机配置562.8.2网络拓扑图563监控业务信息收集要点563.1实况业务定位信息收集要点563.1.1现场信息563.1.2信令报文573.1.3媒体流信息573.1.4日志信息573.2回放业务定位信息收集要点573.2.1现场信息573.2.2信令报文573.2.3媒体流信息583.2.4日志信息583.2.5索引信息583.3告警/告警联动业务定位信息收集要点593.3.1告警/告警联动报文流程图593.3.2现场信息593.3.3信令报文593.3.4媒体流报文603.3.5日志信息603.3.6问题定位步骤606.云台控制业务定位信息收集要点617.现场信息6114.信令报文6117.媒体流信息6118.日志信息6122.问题定位步骤6129.设备注册、保活、登录业务定位信息收集要点6230.现场信息6238.信令报文6341.媒体流信息6342.日志信息6348.问题定位步骤631 信息收集注意事项1. 尽可能提供故障设备类型、故障时间、当时操作过程及结果，结果请用抓屏保存成图片。2. 请准确提供各产品的版本号。3. 除端口隔离的编码器之间，需确保系统中各组件的网络互相可达。4. 如能复现故障现象，请在尽量单纯的环境中进行信息收集，例如某摄像头无法正常实况，此时请将其他摄像头的实况、回放等业务关闭，只开启故障摄像头实况，进行抓包等信息收集。5. 所有的抓包操作完成后请停止抓包程序，以免占用空间满后造成设备故障。 6. 与图象质量有关的问题请提供编码格式、码率、帧率、帧间隔、码流类型，可通过管理员版编码器通道煤体流配置界面抓图保存。7. 请提供故障设备在vm管理员版上配置的id。2 监控产品信息收集要点2.1 vm定位信息收集要点2.1.1 利用脚本收集vm信息rootms8000 home# chmod 777 vmsystemreport.sh rootms8000 home# ./vmsystemreport.sh system report collect completely!report file: vmsystemreport.tgz2.1.2 收集asvm、ccvm配置文件和日志配置文件保存在/root目录下的asvmcfg.ini cccfg.ini：rootvmserver # cd /rootrootvm2 log# ls -l *.ini-rw-rw-rw- 1 root root 79326 sep 25 16:57 asvmcfg.ini-rw-rw-rw- 1 root root 275028 sep 17 14:14 cccfg.ini日志保存在/var/log目录下，进入此目录的命令如下：rootvmserver # cd /var/log查看呼叫控制服务器（cc）日志的命令如下（其中cc0xx.log文件数量最多10个）：rootvm2 log# ls -l cc*-rw-rw-rw- 1 root root 79326 sep 25 16:57 cc000.log-rw-rw-rw- 1 root root 275028 sep 17 14:14 ccvmsd.log查看视频监控应用服务器(as)日志的命令如下（其中asvm0xx.log文件最多10个）：rootlocalhost log# ls -l asvm*-rw-rw-rw- 1 root root 11431524 sep 25 16:56 asvm000.log-rw-rw-rw- 1 root root 18874474 sep 21 11:01 asvm001.log-rw-rw-rw- 1 root root 18874496 sep 19 09:07 asvm002.log-rw-rw-rw- 1 root root 21268 sep 8 15:09 asvmsd.log通过ssh工具获取以上as、cc配置文件和日志文件至本地点击下图红框内快捷键，系统弹出vm服务器文件传输窗口。选择文件所在目录，找到需要保存的文件，直接拖动文件到本地pc的保存目录中即可。2.1.3 收集与其他组件交互的信令报文通过抓取报文并判读，可以迅速准确地完成问题的初步定位，排查设备注册、保活、实况、轮切等基本业务的问题，在vm服务器上，可以通过tcpdump命令完成抓包。抓取除sip协议报文外所有其他报文的命令如下：tcpdump s 5000 w vm1.cap单域域内sip报文命令：tcpdump s 5000 i lo port 5060 w sip.cap上下级域间sip报文命令：tcpdump s 5000 port 5060 w sip.capvmp报文命令：tcpdump s 5000 port 6060 w vmp.captcpdump s 5000 host and port 6060 w vmp.cap命令说明-s：指定每个数据包的大小。默认为68字节。不指定时无法通过vmp的ethereal插件解包。-i：指定监听网口。抓取sip报文时，需要监听lo即的回环网口。port：指定监听端口。sip消息为5060端口，vmp消息为6060端口。host：指定监听主机ip。当确定需要只抓取某个设备信息时，可以通过host字段来过滤。这样的话，抓取的报文文件会精简很多。-w：指定保存文件名称。 注意：抓报文结束后按组合键停止抓包，否则长时间抓包后，报文文件可能太大，导致磁盘存储空间不够，对系统造成不良影响。对于vm5000 由于vm和dm是同一ip,所以抓取vm和dm之间的vmp报文时，命令应为：tcpdump -s 5000 port 6060 -i lo -w dm_vmp.cap2.1.4 获取vm数据库备份文件通过ssh客户端登录vm服务器，进入vm服务器软件安装目录，以vm8000-e1216版本为例）：并增加rootlocalhost root#cd /home/ vm5000v100r001b01d018”rootlocalhost vm5000v100r001b01d018# tar xzvf mppdbbr.tgz mppdbbr/mppdbbr/introduction to mppdbbr.tgz.docmppdbbr/mppdbbr.shmppdbbr/.change.sedrootlocalhost vm5000v100r001b01d018# cd mppdbbrrootlocalhost mppdbbr# lsintroduction to mppdbbr.tgz.doc mppdbbr.shrootlocalhost mppdbbr# ./mppdbbr.sh what do you want to do? 1.backup2.recovery3.vacuum4.convert(euc_cn to utf8)c.cancelplease have a choice :1please enter db address :0 注释：ip需要和现场的实际环境匹配password: passwdbackup success!备份文件保存在/var/dbbr目录，文件名称为dbbackup.sqlrootlocalhost home# cd /var/dbbrdbbr/ dbbro/ rootlocalhost home# cd /var/dbbrrootlocalhost dbbr# ls dbbackup.sql dbbackup.sqlrootlocalhost dbbr#每日2点系统会自动备份数据库，如发生故障时间不在现场，定位故障时，可将/var/dbbr目录下故障发生时间前和后最近生成的数据库备份文件导出。2.1.5 获取操作系统运行状态信息使用vm脚本定期收集信息通过ssh客户端登录vm服务器，将下面的脚本文件通过ssh工具复制到/var/log目录下。执行命令 crontab -e，会打开vi编辑软件，追加下面一行10 */6 * * * /var/log/getsystem.sh然后保存退出，以上操作可以保证在每天的6:10、12：10、18：10、24：10时获取系统信息，生成文件mpp_system.txt，需要时把/var/log/mpp_system.txt文件取出注意：完成信息收集后执行如下操作关闭定期收集。执行命令 crontab -e，打开vi编辑软件，删除下面一行。10 */6 * * * /var/log/getsystem.sh收集操作系统运行状态信息。通过ssh客户端登录vm服务器，手工输入下文显示命令收集操作系统运行状态信息。l 获取操作系统版本cat /proc/version cat /etc/redhat-releasecat /etc/issuerootlocalhost # cat /proc/version linux version 2.6.9-42.elsmp (buildcentosbuild-i386) (gcc version 3.4.6 20060404 (red hat 3.4.6-3) #1 smp sat aug 12 09:39:11 cdt 2006rootlocalhost # cat /etc/redhat-release centos release 4.4 (final)rootlocalhost # cat /etc/issuecentos release 4.4 (final)kernel r on an ml 获取操作系统的硬盘使用情况rootlocalhost /# df -hfilesystem size used avail use% mounted on/dev/mapper/volgroup00-logvol00 66g 7.8g 55g 13% /dev/sda1 99m 3m 82m 14% /bootnone 1014m 0 1014m 0% /dev/shml 获取操作系统的内存使用情况rootlocalhost log# free total used free shared buffers cachedmem: 2074864 2033004 41860 0 60524 635752-/+ buffers/cache: 1336728 738136swap: 2048276 12 2048264l 查看网络信息rootms8000 # ifconfigrootms8000 # routerootms8000 # ethtool eth0l 获取各socket（应用端口号）使用情况rootlocalhost log# netstat lactive internet connections (only servers)proto recv-q send-q local address foreign address state tcp 0 0 0:12000 *:* listen tcp 0 0 1:4000 *:* listen tcp 0 0 0:4000 *:* listen tcp 0 0 *:netbios-ssn *:* listen tcp 0 0 *:sunrpc *:* listen l 获取进程cpu占用率rootlocalhost log# ps aux将显示结果复制到文本文件中。2.1.6 收集vm控制块信息 telnet登陆as服务器（端口号为4000），密码为superuser，收集as服务控制块信息。c:telnet 0 4000display asvm stat cm ccbdisplay asvm stat rm ccbtelnet登陆cc服务器（端口号为4000），密码为superuser，收集cc服务控制块信息。c:telnet 1 4000 display ccb-busy vrm display ccb-busy cm将上述命令的输出结果复制到文本文件中。2.1.7 收集as、cc服务器内存使用信息 以cc服务为例,as服务收集过程与cc一致。登陆cc ：telnet cc地址 4000 syssystem view: return to user view with ctrl+z.ccserver_hnow you enter a hidden command view for developers testing, some commands mayaffect operation by wrong use, please carefully use it with our engineersdirection.ccserver-hidecmddis memoryslice memory usage:block size 32 free 563 used 9869 total 10432block size 64 free 214 used 4645 total 4859block size 128 free 16 used 1275 total 1291block size 256 free 3 used 574 total 577block size 512 free 86 used 49 total 135block size 1024 free 21 used 49 total 70block size 2048 free 96 used 170 total 266block size 4096 free 86 used 58 total 144-summary-used(byte) 1584224 free 1085 used 16689 total 17774total slice allocated size: 2911104 bytes used ratio: 54total slice memory(include control data and free slice): 2911104 bytesraw slice memory usage: total used size: 317585432 bytes num: 142 total raw slice size (include control data and free slice): 317837168 bytes used ratio: 99system total memory(bytes): 536856096将上述命令的输出结果复制到文本文件中。2.1.8 收集vm程序运行信息（gmon.out文件）注意：收集该信息会导致mpp进程重启，请选择使用l 生成as进程的程序运行信息使用telnet as服务器ip 4000端口的方式登录至as服务器。例如：telnet 95 4000需要输入密码：superuser登录后，输入 sys 命令进入系统视图。输入 _h命令进入隐藏视图。输入命令 dis mem m 200 200 。该命令会导致 as服务在1分钟之内重启，重启之后在服务器上的/root目录下生成一个名字为gmon.out的文件。请确认一下该文件的生成时间，应该和当前时间相差不大，该文件改名为as_gmon.out。l 生成cc进程的程序运行信息使用telnet cc服务器ip 4000端口的方式登录至cc服务器；例如：telnet 96 4000需要输入密码：superuser。登录后，输入 sys 命令进入系统视图。输入 _h命令进入隐藏视图。输入命令 dis mem m 200 200 该命令会导致 cc服务在1分钟之内重启，重启之后在服务器上的/root目录下生成一个名字为gmon.out的文件。请确认一下该文件的生成时间，应该和当前时间相差不大，将该文件改名为cc_gmon.out；2.2 vc定位信息收集要点2.2.1 收集vc、vm的版本信息点击vc管理员版或用户版菜单项帮助关于，在弹出显示窗口后按组合键可显示内部版本号，可截屏后保存为jpg文件。2.2.2 收集vc的日志和配置文件故障发生后，进入vc安装目录，将log目录压缩后保存。安装目录下vc8000.net.exe.config文件为用户版配置文件，请保存。如果无法压缩拷贝，请退出vc后再进行如上操作。2.2.3 收集vc主机系统信息l vc的机器配置点击开始运行，在弹出窗口中输入dxdiag，开启directx诊断工具，在directx诊断工具中点击按钮，然后赋予要保存的文件名并保存。l 使用ipsan备份工具下载故障问题时录像使用录像备份工具下载一段故障发生时段的录像。1. 运行mptools工具。2. 点击按钮，进入ipsan备份界面。3.进入无法下载的录像所对应编码器的web页面，将三行ip san参数填入ip san备份工具配置界面。ec1001页面：ec2004-hf页面：4.点击按钮，选择vc无法下载录像的时间段主索引时间。5. 点击按钮，输入文件名，确定后开始下载录像，直至下载结束，文件下载完后发回。6. 如果mptools无法正常使用，请收集mptools程序的log目录下的日志。l vc主机的cpu、内存、进程信息右键点任务拦选择任务管理器，在进程、性能页面收集cpu、内存、进程信息，其中进程信息可以点击红框处按照cpu或内存使用率排列。右键点击windows任务管理器，选择性能选项，抓屏保存为图片。选择进程选项，抓屏保存为图片。2.2.4 vc上抓取媒体流和信令报文vc主机安装wndows版本ehreal软件，一旦vc上的操作结果异常，可在vc上抓包，并保存成文件。2.2.5 vc故障现象抓屏故障现象发生时，通过按pc键盘键抓屏保存故障现象和各种提示信息，有时提示信息显示在右下方，请双击弹出提示信息后再抓图，示例见下图。2.3 dm定位信息收集要点2.3.1 利用脚本收集dm信息使用脚本收集dm主机信息后，然后在dmwebui上导出日志和配置，基本上能满足问题定位的需求。采用ssh工具上传以上脚本到dm的home目录。修改dmsystemreport.sh的可执行权限，命令为：chmod 777 dmsystemreport.sh执行脚本，命令如下：rootms8000 home# ./dmsystemreport.sh system report collect completely!report file: dmsystemreport.tgz通过ssh工具将home目录中的dmsystemreport.tgz文件导出。2.3.2 收集配置和日志信息登录dm的web页面，在日志管理/日志导出页面导出故障期间的日志。录dm的web页面，在系统管理/配置管理页面导出配置文件。也可以通过登陆ssh导出日志文件，日志保存在/var/log目录下，包含debug日志、系统日志、操作日志等多种日志：查看dm的debug日志： rootlocalhost # cd /var/logrootlocalhost log# ls -l debug*-rw-r-r- 1 root root 2638368 oct 10 13:54 debug000.log-rw-r-r- 1 root root 0 oct 10 09:35 debug001.log-rw-r-r- 1 root root 0 oct 10 09:35 debug002.log查看dm的系统日志、操作日志、告警日志：rootlocalhost log# ls -l syslog000.log oper000.log alarm000.log-rw-r-r- 1 root root 21060 oct 10 14:02 alarm000.log-rw-r-r- 1 root root 627 oct 10 13:58 oper000.log-rw-r-r- 1 root root 24473 oct 10 14:10 syslog000.log查看操作系统日志、数据库日志、安装日志、数据库清理日志：收集messages文件，一般将几个messages文件都收集下来：messages.1、messages.2，操作系统记录messages文件，一般最多一周会换一个文件。rootlocalhost log# ls messages*messages messages.1 messages.2 messages.3 messages.4 messages.bakrootlocalhost log# ls l pgsql.log install.log vac0.log-rw-r-r- 1 root root 43711 oct 10 09:35 install.log-rw-rw-rw- 1 root root 1408201 oct 10 10:25 pgsql.log-rw-r-r- 1 root root 226842 oct 10 03:01 vac0.log可以通过ssh工具获取以上日志文件至本地。2.3.3 收集dm版本号rootlocalhost home# rpm -qa |grep dmdm-2.17.3-1复制以上内容到文本文件中保存。2.3.4 对dmweb的显示结果进行抓屏dm故障时对webui显示结果进行抓屏，比如：制定计划失败、摄像机显示故障等。2.3.5 获取dm程序运行状态执行dmserver.sh status获取dm各进程运行状态rootlocalhost home# dmserver.sh statusiscsid is runningpgsql is runninghttpd is runningsnmptrapd is runningdmserv is runningdmsnmp is runningdmlogd is runningdmd is runningdmbackup is runningdmdevman is runningdmautobak is runningvm5000也可以执行vm5000server.sh status获取dm和vm各进程运行状态rootlocalhost home# vm5000server.sh statusiscsid is runningpgsql is runninghttpd is runningsnmptrapd is runningassd is runningccsd is runningdmserv is runningdmsnmp is runningdmlogd is runningdmd is runningdmbackup is runningdmdevman is runningdmautobak is running将显示信息保存到文件中。2.3.6 获取dm配置文件用浏览器登录dm的web页面，在系统管理 配置管理页面导出dm的配置文件2.3.7 使用dmesg命令获取系统启动时的信息rootlocalhost log# dmesg /home/dmesg.txtssh获取/home/dmesg.txt2.3.8 收集与其他组件交互的信令报文通过抓取报文并判读，可以迅速准确地完成问题的初步定位。在dm服务器上，可以通过tcpdump命令完成抓包。抓取所有报文命令：tcpdump s 5000 w dm.cap分类报文抓包，抓vmp报文：tcpdump s 5000 port 6063 w vmp.cap命令说明：-s：指定每个数据包的大小。默认为68字节。不指定时无法通过vmp的ethereal插件解包。-i：指定监听网口。抓取sip报文时，需要监听lo即的回环网口。port：指定监听端口。sip消息为5060端口，vmp消息为6063端口。host：指定监听主机ip。当确定需要只抓取某个设备信息时，可以通过host字段来过滤。这样的话，抓取的报文文件会精简很多。-w：指定保存文件名称。 注意：抓报文结束后要停止抓包，否则长时间抓包后，报文文件可能太大，导致磁盘存储空间不够，对系统造成不良影响。2.3.9 收集iscsi信息rootlocalhost # cd homerootlocalhost home# iscsi-ls iscsi.txt通过ssh工具获取/home/iscsi.txt文件至本地。执行以下命令获取scsi进程运行状态rootlocalhost home# ps aux|grep scsiroot 319 0.0 0.0 0 0 ? s nov06 0:00 scsi_eh_0root 328 0.0 0.0 0 0 ? s nov06 0:00 scsi_eh_1root 8511 0.0 0.0 3444 420 ? ss nov12 0:00 /sbin/iscsidroot 8514 0.0 0.0 3452 444 ? s nov12 0:00 /sbin/iscsidroot 8516 0.0 0.0 0 0 ? s nov12 0:00 scsi_eh_19root 8517 0.0 0.0 0 0 ? s nov12 0:00 iscsi-txroot 8518 0.0 0.0 0 0 ? smount.txtrootlocalhost home# more mount.txt/dev/sda1 on / type ext3 (rw)none on /proc type proc (rw)none on /sys type sysfs (rw)none on /dev/pts type devpts (rw,gid=5,mode=620)usbfs on /proc/bus/usb type usbfs (rw)none on /dev/shm type tmpfs (rw)none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)通过ssh工具获取/home/ mount.txt文件至本地2.3.12 获取操作系统运行状态信息通过ssh客户端登陆dm服务器，收集操作系统运行状态信息。l 获取操作系统版本rootlocalhost # cat /proc/version linux version 2.6.9-42.elsmp (buildcentosbuild-i386) (gcc version 3.4.6 20060404 (red hat 3.4.6-3) #1 smp sat aug 12 09:39:11 cdt 2006rootlocalhost # cat /etc/redhat-release centos release 4.4 (final)l 获取进程cpu占用率rootlocalhost log# topl 获取操作系统的内存使用情况rootlocalhost log# freel 获取操作系统的硬盘使用情况rootlocalhost /# df -hl 查看网络信息（根据实际配置使用的网口选择eth0或eth1）rootdm8000 # ifconfigrootdm8000 # routerootdm8000 # ethtool eth0 请根据实际使用的网口选择，一般为eth0或者eth1l 获取各socket（应用端口号）使用情况rootlocalhost log# netstat l 将上述命令的输出结果复制到文本文件中。2.4 ipsan定位信息收集要点2.4.1 收集x-ray信息在浏览器的地址栏输入ipsan的ip地址，登录ipsan的控制台，再右键点击ipsan名称，选择“x-ray”选项，弹出“x-ray选项”对话框，如下图所示：选择保存路径，点击“确定”即可将x-ray保存到指定目录2.4.2 收集ipsan管理台各raid状态的抓图如上图，展开所有阵列节点，抓图。2.5 ms定位信息收集要点2.5.1 利用脚本收集ms信息使用脚本收集ms主机信息后，然后使用msweb导出日志和配置，基本上能满足定位问题的需求。采用ssh工具上传以上脚本到ms的home目录。修改mssystemreport.sh的可执行权限，命令为：chmod 777 systemreport.sh执行脚本，命令如下：./ mssystemreport.sh通过ssh工具将home目录中的systemreport.tgz文件导出。2.5.2 获取ms配置文件用浏览器登录ms的web页面，在系统管理配置管理页面导出ms的配置文件。收集ms的配置信息rootms8000 # ls l /usr/local/etc/ms.conf可以通过ssh工具获取配置文件至本地。2.5.3 收集ms日志信息用浏览器登录ms的web页面，在日志管理日志导出页面导出ms故障期间的日志。ms日志保存在/var/log目录下，包含debug日志、系统日志、操作日志等多种日志。查看ms的debug日志，命令如下： rootms8000 # cd /var/logrootms8000 log# ls -l debug*-rw-r-r- 1 root root 16053902 oct 10 14:17 debug000.log-rw-r-r- 1 root root 0 aug 20 09:46 debug001.log-rw-r-r- 1 root root 0 aug 20 09:46 debug002.log查看ms的系统日志、操作日志、告警日志：rootms8000 log# ls -l syslog000.log oper000.log alarm000.log-rw- 1 root root 0 aug 20 09:46 alarm000.log-rw- 1 root root 9340 oct 10 11:54 oper000.log-rw- 1