mVision系统日常维护指导10.doc

mvision系统日常维护指导 mvision系统日常维护指导 项目与技术支持部 内部使用资料 作者 参与人 审核人 签发人 签发日期 mvision系统日常维护指导 文档修订记录 序号修订人修订内容简述修订日期 修订后 版本号 批准人 1 建立 a0 mvision系统日常维护指导 出版说明出版说明 内容简介内容简介 ut斯达康mvision系统维护手册对mvision系统维护人员的职责分工进行了描述，对维护 人员的维护及操作流程提出了科学而合理的建议；对维护人员如何进行系统巡检及巡检的项 目和周期作了详尽描述；对日常维护中的关键项目和周期进行了详细阐述；维护手册中还汇 集了丰富的故障解决案例。 为方便读者阅读，更好的服务于客户，维护手册共包含以下几个部分： mvision系统维护指导：系统维护指导： mvision系统巡检指导 mvision系统日常维护指导 mvision系统故障分析和解决指导 第三方设备维护指导：第三方设备维护指导： sun服务器设备日常维护指导 ip网络设备日常维护指导 oracle数据库日常维护指导 mvision系统日常维护指导 本文档为其中的本文档为其中的mvision系统日常维护指导系统日常维护指导 本文将根据现场情况不断更新，更新后的文档将及时发布于客户支持网站 （），如果你有更新硬拷贝的需求，请通过当地的客户经理向我们 申请。 本文档共分2章节，分别为： 第一章：第一章：mvision系统维护建议系统维护建议 第二章：第二章：mvision系统日常维护指导系统日常维护指导 本文档的读者范围本文档的读者范围 ut斯达康mvision系统的维护工程师及其相关人员，要求读者熟悉mvision的系统组成、 系统功能及各个子系统间的相互关联，熟悉switch、dslam等宽带产品，以及unix、linux 操作系统和mysql、oracle数据库，能进行基于unix/linux的基本操作，具备一定的维护经验。 维护过程中如遇到困难或有什么建议，非常欢迎你拨打客户服务中心热线电话寻求技术 支持。我公司随机发给客户的各种手册资料上也会有关操作维护和技术问题的详细说明，请 参考使用。 mvision系统日常维护指导 本文的相关约定 本文内容涉及到许多操作命令，为了便于读者阅读，我们对本文进行了如下约定： 输入图标表示以下的内容为输入命令，输入命令使用宋体黑斜体9号 字符，并缩进两个字符。 输出图标表示以下的内容为输出显示，输出显示使用宋体黑斜体9 号字符，并缩进两个字符。 以分析图标的文字内容是对上面输出显示的解释，在分析的文字内 容中如要引用输出显示的内容，则使用双引号。 当一行代码太长以至于超过本文的一行时，它在一个合适的地方断开并在下一行 继续，续行符“”出现在上一行的行尾。（在输入含有这个续行符的一行时，应 该把它作为没有断开的一个长行）。 注意部分的的内容，以注意图标开始，具体内容加黑框表示。注意给出了重要的信息， 以帮助读者理解。 警告部分的的内容，以警告图标开始，具体内容加黑框表示。警告提供了有关有害操 作或危险错误的信息。对警告信息要特别注意。 mvision系统日常维护指导 项目与技术支持部 ii 目目 录录 第第 一一 章章mvision系统维护建议系统维护建议.4 1.1mvision系统维护人员分工与职责4 1.1.1维护人员组织结构简图4 1.1.2mvision系统维护人员的分工与职责4 1.2mvision系统日常维护投诉处理流程6 1.2.1mvision系统日常维护投诉处理流程说明 7 1.2.2说明 8 1.3mvision系统日常维护参考文档8 第第 二二 章章mvision系统日常维护指导系统日常维护指导9 2.1mvision硬件日常维护报告表9 2.1.1服务器硬件状态检查表9 2.1.2oss/nms硬件状态检查表9 2.1.3月维护小结10 2.1.4季度维护报告11 2.1.5年度维护报告表 12 2.1.6硬件更换记录表 13 2.2mvision服务器日常维护内容14 2.2.1服务器进程的查看.14 2.2.2服务器和进程的启动停止16 2.2.3服务器日志检查 17 2.3oss服务器日常维护内容18 2.3.1oss服务器进程的查看.18 2.3.2oss服务器的启动和停止19 2.3.3oss服务器的日志检查.20 2.4nms服务器日常维护内容.21 2.4.1nms服务器进程查看 21 mvision系统日常维护指导 项目与技术支持部 iii 2.4.2nms服务器进程的启动停止21 2.4.3nms服务器日志检查 21 mvision系统日常维护指导 客户成功，我们成功4 第第 一一 章章 mvisionmvision系统维护建议系统维护建议 mvision系统维护建议将对整个mvision系统维护人员的分工和职责提出合理建议的基础 上，并重点介绍mvision系统server部分和oss部分的故障处理流程和在日常维护中可以参考 的技术资料。 1.1mvisionmvision系统维护人员分工与职责系统维护人员分工与职责 1.1.1维护人员组织结构简图维护人员组织结构简图 图 1 mvision系统维护组织结构图 1.1.2mvisionmvision系统维护人员的分工与职责系统维护人员的分工与职责 系统工程师系统工程师 职责：职责：系统工程师是整个网络日常维护小组的总负责，负责指导和协调整个系统维护 人员的工作流程和接口等，协调维护小组与外部其它配合人员之间的工作关系。 m mv vi is si io on n系系统统 工工程程师师 投投诉诉受受理理工工程程 师师 m me ed di ia a服服务务器器 维维护护工工程程师师 o os ss s/ /n nm ms s维维护护 工工程程师师 宽宽带带产产品品维维护护 工工程程师师 宽宽带带机机房房维维护护 工工程程师师 系系统统工工程程师师 宽宽带带系系统统工工程程 师师 m mc c维维护护工工程程师师 n nm ms s维维护护工工程程 师师 mvision系统日常维护指导 客户成功，我们成功5 技术要求：技术要求： ip 网络技术基础/unix、linux 操作系统知识/mysql、oracle技术基础 /；熟悉整个mvision系统的原理，软硬件的安装调试，以及系统维护；熟悉宽带产品， 如switch、route、dslam等产品的安装调试。 mvisionmvision系统工程师系统工程师 包括media服务器维护工程师、oss维护工程师、nms维护工程师和mc维护工程师。 mediamedia服务器维护工程师服务器维护工程师 o职责：职责：media服务器维护工程师负责mvision服务器（包括 me/md/cec/ce/as/app/dnld/epg/mdr/mlr/cmm）的日常维护和排障、系统安 装升级等工作，以及mysql数据库的维护。 o技术要求：技术要求：linux 操作系统 /ip 网络技术基础/mysql 技术基础知识，熟悉 整个mvision系统的原理,以及mvision系统各个版本软件的安装调试。 ossoss维护工程师维护工程师 o职责：职责：oss维护工程师负责oss系统的日常维护，包括计费接口的维护，业务 接口的维护、计费系统相关的其他业务的维护。 o技术要求：技术要求：具有unix操作系统/oracle 技术基础，熟练使用sql，熟悉 mvision产品的oss部分功能和计费业务流程。 nmsnms网管维护工程师网管维护工程师 o职责：职责：nmsnms网管维护工程师负责网管系统的维护和网络日常告警的监控。 o技术要求：技术要求：具有oracle技术基础/ip 网络技术基础/unix 操作系统知识，熟 悉网管上的各项操作和告警含义。 mcmc维护工程师维护工程师 o职责：职责：mcmc维护工程师负责mc机顶盒的日常维护和升级。 o技术要求：技术要求：具有ip 网络技术基础，熟悉mvision系统mc部分的使用和配置， mc软件的升级。 宽带系统宽带系统工程师工程师 包括宽带产品维护工程师、宽带机房维护工程师。 宽带产品维护工程师宽带产品维护工程师 mvision系统日常维护指导 客户成功，我们成功6 o职责职责: : 宽带产品维护工程师负责mvision系统相关的switch/router/dslam等 宽带产品的日常故障处理和安装、调测，以及网络设备的升级等。 o技术要求技术要求: : 具有ip 技术基础，能对大部分厂家的宽带产品进行安装调试。 宽带机房维护工程师宽带机房维护工程师 o职责：职责：宽带机房维护工程师负责宽带机房中机柜，网线，电源等部分的安装， 排障和维护。 o技术要求：技术要求：具有电信网的用户端电缆的配线知识。 投诉受理工程师投诉受理工程师 职责：职责：投诉受理工程师负责受理和收集用户投诉信息。 技术要求：技术要求：了解mvision系统的基本知识，掌握一定的处理客户抱怨的技巧。 1.2mvisionmvision系统日常维护投诉处理流程系统日常维护投诉处理流程 通过mvision系统日常维护能及时发现和解决系统或者宽带网络发生的问题。 当有个别用户投诉时的服务流程应该成为一个闭环系统。 mvision系统日常维护指导 客户成功，我们成功7 用户申告 是否为mvision 系统问题？ mvision系统工程师处 理 宽带系统工程师处理 回访用户 不满意 y n 图 2 故障处理流程 1.2.1mvisionmvision系统日常维护投诉处理流程说明系统日常维护投诉处理流程说明 以下内容是根据服务的理念，结合以上流程的相关说明。具体流程处理的平台可以因客 户不同而异。 用户申告 用户的申告源于用户对服务的不满意，涉及的范围很广。投诉受理工程师负责将问题分 类，将应该由mvision系统工程师受理的问题分离出来。这部份职能一般是由客户的服务中心 受理。 问题分类和处理问题分类和处理 确定问题属于mvision系统的后，投诉受理工程师将该问题直接递交给系统工程师进行判 断：是mvision系统的问题，还是宽带网络的问题。 mvision系统日常维护指导 客户成功，我们成功8 mvisionmvision系统的问题系统的问题 如果是mvision系统的问题，由mvision系统工程师按照内部的人员分工，将不同部分的 问题分派给指定的人员进行处理。处理完毕后，直接回访客户以确认客户满意与否。如果无 法处理，可要求系统工程师寻求其他的资源来协助共同解决，直至客户满意。处理完毕后， 应通知投诉受理工程师。 宽带系统的问题宽带系统的问题 如果是宽带系统的问题，需要进一步区分出是宽带产品的问题还是宽带机房环境有问题， 并按照分工指派相应的工程师进行处理，直至客户满意。处理完毕后，应通知投诉受理工程 师。 客户的回访客户的回访 客户回访目的是确认问题是否解决，提升客户的满意度，使服务成为一个闭环。 1.2.2说明说明 mvision系统维护组织的人员分工和职责明确，对系统的日常正常运行具有非常重要的意 义。 由于各个网络运营商的组织职能和结构均有所不同，所以本建议只为客户提供运营 mvision系统的一些参考，具体如何形成有效的维护流程，客户可根据自己的实际情况制定。 1.3mvisionmvision系统日常维护参考文档系统日常维护参考文档 mvision系统日常维护指导 客户成功，我们成功9 第第 二二 章章mvisionmvision系统日常维护指导系统日常维护指导 2.1mvisionmvision硬件日常维护报告表硬件日常维护报告表 2.1.1服务器硬件状态检查表服务器硬件状态检查表 序号维护项目指示灯名称状态相关操作检查人签名 1 指示灯状态 2 pdp指示灯状态 3 md指示灯状态 4 me指示灯状态 5 cec指示灯状态 6 ce指示灯状态 7 ip网络端口状态 8 md网口状态 9 me网口状态 10 cec网口状态 11 ce网口状态 小结 注：建议对每个blade进行以上操作。系统中使用的板卡类型视具体情况而定。 表 1 blade硬件状态检查表 2.1.2oss/nmsoss/nms硬件状态检查表硬件状态检查表 oss/nms服务器采用sun的服务器，具体硬件维护检查请参见以下文档： sun服务器设备日常维护指导 mvision系统日常维护指导 客户成功，我们成功10 oracle数据库日常维护指导 2.1.3月维护小结月维护小结 月维护小结月维护小结 维护人 表 2 月维护报表 mvision系统日常维护指导 客户成功，我们成功11 2.1.4季度维护报告季度维护报告 季度维护小结季度维护小结 维护人 表 3 季度维护报告表 media switch系统日常维护指导 项目与技术支持部 12 2.1.5年度维护报告表年度维护报告表 年度维护小结年度维护小结 维护人 表 4 年度维护报告表 media switch系统日常维护指导 项目与技术支持部 13 2.1.6硬件更换记录表硬件更换记录表 更换原因原板卡名称， 编号 更换后板卡名 称编号 更换数量更换日期更换人 media switch系统日常维护指导 项目与技术支持部 14 2.2mvisionmvision服务器日常维护内容服务器日常维护内容 2.2.1服务器进程的查看服务器进程的查看 通过通过psps axfaxf检查各个服务器各个进程运行状态检查各个服务器各个进程运行状态 以下是md/as/app/dnld/cmm/mdr/mlr/ls服务器需要运行的进程： monitor nms_monitor media_director authserv dnldserv appsvr epg_assistant licserv cmm mlr rootmd_14_118 root# ps -axf 685 ? sl 0:01 ntpd -u ntp -g 703 ? s 0:00 crond 710 ? s 0:00 /bin/sh ./bin/safe_mysqld -datadir=/usr/local/mysql/data -pid- file=/usr/local/mysql/data/md_14_118.pid 773 ? s 0:50 _ /usr/local/mysql/bin/mysqld -defaults-extra- file=/usr/local/mysql/data/f -basedir=/usr/local/m 754 ? s 0:00 /usr/sbin/atd 785 ? sl 0:00 ntpd -u ntp -g 858 ? s 0:00 /usr/local/rss/bin/monitor -d /usr/local/rss/data/svr_data 865 ? s 0:00 _ /usr/local/rss/bin/monitor -d /usr/local/rss/data/svr_data 1010 ? s 0:00 | _ cmm -d 1022 ? s 0:00 | _ licserv -d media switch系统日常维护指导 项目与技术支持部 15 1051 ? s 0:06 | _ authserv -d 1072 ? s 0:00 | _ mdrserv -d 1132 ? s 0:00 | _ appserv -d 4657 ? s 0:00 | _ epg_assistant -d 861 ? s 0:00 /usr/local/rss/bin/monitor -d /usr/local/rss/data/md_data 866 ? s 0:00 _ /usr/local/rss/bin/monitor -d /usr/local/rss/data/md_data 868 ? s 86:04 | _ nms_monitor -d -m md -e eth0 953 ? s 274:40 | _ media_director -c eth0 -e eth0 -s -a 18 954 ? s 34:28 | | _ media_director -c eth0 -e eth0 -s -a 18 964 ? s 0:00 | _ dnldserv -d 5382 ? s 0:00 /usr/local/apache2/bin/httpd -k start 5383 ? s 0:00 _ /usr/local/apache2/bin/httpd -k start 5384 ? s 0:00 _ /usr/local/apache2/bin/httpd -k start 5385 ? s 0:00 _ /usr/local/apache2/bin/httpd -k start 5386 ? s 0:00 _ /usr/local/apache2/bin/httpd -k start 5387 ? s 0:00 _ /usr/local/apache2/bin/httpd -k start 5388 ? s 0:00 _ /usr/local/apache2/bin/httpd -k start 5389 ? s 0:00 _ /usr/local/apache2/bin/httpd -k start 5390 ? s 0:00 _ /usr/local/apache2/bin/httpd -k start 5391 ? s 0:00 _ /usr/local/apache2/bin/httpd -k start 5392 ? s 0:00 _ /usr/local/apache2/bin/httpd -k start 5395 ? s 0:00 _ /usr/local/apache2/bin/httpd -k start 5576 ? s 0:00 _ /usr/local/apache2/bin/httpd -k start 1、 上面的进程检查结果是在md/as/app/dnld/cmm/mdr/mlr运行在同一服务器的情况下。mlr 进程可以根据系统功能需要决定是否运行。 2、 此服务器上别的进程因为篇幅没有显示 media switch系统日常维护指导 项目与技术支持部 16 2.2.2服务器和进程的启动停止服务器和进程的启动停止 服务器启动顺序：服务器启动顺序： 服务器启动步骤：服务器启动步骤： 启动脚本已经在系统启动文件中进行配置，执行/etc/rc.d/rc.local将自动运行本机所有服 务模块： #cd /etc/rc.d/ #./rc.local start 进程的启动顺序：进程的启动顺序： 建议各个进程都通过monitor来启动 as/app/dnld/cmm/mdr/mlr/hcm/ls的启动： ./usr/local/rss/bin/monitor d /usr/local/rss/data/svr_data md/dnld的启动： #./usr/local/rss/bin/monitor d /usr/local/rss/data/md_data me的启动： media switch系统日常维护指导 项目与技术支持部 17 #./usr/local/rss/bin/monitor d /usr/local/rss/data/me_data cec的启动： #./usr/local/rss/bin/monitor d /usr/local/rss/data/cec_data ce的启动： #./usr/local/rss/bin/monitor d /usr/local/rss/data/cen_data apache的启动： #cd /usr/local/apache/bin #./apachectl start 进程的停止：进程的停止： as/app/dnld/cmm/mdr/mlr/ls的停止： #killall monitor nms_monitor authserv appserv dnldserv cmm mdrserv mlr_svr licserv epg_assistant md的停止： #killall monitor nms_monitor media_director dnldserv me的停止： #killall monitor nms_monitor media_engine cec的停止： #killall monitor nms_monitor mdr_agent ce_controller ce的停止： #killall monitor nms_monitor ce_agent encoder0 apache的停止： #cd /usr/local/apache/bin #./apachectl stop 2.2.3服务器日志检查服务器日志检查 各个服务器应该检查一下日志： 组件组件对应日志文件对应日志文件 media switch系统日常维护指导 项目与技术支持部 18 epg/var/log/epg-php.log /var/log/epg_assistant.log app/var/log/appserv.log cmm/var/log/cmm.log mlr/var/log/mlr.log(s) /var/log/ ba.log(c)-in md mdr/var/log/mdrserv.log(s) /var/log/mdr_agent.log(c)-in cec ls/var/log