ZXG10-SC(V3.0)短消息中心故障应急指导书

1、Evaluation Warning: The document was created with Spire.Doc for .NET.ZXG10-SC（V3.0）短消息中心心故障应急指指导书深圳市中兴兴通讯股股份有限限公司ZXG100-SCC（V33.0）短消息中心心故障应急指指导书本资料著作作权属深深圳市中中兴通讯讯股份有有限公司司所有。未未经著作作权人书书面许可可，任何何单位或或个人不不得以任任何方式式摘录、复复制或翻翻译。侵权必究。Copyrrighht 20002 ZTEE Coorpoorattionn Shhenzzhenn P. R. ChhinaaAll rrighhts

2、resservved.No paart of thiis ddocuumenntattionn maay bbe eexceerptted, reeprooducced, trransslatted, annnottateed oor ddupllicaatedd, iin aany forrm oor bby aany meaans witthouut tthe priior wriitteen ppermmisssionn off ZTTE CCorpporaatioon.策 划 移动用用服部编 著 朱权力力责任编辑 江月月军* * * *深圳市中兴兴通讯股股份有限限公司地址：深圳圳市高新

3、新技术产产业园科科技南路路中兴通通讯大厦厦客户支持中中心热线线：（+867755）2677708800 8000-8300-11118传真：（+867755）2677708801E-maiil：网址：邮编：51180557* * * *版次：20002年年12月月第1版版前 言声明：由于于产品和和技术的的不断更更新、完完善，本本资料中中的内容容可能与与实际产产品不完完全相符符，敬请请谅解。如如需查询询产品的的更新情情况，请请联系当当地办事事处。PAGE ii目 录TOC o 1-3 h z HYPERLINK l _Toc28762491 1 概述 PAGEREF _Toc28762491 h

4、 2 HYPERLINK l _Toc28762492 1.1 目目的 PAGEREF _Toc28762492 h 2 HYPERLINK l _Toc28762493 1.2 使使用对象象 PAGEREF _Toc28762493 h 2 HYPERLINK l _Toc28762494 1.3 适适用场合合 PAGEREF _Toc28762494 h 2 HYPERLINK l _Toc28762495 2 设备故故障预防防措施 PAGEREF _Toc28762495 h 3 HYPERLINK l _Toc28762496 2.1 设设备巡检检 PAGEREF _Toc287624

5、96 h 3 HYPERLINK l _Toc28762497 2.2 数数据备份份 PAGEREF _Toc28762497 h 3 HYPERLINK l _Toc28762498 3 应急处处理流程程说明 PAGEREF _Toc28762498 h 4 HYPERLINK l _Toc28762499 4 系统掉掉电的应应急处理理 PAGEREF _Toc28762499 h 6 HYPERLINK l _Toc28762500 5 硬件故故障应急急处理 PAGEREF _Toc28762500 h 7 HYPERLINK l _Toc28762501 6 软件故故障的应应急处理理 P

6、AGEREF _Toc28762501 h 8 HYPERLINK l _Toc28762502 6.1 系系统监控控 PAGEREF _Toc28762502 h 8 HYPERLINK l _Toc28762503 6.2 系系统测试试 PAGEREF _Toc28762503 h 8 HYPERLINK l _Toc28762504 6.3 系系统拥塞塞的应急急处理 PAGEREF _Toc28762504 h 8 HYPERLINK l _Toc28762505 6.3.11 减少少系统的的负荷 PAGEREF _Toc28762505 h 8 HYPERLINK l _Toc2876

7、2506 6.3.22 操作作引起的的故障 PAGEREF _Toc28762506 h 9 HYPERLINK l _Toc28762507 6.4 网网络风暴暴或恶意意攻击应应急处理理 PAGEREF _Toc28762507 h 9 HYPERLINK l _Toc28762508 6.4.11 网络络风暴的的判断 PAGEREF _Toc28762508 h 10 HYPERLINK l _Toc28762509 6.4.22 网络络风暴应应急处理理 PAGEREF _Toc28762509 h 10 HYPERLINK l _Toc28762510 7 节日应应急处理理 PAGERE

8、F _Toc28762510 h 11 HYPERLINK l _Toc28762511 8 附件一一紧急维维护记录录 PAGEREF _Toc28762511 h 13 HYPERLINK l _Toc28762512 9 附件二二重试配配置 PAGEREF _Toc28762512 h 14PAGE 1PAGE 29概述目的ZXG100-SCC（V33.0）故故障应急急处理指指导书，是是针对中中兴通讯讯网上短短消息设设备在运运行过程程中或者者操作过过程中可可能出现现的紧急急问题，如如告警异异常、CCPU占占用过高高、瘫机机、系统统功能异异常、大大话务量量等而制制定的操操作指导导，其目目的是

9、在在设备发发生故障障时，提提供紧急急维护的的手段，以以便快速速恢复业业务，从从而把损损失和影影响降低低到最低低程度。使用对象中兴通讯ZZXG110-SSC（VV3.00）维护护工程师师适用场合设备运行过过程中出出现重大大故障。操作设备（如如扩容、升升级等）过过程中出出现重大大故障。设备故障预预防措施施设备巡检要求定期对对设备进进行巡检检，了解解设备的的运行情情况，特特别注意意告警、性性能统计计等是否否有异常常现象，主主要检查查内容概概要如下下，具体体的检查查项目请请见附件件ZXXG100-SCC日常检检查手册册1告警警箱2前台台交换机机检查3业务务处理机机检查4SMMPP AGEENT检检查5

10、计费费服务器器检查61229服务务器检查查7信息息台实体体检查8催缴缴费台检检查9人工工台检查查10排排队机检检查11CCTI SERRVERR服务器器检查12排排队机1129服服务器检检查13语语音信箱箱功能检检查数据备份备份系统是是为了防防止意外外情况发发生，ZZXG110-SSC维护护工程师师一定要要有良好好的备份份习惯。备备份一定定要全面面，作好好标识，由由专人保保管。要要保证有有2份以上上完全同同样的备备份保存存，建议议备份到到硬盘，有有条件还还可以备备份到MMO，不不能备份份在同一一台计算算机里。备份方式：1最小小备份：进入基基本配置置管理和和SC配配置管理理，进行行业务的的最小备

11、备份。2业务务备份：将ZXXG100-SCC系统的的运行文文件和接接口进行行备份。3最大大备份：将操作作系统和和数据库库进行完完全备份份。应急处理流流程说明明故障发生后后，请第第一时间间上报给给中兴公公司ZXXG100-SCC维护工工程师。在在中兴公公司工程程师指导导下或者者根据以以下流程程完成系系统应急急处理。短消息设备备应急流流程说明明如下：1短消消息系统统工作环环境较复复杂，涉及IIW/GG网关、短短消息中中心、网网络设备备等，分分布区域域较大，因因为异常常原因引引起掉电电的可能能性较大大，因此此在短消消息系统统出现故故障时，应首先先关注电电源问题题。如果发生大大规模的的电源故故障，请请

12、尽快将将所有的的磁盘阵阵列、服服务器、交交换机等等设备的的电源依依次关闭闭。等待待电源供供电稳定定后重新新开电，开开电顺序序和关电电顺序相相反。2网络络设备的的正常工工作是短短消息系系统稳定定运行的的保证，可以使使用PIING命命令检查查各计算算机、排排队机MMP板、短短信网关关MP等等是否能能连通，保保证基本本的网络络环境正正常。常常见的原原因如：网线松松动、网网线断、网网络交换换机掉电电等硬件件故障和和配置改改动等软软件故障障。如果出现短短信中心心所有的的设备网网络都不不正常的的情况，请请检查网网络中的的HUBB等设备备。如果故障出出现在某某个模块块，检查查该模块块的网络络配置情情况。3短

13、消消息网关关或排队队机的MMP出现现不正常常时，可可能会影影响短信信业务，此此时可以以采取数数据同步步、复位位网关MMP、复复位机架架等进行行尝试。故障若出现现在前台台时，请请在前台台交换机机的前面面观察MMP和其其他单板板上的各各个指示示灯的运运行情况况，若MMP和其其他单板板通过反反复复位位都无法法启动时时，请尽尽快更换换MP，或或加显卡卡进行故故障的定定位。4业务务处理机机是否运运行正常常，可以以通过维维护终端端进行监监视，如如果有问问题可以以采取复复位业务务处理机机等来尝尝试解决决，如果果不能恢恢复，请请观察业业务处理理机的上上电调试试信息，观观察数据据库是否否破坏或或接口改改变和客客

14、户端连连接协议议改变等等如果数据库库损坏，倒倒换双机机或在其其他服务务器上建建立对应应的数据据库，然然后在SSC配置置和本地地配置中中将参数数指向相相应的节节点和数数据库。5如果果出现计计费问题题，请先先进行判判断是否否为短信信中心问问题、传传输问题题、计费费中心问问题等，然然后进行行有关处处理。如果为短信信中心问问题请观观察1330上的的业务程程序是否否启动、分分解程序序是否启启动、1140等等业务处处理机上上的BIIL目录录下是否否产生了了积压文文件等。出现问题，可可以查看看告警箱箱有无告告警，如如有告警警，可以以在短信信中心或或排队机机的应用用服务器器或维护护台上的的故障管管理系统统中查

15、看看有关告告警记录录信息，然然后做出出响应的的处理。6上面面的方法法如果不不能解决决现场故故障，请请与中兴兴公司ZZXG110-SSC维护护工程师师或者中中兴公司司移动用用服部联联系。备注：在故故障管理理系统中中告警信信息，可可以知道道当前告告警的具具体信息息，如设设备单板板故障、网网络链路路故障、77号链路路故障等等，比较较方便现现场及时时定位问问题原因因。系统掉电的的应急处处理需要的注意意点：系系统在掉掉电瘫痪痪后，不不能马上上重启，必必须查明明事故原原因，以以防止电电源短路路等更严严重的后后果发生生。重启步骤：检查系统掉掉电原因因并确认认系统是是否允许许重启。检检查交换换机、服服务器、小

16、小型机等等关键硬硬件设备备是否全全部掉电电，如果果有个别别机器没没有掉电电，那么么就应该该全部将将还在运运行的软软件退出出。在检检查工作作完成之之后，开开始上电电启动短短消息及及其业务务系统。1交换换机上电电，观察察没有问问题的情情况下，进进行系统统加载。2上电电短消息息中心各各服务器器或小型型机等主主机的磁磁盘阵列列或磁带带机等外外设。3上电电启动短短消息中中心各服服务器或或小型机机等主机机设备，启启动操作作系统。4启动动短消息息中心应应用程序序。请根根据ZXXG100-SCC操作维维护说明明来进行行。5进行行点对点点短消息息测试，确确认短消消息中心心系统运运行已经经恢复正正常。注意：对于于

17、双机系系统，如如果带有有磁阵，请请先启动动磁阵，然然后在启启动主机机，再启启动备机机（主备备机不要要同时重重起）。硬件故障应应急处理理短信网关和和排队交交换机出出现硬件件故障，排排查起来来比较容容易，并并且上述述设备的的关键单单板硬件件都配置置成主备备方式，一一旦出现现故障，在在坏板没没有及时时替换之之前，系系统基本本还能够够正常运运行。然而，有些些单板与与对端局局相连，出出现硬件件故障后后将会对对系统造造成不同同程度的的影响，但但是这在在系统配配置中是是可以补补救的。如如在系统统配置和和工程安安装中，考考虑到与与中继相相关联单单板的可可靠性，对对于每个个局向可可以采取取负荷分分担的两两条链路

18、路和两个个中继路路由。另外，对于于处理77号信令令板，在在配置中中肯定是是负荷分分担的，如如果有一一块单板板出现硬硬件故障障，可以以马上将将损坏单单板需处处理信令令的链路路，通过过有关数数据管理理台的数数据配置置到其它它好的信信令板上上，保证证系统仍仍然安全全运行。目前ZXGG10-SC在在前台交交换机配配置上通通常采用用64KK中心机机架组网网和8KK外围模模块组网网两种方方式，在在这两种种方式下下，设备备1、22号模块块MP主主要承担担消息交交换和OOMC功功能，因因此必须须确保11、2号号模块的的正常。在极端情况况下，如如果1或或2号模模块的左左右MPP同时出出现故障障无法正正常启动动的

19、情况况，则必必须从其其他模块块MP上上拔下一一块MPP，将其其C:DATTAVV01000、CC:DDATAATEEMP两两个目录录下的文文件删除除，然后后将MPP主板上上的模块块跳线跳跳到1或或者2号号模块的的位置，重重新插到到1或者者2号模模块位置置，最后后重起重重传3次次数据。如果正在运运行中上上述业务务平台出出现硬件件故障，就就应该采采取相应应的补救救措施，以以保证系系统尽快快恢复运运行。如果工程中中配置有有备用机机器，那那么在安安装的过过程中必必须将该该硬件也也安装起起来，并并且与主主用机器器安装配配置成双双机系统统，这样样在主用用机器硬硬件出现现故障时时，马上上启动备备用机器器进行

20、接接管，保保证系统统运行不不受影响响。如果工程中中没有配配置有备备用机器器，一但但出现故故障，应应该紧急急找出一一台计算算机进行行恢复安安装，使使系统尽尽快恢复复。有关关业务模模块的安安装请参参照ZXXG100-SCC短消息息中心安安装手册册来进行行安装调调试。软件故障的的应急处处理系统业务软软件的应应急处理理是建立立在良好好的日常常维护和和备份的的基础之之上的，因因此在系系统的运运行中，需需要作好好备份工工作。系统监控在节假日尤尤其是春春节期间间，短消消息使用用一般会会是平时时运行的的好几倍倍，所以以在这期期间，定定期对系系统进行行检查，可可以及早早发现系系统是否否出现拥拥塞等问问题。在在节

21、假日日对短消消息中心心系统维维护，建建议每11个小时时左右就就进行一一次系统统的监控控，春节节除夕晚晚上建议议半小时时进行一一次系统统的监控控。监控控的对象象主要是是：1短消消息中心心当前的的处理消消息数，注注意是否否已经接接近系统统设计的的最大容容量。2短消消息中心心所在机机器的系系统资源源，跟踪踪系统占占用资源源是否已已经接近近系统设设计的最最大容量量。3数据据库/话话单文件件等是否否还有足足够空间间和资源源。4当前前的告警警有无任任何负荷荷告警等等。系统测试在节假日对对短消息息中心系系统维护护，建议议每1个个小时左左右就进进行一次次系统的的测试，春春节除夕夕晚上建建议每半半小时进进行一次

22、次系统的的测试。测测试的方方法主要要是：1进行行本局之之内点对对点的短短消息的的发送，注注意观察察短消息息是否能能成功的的提交和和接收、以以及整个个短消息息过程的的时延情情况。2进行行本省之之内点对对点的短短消息的的发送，注注意观察察短消息息是否能能成功的的提交和和接收、以以及整个个短消息息过程的的时延情情况。3进行行省间点点对点短短消息的的发送，注注意观察察短消息息是否能能成功的的提交和和接收、以以及整个个短消息息过程的的时延情情况。4针对对各个局局所开展展的不同同的短消消息业务务，进行行相应的的业务短短消息的的测试，注注意观察察短消息息是否能能成功的的提交和和接收、以以及整个个短消息息过程

23、的的时延情情况。系统拥塞的的应急处处理减少系统的的负荷在节假日话话务量增增大的情情况下，我我们短消消息中心心有一套套限制流流量、自自我保护护的机制制。这主主要是通通过对短短信系统统的安全全变量的的参数进进行设置置实现。当当业务量量增大并并超过某某个门限限值时，系系统将会会产生不不同级别别（16级）的的告警，同同时系统统将按不不同级别别告警对对当前短短消息业业务进行行不同级级别的丢丢包限制制处理，以以保证系系统能正正常运行行。如果果再加上上适当的的人工调调节，将将使短信信系统运运行更加加稳定可可靠，使使有限的的业务处处理能力力得到更更加合理理的利用用。同时在监控控的过程程中如果果发现已已经出现现

24、业务量量不断增增大、短短消息中中心开始始拥塞、资资源快占占用尽的的情况，局局方维测测人员应应该采取取一定的的应急措措施，以以确保短短讯中心心的安全全：1停止止全用户户广播、112588群发送送及18860大大客户终终端业务务。2不要要使用性性能统计计中的实实时观察察、信令令跟踪、探探针、系系统监测测、业务务观察等等。3注意意限制有有关SMME的业业务流量量，防止止个别SSME超超量发送送业务而而造成拥拥塞。4如果果发现数数据库、话话单文件件等的资资源不够够，譬如如分配的的硬盘空空间已经经耗尽的的情况，可可以将系系统中早早期的数数据库历历史表、话话单文件件等备份份到其他他的机器器上，腾腾出硬盘盘

25、空间。5在业业务量非非常大出出现高级级别的告告警时，可可以根据据当前告告警级别别对短信信系统的的各种业业务进行行适当的的调节：（1）关关闭欢迎迎短信业业务。（2）通通知各SSME（如如网关等等），进进行流量量限制。（3）取取消未知知错误和和MS接接收错误误引起的的重发设设置。（4）取取消因系系统错误误引起的的重发设设置。（5）取取消因内内存溢出出引起的的重发设设置，将将结束动动作有停停止改为为丢弃。（6）取取消因缺缺席原因因（含关关机和不不在服务务区）引引起的重重发设置置，将结结束动作作由停止止改为丢丢弃。备注：当话话务量开开始降低低时，再再对上述述各项依依次恢复复。6如果果发现短短消息中中心

26、资源源不够，进进行上述述处理后后如果还还不能解解决，就就重启短短消息中中心业务务处理机机系统，如如问题仍仍然存在在，请与与ZXGG10-SC技技术人员员联系。操作引起的的故障在系统维护护过程中中，如果果需要改改变配置置，建议议在改变变参数之之前先进进行配置置的备份份，防止止修改配配置后引引起的系系统业务务中断。如果修改配配置后引引起业务务中断，请请将配置置恢复到到维护操操作之前前的配置置，然后后执行数数据的同同步。网络风暴或或恶意攻攻击应急急处理短消息产品品系统网网络组网网复杂，内内部系统统之间需需要保证证网络的的通畅，同同时还可可能直接接和外部部的SMME等实实体连接接。因此此网络干干扰可能

27、能发生。网络风暴的的判断短消息中心心在遇到到网络风风暴或者者恶意攻攻击时，主主要表现现为以下下几种征征兆：CPU负荷荷指标居居高不下下：通常常在网络络风暴或或者攻击击出现时时，各个个服务器器上的CCPU值值会出现现居高不不下的现现象。对对于短消消息中心心的前台台交换机机和业务务处理机机等设备备运行的的主要功功能实体体，可能能出现程程序保护护的反复复重新启启动现象象。内存负荷指指标居高高，计算算机系统统人机对对话响应应缓慢：通常在在网络风风暴或者者攻击出出现时，由由于CPPU或内内存耗用用较多，因因此出现现系统响响应缓慢慢现象。前台日志分分析：在在网络风风暴出现现时，前前台交换换机会将将收到的的

28、网络包包（以太太）的数数量记录录，请将将MP日日志导出出分析。通通常两次次统计值值之差到到达了660000个包以以上，即即可能对对系统构构成危害害。* Innterrruppt TTaskk Maany Runn *Date: 20002-12-27 11:17:44Modulle: 2Posittionn: RRighht(DDownn)Statee: SSlavveUB: 229966, 9999, 4000, 3988, 4400, 3997, 2722, 337CPU: 66Task Namme: ne22ReccePhasee Naame: 0Phasee Deepetth: 255

29、5Last Runn Coountt: 1123336688#上次次运行记记录Curreent Runn Coountt: 1130116277#当前前运行记记录网络风暴应应急处理理网络风暴出出现时，视视对系统统的影响响程序进进行处理理，如果果影响系系统的基基本业务务，请断断开短消消息中心心和所有有外接实实体之间间的物理理连接，然然后逐步步将外部部实体接接入到短短消息中中心，观观察5分分钟以上上后无误误后，再再进行后后面实体体的连接接，以查查找故障障源头。对于暂没有有影响系系统的风风暴故障障，请采采用了一一些网络络分析工工具查找找故障源源头。节日应急处处理由于短消息息在节假假日具有有爆发性性的

30、特点点，因此此拟订节节日应急急流程。1平时时忙时话话务量统统计、节节日话务务量预计计根据20002春节节的统计计，短消消息业务务在春节节晚上111：000到初初一凌晨晨1：000左右右话务量量为平时时的约33-155倍，峰峰值流量量约为平平时的220倍以以上，因因此必须须通过性性能统计计做好平平时话务务统计，并并估计节节日时的的消息流流量，对对于节日日流量可可能大于于系统设设计容量量的设备备，进行行系统的的扩容。节假日短信信业务的的另一个个特点是是，点对对点发送送成功率率要求高高，ESSME发发送可靠靠性相对对较低。2平时时忙时话话务量设设备情况况分析由于短消息息的业务务对各种种设备的的运行条

31、条件需求求较高，因因此在节节日之间间，对各各种设备备参数进进行详细细的参数数记录。对对于各种种垃圾数数据和可可能影响响系统运运行效率率的数据据考虑进进行清理理。3控制制措施（1）取取消全用用户广播播、大客客户终端端、催缴缴费发送送任务，改改在业务务闲时进进行。在全用户广广播、大大客户终终端、催催缴费等等应用程程序中停停止或者者取消消消息的发发送，将将消息的的任务时时间定义义在节日日高峰流流量之后后。（2）限限制个别别SMEE的消息息流量，甚甚至在系系统负荷荷重时拒拒绝其提提交消息息到SCC在SC配置置管理系系统中，首首先进行行系统的的备份，然然后进入入SMEE配置，设设置允许许某个SSME能能

32、够提交交的消息息速率，然然后执行行同步，系系统即开开始限制制个别SSME的的流量。在节日高峰峰完成后后直接恢恢复回备备份配置置即可。（3）取取消所有有消息的的重式方方式在节日，为为了迎接接话务高高峰，确确保点对对点业务务，可以以在系统统检测到到流量到到达了平平时流量量的约33倍时，取取消系统统的重式式方式，避避免重式式引起的的话务增增加。执行方法是是在短消消息SCC配置管管理中，首首先备份份当前的的系统配配置，然然后在RRSM中中增加一一种重试试方式（假假定为110），该该重试方方式为间间隔1秒秒重试00次，结结束动作作为丢弃弃。然后在用户户配置中中检查各各种配置置标识，将将各种下下发失败败的

33、重试试都改变变为100，之后后同步系系统，即即取消了了所有的的重试。在节日话务务高峰过过后，直直接将备备份的数数据倒换换回备份份的配置置即可恢恢复正常常的运行行。关于正常情情况下的的重试方方式配置置请参见见附件文文档。（4）取取消所有有用户的的状态报报告发送送要求在节假日，为为了避免免出现话话务拥塞塞，在系系统检测测到流量量到达了了平时流流量的约约3倍时时，即可可以由系系统取消消对点对对点发送送状态报报告的取取消。4极端端措施（1）清清除业务务处理机机数据库库中的各各个表在大话务量量高峰，或或者由于于其他原原因导致致了业务务处理机机负荷过过重或者者系统故故障，请请直接采采用TRRUNCCATE

34、E命令删删除短消消息中的的MSDDESTT、SHHORTTMSGG、SHHORTTMSGG_TIIMINNG表。1）对于于SQLL数据库库的系统统，每个个节点对对应以下下3类表表：mssdesst，shoortmmsg（000-0311），sshorrtmssg_ttimiing。2）对OORACCLE的的系统，每每个节点点对应以以下3类类表（00表示1140模模块、11表示为为1411）：mmsdeest_0，sshorrtmssg_00，shhorttmsgg_tiiminng_00。（2）重重新启动动业务处处理机将业务处理理机重新新启动，观观察负荷荷或者故故障现象象是否消消息（3）倒倒换业务务处理机机将业务处理理机或者者后台数数据库故故障不能能在短消消息间内内恢复的的情况下下，请倒倒换数据据库进行行业务恢恢复。（4）重重建业务务处理机机数据库库在倒换业务务处理机机后台数数据库无无效（SSQL/ORAACLEE数据库库系统故故障、磁磁阵损害害）等情情况下，请请重新建建立业务务处理机机后台数数据库，可可以选择择在本地地或者其其他节点点（1660等）上上建立后后台数据据库，并并在1229上SSC配置置中将1140或或者1441