交换机紧急处理流程20060117

1、交换机紧急故障处理一. 核心网元发生下列故障属于紧急（重大）故障：A类：核心网元通信全阻；B类：核心网元至某一局向中继（信令）全阻或以上故障；C类：核心网元重要设备（模块）出现单边工作或以上故障。（核心网元重要设备或模块列表详见下表）核心网元重要设备（模块）列表设备厂商中兴MP、MPMP、MPPP、DSN、DSNI、MAP处理机、DB服务器、计费服务器华为MPU、SYS、NET、NDR、PMC、IOC、BAM、OPT、FBI、CTN、BNET、CKS、SNT、MCC、BAU、VLR、CKD、FSN、BAC、AMP、CDP、BCP、CNU、BDR、NCC、QSI、MHI、SPC、VDP、BCC摩

2、托罗拉BSP, GCLK, KSW, KSWX，GCLKX，GPROC2，LAN及相应的连接光纤西门子CP(CP113C、CP113E)、SSNC(CCNC)、MB(MBB、MBD)、SN(SSG、TSG)、CCG爱立信CP、IOG、GSS、选组级（SPM、TSM、CLM）传输设备时钟板、电源板、交叉板二. 紧急（重大）故障处理及上报要求一、 紧急（重大）故障处理流程1、紧急（重大）故障发生后，当地运行维护部门与班组必须立即采取必要措施，保证系统运行和通信电路及早恢复，避免事故扩大。2、紧急（重大）故障发生后，当地运行维护部门与班组应立即填写故障报告单。对于A类紧急（重大）故障，应在故障发生后

3、20分钟内上报省公司网络部。3、紧急（重大）故障发生后，当地运行维护部门与班组应立即查清原因，确定故障性质和责任，落实今后的防范措施。紧急（重大）故障处理流程见下图：紧急（重大）故障发生应急处理人员到现场处理相关厂商技术支持工程师到现场处理省公司网络部采取紧急措施恢复系统故障恢复故障处理报告分析故障原因，制定防范措施紧急（重大）故障处理流程图二、 紧急（重大）故障上报要求1、A类紧急（重大）故障，应在故障发生后20分钟内上报省公司网络部。2、B类紧急（重大）故障，如故障未解决，应在故障发生后90分钟内上报省公司网络部。3、C类紧急（重大）故障，如故障未解决，应在故障发生后3小时内上报省公司网络

4、部。4、紧急（重大）故障解决后，当事班组应填写故障处理单，向省公司网络部汇报。5、对于A类紧急（重大）故障，应在故障解决后将整个故障的情况以书面报告的形式在24小时内上报省公司网络部。6、省公司网络部24小时值班电话：几个典型的故障处理流程1. MSC的CP负荷过高处理流程2. MSC或BSC CP FAULT的处理(硬件故障)3. MSC或BSC CP Stoppage无法恢复至正常状态处理4. MSC或BSC IOG故障处理5. 计费文件导致交换机通信中断处理6. PCU故障处理1. MSC的CP负荷过高处理流程注意不要关闭统计,以便分析春节各项指标.值班人员发现交换机CP负荷>=9

5、5%是继续密切关注CP负荷否是继续密切关注CP负荷减小MSC ATTACH时间,提高手机切换电平观察CP负荷是否降到95%以下关闭鉴权:MGEPC:PROP=AUTHENTICLAI-0;观察CP负荷是否下降到降到95%以下否闭掉部分高话务基站，直至负荷稳定在95%之下2. MSC或BSC CP FAULT的处理(硬件故障) 1. CP FAULT 分类 永久性错误(Permanent) 电路或器件引起,Updating不能恢复 临时性错误(Temparary) 由静电干扰引起,Updating可恢复 2. 对CP Fault的处理 REPCI;检测CP故障,按可能性列出框和板 REMCI:M

6、AG= ,PCB= ;参数由上面得到,可得出处理流程 <关电,换板等处理> RECCI;检查处理结果,不好重复REMCI REPCE;在上面的操作中想中间退出3. MSC或BSC CP Stoppage无法恢复至正常状态 1. 产生原因 *循环 Restart/Reload *两侧CP坏 *两测POW坏 2. 处理 OPI " System Start/Restart, Manually, Initiate " (1)按PHC (2)OPI "SYSTEM RESTART" IO命令RESTART或RELOAD <SYREI:RANK=

7、; CPT命令RESTART <PTSRI :RANK= ; APZ212 CPT命令RELOAD <PTCPL:CS=1(CPA)/4(CPB) ,RP= ,FILE= ; APZ2124.IOG故障处理* IOG与CP失去通信处理*IOG 系统启动 如果IOG 软件错误、文件错误导致IOG宕机,或者硬盘故障不能通过指令修复时，需用系统小启动解决。具体操作步骤见：OPI“SPG,START”.5. 计费文件导致交换机通信中断处理(1)广元MSCA计费文件导致通信中断处理广元MSCA配置为SPG0+SPG1的双备份结构，平时SPG0负责I/O输入输出、STS统计、CP系统备份管理，

8、SPG1负责计费输出。SPG0可以执行计费功能已备紧急情况使用计费拥塞通常会因为计费信息无法写入硬盘而导致话务中断，为防止因计费TTFILE拥塞、吊死等异常问题造成话务中断的紧急情况发生，首先必须保证在SPG0和SPG1上都各自有2个计费主文件可以备用,并且相关数据定义完善必须检查保证在每个spg上定义2个计费文件，文件号可以在00-03之间选择,相关数据准备完善(具体参考附件),以备紧急使用,减少此类话务中断造成的损失.在紧急情况下,如出现计费拥塞引起话务阻断，（伴随会立即有”common charging output congestion”或” infinite file end war

9、ning”告警出现可根据告警信息查相关ALEX的OPI来处理.）一般可可根据实际情况决定参照以下步骤打开另一个文件:例如某交换机正常情况下用SPG1作计费输出TTFILE00,某日发现电话全阻，且交换机出现告警infinite file end warning同时还出现功能块CHOF的SAE 500拥塞告警，此时应立即恢复交换机话务该交换机在SPG0 上已定义了TTFILE01并且数据定义正确检查sae:saaep:sae=500,block=chof;检查CDR当前输出到哪一个计费文件:chofp:fn=tt;（状态为”open”则为当前使用的TTFILE，但是若IOG出现异常则有可能所有文

10、件都为close或unknown”状态）打开另一个计费文件,如TTFILE01:chofi:fn=tt,fileid=01; !report to chofp!Chofp:fn=tt;（验证TTFILE01已经打开）发现TTFILE01状态为OPEN, 同时话务恢复正常!chobe:fn=tt,fileid=01; （若需解闭TTFILE用此命令）检查子文件是否生成:INMCT:SPG=X;INFIP:FILE=TTFILE01;INFIP:FILE=TTFILE01-XXXX（检查当前子文件长度是否在增加）END;同时在对FPU的检查中，我们建议：DEST应该按照标准定义，即只定义CHARG

11、ING00&GYG1FTAM.总之，对于计费中断引起交换机话务阻塞的问题，通常有几种原因：SPG1因软件吊死或硬件原因导致计费无法写入，计费缓冲区会很快溢出，话务随即中断硬盘上有未删除的旧TTFILE子文件存在，导致计费文件不能创建，同样引起计费阻塞和话务中断硬盘计费 用的卷（VOLUME）因太多文件存在而导致硬盘空间溢出，计费文件无法写入导致话务中断(2) MSC2 紧急情况下的计费处理按照爱立信的标准配置，AP2配置为计费节点，AP1配置为O&M和STS的节点。当AP2发生紧急故障，并且不能处理计费时，我们需要将计费功能从AP2切换到AP1上，以避免计费拥塞导致的话务中断。

12、准备工作：检查计费相关SAE,并增加到合适值(建议NI=40000-50000)saaep:sae=500,block=chop; saaii:sae=500,ni=xxxxxx,block=chop;在激活AP1计费功能之前，先备份ACABIN CXC137440参数文件(在AP1上)：copy "c:program filesapacsconfcxc137440.par" c:temp以下4.14.5步骤，均在AP1的ACTIVE NODE执行：4.1 建立计费目录：copy "c:program filesapacsconfcxc137440.par&quo

13、t; c:temp4.2 建立BILLING虚拟目录（两个NODE）：ftpls vdls -n "Default FTP Site" vdcreate -n "Default FTP Site" -a Billing -d K:AESdatacdhftpBilling4.3 定义destinationcdhls -l cdhdef -t ftpv2 -c r -g yes -k yes -h Billing Billing cdhls -p Billing4.3 定义destination Setcdhdsls -l cdhdsdef Billing

14、Billing4.3 定义transfer queues，删除条件为5天afpls -l afpdef -d 7200 -n TTFILE. -g FyyyymmddHHMMSSpppp -j local RTRFILES Billing afpls -a RTRFILES Billing4.4 检查message store缓存大小：phaprint -t ACS_ACABIN_MessageStoresNote：第四个参数为message store缓存的大小4.5 修改RTR的缺省参数：rtrls -d rtrch -a 2048 -d FIXED -e 60 -g 0 -h 2048

15、-j 900 -k 00:00 -l NO -n 2048 -o 0 SET DEFAULT rtrlsNote：n 参数，是文件record长度，必须等于或大于message store 缓存的大小激活AP1计费功能以下步骤在AP1的ACTIVE NODE执行：4.6 关闭 MSD/RTR service:cluster res ACS_RTR_service /off /wait cluster res ACS_MSD_service /off /wait4.7 修改MSD/RTR的StartupParameters参数从CHSTEMP>CHS：cluster res ACS_MSD

16、_service /priv StartupParameters="-name CHS -site cp0ex" cluster res ACS_RTR_service /priv StartupParameters="-name CHS -site cp0ex"4.8 Soft Function Change ACABIN (CXC 137440/4) parameter file CXC137440.par:Note:参数ACS_ACABIN_MessageStores更改message store name,从"CHSTEMP"

17、 为 "CHS"sfcexec sfcstate sfcend以下为示例,供参考:C:>sfcexec Soft Function Change Session NOTE: The session can be aborted at any time before switch to the new system has been ordered. Press Ctrl+C and ENTER to abort. Following resources are in state offline: NO RESOURCE 1 ACS_MSD_service 2 ACS_

18、RTR_service Press ENTER if you don''''''''t want to start any of these resources or enter one or more numbers for the resources that you want to start or enter a(ll) if you want to start all resources. : <= (Just press enter here) Would you like to copy parameter f

19、iles from disk? y(es)/n(o):n Would you like to edit parameter files? y(es)/n(o):y Choose one of the packages to upgrade parameters in: NO CXCNUMBER MODULENAME REVISION CNI 1 CXC1371035 AVIRBIN R1E APZ21220/5-1086 2 CXC1371036 RTRBIN R3B APZ21220/5-1083 3 CXC137440 ACABIN R5G APZ21220/5-844 4 CXC1371

20、014 SSHSERVBIN R3D APZ21220/5-1048 5 CXC1371042 CDHADMBIN R5A APZ21220/5-1126 6 CXC1371045 GCCAPIBIN R2B APZ21220/5-1009 7 CXC1371046 DBOADMBIN R2A 8 CXC1371020 CPFADMBIN R4A 9 CXC137451 FCCAPIBIN R6A APZ21220/5-839 10 CXC137460 CPTASPBIN R4E APZ 21240/2-57 11 CXC1371002 ALDABIN R1B 12 CXC1371004 AL

21、ISADMBIN R2A 13 CXC137418 MMLAPIBIN R4C 14 CXC137425 AISAPIBIN R3B APZ21220/5-1034 15 CXC137429 MCCBIN R4B APZ21220/5-1075 16 CXC137430 MLSMMLBIN R4M 17 CXC137471 ADHADMBIN R2K 18 CXC137479 ALECADMBIN R1E 19 CXC1371029 CLHADMBIN R3C APZ21240/2-34 20 CXC137590 SGSBIN R1B 21 CXC137597 STSCBIN R4J Ente

22、r a number for the package to upgrade parameters in or enter ''''''''c(ontinue)'''''''' to continue soft function change session. :3 <= (Input ACABIN package number here) Parsing format file . Parsing parameter file . Parameter editi

23、ng session started. :list ACS_ACABIN_MSD_Home ACS_ACABIN_MessageStores ACS_PRCPRIO_PriorityTable :print ACS_ACABIN_MessageStores Category: Named Table Index: ACS_ACABIN_$1 string1, 15: "cp0ex" string1, 15: "CHSTEMP" unsignedShortInt: 6000 unsignedShortInt: 4096 unsignedShortInt1,

24、 2048: 40 unsignedShortInt1, 32: 8 unsignedShortInt1, 32: 32 unsignedShortInt1, 100: 25 unsignedShortInt0, 255: 48 unsignedShortInt0, 3600: 240 unsignedShortInt0, 60: 10 unsignedShortInt0, 1440: 0 string2, 3: "Yes" string2, 2: "A2" string0, 63: "Q:ACSData" :edit ACS_ACA

25、BIN_MessageStores Category: Named Table Index: ACS_ACABIN_$1 string1, 15 ("cp0ex"): string1, 15 ("CHSTEMP"):CHS <=Press enter to CHSTEMP, input CHS unsignedShortInt (6000): unsignedShortInt (4096): unsignedShortInt1, 2048 (40): unsignedShortInt1, 32 (8): unsignedShortInt1, 32

26、(32): unsignedShortInt1, 100 (25): unsignedShortInt0, 255 (48): unsignedShortInt0, 3600 (240): unsignedShortInt0, 60 (10): unsignedShortInt0, 1440 (0): string2, 3 ("Yes"): string2, 2 ("A2"): string0, 63 ("Q:ACSData"): :END Parameters updated Exiting . Would you like to

27、edit more parameter files? y(es)/n(o)?:n System upgrade performed. Would you like to switch to the new system, thereby starting the supervision period? (No will abort and restore the system.) y(es)/n(o)?:y Parameter tables generated. No errors found. Change of parameter(s) succeeded, supervision per

28、iod has started. Execute sfcend when supervision period is over. C:>sfcstate State is ''''''''Supervision'''''''' C:>sfcend Soft function change session has ended.4.9 激活resource:cluster res ACS_MSD_service /on /wait cluster res AC

29、S_RTR_service /on /wait4.10 定义RTRrtrdef -a RTRFILES CHS cp0ex4.11 打印message store,现在CDR计费文件开始输出到AP1:msdls4.12 等待15分钟计费文件产生:afpls -l -s RTRFILES至此,计费功能已经成功切换到AP1上!当AP2恢复后,将计费功能切换回AP2AP2恢复后,检查所有的resource online,以下步骤在AP1的ACTIVE NODE执行：4.13 在CP侧，关闭计费接口：mml saaep:sae=500,block=chop; saaii:sae=500,ni=xxxx

30、xx,block=chop; chope; chopp; exit;4.14 . 关闭 MSD/RTR service ，在 active node: cluster res ACS_RTR_service /off /wait cluster res ACS_MSD_service /off /wait 4.15. 修改 MSD/RTR StartupParameters 为 CHSTEMP. cluster res ACS_MSD_service /priv StartupParameters="-name CHSTEMP -site cp0ex" cluster re

31、s ACS_RTR_service /priv StartupParameters="-name CHSTEMP -site cp0ex"4.16. Soft Function Change ACABIN (CXC 137440/4) parameter file CXC137440.par,修改message store name为"CHSTEMP":sfcexec sfcstate sfcend4.17激活 resources on-line: cluster res ACS_MSD_service /on /wait cluster res ACS

32、_RTR_service /on /wait 4.18 在CP 侧打开计费接口, 计费输出返回到 AP2 mml chopp; chopi; saaep:sae=500,block=chop; saadi:sae=500,ni=,block=chop; exit;4.19 在AP2上，检查计费文件产生：afpls -l -s RTRFILES拷贝计费文件从AP1到AP2以下步骤在AP2上执行：ftp (2)登录到AP1的执行NODEftp>cd billingready ftp>mget *.* ftp>bye6. PCU 故障处理* PCU阻断超过

33、120分钟为全网严重故障。GPRS故障的处理流程当GPRS出现故障时，首先应该联系爱立信设备厂家。然后请按以下步骤处理：一、当GB接口ABL状态时，BSC上直接闭解GB接口：删除GB接口数据：1. RRGBP;!仔细记录GB接口的数据(特别是DLCI)，以备后面使用2. RRVBI:NSVCI=；!闭塞GB接口3. RRNSE:NSVCI=；!删除NSVC4. RRNEE;!删除NSE重建GB接口数据：5. RRNEI:NSEI=;6. RRNSI:NSVCI=nsvci,DLCI=dlci,DEV=dev,NUMDEV=numdev;7. RRVBE:NSVCI= nsvci;8. RRGB

34、P;!检查GB接口状态。二、第一种方法不能够恢复的情况下，处理MSC侧的半永久连接：1. 在BSC侧先删除GB接口数据（方法一中的第一步到第四步）。2. 在MSC侧重建半永久连接，指令：· EXSCP:NAME=;!找到GB接口连接的半永久连接（一般有3个）!记录dev1和dev2对三个半永久连接做以下步骤：· EXSCE:NAME=,DEV=;!删除GB接口连接的半永久连接· EXSPI:NAME=;· EXSCI:NAME=;!调转dev1和dev2· EXSSI:DEV1=;!=dev2· EXSSI:DEV2=;!=dev1&

35、#183; EXSPE;· EXSCI:NAME=,DEV=;· EXSCP:NAME=;!半永久连接的状态应该恢复为ACTIVE3. 等待至少30分钟，系统更新。4. 在BSC侧做方法一中的第五步到第八步）。三、如果遇到GB接口状态ACTIVE，但是GPRS不能上网的情况：在BSC侧重定义小区GPRS功能：a. RLGRP:CELL=ALL; !如果有GPRS占用，参数PDCHTYPE对应的状态为：ONDSLAVEb. RLGSP:CELL=ALL;！记录开通GPRS的CELL，c. RLGSE:CELL=;d. RLGSI:CELL=;e. RLGSP:CELL=ALL

36、;f. RLGRP:CELL=ALL; !如果有GPRS占用，参数PDCHTYPE对应的状态为：ONDSLAVE四、如果方法三不能解决，则闭解控制GB接口的RP：在BSC侧做指令：RADRP:DEV=RTGPHDV-0&&255;!找出控制GB接口的RP（目前一般局有23个RP）对上述每个RP做以下步骤：EXRPP:RP=;FCRWS:RP=,WS=SEP;!分离RPEXRPP:RP=;！应为MS状态BLRPI:RP=;BLRPE:RP=;EXRPP:RP=;！应为WO状态，检查GPRS是否能上网。PCU重大安全事件应急处理流程图按照一般故障处理立即通知班长、应急小组应急小组及

37、相关人员处理故障同时上报维护中心领导及网管中心故障是否处理成功上报网管中心及网络部维护中心将处理结果报网管中心及网络部领导处理人员通知值班人员故障处理完毕值班人员填写相关记录是否是否值班人员发现告警填写值班记录是否重大故障请求爱立信工程师技术支持5、GPRS重大安全事件上报流程按照一般故障处理流程处理维护中心将处理结果报网管中心及网络部领导处理人员通知值班人员故障处理完毕是否值班人员发现告警填写值班记录是否重大故障严重故障班组填写故障报告，由主管领导填写意见，于故障发生后三天内向上报主管部门。24小时内向上级作书面报告立即通知班长、应急小组查清故障原因，确定故障性质和责任，落实今后防范措施应急

38、小组及相关人员处理故障同时上报维护中心领导及网管中心 二. 华为BSC故障处理1、华为重大安全事件应急处理流程Ø 任何问题处理之前，请先确认并反馈网络业务是否异常。Ø 初步确定问题原因。查看告警和分析话统指标有无异常，各单板指示灯是否正常；同时要了解事故的基本情况，如事故发生时间、有何告警信息、用户投诉范围等信息重大事故处理的求助手段：拨打华为支持热线，根据服务热线提供的信息，对问题远程登录，可直接电话指导解决问题；或直接要求维护专家直接到现场，进行现场技术支持。Ø 处理事故，迅速恢复系统业务。通过华为远程支持电话指导或华为现场支持，先大致判断问题影响面，尽量先在

39、机房处理问题，再考虑到基站近端处理问题，若不能迅速定位事故原因，为尽快恢复系统业务，则尝试进行复位和换板来解决问题(1)必要时四级复位或下电复位相关基站如果部分站点运行异常（例如指配失败率特别高）， 则进行站点四级复位。(2)必要时下电复位相关BM模块如果某个BM模块的呼叫业务受到影响（主要考虑主被叫，因为切换问题对用户的影响要小些。），且大范围内手机用户反映强烈，请考虑转换全部数据并下电加载该BM模块。如果影响比较小，是否立即复位，请现场根据具体情况再做决定；最迟当天晚上转换全部数据并下电加载该BM模块。(3)必要时下电复位整个BSC如果BSC的呼叫业务（主要考虑主被叫，因为切换问题对用户的

40、影响要小些。）受到影响，且每个模块都运行不太正常，请考虑转换全部数据并下电加载整个BSC。Ø 业务恢复后的监测与观察事故恢复后，请注意确认系统是否已正常运行。安排人员执守到话务高峰时段，确保如有问题第一时间处理解决确认拨打测试正常核查BSC单板指示灯等是否正常告警检查BSC维护台检查单板面板状态是否正常。时钟状态检查信令链路状态是否正常BTS维护台检查单板面板状态是否正常。查看信道状态核查占用情况是否正常。如果SDCCH占用特别多，而TCH占用非常少，则值得怀疑。如果一个TRX上的TCH信道，都是占用时间不超过30秒钟，则该基站（小区）值得怀疑。Ø 话统分析处理请核查各项统

41、计结果是否正常：核查CPU占用率是否正常。核查MTP链路性能测量各指标统计结果是否正常。 核查BSC整体性能测量关键指标统计结果是否异常。核查小区性能测量关键指标统计结果是否正常。2、华为BSS安全事件应急处理1） 个别或者部分基站（小区）运行异常的处理：用户投诉集中于部分区域；基站异常可能由于BSC相关的运行异常等导致的。处理步骤：l 是否与某一模块或某一传输有关l 通过基站维护台检查：查看信道状态、占用状态和单板是否正常。l 话统小区性能测量关键指标观测l 数据配置检查。检查项目有：数据配置的正确性；操作日志。l 核对远、近端基站维护台信道状态等是否一致l 必要时进行基站四级2） BSC单板工作异常对于重要单板，BSC已经考虑采用主备用工作方式，例如CKS、MPU、BNET、MCCM、CTN、SNT等，或者采用负荷分担方式（注意：只对业务进行负荷分担，对信令不能进行分担。），如OPT、FBI。一块E3M故