交换机紧急处理流程

交换机紧急故障处理一. 核心网元发生下列故障属于紧急（重大）故障：A类：核心网元通信全阻；B类：核心网元至某一局向中继（信令）全阻或以上故障；C类：核心网元重要设备（模块）出现单边工作或以上故障。（核心网元重要设备或模块列表详见下表）核心网元重要设备（模块）列表设备厂商中兴MP、MPMP、MPPP、DSN、DSNI、MAP处理机、DB服务器、计费服务器华为MPU、SYS、NET、NDR、PMC、IOC、BAM、OPT、FBI、CTN、BNET、CKS、SNT、MCC、BAU、VLR、CKD、FSN、BAC、AMP、CDP、BCP、CNU、BDR、NCC、QSI、MHI、SPC、VDP、BCC摩托罗拉BSP, GCLK, KSW, KSWX，GCLKX，GPROC2，LAN及相应的连接光纤西门子CP(CP113C、CP113E)、SSNC(CCNC)、MB(MBB、MBD)、SN(SSG、TSG)、CCG爱立信CP、IOG、GSS、选组级（SPM、TSM、CLM）传输设备时钟板、电源板、交叉板二. 紧急（重大）故障处理及上报要求一、 紧急（重大）故障处理流程1、紧急（重大）故障发生后，当地运行维护部门与班组必须立即采取必要措施，保证系统运行和通信电路及早恢复，避免事故扩大。2、紧急（重大）故障发生后，当地运行维护部门与班组应立即填写故障报告单。对于A类紧急（重大）故障，应在故障发生后20分钟内上报省公司网络部。3、紧急（重大）故障发生后，当地运行维护部门与班组应立即查清原因，确定故障性质和责任，落实今后的防范措施。紧急（重大）故障处理流程见下图：紧急（重大）故障发生应急处理人员到现场处理相关厂商技术支持工程师到现场处理省公司网络部采取紧急措施恢复系统故障恢复故障处理报告分析故障原因，制定防范措施紧急（重大）故障处理流程图二、 紧急（重大）故障上报要求1、A类紧急（重大）故障，应在故障发生后20分钟内上报省公司网络部。2、B类紧急（重大）故障，如故障未解决，应在故障发生后90分钟内上报省公司网络部。3、C类紧急（重大）故障，如故障未解决，应在故障发生后3小时内上报省公司网络部。4、紧急（重大）故障解决后，当事班组应填写故障处理单，向省公司网络部汇报。5、对于A类紧急（重大）故障，应在故障解决后将整个故障的情况以书面报告的形式在24小时内上报省公司网络部。6、省公司网络部24小时值班电话： 129几个典型的故障处理流程1. MSC的CP负荷过高处理流程2. MSC或BSC CP FAULT的处理(硬件故障)3. MSC或BSC CP Stoppage无法恢复至正常状态处理4. MSC或BSC IOG故障处理5. 计费文件导致交换机通信中断处理6. PCU故障处理1. MSC的CP负荷过高处理流程注意不要关闭统计,以便分析春节各项指标.值班人员发现交换机CP负荷=95%是继续密切关注CP负荷否是继续密切关注CP负荷减小MSC ATTACH时间,提高手机切换电平观察CP负荷是否降到95%以下关闭鉴权:MGEPC:PROP=AUTHENTICLAI-0;观察CP负荷是否下降到降到95%以下否闭掉部分高话务基站，直至负荷稳定在95%之下2. MSC或BSC CP FAULT的处理(硬件故障) 1. CP FAULT 分类 永久性错误(Permanent) 电路或器件引起,Updating不能恢复 临时性错误(Temparary) 由静电干扰引起,Updating可恢复 2. 对CP Fault的处理 REPCI;检测CP故障,按可能性列出框和板 REMCI:MAG= ,PCB= ;参数由上面得到,可得出处理流程 RECCI;检查处理结果,不好重复REMCI REPCE;在上面的操作中想中间退出3. MSC或BSC CP Stoppage无法恢复至正常状态 1. 产生原因 *循环 Restart/Reload *两侧CP坏 *两测POW坏 2. 处理 OPI System Start/Restart, Manually, Initiate (1)按PHC (2)OPI SYSTEM RESTART IO命令RESTART或RELOAD SYREI:RANK=; CPT命令RESTART PTSRI :RANK= ; APZ212 CPT命令RELOAD CHS：cluster res ACS_MSD_service /priv StartupParameters=-name CHS -site cp0ex cluster res ACS_RTR_service /priv StartupParameters=-name CHS -site cp0ex4.8 Soft Function Change ACABIN (CXC /4) parameter file CXC.par:Note:参数ACS_ACABIN_MessageStores更改message store name,从CHSTEMP 为 CHSsfcexec sfcstate sfcend以下为示例,供参考:C:sfcexec Soft Function Change Session NOTE: The session can be aborted at any time before switch to the new system has been ordered. Press Ctrl+C and ENTER to abort. Following resources are in state offline: NO RESOURCE 1 ACS_MSD_service 2 ACS_RTR_service Press ENTER if you dont want to start any of these resources or enter one or more numbers for the resources that you want to start or enter a(ll) if you want to start all resources. : = (Just press enter here) Would you like to copy parameter files from disk? y(es)/n(o):n Would you like to edit parameter files? y(es)/n(o):y Choose one of the packages to upgrade parameters in: NO CXCNUMBER MODULENAME REVISION CNI 1 CXC AVIRBIN R1E APZ21220/5-1086 2 CXC RTRBIN R3B APZ21220/5-1083 3 CXC ACABIN R5G APZ21220/5-844 4 CXC SSHSERVBIN R3D APZ21220/5-1048 5 CXC CDHADMBIN R5A APZ21220/5-1126 6 CXC GCCAPIBIN R2B APZ21220/5-1009 7 CXC DBOADMBIN R2A 8 CXC CPFADMBIN R4A 9 CXC FCCAPIBIN R6A APZ21220/5-839 10 CXC CPTASPBIN R4E APZ 21240/2-57 11 CXC ALDABIN R1B 12 CXC ALISADMBIN R2A 13 CXC MMLAPIBIN R4C 14 CXC AISAPIBIN R3B APZ21220/5-1034 15 CXC MCCBIN R4B APZ21220/5-1075 16 CXC MLSMMLBIN R4M 17 CXC ADHADMBIN R2K 18 CXC ALECADMBIN R1E 19 CXC CLHADMBIN R3C APZ21240/2-34 20 CXC SGSBIN R1B 21 CXC STSCBIN R4J Enter a number for the package to upgrade parameters in or enter c(ontinue) to continue soft function change session. :3 = (Input ACABIN package number here) Parsing format file . Parsing parameter file . Parameter editing session started. :list ACS_ACABIN_MSD_Home ACS_ACABIN_MessageStores ACS_PRCPRIO_PriorityTable :print ACS_ACABIN_MessageStores Category: Named Table Index: ACS_ACABIN_$1 string1, 15: cp0ex string1, 15: CHSTEMP unsignedShortInt: 6000 unsignedShortInt: 4096 unsignedShortInt1, 2048: 40 unsignedShortInt1, 32: 8 unsignedShortInt1, 32: 32 unsignedShortInt1, 100: 25 unsignedShortInt0, 255: 48 unsignedShortInt0, 3600: 240 unsignedShortInt0, 60: 10 unsignedShortInt0, 1440: 0 string2, 3: Yes string2, 2: A2 string0, 63: Q:ACSData :edit ACS_ACABIN_MessageStores Category: Named Table Index: ACS_ACABIN_$1 string1, 15 (cp0ex): string1, 15 (CHSTEMP):CHS sfcstate State is Supervision C:sfcend Soft function change session has ended.4.9 激活resource:cluster res ACS_MSD_service /on /wait cluster res ACS_RTR_service /on /wait4.10 定义RTRrtrdef -a RTRFILES CHS cp0ex4.11 打印message store,现在CDR计费文件开始输出到AP1:msdls4.12 等待15分钟计费文件产生:afpls -l -s RTRFILES至此,计费功能已经成功切换到AP1上!当AP2恢复后,将计费功能切换回AP2AP2恢复后,检查所有的resource online,以下步骤在AP1的ACTIVE NODE执行：4.13 在CP侧，关闭计费接口：mml saaep:sae=500,block=chop; saaii:sae=500,ni=xxxxxx,block=chop; chope; chopp; exit;4.14 . 关闭 MSD/RTR service ，在 active node: cluster res ACS_RTR_service /off /wait cluster res ACS_MSD_service /off /wait 4.15. 修改 MSD/RTR StartupParameters 为 CHSTEMP. cluster res ACS_MSD_service /priv StartupParameters=-name CHSTEMP -site cp0ex cluster res ACS_RTR_service /priv StartupParameters=-name CHSTEMP -site cp0ex4.16. Soft Function Change ACABIN (CXC /4) parameter file CXC.par,修改message store name为CHSTEMP:sfcexec sfcstate sfcend4.17激活 resources on-line: cluster res ACS_MSD_service /on /wait cluster res ACS_RTR_service /on /wait 4.18 在CP 侧打开计费接口, 计费输出返回到 AP2 mml chopp; chopi; saaep:sae=500,block=chop; saadi:sae=500,ni=,block=chop; exit;4.19 在AP2上，检查计费文件产生：afpls -l -s RTRFILES拷贝计费文件从AP1到AP2以下步骤在AP2上执行：ftp (2)登录到AP1的执行NODEftpcd billingready ftpmget *.* ftpbye6. PCU 故障处理* PCU阻断超过120分钟为全网严重故障。GPRS故障的处理流程当GPRS出现故障时，首先应该联系爱立信设备厂家。然后请按以下步骤处理：一、当GB接口ABL状态时，BSC上直接闭解GB接口：删除GB接口数据：1. RRGBP;!仔细记录GB接口的数据(特别是DLCI)，以备后面使用2. RRVBI:NSVCI=；!闭塞GB接口3. RRNSE:NSVCI=；!删除NSVC4. RRNEE;!删除NSE重建GB接口数据：5. RRNEI:NSEI=;6. RRNSI:NSVCI=nsvci,DLCI=dlci,DEV=dev,NUMDEV=numdev;7. RRVBE:NSVCI= nsvci;8. RRGBP;!检查GB接口状态。二、第一种方法不能够恢复的情况下，处理MSC侧的半永久连接：1. 在BSC侧先删除GB接口数据（方法一中的第一步到第四步）。2. 在MSC侧重建半永久连接，指令： EXSCP:NAME=;!找到GB接口连接的半永久连接（一般有3个）!记录dev1和dev2对三个半永久连接做以下步骤： EXSCE:NAME=,DEV=;!删除GB接口连接的半永久连接 EXSPI:NAME=; EXSCI:NAME=;!调转dev1和dev2 EXSSI:DEV1=;!=dev2 EXSSI:DEV2=;!=dev1 EXSPE; EXSCI:NAME=,DEV=; EXSCP:NAME=;!半永久连接的状态应该恢复为ACTIVE3. 等待至少30分钟，系统更新。4. 在BSC侧做方法一中的第五步到第八步）。三、如果遇到GB接口状态ACTIVE，但是GPRS不能上网的情况：在BSC侧重定义小区GPRS功能：a. RLGRP:CELL=ALL; !如果有GPRS占用，参数PDCHTYPE对应的状态为：ONDSLAVEb. RLGSP:CELL=ALL;！记录开通GPRS的CELL，c. RLGSE:CELL=;d. RLGSI:CELL=;e. RLGSP:CELL=ALL;f. RLGRP:CELL=ALL; !如果有GPRS占用，参数PDCHTYPE对应的状态为：ONDSLAVE四、如果方法三不能解决，则闭解控制GB接口的RP：在BSC侧做指令：RADRP:DEV=RTGPHDV-0&255;!找出控制GB接口的RP（目前一般局有23个RP）对上述每个RP做以下步骤：EXRPP:RP=;FCRWS:RP=,WS=SEP;!分离RPEXRPP:RP=;！应为MS状态BLRPI:RP=;BLRPE:RP=;EXRPP:RP=;！应为WO状态，检查GPRS是否能上网。PCU重大安全事件应急处理流程图按照一般故障处理立即通知班长、应急小组应急小组及相关人员处理故障同时上报维护中心领导及网管中心故障是否处理成功上报网管中心及网络部维护中心将处理结果报网管中心及网络部领导处理人员通知值班人员故障处理完毕值班人员填写相关记录是否是否值班人员发现告警填写值班记录是否重大故障请求爱立信工程师技术支持5、GPRS重大安全事件上报流程按照一般故障处理流程处理维护中心将处理结果报网管中心及网络部领导处理人员通知值班人员故障处理完毕是否值班人员发现告警填写值班记录是否重大故障严重故障班组填写故障报告，由主管领导填写意见，于故障发生后三天内向上报主管部门。24小时内向上级作书面报告立即通知班长、应急小组查清故障原因，确定故障性质和责任，落实今后防范措施应急小组及相关人员处理故障同时上报维护中心领导及网管中心 二. 华为BSC故障处理1、华为重大安全事件应急处理流程 任何问题处理之前，请先确认并反馈网络业务是否异常。 初步确定问题原因。查看告警和分析话统指标有无异常，各单板指示灯是否正常；同时要了解事故的基本情况，如事故发生时间、有何告警信息、用户投诉范围等信息重大事故处理的求助手段：拨打华为支持热线，根据服务热线提供的信息，对问题远程登录，可直接电话指导解决问题；或直接要求维护专家直接到现场，进行现场技术支持。 处理事故，迅速恢复系统业务。通过华为远程支持电话指导或华为现场支持，先大致判断问题影响面，尽量先在机房处理问题，再考虑到基站近端处理问题，若不能迅速定位事故原因，为尽快恢复系统业务，则尝试进行复位和换板来解决问题(1)必要时四级复位或下电复位相关基站如果部分站点运行异常（例如指配失败率特别高）， 则进行站点四级复位。(2)必要时下电复位相关BM模块如果某个BM模块的呼叫业务受到影响（主要考虑主被叫，因为切换问题对用户的影响要小些。），且大范围内手机用户反映强烈，请考虑转换全部数据并下电加载该BM模块。如果影响比较小，是否立即复位，请现场根据具体情况再做决定；最迟当天晚上转换全部数据并下电加载该BM模块。(3)必要时下电复位整个BSC如果BSC的呼叫业务（主要考虑主被叫，因为切换问题对用户的影响要小些。）受到影响，且每个模块都运行不太正常，请考虑转换全部数据并下电加载整个BSC。 业务恢复后的监测与观察事故恢复后，请注意确认系统是否已正常运行。安排人员执守到话务高峰时段，确保如有问题第一时间处理解决确认拨打测试正常核查BSC单板指示灯等是否正常告警检查BSC维护台检查单板面板状态是否正常。时钟状态检查信令链路状态是否正常BTS维护台检查单板面板状态是否正常。查看信道状态核查占用情况是否正常。如果SDCCH占用特别多，而TCH占用非常少，则值得怀疑。如果一个TRX上的TCH信道，都是占用时间不超过30秒钟，则该基站（小区）值得怀疑。 话统分析处理请核查各项统计结果是否正常：核查CPU占用率是否正常。核查MTP链路性能测量各指标统计结果是否正常。 核查BSC整体性能测量关键指标统计结果是否异常。核查小区性能测量关键指标统计结果是否正常。2、华为BSS安全事件应急处理1） 个别或者部分基站（小区）运行异常的处理：用户投诉集中于部分区域；基站异常可能由于BSC相关的运行异常等导致的。处理步骤：l 是否与某一模块或某一传输有关l 通过基站维护台检查：查看信道状态、占用状态和单板是否正常。l 话统小区性能测量关键指标观测l 数据配置检查。检查项目有：数据配置的正确性；操作日志。l 核对远、近端基站维护台信道状态等是否一致l 必要时进行基站四级2） BSC单板工作异常对于重要单板，BSC已经考虑采用主备用工作方式，例如CKS、MPU、BNET、MCCM、CTN、SNT等，或者采用负荷分担方式（注意：只对业务进行负荷分担，对信令不能进行分担。），如OPT、FBI。一块E3M故障也不会影响整个模块的业务中断。如果LAPD板故障，可以通过打开LAPD互助功能来消除单板故障的影响。对单板工作异常，请按如下步骤进行处理：l 是主备用的主板工作异常，请从维护台发起倒换，使备板变为主用。l 从BSC维护台对工作异常的单板发起复位。l 插拔工作异常的单板。l 换单板，将出现故障的单板与表现正常的单板对换。l 更换连线，如HW线、NOD线、E1线等。l 换备板。3） No.7断链问题告警台上发生NO7链路“信令链路不可用”告警处理步骤：l NO7消息跟踪l 在维护台上选菜单“七号信令/NO7消息跟踪M”，对相关链路进行跟踪并保存为文件，跟踪5分钟即可。跟踪时，“消息类型”全选，“过滤”全不选。l 查询NO7链路状态，并将返回界面拷屏保存。l 根据NO7业务中断告警给出的原因值，进行初步判断：如原因值为收SIOS，则一般为MSC原因。请MSC侧先进行分析定位。l 逐段自环，检查BIE至E3M的E1线接触是否良