2014年佛山联通SGSN故障重点BSC、RNC、eNodeB倒换演练割接方案(实施方案)解析

佛山联通2014年佛山联通SGSN2故障重点BSC/RNC/eNodeB倒换演练实施方案方案编制单位：佛山联通运维部核心网室方案编制人：霍晓歌、曾忠编制日期：2014-7-25审核单位：佛山联通运维部核心网室审核人员：彭恩平目 录1. 割接实施目的及准备工作31.1 背景或实施目的31.2 演练网元及场景31.3 演练成功判定条件31.4 割接时间、对象及影响范围31.5 割接前网络拓扑41.6 割接后网络拓扑41.7 割接准备工作及确认情况41.8 人员组织情况52. 割接步骤52.1 演练关键步骤清单52.2 割接详细步骤63. 测试验证方案64. 回退方案和应急措施61. 割接实施目的及准备工作1.1 背景或实施目的根据省公司2014年移动网演练计划，为演练 SGSN故障时重点RNC/BSC/eNodeB业务倒换，需要实施 2014年佛山联通SGSN2故障重点BSC/RNC/eNodeB倒换演练的割接，现网设备版本型号USN9810 V900R012C00SPH307，容灾设备版本型号SGSN9810 V900R012C00SPH307。本次演练采用实战演练方式，按照应急预案进行操作，演练过程中只对FSSGSN2/FSSGSN3/FSSGSN4及FSBSC10/eNodeB/RNC1进行数据修改，正常情况下会影响FSSGSN2下挂BSC覆盖区域佛山三水地区的2G业务，现网2G GPRS业务会有1-2分钟业务闪断。已经与客服召开割接会议，通告业务影响情况，并发出客服通告。1.2 演练网元及场景（要求列出本地所有同类型网元）演练网元是否本次演练网元演练计划时间演练场景涉及地市或网元备注佛山FSSGSN2是2014-08-13SGSN2故障BSC/RNC/eNodeB业务倒换佛山佛山FSSGSN3是2014-08-13SGSN2故障BSC/RNC/eNodeB业务倒换佛山佛山FSSGSN4是2014-08-13SGSN2故障BSC/RNC/eNodeB业务倒换佛山1.3 演练成功判定条件1、 业务1） BSC10与SGSN2链路断开割接到SGSN3上后，BSC10下2G用户能正常使用GPRS业务。2） RNC1与SGSN2链路断开后，RNC1下3G用户能正常使用GPRS业务。3） eNodeB与SGSN2链路断开后，eNodeB下4G用户能正常使用GPRS业务。2、 告警1） BSC10与SGSN2链路断开后，SGSN2上会出现NSE下无可用NS-VC、动态IP NS-VC协商失败等告警；同时BSC10上会出现到SGSN2的NSE故障告警、NSVL故障告警、NSVL动态配置流程失败告警、小区分组业务故障告警。2） RNC10与SGSN2链路断开后，SGSN2上会出现M3UA目的实体不可达、M3UA路由不可用、M3UA链路故障等告警，RNC10上出现。3） eNodeB与SGSN2链路断开后，SGSN2上会出现S1ap链路故障告警； eNodeB上会出现到SGSN2的S1ap链路故障告警。3、 性能（与日常同期指标、业务量对比）1）与同时段指标相比SGSN4的2G附着用户数减少，SGSN2的2G附着用户数增加；2）现网SGSN2/03/04的附着、激活成功率无明显变化，附着成功率在90%以上，PDP激活成功率在95%以上。4、 其他无1.4 割接时间、对象及影响范围1、本次割接预定在 2014 年 8 月 22 日凌晨 1 ： 00 实施，预计割接过程 1 小时。2、割接对象： FSSGSN02/03/04 、BSC10、RNC1、eNodeB3、影响范围：本次割接正常情况下会影响BSC10下1-2分钟GPRS业务闪断； 4、影响地市：本次割接正常情况下会影响BSC10覆盖区域佛山三水地区的2G业务1-2分钟。已经与客服召开割接会议，通告业务影响情况，并发出客服通告。1.5 割接前网络拓扑割接前物理拓扑如下：本次演练不涉及物理拓扑的变化，演练过程中BSC18网元归属有变化，对应逻辑拓扑图有变化。割接前逻辑拓扑图如下：1.6 割接后网络拓扑演练过程中物理拓扑图无变化，演练中把BSC18/RNC18和eNodeB与SGSN4链路断开，逻辑归属发生变化，演练后逻辑归属关系恢复同演练前一致。演练中逻辑拓扑图如下：1.7 割接准备工作及确认情况1、备品备件确认情况 本次割接不涉及板件及工具，已经核实满足割接要求。2、网管接入确认情况本地割接涉及的FSSGSN02/04和BSC18设备已接入M2000网管系统，本次割接不涉及网管系统变更。3、对营帐指令或计费采集的影响情况本次割接不影响营帐指令和计费采集的变更。5、 割接前业务测试情况1） 网元设备状态检查2） 业务测试使用3GNET、3GWAP的APN进行PDP激活，激活后做上网业务测试，含浏览网页、下载等； 测试人：霍晓歌测试号码： 、；IMSI： 1344、00883） 指标检查对相关重要指标进行核查，确认各指标性能是否正常。 5、设备系统备份情况最后一次实施系统备份时间： 2014-4-15 23:00 1.8 人员组织情况公司姓名职责电话备注省公司陈得与省公司调度佛山联通彭恩平操作审核佛山联通霍晓歌现场割接佛山联通曾忠现场割接华为遆顺波现场保障广州联通陈文杰GGSN设备保障佛山联通卢锦屏无线第二天应急佛山联通李朝阳SGSN第二天应急广州联通陈立栋GGSN第二天应急2. 割接步骤2.1 演练关键步骤清单项目内容时间点说明（风险）执行人演练内容：SGSN04出现故障（ECU全部故障，全局业务中断），SGSN04覆盖的南海，禅城区有大量用户投诉。故障定位为SGSN04侧故障，为抢通业演练紧急将BSC业务切换到SGSN2，RNC及eNodeB业务在POOL内自动切换到SGSN2或SGSN3。故障发现1、SGSN4上出现NSE下无可用NS-VC、动态IP NS-VC协商失败等告警；同时BSC18上会出现到SGSN4的NSE故障告警、NSVL故障告警、NSVL动态配置流程失败告警、小区分组业务故障告警。2、SGSN4上出现M3UA目的实体不可达、M3UA路由不可用、M3UA链路故障等告警，同时RNC18上会出现到SGSN4 M3UA目的实体不可达、M3UA路由不可用、M3UA链路故障。3、SGSN4上出现S1ap链路故障告警； eNodeB上会出现到SGSN4的S1ap链路故障告警4、SGSN04覆盖范围有2G用户投诉。1：00不能及时定位故障点，延长业务抢通时间联通：霍晓歌故障通报【应急演练-演练SGSN04故障 佛山网管中心-故障通报】2014年4月16日2:05，佛山市公司网管中心监控发现佛山分公司FSSGSNS04的2G业务无法使用，初步定为FSSGSN04侧故障，为抢通业务，申请紧急将业务切换到FSSGSN02。已联系核心网华为厂家遆顺波、承载网华讯厂家李少聪 进行现场技术支持。分公司故障总指挥：薛松荃，联系电话： ；分公司故障副总指挥：彭恩平，联系电话：；核心网故障处理人：霍晓歌；承载网故障处理人：李朝阳 网管中心信息发布人：钟应祥 。（故障信息已同步上报给公司运维部经理薛松荃、副经理连楚植、副经理李云，市场部周秀筠，客服部杨亦雯 ，核心网室主任：彭恩平 ，无线专业负责人：刘春锋 。本短信发送省运维麦总、省运维各科室领导；佛山联通薛总、运维部领导和室主任、核心网专业、数据专业、传输专业）故障处理关键步骤1SGSN2上增加BSC18数据：ADD NSE: OTHERNODE=FSBSC18, SGSNINDEX=0, NSEI=147, SRN=0, SN=3, PRON=1, BSSID=1147, FLUSTHT=50, PFC=YES, CBL=YES, INR=YES, LCS=NO, RIM=NO, ARP=NO, RACAP=NO, BT=IP, CT=DYNAMIC, GB-FLEX=NO, SPECSRV=NO, BSSQOSVERSION=R99;ADD GBIPLOCENDPT: SRN=0, SN=3, PRON=2, NSEI=147, IPT=IPV4, LIPV4=10.158.232.9, LUP=1147, SW=255, DW=255, DESC=FSHWBSC18;ADD GBIPLOCENDPT: SRN=0, SN=4, PRON=0, NSEI=147, IPT=IPV4, LIPV4=10.158.232.10, LUP=1147, SW=255, DW=255, DESC=FSHWBSC182:05-2:15约有1分钟，RNC18覆盖范围下的2G用户无法使用GPRS业务。如果倒换失败按回退方案执行联通：霍晓歌厂家：遆顺波故障处理关键步骤2BSC18上配置重归属到SGSN02的数据：MOD NSE: NSEI=147, SVRIP=10.158.232.7;ADD IPRT: SRN=0, SN=18, DSTIP=10.158.232.7, DSTMASK=255.255.255.255, NEXTHOP=10.158.52.41, PRIORITY=HIGH, REMARK=TO SGSN4-HIGH;ADD IPRT: SRN=0, SN=18, DSTIP=10.158.232.7, DSTMASK=255.255.255.255, NEXTHOP=10.158.52.45, PRIORITY=LOW, REMARK=TO SGSN4-LOW;ADD IPRT: SRN=0, SN=18, DSTIP=10.158.232.8, DSTMASK=255.255.255.255, NEXTHOP=10.158.52.41, PRIORITY=HIGH, REMARK=TO SGSN4-HIGH;ADD IPRT: SRN=0, SN=18, DSTIP=10.158.232.8, DSTMASK=255.255.255.255, NEXTHOP=10.158.52.45, PRIORITY=LOW, REMARK=TO SGSN4-LOW;ADD IPRT: SRN=0, SN=18, DSTIP=10.158.232.9, DSTMASK=255.255.255.255, NEXTHOP=10.158.52.41, PRIORITY=LOW, REMARK=TO SGSN4-LOW;ADD IPRT: SRN=0, SN=18, DSTIP=10.158.232.9, DSTMASK=255.255.255.255, NEXTHOP=10.158.52.45, PRIORITY=HIGH, REMARK=TO SGSN4-HIGH;ADD IPRT: SRN=0, SN=18, DSTIP=10.158.232.10, DSTMASK=255.255.255.255, NEXTHOP=10.158.52.41, PRIORITY=LOW, REMARK=TO SGSN4-LOW;ADD IPRT: SRN=0, SN=18, DSTIP=10.158.232.10, DSTMASK=255.255.255.255, NEXTHOP=10.158.52.45, PRIORITY=HIGH, REMARK=TO SGSN4-HIGH;2:05-2:15联通：霍晓歌厂家：遆顺波故障处理关键步骤3查看告警，确认BSC18到SGSN4的告警全部恢复，并进行下一步业务测试2:15-2:30/联通：霍晓歌业务测试按第3部分部分进行详细来业务测试2:15-2:30/联通：霍晓歌故障恢复确认1. 业务测试正常2. 告警正常3. 性能指标正常4. 系统状态正常(含周边网元)5. 客服投诉确认2:15-2:30/联通：霍晓歌厂家：遆顺波故障恢复通报【演练FSSGSN4故障 佛山网管中心-故障恢复通报】2014年4月16日2:05，佛山市公司网管中心监控发现佛山分公司FSSGSN4设备（华为厂家设备）自2:00开始发生链路故障告警。故障原因（初步）定位是FSSGSN4 ECU板全部故障引起。已紧急将2G业务切换到FSSGSN2,3/4G业务在POOL内自动切换。业务于2:15恢复正常。2：00 - 2:15 期间影响佛山分公司归属BSC18用户的GPRS业务的使用。目前业务全部恢复，告警恢复，机房业务测试正常。已联系核心网华为厂家遆顺波、承载网华讯厂家李少聪 进行现场技术支持。分公司故障总指挥：薛松荃，联系电话： ；分公司故障副总指挥：彭恩平，联系电话：；核心网故障处理人：霍晓歌；承载网故障处理人：李朝阳 网管中心信息发布人：钟应祥 。（故障信息已同步上报给公司运维部经理薛松荃、副经理连楚植、副经理李云，市场部周秀筠，客服部杨亦雯 ，核心网室主任：彭恩平 ，无线专业负责人：刘春锋 。本短信发送省运维麦总、省运维各科室领导；佛山联通薛总、运维部领导和室主任、核心网专业、数据专业、传输专业）2.2 割接详细步骤序号项目操作内容时间段风险点描述执行人审核人1演练前设备健康检查割接前进行健康巡检。（详见华为SGSN设备检查表）。23:00-00:00无霍晓歌彭恩平2割接前配置备份执行命令EXP MMLEX备份现网设备配置01:30-01:50无霍晓歌彭恩平3基本业务测试基本业务测试，确保测试卡状态正常01:30-01:50无霍晓歌彭恩平4通知网管割接开始通知网管割接开始1:55-02:00无霍晓歌彭恩平5模拟SGSN4故障断开SGSN4与BSC18的链路2:00-2:10断开链路，观察告警霍晓歌彭恩平6断开SGSN4与RNC18的链路 2:00-2:10彭恩平7断开SGSN4与eNodeB的链路2:00-2:10彭恩平8故障通报【应急演练-演练SGSN04故障 佛山网管中心-故障通报】2014年4月16日2:05，佛山市公司网管中心监控发现佛山分公司FSSGSNS04的2G业务无法使用，初步定为FSSGSN04侧故障，为抢通业务，申请紧急将BSC18业务切换到FSSGSN02。已联系核心网华为厂家遆顺波进行现场技术支持。2:00-2:10无霍晓歌彭恩平9将BSC业务切换到SGSN2上SGSN2上增加BSC18数据:2:00-2:15BSC18业务倒换霍晓歌彭恩平10BSC18上配置重归属到SGSN02的数据2:00-2:15霍晓歌彭恩平11进行业务测试按第3部分进行详细来业务测试2:15-2:30无霍晓歌彭恩平12故障恢复确认1.业务测试正常2.告警正常3.性能指标正常4.系统状态正常(含周边网元)5.客服投诉确认2:15-2:30无霍晓歌彭恩平13故障恢复通报【演练FSSGSN4故障 佛山网管中心-故障恢复通报】2014年4月16日2:05，佛山市公司网管中心监控发现佛山分公司FSSGSN4设备（华为厂家设备）自2:00开始发生链路故障告警。已紧急将2G业务切换到FSSGSN2,3/4G业务在POOL内自动切换。目前业务全部恢复，告警恢复，机房业务测试正常。2:15-2:30无霍晓歌彭恩平14在FSSGSN02/FSSGSN04及BSC18上恢复原来的配置在FSSGSN04上恢复BSC18/RNC18/eNodeB链路：2:302:45无霍晓歌彭恩平15在BSC18上恢复到SGSN4的链路2:302:45霍晓歌彭恩平16在FSSGSN02删除BSC18配置：2:302:45无霍晓歌彭恩平17恢复后业务测试按第3部分进行详细来业务测试2:453:00无霍晓歌彭恩平18检查演练后状态检查设备告警和各类状态与倒换前的状态进行对比2:453:00无霍晓歌彭恩平19演练后电话和短信通知网管，汇报割接情况演练后电话和短信通知网管，汇报割接情况2:453:00无霍晓歌彭恩平20故障上报将简要书面报告报给网管中心以下各专业公共邮箱。9:00-12:10无霍晓歌彭恩平21演练总结将简要书面总结报告反馈省公司及地市公司领导及维护人员9:00-12:10无霍晓歌彭恩平3. 测试验证方案1、业务测试测试人：霍晓歌测试号码： 、；IMSI： 1344、0088 2、割接后设备状态检查 3、网管测试及验证在M2000网管上统计附着和激活用户数等相关数据。1) 2G用户附着成功率(不小于95%)2) 3G用户附着成功率(不小于95%)3)