江苏联通移动核心网应急预案.doc

江苏联通移动核心网应急预案江苏联通移动核心网应急预案江苏联通移动网络公司网管中心2009年5月目 录一、长途网业务疏导方案31、长途网业务疏导方案32、西门子TMSC53、中兴软交换TSS5二、软交换端局业务疏导方案51、软交换端局业务疏导方案52、华为软交换主备用SERVER倒换方案63、爱立信软交换主备用SERVER倒换方案6三、HLR业务疏导方案61、HLR业务疏导方案62、阿朗HLR故障时倒换到容灾HLR步骤73、西门子HLR故障时倒换到容灾HLR步骤74、爱立信HLR故障时倒换到容灾HLR步骤75、中兴HLR故障时倒换到容灾HLR步骤7四、移动关口局业务疏导方案71、移动关口局业务疏导方案72、中兴IGW9五、智能网SCP业务疏导方案91、智能网SCP业务疏导方案92、华为SCP12六、SGSN业务疏导方案121、SGSN业务疏导方案122、爱立信SGSN133、华为SGSN13七、GGSN业务疏导方案131、GGSN业务疏导方案132、摩托GGSN15八、DNS业务疏导方案151、DNS业务疏导方案152、具体设备17九、IP承载网CE疏导方案171、CE疏导方案172、具体设备19一、长途网业务疏导方案1、长途网业务疏导方案长途网阻断包括设备层面阻断和承载层面阻断两部分。设备层面阻断1）长途网软交换T局阻断A、SS主备设备均发生阻断SS主备设备均发生阻断，此时所辖TMG均不可用，对于SS所辖各省，所有端局和关口局将原送软交换T局的话务改由TDM长途网和固网长途网疏通；对于其他省，由软交换T局将至故障省长途话务通过过桥电路送TDM长途网疏通。B、TMG设备阻断TMG设备发生阻断，若本省配置两套TMG则由未阻断TMG疏通所有话务。否则，对于故障TMG所在省，所有端局和关口局将原送软交换T局的话务改由TDM长途网和固网长途网疏通；对于其他省，由软交换T局将至故障省长途话务通过过桥电路送TDM长途网疏通。2）TDM长途网TMSC阻断A、TMSC2-1和TMSC2-2均发生阻断TMSC2主备两套设备均发生阻断时，对于阻断TMSC2所在省，各端局和关口局将所有省际长途话务送软交换长途网或固网长途网疏通。对于归属大区TMSC1所在省，由TMSC1局汇总全国各省至TMSC2局的话务送软交换长途网和固网长途网疏通。B、TMSC1-1、TMSC1-2均发生阻断TMSC1主备两套设备均发生阻断时，对于阻断TMSC1所在省和所辖TMSC2所在省，各端局和关口局将所有长途话务送软交换长途网或固网长途网疏通。对于其他TMSC1所在省，由TMSC1局汇总所有至阻断大区的话务送软交换长途网或固网长途网疏通。承载层面阻断1）大区省份省际传输全阻A、对于故障大区所辖各省，由端局和关口局将所有省际中国移动被叫话务和PSTN被叫话务，以及未发起寻址的省际联通移动网被叫话务首选联通固网疏通、其次送其他运营商网络疏通。B、对于其他大区所在省，由移动网TMSC1局和软交换T局汇总本大区至故障大区的所有省际PSTN和中国移动被叫话务首选联通固网疏通、其次送其他运营商网络疏通；由端局和关口局将至故障大区未发起寻址的联通移动网被叫话务首选联通固网疏通、其次送其他运营商网络疏通。C、对于其它各省，由省内所有端局和关口局将至故障大区未发起寻址的联通移动网话务首选联通固网疏通、其次直接送其他运营商网络疏通。2）非大区省份省际传输全阻A、对于故障省，由端局和关口局将所有省际中国移动被叫话务和PSTN被叫话务，以及未发起寻址的省际联通移动网被叫话务首选联通固网疏通、其次送其他运营商网络疏通。B、对于归属大区所在省，由TMSC1局和软交换T局汇总全国各省至故障省TMSC2局的所有省际PSTN和中国移动话务首选联通固网疏通、其次送其他运营商网络疏通，由端局和关口局将至故障省未发起寻址的省际联通移动网被叫话务首选联通固网疏通、其次送其他运营商网络疏通。C、对于其它各省，由省内所有端局和关口局将至故障省未发起寻址的省际联通移动网被叫话务首选联通固网疏通、其次送其他运营商网络疏通。3）软交换T局传输阻断A、SS至所有SS传输全阻所有阻断话务，由发端省份软交换T局通过过桥电路送TDM长途网疏通；其他省软交换T局将至故障省长途话务通过过桥电路送TDM长途网疏通。B、TMG至主备SS传输全阻TMG至主备SS传输全阻，此时该TMG不可用，若本省配置两套TMG则由未阻断TMG疏通所有话务。否则，由本省所有端局和关口局将原送软交换T局的话务改送TDM长途网和固网长途网疏通；其他省软交换T局将至故障省长途话务通过过桥电路送TDM长途网疏通。C、端局/关口局至软交换T局传输全阻端局将原送软交换T局的话务改送TDM长途网和固网长途网疏通；其他省软交换T局将至故障省长途话务通过过桥电路送TDM长途网疏通。4）TDM长途网TMSC传输阻断A、两个TMSC2至所属大区TMSC1传输全阻a. 对于TMSC2所在省，由TMSC2局将所有省际PSTN和中国移动被叫话务送其它长途网（软交换长途网/固网长途网/其他运营商）疏通，将所有省际联通移动网被叫话务送软交换长途网疏通。b. 对于TMSC1所在省，由TMSC1局汇总全国各省至TMSC2局的所有省际PSTN和中国移动被叫话务，送其它长途网（软交换长途网/固网长途网/其他运营商）疏通，由TMSC1局汇总全国各省至TMSC2局的所有联通移动网话务送软交换长途网疏通。B、TMSC1至部分TMSC1传输全阻TMSC1至部分TMSC1传输全阻时，若其他TMSC1汇接局能疏通，修改MTP路由，将原TMSC1之间直连的路由改为通过其他TMSC1转接，以通过其他未阻断TMSC1进行话务疏通。C、TMSC1至所有TMSC1传输全阻TMSC1至所有TMSC1传输全阻时，对于阻断TMSC1所在省，由TMSC1局汇总本大区所有至其他大区的话务，送软交换长途网疏通。对于其他TMSC1所在省，由TMSC1局汇总本大区所有至阻断大区的话务，送软交换长途网疏通。D、端局/关口局至一个TMSC2的传输阻断端局将所有长途话务送另一个TMSC2疏通；中断的 TMSC2汇集至端局/关口局的所有话务送另一个TMSC2疏通。E、端局/关口局至所有TMSC2的传输全阻端局将所有长途话务送软交换长途网或固网长途网疏通；TMSC2汇集至端局/关口局的所有话务至与阻断端局/关口局相连的另一端局或关口局疏通。疏通测试及倒回疏通及倒回后，立即进行长途拨测，并监控网络的运行状态：1）大区间的长途拨测：TMSC1故障、软交换T局故障、TMSC1之间阻断、软交换T局之间阻断、大区省份传输全阻、端局至软交换T局阻断。2）大区内的长途拨测：TMSC2故障、TMSC1至TMSC2之间阻断、非大区省份传输全阻。3）省内长途拨测：端局至TMSC2阻断。长途网高负荷在长途软交换、TDM长途网两张网中如果有一个网络负荷超过临界值，在保证其他网络安全运行的情况下，通过另一张网和固网长途网分流业务。2、西门子TMSC3、中兴软交换TSS二、软交换端局业务疏导方案1、软交换端局业务疏导方案SERVER故障1）疏通优先级：依次保障高话务城区、一般话务城区、郊区。2）疏通措施：A、在N+1或1+1组网架构下，首先启用备用SERVER，如果不能正常接管，依次对BSC/RNC、BTS/NODEB割接到其他可用的MGW，首选本地网元，次选异地网元承载业务。B、涉及割接的SERVER/MGW相关信令点编码、A接口（Iu口）、链路、时隙以及LOC/RAC、CGI、BSIC等数据，便于BSC/RNC联调对接。3）疏通后测试验证：疏通后，立即拨打测试，并监控网络运行状态，如导致其他网元高负荷，立即采取有效手段进行负荷控制。4）业务恢复后的倒回：故障网元问题解决后，将业务分批次有步骤地倒回。注：为避免网络保障影响面扩大，禁止调用与故障网元无备份关系的其他备用SERVER承载业务。MGW故障1）疏通优先级：依次保障高话务城区、一般话务城区、郊区2）疏通措施：A、依次对BSC/RNC、BTS/NODEB割接到其他MGW或BSC，首选本地网元，次选异地网元业务承载处理。B、涉及割接网元准备SERVER/MGW相关信令点编码、A接口（Iu口）、链路、时隙以及CGI、BSIC等数据，便于BSC/RNC联调对接。3）疏通后测试验证：疏通后，立即拨打测试，并监控网络运行状态，如导致其他网元高负荷，立即采取有效手段进行负荷控制。4）业务恢复后的倒回：故障网元问题解决后，要将业务分批次有步骤地倒回。SERVER高负荷1）疏导措施：当设备本身出现的系统高负荷时，要通过调整相关系统参数和门限，如：采取减少鉴权次数、延长周期性位置更新时间等手段降低信令处理负荷。如果此方式仍无法解决高负荷问题时，可以考虑从无线接入网侧进行呼叫限制的方式。具体方案参见无线系统解决负荷高问题的处理方法。2、华为软交换主备用SERVER倒换方案3、爱立信软交换主备用SERVER倒换方案三、HLR业务疏导方案1、HLR业务疏导方案疏通优先级：优先保障出账客户。疏通措施：1）首先利用容灾HLR，承载业务，相关SERVER、HSTP、IGW数据，业务倒换至容灾HLR。2）如果无容灾HLR，利用故障HLR的备份数据，将其中的出账用户的用户数据创建在另外一个HLR上。选择临时承载业务的HLR时优先选本地HLR，次选异地HLR。3）要准备故障HLR所带用户号段数据（E164、E214），以便IGW，SERVER，STP修改数据。疏通后测试验证：疏通后，立即拨打测试，并监控网络运行状态，如导致其他网元高负荷，立即采取有效手段进行负荷控制。业务恢复后的倒回：故障网元问题解决后，将业务分批次有步骤地倒回。2、阿朗HLR故障时倒换到容灾HLR步骤3、西门子HLR故障时倒换到容灾HLR步骤4、爱立信HLR故障时倒换到容灾HLR步骤5、中兴HLR故障时倒换到容灾HLR步骤四、移动关口局业务疏导方案1、移动关口局业务疏导方案包括移动网专业关口局和移动网综合关口局。关口局发生故障时的业务疏通优先级为：先恢复本地业务，次恢复长途业务。成对关口局中的一个关口局出现阻断在某地A关口局出现阻断时，业务全部通过成对的B关口局疏通；1）疏通步骤：A、在MSC上修改数据，将主叫业务通过B关口局进行疏通。B、在GMSC上修改数据，将转接业务通过B关口局进行疏通。C、在TMSC上修改数据，将长途落地业务通过B关口局进行疏D、修改数据的同时，密切监测B关口局的负荷和运行情况，确保B关口局的安全运行；注：若A关口局为软交换设备，参考软交换端局的处理方式。 2）疏通后的测试验证：通过统计、信令监测、拨打测试等方式，验证业务疏通的成功和网络的安全运行。3）业务恢复后的倒回：A、在MSC上修改数据，将主叫业务送A、B关口局。B、在GMSC上修改数据，将转接业务送A、B关口局。C、在TMSC上修改数据，将长途落地业务送A、B关口局。D、按照疏通后的测试验证方式进行验证。单个关口局阻断或成对的关口局同时阻断若本地还有其它关口局，通过本地其他关口局转接，疏导方案同成对关口局中的一个关口局出现阻断处理方式；若无其它关口局，则通过TMSC转接的方式，将业务通过本省的其他地市关口局进行疏通。1）疏通步骤：A、在MSC上修改数据，将主叫业务送TMSC。B、在GMSC上修改数据，将转接业务送TMSC。C、在TMSC上修改数据，将主叫、转接以及落地业务送其他地市关口局进行疏通。D、修改数据的同时，密切监测TMSC以及转接关口局的负荷和运行情况，确保网络的安全运行。E、若阻断关口局为软交换设备，参考软交换端局的处理方式。2）疏通后的测试验证：通过统计、信令监测、拨打测试等方式，验证业务疏通的成功和网络的安全运行。3）业务恢复后的倒回：A、在MSC上修改数据，将主叫业务送本地关口局。B、在GMSC上修改数据，将转接业务送本地关口局。C、在TMSC上修改数据，将长途落地业务送本地关口局。D、按照疏通后的测试验证方式进行验证。关口局到其他运营商业务全阻关口局和某个外运营商之间业务全阻，首选通过联通固网进行话务转接，次选通过业务正常的外运营商进行转接；以下通过联通固网转接为例进行说明。1）疏通措施：A、在MSC上修改数据，将主叫业务通过与联通固网相连的关口局进行疏通。B、在GMSC上修改数据，将转接业务通过与联通固网相连的关口局进行疏通。C、在TMSC上修改数据，将长途落地业务通过与固网相连的关口局进行疏通。D、修改数据的同时，密切监测与联通固网相连的关口局的负荷和运行情况，确保与固网相连的关口局的安全运行。注：通过其业务正常的运营商网络进行疏通的方案与通过联通固网疏通的方案相同。2）疏通后的测试验证：通过统计、信令监测、拨打测试等方式，验证业务疏通的成功和网络的安全运行。3）业务恢复后的倒回：A、在MSC上修改数据，将主叫业务送与移动相连的关口局。B、在GMSC上修改数据，将转接业务送与移动相连的关口局。C、在TMSC上修改数据，将长途落地业务送与移动相连的关口局。D、按照疏通后的测试验证方式进行验证。关口局和联通固网业务全阻1）优先级别：先恢复本地业务，次恢复省内业务，后恢复长途落地业务。2）疏通措施：关口局和联通固网业务全阻，首选通过移动进行话务转接，次选通过电信进行转接，以下以通过移动转接为例说明疏导方案。A、在MSC上修改数据，将主叫业务通过与移动相连的关口局进行疏通。B、在GMSC上修改数据，将转接业务通过与移动相连的关口局进行疏通。C、在TMSC上修改数据，将长途落地业务通过与移动相连的关口局进行疏通。D修改数据的同时，密切监测与移动相连的关口局的负荷和运行情况，确保与移动相连的关口局的安全运行。注：通过电信进行疏通的方案与通过中移动疏通的方案相同。3）疏通后的测试验证：通过统计、信令监测、拨打测试等方式，验证业务疏通的成功和网络的安全运行。4）业务恢复后的倒回：A、在MSC上修改数据，将主叫业务送与固网相连的关口局。B、在GMSC上修改数据，将转接业务送与固网相连的关口局。C、在TMSC上修改数据，将长途落地业务送与固网相连的关口局。D、按照疏通后的测试验证方式进行验证。2、中兴IGW五、智能网SCP业务疏导方案1、智能网SCP业务疏导方案SCP故障1）技术预案：当SCP出现故障，由于各省网络配置和各机型具体情况存在差异，处理方法主要有如下几类：A、起用容灾SCP：当具备容灾SCP时，由HSTP/LSTP做有关的数据准备，之后由容灾SCP接替故障SCP进行业务处理。注：容灾SCP包括两类：只简单处理信令，进行业务接续，不进行业务扣费的简易容灾SCP；以及完整支持业务流程，具备扣费能力的容灾SCP。各地须根据设备具体配置，妥善做好故障处理后的补扣费。B、HLR参数修改：a. HLR内DCH参数设置：由SCP内用户所归属的HLR设置O-CSI, T-CSI中DCH参数（GSM 0978，Default call handling），由Release修改为Continue。在MSC/SSP支持的情况下，业务疏导效果如下： 故障SCP智能用户可正常被叫; 用户位置更新后，故障SCP智能用户可正常主叫。b. HLR对MSC/VLR进行签约屏蔽：修改HLR内对应SCP的O-CSI/T-CSI签约消息下发模板，对MSC/VLR进行签约消息屏蔽。业务疏导效果如下： 故障SCP智能用户可正常被叫; 用户位置更新后，故障SCP智能用户可正常主叫。C、MSC/SSP应急措施对用户归属地MSC/SSP采取如下应急措施（需要SSP侧设备支持）：a. 不需要HLR的支持，通过配置SSP数据，在SCP 不可访问、SCP响应超时、SCP返回错误等情况下，SSP对主被呼叫继续接续。b. 删除MSC/SSP内相应智能网触发数据，不触发主叫或被叫智能网流程。疏导效果为：故障SCP智能用户可正常主被叫。注意： 上述各类处理方案，可能导致故障SCP内用户主被叫无法实时扣费，MSC/SSP所下话单不包含智能网标识。 上述方案2、3可根据机型特点交叉使用，保证应急处理的效果。2）业务疏导优先级：优选方案1，次选方案2，当用户所漫游VLR O-CSI无法更新，用户无法主叫时，根据用户规模等具体情况，实施方案。3）疏通后的测试验证：通过统计、信令监测、拨打测试等方式，验证业务疏通的成功和网络的安全运行。4）业务恢复后的倒回：在SCP故障恢复后，应该结合不同的疏通方案进行相应的倒回。另外根据实际需要，配合相关部门进行SCP话费补扣工作。SCP高负荷技术预案：由于大量套餐用户本地被叫免费，在SCP高负荷情况下，通过取消该SCP用户被叫智能网签约触发，降低SCP 负荷.优选在HLR对MSC/VLR进行被叫签约消息屏蔽，次选在MSC/SSP内删除用户智能被叫触发数据。注：上述方案可能导致故障SCP内用户主被叫无法实时扣费，MSC/SSP所下话单不包含智能网标识。因此在高负荷恢复后，根据实际需要，配合相关部门进行SCP话费补扣工作。VOMS系统故障目前在北京、上海、广州各建设有一套VOMS系统，负责全国如意通充值卡数据的管理。在VOMS出现不可恢复性灾难时，技术预案如下：1）故障VOMS（ERROR）系统提供充值卡数据，在北京、上海、广州任意一个工作正常的VOMS（OK）系统加载充值卡数据。 2） 各地SCP将指向故障VOMS（ERROR）的充值卡段指向VOMS（OK）。IP放音设备故障1）技术预案：IP放音主要包括两类： 采用TUP/ISUP信令，通过接入码接入IP放音设备进行放音； 采用CAP信令，SCP通过PA或PC消息指示IP放音设备进行放音。当IP放音设备故障，需采用其他备用放音设备（备用IP，或具备放音能力的SSP）进行放音。 当采用接入码方式进行放音，需在IP/SSP进行相应数据配置。 当采用SCP控制的放音方式，优先考虑修改省内SCP数据，恢复省内放音能力，并根据故障的处理时长，适当考虑省外SCP数据的修改，恢复省际用户的漫游放音。2、华为SCP六、SGSN业务疏导方案1、SGSN业务疏导方案SGSN出现故障或高负荷情况下，分组2、3G分组业务同时受影响。由于2G和3G无线网不同方式接入至SGSN，各省可根据本省分组业务量等具体情况，选择优先疏导2G或3G业务，具体疏导方案如下：SGSN故障1）3G分组业务疏导方案：A、疏通原则：在不影响业务将要疏导至SGSN的原有业务，及SGSN承载容量和资源都具备的前提下，RNC调整的优先级为：重点地市的热点地区；一般地市的热点地区B、疏通措施：a. 各省事先规划好地市RNC与所归属SGSN异常情况下能够疏导至的其他SGSN之间的疏导关系，其中要充分考虑SGSN容量负荷情况。b. RNC侧和业务疏导至SGSN侧预先配置好用户层面和控制层面的数据脚本。c. 在SGSN发生阻断时在RNC和业务疏导至的其他SGSN上分别执行应急预案的脚本。d. 通过ping包等手段验证RNC至新SGSN信令和业务均可达。e. 疏通后测试验证手机用户的附着成功率、激活成功率以及受影响地市手机用户主要业务是否正常。C、业务恢复后的倒回：在原SGSN故障完全恢复后，在业务空闲时段，选择性地将小部分受影响业务倒回。待测试业务完全正常后，分批次分步骤将受影响的RNC业务倒回，倒回过程中需关注SGSN、HLR等相关核心设备的关键性能指标，以防倒回业务量过大，造成对相关核心网元的冲击。倒回完成后进行充分连通性测试、业务质量测试。2）2G分组业务疏导方案：A、疏通优先级：若其他SGSN有空余Gb口，依据先重点地市的热点地区后一般地市的热点地区的顺序进行跳线转接，将阻断的热点地区业务先行抢通。B、疏通措施：在其他SGSN端口、容量、板卡等条件具备的情况下，可以将阻断SGSN上2G的Gb over TDM电路通过传输的端口汇聚成155M、或直接调用本省2M传输电路，接入到其他SGSN上，在该SGSN上配置相关数据来疏导2G的数据业务。C、业务恢复后的倒回：原则同3G业务SGSN高负荷1）3G分组业务疏导方案：A、疏导措施：a. 在其他SGSN容量、端口等资源具备的情况下，优先选择疏导重点地市RNC的数据业务至其他SGSN，疏导步骤及测试倒回等原则同阻断情况。b. 若其他SGSN容量不具备接纳疏导业务的条件，SGSN可有选择性地限制优先级较低的小区拒绝其接入网络。c. 若负荷仍然较高，已引起设备阻断的可能，则可在SGSN上关闭一些非业务相关的进程，以及启动CPU过阀机制等设备自身保护功能。B、业务恢复后的倒回：在负荷降低后，分批次分步骤将已割接走的RNC业务倒回，倒回过程中需关注SGSN、HLR等相关核心设备的关键性能指标，以防倒回业务量过大，造成对相关核心网元的冲击。倒回完成后进行充分连通性测试、业务质量测试。2）2G分组业务疏导方案：A、疏通措施：a. 在其他SGSN容量、端口等资源具备的情况下，优先选择疏导重点地市BSC的数据业务至其他SGSN，疏导步骤及测试倒回等原则同故障情况。b. 若其他SGSN容量不具备接纳疏导2G分组业务的条件，SGSN可有选择性地限制优先级较低的2G小区拒绝其接入网络。 c. 若负荷仍然较高，已引起设备阻断的可能，则可在SGSN上关闭一些非业务相关的进程，从SGSN侧将拥塞NSVC闭塞，以及启动CPU过阀机制等设备自身保护功能。B、业务恢复后的倒回：在负荷降低后，分批次分步骤将已割接走的BSC业务倒回，倒回过程中需关注SGSN、HLR等相关核心设备的关键性能指标，以防倒回业务量过大，造成对相关核心网元的冲击。倒回完成后进行充分连通性测试、业务质量测试。2、应急维护流程应急维护流程 - 系统产生紧急告警按照相应告警的告警处理建开始议进行处理联系设备厂家，等待支援结束故障消失？否是应急维护流程 - 系统无响应应急维护流程 - 用户投诉无法上网应急维护流程 - 用户投诉无法激活PDP应急处理流程6 机框内冒烟或有烧焦味道系统内部故障应急处理流程3、爱立信SGSN3.1RNC与SGSN疏导规划爱立信现网有4个SGSN，其中SGSN02与SGSN05分别位于河西与鼓楼机房，覆盖苏州；SGSN06位于鼓楼，覆盖常州及镇江；SGSN07位于河西，覆盖无锡。业务疏导，建议采用如下备份：1. SGSN06与SGSN07互为备份2. SGSN02与SGSN05互为备份以下为SGSN的Gn-GTP-C及Iu-SS7信息：NodeGn-GTP-CIu-GTP-CIu-GTP-USGSN02220.206.131.12910.242.191.283110.242.191.3263SGSN05220.206.131.22510.242.191.656810.242.191.69SGSN06220.206.131.22910.242.191.707310.242.191.74SGSN07220.206.131.16910.242.191.1410.242.191.5对于2G业务，建议采用如下方法进行疏导：1. 确保备份E1链路状态正常；2. 在备份SGSN上增加Gb配置数据；3. DNS上修改对应BSC路由区信息，指向备份SGSN。对于3G业务，建议采用如下方法进行疏导：1. 确保RNC到备份SGSN的IP路由可达；2. 在备份SGSN上增加RNC配置数据；3. RNC侧修改SGSN数据，指向备份SGSN；4. DNS上修改对应RNC路由区信息，指向备份SGSN。以下为现网BSC及RNC路由区相关信息：RAI MCC-MNC-LAC-RACGn-GTP-CSGSN460-01-2009-0220.206.131.129SGSN02460-01-17680-0220.206.131.129SGSN02460-01-17681-0220.206.131.129SGSN02460-01-17682-0220.206.131.129SGSN02460-01-17683-0220.206.131.129SGSN02460-01-17685-0220.206.131.129SGSN02460-01-17686-0220.206.131.129SGSN02460-01-17688-0220.206.131.129SGSN02460-01-20090-0220.206.131.129SGSN02460-01-53528-1220.206.131.129SGSN02460-01-53529-1220.206.131.129SGSN02460-01-53530-1220.206.131.129SGSN02460-01-53531-1220.206.131.129SGSN02460-01-53532-1220.206.131.129SGSN02460-01-53535-1220.206.131.129SGSN02460-01-53533-1220.206.131.225SGSN05460-01-53534-1220.206.131.225SGSN05460-01-53536-1220.206.131.225SGSN05460-01-53537-1220.206.131.225SGSN05460-01-13360-1220.206.131.229SGSN06460-01-13361-1220.206.131.229SGSN06460-01-13363-1220.206.131.229SGSN06460-01-17429-1220.206.131.229SGSN06460-01-17431-1220.206.131.229SGSN06460-01-17432-1220.206.131.229SGSN06460-01-17433-1220.206.131.229SGSN06460-01-53600-1220.206.131.229SGSN06460-01-53601-1220.206.131.229SGSN06460-01-53602-1220.206.131.229SGSN06460-01-53603-1220.206.131.229SGSN06460-01-53616-1220.206.131.229SGSN06460-01-53617-1220.206.131.229SGSN06460-01-53618-1220.206.131.229SGSN06460-01-13073-1220.206.131.169SGSN07460-01-13074-1220.206.131.169SGSN07460-01-13075-1220.206.131.169SGSN07460-01-13076-1220.206.131.169SGSN07460-01-13077-1220.206.131.169SGSN07460-01-13078-1220.206.131.169SGSN07460-01-13079-1220.206.131.169SGSN07460-01-53568-1220.206.131.169SGSN07460-01-53569-1220.206.131.169SGSN07460-01-53570-1220.206.131.169SGSN07460-01-53571-1220.206.131.169SGSN07460-01-53572-1220.206.131.169SGSN07460-01-53573-1220.206.131.169SGSN073.2数据脚本 由于目前SGSN05上还没有2G业务，以下Gb配置包含了SGSN02，SGSN06和SGSN07：对于3G业务，SGSN上的相关配置如下：3.3疏导后测试验证方案3.4业务倒回方案利用备份配置，采用与业务疏导相同的方式进行业务倒回。测试验证方案见疏导后测试验证方案。4、华为SGSN4.1RNC与能够疏导至SGSN之间的疏导关系规划地市所属SGSNGTP-CGTP-U备用SGSNGTP-CGTP-U连云港SGSN4220.206.131.65220.206.131.66SGSN1220.206.131.17220.206.131.18 220.206.131.19宿迁徐州南京SGSN1220.206.131.17220.206.131.18 220.206.131.19SGSN3220.206.131.21220.206.131.22 220.206.131.23扬州泰州南通SGSN3220.206.131.21220.206.131.22 220.206.131.23SGSN1220.206.131.17220.206.131.18 220.206.131.19淮安盐城4.2备份系统数据4.3业务疏导至SGSN侧用户层面和控制层面的数据脚本七、GGSN业务疏导方案1紧急事故的界定所谓紧急事故，是指发生突然、影响面广、涉及范围大、并可对网络的安全运行与服务质量造成严重后果的设备事故或网络事故。常见的现象包括：l 大量用户无法激活l 大量用户无法进行数据业务l 大量用户数据业务使用不正常，速率慢、时断时续l 系统的CPU占用率持续过高l 性能统计指标出现大幅下降紧急事故在此定义为大量移动用户不能通话或使用数据业务。紧急事故属于极端情况，一般告警台在紧急事故发生前会有异常告警出现，可以通过业务调测或用户投诉现象确定是否发生紧急事故。我们可以从两个方面对与GGSN有关的紧急事故进行界定：l 按事故影响到的设备功能进行界定，即判断本次事故是否为设备类事故l 按事故影响到的业务范围进行界定，即判断本次事故是否为业务类事故1.1设备类事故设备类事故表现在GGSN整机或者主要部件运行发生了故障，导致在网络中发生了功能完全丧失或大部分丧失的恶性事故。在故障定位的过程中，当出现以下任何一种情况时，我们称GGSN发生了设备类事故：l 所有机柜全部供电故障l GGSN插框供电故障l GGSN单板硬件故障l GGSN线缆故障l 业务模块瘫痪业务模块瘫痪是指某个业务模块发生了功能完全丧失的恶性事故，主要表现为该业务模块所对应的主备用单板的运行均出现了故障或“宕机”。1.2业务类事故业务类事故表现为GGSN提供的业务出现全局或局部阻塞。1.2.1全局业务阻塞全局业务阻塞是指GGSN发生了长时间的、全局范围内的业务中断或呼叫阻塞事故。在故障定位的过程中，当出现以下任何一种情况时，我们称GGSN发生了全局业务阻塞事故：l 大面积的全局业务受到影响l 硬件线路、电源等导致的全局业务中断l 大话务量时的全局业务阻塞l 全部用户无法进行数据业务l 全部用户数据业务使用不正常，速率慢、时断时续1.2.2局部业务阻塞局部业务阻塞是指GGSN发生了长时间的、局部范围内的业务中断或呼叫阻塞事故。在故障定位的过程中，当出现以下任何一种情况时，我们称GGSN发生了局部业务阻塞事故：l 某个APN（Access Point Name）配置不全或配置错误引起的故障l 某种业务的故障（如WAP业务）l 某个局向（如SGSN）的用户无法接入l 某块单板上的业务无法进行（可以根据分配的用户地址来判断）l 部分用户数据业务使用不正常，速率慢、时断时续2应急维护的基本原则紧急事故很容易导致大面积的用户呼叫阻塞、设备瘫痪、业务中断等严重后果，具有很大的危害性。为提高紧急事故的处理效率、并尽最大的限度降低此类事故的损失，运营商在维护设备之前，应充分考虑并遵循以下应急维护的基本原则：1. 应急维护以快速恢复设备的正常运行与业务的提供为核心，因此，提高紧急事故处理效率的关键是：运营商应参考GGSN与相关部件的应急维护手册及时制定各种紧急事故的处理预案，并定期组织相关管理人员与维护人员进行学习、演练。2. 维护人员在上岗前必须接受必要的应急维护培训，学习判断紧急事故的基本方法、掌握处理紧急事故的基本技能。3. 当系统或设备发生紧急事故时，维护人员应保持镇静，检查GGSN的硬件设备、承载网等的运行是否正常，即判断事故的起因是否由GGSN引起，如果是，请参照紧急事故处理预案或参考本手册中的相关流程进行事故处理。4. 在发生紧急事故的情况下，为保护BAM硬盘上的重要数据信息，在设备厂家的技术服务人员提供帮助之前，严禁对BAM执行格式化硬盘的操作。5. 在紧急事故的处理过程中，维护人员应及时联系华为公司客户服务中心或华为公司驻当地办事处，以便能够快速获取华为公司的技术支持。6. 当维护人员完成紧急事故的处理以后，请及时采集与本次事故有关的设备故障告警信息，并将相关的事故处理报告、设备告警文件、日志文件等发送给设备厂家进行分析与定位，以便设备厂家能够更好地为运营商提供售后服务。应急维护的核心指导思想是快速恢复设备的运行并且正常提供业务。应急维护包含以下步骤：l Error! Reference source not found.l Error! Reference source not found.l Error! Reference source not found.l Error! Reference source not found.l Error! Reference source not found.l Error! Reference source not found.l Error! Reference source not found.l Error! Reference source not found.3应急维护流程应急维护流程如0所示。应急维护流程4 GGSN业务疏导方案GGSN故障1）疏通措施：A、省内单台GGSN：需各省与其他省市提前制定联动方案，确定故障发生时可以通过Gn口将业务疏导到哪些省份。在本省GGSN阻断时，业务疏导方式为：修改省级DNS数据将本省所有用户APN解析指向至承担业务疏导省的GGSN地址，并请承担业务疏导的省份修改计费、WAP等业务平台，确保用户部分业务可用。注：由于联通分组网为回归属地接入原则，且采用归属地GGSN的G-CDR话单作为用户计费话单，在采用上述方式疏导业务后，用户话单将产生在其他省GGSN上，需要与计费部门配合，完成对用户费用的核减。B、省内GGSN多于一台：其中1台出现故障不会引起业务的中断，但要注意流量的增长情况，以防负荷过大引起业务质量的下降，甚至设备的阻断。若GGSN设备全不可用，则参见上条单GGSN的处理方法。2）测试验证：在GGSN上观察PDP激活成功率情况，并使用本省和本身漫出的测试卡进行wap/net/彩信业务使用测试3）业务恢复后的倒回：在GGSN设备已经完全恢复的情况下，在DNS上按号段逐步解析到已恢复的GGSN上，在倒回过程中注意业务测试.GGSN高负荷1）疏通措施：A、省内GGSN多于1个：a. 若GGSN为全省共用，此时每台GGSN流量都已达到高负荷，则需在SGSN侧对业务进行限制，限制优先级参见SGSN方案。若业务仍持续高负荷，根据各省情况保障重点业务(3Gwap/3Gnet/Uniwap/Uninet/行业应用APN)； b. 若GGSN分地市接入，则需在省级DNS上修改解析地址，减少指向高负荷GGSN的号段；c. 选择本省部分SGSN，修改其内部DNS解析指向，直接指向本省负荷较低GGSN 的IP地址。B、省内GGSN只有1个：a. 有选择性地限制SGSN、原则参见SGSN；b. 若负荷仍然较高，已引起设备阻断的可能，则可在GGSN上关闭一些非业务相关的进程，或在GGSN上开启只保障重点APN业务功能，以及启动CPU过阀机制等设备自身保护功能。2）测试验证：观察GGSN的CPU和内存等指标是否下降到安全范围，在GGSN上观察PDP激活成功率情况，并使用本省和本省漫出的测试卡进行wap/net/彩信业务使用测试。3）业务恢复后的倒回：在GGSN设备已经完全恢复的情况下，在DNS上按号段逐步解析到已恢复的GGSN上，在倒回过程中注意业务测试和PDP激活成功率情况。4.1华为GGSNGGSN业务疏导步骤1、现联通有2台华为GGSN，GGSN1的GTP-U地市为220.206.131.33，GGSN2的GTP-U地址为220.206.131.125/126，在2台DNS上准备3套脚本，第一套脚本其host地址指向GGSN1和GGSN2，第二套脚本只指向GGSN1，第三套脚本只指向GGSN2.2、当GGSN1出现问题时，运行第三套脚本取代现有DNS配置，将所有SGSN的解析指向GGSN2，同时每台SGSN清除各自的DNS cache3、当GGSN2出现问题时，运行第二套脚本取代现有DNS配置，将所有SGSN的解析指向GGSN1，同时每台SGSN清除各自的DNS cache。4、测试验证：观察GGSN的CPU和内存等指标是否下降到安全范围，在GGSN上观察PDP激活成功率情况，并使用本省和本省漫出的测试卡进行wap/net/彩信业务使用测试5、业务恢复后的倒回：在GGSN设备已经完全恢复的情况下，在DNS上按号段逐步解析到已恢复的GGSN上，在倒回过程中注意业务测试和PDP激活成功率情况GGSN的配置文件备份八、DNS业务疏导方案1、DNS业务疏导方案影响范围：本省用户在省内使用分组业务、本省用户漫出使用分组业务、漫入本省的外省或国际用户使用分组业务；疏导优先级：对于漫入漫出用户是通过全国DNS解析回归属地接入，而全国DNS的服务范围为全国，若通过全国DNS修改，影响面较大，因此优先考虑疏导本省用户在省内使用移动分组业务。省级DNS故障说明：目前各省都设置两台省级DNS主备负载分担，其中一台阻断，不会影响业务；此处指两台省级DNS全部阻断。1）疏通措施：通过对本省全部SGSN修改本局内部DNS解析指向，绕过访问省级DNS解析的过程，直接指向本省GGSN 的IP地址。（注：该操作将恢复本省用户在省内的业务使用，省外漫入用户可以激活在本省GGSN进行业务使用、省内漫出用户将依然DNS解析失败、无法使用业务。）注：在采用上述方式疏导业务后，省外漫入用户将接入至拜访省GGSN上，用户话单将产生在拜访省GGSN上，需要与计费部门配合，完成对用户费用的核减。2）测试验证：通过在SGSN观察DNS解析成功率情况，并使用本省和外省漫入的测试卡进行业务使用测试（包括WAP浏览、彩信收发、Internet访问）。3）业务倒回：在省级DNS故障完全恢复，及经过各项测试后，选择业务闲时，将SGSN的DNS解析指向配置进行修改倒回，并进行各项业务使用测试，确保业务正常。省级DNS高负荷1）疏通措施：根据高负荷情况，选择本省部分SGSN，修改其本局内部DNS解析指向，绕过访问省级DNS解析的过程，直接指向本省GGSN 的IP地址。（该操作不影响该SGSN下本省用户的业务使用，省外漫入用户将激活在本省GGSN进行业务使用、省内漫出用户将可以在DNS解析成功、正常使用业务。）注：在采用上述方式疏导业务后，省外漫入用户将接入至拜访省GGSN上，用户话单将产生在拜访省GGSN上，需要与计费部门配合，完成对用户费用的核减。2）测试验证：观察省级DNS的CPU和内存利用率是否按预期下降，并在SGSN观察DNS解析成功率情况，并使用本省和外省漫入的测试卡进行业务使用测试（包括WAP浏览、彩信收发、Internet访问）。3）业务恢复后的倒回：在省级DNS负荷降低并稳定后，及经过各项测试后，选择业务闲时，将已修改的SGSN的DNS解析指向配置进行修改倒回，并进行各项业务使用测试，确保业务正常。(10)全国DNS影响范围：移动分组省际漫游业务、国际漫游业务疏导优先级：优先考虑疏导移动分组省际漫游业务全国DNS故障说明：目前北京、广州各设置两台全国DNS主备负载分担，其中一台阻断，不会影响业务；北京、广州四台根DNS全部故障阻断或者路由不可达的情况下，将影响省际漫游业务、国际漫游业务；此处指四台全国DNS全部阻断。1）疏通措施：对于全国DNS故障阻断的情