长春电信通信保障应急预案(节假日,重大社会互动,自然灾.doc

长春电信通信应急保障预案长春电信通信应急保障预案 目录 目录 一 紧急情况的定义一 紧急情况的定义 2 2 二 故障处理要求二 故障处理要求 2 2 三 现场处理要求三 现场处理要求 3 3 四 应急处置原则四 应急处置原则 4 4 五 应急处置工作规范五 应急处置工作规范 5 5 六 应急处置保密制度六 应急处置保密制度 5 5 七 故障上报要求七 故障上报要求 5 5 八 故障上报范围八 故障上报范围 6 6 九 故障上报时间九 故障上报时间 6 6 十 应急处置流程十 应急处置流程 7 7 十一 应对节假日和重大社会活动及自然灾害的安全预十一 应对节假日和重大社会活动及自然灾害的安全预 案案 8 8 一 紧急情况的定义一 紧急情况的定义 紧急情况是指移动网发生重大通信故障 遇到自然灾害 网络 严重超负荷 经历重大社会活动等 重大通信故障 凡因违章操作 突发事故造成通信大面积中断 或计费营帐系统大范围差错 引起大量用户集中投诉 造成重大经 济损失和不良社会影响的故障 自然灾害 如台风 雷电 地震 洪水等 网络严重超负荷 凡系统负荷和网络负荷超过正常指标并造成 网络通信质量大幅度下降等情况 重大社会活动 国家法定的公众长假及党和政府召开的全国重 要会议或其他重要展览等 二 故障处理要求二 故障处理要求 各级运行维护部门的首要目标为恢复通信 尽全力缩短故障历 时 各级运行维护部门应遵循先抢通 后分析 先局内 后局外 先本端 后对端 先交换 无线 后传输的原则进行处理 各级运行维护部门必须尽快采取有效措施处理故障 同时应立 即逐级上报上级主管部门 在特殊情况下可以越级上报 以便及时 得到有效的技术支持和帮助 移动专业运行维护人员在处理故障时 未经上级运行维护部门 同意 不得擅自对交换机 基站控制器 PDSN AAA SERVER DNS NTPSERVER 等关键设备进行重启 以免造成更大范围 的影响 移动专业运行维护人员在处理故障时 必须对现场各种告警信 息 故障显示 故障记录报告等进行认真分析处理 一般应不影响 正在通话的用户或任意扩大影响范围 并严格按照各设备厂商提供 的故障诊断手册 设备操作手册等规定的命令和操作方法进行处理 三 现场处理要求三 现场处理要求 1 各省分公司移动专业运行维护部门的首要目标为恢复通信 尽全力缩短障碍历时 2 各省分公司移动专业运行维护部门应遵循先抢通 后分析 先局内 后局外 先本端 后对端 先交换 无线 后传输的原则 进行处理 3 各地市分公司移动专业运行维护人员在进行现场处理时 未 经各省分公司移动专业运行维护部门同意 不得擅自对交换机及基 站控制器进行重启 以免造成更大范围的影响 4 移动专业运行维护人员必须对现场各种告警信息 障碍显示 障碍记录报告等进行认真分析处理 一般应不影响正在通话的用户 或任意扩大影响范围 并严格按照各设备厂商提供的障碍诊断手册 设备操作手册等规定的命令和操作方法进行处理 具体参考附件各 设备厂商应急处理技术方案 5 各地市分公司移动专业运行维护部门在紧急情况发生时 除 尽快采取有效措施进行处理外 还应立即逐级上报上级主管部门 在特殊情况下可以越级上报 对于各种无法处理的情况 应立即报 告各省分公司移动专业运行维护部门 以便及时得到有效的技术支 持和帮助 四 应急处置原则四 应急处置原则 统一指挥 协同作战 数据 关口局及互联网业务应急小组应 在省分应急领导机构领导 统一指挥下工作 遇到突发事件 应急 小组应根据本预案要求和处置办法 认真履行各自职责 密切配合 协同作战 充分发挥整体效能 实时监控 加强防范 加强对数据 关口局及互联网业务网络 的实时监控和防范 一方面要防止不法分子利用本网络进行破坏 另一方面要加强对本网络的监控力度 及早发现网络及系统隐患 提前做好应急处置工作 快速反应 控制事态 突发事件发生时 应急处置小组可以根 据预案总原则 在迅速上报上级相关单位的同时 及时采取行之有 效的措施 防止事态进一步扩展蔓延 将对网络和业务的损失和危 害降至最小 全程记录 追查根源 发生紧急事故时 应急小组首先要及时 做好事故情况记录 以便与各有关部门紧密配合 追查事故根源 并积极协助相关单位进行处理 定期交流 提高应急处置能力 急处置小组应定期召开应急处 置工作交流会 定期通报各自的工作情况 及时总结 交流应急处 置经验 提高自身应急处置能力 五 应急处置工作规范五 应急处置工作规范 应急处置小组必须及时响应 处理各种网络应急事件 确保数 据 关口局及互联网业务网络安全 畅通运行 工作时间内所有处置系统均保证正常工作 各工作人员按应急 工作流程工作 确保各应急处置值班电话 7X24 小时的畅通 并认真进行电话记 录工作 应急小组对所有处理的事件要有详细记录 并定期提交给 上级应急领导小组 遇到不能判定或特殊情况 须及时向上级应急领导小组说明 由上级协调相关单位进行处理 六 应急处置保密制度六 应急处置保密制度 确保应急事件处置系统和信息数据存放于安全的网络环境中 并定期进行备份 确保相关文件 数据的保密性 非相关人员不得接触此类文件 和数据 应急小组的信息交流必须确保安全性 防止因中间环节疏漏造 成信息泄密 应急处置小组必须确保所提供的各种信息的准确性 七 故障上报要求七 故障上报要求 故障上报流程采取三级管理方式 地市运行维护部门直接向省 分运行维护部门报告 并由后者汇总后上报至总部移动通信业务部 各分公司必须严格按照规定时限执行 八 故障上报范围八 故障上报范围 移动通信网现网使用的所有移动通信主备用设备均须属于汇报 的范围 包括 TMSC STP MSC SSP ECP GMSC HLR SCP SMP VC BSC BTS OMC DNS NTP SERVER PDSN AAA SERVER ROUTER 移动网管系统等 属于汇报范围的传输电路 包括 互联互通中继 省际长途中 继 省内长途中继 局间中继 国际漫游电路等 属于移动通信网重大故障 严重故障和一般故障必须按照各自 相关要求进行上报 造成移动通信网用户投诉增加的其它故障必须上报 九 故障上报时间九 故障上报时间 重大故障 地市运行维护部门必须立即向省分运行维护部门上 报 后者应立即上报至总部移动通信业务部并组织排障工作 重大 故障自故障发生至上报到总部移动通信业务部的时间不得超过 30 分 钟 故障排除后 应立即填写 移动通信网故障上报表 在 24 小时 内上报至总部移动通信业务部 5 个工作日内上报详细的故障报告 同时每月将本月发生的重大故障进行汇总以月报方式上报总部移动 通信业务部 严重故障 地市运行维护部门必须立即向省分运行维护部门上 报 后者应立即组织排障工作 同时在 60 分钟内将最新情况上报至 总部移动通信业务部 故障排除后 应立即填写 移动通信网故障 上报表 在 48 小时内上报至总部移动通信业务部 同时每月将本月 发生的严重故障进行汇总以月报方式上报总部移动通信业务部 一般故障 省分运行维护部门负责网络故障的处理 分析 统 计 每月进行一次汇总并以月报方式上报总部移动通信业务部 十 应急处置流程十 应急处置流程 寻求其它支持 发生紧急事件 应急处置小组 否 是 是否需要寻求帮助 向省分相关部门寻求支持 问题解决决 否 报省分相关部门 记录并确定事件级别 记录处理解决事件 恢复数据 事件处理报告 报告上级相关 部门 结束 是 一般事件严重事件 十一 应对节假日和重大社会活动的安全预案十一 应对节假日和重大社会活动的安全预案 重要节假日 重要节假日 春节 元旦 五一 十一 话务高峰节假日 话务高峰节假日 中秋节 圣诞节 重大社会活动 重大社会活动 两会 3 15 5 17 国际电信日 汽博会 农博会 奥运会 亚冬会 在节假日和重大社会活动期间 应该严格确保系统稳定运行 当有故障出现时应该及时恢复系统运行 由于很多相关人员都在此 期间放假或如有问题时的社会及政治影响很严重 所以应该以节假 日和重大社会活动前对系统的检查为主 并积极做好当故障时应急 处理的准备工作 以便及时恢复系统稳定 否 1 节假日和重大社会活动前的准备工作 节假日和重大社会活动前的准备工作 1 1 节假日和重大社会活动前维护工作注意事项节假日和重大社会活动前维护工作注意事项 1 避免在节假日期间对系统进行复杂操作和升级任务 2 节假日前要组织人员对系统进行全面的健康检查和机房安全巡查 检查步骤应该参照日常系统检查文档 如有可能的情况下可以邀请 厂家工程师协助对系统进行检查和网络安全性分析 要确保在重要 节假日前系统无任何隐患存在 如发现问题 应及时解决 如自行 无法解决 应与厂家工程师联系解决 3 索取厂家工程师在节假日的值班表及联系方式 这可以保证当问 题出现时 可以及时取得厂家的技术支持 并把联系表张贴在机房 醒目的位置 4 定期检查远程拨入系统是否可用 通过拨号进入系统检测拨入系 统是否可用 如拨入不成功 检查调制解调器电源是否接通 面板 灯是否正常 检查电话线是否可通 如都无问题 仍然无法拨入系 统 与厂家联系检查系统配置是否有问题 春节 元旦等节日 要注意监控交换机处理器系统负荷 重要网元 的信令负荷和重要局向的话务负荷 具体观察项目如下 1 1 交换系统信令负荷观察交换系统信令负荷观察 MSC 至 HLR 接口 分析方法及应急方案 A 负荷超过 0 35 立即增加 LINK 数量 B 如 LINK 数量已满配置 且负荷超过 0 4 调整延长 BSS 周期性位置登记及 MSC 中 DETACH TIMER C 调整参数后 如 LINK 负荷仍超过 0 4 并且引起 LINK 拥塞或 HLR OVERLOAD 并引起大量呼叫失败 建议减 小无线覆盖 MSC 至 MSC 接口 分析方法及应急方案 A 负荷超过 0 4 立即增加 LINK 数量 B 如 LINK 满配置 如 MSC 之间有大量的切换消息 可删 除 MSC 之间的切换关系 减少 MSC 之间的 MAP 信令负 荷 MSC 之间的 TUP ISUP 负荷一般不会很高 MSC 至 BSC 接口 分析方法及应急方案 A 负荷超过 0 35 立即增加 LINK 数量 B 如 LINK 数量已满配置 且负荷超过 0 4 调整延 长 BSS 周期性位置登记及 MSC 中 DETACH TIMER 并 取消鉴权 C 调整参数后 如 LINK 负荷仍超过 0 4 并且引起 LINK 拥塞或系统 OVERLOAD 减小无线覆盖 MSC 至 PSTN 接口 分析方法及应急方案 A 负荷超过 0 4 立即增加 LINK 数量 B 负荷超过 0 4 并无增加 LINK 可能 且 LINK 出现拥 塞 通过两个 G 网及 PSTN GATWAY 话务调整 均衡 话务及 LINK 负荷 如无效 通知 PSTN 进行响应调 整 C 如 PSTN 无法进行调整 且出现 LINK 拥塞 则闭塞 部分至 PSTN 话路 减小信令负荷 2 2 主要中继局向每线话务观察主要中继局向每线话务观察 MSC 至 MSC 接口 分析方法及应急方案 A 话务量每线 ERL 超过 0 8 两侧增加中继传输 并根据 GW 至 PSTN 话务情况 调整 SP 至 GW 话务路由指向 B 话务量每线 ERL 达到满负荷 且无增加中继传输可能 操作如下 1 在 SP 及 GW 中取消至 PSTN 去话的话务迂回路由 2 在 GW 下闭塞至 PSTN 的部分中继 C 在呼叫严重溢出情况下 可通过将 GW 至 PSTN 中继改为 单向去话中继 闭塞 PSTN 来话 保证至 PSTN 去话 以 减少 MSC 之间 PSTN 呼叫 MS 的话务量 MSC 至 PSTN 接口 分析方法及应急方案 A 话务量每线 ERL 超过 0 8 两侧增加中继传输 并根据 GW 至 PSTN 话务情况 调整 SP 至 GW 话务路由指向 B 话务量每线 ERL 达到满负荷 且无增加中继传输可能 通知 ALCATEL 技术人员 并密切观测系统运行情况 C 在呼叫严重溢出情况下 可通过将 GW 至 PSTN 中继改为 单向去话中继 闭塞 PSTN 来话 保证至 PSTN 去话 MSC 至 BSC 接口 分析方法及应急方案 A 话务量每线 ERL 超过 0 8 两侧增加中继传输 并根 据 GW 至 PSTN 话务情况 调整 SP 至 GW 话务路由指向 如 话务量每线 ERL 达到满负荷 且无增加中继可能 减小无 线覆盖 1 2 节假日期间系统故障出现时应急处节假日期间系统故障出现时应急处理方案理方案 1 通过拨测 判断是否是全业务中断 通过在交换机系统中 进行 trace 或通过信令监测系统观查通话情况判定故障影 响范围和故障程度 并记录故障出现的时间 中断业务的 情况 2 跟具故障上报规定及时将故障情况报告相关领导 视故障 程度决定是否需要厂家技术支持人员提供现场技术支持 3 根据附件中的紧急情况的定义 采取相应的措施 如出现 宕机情况按照 系统宕机应急处理流程 处理 4 配合厂家工程师分析解决问题 如有必要开启远程拨入系 统 开启方法即接通拨入系统的调制解调器电源 5 5 记录问题的发生时间和有关情况 1 3 节假日期间预防交换设备宕机事故节假日期间预防交换设备宕机事故注意事项注意事项 1 节假日前应提前检查系统运行情况 做好日常系统检查工 作 检查步骤可以参照日常系统检查文档 2 节假日期间要加强对机房温度 湿度和环境设备的巡视工 作 良好的环境是保证系统稳定的运行的前提 尤其要注 意在高温季节时注意巡检空调系统运行的情况 3 节假日期间要注意及时报告并解决系统出现的各种异常问 题 避免由于小问题引起的宕机事故 4 节假日期间要避免进