大客户应急预案模板.doc

中国电信股份有限公司茂名分公司 茂名职业技术学院茂名职业技术学院 应急保障预案应急保障预案 负责部门 政企客户支撑中心负责部门 政企客户支撑中心 报障电话电话 报障电话电话 0668 966861120668 96686112 客户经理 林徽徽客户经理 林徽徽 技术支持工程师 黄伟平技术支持工程师 黄伟平 茂名职业技术学院应急保障预案 I 目目 录录 1 概述概述 1 1 1 编写目的 1 1 2 编制依据 1 1 3 适用范围 1 1 4 修订说明 1 2 网络及业务现状网络及业务现状 2 2 1 网络及业务整体概述 2 2 1 1 业务基本信息 2 2 1 2 业务特殊信息 2 2 2 网络及业务详细情况 3 2 2 1 网络路由或组织结构图 3 2 2 2 重要业务开放情况 3 业务描述业务描述 3 需重点关注事宜需重点关注事宜 3 2 2 3 主节点设备及端口信息 3 2 2 4 可用的冗余资源 4 3 应急处置组织体系应急处置组织体系 5 3 1 组织构成 5 3 2 职责分工 5 3 3 人员及联系方式 5 4 事件或故障定义描述事件或故障定义描述 7 4 1 事件或故障定义和描述 7 4 2 事件或故障的影响面分析 7 5 事件或故障处置原则事件或故障处置原则 8 5 1 处置原则 8 5 1 1 例如 预案的启动原则 8 5 2 业务领导关系 8 6 应急处置流程应急处置流程 9 6 1 启动流程 9 茂名职业技术学院应急保障预案 II 6 2 通传通报流程 9 6 3 终止流程 10 6 4 事件处置流程 11 7 应急处置方案应急处置方案 12 7 1 传输 基础数据专业电路应急预案 12 7 1 1 电路级调度预案 12 7 1 2 光缆类故障预案 12 7 1 3 网络系统级故障预案 12 7 1 4 网络节点故障预案 13 7 1 5 板卡故障预案 13 7 1 6 跨地域故障预案 13 7 1 7 抢修器材 车辆准备 14 7 2 电源故障预案 14 8 预案风险描述预案风险描述 15 9 其它其它 16 茂名职业技术学院应急保障预案 第 1 页 共 19 页 1 概述概述 1 1 编写目的 建立针对茂名技术学院电路应急恢复工作机制 保证客户的重要通信网络在应急状态下的业务恢复工作能 迅速 高效 有序地进行 最大程度地降低重大灾害 事件 故障等对通信业务的损害 1 2 编制依据 中国电信网络应急恢复总体预案 中国电信国际和国内骨干网应急恢复预案 国家通信保障应急预案 广东省通信保障应急预案 广东电信大客户故障管理办法 广东电信现行维护体制及相关规章制度 1 3 适用范围 本预案是茂名技术学院使用电信网络的应急恢复预案 适用于在故障时客户电信网络的应急恢复工作 1 4 修订说明 版本版本日期日期作者作者描述描述审核审核 V1 02009 7 2李剑光初稿罗勇 V2 02009 11 30黄伟平罗勇 茂名职业技术学院应急保障预案 第 2 页 共 19 页 2 网络及业务现状网络及业务现状 目前该用户共租用了 3 条电路 30M 办公上网电路 10M VPN 互联电路到茂名学院 10M 到中专部 学生宿舍上网采用拨号认证方式 2 1 网络及业务整体概述 2 1 1 业务基本信息 目前该用户共租用了 3 条电路 30M 办公上网电路 10MVPN 互联电路到茂名学院 10M 到 中专部 学生宿舍上网采用拨号认证方式 业务等级 业务等级 本地客户 A 类 主备路由情况主备路由情况 客户租用电信网络为主用 无其他服务商电路做备用 2 1 2 业务特殊信息 本地级高等教育院校 A 类重点客户 茂名职业技术学院应急保障预案 第 3 页 共 19 页 2 2 网络及业务详细情况 2 2 1 网络路由或组织结构图 2 2 2 重要业务开放情况 业务描述业务描述 目前该用户共租用了 3 条电路 30M 办公上网电路 10MVPN 互联电路到茂名学院 10M 到 中专部 学生宿舍上网采用拨号认证方式 需重点关注事宜需重点关注事宜 重点报障的电路为 30M 办公网 端到端电路可用率不低于 99 99 2 2 3 主节点设备及端口信息 用户办公上网使用华为 6502 作为核心交换机 工宿舍 教学机房 办公网三部分的网络 走 S6503 的 30M 互联网出口 即这三部份当做是其学院的局域网管理 然后通过华为 Z200 茂名职业技术学院应急保障预案 第 4 页 共 19 页 防火墙接入互联网 其网站服务器组通过防火墙保护接入 学生生宿舍上网割接到公众互联网平台做认证 走 S8505 的上联 GE 出口 S8505 的上联 链路方面 从光华小区接入网机房改跳光纤到油八路六楼数据机房新增的华为 S9306 交换机 经过宽带接入流量负载调度系统的工控机后 接入 IP 城域网 S8512 再接入 ME60 宽带接入 服务器 在省公众平台做接入 认证 2 2 4 可用的冗余资源 用户办公上网使用华为 6502 作为核心交换机 然后通过华为 Z200 防火墙接入互联网 其网站服务器组通过防火墙保护接入 用户 30M 办公上网电路故障时可以通过在 6503 上修 改路由指向 通过 8506 上的出口接入互联网 实现双路由备份 光路报障 光路报障 由于用户接入的光缆没有不同物理路由 所以如果客户接入段光缆中断引起的故障 等待相 关部门进行紧急抢修 当光路发生故障时 利用光缆中剩余的空闲纤芯进行紧急调度 临时调通一条备用光路 可 以快速的修复故障 茂名职业技术学院只有一条光路路由 如果光路中断 无法调度 板卡故障预案板卡故障预案 局端采用 RC512 光板接入 一但烧坏可及时更换 茂名职业技术学院应急保障预案 第 5 页 共 19 页 3 应急处置组织体系应急处置组织体系 3 1 组织构成 中中国国电电信信广广东东公公司司 综综合合部部 13 茂茂名名市市分分公公司司 政政企企客客户户中中心心网网络络运运营营部部 资资源源管管理理中中心心 政政企企客客户户支支撑撑中中心心 I IT T支支撑撑中中心心 网网络络维维护护中中心心 网网络络监监控控中中心心 无无线线网网络络维维护护中中心心 管管线线维维护护中中心心 网网络络发发展展部部 负责网络和技术发展 规划 设计 投资计 划管理 技术方案编 制 项目立项和项目 实施 负责政企客户市 场发展工作 收 集客户需求 根 据客户需求制定 营销方案策划 业务洽谈 业务 受理 客户服务 管控 负责本地网络 设备 资源的运营和维护管 理 指挥 协调各维护 中心做好售后维护工 作 确保网络 设备的 安全稳定运行 中中国国电电信信茂茂名名分分公公司司 3 2 职责分工 网络运营部作为运行维护管理部门 负责对各部门预案制定 执行 完善情况进行管理和考核 网络监控中心负责全局网络监控 为故障处理第一责任人 网维中心负责电信局端网络设备维护及电信机房 含机楼和接入间 内光 电路维护 政支中心负责客户网络设备维护及电信机房 含机楼和接入间 内光 电路维护 3 3 人员及联系方式 涉及部门涉及部门联系人联系人联系电话联系电话备用资源备用资源 客户联系人叶永利2920568 客户经理林徽客户工程师黄伟茂名职业技术学院应急保障预案 第 6 页 共 19 页 涉及部门涉及部门联系人联系人联系电话联系电话备用资源备用资源 本地监控中心戴梅本地客户端维护黄伟本地骨干网维护李振本地光缆维护苏雪紧急用车粤 K24393 粤 K09837 粤 K02837 茂名职业技术学院应急保障预案 第 7 页 共 19 页 4 事件或故障定义描述事件或故障定义描述 4 1 事件或故障定义和描述 风险事件风险事件 编号编号 风险事件名称风险事件名称风险事件的详细描述风险事件的详细描述 与总体预案中四级安全事与总体预案中四级安全事 件的映射关系件的映射关系 1传输网络中断 因电路路由上任一点的传输设备 连接线 缆 光缆光纤等原因引起的电路中断 导 致客通信终端 定性 待集团的给出后补充 4 2 事件或故障的影响面分析 按上述定义对相应事件或故障可能造成的业务 网络质量 网络性能等影响情况进行预测与简要分析 可能造成的业务 网络质量 网络性能等影响情况进行预测与简要分析 风险事件评定风险事件评定风险事件风险事件 编号编号 风险事件名称风险事件名称风险事件可能的影响风险事件可能的影响 影响程度影响程度发生概率发生概率 1传输网络中断 影响客户进行上网办公的质量 全部 中断时会导致不能办公 严重低 茂名职业技术学院应急保障预案 第 8 页 共 19 页 5 事件或故障处置原则事件或故障处置原则 5 1 处置原则 该预案用于在客户电信网络出现故障 影响客户业务使用时启动 预案的启动 指挥由茂名分公司网监中心负责 预案的现场实施由网维中心 政支中心负责 预案实施后 是否实施回退或何时实施回退必须在征得客户许可的前提下进行 5 1 1 例如 预案的启动原则 根据客户电路业务等级划分 故障具有不同的时限 紧急调度工作启动的时间点按照实际处理历时与总体 时限的比例进行控制 实际处理历时达总体时限 1 3 时 要求各维护单位应准备实施应急方案 实际处理历时达 总体时限 1 2 时 则开始启动应急方案 如遇有影响客户特别敏感的业务或对应线路在重点保障期间内的情况的 则由网监中心决定是否提早启动应急方案 5 2 业务领导关系 应急调度按照 先抢通 后修复 的原则执行由茂名电信分公司网监中心进行统一调度 需要跨地区调度 时由茂名电信分公司网监中心上报广东省电信 NOC 调度 在接到客户故障申告或网监中心 各级维护部门主动 发现故障后算起 至指定时间点经网监中心下达启动应急预案 各单位根据预案要求进行实施 在实施完成后 向网监中心汇报执行情况 网监中心在向客户证实后 进行销障归档 如客户发现业务未恢复 则重新检查预 案执行中是否有误 如在修复过程中发现需要进行资源变更的 则由修复实施部门向资源管理中心发起故障资 源变更流程 茂名职业技术学院应急保障预案 第 9 页 共 19 页 6 应急处置流程应急处置流程 6 1 启动流程 流程 环节 责任部门本环节具体职责 2 现场维护 部门 现场处理部门接收故障后 安排专 业技术人员进行处理 4 现场维护 部门 现场维护部门提前通知厂家和研究 院进行技术支撑 1 网络监控 中心 网络监控中心接收故障申告启动应 急预案演练 3 网络监控 中心 网监中心将故障情况通过短信或电 话通知网运部相关领导 5 网络监控 中心 各 维护部门 网络监控中心或现场维护部门启动 应急预案 4 通知厂家技术支 持人员及研究院 3 通知相关 领导 1 应急恢复 流程触发 开始 2 故障处理 是否重大 故障 是 是否需启动网络 应急恢复预案 终止 否 否 A 5 启动应急预案 是 6 2 通传通报流程 茂名职业技术学院应急保障预案 第 10 页 共 19 页 流程 环节 责任部门本环节具体职责 2 网络监控 中心 网络监控中心通知各维护部门应急 预案执行进展情况 4 网络监控 中心 网络监控中心通知集团公司相关人 员应急预案执行进展情况 1 网络监控 中心 网络监控中心预先制订各级传报人 员列表 并根据实际情况添加各专 业应急预案处理人员进行传报 3 网络监控 中心 网络监控室通知省NOC相关人员应 急预案执行进展情况 5 网络监控 中心 现 场维护部 门 网络监控中心或现场维护部门通知 客户应急预案执行进展情况 A 1 确定各级传 报通知人员列表 3 通知省 NOC进展情 况 是否需向省 NOC汇报 是 是否需知会 各维护部 门 2 通知各维 护部门进展 情况 是 否 是否需向集 团公司汇报 否 4 通知集团 公司 是 B 否 是否需通知 客户 5 通知客户 是 流程 环节 责任部门本环节具体职责 2 现场维护 部门 现场维护部门继续跟进解决故障 1 网络监控 中心 由网监中心对故障解决情况进行确 认 如果还有遗留问题 负责通知 各维护部门继续跟进解决 B 1 故障解决 情况确认 3 编写故障 通报 故障是否 解决 否 C 是 2 继续解决 故障 3 网络监控 中心 由网络监控中心编写故障通报 6 3 终止流程 茂名职业技术学院应急保障预案 第 11 页 共 19 页 流程 环节 责任部门本环节具体职责 2 网络监控 中心 应急预案执行后 故障解决 由网 络监控中心通知相关人员 1 现场维护 部门 应急恢复预案执行后 现场维护部 门继续进行故障处理 B 1 处理故障 2 通知相关 人员 故障是否 恢复 否 C 是 6 4 事件处置流程 流程 环节 责任部门本环节具体职责 2 现场维护 部门 网 络监控中 心 现场维护部门对市内类似网元进行 排查 并将结果反馈网络监控中 心 统一安排时间进行事故隐患清 理 4 现场维护 部门 网 络监控中 心 现场维护部门通知设备厂商 通知 网络监控中心督促厂商落实整改进 度 1 现场维护 部门 现场维护部门对故障情况进行深入 分析 查找故障原因 3 网络监控 中心 网络监控中心通知相关人员 5 现场维护 部门 网 络监控中 心 现场维护部门通知设备厂商 通知 网络监控中心督促厂商落实整改进 度 A 1 分析故障原 因 3 通知相关 领导 故障人为误 操作 是 故障有代表 性 2 消除省内 相应事故隐患 是 否 设备硬件故 障 否 4 通知设备 厂商 是 B 否 设备软件故 障 5 通知设备 厂商 是 否 6 编写故障分 析报告 6 现场维护 部门 现场维护部门牵头编写故障分析报 告 茂名职业技术学院应急保障预案 第 12 页 共 19 页 7 应急处置方案应急处置方案 7 1 传输 基础数据专业电路应急预案 7 1 1 电路级调度预案 传输数字电路传输数字电路 客户所用电路如发生个别电路故障 可使用传输设备预留端口进行临时抢通 如发生板卡 节点或者多个 电路同时故障的情况 分别按照板卡 节点故障的应急预案进行故障处理 用户空闲端口情况 7 1 2 光缆类故障预案 由于用户机房接入的光缆没有不同物理路由 所以如果客户接入段光缆中断引起的故障 等待相关部门进 行紧急抢修 当光路发生故障时 利用光缆中剩余的空闲纤芯进行紧急调度 临时调通一条备用光路 可以快速的修复 故障 7 1 3 网络系统级故障预案 应急方案 1 应对复用段环未正常倒换的紧急方案 业务现占用资源情况 在业务详细信息中已列出 预案启用的条件及优先顺序 1 核实系统故障情况 光缆中断 复用段误码严重 线路板失效 2 尝试通过网管强制启动系统保护倒换 3 倒换成功 启动相关故障处理流程 4 倒换失败 如能快速修复 则修复故障 如不能短时间修复 则采用抢通设备抢通电路 详细方案描述 1 如发生线路误码 线路板故障 光路故障 由系统自动倒换或者由网监中心强制启动系统保 护倒换 2 如强制倒换失败 华为 metro1000 设备利用空闲光路抢通 2M 电路 网维抢通设备在油八路 24 楼网维备件库 抢通顺序按照业务等级逐个抢通 3 涉及的相关人员包括 用户端 政企客户支撑中心 机楼 网络维护中心 茂名职业技术学院应急保障预案 第 13 页 共 19 页 7 1 4 网络节点故障预案 保障方案 方案一 如果短时间内能修复故障 则采用抢修设备 用户电路的接入段具体抢修预案如下 SDH 设备 配置为 63 个 2M 其支路板卡应最少预留 1 个光 电口 3 个 2M 当在用端口发生故障时 先调 通电路至备用端口 再对端口进行修复 8M 光端机的 2M 端口发生故障时 同样可利用光端机的备用端口进行调通 再对故障端口进行修复 方案二 使用抢通设备 84M 光端机抢通 网维抢通设备在油八路 24 楼网维备件库 空闲端口资料 7 1 5 板卡故障预案 因所用数字电路出现板卡故障 如不影响业务 采用正常 故障处理流程 如影响客户业务 则采用如 下方案 方案一 如果短时间内能修复故障 则采用更换板卡方式抢通 如短时间内无法恢复 则采用下面方案 网维所需板卡可从较场西大院一楼网维备件中心仓库或者传输室备件库领取 方案二 采用同机房同局向的本设备或其它设备空余端口调通 方案三 使用抢通设备 8M 光端机抢通 网维抢通设备在油八路 24 楼网维备件库 7 1 6 跨地域故障预案 客户全部电路长途段都开放在环形保护系统上 对于一点故障系统能在 50ms 内自动倒换到备用方向 恢复 业务 同时中国电信会启动应急预案恢复原主用通道 以保证系统有主备用热备份 对于承载客户电路长途段的省内干线系统 中国电信股份有限公司广东分公司统一制定应急调度预案