2009年城域网应急预案

鄂尔多斯 电信 2009年城域网应急预案 2009年 8月 目录 一、总则 . 3 1、编制目的 .3 2、编制依据 .3 3、分类分级 .3 4、适用范围 .3 5、工作原则 .4 二、组织体系 . 5 1、领导机构与职责 .5 2、工作机构与职责 .5 3、技术支撑队伍 与职责 .5 4、厂商售后服务队伍与职责 .6 三、运行机制 . 6 1、预警机制 .6 2、应急处置 .12 3、应急处置后评估 .29 4、信息发布 .30 四、应急保障 . 30 1、人力保障 .30 2、备件保障 .33 五、监督管理 . 33 1、预案演练 .33 2、宣传和培训 .33 六、附则 . 34 1、预案管理 .34 七、附件 . 34 1、事件分级标准 .34 2、应急管理工作流程 .36 一、总则 1、编制目的 为了保障数据网络的正常运行，在出现突发性 故障或系统瘫痪时，能有效及时的组织相关维护人员，采取紧急措施，在最短的时间内恢复网络的正常通信，将意外事故的损失减少到最低程度， 保障网络提供服务的可 持续性，确保在服务品质协议（ SLA） 定义的时限内恢复所 承诺的服务 。 2、编制依据 依据运维 200627 号 -关于组织开展网络安全评估和完善应急保障预案工作的通知 (1)，根据内蒙电信网络发展现状制定本预案。 3、分类分级 本预案按照网络层次分级， 鄂尔多斯 电信数据 IP 网分为：城域网核心 层 、业务控制层、汇聚接入层。 4、适用范围 本预案适用于 鄂尔多斯 电信 IP 城 域网。 5、工作原则 本预案工作原则：优先恢复业务原则；城域网核心优先于业务控制层，业务控制层优先于汇聚接入层原则；按照业务重要等级优先恢复原则；按照用户服务等级优先恢复原则。 （ 1）业务恢复原则 故障发生时，不同等级业务、业务网络按照不同的优先顺序进行恢复的原则。 （ 2）应急预案体系 城域网数据网整体应急预案 城域网核心 业务控制层 汇聚接入层 电路中断 设备故障 路由异常 电路中断 设备故障 路由异常 电路中断 设备故障 路由异常 二、组织体系 1、领导机构与职责 领导机构： 网运部主任： 燕龙 区公司数据专业主管：狄光 职责： 1、组织应急预案的定期更新； 2、协调处理预案实施、演练等工作。 2、工作机构与职责 工作机构： 维护中心数据专业维护人员：王斯日古楞、郝如意、 王剑 职责： 1、负责应急预案定期更新工作的具体实施； 2、具体进行预案实施、演练等工作。 3、技术支撑队伍与职责 技术支撑队伍： 区公司网运部、 鄂尔多斯 网运部 职责： 1、 负责应急预案中涉及城域网设备的预案实施； 2、解决 鄂尔多斯 分公司申请支撑的技术问题。 4、厂商售后服务队伍与职责 厂家售后服务队伍： 华为公司技术支撑队伍 中兴公司技术支撑队伍 职责： 1、配合应急预案定期更新工作的具体实施； 2、配合具体进行预案实施、演练等工作。 三、运行机制 1、预警机制 （ 1）网络分析评估 鄂尔多斯 针对网络安全进行分析的工作机制和相关管理制度如下： 规定由网络监控人员通过数据网管 7*24小时对全省数据网（城域网 BAS设备到省出口间的各级电路流量、设备性能）进行监控；每周 /月对全市 总出 入流量、盟市出入流量、 155M电路出入流量、 2.5G电路出入流量进行分析 ,针对带宽能力进行分析、平均流速和峰值流速进行分析，确定是否设备资源使用情况，带宽利用率、是否需要扩容、流量异常增长下降原因等。 监测人员每班进行三次据链路连通性测试并将测试结果保存以及随时观察网管告警情况结果。 数据链路连通性测试 A、连通性及时延、丢包测试 ping t 测试 （目前我省访问 网站的 IP 地址： 8，用于检测 鄂尔 多斯 NE80E 与省干设备链路状况 ） ping 32 t 天津 DNS 测试 1 （用于检测 鄂尔多斯 NE80E 与省干设备链路状况，以及测试天津 DNS 是否可达，我省主用 DNS 是天津 DNS） ping 30 t 山东 DNS (测试山东 DNS 是否可达 , 我省备用 DNS 是山东 DNS) 路由测试 A、 tracert 网站： B、 tracert 天津 DNS: 网管监控情况 鄂尔多斯 IP 城域网后期可以利用的监控 终端有 N2000 网管做实时监控网络情况， N2000 网管可以监控到 IP 网的城域网核心层、业务控制层以及汇聚接入层所有华为设备，并可通过 N2000 网管直接管理这些设备；通过 Netcool 告警平台可以实时监控省骨干层所有设备的运行情况，通过 IP 三期网管系统可以实时监控 鄂尔多斯出城域网流量、 鄂尔多斯 互联中继流量、以及城域网各汇聚设备的流量的出入平均和峰值流量。 A、正常情况下流量分布情况： 鄂尔多斯中心局 NE80E 至呼市 M320 2.5G POS 链路正常情况下流量图： 鄂尔多斯中心局 NE80E至通辽 Cisco 12416 2.5G POS 链路正常情况下流量图： 鄂尔多斯火车站 NE80E 至呼市 M320 2.5G POS 链路正常情况下流量图： 鄂尔多斯火车站 NE80E至 通辽 Cisco 12416 2.5G POS 链路正常情况下流量图： 鄂尔多斯中心局 NE80E至鄂尔多斯火车站 NE80E 2.5G POS 链路正常情况下流量图： 鄂尔多斯中心局 NE80E 至中心局 NE40E GE 链路正常情况下流量图： 鄂尔多斯中心局 NE80E 至火车站 NE40E GE 链路正常情况下流量图： 鄂尔多斯中心局 NE80E 至准旗 NE40E GE 链路正常情况下流量图： 鄂尔多斯中心局 NE80E 至达旗局 NE40 GE 链路正常情况下流量图： 鄂尔多斯火车站 NE80E 至中心局 NE40E GE 链路正常情况下流量图： 鄂尔多斯火车站 NE80E 至火车站 NE40E GE 链路正常情况下流量图： 鄂尔多斯火车站 NE80E 至准旗 NE40E GE 链路正常情况下流量图： 鄂尔多斯火车站 NE80E 至达旗局 NE40-8 GE 链路正常情况下流量图： 鄂尔多斯中心局 NE80E 至中心局 ME60-16 GE 链路正常情况下流量图： 鄂尔多斯中心局 NE80E 至火车站 ME60-16 GE 链路正常情况下流量图： 鄂尔多斯中心局 NE80E 至准旗 ME60-8 GE 链路正常情况下流量图： 鄂尔多斯中心局 NE80E 至达旗 ME60-8 GE 链路正常情况下流量图： 鄂尔多斯中心局 NE80E至伊旗 MA5200G-4 GE链路正常情况下流量图： 鄂尔多斯中心局 NE80E 至棋盘井 MA5200G-2 GE 链路正常情况下流量图： 鄂尔多斯火车站 NE80E 至中心局 ME60-16 GE 链路正常情况下流量图： 鄂尔多斯火车站 NE80E 至火车站 ME60-16 GE 链路正常情况下流量图： 鄂尔多斯火车站 NE80E 至准旗 ME60-8 GE 链路正常情况下流量图： 鄂尔多斯火车站 NE80E 至达旗 ME60-8 GE 链路正常情况下流量图： 鄂尔多斯火车站 NE80E至伊旗 MA5200G-4 GE链路正常情况下流量图： 鄂尔多斯火车站 NE80E 至棋盘井 MA5200G-2 GE 链路正常情况下流量图： 鄂尔多斯中心局 NE80E 至中心局 E1000 GE 链路正常情况下流量图： 鄂尔多斯火车站 NE80E 至中心局 E1000 GE 链路正常情况下流量图： B、鄂尔多斯 出城域网 2.5G 电路中断时流量图： 以下为相应的 A 设备 D 设备之间的流量图。 当中心机房 NE80E至呼市 M320出现中断时，中心机房 NE80E至通辽 Cisco 12416 流量图： 2、应急处置 （ 1）应急管理调动处理流程 数据网络主要包括 IP 网络、基础网络以及相关的后台支撑系统，在以上网络或系统发生紧急网络故障时，网络维护部负责牵头启动应急调动预案进行故障处理的调度，现场维护部分按照相应的紧急故障处理预案处理故障 。 应急调动 流程如下图： 处理流程图如下： 设备整台故障 板卡故障 电路中断 路由问题 其他原 因 （ 2）应急响应 鄂尔多斯 电信 IP 城域网网络结构如下： 城域网出口电路中断 1、 中心机房 NE80E 至呼市 M320 2.5G POS 电路故障 立即上报内蒙古区公司网管中心及运维 部，如果 2.5G POS 链路中断后，所有出城域网 流量都会通过 火车站 NE80E 至通辽 Cisco 12416 的 2.5G POS 链路转发所以此时需密切注意 火车站 NE80E 至通辽 Cisco 12416 的 2.5G POS 链路流量情况；查看传输网管，如果是传输电路中断引起的，则协调传输专业尽快处理；如果是 NE80E 路由器设备或单板故障，应积极区公司的指挥调度，做好现场维护工作，尽快解决问题。 2、 火车站 NE80E 至通辽 Cisco 12416 2.5G POS 电路故障 立即上报内蒙古区公司网管中心及运维部， 如果 2.5G POS 链路中断后，所有出城域网流量都会通过中心机房 NE80E至 呼市 M320的 2.5G POS链路 转发所以此时需密切注意 中心机房 NE80E 至 呼市 M320 的 2.5G POS 链路流量情况；查看传输网管，如果是传输电路中断引起的，则协调传输专业尽快处理；如果是NE80E 路由器设备或单板故障，应积极区公司的指挥调度，做好现场维护工作，尽快解决问题。 城域网内部中继电路中断 1、 当 SR 或者 BRAS 设备与城域网核心路由器 NE80E 间链路单条链路出现中断时，由于城域网内部运行动态路由协议 OSPF，此 时业务会瞬断几 秒 ， 待城域网路由收敛完成后， 所有业务均从另外一条正常链路上转发数据； 此时，应进行以下操作： a.立即上报内蒙古区公司网管中心及运维部 ，应积极区公司的指挥调度，做好现场维护工作； b.检查互联端口 link 灯是否处于常亮状态，若处于 down 状态，此时应该第一时间重新布放尾纤恢复链路，再进行测试； c.若更换尾纤后，物理端口 link 灯仍不处于常亮状态，则应更换相应的光模块，以免光模口烧坏或者其它情况造成光口不能正常转发数据； 2、 当其中一台 SR 设备的两条上行链路均出现问题时，若短时间内不能恢复链路，应将 该台 SR 设备上的所有业务暂时割接至另一台正常的 BRAS 设备上，再进行故障排除； 此时，应进行以下操作： a.立即上报内蒙古区公司网管中心及运维部 ，应积极区公司的指挥调度，做好现场维护工作； b.在大汇聚交换机上，将三层业务 vlan 透传至正常 运行 的 BRAS 设备上； c.在 BRAS 设备上，配置三层业务的网关，同时发布该业务路由段； 3、 当其中一台 BRAS 设备的两条上行链路均出现问题时； 此时，应进行以下操作： a.立即上报内蒙古区公司网管中心及运维部 ，应积极区公司的指挥调度，做好现场维护工作； b.若是 单板故障引起，及时将备件单板换上，把原上行 2 路光纤更换到备板上，配置数据恢复上行 c.若是整机故障， 第一时间 将 大汇聚交换机 8905 跳纤到 ODF，通过局间光缆连接至另一局点的 BRAS 上 ，将 PPPOE 业务或者 Wlan 业务全部强制倒换至另一台正常的 BRAS 进行认证； 为快速切换业务要提前布放 8905 至 ODF 和 BRAS至 ODF 的光纤。 （此条适用于大汇聚通过裸光纤上行至 BRAS） d若是整机故障，第一时间将另一局点正常运行的 BRAS 通过光纤连至传输7500/3500，协调传输人员将 8905 上行业务通道做到此正常的 BRAS 上，将PPPOE 业务或者 Wlan 业务全部强制倒换至这台正常的 BRAS 进行认证；为快速切换业务要提前布放 BRAS 至传输设备的光纤。（此条适用于大汇聚通过传输上行至 BRAS） e.在正常的 BRAS 设备上，查看用户上线数量，确保业务已经正常； Display access-user domain dslam_pppoe Display access-user domain lan_pppoe Display access-user domain wlan_web 4、 当 大汇聚交换机 8905 至 BRAS 设备互联链路 出现中断时； 此时，应进行以下操作： a. 立即上报内蒙古区公司网管中心及运维部 ，应积极区公司的指挥调度，做好现场维护工作； b. 查看传输网管，如果是传输电路中断引起，则协调传输专业尽快处理； c. 若是光模块烧坏或者其它情况造成光模块不能正常转发数据，则更换光模块，则进行测试； d. 若是尾纤出现问题，则应将提前布放的备用尾纤直接接入传输设备的端口，再进行测试； e. 若是 8905 或 ME60 单板故障，立即调用备件，并调整 相关 数据到备板上 5、 当大汇聚交换机与两台 BRAS 或者两台 SR 设备互联链路出现中断时 ； 此时，应进行以下操作： a. 立 即上报内蒙古区公司网管中心及运维部 ，应积极区公司的指挥调度，做好现场维护工作 ； b. 第一时间联系传输人员及数据维护人员进行链路恢复； 鄂尔多斯 城域网设备故障 1、 NE40E/NE80E 出现异常 a.按照上面链路故障的方法先将业务恢复至正常的设备上 ； b.立即上报内蒙古区公司网管中心及运维部 ，应积极区公司的指挥调度，做好现场维护工作； c.硬件障碍： 1)尝试用 telnet、远程拨号方式登陆，查看告警路由器告警信息，并根据在现场看到的设备面板告警信息，判断障碍点。 2)若判断为板卡电源模块等硬件故障，需要确 认是否有冗余板位，如果有可以将业务调整到冗余板位；如果有可用端口，将故障端口割接到可用端口。 3)若为关键板件（如路由引擎、电源等）故障，且启用冗余板位后业务仍不能恢复，立即调拨备件，备件上架后，及时与区公司网运部联系，配置软件信息，恢复业务。 4)若由于设备板卡吊死等不明原因引起的故障，则将搜集至的设备告警和板卡状态等信息上报给区公司网运部和网管中心，并将业务割接至备用板卡上。在厂商确认、区公司网运部及区公司网管中心认可后，在确定不会对现有业务有更严重影响的前提下 ，重启部件或设备。 2、 ME60出现异常 a.按照上面链路故障的方法先将业务恢复至正常的设备上， b.立即上报内蒙古区公司网管中心及运维部 ，应积极区公司的指挥调度，做好现场维护工作； c.硬件障碍： 1)尝试用 telnet、远程拨号方式登陆，查看告警路由器告警信息，并根据在现场看到的设备面板告警信息，判断障碍点。 2)若判断为板卡电源模块等硬件故障，需要确认是否有冗余板位，如果有可以将业务调整到冗余板位；如果有可用端口，将故障端口割接到可用端口。 3)若为关键板件（如 路由引擎、电源等）故障，且启用冗余板位后业务仍不能恢复，立即调拨备件，备件上架后，及时与区公司网运部联系，配置软件信息，恢复业务。 4)若由于设备板卡吊死等不明原因引起的故障，则将搜集至的设备告警和板卡状态等信息上报给区公司网运部和网管中心，并将业务割接至备用板卡上。在厂商确认、区公司网运部及区公司网管中心认可后，在确定不会对现有业务有更严重影响的前提下，重启部件或设备。 3、 8905出现异常 a.按照上面链路故障的方法先将业务恢复至正常的设备上， b.立即上报内蒙古区公司网管中心及运维部 ，应积极区公司的指挥调度，做好现场维护工作； c.硬件障碍： 1)尝试用 telnet、远程拨号方式登陆，查看告警路由器告警信息，并根据在现场看到的设备面板告警信息，判断障碍点。 2)若判断为板卡电源模块等硬件故障，需要确认是否有冗余板位，如果有可以将业务调整到冗余板位；如果有可用端口，将故障端口割接到可用端口。 3)若为关键板件（如路由引擎、电源等）故障，且启用冗余板位后业务仍不能恢复，立即调拨备件，备件上架后，及时与区公司网运部联系，配置软件信息，恢复业务。 4)若由于设备板卡吊死等不明原因引起的故障，则将搜集至的设备告警和板卡状态等信息上报给区公司网运部和网管中心，并将业务割接至备用板卡上。在厂商确认、区公司网运部及区公司网管中心认可后，在确定不会对现有业务有更严重影响的前提下，重启部件或设备。 4、 DDOS攻击情况 DDOS 攻击概念： DoS 的攻击方式有很多种，最基本的 DoS 攻击就是利用合理的服务请求来占用过多的服务资源，从而使合法用户无法得到服务的响应。DDoS 攻击手段是在传统的 DoS 攻击基础之上产生的一类攻击方式。其原理如下图一所示。单一的 DoS 攻击一 般是采用一对一方式的，当攻击目标 CPU 速度低、内存小或者网络带宽小等等各项性能指标不高它的效果是明显的。随着计算机与网络技术的发展，计算机的处理能力迅速增长，内存大大增加，同时也出现了千兆级别的网络，这使得 DoS攻击的困难程度加大了 -目标对恶意攻击包的 消化能力 加强了不少，于是分布式的拒绝服务攻击手段（ DDoS）就应运而生了。 DDoS 利用了更多的傀儡机来发起 DOS 攻击，以比从前更大的规模来攻击受害者。 DDOS 攻击现象： 出现 DDOS 网络攻击时，被攻击端网络及主机会出现一下的现象： 1、被攻击主机上有大量 等待的 TCP 连接 2、网络中充斥着大量的无用的数据包，源地址为假 3、制造高流量无用数据，造成网络拥塞，使受害主机无法正常和外界通讯 4、利用受害主机提供的服务或传输协议上的缺陷，反复高速的发出特定的服务请求，使受害主机无法及时处理所有正常请求 5、严重时会造成系统死机，网络严重拥塞 SYN-Flood 是目前最流行的 DDoS 攻击手段，利用了 TCP/IP 协议的固有漏洞。据现网监测上的统计，目前网络中存在大量的 DDOS 攻击，在 ChinaNet 网络中，平均每天监测到的攻击有 500 个左右。所有的攻击中， TCP SYN 攻击占全部 DDOS 攻击的 90%左右，而其中攻击流量较大的类型是 TCP SYN、 ICMP、 TCP RST。面向连接的 TCP 三次握手是 Syn Flood 存在的基础。 TCP/IP 建立连接需要经过三次握手，而攻击者在发送了第一次 Syn 后，不再发送第二次 Syn 信息，导致被攻击者一直等待发送方的 Syn 信息直到超时，而攻击方通过发送大量的 Syn 信息，导致被攻击方 cpu 资源耗尽而无法提供正常服务。 DDOS 检测措施： 在省骨干网和城域网汇聚层以上网络，可以利用北方 IP 三期数据网管97:2003/nms/login.jsp 以及北方 DDOS 攻检测工具 Arbor Networks Peakflow 50/ 进行日常监控、当然还可以通过在设备上查看 Access-List 匹配方式来检测网络攻击。在城域网汇聚层以下的网络中，由于 IP 三期数据网管不能检测到该层面的电路流量情况，因此，可以使用北方 DDOS 攻检测工具Arbor Networks Peakflow 50/ 和Access-List 的检测等方法，还 可以采用一些二层网络的检测及使用协议分析技术进行攻击检测。 利用北方 IP 三期数据网管进行日常监控 各盟市以及区维护中心网络监控以及维护人员可登录该系统，然后查看网络所监控范围内的电路波动图，如发现流量异常突然增加，则可初步考虑是否受到了 DDOS 攻击，然后查找被攻击主机以及攻击源，即时上报并实施封堵或者清洗工作。 下面是包头一用户遭受来至通辽方向省外 DDOS 攻击时，包头 IP 城域网上行呼和以及通辽出口 2.5G 电路流量检测情况。分析流量图可以发现在区呼和出口方向流量正常的情况下，去通辽出口方向入流量突然增加 ，可以初步判断是包头 IP 城域网内 IP 地址遭到了来自通辽方向省外 DDOS 攻击。 InPCore 包头 R3-呼和浩特 R1 2.5G流量观察基准端 :A 端 启动即时流量监控 A 端 |NM-BT-AE-A-3.163:Pos3/0/0(10) B 端|NM-HH-HCZ-A-1.163 :so-7/0/0.0(09) InPCore 包头 ML.A1-通辽 A1 2.5G流量观察基准端 :A 端 启动即时流量监控 A 端 |NM-BT-ML-A-1.163:Pos1/0/0(4) B 端|NM-TL-HP-A-1.163:POS9/0/0(3) InPCore 包头 R3-呼和浩特 R1 2.5G流量观察基准端 :A 端 启动即时流量监控 利用北方 DDOS 攻检测工具 Arbor Networks Peakflow 进行检测 各盟市以及区维护中心网络监控以及维护人员可登录该系统，查看Alerts 菜单下的 Summary 子菜单，在 All Alerts 列表中可以监控到已经匹配了 Networks 设置的过滤特征值的 DDOS 攻击，其中包括攻击源在北方九省以及被攻击地址在北方九省的所有匹配特征 DDOS 攻击。 下面是 10 月 8 日内蒙电信一用户 遭受 IP NULL 类型 DDOS 攻击时检测到的结果，我们可以很快速的发现被攻击的 IP地址为 06，以及攻击源、 PPS 检测情况、攻击流量 BPS 情况、攻击开始时间、结束时间、攻击类型等相关信息，这样我们就可以快速的部署针对性的流量封堵以及申请集团 NOC 进行流量清洗。 通过 Access-List 匹配方式进行检测 由于 Arbor Networks Peakflow 是基于特征值来进行 DDOS 攻击检测的，所有可能有些攻击不能被检测出来，所以我们可以在拥塞发生的端口上绑定 ACL，利用 ACL 匹 配来进行检测。 利用抓包工具进行协议分析来进行检测定位 由于攻击可能会发生在省网或者某个城域网内部，这时我们无法借助北方系统进行检测，这样通过 PING、 TRACERT 等日常工具以及分析设备当时端口流量，将故障定位在小范围内，然后通过使用协议分析工具进行检测定位具体被攻击者或者攻击源。 如下图所示，可以看到，在局域网中存在一个 IP 地址向随机的目的IP 地址发送 ICMP 的 ECHO 信息，因此可以判断该 IP 地址的主机正在攻击别的主机，需要检查该主机并阻断攻击源。 DDOS 防范措施： 目前集团公司已经组织各省建立了互联网网络安全事件防范与处理虚拟团队，旨在加强电信公司内部及与外部安全组织间的信息沟通，加强对异常流量的监测和分析，积极防范 DDOS 攻击。并于 9 月 30 日前在京沪穗的出入口部署完成三套总共 6G 容量的异常流量清洗设备，为关键站点（党政军、重要新闻媒体网站和基础域名服务器）提供网络攻击流量清洗手段。内蒙电信已在网络边缘部署策略进行虚假源地址流量和常见病毒流量的过滤，以充分遏止采用虚假源地址和蠕虫病毒的攻击行为，并完善了网络安全事件上报流程以 及应急处置预案。 DDOS 攻击应急处理流程： 当中国电信网内北京区域的重要网站遭受 DDOS 攻击时，如果攻击源在内蒙电信网内，则区维护中心应全力配合集团 NOC 判断攻击特征和溯源，进行流量清洗或者流量限速的方式对攻击流量进行处理。 当内蒙电信网内的重要网站和域名服务器遭受 DDOS 攻击时，受攻击所在盟市公司维护部以及区维护中心应尽快确定被攻击地址、判定攻击特征，确定攻击来源，同时应向集团北京 NOC 申请调用京沪穗出入口的流量清洗设备对攻击流量进行清洗。如无法对攻击进行有效处理时，在用户同意时可使用“黑洞路由 ”或流量限速方式对攻击流量进行处理。 当内蒙电信网内普通站点遭受 DDOS 攻击，造成省网、城域网、 IDC 拥塞时，可使用“黑洞路由”或流量限速方式对攻击流量进行处理。内蒙电信区维护中心负责提供 7x24 小时的 DDoS 攻击应急响应和技术支撑。 当 DDOS 攻击造成大量用户投诉时，各盟市公司应在处理攻击的同时，做好用户解释工作，和政府相关部门保持密切联系，防止事态的恶化。 应急处理流程图如下： （ 3）网络复原后的处理 故障恢复后首先查看故障点是否完全恢复、确认网络性能正常；其次进行业务测试；在确认 业务已恢复后进入观察期并完成故障分析及报告。 网络正常状态的判别标准（全区 NE80E 路由条目 18347） 根据网络故障发生的层面可通过测试网络连通性测试、网络路由测试来确定网络性能是否恢复正常， 下面是正常情况下从 鄂尔多斯中心局NE40E 到北京以及天津的网络性能及路由。 鄂尔多斯中心局 NE40E 到北京：（ 2009 年 8 月 4 日测试 baidu 网站为例） 鄂尔多斯中心局 NE40E 到 天津 ： 1、 临时抢通的业务电路复原流程 如果是通过传输层倒波后恢复的业务，那么在传输故障恢复后，在将电路倒回前需要做 以下工作：用仪表确认故障电路性能已经完全恢复 确定电路倒回时可能造成的影响并制定相应处理流程 根据业务状况网络层面确定操作时间、人员并通知相关部门 做好倒波前的准备工作 ,包括端口的确认、尾纤的测试、纤缆的布放等 按照倒波流程配合传输专业完成割接 在传输确认倒波完成后检测 IP 网络连通性、网络路由、网络性能。 2、 如果是通过路由调整恢复的业务，那么在将路由复原前需要做以下工作：如果是由于网络病毒或异常流量导致的路由调整，那么确认病毒被查杀或隔离后在进行复 原 、或是异常流量被抑制或过滤后在进行 复员。 3、 如果是一个方向传输故障后通过路由调整将流量引到其他方向恢复的业务，那么需确认故障方向传输恢复后在将流量调整回来。 4、 如果是双节点设备其中一台设备故障，那么在将业务从另一台倒回来前需确认故障设备性能没有问题 在将故障设备接入网络前先将流量全部调整到那台正常设备上 将故障设备接入网络并确认端口设备没有问题可以正常转发数据包 将路由调整复原并观察网络流量、网络路由、网络性能是否恢复。 3、应急处置后评估 分析故障处理是否启用了相应的预案、为什么没有启用或为什么没有相应的应急预案；分 析起用应急预案的效果，是否在规定时间内成功启动了相应的应急预案，重点分析没有成功起用的原因，或者成功了但那些方面还需要改进；分析故障是否在现有应急预案的考虑范围，能否对类似故障制定出相应的应急预案；总结应急预案中不完善的地方并针对故障完善相应应急预案。 4、信息发布 在启动应急预案前按照流程进行对各相关层面部门发送传真的同时通过电子邮件、 OSS 进行预案的发布。信息内容应包括：应急预案启动的原因、时间、地点、具体实施人员；针对的网络层面；详细的应急预案；可能影响的范围等。在启动应急预案完成后向相关部门、人员 发送本次应急的实施过程及分析。 四、应急保障 1、人力保障 下面是北方网管中心、省网监中心、各地市网监中心、各设备厂家相应的负责人及通信方式。根据不同的流程联系不同层面的人员进行故障处理。 1、北方网管中心数据网管中心电话 序号 北方网管 联系电话 1 殷宇晶15320180280 2 杨斌15320180818 3 系统代维4 值班电话 022 58810291， 58810292, 58810295 2、内蒙 电信省网管中心电话 序号 内蒙网管 联系电话 1 狄光13327102217 2 王斯15335580159 3 郝如意15335580156 4 值班电话3、内蒙古电信 IP 网各地市电信分公司 24 小时值班热线电话： 序号 单位 24 小时机房维护值班电话 1 区维护中心2 呼和浩特 0471 3386592 3 通辽 0475 6389000 4 包头 0472 6980000 5 赤峰 0476 5880000 6 鄂尔多斯 0477 3980001 7 呼盟 0470 3990014 8 巴盟 0478 7990003 9 乌海 0473 6990002 10 乌盟 0474 4880001 11 锡盟 0479 6995511 12 阿盟 0483 3990000 13 兴安盟 0482 3980000 4、内蒙古电信 IP 网各地市电信分公司数据专业联系人电话： 序号 单位 姓 名 联系电话 1 呼和浩特市 王学峰玛西巴雅尔2 呼伦贝尔市 崔永军3 包头市 姚程亮4 乌海市 李刚5 乌兰察布市 史凉冰6 通辽市 王辉 15