网络故障应急预案演练脚本

网络故障应急预案演练脚本【适用主体】XX市高新区政务云数据中心（以下简称“中心”）【具体事件类型】大规模网络故障（含链路中断、核心路由失效、DDoS攻击、配置漂移、光缆双断、BGP劫持、DNS污染、机房级掉电等复合场景）———正文———一、风险评估1.诱因矩阵A.外部链路：运营商割接、市政施工挖断、BGP路由劫持、DNS污染。B.内部链路：核心设备Bug、板卡故障、光纤老化、跳线误拔。C.动力环境：UPS电池耗尽、配电柜跳闸、精密空调失效导致高温。D.安全攻击：DDoS流量＞500Gbps、APT团伙横向移动篡改配置。E.人为失误：变更窗口脚本错误、策略推送漏配、VLAN误删除。2.发生等级Ⅰ级（特别重大）：多运营商出口全断或核心路由集群Down，业务不可用＞30min，影响10个以上局委办系统。Ⅱ级（重大）：单运营商出口中断或单核心路由故障，业务受损＞1h，影响5—10个系统。Ⅲ级（较大）：汇聚层链路单点故障，业务抖动丢包＞5%，影响2—4个系统。Ⅳ级（一般）：接入层交换机重启，局部丢包＜5%，影响单系统。3.风险值计算风险值R=P×C×V，其中P为年度发生概率（%），C为影响度（1—5），V为脆弱性（1—5）。例：市政挖断光缆P=12%，C=5，V=4，R=240，属Ⅰ级红色风险，必须做双路由+演练。二、组织架构与职责分工1.应急指挥部总指挥：中心主任（张巍）——对外发布、向区网信办报告、启动Ⅰ/Ⅱ级响应。副总指挥：技术副总（李森）——对内调度、资源拍板、费用授权。成员：网络、系统、安全、动力、业务、综合六组负责人。2.现场工作组网络组（7人）组长：网络运维经理（王骁）——故障定位、割接回退、配置修复。成员：传输岗（赵晗）：OTDR、光功率计、熔接机操作。路由岗（孙悦）：BGP/OSPF策略、Flow分析、黑洞路由。交换岗（周启）：VRRP、MLAG、堆叠拆分。监控岗（郑好）：Zabbix、Prometheus、Grafana实时看板。系统组（5人）组长：系统运维经理（刘倩）——虚机漂移、存储多路径、K8s集群。安全组（4人）组长：安全运维经理（陈凯）——流量清洗、WAF、IPS、溯源报告。动力环境组（4人）组长：动力主管（吴强）——UPS、柴油发电机、精密空调、极早期烟感。业务组（3人）组长：业务运营经理（胡月）——受影响系统清单、用户通知、降级方案。综合协调组（3人）组长：行政主管（林杉）——餐饮、交通、酒店、外部专家合同、保险理赔。3.外部接口人运营商：移动（接口人马工139xxxx）、电信（接口人宋工138xxxx）、联通（接口人韩工137xxxx）。公安网安：网安支队（刘警官188xxxx）。厂商：华为（金牌服务商王工）、H3C（渠道李工）、Juniper（TAC张工）。三、分阶段处置流程阶段0日常预防（T365~T1）资源清单：双活出口：移动/电信/联通各2×100G，BGPAS号xxxxx，社区属性100:100/200:200。核心路由：JuniperMX304×2、华为NE40E×2，全冗余主控+电源+风扇。光缆物理：A、B路由管井，A沿XX路，B沿XX河，地理隔离＞500m。工具：OTDR（ViaviMTS4000）、熔接机（Fujikura90S）、跳纤（OS2LCLC3m200根）。备件：100GLR4光模块40只、万兆多模100只、主控板4块、电源模块8块。文档：最新拓扑（Visio+NetBox）、端口表（Excel+API）、配置基线（GitLab）。责任人：网络组传输岗赵晗，每月第1个工作日巡检并更新。阶段1故障发现（T0）触发条件：监控告警：出口流量跌零、BGP邻居Down、丢包＞5%、RTT＞200ms。用户报障：电话、钉钉、邮件、值班微信。外部通报：运营商NOC、网信办、12345热线。操作步骤：1.监控岗郑好30s内语音播报：“所有岗位注意，疑似Ⅰ级网络故障，立即进入2号会议室。”2.网络组王骁3min内登录JumpServer，查看Zabbix大屏，确认告警真实性。3.若确认真实，王骁在应急微信群发布“CodeRedNet001”代码，@所有人。阶段2初步研判（T0+5min）责任人：网络组全体+安全组陈凯工具：SolarWinds、Traceroute、Tcpdump、FlowEye输出：故障类型：链路/设备/协议/攻击。影响范围：出口/核心/汇聚/接入。业务清单：政务OA、网格化、雪亮工程、社保、医保。预计修复时长：≤30min、30—120min、＞120min。决策点：若≤30min且无需回退，走“快速修复通道”。若＞30min或需回退，立即启动“重保模式”：a.通知业务组胡月，开启降级开关（只读、静态页、CDN缓存）。b.向区网信办发送《突发事件快报》模板邮件。阶段3快速止血（T0+10min）场景A运营商双光缆断资源：OTDR、熔接机、备用光缆2km、冷接子20个步骤：1.传输岗赵晗+运营商马工同赴断点，OTDR测距，确认断点距机房3.2km。2.若≤2h可熔接，立即开挖抢修；若＞2h，启动4G/5G应急基站背包（华为5GCPE×2）+VPN回传。3.网络组王骁在核心路由注入/0，community666:666，引导流量至剩余出口，黑洞攻击流量＞500Gbps时，启用云清洗（阿里云DDoS高防+电信云堤）。场景B核心路由集群故障资源：备件MX304主控板×1、Console线、USB串口转接线步骤：1.路由岗孙悦Console登录，showchassisalarms，确认FPC1/0失败。2.王骁拍板：立即主备切换，trafficengineering把LSP倒换至NE40E。3.吴强同步检查动力，确认非电源问题后，热插拔更换主控，30min内恢复。阶段4业务恢复（T0+30~120min）责任人：业务组胡月+系统组刘倩清单：政务OA：K8s滚动发布，切换至灾备集群（距主中心30km）。雪亮工程：视频流走GB28181，降级为关键卡口20%通道，其余存本地SD卡。社保：OracleDataGuard切换，RTO＜15min，RPO＜60s。步骤：1.胡月通过短信平台向2万名办事群众推送“系统维护公告”。2.刘倩确认灾备库延迟＜30s，执行switchover，业务验证登录。3.监控岗郑好持续观察TPS、连接数、HTTP200比例，连续10min＞95%视为恢复。阶段5复盘与加固（T+2h~T+7day）1.24h内输出《事件报告》含时间线、流量图、配置diff、损失评估。2.72h内召开“圆桌复盘会”，使用5Why法，追溯到“为何没提前发现光缆标识缺失”。3.7天内完成整改：a.光缆路由重新喷涂+电子标签（RFID）。b.核心路由配置增加BGPLS、SRPolicy，实现毫秒级倒换。c.监控增加基线学习，丢包阈值动态AI调优。四、资源清单（演练时现场车/背包/箱）1.通信车：丰田考斯特改装，车内含5GCPE×2（华为5GMini）、卫星调制解调器（海事卫星BGAN）、48口PoE交换机（H3CS5130）、小型UPS（APC3kVA）、折叠天线（1.2mKu波段）、对讲机（摩托罗拉20部）。2.工具箱：光时域反射仪ViaviMTS4000×1、光纤熔接机Fujikura90S×1、红光笔、光功率计、酒精棉、无水乙醇、法兰盘、冷接子、网线钳、RJ45水晶头200个、OS2/LCLC跳线100根。3.备件箱：100GLR440只、40kmER410只、万兆多模SR50只、千兆电口SFP30只、MX304主控板×2、NE40EMPU×2、电源模块×8、风扇×6。4.文档包：拓扑图（防水A0彩打）、IP表、端口表、密码信封（密封）、应急通讯录（塑封）、演练脚本（活页夹）。五、演练计划1.演练周期：每季度一次实战，每月一次桌面，重大节日前加一次突击。2.演练形式：a.红蓝对抗：外请安全公司扮演攻击方，注入DDoS+BGP劫持。b.盲演：总指挥张巍随机拉闸，不提前通知。c.联合：与运营商、云服务商、公安网安四方同步。3.年度排期：3月：双活光缆被挖断+4G应急回传。6月：核心路由集群主控故障+配置回退。9月：DNS污染+CDN切换+HTTPS证书失效。12月：UPS失效+柴油发电机带载+精密空调高温。4.演练评估：采用“时间线打分表”，每延迟1min扣2分，满分100，＜80分视为失败，重新演练。关键指标：RTO≤15min、RPO≤60s、业务降级通知≤5min、对外公告≤30min、流量清洗启动≤10min。六、动态更新机制1.变更联动：任何网络变更必须提前72h在ITSM提交，自动关联应急预案版本号，若变更可能影响倒换路径，强制触发演练。2.场景库滚动：每新增一条链路、一台设备，网络组需在30日内补充对应故障场景脚本，并纳入下次演练抽签池。3.通讯录日更：使用企业微信API同步运营商、厂商、监管接口人，离职/调岗自动提醒。4.版本管理：文档统一存放GitLab，文件名“NetEmergency_vYYYYMMDD.md”。每次演练或真实事件后，由王骁提交MergeRequest，经李森Approve后升版。5.外部合规：每年等保2.0测评前，将演练报告、整改报告提交测评机构，作为“网络安全管理”测评证据。每两年邀请省大数据局专家进行沙盘推演，出具第三方评估证书。七、演练脚本示范（节选实战台词）时间：2024061509:00地点：中心2号会议室+机房+光缆断点（模拟）角色：旁白、总指挥张巍、网络组王骁/赵晗/孙悦、业务组胡月、安全组陈凯、运营商马工、观摩嘉宾若干09:00:00旁白：市政施工误挖双路由，移动/电信光缆同时中断，BGP邻居Down。09:00:30监控大屏告警声起，郑好：“CodeRedNet001触发！”09:01:00张巍：“启动Ⅰ级响应，各组2分钟签到。”09:02:50王骁：“确认双出口流量跌至0，已倒至联通第三出口，利用率90%，需要清洗。”09:03:00陈凯：“云堤高防IP已申请，清洗中心牵引完成，攻击流量420Gbps已丢弃。”09:05:00赵晗与马工驱车至断点，