信息系统故障(网络瘫痪)应急预案演练脚本

信息系统故障(网络瘫痪)应急预案演练脚本演练时间设定为202X年X月X日00:00-04:00，选取非核心业务时段开展，提前7个工作日向全公司发布演练预告，所有业务部门需确认演练时段无夜间批量作业任务、无重大业务系统变更操作。演练地点覆盖总部核心机房、信息中心应急指挥室、各业务部门办公区，模拟场景为核心交换机双主控故障导致全域有线/无线网络瘫痪，涉及行政办公区1200个有线点位、320个无线AP、业务系统区42台物理服务器、7套核心业务系统，故障等级判定为二级（较大网络安全事件）。参演人员及职责本次演练共设7个工作小组，所有参演人员需提前熟悉预案流程、岗位职责，演练期间全程佩戴工作牌，保持通讯畅通：1.应急指挥组：信息中心主任王XX（组长）、运维主管张XX（副组长），职责为统筹应急响应全流程，审批处置方案，调度内外部资源，决定应急响应启动与终止，最终确认业务恢复有效性。2.网络运维组：李XX（值班岗）、赵XX、孙XX，职责为7*24小时监控网络设备运行状态，接收并核实告警信息，开展故障排查与定位，执行备用设备切换、配置验证、网络恢复操作，记录处置全流程日志。3.系统运维组：周XX、吴XX、郑XX，职责为检查服务器、存储、数据库运行状态，重启异常服务，验证业务系统功能，确认数据一致性，配合业务部门完成功能测试。4.业务协调组：冯XX、陈XX，职责为对接各业务部门，收集业务影响情况，组织业务测试人员按优先级开展功能验证，反馈业务需求，同步恢复进展至业务端。5.宣传通报组：褚XX、卫XX，职责为按规定发布故障通知、恢复进展，解答员工咨询，避免不实信息传播，演练后发布正式结束通知。6.后勤保障组：蒋XX、沈XX，职责为保障机房供电、空调、消防系统稳定运行，管理应急物资，维护机房现场安全，配合完成设备上架、线缆迁移等体力操作。7.第三方支持组：华为设备厂商驻场工程师刘XX、中国电信XX分公司客户经理韩XX，职责为提供远程技术支持，排查外线链路故障，协助定位硬件问题，提供备件调度支持。演练前置准备（一）技术准备1.提前完成备用核心交换机（型号：华为S12700E-8，资产编号：XX-IT-NET-0023）的预配置，配置内容覆盖现网37个VLAN划分、OSPF路由协议、124条ACL访问控制规则、8组端口聚合、QoS优先级策略，预配置文件与现网运行配置匹配度需达98%以上，提前3天完成配置验证并出具书面报告。2.整理最新版网络拓扑图（含物理拓扑、逻辑拓扑、VLAN分布、IP地址段分配），标注所有核心节点位置、端口对应关系、光纤走向，打印3份分别存放于机房应急柜、应急指挥室、运维组工位；同步更新电子版本，确保可离线访问。3.提前检查核心存储（华为OceanStor5600V5）双活状态，确认双活链路带宽10G、延迟<1ms，所有业务LUN同步状态为“正常”，RPO=0，无数据丢失风险；完成全量备份数据的可用性验证，备份tapes异地存放完好。4.验证监控系统（Zabbix6.0LTS）告警规则，确保核心设备故障、端口中断、服务器离线等告警触发时间≤30秒，告警推送覆盖短信、企业微信、值班电话三种渠道，值班岗声光告警装置正常。5.明确业务优先级划分：一级（核心）为ERP系统、CRM系统，恢复时间要求≤1.5小时；二级（重要）为财务核算系统、对外门户网站，恢复时间要求≤2小时；三级（一般）为OA系统、视频会议系统、办公无线网络，恢复时间要求≤2.5小时。（二）物资准备1.机房应急物资柜储备：备用万兆光模块20个（型号：SFP-10G-LR，波长1310nm，传输距离10km）、万兆光纤跳线15条（5米/10米各半）、千兆网线20条、Console线2条、光纤测试仪1台（型号：信测OTDR-2000）、网线测试仪1台、光纤清洁笔2支、防静电手环5个、强光手电筒2个、纸质版应急通讯录3份。2.应急指挥室配备：投影设备1套、对讲机8部（满电状态）、演练评估表20份、《应急处置操作日志》空白模板10份、应急饮用水与食品若干。（三）预通知准备1.提前7个工作日通过企业微信、公司公告栏发布演练预告，明确演练时间、模拟场景、影响范围，要求各业务部门在演练前完成重要数据备份，暂停非必要夜间批量作业，每个部门指定1名业务对接人保持24小时通讯畅通。2.提前3个工作日收集各业务部门应急联系人信息，更新《应急通讯录》，确保每个业务部门至少配备2名对接人，实行AB角制度；提前1个工作日开展电话抽查，确认联系人信息准确、知晓演练安排。3.提前1天完成所有参演人员的岗前培训，明确演练纪律、操作规范、安全注意事项，强调所有操作需双人复核，避免误碰运行设备。演练实施流程第一阶段：故障发现与初步研判（00:05-00:12）00:05，网络运维组值班员李XX在监控室值守，Zabbix监控系统触发批量告警，声光报警装置启动。李XX立即开展以下操作：1.刷新告警列表，确认新增告警共127条，其中核心交换机SW-CORE-01（主用）CPU利用率达98%、内存利用率95%，10秒内该设备下联24个万兆端口全部触发“端口DOWN”告警，接入层36台交换机、无线AC控制器、业务区42台服务器全部离线。2.调用监控系统历史曲线，确认故障发生前核心交换机运行稳定，CPU利用率维持在30%-40%，内存利用率35%-45%，无异常流量峰值，排除DDoS攻击、广播风暴导致的端口拥塞。3.第一时间拨打运维主管张XX的值班电话，上报初步情况：“张工，我是值班员小李，00:05分监控系统触发核心交换机SW-CORE-01批量告警，目前所有下联端口全部中断，接入层、业务区设备全离线，故障前无异常流量，初步判断为核心设备硬件故障，请指示。”00:08，李XX携带防静电手环、手电筒、Console线前往机房现场核查，到达后完成以下操作：1.检查核心机柜供电情况，确认核心交换机SW-CORE-01两路供电指示灯常亮，UPS输出电压220V、频率50Hz，排除供电故障；检查机房空调运行状态，机房温度22℃、湿度45%，符合GB50174-2017数据中心设计规范要求。2.查看核心交换机面板状态：主用主控板（槽位6）RUN指示灯熄灭，ALM红色告警灯常亮，所有业务端口指示灯全红；备用主控板（槽位7）RUN指示灯闪烁异常，ALM红色告警灯慢闪。3.用Console线连接主用主控板Console口，打开超级终端配置波特率9600、数据位8、停止位1、校验位无，终端无任何输出，确认主用主控板无法正常启动。4.更换Console线连接备用主控板，终端显示“BootROMloadingfailed”错误信息，确认备用主控板BootROM损坏，无法实现主备自动切换。00:12，李XX向运维主管张XX反馈现场排查结果：“张工，现场核查确认核心交换机SW-CORE-01主用主控板无输出，备用主控板BootROM加载失败，双主控均故障，无法通过重启恢复，现网无备用主控板备件，影响范围覆盖行政办公区1200个有线点位、320个无线AP、业务系统区42台服务器，涉及7套业务系统，建议启动备用整机切换流程。”第二阶段：应急响应启动（00:12-00:20）00:12，运维主管张XX立即向应急指挥组组长王XX上报故障详情、初步研判结果、拟采取的处置方案，申请启动二级网络安全事件应急响应。00:13，王XX批准启动二级应急响应，通过对讲机通知所有小组立即到位，同时同步向公司分管领导报备演练启动情况。00:13-00:18，各小组快速完成集结：宣传通报组第一时间发布初始通知：【紧急通知】当前公司网络出现故障，信息中心正在抢修，请各部门暂停业务操作，不要反复尝试登录系统，避免数据异常，恢复进展将及时同步。后勤保障组检查机房应急照明、消防系统状态，确认应急物资柜可正常开启，安排专人在机房门口值守，禁止无关人员进入。第三方支持组同步开展外线排查：联系中国电信XX分公司网管中心核查租用链路状态，5分钟后收到反馈：2条100M互联网专线、1条1GMSTP专线均运行正常，光功率在-12dbm至-8dbm之间，符合标准，排除外线故障；联系华为驻场工程师告知故障现象，工程师远程接入备用设备管理端口，提供技术支持。业务协调组逐一联系各业务部门对接人，告知故障情况，确认业务影响范围，通知测试人员做好后续验证准备。00:20，应急指挥组在指挥室召开临时部署会，明确处置方案：启用备用核心交换机整机切换，按照“先核心业务、后一般业务”的原则恢复网络，网络运维组负责设备切换与网络验证，系统运维组同步准备业务恢复，各组随时反馈进展。第三阶段：故障处置与网络恢复（00:20-02:10）网络运维组分成两个小组并行作业：一组（李XX、赵XX）负责原设备光纤标记、拆除与现场协调，二组（孙XX）负责备用设备上架、配置验证与初始化。00:20-00:30，一组对照网络拓扑图的端口对应表，逐一核对原核心交换机24条下联光纤的标签，发现2条光纤标签脱落，无法直接确认对端设备，随即采用光纤测试仪打光、对端接入交换机配合确认的方式，补充临时标签，共耗时10分钟完成所有光纤标记，每条光纤标注“原端口X-对端设备名称”，确保迁移时无差错。00:25-00:40，二组取出备用核心交换机，放置在核心机柜预留的12-15U位置，安装接地线缆，连接两路UPS供电线路（分别接入UPS-01回路12A、UPS-02回路12B），设备加电自检。通过Console口登录后，执行`displayversion`命令确认固件版本为V200R021C00SPC100，与预配置版本一致；执行`displaycurrent-configuration`命令对比现网配置备份文件，发现缺少VLAN120（视频会议专用VLAN，当月新增）及对应2条ACL规则，立即上报运维主管，经批准后补全配置并保存，耗时8分钟。00:40-01:45，一组按照业务优先级迁移光纤：优先迁移业务区核心交换机对应的4条光纤（端口1-4）、DMZ区对应的2条光纤（端口5-6），再迁移办公区接入交换机对应的18条光纤（端口7-24）。每迁移一条光纤，都用光功率计测试对端光功率，确保数值在-1dbm至-15dbm的正常范围内，同步记录测试结果。迁移过程中，发现端口12对应接入交换机SW-ACC-12的光纤光功率为-22dbm，低于阈值，判断为光纤头脏污，用光纤清洁笔清洁LC头后重新测试，光功率恢复至-9dbm。全部光纤迁移完成后，检查端口状态发现23个端口UP、1个端口（端口18，对应SW-ACC-18）DOWN，排查确认光纤插反，调换收发光纤后端口恢复正常，所有下联端口全部上线。01:45-02:10，网络运维组开展全链路连通性验证：1.从核心交换机ping业务区核心交换机SW-SRV-01、SW-SRV-02，丢包率0%，延迟<1ms，正常；2.ping接入层36台交换机，丢包率0%，延迟<1ms，正常；3.ping无线AC控制器，状态正常，AP陆续上线，预计30分钟内上线率达100%；4.随机选取5个楼层的10个有线点位测试，IP地址获取正常，可正常访问网关、DNS服务器，网速达标；5.测试互联网连通性，ping百度公共DNS（180.76.76.76）丢包率0%，延迟25ms，访问门户网站加载正常。第四阶段：业务系统恢复与验证（02:10-02:50）系统运维组按照业务优先级，同步开展业务系统恢复与功能验证，业务协调组联动业务部门测试人员配合：一级优先级业务（ERP、CRM，02:10-02:25）：系统运维组周XX登录ERP应用服务器（IP：10.10.1.101、10.10.1.102），执行`sapcontrol-nr00-functionGetProcessList`命令，确认所有SAP进程状态为Green；登录HANA数据库服务器，检查数据库实例状态，确认所有服务运行正常，数据同步无异常。供应链部测试人员验证：采购订单创建、审批、入库单打印、库存查询、物料主数据维护5项核心功能全部正常，测试数据自动同步至测试库，不影响正式数据；销售部测试人员验证：CRM系统客户信息录入、商机跟进、合同上传、销售报表生成4项核心功能全部正常。验证过程中发现ERP打印服务（IP：10.10.1.105）队列堵塞，12份打印任务处于“待打印”状态，排查确认是网络中断导致打印服务进程挂起，运维人员随即停止spoolsv服务、清空`C:\Windows\System32\spool\PRINTERS`目录下的临时文件、重启打印服务，1分钟内恢复正常，处置过程同步记录至操作日志。二级优先级业务（财务系统、门户网站，02:25-02:35）：系统运维组吴XX登录财务系统应用服务器，检查用友NC6.5服务进程，确认server1、server2进程正常，Oracle19c数据库监听正常，表空间使用率72%，无表空间不足风险；财务部测试人员验证：凭证录入、审核、记账、报表生成、银行对账接口5项核心功能全部正常。同步检查门户网站服务器（DMZ区，IP：172.16.10.20），确认Nginx1.24.0服务正常，深信服WAF-1000防护规则运行正常，通过听云平台测试全国31个省份访问速度，平均延迟32ms，可用性100%，无访问异常。三级优先级业务（OA、视频会议、办公无线，02:35-02:50）：系统运维组周XX检查泛微e-cology9.0OA系统，确认Resin进程正常，MySQL8.0数据库无异常，测试发文、收文、考勤打卡、会议预约功能全部正常；检查视频会议MCU设备，网络连通正常，可正常发起多点会议；办公区320个无线AP全部上线，随机测试10个点位，网速达标、漫游切换正常。02:50，业务协调组汇总所有业务部门验证结果，确认7套业务系统核心功能全部正常，无数据丢失、无功能异常，随即向应急指挥组汇报业务恢复情况。第五阶段：应急终止与复盘总结（02:50-04:00）02:50-03:20，进入持续观察阶段，各小组监控系统运行状态：网络运维组监控核心交换机运行参数，CPU利用率稳定在32%-38%，内存利用率稳定在40%-45%，所有端口流量符合基线，无异常广播包，无新增告警；系统运维组监控所有服务器的CPU、内存、磁盘使用率，均在正常阈值内，业务系统日志无报错；业务协调组收集各部门反馈，无异常使用情况上报。03:20，应急指挥组组长王XX确认所有业务系统稳定运行、故障完全排除，宣布终止二级应急响应。宣传通报组随即向全公司发布恢复通知：【网络演练通知】本次网络故障应急演练已全部完成，所有网络及业务系统已恢复正常，如有使用异常请联系信息中心服务台（电话：XXXX）。03:20-04:00，所有参演人员在信息中心会议室召开复盘总结会，各小组依次汇报演练情况，梳理问题并提出整改措施：1.网络运维组：暴露问题：一是核心交换机备用主控板未按季度开展主备切换测试，上次测试为6个月前，导致本次故障中备用主控板BootROM损坏未被及时发现，冗余机制失效；二是备用设备预配置未建立同步更新机制，当月新增的VLAN120未同步至备用配置，补全配置耗时8分钟；三是2条光纤标签脱落，端口核对耗时10分钟，标签维护不到位。整改措施：建立备用主控板月度巡检、季度切换测试机制，测试记录存档，确保冗余设备可用率100%；建立配置变更同步机制，现网配置变更后24小时内同步更新备用设备配置，每半月开展一次配置比对，确保匹配度100%；本周内完成所有机房线缆标签排查，更换防水防油PVC标签，建立标签台账，每季度抽查完好率。2.系统运维组：暴露问题：一是ERP打印服务无自动恢复机制，网络中断后需人工干预，影响恢复效率；二是3台服务器的iDRAC远程管理卡配置异常，故障初期无法通过管理网络查看服务器状态，耽误排查时间；三是业务验证标准不统一，部分测试人员仅验证登录功能，未覆盖核心流程。整改措施：下周内完成所有业务系统的服务容错配置，编写自动恢复脚本，实现网络恢复后自动重启异常服务、清理堵塞队列；3个工作日内完成42台物理服务器的iDRAC配置检查，确保管理网络独立、远程访问正常，建立管理地址台账，每月抽查可用性；联合业务部门制定《核心业务系统应急验证清单》，明确每个系统的核心功能点、验证步骤、责任人，下次演练前下发执行。3.业务协调组：暴露问题：2个业务部门的夜间应急联系人电话无法接通，