2026年巡更系统故障应急演练脚本

2026年巡更系统故障应急演练脚本第一章演练背景与目标1.1业务场景2026年4月，某市轨道交通11号线全线采用“云-边-端”一体化巡更系统，日均产生点位打卡数据38万条。系统由三层构成：云端：部署在集团私有云，负责数据汇总、AI异常识别、报表生成；边缘：车站级边缘计算节点，完成本地缓存、断网续传、门禁联动；终端：防爆巡更棒+蓝牙信标+NFC标签，共计2120支巡更棒、8743枚信标。1.2故障设定演练以“边缘节点磁盘阵列突然掉盘+云端API网关并发超限+终端固件时钟漂移”三重叠加故障为蓝本，验证“10分钟内故障定位、30分钟内降级运行、60分钟内数据零丢失恢复”的SLA承诺。1.3演练目标序号量化指标达标值备注1故障定位时长≤10min从告警推送到根因确认2降级运行切换时长≤5min边缘→手持APP应急模式3数据零丢失100%含打卡记录、图片、语音4演练参与人员≥45人覆盖调度、站务、维保、安保、厂商5事后改进项关闭率100%两周内完成第二章组织与职责2.1指挥组总指挥：运营分公司分管副总，拥有“演练暂停/终止”一票否决权；副总指挥：维保中心主任，负责资源协调；观察员：集团数字化部2人，独立记录，不参与处置。2.2处置组组别角色人数核心职责携带装备监控组值长1告警初筛、信息通报双屏工作站、对讲机云运维2容器、网关、数据库跳板机、kubectl边缘运维2车站节点、缓存笔记本、串口线现场组站务长1客流控制、信息发布喇叭、应急灯巡更中队长3人工补巡、纸质记录纸质表、执法仪安保队长4区域封锁、证据保全警戒带、执法记录仪支援组厂商FAE2固件降级、信标重标定烧录器、蓝牙抓包通信保障24G/5G应急路由、卫星电话便携基站、卫星终端2.3通讯规则频道A：指挥组专用，禁闲聊；频道B：监控组与现场组交互；频道C：厂商技术支持；所有关键口令需复诵确认，例如“收到，边缘节点已隔离，完毕”。第三章故障脚本设计3.1故障注入时序时间故障类型注入方式预期现象备注T0边缘磁盘掉盘远程下电两块SSD节点状态Unknown，缓存写失败提前48h在CMDB标记“演练盘”T0+3minAPI网关超限压测脚本发6w并发云端响应502，APP闪退压测源站与生产隔离T0+8min终端时钟漂移向200支巡更棒推送+300s打卡时序错乱，重复序号固件版本v4.6.83.2风险降级措施若真实影响客运，立即执行“演练熔断”：一键切回正式系统，所有注入回滚；对涉及人身安全的门禁联动，采用“模拟隔离”方式，不落锁。第四章演练流程（分钟级）4.1准备阶段（T-60min~T0）监控大屏切换至演练视图，隐藏乘客个人信息；各组签到，领取coloredvest：红-指挥，黄-监控，蓝-现场，绿-厂商；检查“应急随身包”：内包含纸质《巡更点补录表》、印章、签字笔、充电宝、4G路由。4.2告警阶段（T0~T+5min）T0：监控组大屏弹出“边缘节点-松岗站-磁盘阵列降级”红色告警；T0+1min：值长口头通报：“确认非误报，启动Ⅲ级响应，各组按脚本执行”；T0+3min：云端502告警同步出现，值长升级至Ⅱ级；T0+5min：终端时钟漂移告警被APP用户举报，升级至Ⅰ级，总指挥入场。4.3定位阶段（T+5~T+10min）云运维通过kubectltop发现gateway-podCPU100%，立即扩容至15副本；边缘运维SSH节点，发现/dev/sdb、/dev/sdc消失，dmesg报“diskunplugged”，判定为磁盘硬件离线；厂商FAE通过蓝牙抓包，发现Beacon广播时戳异常，确认200支棒子时钟+300s。4.4处置阶段（T+10~T+30min）边缘节点隔离：1.将该节点从K8s集群cordon；2.触发Patroni自动切换，PostgreSQL从库提升为主；3.缓存数据通过rsync+inotify实时向邻站节点同步，带宽限速200Mbps，避免挤占CCTV；云端限流：1.在API网关增加ratelimit3000/req/s；2.启用静态降级页面，提示“网络繁忙，请使用离线模式”；终端时钟校准：1.通过4G下发“校时指令+CRC校验”，200支棒子逐台回传“ACK”；2.对3支无信号棒子，现场组采用“人工顺序打卡+补录”方式，确保点位不漏；降级运行：1.启用“手持APP应急模式”，本地SQLite缓存，网络恢复后自动合并；2.纸质补录同步启动，作为双重保障；3.站务长在PIS屏发布“巡更系统维护中，安保可见”提示，避免乘客误解。4.5恢复阶段（T+30~T+60min）更换热插拔硬盘，重建RAID5，耗时18min；执行pg_dump校验，确认数据零丢失；逐步提升API网关限流阈值至正常；200支棒子全部回传完成，时戳误差<1s；指挥组宣布“故障解除，系统回切”。4.6结束阶段（T+60min~T+90min）各组提交《演练问题清单》，现场组提出“纸质表印章油墨易糊”，需更换速干印泥；观察员发布独立报告，指出“4G路由在站台层信号衰减-95dBm，建议加装室分”；总指挥宣布演练评分：92.3分，达到优秀。第五章监控与验证5.1关键指标实时看板指标正常值演练峰值是否达标备注API延迟120ms4.7s未达标触发限流后恢复数据同步落差0条0条达标边缘→云端纸质补录点数037达标占比0.17%校时成功率100%100%达标200/2005.2数据一致性校验脚本```bash!/bin/bash对比云端与边缘last30min打卡记录psql-hcloud-Ureadonly-dpatrol-c"COPY(SELECTpoint_id,staff_id,ts,hashFROMcheckinWHEREts>=NOW()INTERVAL'30min')TO'/tmp/cloud.csv'CSV;"psql-hedge-Ureadonly-dpatrol-c"COPY(SELECTpoint_id,staff_id,ts,hashFROMcheckinWHEREts>=NOW()INTERVAL'30min')TO'/tmp/edge.csv'CSV;"diff/tmp/cloud.csv/tmp/edge.csv>/tmp/diff.logif[-s/tmp/diff.log];thenecho"数据不一致"&&exit1elseecho"数据一致"&&exit0fi```脚本在T+45min执行，返回0，验证通过。第六章沟通与舆情6.1内部通报模板>【演练通报】15:00起，11号线巡更系统因演练需要出现短暂延迟，现已恢复正常，客运组织未受影响。请勿对外传播截图，违者追责。——调度中心6.2乘客界面话术车站广播：“各位乘客，安保系统正在进行例行测试，请您照常通行。”PIS滚动字幕：“巡更测试，无安全隐患。”6.3舆情监测设置关键词“地铁+系统+故障”，演练期间捕获微博0条、抖音0条，舆情平静。第七章安全与合规7.1数据安全演练数据脱敏：所有staff_id做哈希加盐处理；硬盘更换后，旧盘立即放入保密袋，走消磁流程。7.2人身安全站台层人工补巡时，必须由站务长陪同，避开盲道；夜间演练增加反光背心，执法记录仪全程录像。7.3合规审计演练脚本提前一周报市交通局备案；观察员出具《合规声明》，确认无违规采集乘客人脸。第八章改进与闭环8.1问题清单（TOP5）序号问题描述根因整改措施责任人完成时限14G路由信号弱站台层无室分申请加装2台pRRU通信保障队长6月30日2纸质表易糊印泥非速干更换速干印泥100盒站务长5月15日3校时指令CRC冲突固件未去重升级v4.6.9，增加MSG-ID厂商FAE5月10日4API网关扩容慢HPA阈值过保守阈值从70%调至50%云运维5月5日5演练熔断按钮未贴警示易误触加装透明保护盖维保主任5月1日8.2复盘会议时间：演练后第3个工作日；形式：线下+Teams直播；输出：《复盘纪要》《改进计划》《更新后脚本v2.0》。8.3知识库更新将“边缘节点磁盘离线”处置步骤固化为SOP，存入Confluence；录制3分钟操作视频，上传企业微信“秒懂百科”。第九章附录9.1应急联系人表姓名角色手机备用号码微信备注李衡总指挥1390000