2026年医院OA办公系统故障演练脚本

2026年医院OA办公系统故障演练脚本第一章演练定位与总体思路1.1背景2026年3月，国家卫健委新版《医疗质量安全核心制度要点》将“业务连续性”正式纳入医院等级评审一票否决项。OA系统作为医院行政、临床、后勤三条主流程的交汇点，一旦瘫痪，直接影响电子公文流转、排班、耗材审批、应急采购、疫情直报等127个关键子流程。本次演练以“系统级崩溃+网络隔离+人员缺位”三重极端场景为靶点，验证医院在0~4小时、4~12小时、12~24小时、24~72小时四个时间窗内的自愈、自证、自恢复能力。1.2演练目标①业务目标：核心行政流程RTO≤30min，RPO≤5min；临床排班流程手工兜底完成时间≤60min。②技术目标：完成“故障定位—隔离—回滚—验证”闭环平均耗时≤15min；数据库脏写0条。③管理目标：演练后7日内输出3份制度修订草案、2份技术整改工单、1份预算追加报告。1.3演练原则“三不三用”：不提前通知时间、不提前告知故障模式、不提前锁定脚本；用真实生产环境、用真实数据脱敏副本、用真实外联接口。第二章组织与角色2.1指挥层岗位姓名职责备份联系方式演练总指挥院常务副院长全局决策、对外发声信息分管院长666001现场指挥信息科主任技术指令、资源调度信息科副科长6660022.2执行层组别角色关键技能人数定位故障组混沌工程师K8s、ArgoCD、Java字节码注入2制造故障监控组AIOps值班员PromQL、日志聚类2发现故障应急组系统运维Ansible、PostgreSQLPITR3恢复故障业务组医务部干事流程图绘制、Excel透视4手工兜底合规组质控办律师医疗法规、电子证据固化1留痕审计2.3外部支持医保局接口人1名、电信ISP工程师1名、Oracle原厂专家1名（虚拟列席，Teams在线）。第三章故障场景设计3.1场景代号：BLACKMARCH3.2触发链①08:55混沌工程师通过ArgoCD向OA生产集群注入“SpringBean循环依赖”故障，触发FullGC暴胀；②09:02监控组发现API99th延迟突增至21s，触发Prometheus告警“OA_API_LATENCY_HIGH”；③09:04故障组顺势切断OA数据库主库网络ACL，模拟存储网络闪断；④09:10医院出口防火墙策略误下发，OA服务器网段被隔离，VPN链路同时被重置；⑤09:15信息科3名值班人员被“假想疫情”临时抽调走，只剩1名新人留守，制造人员缺位。3.3期望症状Web端502/504交替、移动端白屏、待办事项无法加载、电子印章失效、消息总线积压18万条、数据库600连接打满、WAF出现“僵尸队列”。第四章时间轴与动作剧本4.1T0（08:55）—混沌注入序号动作执行人预期结果失败对策1登录ArgoCD，选择oa-app的Deployment，patch环境变量“SPRING_PROFILES_ACTIVE=chaos”故障组A滚动重启开始若重启失败，直接kill-9占用CPU最高的3个Pod4.2T+7min（09:02）—监控发现监控组B在Grafana大盘发现“OA_API_LATENCY_HIGH”告警，立即在演练Slack频道@channel发布“P1疑似BLACKMARCH”暗号，同时电话通知现场指挥。4.3T+9min（09:04）—初步定级现场指挥启动“业务连续性应急预案”Ⅱ级响应，电话通知医务部、护理部、门诊部进入“手工模式”。4.4T+12min（09:07）—手工兜底通道开放业务组在门诊一楼导医台、外科楼护士站、行政楼三楼会议室同时张贴《今日OA异常应急告示》，并启用纸质《应急印章使用登记表》。4.5T+15min（09:10）—网络隔离故障组通过Terraform下发错误ACL，导致OA网段/24被denyanyany。此时应急组无法ssh到服务器，必须通过iDRAC带外管理。4.6T+20min（09:15）—人员缺位院感科发出“紧急抽调”指令，把信息科2名资深工程师调往发热门诊；现场只剩1名入职3个月的新人。4.7T+25min（09:20）—应急组反击①新人通过iDRAC挂载本地ISO，启动PostgreSQL单用户模式，执行`pg_resetwal-f`强制清理脏WAL；②使用Ansible剧本`oa-rollback.yml`回滚到08:30的镜像版本；③手动修改K8sService把流量切换到灾备集群（位于检验楼3楼微型机房）。4.8T+40min（09:35）—业务验证医务部随机抽取20份当日排班表，与灾备系统导出数据进行字段级比对，误差率0%。4.9T+60min（09:55）—媒体应对合规组起草对外统一口径：“医院部分信息系统出现短暂延迟，现已恢复正常，医疗秩序未受影响”，经总指挥批准后发布至公众号。4.10T+120min（10:55）—演练结束判定监控组连续30min观测API99th延迟<600ms、数据库连接<80、消息总线积压<1000，现场指挥宣布“故障演练结束，转入复盘阶段”。第五章技术细节与命令清单5.1回滚脚本```bash!/bin/bashfile:/ops/scripts/oa-rollback.shset-euopipefailSNAPSHOT_TAG="oa-app-20260315-083000"kubectlsetimagedeployment/oa-appoa-app=/oa/${SNAPSHOT_TAG}-noa-prodkubectlrolloutstatusdeployment/oa-app-noa-prod--timeout=300sif[$?-ne0];thenkubectlrolloutundodeployment/oa-app-noa-prodexit2fiecho"Rollbackcompleted"```5.2数据库PITR```bash假设WAL归档在/nfs/walpgBackRest--stanza=oa-main--delta--type=time"--target=2026-03-1508:30:00"restore```5.3网络ACL修复```bashterraformstatermmodule.oa_network.aws_network_acl_rule.deny_allterraformapply-auto-approve-replace="module.oa_network.aws_network_acl_rule.deny_all"```5.4灾备集群切换```bash灾备集群已预置只读副本，需promotepatronictl-c/etc/patroni/patroni.ymlswitchover--masteroa-db-standby--candidateoa-db-primary--force```第六章业务兜底方案6.1电子印章失效启用《纸质印章应急使用清单》，由院长办公室保管3枚实体公章，每次使用须双人双锁登记，并在24h内补录OA用印流程。6.2疫情直报延误启动《传染病疫情手工直报SOP》：①检验科发现阳性结果→②电话通知疾控科→③疾控科填写《中华人民共和国传染病报告卡（手工版）》→④传真至区疾控，同时在2h内补录系统。6.3高值耗材应急采购启用《高值耗材临时采购表》，由使用科室主任、设备处处长、财务总监三方线下签字，可先行采购后补流程，预算额度单次≤5万元、月度累计≤50万元。第七章监控与度量7.1黄金指标指标演练前基线演练峰值演练后恢复值是否达标API99th延迟320ms21s410ms是数据库连接数4260065是消息积压018万条800条是手工排班耗时—47min—是7.2可观测性手段①Prometheus+Grafana监控238个业务指标；②Loki+Tempo实现日志链路联动；③北极星SLA面板实时投影至应急作战室大屏；④合规组使用Camtasia录屏，确保演练全程可审计。第八章沟通与舆情8.1内部沟通矩阵时间窗沟通渠道信息粒度受众负责人0–30min电话+Slack故障代码+影响范围应急组监控组30–60min钉钉群处理进展科主任现场指挥60–120min院内广播安抚话术全员党办8.2外部沟通统一出口为党委宣传部，任何个人不得接受媒体采访；必要时邀请区网信办到场协同。第九章风险与合规9.1数据安全演练使用生产数据脱敏副本，脱敏算法采用FPE（FormatPreservingEncryption），确保患者姓名、身份证、手机号不可逆。9.2电子证据合规组通过FTKImager对OA服务器磁盘做bit级镜像，计算SHA-256值并写入《电子数据取证登记表》，保存期限3年。9.3法律风险若演练导致真实患者信息泄露，启动《网络安全事件法律责任追溯条款》，由医院法律顾问介入，必要时向市卫健委报告。第十章复盘与改进10.1复盘会议演练结束后第3个工作日召开“BLACKMARCH复盘会”，使用“5Why+鱼骨图”双工具，输出27项根本原因。10.2制度修订①《业务连续性预案》新增“网络隔离”子章节；②《应急印章管理办法》将“双人双锁”升级为“三人三锁+智能柜指纹”；③《高值耗材临时采购表》额度由5万降至3万，并增加审计部事后100%抽查。10.3技术整改①数据库主库增加“延迟复制副本”，延迟10min，防止误操作立即扩散；②OA应用容器增加“熔断sidecar”，当FullGC次数>5次/5min时自动重启Pod；③网络层引入“策略二次确认”Webhook，任何Terraform变更须通过钉钉审批单才能apply。10.4预算追加