金融行业科技部灾备工程师灾难恢复演练手册（执行版）

金融行业科技部灾备工程师灾难恢复演练手册（执行版）文档版本：V1.0

生效日期：\\_\年\\月\_日

归口部门：科技部（灾备/运维组）

适用人员：灾备工程师、系统运维、数据库、网络、安全、业务对接人、第三方厂商

合规依据：《商业银行业务连续性监管指引》《证券基金经营机构信息技术管理办法》JR/T0044、JR/T0251等金融容灾、业务连续性相关规范手册定位：现场执行手册，不是方案简报，灾备工程师演练当天按本手册逐项操作、登记、留痕；区分桌面推演、模拟切换、实战切换（带业务流量）三类演练；严格控制风险，防止演练事故、数据损坏、误切生产。一、总则1.1演练目标验证灾备预案、切换脚本、回切流程的可执行性，核验\\RTO（恢复时间目标）、RPO（恢复点目标）\\是否达标。检验异地灾备机房基础设施、主机、存储、数据库、中间件、网络链路、负载均衡、DNS、专线、云资源可用性。锻炼灾备工程师跨团队协同能力（科技部、业务、风控、合规、运营、厂商）。识别灾备环境缺陷、脚本漏洞、权限缺失、依赖遗漏，形成问题清单与整改项。满足监管业务连续性、灾备定期演练、两年内覆盖全部重要系统的监管要求，演练资料归档备查。1.2演练分类（灾备工程师需区分执行策略）桌面推演：无实际启停、无数据切换；走流程、核对依赖、评审脚本；低风险。模拟切换演练（常用）：隔离生产流量，灾备侧拉起系统、数据校验、功能测试；不接管真实业务流量；演练后直接清理/回滚。实战切换演练（高风险，需高管审批）：在非交易窗口（非交易日/深夜维护窗），业务流量切换至灾备中心，开展真实业务验证；演练完成后执行回切生产。金融机构核心交易系统实战切换原则上禁止在交易日开展，优先选择周末、节假日维护窗口。1.3红线禁令（灾备工程师第一准则）✅演练前未拿到审批单、未完成风险评估、未完成生产隔离，严禁执行任何切换操作。

✅生产、灾备环境必须有明确隔离标识、独立账号权限，严禁灾备脚本直接操作生产。

✅数据切换前必须完成全量备份快照；无回滚方案，不启动切换。

✅演练过程一旦触发生产告警、业务异常、数据不一致，立即停止演练，按应急流程优先恢复生产。

✅严禁私自修改生产路由、DNS、防火墙策略、核心数据库参数。

✅所有操作双人复核、命令留痕、日志保存；重要命令必须登记操作人、复核人、时间。1.4术语定义RTO：灾难发生至业务对外恢复服务的最大允许时长RPO：灾难发生后，允许丢失数据的最大时间窗口切换：生产故障，灾备中心接管业务回切：演练结束/生产故障消除，业务从灾备切回生产中心脑裂：主备双活场景同时对外提供服务，造成数据冲突（金融灾备最高风险点）二、演练组织与岗位职责（灾备工程师角色）2.1演练组织架构演练总指挥（科技部负责人/CIO）：审批启停、重大决策、对外沟通技术总负责人（灾备负责人）：灾备工程师直属负责人，技术风险决策灾备工程师组（执行主体）：存储、主机、数据库、中间件、备份、切换脚本执行、数据校验、日志记录网络安全组：专线、VPN、防火墙、路由、DNS、访问控制、安全策略业务测试组：业务功能、对账、交易验证、业务口径确认风控合规组：风险判定、监管留痕、事件上报判定厂商支持组：存储、数据库、云平台、负载均衡原厂工程师（待命）记录与观察员：独立记录、计时、拍照留痕，不参与操作2.2灾备工程师核心职责演练前期：梳理系统依赖、准备切换/回切脚本、检查灾备链路、校验备份数据、准备快照、输出检查清单。演练期间：按步骤执行切换、监控资源、核对数据一致性、记录每一步耗时、上报异常、执行暂停/终止指令。演练收尾：执行回切、验证生产恢复、清理演练临时配置、收集日志、整理问题、提交技术复盘材料。日常维护：演练后更新灾备预案、脚本、拓扑图、密码清单、联系通讯录。三、演练前置准备阶段（T-1至演练前1天，灾备工程师执行清单）T为演练启动时间；所有检查项必须书面勾选确认3.1文档与脚本准备本次演练场景单：例如【主数据中心机房断电，异地灾备接管核心交易系统】【生产数据库存储故障，灾备数据库切换】系统依赖清单：上游系统、下游对接系统、第三方外联、支付渠道、消息队列、缓存、定时任务切换步骤脚本、回切脚本（逐条命令，含回滚命令）；脚本标注是否高危、是否双人复核应急终止方案：一键停止演练、优先回生产流程联系通讯录：内部负责人、厂商7×24应急电话、运营商专线联系人演练计时表、操作记录表、异常登记台账模板3.2灾备环境资源检查（灾备工程师逐项核验）基础设施：灾备机房供电、UPS、空调、消防、带宽、专线延迟、BGP/专线连通性存储：复制链路状态、同步/异步复制状态、IO性能、快照策略、可用容量主机/虚拟化：CPU、内存、磁盘资源、宿主机状态、虚拟机模板、账号权限数据库：主备同步状态、归档日志、redo/undo、监听、用户权限、定时JOB中间件：应用服务器、MQ、Redis、ES、负载均衡集群配置备份：最近一次全量备份可恢复性抽检，备份介质跨地域存放3.3风险评估与隔离准备评估影响范围：内部系统、外部合作机构、客户可见影响、交易中断时长生产隔离措施：演练网段隔离、防火墙ACL、DNS解析隔离、路由黑洞，防止演练流量打入生产告警降噪：提前和监控组沟通，避免灾备拉起产生大量无效告警掩盖真实故障窗口期确认：业务、运营、客服同步知晓演练时间，客户告知预案（实战切换场景）审批材料：演练方案、风险评估表、高管审批单、监管报备材料（如需）3.4预演（重要系统建议执行）灾备工程师单独在测试灾备环境跑一遍切换+回切脚本，提前发现语法错误、账号失效、依赖缺失。四、演练现场执行流程（演练当日，执行主线）统一口令：【演练开始】【暂停演练】【终止演练，立即回切生产】【演练完成】

灾备工程师所有操作同步计时，记录每一步耗时，用于RTO统计阶段1：演练启动会（T-30min）总指挥宣读演练场景、范围、目标、风险、终止条件灾备负责人确认：环境检查全部完成、备份快照已打、隔离措施生效、人员就位、厂商待命灾备工程师复述切换、回切、终止流程，确认疑问全体确认无误，总指挥下达：演练启动阶段2：模拟灾难触发（T0）模拟故障，禁止真实破坏生产（模拟演练模式）；实战模式按预定方式隔离生产

灾备工程师动作：上报：【T0，故障触发，启动灾难恢复流程】通知网络组切断主中心业务路由、隔离生产服务开始RTO计时阶段3：灾备系统切换（灾备工程师核心操作序列，顺序不可颠倒）确认生产侧停止写入、关闭定时任务、停止同步链路（防止脑裂、双向写）存储层：存储复制切换、快照挂载、LUN映射数据库层：灾备数据库激活、打开数据库、检查数据位点，核对RPO是否符合指标中间件/应用层：启动中间件、应用节点、消息队列、缓存、定时任务（延后启动定时任务，避免重复交易）网络接入层：负载均衡、DNS、路由切换，流量引至灾备环境灾备工程师自检：资源监控、日志报错、连接数、数据库读写状态通知业务组进入业务验证阶段4：业务验证与数据一致性校验（T+X）灾备工程师配合业务组，重点核验：交易流水、账户余额、台账、对账数据一致性联机交易、查询、清算、批量任务可用性上下游接口连通、报文收发正常业务验证通过→判定灾备接管成功，记录当前耗时（本次演练达成RTO）

业务验证失败：灾备工程师定位，判定可修复则继续；不可修复→总指挥下达终止，启动回切阶段5：演练维持与观测（按需）稳定运行观测期（一般30~60min），灾备工程师持续监控：资源水位、链路延迟、报错日志、数据库性能，记录稳定性指标。阶段6：回切流程（演练结束，必须执行，同等重要）回切是金融灾备演练高频出事环节，灾备工程师严格按回切脚本执行，禁止跳步通知业务停止灾备侧新交易，冻结业务写入数据库/存储同步反向数据，把灾备演练期间产生数据回传生产确认生产数据位点一致，关闭灾备写入权限，防止脑裂网络/DNS切回生产中心，路由恢复生产侧启动应用、中间件、定时任务业务组二次对账、全链路验证灾备工程师确认生产环境回到常态、复制链路恢复原有主备方向清理演练临时快照、临时账号、防火墙策略、测试数据阶段7：演练结束总指挥确认生产业务稳定，宣布演练结束，停止计时。五、异常、暂停、终止处置（灾备工程师应急卡）5.1分级处置一般异常：脚本报错、服务启动慢、少量告警，不影响核心恢复→灾备工程师现场排查，同步上报，演练继续重大异常：数据不一致、脑裂风险、生产环境意外受影响、核心链路中断、RTO明显超标→立即上报技术负责人，申请暂停演练紧急终止（最高优先级）：出现生产业务真实故障、客户投诉、资金账务风险→灾备工程师第一时间执行回切，优先保障生产，演练作废5.2终止后灾备工程师固定动作停止所有灾备切换流程，执行回切保存全部现场日志、屏幕截图、数据库状态、存储日志，禁止清理现场登记事件时间线、操作步骤、现象、初步判断配合风控、合规做事件记录，按机构事件上报流程报送六、演练记录与台账（灾备工程师现场填写项）基础信息：演练编号、日期、场景、参演系统、目标RTO/RPO、演练类型时间线台账：序号节点计划时间实际时间耗时执行人（灾备工程师）复核人状态1演练启动2存储切换完成3数据库激活完成4应用拉起完成5业务验证通过6启动回切7回切完成、业务恢复异常问题登记表：问题编号、现象、发生阶段、影响、根因初步判断、临时处置、整改责任人、计划整改时间附件归集：脚本、截图、监控曲线、数据库日志、厂商工单、审批单、业务测试报告七、演练后复盘、整改与文档更新（演练结束后3个工作日内完成）灾备工程师输出技术复盘材料，参与复盘会：指标复盘：本次实际RTO、RPO和目标对比，未达标项分析问题分类：脚本缺陷、资源不足、链路不稳定、权限缺失、业务依赖识别不全、厂商响应慢整改清单（带时限），纳入科技部变更工单管理灾备预案、切换脚本、拓扑图、依赖清单同步更新归档全套演练包：审批、方案、执行记录、问题清单、复盘报告、附件，满足监管调阅要求同步更新灾备演练年度计划，按监管频率安排下一次演练八、不同典型场景操作要点（灾备工程师速查）场景A：存储复制切换（SAN/块复制）重点：先断主端写入，再切换复制方向；校验一致性组，避免跨卷数据时间点不一致。场景B：数据库灾备切换（OracleDataGuard、MySQL主从、PG流复制）重点：确认日志序列，激活前确认主库无新写入；激活后禁止旧主库自动回连，防止脑裂；回切前必须增量同步。场景C：云异地灾备（跨可用区/跨地域）重点：云专线、跨区域同步、VPC对等、安全组、云负载均衡、DNS全局解析权重；云快照权限、跨区域镜像复制时效。场景D：双活/多活灾备演练最高风险：脑裂；演练前必须明确锁主节点机制、分布式锁、仲裁节点状态，严格控制双向写。九、工具、权限、物料清单（灾备工程师常备）远程运维堡垒机账号、灾备专属权限（和生产账号分离）存储管理平台、数据库客户端、监控平台、日志检索平台操作录屏工具、截图工具、计时表格纸质操作单（断网应急兜底）厂商应急接入方式、临时VPN