信息系统故障的应急预案演练脚本

信息系统故障的应急预案演练脚本一、演练基本信息演练性质：一级信息系统故障实战化应急演练（桌面推演+实操验证结合）演练时间：2024年5月15日9:00-11:30，总时长150分钟演练范围：某区域性城商行总行信息技术部、运营管理部、合规部、办公室、客服中心、核心系统开发商驻场团队、运营商及存储厂商应急支持团队演练依据：《中华人民共和国网络安全法》《商业银行信息科技风险管理指引》《银行业网络安全事件应急预案》《本行信息系统故障应急管理办法》演练目标：1.验证《本行核心信息系统故障应急预案》的可行性与完整性，检验应急预案与实际处置流程的匹配度；2.检验各部门、各岗位之间的协同响应能力，明确跨部门处置流程接口；3.验证核心系统容灾切换的有效性，评估实际RTO（恢复时间目标）、RPO（恢复点目标）是否符合监管及行内要求；4.提升应急处置人员的故障处置熟练度，普及一线业务人员故障应对口径；5.满足监管要求“重要信息系统每年至少开展一次应急演练”的合规要求。预设演练规则：本次演练在独立隔离的生产级演练环境开展，模拟真实故障场景，不影响实际客户生产业务运行。二、参演角色及职责划分本次演练共设置7个工作组，各角色及职责明确如下：1.应急指挥组总指挥：信息技术部总经理，职责：负责故障等级判定，审批应急响应启动/终止，协调跨部门、跨机构应急资源，对应急处置重大决策拍板，按要求向行应急管理委员会及监管机构汇报故障情况。副总指挥：信息技术部运维中心经理，职责：负责现场应急处置指挥，跟进各小组处置进度，汇总处置信息向总指挥汇报，传达总指挥指令，组织开展后续故障复盘。2.技术处置组（1）基础设施小组：网络管理员2名、存储管理员1名、机房环境管理员1名，职责：负责网络链路、存储硬件、机房环境等基础设施故障排查与处置，完成容灾切换的基础设施层面操作，配合厂商开展硬件更换维修。（2）系统应用小组：核心系统管理员2名、数据库管理员1名，职责：负责核心应用系统、数据库的故障排查，完成系统层面恢复操作，开展系统内部功能验证，保障系统运行稳定。（3）开发支持小组：核心系统开发商驻场工程师2名，职责：负责提供核心系统技术支持，协助排查应用层面故障，配合开展交易数据核对，提供故障排查技术支撑。3.业务保障组组长：运营管理部经理，成员：柜面业务主管2名、电子渠道运营主管1名、客服中心主管1名，职责：负责统计故障影响范围，开展网点试运营与真实交易验证，统计核查异常错账，完成错账调整与客户通知，安排客服中心应对客户咨询投诉。4.合规风控组组长：合规部风险监测岗主管，职责：负责监督整个应急处置过程的合规性，核对故障报告符合监管报送要求，排查处置过程中存在的合规风险，做好监管对接准备。5.公关舆情组组长：办公室品牌宣传岗主管，职责：负责开展全网络舆情监测，制定对外统一回应口径，按要求发布官方公告，应对媒体咨询，遏制负面舆情扩散。6.评估组组长：行应急管理委员会观察员，成员：合规部、审计部、办公室观察员共3名，职责：负责全程记录演练过程，按照评分标准对演练各环节进行打分评估，梳理存在的问题，提出改进要求。7.外部支持组成员：运营商应急工程师1名、存储厂商售后工程师1名，职责：负责配合开展运营商链路故障排查、存储硬件故障更换维修，提供外部技术支持。三、故障场景与预设条件本次演练模拟故障为核心业务信息系统级特别重大故障，预设基础条件如下：1.演练前基础状态：本行核心业务系统部署于生产中心，应用版本V5.2.1，采用2台IBMPowerS924小型机做高可用集群，存储采用IBMV7000全闪双活存储，总容量48TB，已用容量25TB，可用容量23TB；核心网络采用中国电信1000M为主链路、中国移动1000M为备用链路，对接人行大小额支付系统、银联清算系统；容灾中心部署同架构核心系统，采用异步复制方式，每15分钟同步一次生产数据，行内预设RPO（恢复点目标）≤15分钟，RTO（恢复时间目标）≤4小时，符合监管三级等保要求。演练前日常巡检（8:50完成）显示所有指标正常：核心应用服务器CPU平均使用率18%，内存使用率32%，存储I/O平均延迟1ms，核心链路带宽使用率12%，数据库连接数128（最大连接数512），所有硬件无告警。本行核心系统日均交易量12.8万笔，早高峰峰值交易吞吐量3200笔/分钟，演练当日9:00早高峰时段，全辖142家营业网点正常营业，手机银行在线活跃用户约28万人。2.预设故障触发条件：9:00整，生产中心核心存储控制器1因硬件老化故障突然离线，双活存储自动切换失败，缓存数据同步异常，导致存储I/O延迟骤升，核心数据库68个数据页损坏，核心业务系统交易进程自动退出；同时运营商主链路因外部市政施工挖断光纤，主链路中断，备用链路路由收敛延迟1分42秒，导致全渠道核心业务完全中断。截至9:02，客服中心已收到18笔客户咨询，反映柜面无法办理业务、手机银行登录报错，共有127笔交易处于状态异常，其中13笔交易已经扣款未入账，涉及金额23.62万元。故障符合本行《信息系统故障分级标准》中一级（特别重大）故障的判定标准：全辖核心业务中断，影响范围覆盖100%营业网点及电子渠道，预计中断时间超过30分钟。四、演练执行脚本（按时间线推进）阶段一：预警发现与初步核实（9:00-9:08）9:00:00本行Zabbix集中监控系统触发三级红色告警，告警内容依次为：核心存储节点1控制器离线、核心应用服务器CPU使用率突升至98%、数据库进程异常退出、主运营商链路中断，告警信息通过短信、企业微信、监控大屏三种渠道同步推送至运维中心值班经理张三。9:00:15张三确认告警信息，立即通过内部对讲通知存储管理员李四、核心系统管理员王五、网络管理员刘八5分钟内到监控中心现场核查故障。9:02:30所有技术人员到达现场，分工开展故障核查：①刘八登录核心交换机管理后台，确认主运营商链路BGP会话断开，ping运营商网关丢包100%，立即联系运营商应急支撑人员，确认主链路城域网光纤被外部施工挖断，预计修复时间4小时，随即启动备用链路切换，9:04:10完成备用链路切换，网络恢复正常，带宽使用率稳定在15%以内，刘八向张三汇报网络故障情况。②李四登录存储管理后台，核查控制器状态，确认控制器1硬件故障离线，控制器0单节点运行，双写同步异常，核心数据库所在逻辑卷出现坏块，存储I/O平均延迟飙升至1200ms，核查电源、机房温度，确认机房温度稳定在22℃，电源输入正常，故障为控制器本身硬件损坏，随即联系存储厂商售后工程师，对方确认1小时内到场更换硬件。李四向张三汇报存储故障情况。③王五登录核心应用服务器，核查数据库告警日志，发现68个数据页损坏错误，尝试手动启动数据库和应用进程，进程启动到50%触发数据页校验错误自动退出，确认核心系统完全无法正常运行，王五向张三汇报系统故障情况。9:05:20运营管理部客服中心打来电话，客服中心主管汇报：截至9:05，已经收到27笔客户咨询，全部反映无法办理柜面、手机银行业务，客户情绪稳定，无过激投诉。9:07:20张三汇总所有故障信息，初步判定：本次故障为核心存储硬件故障引发核心数据库损坏，全渠道核心业务全中断，影响范围覆盖全辖所有营业网点和电子渠道，符合一级故障判定标准，随即向副总指挥、运维中心经理赵六汇报故障情况及初步判定结果。阶段二：故障定级与应急启动（9:08-9:15）9:08:10赵六接到汇报后，再次核对故障影响范围、故障严重程度，确认符合一级故障标准，随即向总指挥、信息技术部总经理孙七汇报，提出启动一级应急响应的申请。9:10:20孙七接到汇报后，第一时间向行应急管理委员会授权行长汇报，获得启动一级应急响应的批准，9:11:30孙七通过应急指挥系统下达命令：启动一级信息系统故障应急响应，所有应急工作组成员10分钟内到应急指挥中心集合，技术处置组立即开展故障处置，业务保障组、公关舆情组同步到位做好相关准备，合规组做好监管报送准备。9:12:10行政值班人员通过企业微信、内部OA、应急对讲机三种渠道同步发送应急响应通知，要求所有人员准时到位。9:14:50所有工作组全部到位完成签到，各组长依次向总指挥汇报本组到位情况：技术处置组到位、业务保障组到位、合规组到位、舆情组到位、评估组到位，孙七宣布应急处置正式开始。阶段三：同步处置（技术处置+客户沟通+舆情应对，9:15-10:40）9:15:00副总指挥赵六分配处置任务，明确“优先恢复业务、同步推进故障排查”的原则，确定“先切换容灾快速恢复业务，再修复原生产存储”的处置方案，各小组按职责开展工作：1.技术处置环节：9:16:00存储管理员李四提出处置方案：原生产存储控制器故障需要更换，修复时间约2小时，修复后还需要修复数据库，整体恢复业务时间预计超过3小时，虽然仍符合4小时RTO要求，但切换容灾可以在1小时内恢复业务，对客户影响更小，建议优先切换容灾中心核心系统对外服务。该方案经赵六审核后报总指挥孙七批准。9:25:30存储组开始容灾切换操作，操作步骤依次为：断开生产存储与容灾存储的异步复制关系→激活容灾存储核心数据卷为可读写状态→配置容灾存储SAN网络与核心应用服务器的映射→验证容灾存储I/O性能，整个操作耗时12分钟，9:37:10完成存储层面切换，验证结果正常，移交系统应用组开展下一步操作。9:38:00核心系统管理员王五、数据库管理员吴十开始操作系统，步骤为：修改核心应用服务器数据库连接配置，指向容灾存储数据文件→启动数据库实例，执行DBCCCHECKDB校验数据一致性，结果显示所有数据页无损坏，数据库启动成功→启动核心交易中间件、应用进程，配置负载均衡→开展内部10笔测试交易（涵盖存款、取款、转账、开户、查询5类核心业务），所有交易全部成功，平均响应时间120ms，符合性能要求。9:52:00王五向总指挥汇报：核心系统在容灾环境恢复完成，内部验证全部通过，申请开放网点试运营。孙七批准申请，通知业务保障组开展试运营。9:53:20业务保障组安排总行营业部1号柜开展模拟真实客户交易验证，依次办理1万元活期存款、5000元跨行转账业务，交易成功，凭证打印正常，人行大额系统清算成功；手机银行端模拟用户登录、查询余额、转账操作，全部成功。10:02:10业务保障组组长汇报试运营全部正常，符合对外服务要求，孙七下达命令：10:05整全面开放全渠道业务，恢复对外服务，业务保障组立即开展异常交易核查。10:05:00全渠道业务正式对外开放，核心系统运行稳定，CPU使用率稳定在17%，内存使用率30%，交易响应时间正常，峰值吞吐量达到3100笔/分钟，符合早高峰业务需求。10:10:00业务保障组联合技术开发组统计异常交易：故障时间段为2024年5月15日9:00:12至10:04:58，共计64分46秒，累计筛选出状态异常交易127笔，其中82笔转账交易超时未提交，45笔交易处于待清算状态，13笔交易已经扣款未入账，涉及金额合计23.62万元，全部挂入待清算过渡账户。10:30:20完成所有异常交易逐笔核对，比对核心系统流水、人行清算流水、银联流水，确认所有错账调整完成，所有客户账户余额正确，无资金损失，客服中心开始逐一对13笔错账交易的客户进行电话通知，告知交易情况，说明已经完成调账，所有13名客户均表示理解，无客户投诉。10:38:00存储厂商工程师到达现场，完成原生产故障控制器更换，重建存储双活配置，校验存储数据完整性，确认原生产存储所有指标恢复正常，10:40:00存储组汇报原生产存储修复完成，计划日终批量完成后再执行回切，避免影响日间业务运行，该方案获得总指挥批准。2.客户沟通与舆情应对环节（同步开展）：9:16:00公关舆情组启动7*24小时舆情监测，针对微信、微博、抖音、本地论坛、小红书等平台设置监测关键词：“XX银行瘫痪”“XX银行转不了账”“XX银行钱没了”，每15分钟更新一次舆情动态。9:20:00公关舆情组制定统一对外回应口径：“尊敬的客户，我行今日核心系统进行例行维护优化，临时出现部分业务中断，目前技术团队正在紧急处置，预计1小时内恢复服务，给您带来不便我们深表歉意，如有任何疑问，请拨打我行24小时客服热线XXXX-XXXXXXX。”9:22:00客服中心增开10个应急坐席，总坐席从8个增加到18个，所有进线客户统一按照上述口径回应，做好客户安抚工作，对情绪急躁的客户进行一对一专人沟通。9:25:00官方回应口径在本行官方微信公众号、官方微博、手机银行首页同步发布，让客户及时获取信息。9:30:00舆情组监测到本地论坛有2条用户发帖反映“XX银行手机银行用不了”，无负面煽动内容，舆情组安排工作人员用官方账号跟帖告知系统正在紧急处置，很快将恢复服务，没有出现舆情扩散。10:08:00业务恢复后，舆情组发布第二份官方公告：“尊敬的客户，我行核心业务系统已经全面恢复正常，所有业务均可正常办理，给您带来的不便我们再次深表歉意，感谢您的理解与支持。”截至演练结束，未出现负面舆情扩散，未收到媒体采访请求。3.合规环节（同步开展）：9:30:00合规风控组核对处置流程，确认符合《网络安全事件报告管理办法》要求，一级故障需要在发生后1小时内报送属地银保监局和人民银行，初步报告要素已经整理完成，内容包括故障发生时间、影响范围、初步处置情况，符合报送要求，10:00完成初步报告报送，符合监管时间要求。阶段四：应急终止（10:40-10:55）10:45:00各工作组组长依次向总指挥汇报处置结果：①技术处置组：核心业务系统在容灾环境稳定运行，所有技术指标符合要求，原生产存储已经完成硬件更换和调试，恢复正常，计划日终批量后完成回切；②业务保障组：全渠道业务恢复正常，所有异常交易核查完成，错账调整到位，无客户资金损失，客服中心进线量已经回落至正常水平；③公关舆情组：无负面舆情扩散，官方公告已经发布，客户情绪稳定；④合规风控组：处置流程符合监管要求，初步报告已经按时报送，无合规风险。10:52:00总指挥孙七确认所有故障影响已经消除，应急处置目标完成，正式下达命令：终止本次一级应急响应，核心系统转入正常运行，后续按计划完成原生产环境回切，10个工作日内报送处置总结报告至监管机构。五、演练评估与改进要求10:55-11:30评估组组织所有参演人员开展总结评估，评估采用百分制，评分维度及得分如下：①预警响应速度（20分）：本次从故障发生到启动一级应急响应耗时11分30秒，符合预案要求15分钟内启动的标准，扣1分因为告警推送存在5秒延迟，最终得分19分；②跨部门协同效率（20分）：所有工作组10分钟内全部到位，信息流转顺畅，接口清晰，无推诿扯皮情况，得分20分；③处置流程规范性（30分）：整个处置符合应急预案要求，容灾切换操作合规，交易核查完整，错账调整符合财务制度，扣2分因为初始故障报告