信息系统故障的应急预案演练脚本_第1页
信息系统故障的应急预案演练脚本_第2页
信息系统故障的应急预案演练脚本_第3页
信息系统故障的应急预案演练脚本_第4页
信息系统故障的应急预案演练脚本_第5页
已阅读5页,还剩8页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

信息系统故障的应急预案演练脚本一、演练定位与总体要求本脚本用于桌面推演与实战演练两类场景,覆盖核心业务系统(ERP/OA/财务系统)故障时的应急响应全过程。读者为信息中心全员、各部门应急联络人及分管领导。读完本脚本,各角色应能独立完成自己的动作,不依赖口头指挥。演练分为三级:级别类型时长参与范围一级桌面推演2小时应急小组核心成员二级单项实战(切断单系统模拟)半天应急小组+业务部门联络人三级全链路实战(机房断电/网络中断模拟)1天全员每年至少完成一级演练2次、二级演练1次、三级演练1次,三级演练固定在每年10月业务低谷期进行,避免影响月末结算。二、第一幕演练背景与故障情景设定2.1情景一:核心数据库服务器宕机(三级演练主场景)设定:周五09:30,ERP数据库服务器主节点因存储阵列控制器故障宕机,业务系统中断。风险演化路径:存储阵列控制器故障→数据库实例异常关闭→ERP应用层连接池耗尽→全国各分支开单、财务凭证录入全部中断→若4小时内未恢复,影响当日300余笔销售订单出库→若数据损坏,月底财务关账延期,触发客户合同违约条款。阻断点:①阵列双控制器冗余(事前配置);②数据库主从切换(15分钟内);③单据线下纸质应急流程(即时启用)。2.2情景二:核心交换机故障致全网中断设定:周二14:00,核心交换机主引擎板故障,全网用户断网,OA与ERP同时不可达。风险演化路径:主引擎板故障→若双引擎未正确配置热备则整机宕机→全楼宇办公中断→电话系统(VoIP)随之中断→应急联络本身失效。此情景专门检验“联络通道失效”这一次生风险,应急联络不得依赖企业内部网络。2.3情景三:勒索病毒加密文件服务器设定:周三10:00,财务共享盘出现批量文件被加密,扩展名变为随机字符串。处置要点:此情景必须隔离处置而非抢修恢复——第一时间物理拔除受感染服务器网线/禁用交换机端口,严禁在其恢复杀毒前重新接入网络(否则病毒经内网横向传播,加密范围从文件服务器扩散至全员终端,后果从“单服务器受损”升级为“全公司数据灾难”)。三、第二幕组织架构与角色分工应急指挥的成败取决于事前把角色钉死到人,演练就是检验这一点。角色承担人(演练占位)核心职责演练考核点应急总指挥分管副总(张某某)宣布启动/终止应急、批准对外口径15分钟内到位并下达指令技术处置组长信息中心经理(李某某)故障定位、恢复方案决策30分钟内给出初步定位系统管理员王某某执行切换、恢复、回退操作切换操作≤15分钟网络管理员赵某某网络隔离、链路切换故障端口禁用≤5分钟业务应急联络人各部门指定1人组织本部门启用线下流程、上报受损业务量20分钟内反馈业务影响清单记录员信息中心专员全程记录时间线、决策、操作时间线精确到分钟,事后24小时内出报告对外联络人行政部(刘某某)统一对外口径,接听客户/供应商问询严禁未经总指挥批准对外发布任何技术细节备份人员:每个技术岗位指定1名备份人,备份人必须在演练中至少独立完成1次本岗位操作(防止“唯一会切换的人请假”这一单点风险——应急体系本身不能有单点)。应急通讯录(含24小时电话)以纸质形式存放于:①机房门后应急袋;②每位联络人个人手机备份;③行政部前台。严禁只存在OA系统里(情景二下OA本身不可用)。四、第三幕演练脚本正文(三级实战演练·情景一)以下按时间轴推进,T0=演练宣布开始时刻。记录员从T0起逐条记录。4.1阶段一:故障发生与发现(T0~T0+10分钟)1.T0:演练总指挥宣布开始,系统管理员在测试环境(严禁在生产环境直接演练)模拟数据库主节点宕机——停止数据库服务并断开应用连接。2.T0+2分钟内:监控平台(Zabbix类监控,按公司实际系统填写)应产生告警。检验点:若监控未在5分钟内告警而靠业务人员报障发现,即判监控配置不合格,记为演练整改项。3.T0+5分钟:系统管理员电话(手机,不依赖内网)通知技术处置组长,报告:故障系统名称、告警时间、初步现象。必须使用“故障五要素”格式——什么系统、什么现象、何时发生、影响范围、已做动作。4.T0+10分钟:技术处置组长向总指挥汇报,总指挥宣布启动II级应急响应(判定标准见第四幕),记录员开始记录正式时间线。4.2阶段二:诊断与决策(T0+10~T0+30分钟)1.系统管理员登录数据库从节点,检查:复制延迟(要求≤60秒)、从库只读状态、日志末尾事务号。机理说明:切换前必须确认从库数据一致,否则切换后出现单据丢失或凭证断号,业务对账成本远超多花的5分钟检查时间。2.技术处置组长在T0+25分钟前做出决策,三选一:◦优先:主从切换(预期15分钟恢复,数据损失趋近于零);◦若从库复制延迟>10分钟或复制报错:先尝试重搭复制,同步完成前业务走线下流程;◦严禁:在未确认数据一致性的情况下强切,也严禁当场尝试修复主库阵列(修复操作耗时不可控,会拖垮恢复时限——修复留给事后,恢复是当下唯一目标)。3.总指挥在决策单上签字(演练中用纸质《应急决策单》,见附录三),决策单注明:选择方案、预计恢复时间、业务面安排。4.3阶段三:切换与恢复(T0+30~T0+60分钟)1.T0+30:系统管理员执行主从切换,按操作手册逐步执行并口头复述每一步(演练要求复述,目的是让记录员能完整记录,也强制操作者自我校验)。◦停止应用层对主库的连接重试→提升从库为主库→修改应用连接串指向新主库→重启应用中间件连接池→用测试账号登录ERP执行“查询一张历史单据+创建一张测试单据”双重验证。机理说明:只验证查询不验证写入是常见错误——连接通了不代表事务能提交,必须以“测试单据成功落库”作为恢复判据。2.T0+50:验证通过,技术处置组长宣布系统恢复,通知各业务联络人。3.T0+60:各业务联络人反馈本部门恢复情况(要求:每部门10分钟内回复“已恢复/仍有X问题”),总指挥宣布终止II级响应。4.4阶段四:善后与复盘(演练日当日下午)1.技术处置组长组织原主库修复:阵列控制器更换、主库重建为从库,恢复双节点冗余状态。验收判据:复制延迟≤60秒且稳定运行24小时,方视为冗余恢复完成;未恢复前每日晨会通报。2.当日17:00召开复盘会,由记录员宣读时间线,逐节点对照本脚本时限,超时项逐条分析原因并形成整改项,明确责任人与完成期限(一般整改项≤15个工作日,涉及监控/架构的≤30个工作日)。3.整改项完成情况由信息中心经理每月检查一次,连续两个月未关闭的上报总指挥。五、第四幕分级响应与异常场景处置分级响应是演练的“裁判规则”——演练中所有决策都应能对应到某一级别的判定标准。5.1响应级别级别判定标准启动权限处置原则III级(一般)单一非核心系统故障,或核心系统性能下降但可用,影响人数<20人信息中心值班工程师自行处置,2小时内报组长优先解决用户侧问题,不影响业务流程II级(严重)核心系统(ERP/OA/财务)中断,或影响人数≥20人,预计恢复>30分钟技术处置组长报总指挥后启动先恢复业务再修复根因,业务面同步启用线下流程I级(重大)核心系统数据损坏/丢失、勒索病毒扩散、预计恢复>4小时总指挥启动隔离优先、保数据优先于保可用性、必要时断网5.2演练中强制插入的异常场景实战演练必须在正常路径之外随机注入以下异常,检验应变能力:1.注入“切换失败”:演练执行人在系统管理员切换过程中告知“从库启动报错”。预期处置:系统管理员不得反复盲目重试超过2次,第2次失败必须上报组长,转入线下流程并评估第三方案(如启用异地/云端灾备实例,按公司灾备架构实际填写)。2.注入“联络失效”:演练执行人告知某部门联络人电话“打不通”。预期处置:启用备份联络人,同时用手机短信/个人微信双通道重发通知。机理说明:单通道通知等于没通知——演练暴露的联络断点必须落到通讯录修订,而不是记在复盘会上就结束。3.注入“数据不一致质疑”:财务联络人报告切换后一笔上午的单据查不到。预期处置:立即冻结该时间段单据的后续修改,系统管理员比对主从库事务日志定位该笔事务是否已复制,30分钟内给出结论;严禁让财务“先手工补录再说”(补录会覆盖切换后的真实数据,造成账实永久性混乱)。5.3出问题怎么办(演练失败的处置)•某环节超时超过50%时限(如切换应在15分钟完成实际用了25分钟):记录员如实记录,严禁为好看而压缩记录时间。演练报告必须呈现真实数据。•操作失误造成测试环境数据损坏:当场记录、中断该分支演练,复盘时作为整改项分析根因。•演练中暴露岗位职责不清:复盘会现场重新确认分工,10个工作日内修订本脚本与应急预案正文。六、第五幕演练评估与持续改进演练的价值不在演,而在评估闭环。6.1评估指标指标目标值测量方法故障发现时间(MTTD)≤5分钟告警时间vsT0应急到位时间总指挥≤15分钟,其他技术岗≤30分钟时间线记录主从切换耗时≤15分钟操作开始至写入验证通过业务恢复验证每部门10分钟内确认联络人反馈时间线下流程启用率100%(应启用部门全部启用)联络人上报清单整改项按期关闭率≥90%月度检查台账6.2PDCA闭环1.Plan:演练前2周发布演练方案与情景设定,联络人签署知悉确认。2.Do:按本脚本第三幕执行,记录员全程记录。3.Check:演练后24小时内出《演练报告》,5个工作日内出《整改清单》。4.Act:整改完成后,信息中心经理组织验证(如监控告警整改需实测触发一次告警),验证通过方可关闭;下一年度演练必须包含上年整改项的复测场景。6.3演练结果的应用•演练中暴露的操作手册缺陷:10个工作日内修订《信息系统应急操作手册》对应章节。•连续两次演练同一岗位超时:该岗位人员必须参加专项培训并单独补测。•演练评估结果纳入信息中心年度考核,权重由信息中心与人力资源部商定后写入考核方案。七、附录7.1附录一应急联络通讯录(样表,演练前更新)岗位姓名手机(24h)座机备份人备份人手机总指挥张某某138******0755-**8801李某某139******技术处置组长李某某139******0755-**8802王某某137******系统管理员王某某137******0755-**8803赵某某136******网络管理员赵某某136******0755-**8804王某某137******财务联络人(各部门填写)对外联络人刘某某135******0755-**8806机房值班电话0755-**89007.2附录二演练时间线记录表(记录员用)序号时间(精确到分)事件/操作执行人对照时限是否达标备注1故障模拟触发—2监控告警产生≤5分钟3组长接到报告≤5分钟4总指挥启动响应≤15分钟5切换操作开始—6写入验证通过切换≤15分钟7各部门确认恢复≤10分钟8响应终止—7.3附录三应急决策单(样表)项目填写内容故障系统与现象响应级别(III/II/I)拟采用方案(切换/灾备/线下)预计恢复时间业务面安排总指挥签字/时间7.4附录四整改清单(样表)序号暴露问题整改措施责任人完成期限验证方式状态1示例:监控未对从库复制延迟设阈值增加复制延迟>60秒告警王某某实测触发一次告警

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论