信息系统故障(网络瘫痪)应急预案演练脚本_第1页
信息系统故障(网络瘫痪)应急预案演练脚本_第2页
信息系统故障(网络瘫痪)应急预案演练脚本_第3页
信息系统故障(网络瘫痪)应急预案演练脚本_第4页
信息系统故障(网络瘫痪)应急预案演练脚本_第5页
已阅读5页,还剩11页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

信息系统故障(网络瘫痪)应急预案演练脚本一、演练概述一次网络瘫痪演练的价值不在于“演得像”,而在于把应急预案里每一条职责、每一个时限、每一条回退路径都放到真实压力下验证——本脚本的设计目标就是让参演人员在90分钟内完整经历“发现—上报—决策—处置—恢复—复盘”全链条,并暴露预案与实际能力之间的差距。1.1演练基本信息项目内容演练名称信息系统故障(网络瘫痪)专项应急演练演练形式实战演练(核心链路真实切换)+桌面推演(数据损毁场景推演)演练时间年度计划内的周五09:00—10:30(业务低峰时段,见1.3选时依据)演练地点生产数据中心机房、应急指挥室(行政楼3楼会议室)、备份数据中心参演人数约25人(指挥组3人、技术处置组8人、业务保障组6人、各科室信息员6人、评估组2人)演练总指挥分管信息化副总现场指挥信息中心主任1.2演练目的1.验证《信息系统故障应急预案》中上报时限、决策权限、处置流程的可执行性,发现预案与实际人员能力、设备状态的偏差。2.检验核心网络设备(核心交换机、出口路由、防火墙)主备切换的真实可用性,目标RTO(恢复时间目标)≤30分钟、RPO(数据恢复点目标)≤15分钟。3.训练业务部门在系统不可用期间启用手工应急作业的能力(挂号/收费/收发登记等纸质流程)。4.检验应急通讯录、备用通讯手段(对讲机、个人手机)的有效性。1.3演练时间选择依据必须选择业务低峰时段演练,避免演练本身造成生产事故:•09:00—10:30为多数单位业务办理的相对低谷(避开08:00—09:00集中开工高峰);•周五演练后留有周末缓冲,若切换后系统不稳定,可在业务量最小的周末完成回退;•演练日期必须提前5个工作日通知全员,且当天08:30由信息中心在OA首页和各科室群发布二次提醒——严禁未通知直接断网演练(未通知的“真实断网”会触发各部门误报安全事件、引发客户/患者投诉,事态不可控)。1.4演练范围与边界本次演练只模拟以下场景:核心交换机主控板故障导致全网瘫痪。不属于本次演练范围的场景(本次以桌面推演方式过一遍流程,不做实操):数据中心双路市电全停、核心数据库损坏、勒索病毒加密事件。理由:断电和数据库损坏的回退涉及数据一致性校验,单次演练无法同时验证多个高复杂度场景,混在一起会稀释处置精度。二、组织机构与职责演练组织采用“指挥—处置—保障—评估”四线分离结构,指挥权与处置权分离是本次演练的关键设计:现场技术人员只提方案、不拍板,重大动作(全网切换、回退)一律由总指挥下令,避免演练中个人决策导致生产事故。2.1应急指挥组角色人员职责演练中的动作节点总指挥分管副总(张某某)宣布演练开始/结束、批准切换与回退、对演练升级为真实事件的情形做终裁T+0宣布开始;T+10授权切换;T+55确认恢复;T+90宣布结束现场指挥信息中心主任(李某某)汇总故障信息、下达技术处置指令、控制演练节奏全程在机房,每10分钟向指挥室报告一次进展记录员信息中心工程师(王某某)全程记录时间线、口头指令、关键操作,作为评估依据使用《演练时间线记录表》(附件1)逐条记录2.2技术处置组(8人)•网络组3人:负责核心交换机主备切换、出口路由验证、无线网络隔离恢复。负责人:网络管理员(赵某某)。•系统组3人:负责服务器、存储状态确认、核心业务系统(ERP/HIS/OA)重启与数据校验。负责人:系统管理员(钱某某)。•安全组2人:负责确认故障为硬件原因而非网络攻击,切换期间监控入侵告警。负责人:安全工程师(孙某某)。2.3业务保障组(6人)由各核心业务科室指定骨干组成,职责:1.演练前1天检查本科室纸质应急表单存量(不少于2个工作日的用量);2.演练期间按脚本模拟“系统不可用”下的手工业务办理,记录手工流程中的堵点;3.恢复后30分钟内完成补录(演练中模拟补录3笔即可,不要求真实补录全部数据)。2.4评估组(2人,不参演)由审计部门与外部顾问(或未参演的资深工程师)组成,独立计时、独立打分,职责:•对照《演练评估评分表》(附件2)逐项评分;•重点抓三类问题:超时限动作、口头指令未复述确认、演练中发现的真实隐患(如备件过期、备用链路账号失效)。三、演练场景设定场景设定必须写到“故障现象可以直接照读”的程度,参演人员按脚本卡逐步执行,评估组按脚本卡逐步核对——任何一步偏差都是评估发现项。3.1场景一(实操):核心交换机主控板故障致全网瘫痪情景描述(演练开始时由现场指挥宣读):09:00,核心交换机A(主用,承担全网三层转发)主控板发生硬件故障,整个园区网络瘫痪:所有科室终端ping不通网关,核心业务系统全部无法访问。备机核心交换机B处于热备状态,但近6个月未做过主备切换验证,B机上3条静态路由是否与A机同步未知。故障演化路径(供评估组对照检查阻断是否及时):核心交换机A主控板硬件故障→全网三层转发中断→终端失去网关响应→核心业务系统(数据库与业务服务器在服务器区,需经核心交换)全部不可达→各科室业务停摆→若30分钟内未恢复,需启用全院/全公司手工应急流程。3.2场景二(桌面推演):核心存储故障致数据库不可用09:55,现场指挥口头注入情景:“核心存储控制器故障,主数据库无法写入,最近一次全量备份为昨夜02:00,日志备份间隔15分钟。”技术处置组口述处置方案(启备份数据中心、数据损失窗口计算、业务补录范围),评估组按预案核对方案完整性。本场景只推演、不操作生产设备。3.3演练脚本卡(时间轴+动作+判定标准)下表为全场演练的主控脚本,时间T为演练开始后的分钟数。时间触发方动作完成判定标准责任人T+0总指挥宣布演练开始,现场指挥宣读故障情景全员到岗确认总指挥T+0—T+5信息员各科室信息员向服务台报障(模拟拨打内线8000),每人报障话术含科室名、故障现象、发生时间服务台3分钟内接听并登记各科室信息员T+5服务台/值班工程师汇总报障,判断为全网性故障(3个以上科室同时报“上不了网”即判定全网故障,而非单点故障),上报现场指挥上报时限≤故障确认后2分钟值班工程师T+5—T+10网络组登录核心交换机A,执行displaydevice/showenvironment类命令确认主控板硬件告警;检查B机同步状态出具书面判断“硬件故障,建议切换”赵某某T+10现场指挥→总指挥汇报故障定性、切换方案、预估影响,口头请求授权总指挥授权前任何人不得执行切换李某某T+10—T+11总指挥授权主备切换,记录员记录授权时间与原话授权到执行间隔≤1分钟张某某T+11—T+16网络组执行核心交换机B提升为主用(手工执行主备切换命令,不依赖自动故障切换——本次演练目的之一就是验证手工切换能力)切换命令执行完成赵某某T+16—T+26网络组+系统组分区验证恢复:先服务器区(ping网关、登录数据库、打开核心系统页面)→再办公区→最后无线区。每区验证结果报现场指挥服务器区恢复≤T+20,办公区≤T+25赵某某、钱某某T+26—T+30业务保障组各科室确认业务系统可用,模拟1笔业务操作并截图/登记6个科室全部确认各科室骨干T+30—T+55网络组处置A机:隔离A机、联系厂商报修(演练中模拟致电并登记工单号)、确认备件到位时间完成报修登记,明确备件预计到场时间赵某某T+55总指挥确认恢复,宣布进入场景二桌面推演——张某某T+55—T+80全体场景二桌面推演(见3.2)处置方案覆盖:启动决策、数据损失窗口、业务补录、对外告知李某某T+80—T+90全体总指挥宣布演练结束;评估组即时口头反馈3个最突出问题;宣布复盘会时间(演练后2个工作日内)复盘会时间当场确定张某某3.4演练中的关键纪律•严禁未经总指挥授权对生产设备执行任何配置变更(后果:若演练期间发生真实并发故障,无授权的变更会破坏现场、无法区分演练影响与真实故障影响;替代方案:一切变更先口头方案、后授权、再执行,全程记录)。•严禁在演练中使用生产数据库执行写操作测试(后果:演练数据会污染生产报表与对账;替代方案:使用测试账套或只读查询验证)。•演练期间若发生真实系统故障,现场指挥必须立即叫停演练,所有参演人员按真实应急预案处置——演练永远为生产让路。•所有口头指令必须执行“复述确认”:接令人逐字复述,下达人确认后方可执行。四、应急处置分级与响应机制分级响应是预案的骨架——演练必须验证各级别的判定门槛是否清晰,最常见的失败模式是所有故障都被“升级到最高级”,导致指挥通道堵塞和授权流于形式。4.1事件分级标准级别判定标准响应时限启动权限处置原则Ⅲ级(一般)单科室或单系统故障,影响<20人,有可用替代手段15分钟内响应,2小时内恢复信息中心值班工程师值班工程师自行处置,无需上报指挥组Ⅱ级(重大)多科室(≥3个)同时报障,或核心系统不可用但可30分钟内切换恢复5分钟内响应,30分钟内恢复信息中心主任上报分管副总,技术处置组全员到岗Ⅰ级(特别重大)全网瘫痪且主备切换失败,或预计恢复>2小时,或伴随数据丢失/安全事件5分钟内响应,按指挥组决策处置总指挥启用全单位手工应急流程,对外发布统一口径,必要时向行业主管部门报告4.2分级演变的处置规则故障级别只能由现场指挥根据技术处置组的定性结论上调或下调,科室信息员与技术处置组成员无权自行宣布升级。本次演练从Ⅱ级起步,桌面推演中注入“切换失败”情景,验证升为Ⅰ级的流程:现场指挥提议→总指挥批准→启动手工应急→对外告知口径由总指挥审定,严禁任何人员擅自对外(客户、媒体、上级)发布故障信息。4.3手工应急作业流程(业务保障组执行要点)系统不可用超过15分钟即启动手工应急,业务保障组按以下顺序执行:1.启用纸质应急表单(各科室存放位置见附件3《应急物资清单》,表单编号规则:应急-科室代码-年份-流水号);2.每30分钟向业务保障组组长汇总一次手工业务量;3.恢复后按表单流水号顺序补录,补录完成率目标100%,补录完成前原纸质单据不得销毁,保存期不少于3个月以备对账。五、演练评估与整改闭环评估的价值在闭环——没有整改跟踪的演练只是表演,本次演练要求每个发现项都有责任人、有期限、有验证方式,未闭环的问题自动进入下一次演练的必测项。5.1评估维度与评分评估组按《演练评估评分表》(附件2)打分,核心指标:评估项权重达标标准报障与上报时限20%服务台3分钟内接听,故障定性后2分钟内上报决策授权链20%无未经授权的变更,授权到执行间隔≤1分钟主备切换与恢复时效25%RTO≤30分钟,分区验证完整无遗漏手工应急作业15%纸质表单齐备,科室确认率100%记录与沟通纪律10%复述确认执行率100%,时间线记录完整桌面推演方案完整性10%方案覆盖数据损失窗口计算与补录范围总分100分,80分以上为合格;任一“一票否决项”(未授权变更、记录缺失、超时未叫停真实故障)出现即为不合格。5.2复盘会与整改跟踪•复盘会在演练结束后2个工作日内召开,时长控制在60分钟内,议程为:时间线回放(20分钟)→评估组通报问题(15分钟)→逐项确定整改措施与责任人(20分钟)→总结(5分钟)。•每个整改项录入《整改跟踪表》(附件4),明确责任人、完成期限(默认10个工作日,涉及采购备件的可延长至30个工作日并说明原因)、验证方式。•整改项验证方式必须可检查:备件到位以入库单为证、流程修订以新版预案发布为证、培训以签到表和考核记录为证。•信息中心在复盘会后5个工作日内完成《演练总结报告》,报总指挥签发后归档,保存期不少于3年。5.3预案修订触发条件出现以下任一情形,必须在10个工作日内启动预案修订:1.演练暴露预案流程与实际能力存在结构性偏差(如RTO30分钟实际不可达);2.主备切换演练失败且短期内无法修复;3.组织架构调整导致应急联络名单中超过20%的岗位发生人员变动。六、演练保障6.1技术保障•演练前3个工作日完成:核心交换机B配置与A机比对(输出差异清单并消除非演练差异)、备份数据中心连通性抽测、所有演练用账号权限确认。•演练当天08:45前完成生产系统全量备份,并验证备份文件可读(随机抽取1个表/文件恢复测试)。•演练全程对核心交换机操作开启日志审计,操作命令留痕。6.2物资保障物资数量存放位置检查节点纸质应急业务表单各科室≥2个工作日用量各科室应急物资柜演练前1天对讲机10台信息中心机柜间演练前1天充电并通联测试演练脚本卡(打印版)25份演练当天分发演练当天08:45笔记本电脑(调试用)2台信息中心演练前3天厂商支持电话及服务合同编号打印件2份机房值班台演练前3天核对有效性6.3培训与预演•演练前5个工作日组织1次全员演练交底会(30分钟),逐条讲解脚本卡与纪律要求;•技术处置组在演练前3个工作日于测试环

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论