信息系统瘫痪应急预案脚本_第1页
信息系统瘫痪应急预案脚本_第2页
信息系统瘫痪应急预案脚本_第3页
信息系统瘫痪应急预案脚本_第4页
信息系统瘫痪应急预案脚本_第5页
已阅读5页,还剩8页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

信息系统瘫痪应急预案脚本一、预案定位与适用范围信息系统瘫痪是“秒级损失、小时级扩散”的事件:核心业务系统中断1小时,按中等规模企业日均交易量估算,直接订单损失、客户流失与合规罚则的综合代价往往超过一次完整灾备演练的投入。本预案的价值不在于“事后解释”,而在于把恢复动作前置到分钟级脚本,任何值班人员拿到本脚本即可独立启动处置,不依赖关键人员到场。•适用范围:公司生产环境核心系统(ERP、OA、CRM、财务系统、邮件系统、对外门户及API服务)、承载上述系统的机房基础设施(供配电、精密空调、网络链路)、以及依赖上述系统的上下游业务流程。•适用对象:IT运维值班人员、信息系统应急响应小组、受影响业务部门负责人、公司应急指挥部。•预案定位:本预案为“瘫痪级”事件(最高严重度)专用脚本;一般性单点故障(单台服务器宕机、单个应用异常)按《日常运维故障处理规程》执行,不启动本预案,避免小事故占用大资源。二、事件分级与启动机制分级是整个预案的“总开关”:级别定错,要么小题大做浪费资源,要么大题小做贻误恢复窗口。分级标准必须量化到可观测指标,不允许凭感觉。2.1三级分级标准级别判定标准(满足任一即定级)启动权限响应时限I级(灾难级)2个以上核心系统同时不可用;或任一核心系统中断超4小时未恢复;或机房整体断电/断网值班经理可先行启动,30分钟内报应急指挥组组长确认5分钟内响应,15分钟内成立现场指挥部II级(严重级)单个核心系统不可用且预计中断1~4小时;关键数据库主库宕机值班经理决定10分钟内响应III级(一般级)单个非核心系统异常;核心系统性能下降但可继续服务值班工程师决定,事后24小时内补录事件单30分钟内响应2.2系统重要性清单(分级依据)系统重要等级最大可容忍中断时长(RTO)数据丢失容忍(RPO)责任系统管理员ERP系统核心2小时15分钟张某某(138******)财务系统核心2小时15分钟李某某(139******)对外门户/API核心1小时5分钟王某某(137******)CRM系统重要4小时1小时赵某某(136******)OA/邮件一般8小时4小时孙某某(135******)RTO/RPO为按业务部门年度评审确认的目标值(2024年末评审口径),实际能力以年度灾备演练实测为准,两者差距即为本预案需持续缩小的缺口。2.3升级与降级规则•升级:III级处置30分钟未见效,或II级处置1小时未见效,或出现数据丢失、对外信息泄露迹象,值班经理必须立即上调一级并重新通报。•降级:所有受影响系统恢复且连续稳定运行2小时,经系统管理员实测确认后,由启动人降级并宣布转入观察期。三、应急组织与职责组织设计的原则是“一人一岗、AB角互备、指挥与执行分离”——最忌讳全员都在看、没人能拍板。角色担任人核心职责AB角应急指挥组组长分管IT的副总经理I/II级事件总指挥;对外通报与重大决策(如是否启用灾备机房、是否对外公告)行政总监值班经理当日运维排班表指定人事件定级、启动预案、调度资源、每30分钟发布一次进展通报运维主管系统恢复组各系统管理员按本脚本执行恢复操作、记录操作日志厂商技术支持接口人基础设施组机房/网络工程师供配电、空调、网络链路恢复物业工程对接人业务协调组受影响部门负责人业务侧手工应急(单据手工登记、客户通知)、恢复后数据补录各部门副职信息通报组综合办专人对内通知(全员邮件/电话)、对外公告稿审核、媒体问询统一口径指挥组组长兼任联络通讯录完整版见附录A,每季度第一个月的第一个工作日核对更新一次,由信息通报组执行并归档更新记录。四、常见瘫痪场景处置脚本以下四个场景覆盖约九成的瘫痪成因,每个脚本按“判定→动作→机理与禁忌→回退”展开,值班人员按序执行即可。4.1场景一:核心交换机/网络链路瘫痪现象判定:多个系统同时无法访问,但服务器本地登录正常(说明服务器本身存活,问题在网络层);ping网关丢包率100%处置步骤:1.5分钟内登录核心交换机带外管理口(Console或带外IP,必须使用带外通道,业务网故障时带内管理IP同样不可达),查看CPU、内存与接口状态。2.若为双核心架构且主核心宕机:确认HSRP/VRRP已切换至备核心(切换完成判据:备核心接口up、网关ARP响应正常、终端ping网关丢包率0%3.若为光链路中断:优先使用备用光纤链路;若无备用光纤,启用4G/5G备份链路保障对外门户与邮件,仅承载关键流量(带宽有限,禁止全员视频会议占用)。4.机理说明:双核心热备依赖心跳协议,主核心故障后备核心接管需要10~30秒收敛;若收敛后仍有终端不通,通常是ARP缓存未刷新,需在接入交换机执行ARP清除,而非重启交换机(重启核心交换机会引发全网3~5分钟二次中断,扩大事态)。5.严禁在未确认故障点前盲目重启核心设备——若故障源是环路或广播风暴,重启只是暂时压制,风暴会随设备上线再度爆发,且重启动作会掩盖真实故障点,浪费排查窗口。回退条件:主核心修复上线后,应在业务低峰期(22:00后)执行主备切换回切,禁止业务高峰期回切。4.2场景二:核心数据库宕机现象判定:ERP/财务/CRM同时报“数据库连接失败”;数据库服务器进程存活但无响应,或进程直接退出。处置步骤:1.立即评估是否有未提交事务与数据一致性问题,此为第一优先级——数据库恢复的顺序错误会把“宕机”变成“数据损坏”,后果不可逆。2.主库宕机:确认备库复制延迟(判据:延迟低于RPO即15分钟才可切换,否则切换会丢失超过容忍度的数据);延迟达标则执行主备切换,切换后验证应用连接串已指向新主库。3.延迟不达标:不要强行切换。在原主库尝试快速恢复(检查是否磁盘空间满、锁表、内存溢出),恢复时间预估超2小时且业务无法等待时,报指挥组决策:接受数据损失切换备库,或等待原库恢复。4.机理说明:数据库异常关闭后重启会执行崩溃恢复(回滚未提交事务、前滚已提交事务),数据量大的库此过程可达30分钟以上;此期间反复强制重启会中断恢复进程,可能导致redo日志损坏——严禁在崩溃恢复阶段连续重启实例。5.恢复后必须执行数据校验:抽取当日关键业务表(订单、凭证)按业务部门提供的对账口径核对记录数与金额合计,异常时以业务系统操作日志与手工登记单(见4.5节)为依据补录。回退条件:原主库修复后先作备库运行24小时,确认稳定且复制正常后再回切。4.3场景三:机房供配电/空调瘫痪风险演化路径:市电中断→UPS电池放电(按设计满载支撑30~60分钟)→电池耗尽→全部服务器非正常断电→数据库/文件系统损坏+恢复时间延长2倍以上。全部处置动作都必须在电池耗尽前完成,这是倒计时作战。处置步骤:1.UPS转电池供电后5分钟内:机房值班人员确认UPS负载率与预估支撑时长(UPS面板直接读数),同步报值班经理。2.预估支撑时长不足30分钟且市电短期无法恢复:按序关闭非核心系统(OA、邮件先关;数据库最后关),为ERP等核心系统延长支撑时间——每关闭20%负载约可延长15%~20%支撑时长(按UPS电池放电曲线估算)。3.市电恢复或柴油发电机启动并稳定供电(判据:输出电压/频率稳定5分钟以上)后,按“存储→数据库→中间件→应用→网络”顺序逐层上电,禁止一次合闸全量上电——多台设备同时启动的冲击电流可达稳态的3~5倍,会再次触发空跳或UPS过载保护。4.空调故障场景:机房温度超35 ​∘4.4场景四:勒索软件/安全事件导致系统瘫痪现象判定:文件后缀异常批量修改、桌面出现勒索提示、杀毒软件批量告警、数据库文件被加密。处置步骤(前15分钟动作决定损失范围):1.立即物理断网:拔掉核心交换机上连或关闭受影响服务器网络接口——勒索软件通过横向移动扩散,断网是唯一可靠的阻断手段;不要花时间先“确认”,疑似即断。2.严禁在未完成取证与隔离前重装系统或格式化磁盘——加密文件的密钥线索与攻击入口证据一旦覆盖,追责与数据恢复possibility归零。3.保留内存现场(对关键服务器执行内存转储),封存日志,报指挥组组长决策是否报警(依据《中华人民共和国网络安全法》第二十五条,运营者发生危害网络安全的事件应立即处置并按规定向主管部门报告)。4.恢复路径分层:优先使用隔离备份(备份系统与生产网络物理隔离或独立认证域,勒索软件无法触达)进行还原;若备份同样被加密,评估第三方解密可行性与支付赎金的合规风险(指挥组集体决策,并咨询法务,支付赎金不保证解密且可能违反制裁合规要求)。5.恢复前必须完成入口封堵(定位初始入侵点,常见为弱口令远程桌面、未打补丁的对外服务),否则重装即再感染。4.5场景五(兜底):全场景不可快速恢复时的业务手工应急若判断恢复时间将超过2小时,业务协调组按以下最小业务连续方案执行,避免业务完全停摆:•财务/ERP:启用纸质单据登记(统一印制的应急单据,综合办常备200份,存放于财务部档案柜),登记字段与系统字段一致,恢复后24小时内完成补录。•对外门户:切换静态公告页(托管于外部云的应急页面,提前部署,发布“系统维护中”及联系方式)。•客户通知:由客服组按预设短信/电话模板通知重点客户,模板见附录C。五、应急资源与灾备保障资源必须在事前备妥且定期验证——瘫痪时刻才发现备份不可用,等于没有备份。行业普遍教训(据历年公开的安全事件复盘报告):大量勒索事件中备份与生产同域被一并加密。5.1备份策略对象频率保留存放位置验证要求核心数据库每日全备+每15分钟日志备份全备30天,日志7天本地备份存储+异地(独立网络域)每月1次恢复演练,恢复耗时记录归档应用程序与配置每次变更后最近10个版本异地备份存储每季度1次抽验虚拟机镜像每周4个副本异地备份存储每半年1次整机拉起测试5.2硬件与备件•核心交换机、数据库服务器各保有1台同型号冷备件,季度通电检测;备件盘按20%冗余备货。•UPS每半年做一次放电测试,电池实际容量低于额定80%六、恢复后处置与复盘改进(PDCA闭环)恢复不等于结束。缺了这一章,同类事故必然重演,且恢复过程中的临时操作(手工补录、临时链路)会留下数据不一致的隐患。6.1恢复确认(Check第一环)宣布恢复前,恢复确认清单必须全部打勾:1.各系统管理员实测核心功能(登录、下单、提交凭证各1笔完整业务流程),不能只看监控指标变绿。2.数据一致性核对:恢复期间手工登记单100%补录,关键表记录数与金额合计与业务部门对账。3.临时措施全部拆除:4G备份链路、静态公告页、临时权限(应急期间可能授予的紧急访问权限必须逐条回收并留痕)。4.观察期2小时无异常,值班经理宣布解除。6.2复盘与整改(Act环)•事件解除后3个工作日内,值班经理牵头召开复盘会,5个工作日内输出复盘报告,内容固定为五问:故障根因是什么、为什么监测没提前发现、为什么恢复耗时超过RTO(如超出)、预案哪一条不适用、要改什么。•整改项逐条指定责任人与完成时限,运维主管每两周跟踪一次直至关闭,逾期未关闭项报指挥组组长。•本预案每半年修订一次;每次实发事件或演练暴露的问题,在下次修订时必须体现条款变更(保留修订记录表,见附录B)。6.3培训与演练项目频率参与人验收标准桌面推演每季度应急小组全员2小时内走完全脚本,记录卡点实战切换演练每年1次全员+业务部门数据库主备切换+网络切换实测,RTO达标新员工预案培训入职1个月内新进运维人员笔试+沙盘操作通过七、附录A:应急联络通讯录(样表)角色姓名手机备用电话邮箱应急指挥组组长张某某138******010-8888**zhang@运维主管(值班经理AB)李某某139******—li@数据库管理员王某某137******—wang@网络工程师赵某某136******—zhao@厂商7×24支持热线—400*-——物业工程

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论