软件系统故障应急方案

软件系统应急方案20XX年XX月XX日目录TOC\o"1-5"\h\z一、 总贝9 4\o"CurrentDocument"（一） 》本原则 4\o"CurrentDocument"（二） 适用范围 4\o"CurrentDocument"（三） 参考文档 4二、 建立应急小组 5（一） 应急小组的建立 5（二） 应急小组的职责 5\o"CurrentDocument"三、 故障处理 6（一） 全局故障 6\o"CurrentDocument"（1） 省耕卜部电力中断故障 6\o"CurrentDocument"（2） ^XXXX系统应用服务器、瞄库服务器、存储器故障 8\o"CurrentDocument"（3） 省级网络、安全设备故障 9\o"CurrentDocument"（4） 应用系统软件故障故障 11\o"CurrentDocument"（二） 区域故障 12四、 结束响应 14XXXX系统的业务涉及日常信息化管理的时效性和安全性、系统要求比较高。为了保证系统稳定运行，进一步加强XXXX系统的网络与信息安全管理工作，切实做好信息化工作，有效应对有可能发生的网络与信息安全的各种突发紧急事件，特制定本应急方案。一、总则（一）基本原则按照"谁主管谁负责"的原则，建立和完善责任制度、协调管理机制和联动工作机制。根据项目组职能，各司其职，落实到人，加强项目组成员的协调与配合，形成合力，共同履行应急处置工作的管理职责。（二） 适用范围本方案适用于XXXX系统与信息管理相关的网络与信息系统故障的应急响应工作。（三） 参考文档《XXXX系统安装手册》《XXXX系统说明书》建立应急小组（一）应急小组的建立应急小组由参与项目实施的XXX、XXX、XXX共同组成，负责指挥和协调本次实施的具体工作。组长：成员：（二）应急小组的职责应急小组组长的职责是负责制定应急计划、制定应急恢复措施，在突发事件来临时能够尽快排除故障。每位小组成员应有明确的责任划分，在出现紧急事件时能够各就各位，协同作战。应急小组成员随时待命，当紧急情况发生时，由应急小组组长进行统一调度安排。技术人员要熟练掌握专业技能，熟悉系统恢复步骤，能够以最快的速度进行故障检修与恢复，应急指挥小组的业务人员要熟练掌握紧急情况下的业务处理流程，同时要配合技术人员协调各业务部门间的关系，尽快解决突发事件，保证系统的正常运行。应急小组成员内部应建立健全的沟通机制，具有有效的联络方式，同时与硬件设备提供商、系统集成商等建立良好的沟通渠道，确保在问题出现时能够及时通知厂商及集成商，确保问题能够得到快速解决。三、故障处理按照各种突发紧急事件的影响范围，将XXXX系统相关网络与信息安全故障分成全局故障（省级因电力、网络、硬件、软件等故障原因，导致全省范围的日常信息管理业务无法正常进行和区域故障（基层局因电力、网络、硬件、软件等故障原因，导致局部范围的日常支付业务无法正常进行）。（一）全局故障全局故障包括省级外部电力中断；省级XXXX系统应用服务器、数据库服务器、存储器故障；省级网络、安全设备故障；省级XXXX系统软件故障等。财务处或信息中心技术人员在监控过程中发现或收到其他部门转来的多个基层单位不能正常使用XXXX系统的故障事件后。相关软件、硬件的技术人员立即行动，初步查明原因电力、服务器、存储、网络、应用系统软件等），并向应急小组组长汇报。应急小组组长在听取情况汇报后，根据事件的范围、影响和紧急程度启动相应的专题预案，根据情况迅速采取措施抑制事件的扩散，恢复系统运行。应急小组相关成员，应尽快通过内部网站、电话等方式向各基层局下发《XXXX系统暂停通知》或公告。各基层局要做好对实际操作人员的解释工作。应急小组相关技术人员进一步落实故障原因，根据故障的范围、影响程度，采取应急措施。应急小组在对系统完成修复后，在完成测试的基础上，经请示后进行系统的启用，相关成员同时向各基层单位发布系统恢复公告。（1）省级夕卜部电力中断故障省级行业信息化系统因电力故障，导致全省范围的日常信息管理业务无法正常进行。故障处理：省级应急小组相关人员各司其责，立即进入应急工作状态，一方面联系供电部门确定中断原因和修复时间，积极抢修，另一方面马上启动发电机进行应急发电，做好信息化软件关闭、硬件系统安全关机的准备。流程图如下：涉及人员：机房电源管理岗位、XXXX系统主机管理员、存储管理员、数据库管理员以及应用系统管理员。（2） 省aXXXX系统应用服务器、数据库服务器、存储器故障省级行业信息化系统因应用服务器、数据库服务器、存储器故障，导致全省范围的日常信息管理业务服务无法正常进行。故障处理：应急小组相关技术人员立即到达故障现场，观察故障现象（操作系统情况、日志信息、硬件报警信息等），如果问题简单，则尝试恢复（尝试使用备用设备恢复）。如果不能自行恢复，则进行电话报修，向厂家对故障情况等信息进行描述，请求厂家现场技术支持。确定向厂家报修的受理回复，以及厂家工程师和故障备件到场时间。应急小组相关技术人员做好相关系统和数据备份及安全关机准备。如果设备故障不能及时修复，应向应急小组领导汇报，并采取相关措施。处理流程如下：

涉及人员：XXXX系统主机管理员、存储系统管理员、数据库管理员、应用系统管理员。省级网络、安全设备故障省级行业信息化系统因网络、安全设备故障，导致全省范围的日常信息管理业务服务无法正常进行。故障处理：

应急小组相关技术人员立即到达故障现场，观察故障现象（日志信息、设备配置信息状态、线路状态、硬件报警信息等），并尝试恢复（尝试使用备用设备恢复）。如果是线路问题，则马上与线路运营商联系，尽快排除故障。如果是设备问题，如不能自行恢复，则进行电话报修，向厂家对故障情况等信息进行描述，请求厂家现场技术支持。确定向厂家报修的受理回复，以及厂家工程师和故障备件到场时间。如果出现病毒入侵，立即进行紧急修复，如系统隔离、设置防火墙、路由器规则、更新系统补丁等。如果故障不能及时修复，应向应急小组领导汇报，并采取相关措施。处理流程如下:涉及人员：网络管理员、安全管理员、主机管理员、存储系统管理员、应用系统管理员。应用系统软件故障故障省级行业信息化系统因应用软件故障，导致全省范围的日常信息管理业务服务无法正常进行。故障处理：应急小组相关技术人员立即到达事故现场，观察故障现象(操作系统情况、应用服务运行情况、数据库运行情况等)，如果问题简单，则尝试按软件故障相关备份恢复步骤进行备份恢复。如果不能自行恢复，则通过《重大问题请求表》向应急小组领导进行汇报、请求总部支持。现场配合总部技术支持，进行故障恢复，如有必要请求工程师现场支持。应急小组相关技术人员视情况做好相关备份。处理流程如下：

涉及人员：应用系统管理员、数据库管理员、业务相关人员。（二）区域故障区域故障主要包括基层局外部电力中断、基层局网络中断以及基层局硬件、软件故障等。基层局信息中心在监控过程中发现或收到其他部门转来的用户不能正常使用XXXX系统等故障后，相关技术人员立即行动，初步查明原因，向省级应急处理小组进行汇报。如果得到省级通知，该故障属于全局性故障，则一方面等待省级的相关通知，另一方面向本单位领导汇报，做好向实际操作人员的说明、解释工作。如果确认本次故障只是本单位的区域事件，则本单位相关人员负责配合省级应急小组，协调相关资源，处理事件，采取措施抑制事件的扩散，恢复系统运行。在系统故障排除后，应急小组一方面要基层局相关人员反馈恢复情况，另一方面要对实际操作人员发布系统恢复的公告。基层局因电力、网络及硬件、软件故障，导致局部范围的日常支付业务无法正常进行。故障处理：向本单位各部门发出通知，通报发生的事件及进展，同时做好实际操作人员的疏导、解释工作。基层局信息中心相关技术人员配合省级应急小组，立即赶到现场，查看故障原因，能排除的及时排除。出现外部电力中断，各部门应当尽可能关闭非一线用电负载，优先保证一线日常业务的正常开展，同时办公室联系电力部门实施电力抢修。如果有发电机则启用发电机。出现网络中断，如果是网络设备故障，信息中心相关技术人员迅速更换备用设备，保证日常支付业务工作需要。如果是线路问题，则与线路运营商联系，尽快恢复线路畅通。出现病毒入侵，信息中心须采取系统隔离等相关措施，并向省级信息中心和省级应急小组汇报，由省级信