计算机应急救援预案.docx

1、.111 计算机系统重大突发性事件应急预案第一章计算机系统重大突发性事件应急预案1. 说明华夏人寿保险股份有限公司信息系统应急案是为了确保当华夏人寿关键系统发生故障或供应链因以外中断时， 关键业务仍可继续运作，而预先制定和准备的一系列操作案。 本应急案并不能代替解决问题的工作，它只提供一个最低可接受的服务水平， 以便有充足的时间去修复出现故障的系统。 其价值在于，计划和案在危机出现前就已经制定好，能最大限度地争取时间。通过应急案主动的有预见性的，而不是被动地仓促地对紧急情况做出反应。2. 应急案的目标 / 围2.1 目标与围(1) 业务连续：确保华夏人寿的日常业务能够连续运行，不出现中断。在某

2、些系统或子系统功能失效的情况下， 关键系统不至于瘫痪，主要功能不会丧失。(2) 降低风险：应急案必须采取各种措施，把由于问题而产生的风险降到最低。(3) 减少损失：对于可能产生的风险，采取技术和管理面的补救措施，尽量将各种损失减少到最低。(4) 避免灾害：尽量避免因为系统故障而产生灾害的高危系统造成的直接或间接影响，确保人民生命财产安全和社会稳定。目前，华夏人寿保险公司基于计算机和网络的业务处理系统主要包括核心业务系统、财务系统和办公系统。2.2 关键业务系统描述核心业务系统业务生产系统配置 1 台 HP rp8420 服务器和 1 台 rp7420 ， rp8420 和 rp7420 分别划

3、分两个硬件分区，一个硬件分区配置是 4CPU 、8G 存作为业务系统的数据库服务器，另一个硬件分区是4CPU 、 4G 存作为业务系统的应用服务器。一套磁盘阵列EMC专业资料.CX500 ，作为核心业务系统和财务系统的硬件支撑平台。另外配置一台 HP rp3410 作为核心业务系统及财务系统的测试服务器 ,运行非关键的开发和测试工作。财务系统财务系统安装在 1 台 HP rp4440 服务器上，同时与核心业务系统共用一套磁盘阵列 EMC CX500 。Rp4440 也划分两个硬件分区，一个硬件分区配置是 2CPU 、4G 存，运行财务系统的数据库，另一个硬件分区配置是 2Cpu 、2G 存，运

4、行财务系统的应用程序。核心业务系统的服务器与财务系统的服务器做双机互备， 平时业务系统运行在 rp8420 上，财务系统运行在 rp4440 上，当一台服务器的一个分区发生故障时系统切换到另一台服务器的相应分区上运行。3. 应急团队组织结构应急案都是在发生灾害的非常时期进行。 因此，充足的人力资源配备和明确的责任分工显得尤为重要。如果没有一个组织有序的团队，很难保证灾难发生时能够在既定时间完整、 成功地实现灾难处理和业务恢复。从华夏自身来看，其实施应急的团队组成不仅要横跨各个部门，还要纵向包含省分和市分等多级机构。 因此，合理地组织华夏各级机构的各个业务部门的人力资源， 根据灾难恢复案的需要明

5、确各个团队成员分工，是保证应急案顺利实施的基础。更重要的一点是，将各个组织部门的管理层纳入应急实施团队或至少得到他们的充分承诺是整个应急系统成功的关键因素之一。这里需要说明的是： 由于灾难的偶然性和突发性， 应急团队并不需要全职地投入到应急工作中。 实际上，整个团队中除了应急实施负责人和协调人之外，其他成员在日常工作中都是兼职地加入应急团队，其担负的任务和责任也只是其日常工作地一部分而不是全部。 但是，整个应急团队需要在建立和修订应急案时全职地投入应急工作，这些工作至少持续到整个案测试结束， 以保证团队对应急案的实施能力。3.1 团队负责人根据华夏的组织结构情况， 设立应急负责人组成整个应急系

6、统的专业资料.最高管理层。应急负责人是整个应急系统的最高负责人， 是具体实施应急的领导者。3.1.1 作用应急负责人全面负责整个华夏的业务持续和灾难恢复工作， 包括案制定、人员组织沟通、案演练、文档和测试工作。应急负责人的主要作用就是保证华夏能够在发生灾难的情况下保持关键业务的持续运行，将灾难损失降低到最小程度。3.1.2 职责保持和本级高级管理层的联络；具体负责应急案的制定和实施；保证所负责的区域的灾难恢复和业务持续；共同保持整个华夏围的应急知识普及；协同华夏各部门的应急工作。3.2 应急协调人3.2.1 作用具体联络相关小组实施应急负责人下达的各项任务， 协调上下级之间和各部门之间的联络和

7、协同， 并且他们还要作为制定和实施应急案的联络人。3.2.2 职责组织和协调所负责区域的应急相关的各项工作；对本区域的人员进行相应的应急知识培训；组织各部门的应急演习和评审；联络和沟通本区域的各个部门以及外部供应商和服务商。3.3 灾难恢复小组灾难恢复小组是应急案的具体执行者，负责执行和灾难恢复相关的具体职能。根据各项职能的要求，每个小组大约包括 3 到 5 名成员，由组长负责本组的工作， 并且在每个组中还要有一个候补的小组负责人。各个小组都需要由应急中心和所支持的省公司的相关人员共同组成，在灾难发生时共同利用应急中心的资源完成灾难恢复和业务延续。各个小组在应急负责人的领导下进行工作，通过应急

8、协调人和各专业资料.级部门之间进行沟通。 根据实际工作的需要， 可以对小组的工作进行具体的详细划分，或者增加新的职能小组。应急负责人、协调人和各小组的组长一起构成整个应急团队的管理层，由他们负责指导华夏应急案的制定和实施。以下具体描述各小组的职能和组成。3.3.1 设施恢复组设施恢复组负责监控本区域所有的物理设施， 包括平时的预防工作和灾难发生时的损失评估、保护、维修和转移，以及在应急管理层的指导下，进行灾难地和应急中心之间地物理设备切换。根据其职能，设施恢复组主要包括以下人员：设施规划和运行维护人员；资产管理和审计人员供应商和服务商联络人员设施相关的技术专家安全管理人员法律和保险管理人员3.

9、3.2 行政管理组行政管理组负责为其他职能部门作好所需的后期保障工作， 包括运输、安全保卫、资金、人员调配和公共关系等。行政管理组主要包括以下人员：具有足够资源调度授权的经理；运输、财务、人事、安全保卫、公共关系相关人员；外部服务商、供应商联络人员；行政助理3.3.3 系统恢复组系统恢复组负责保证支撑关键业务应用的平台系统的恢复， 并及时提供给相关的业务部门。系统恢复组主要由以下人员组成：系统管理员供应商联络人员3.3.4 通讯恢复组专业资料.通讯恢复组负责维护和保障应急案中的通讯需要， 包括语音通讯和数据通讯，尤其是灾难恢复所需的指挥通讯和恢复关键业务应用所需的数据通讯。通常通讯恢复组需要借

10、助第三的网络供应商来完成所需的通讯保障工作。因此，通讯恢复组包括：网络及通讯系统维护人员网络服务供应商联络人员；设备供应商联络人员；3.3.5 用户联络组用户联络组负责应急团队和各业务部门的沟通和联络， 以使应急团队及时了解详细的灾难影响以及来自业务部门的需求， 同时，也是业务部门了解应急团队的灾难恢复工作进展情况， 帮助双更准确地进行相应的决策。用户联络组人员组成：各业务部门代表应用系统专家3.3.6 数据控制组数据控制组负责应急的数据备份和恢复工作， 包括制定相应的备份计划、恢复优先级的评估以及恢复式， 并在灾难发生时负责实施相应的数据恢复工作。数据控制组由以下人员组成：数据控制经理；数据

11、备份管理人员；备份介质管理人员；原始单据管理人员；数据录入组织人员；3.3.7 应用恢复组应用恢复组负责业务应用系统的恢复，这个小组和系统恢复组、数据控制组一起完成业务支撑应用系统的恢复工作， 实现业务的延续运行。应用恢复组的成员主要有：专业资料.应用系统管理员；应用系统开发商维护人员；3.3.8 配合协作组配合协作组负责应用系统发生问题时， 和其它恢复小组一起完成业务支撑系统的恢复工作。 主要成员根据业务系统影响的围而定， 例如在与分公司、 支公司或者营销部的某些业务受到影响时， 则需要当地技术人员的配合，一同完成业务系统的恢复工作。4. 关键业务监控技术平台针对华夏人寿业务系统技术新、规模

12、大、可用性要求高、管理任务重的特点， 华夏人寿除了配备了高素质的技术支持团队， 而且采用了完整的数据库管理解决案， 能够完全满足寿险核心业务系统管理需求。5. 应急处理流程应急处理流程分为事件级别判定、事件处理及升级程序。5.1 事件级别判定事件级别定义：序号事件级别颜色标识故障现象描述1一级故障红色系统运行中断，对用户业务的运行有重影响。2二级故障橙色系统中重要功能受损、主要性能指标重下降，影响和限制了部分业务运营。3三级故障黄色在系统主要功能及性能指标运行正常的情况下，系统部分功能与性能受损。对于华夏人寿重要的核心业务系统、财务系统，主机、数据库、网络系统有着至关重要的作用， 根据事件级别

13、的定义， 主机、数据库、网络系统的事件级别判定标准如下：专业资料.事件颜色故障现象描述主机系统数据库网络级别 标示一 级红色 系统运行中断，对核心业务主 业 务 数据 库核心交换机、故障用户业务的运行有机瘫痪。挂 起 或者 无骨干网络线路重影响。常使用。不能使用。二 级橙色 系统中重要功能受核心业务主 核 心 数据 库交换机或路由故障损、主要性能指标机 运 行 缓响应缓慢，部器性能下降，重下降，影响和限慢、出现重 分 应 用出 现或者网络带宽制了部分业务运报警信息或数据不一致使用率超出承营。硬件错误。 性等错误。载能力。三 级黄色 在系统主要功能及核心主机基数据库工作网络基本正故障性能指标运行

14、正常本上正常工 基本正常，但常，但是出现的情况下，系统部作，但存在 是 某 些非 重网络数据偶尔分功能与性能受硬件或系统要数据存在停顿等现象。损。级错误，使问题或者运得主机系统 行不够稳定。性能有所下降。四 级蓝色 在系统无故障或不主机系统运数据库系统网络运行正故障影响用户业务运行行正常，但 运行正常，需常，对网络链的情况下，用户对是在主机系 要 对 数据 库路使用或设计系统的功能、安装、统 参 数 配系 统 配置 参面有待改进。配置、性能优化或置、或性能 数进行调整。使用面提出技术咨优化面需要询服务要求。改进。5.2事件处理程序类型事件事 件 预防措施紧急处理程序专业资料级别机 房机房强电停

15、电，停二级环境电时间超过UPS备援时间机房 空调上水和凝水 三级环境 管小面积漏水，不超过单个机房面积的 1/3 ，没有淹及强、弱电模块，不影响主机和网络设备的运行机 房 机房漏水，漏水面 一级环境 积超过单个机房面积的 1/3 ，水深已经引起地面强电短路、弱电模块不能正常通信主 机 业务生产主机、财 二级系统 务生产主机运行主机宕机主 机磁盘阵列宕机一级系统主 机 系统故障，服务不 二级系统 能在短时间恢复网络 与分公司的单条 三级系统 线路出现故障，处理时间超过 2 小时网络 分公司与中心支 二级系统 公司连接的分公司汇聚端出现故.定期对 UPS 运 关闭非关键业务行状况和电池进行检测，增

16、加服务器，与相关系UPS 待机时间统管理员联系， 做好系统关机准备。安装防漏水报 立即联系物业公警系统，加强机 司吸扫漏水，切断房环境巡检，做 水源，联系相关厂好机房顶层的 商查找原因和解防水工作决问题。安装防漏水报 立即联系物业公警系统，加强机 司吸扫漏水，切断房环境巡检，做 水源，联系相关厂好机房顶层的 商查找原因和解防水工作决问题。施行双机热备， 立即与集成商、 厂加强系统巡检， 商联系报告故障，加强数据和系 并手动切换到备统备份份主机，启动备份主机上的相关服务加强系统巡检， 迅速与集成商、 厂与厂商联系定 商联系分析原因期进行诊断，加 和解决问题强数据和系统备份加强系统备份， 立即通知

17、受影响加强系统巡检， 的用户，联系软件提前发现并解 厂商进行紧急修决问题，增加硬 复。件冗余措施考虑硬件冗余， 立即与电信运营考虑线路冗余， 商、系统集成商联加强日常监控系分析原因和解决问题考虑硬件冗余， 立即与电信运营考虑线路冗余， 商、系统集成商联加强日常监控系分析原因和解专业资料障，影响分公司与所有下辖机构的通信网络 分公司与中心支 三级系统 公司相连的单条线路出现故障，处理时间超过 8 小时网络 总公司广域网汇 一级系统 聚端出现故障，影响总公司与所有分公司的通信网络 核心路由器或核 二级系统 心交换机单台故障网 络 2 台核心路由器或 一级系统 2 台核心交换机都发生故障安全 网络遭

18、受拒绝服 二级事件 务 攻 击 Internet出口堵塞部网络遭入侵，部 一级机密资料泄露5.3 事件处理时限和升级程序.决问题考虑硬件冗余， 立即与电信运营考虑线路冗余， 商、系统集成商联加强日常监控系分析原因和解决问题考虑硬件冗余，立即与电信运营考虑线路冗余，商、系统集成商联加强日常监控系分析原因和解决问题考虑硬件冗余，立即与集成商联加强日常监控，系，并手动切换到加强数据和系备份设备统备份考虑硬件冗余，立即与集成商、 厂加强日常监控，商联系，借用设备加强数据和系暂时恢复服务，并统备份立即查找原因并对设备进行修复。安装防火墙修改外网 IP 地址，立即联系集成商、厂商进行分析和处理安装防火墙立

19、即关闭遭受攻加强安全意识击的端口，备份重教育要日志文件，并联系集成商、厂商进行分析和处理专业资料.时间一级故障二级故障三级故障四级故障30 分相关业务部门、 相关业务部门、 （分公司）主管 （分公司）主钟主管高级工程师 （分公司）主管 工程师管工程师工程师1 小时 信息技术部门领 分公司）主管高导级工程师4 小时 分管信息工作的 信息技术部门领 （分公司）主管公司领导导、（分公司）信高级工程师息管理领导8 小时 公司领导信息技术部门领（分公司）主导管高级工程师24小保监会分管信息工作的 信息技术部门领时公司领导导、（分公司）信息管理领导48小公司领导时72小信息技术部门领 信息技术部门时导领导

20、、（分公司）信息管理领导第二章信息系统重大事项汇报制度一、概述本制度定义了部门工作中， 可能引起或已经产生重不良后果的事项：包括重大项目和重大事故，统称为重大事项。本制度针对不同的情况规了对此类事项的汇报过程和实施、处理途径。目的专业资料.制订本制度的目的是： 改善部门部沟通机制， 保证部门负责人对重大事项及其可能产生的不良影响有充分的了解。 并在此基础上充分运用其岗位职能， 协调组织重大项目的实施工作和重大事故的处理工作，从而最大限度的避免潜在隐患的发生、降低事故造成的影响。重点重大项目的汇报实施制度重点在于实施前的密计划和谨设计、实施过程中的科学控制和格测试。重大事故的汇报处理制度重点在于

21、汇报过程的及时、 汇报容的准确完整、处理过程的高效率和高质量、 事故处理完成后的及时总结。二、重大事项的定义重大事项指部门日常工作中， 可能引起或已经产生重不良后果的事项，它包括重大项目和重大事故。（一）重大项目重大项目指具有较高复杂性的、 实施细节比较陌生且有一定难度的，影响面较大的并且因为上述特点而存在较大的实施风险的工作。重大项目包括但不仅指如下工作：(1) 核心业务系统更换或核心业务系统中重要功能的开发、改造：系统整体更替或改造、一级模块的整体改造（如 保全流程改造），公用模块的开发、改造（如 统一核保）或其他重要项目。(2) 重要系统的硬件平台迁移，操作系统、应用服务器、数据库管理系

22、统产品更替、 版本升级或为了调整现有系统性能而修改系统配置和参数。(3) 比较复杂的新型产品上线：现有系统不能完全支持，需要进行较大规模修改的新型产品（如 万能险、投资连结险）。(4) 办公系统、外挂业务系统的开发或重大改造。(5) 对公司经营具有重要战略意义的项目（如数据仓库， CRM ，Call Center ）。（二）重大事故重大事故在部门日常工作中因为各面的原因造成或可能造成重不良影响的事件。重大事故包括但不仅指如下情况：(1) 生产系统数据库或应用服务器非正常宕机：因为系统硬件故专业资料.障、系统软件错误、恶意攻击或管理员操作失误导致系统较长时间 （定义）无常使用。(2) 生产系统数

23、据重错误：因为业务部门提供的数据错误、上传数据失误、手工操作数据失误， 程序逻辑错误等原因造成的大量系统基础数据或业务数据错误， 重影响正常的业务结果 （如大量的保单打印错误、收费、红利、生存金数据错误） 。(3) 公司网络大面积瘫痪或阻塞，重影响生产系统、办公系统的运行：因为网络提供商的责任、主干线路或节点设备的物理损坏、恶意攻击等原因造成的公司网络的大面积瘫痪或阻塞导致生产系统、 办公系统较长时间（定义）不能正常使用。(4) 公司电脑系统的安全正在或可能受到重的外来侵害：公司计算机系统自外部被攻破， 遭到或即将遭受重破坏。 恶性计算机病毒在公司计算机系统出现，已经或可能重破坏公司计算机系统

24、。(5) 贵重设备、重要数据损坏或遗失。(6) 各种原因造成的设备损坏或遗失、各种原因造成的备份数据损坏或遗失。三、重大事项的汇报（一）重大项目的汇报重大项目的汇报过程也是项目实施的前期准备过程。 部门负责人指定的项目负责人有义务通过书面或当面报告， 让部门负责人了解整个项目的容、复杂程度、可能存在的风险等情况。 必要时应该编写项目可行性分析报告。部门负责人确定某项目为重大项目后， 项目负责人应该编写 项目计划书。项目计划书应包括项目实施的目标，责任分解表，项目进度表，项目实施中各项责任的负责人， 项目实施各阶段的关键指标及检测要点。项目负责人在编写完 项目计划书 后应该及时发送给部门负责人确

25、认。项目负责人根据 项目计划书 和项目具体情况安排相关人员编写项目实施案和检测案， 对于项目实施一旦失败可能造成业务停顿等重后果的项目还应编写项目实施过程应急预案 。专业资料.对于软件开发项目， 实施案指需求规格说明书 和概要设计，检测案指部测试计划书 ；对于其他项目应该根据具体情况编制实施案和检测案。实施案、检测案和项目实施过程应急预案经部门负责人确认后，项目进入实施阶段。（二）重大事故的汇报当部门工作因为各面的原因， 不可避免的发生了重大事故时， 部门的每一位员工都有义务及时将事故原因和重程度向部门负责人直接汇报。以便其对协调相关资源及时解决问题， 减少损失，杜绝后患；对外澄清事实，明确部门间责任，争取主动，体现部门整体工作效率。对于明显属于第二节中所列举的重大事故和其他可以肯定会产生重不良影响的事故的必须在第一时间直接汇报； 对于无法直接