XXX银行基础设施应急预案.doc

XXX基础设施演练方案- 19 -文档修订记录版本号日期影响范围修订模式修订人 目录1. 演练基本信息- 4 -1.1. 概述- 4 -1.2. 演练时间- 4 -1.3. 演练地点- 4 -1.4. 演练类型- 4 -2. 演练总体策略- 5 -2.1. 演练过程简述- 5 -2.2. 演练目标- 5 -2.3. 演练原则- 6 -2.4. 演练时间策略- 6 -3. 演练方案- 7 -3.1. 灾难恢复演练场景- 7 -3.2. 演练方式说明- 7 -3.3. 参演单位及工作分工- 7 -3.3.1. 总行部门- 7 -3.4. 灾难演练工作安排- 9 -3.4.1. 应急响应及灾难恢复预案培训及辅导- 9 -3.4.2. 技术测试- 9 -3.4.3. 对外通报- 9 -3.4.4. 演练培训- 10 -3.4.5. 桌面推演- 10 -3.4.6. 演练场地准备- 10 -3.4.7. 演练案例确认- 11 -3.4.8. 供电系统灾难恢复演练- 11 -3.4.9. 演练后撰写供电系统灾难恢复演练报告- 11 -4. UPS供电系统演练- 11 -4.1. 演练阶段- 12 -5. 演练组织- 14 -5.1. 演练组织架构- 15 -5.2. 演练组织成员- 15 -5.3. 演练现场指挥- 16 -5.4. 演练具体角色分配- 16 -5.5. 值班人员要求- 18 -1. 演练基本信息1.1. 概述为检验XXX银行供电系统灾难恢复的可用性，使XXX银行生产运维人员及相关业务人员熟悉并了解数据中心供电系统灾难恢复流程，保证在灾难发生时能够采取正确有效的应急处置和技术切换措施，XXX计划于XXXX年XX月XX日19:00至XXXX年XX月XX日7:00，针对目前的供电系统进行了一次真实切换演练。本演练方案是针对此次演练工作的规划和安排。1.2. 演练时间XXXX年XX月XX日1.3. 演练地点演练地点为XXXX银行中心机房1.4. 演练类型实战演练。XXXX银行供电系统突发事件发生。2. 演练总体策略2.1. 演练过程简述本次基础设施应急演练主要涉及机房UPS单路供电中断，及排除故障后恢复到双路供电时，供电设备切换；机房内双路市电供电中断后，切换到柴油发电机供电时，供电设备的切换；以及切换后，检查机房内列头柜、空调的供电情况；还有支行供电系统灾难恢复演练。XXXX年XX月XX日15:00至XXXX年XX月XX日17:00，完成电池、柴油发电机、以及正在运行的UPS、各配电柜的检查；XXXX年XX月XX日17:00至XXXX年XX月XX日22:40完成生产环境日常日终处理，并确认各分支行已全部关门；XXXX年XX月XX日23：00开始切换演练。首先由科技部执行UPS的单路断电操作，先断开UPS1的输出开关，由UPS1所供电的两路列头柜的负载，自动切换到由UPS2所供电的两路列头柜的负载，检查机房内各个机柜的供电情况，确保供电正常，然后再关闭UPS1，开始联系先关人员维修，待设备UPS1恢复正常时，再启动UPS1，闭合UPS1的输出开关，检查由UPS1供电的两路列头柜的供电是否恢复正常，两路列头柜恢复供电后，原先的负载会自动切换到恢复供电的两路列头柜上，此时，再检查机房内各个机柜的供电是否正常。确认各设备运行都恢复正常后，接着进行双路市电中断后，切换到柴油发电机供电，之后再恢复双路市电供电的演练；首先，由科技部人员断开的两路市电，先断开AT2的两路市电供电，UPS自动切换到UPS电池供电，再通知办公室启动柴油发电机，然后再闭合柴油发电机供电的开关，切换到柴油发电机供电，然后检查机房内列头柜，及各设备的供电是否正常，然后，再闭合AT1的双路市电供电，断开柴油发电机的供电开关，检查各个配电设备、机房内各设备是否正常供电。确认正常后，接着进行支行动力系统切换演练，本次参演支行可同时进行，先切断支行的市电，将电源切换到UPS供电，再启动柴油发电机，由柴油发电机供电，检查前台设备供电是否正常，再检测前台业务是否正常，接着，再将电源切换到市电供电，再检查前台设备是否正常供电，再验证前台业务是否正常运行，确认均正常后，演练结束。2.2. 演练目标本次演练通过模拟灾难发生时的场景，对XXXX银行基础设施应急预案的有效性进行一次全面的检查和验证。通过演练拟实现如下目标：n 检验XXXX银行供电系统灾难恢复过程中，中心机房供电情况是否正常，同时检验基础设施应急预案中技术操作文档的正确性和完整性；通过检测机房内列头柜、机柜内各设备的供电情况，检验供电系统灾难恢复的可用性，使相关人员熟悉应急管理和灾难恢复的相关知识和流程。n 发现不足，持续改进。n 根据预案，本次演练的时间指标为：5分钟内确定停电原因；5分钟内启动发电机；15分钟内完成机房供电。2.3. 演练原则本次演练的计划和实施将遵循以下原则：n 演练场景和演练过程具备真实性和实用性；n 演练过程尽量减少对XXXX银行正常业务的影响；n 避免对目前生产系统的稳定运行造成影响；n 演练时间安排在确认各分支行已全部关门，并完成生产环境日常日终处理后。2.4. 演练时间策略由于本次演练为真实供电系统灾难恢复演练，演练范围为全行。因此，演练的时间安排将以尽量降低演练对业务产生的影响，尽可能规避演练风险为原则。演练时间的确定应该同时具备以下几个条件：选择非计息日、非月底、非年底的某周末。所有准备工作完成，并验收后，通过科技保障部评审确定。为了确保演练时间安排的万无一失，需要预留一定的问题处理及回切时间。XXXX银行内部力争按计划执行测试，争取无特殊问题出现，不使用预留时间。本次演练基本不会对本行正常的业务处理造成影响，因此暂停业务时间为0小时。3. 演练方案3.1. 灾难恢复演练场景拟定XXXX年XX月XX日19：00，总行进行供电系统灾难恢复过程的演练。演练实施必要条件：条件一：XXXX银行生产机房硬件设备、其它业务系统、网络环境、办公系统、外网系统经XXXX银行运维人员检查，处于正常运行状态。条件二：XXXX银行的各配电设备均正常运行。前提三：XXXX银行信息系统应急响应及灾难恢复领导小组已决策进行供电系统灾难恢复演练，且相关人员已经到位。3.2. 演练方式说明本次演练采用真实切换演练的方式，重点演练灾难发生后供电系统灾难恢复的过程。3.3. 参演单位及工作分工 3.3.1. 总行部门供电系统灾难恢复演练，总行相关部门主要负责：1.办公室工作内容：前期准备工作主要有牵头处置切换演练期间可能的公共关系型紧急或突发事件，做好与政府、监管部门和媒体的沟通联系；对参与演练的总行相关业务部门提供保障。演练当日参与演练组织与指挥。并在演练后提出改进建议。演练当日工作地点：XXXX银行科技部2.后勤工作内容：前期的检查工作，以及突发事件的保障工作。演练当日工作地点：XXXX银行科技部3. 支行 工作内容： 前期检查支行的各供电设备是否正常； 配合科技部人员做支行供电系统灾难恢复演练和整个过程中的业务验证。4.科技部工作内容：前期准备工作主要有检查数据中心的配电设备是否正常运行，负责切换演练的具体组织和实施工作，包括切换演练实施方案编写、切换步骤测试、切换人员分工、切换时间进度编排、演练测试案例准备、演练工作组织、切换演练后评价等。 具体涉及操作职能分工如下：n 演练工作领导成员工作内容：演练当日负责供电系统灾难恢复演练全过程组织与指挥。工作地点：XXXX银行科技部n 演练技术小组工作内容：演练前准备工作的协调组织。演练前一周，完成演练相关资源的确认，并协助准备相关的文字材料，演练当日，协助后勤的检查工作，并根据供电系统灾难恢复演练工作的具体实施情况，随时监测检查数据中心各设备的供电情况。演练结束后，负责演练涉及资源的恢复确认。工作地点：XXXX银行科技部3.4. 灾备演练工作安排演练工作包含演练前的准备工作（包含应急响应及灾难恢复预案培训及辅导、技术测试、业务准备、对外通报、演练培训、桌面推演、演练场地准备、演练案例确认),演练实施工作及演练后工作（包含供电系统灾难恢复演练、撰写演练报告）。演练各项工作的起始时间依据时间基准（定义的演练日“T日”）安排的，终止时间依据各项工作的进展决定。根据行方的意见并结合演练时间的选择策略暂定演练日为XXXX.XX.XX，具体的演练工作安排如下：3.4.1. 应急响应及灾难恢复预案培训及辅导培训及辅导时间：XXXX.XXXX.XXXX（计划持续时间为2小时）培训及辅导地点：XXXX银行科技部内容：供电系统灾难恢复应急预案。参加人员：科技部的相关工作人员，后勤、办公室相关人员，以及负责此次演练技术支持的UPS厂商人员。3.4.2. 技术测试测试时间：XXXX.XX.XX测试人员：XXXX银行科技部，合作厂商测试准备：中心机房的UPS电池供电准备，以及柴油发电机是否正常工作；还有支行柴油发电机是否正常工作。n 测试结论3.4.3. 业务准备开始时间：XXXX.XX.XX 参加人员：参演分（支）行 业务准备工作内容如下： 确定参演分行，落实分行参演人员； 确定柜面系统和ATM需要验证的业务连通性； 确定各参演分支行需要验证的业务功能； 各参演分支行准备业务测试案例； 业务测试案例测试；3.4.4. 对外通报时间：人员：科技部、办公室、后勤、相关厂商人员按照监管要求，由演练技术小组起草，经演练领导小组审核后，由相关部门进行发布。文件内容包括：演练前的对内通报；向上级监管部门的报送文件。3.4.5. 演练培训培训时间： (此项工作计划持续一小时）培训地点：XXXX银行科技部培训内容：供电系统灾难恢复演练流程；演练方案介绍参加人员：演练组织架构全体人员现场培训人员接收纸质演练方案，非现场人员接收电子版演练方案3.4.6. 桌面推演桌面推演的目的：模拟演练的工作方法、步骤和指挥流程，提高参与演练人员对工作任务的执行能力，优化演练方案。参加人员：全体参演人员推演地点：XXXX银行科技部桌面推演时间：（计划持续时间为半天）推演方式：总部人员现场推演。3.4.7. 演练场地准备时间：人员： 演练保障小组工作内容：演练会场拟安排在科技部，技术切换操作在数据中心配电室进行。场地设施如下：设施数量备注条幅1XXXX银行数据中心供电系统灾难恢复演练演练方案1印刷版投影仪1用于演练会场电话3放置在切换操作室，用于演练期间与技术沟通和指令下达参演人员通讯录2分别放置在演练会场，数据中心签到表1演练工作记录单13.4.8. 演练案例确认时间： 人员： 相关业务部门、科技部人员、相关厂商人员3.4.9. 供电系统灾难恢复演练时间： 人员：总行参加供电系统灾难恢复演练各部门相关人员、相关厂商人员3.4.10. 演练后撰写供电系统灾难恢复演练报告时间：演练后30天内完成（以实际演练结束时间为准）人员：科技部 演练后根据现场记录和参演各部室（组）的意见，由科技部负责完成供电系统灾难恢复演练报告，总结本次切换演练工作情况，对后续工作积累经验，完善XXX数据中心供电系统灾难恢复的功能和作用。4. UPS供电系统演练本次演练是模拟灾难场景，利用双路UPS供电系统进行单路UPS供电切换和双路UPS供电系统恢复，以及双路市电供电中断后，由柴油发电机供电，及其恢复过程，通过实际操作来验证数据中心供电系统灾难恢复的可用性和有效性。4.1. 演练阶段本次演练共分15个阶段： 演练阶段一：切换前准备 演练阶段二：单路切换 演练阶段三：检查机房内各个机柜的供电情况 演练阶段四：系统回切 演练阶段五：确认机房内各设备正常运行 演练阶段六：柴油发电机供电切换 演练阶段七：检查机房内各个机柜的供电情况 演练阶段八：系统回切 演练阶段九：确认机房内各个机柜的供电情况 演练阶段十：确认机房网络环境，及各应用均正常运行 演练阶段十一：支行柴油发电机供电 演练阶段十二：检查支行前台设备供电是否正常 演练阶段十三：系统回切 演练阶段十四：确认支行前台的设备供电情况及网络、业务系统是否正常阶段名称时间区间演练任务事项阶段一 切换前准备XX日 9:00- 20日 23:00切换前的准备工作机房内各配电设备的检查完成核心系统的跑批工作阶段二 单路切换XX日23:00-23:15断开UPS1的输出阶段三 检查机房内 各个机柜的供电情况XX日23:10-XX日00:45检查机房内各个机柜的供电情况，同时检查数据中心网络、及主要业务系统是否正常运行阶段四 系统回切XX日00:45-01:00重新闭合UPS1的输出开关，恢复双路UPS供电状态阶段五 确认机房内各设备正常运行XX日01：00-01：30检查机房内断电的列头柜是否恢复供电 检查机房内各个机柜是否供电正常 同时检查数据中心网络、及主要业务系统是否正常运行演练阶段六 柴油发电机供电切换XX日 01:30-02:00断开AT2配电柜的两路输入市电，启动柴油发电机，闭合柴油发电机的供电开关演练阶段七 检查机房内各个机柜的供电情况XX日 02:00-02:30 检查机房内各个机柜的供电情况 同时检查数据中心网络、及主要业务系统是否正常运行演练阶段八 系统回切XX日 02:30-03:00重新闭合AT2的两路市电输入开关，断开柴油发电机供电开关演练阶段九 确认机房内各个机柜的供电情况XX日 03:00-03:30检查机房内断电的列头柜是否恢复供电 检查机房内各个机柜是否供电正常 演练阶段十：确认机房 网络环境，及各应用均正常运行 XX日03:30-04:00由网络组人员检查机房内的网络、由应用协调人员协调各应用系统负责人检查确认各应用的正常运行演练阶段十一：支行柴油发电机供电 XX日04:00-04:30断开支行的市电，切换到UPS供电，再启动柴油发电机，切换到柴油发电机供电演练阶段十二：检查支行前台设备供电是否正常 XX日04:30-05:00检查支行前台设备供电是否正常，及前台业务系统是否正常运行演练阶段十三：系统回切 XX日05:00-05:30重新闭合市电供电开关，断开柴油发电机供电开关，恢复市电供电演练阶段十四：确认支行前台的设备供电情况及网络、业务系统是否正常 XX日05:30-06:00确认前台设备供电是否正常，支行的网络、以及业务系统是否正常工作5. 演练组织5.1. 演练组织架构为了加强演练组织管理，确保演练工作的顺利进行，成立“演练领导小组”，下设演练技术小组、演练业务小组及分行层面的演练工作小组。由演练技术小组负责组织制定演练计划，组织协调实施演练工作，对演练结果进行总结汇报。参与本次演练的各工作组角色与职能如下：(一) 演练领导小组： 负责对演练目标、演练方式、演练策略作出决策； 负责对演练实施工作提出具体要求； 负责协调各演练实施方的工作关系，保障演练的顺利进行； 负责演练现场的指挥工作； 负责对演练过程中出现的异常情况进行决策；负责在演练后组织演练总结会，提出针对演练和单路UPS供电恢复过程的改进建议。(二) 演练技术小组 负责演练前的准备工作； 负责演练过程中单路UPS的切换工作； 负责演练过程中双路UPS供电的恢复工作； 负责演练后，各设备运行正常的确认工作，及演练后的总结工作。5.2. 演练组织成员工作组人员职责演练主持科技部负责人负责按照演练方案主持演练全过程，对演练进度进行控制管理演练领导组组长：分管科技副行长副组长：科技部负责人组员：科技部各组的负责人、后勤、办公室等各部门负责人组成灾难恢复演练计划审核演练组织和指挥演练技术小组组长：科技部负责人 组员：科技部相关人员、办公室、后勤相关人员负责演练前的准备、演练时供电系统的灾难恢复，及演练后机房内各设备的检查等工作；5.3. 演练现场指挥演练指挥中心：演练会场拟安排在XXX科技部，将作为演练的指挥中心。演练操作场所：供电系统灾难恢复演练安排在数据中心配电间。XX日16:00，全体参演人员到达指定岗位，各演练小组签到，各演练小组组长统计和监督人员到位情况，并报告演练领导小组；由演练技术小组负责落实演练前的各项准备工作，由演练主持做现场动员。23点钟，正式开始切换演练。 演练的通讯方式，首选方式为行内固定电话，如出现个别参演人员没有及时回复指令，后备手段将采用手机通知方式，以保证通讯畅通，确保任务的及时下达以及完成情况的及时反馈。5.4. 演练具体角色分配角色与岗位人员主要职责人员地点联系方式负责人负责此次演练的人员安排、风险控制、应急处理措施，及整个过程的实时管理指挥中心主持人负责管理演练，与演练参与者进行沟通，提供附加信息，保持演练逐渐向前推进。 指挥中心观察员风险管理演练整体考察与评价指挥中心运营管理演练整体考察与评价指挥中心参与者指挥中心总指挥统一指挥灾难恢复工作，发布灾难恢复指令指挥中心网络网络系统协调人网络资源负责及协调恢复现场生产运行负