系统应急响应及恢复预案编写指南

1033页系统应急响应及恢复预案编写指南20XX年7月1日目 录\l“_TOC_250036“修订说明： 4\l“_TOC_250035“修订记录 5\l“_TOC_250034“总则 7\l“_TOC_250033“目的和依7\l“_TOC_250032“适用范7\l“_TOC_250031“系统及资源 9\l“_TOC_250030“系统信9\l“_TOC_250029“系统描10\l“_TOC_250028“运行指10\l“_TOC_250027“关联系11\l“_TOC_250026“物理架11\l“_TOC_250025“网络拓12\l“_TOC_250024“IP及端口 12\l“_TOC_250023“系统软硬12\l“_TOC_250022“后备资14\l“_TOC_250021“用户安排 14\l“_TOC_250020“其他信息 14\l“_TOC_250019“标准处置预案 15\l“_TOC_250018“标准处16\l“_TOC_250017“故障快速定位 20\l“_TOC_250016“快速定位流20\l“_TOC_250015“定位流程描20\l“_TOC_250014“故障快速定位排查内20\l“_TOC_250013“系统应急场景分类及描述 21\l“_TOC_250012“故障场景分21\l“_TOC_250011“硬件故障场21\l“_TOC_250010“通用软件故障场25\l“_TOC_250009“应用软件故障场27\l“_TOC_250008“网路故障场28\l“_TOC_250007“其它故障场29\l“_TOC_250006“恢复回切场29\l“_TOC_250005“6. 附录 30\l“_TOC_250004“附录一：人员联系表 30\l“_TOC_250003“附录二：应急演练方案 31\l“_TOC_250002“附录三：应急演练报告 31\l“_TOC_250001“附录四：故障应急报告 31\l“_TOC_250000“附录五：故障现场收集脚本 31修订说明：20XX3V1.0〔简称总体预案〕XX预案〔模版〔简称预案模板。置原则、中心应急组织架构及职责、应急响应及恢复流程、应急预案治理等内容进展了描述。预案模板主要用于指导数据中心各系统应急版预案的修订工作。预案模板在V2.0版本根底上，对架构和内容进展了全面的容，标准处置和快速恢复应用。系统预案中相关的大事分级、处置和参照总体预案进展版预案的修订。V3.0V3.0V2.0备 注1总则增内容2系统及资源1.应用系统简介2.系统资源配置分内容3增内容4增内容5系统应急场景分类及7.技术应急维护操作对应旧预案第七章局部描述手册内容6附录9对应旧预案第九章局部内容3.治理部门及职责划分相关内容将统一消灭在4.应急组织设置中心总体预案中5．系统应急治理6．应急处理流程8.预案演练和更升级所可能产生的困难和产生的工作量，便于预案修订人员参考使8.预案演练和更修订记录说明：每次系统升级及变更配置后，都必需对应急预案做相应的更后时应当确保相关人员都能准时得到最版本。例如：修订日期版本号修订说明修订人审核20XX.1V1.0建立数据中心应急预案模板吴磊杨晓勤20XX.1V2.0修订应急预案第五、六、七章节吴磊张翔20XX.6V2.5修订第四、第七、第八章节吴磊张翔20XX.3V3.0第四章内容吴磊付林总则目的和依据〔〕过程中所发挥的作用和执行的功能，以及编制本预案的主要依据。例如：防垃圾邮件网关系统〔MGAT〕应急预案〔以下简称MGAT预案是邮件网关系统遇到紧急状况或运行中断后为恢复邮件网关效劳所实行的快速有效的应对手段。通过建立包含应急启动、执行、恢复等流程、步骤和技术操作方案，为系统相关组织、人员处理应急状况供给指导；并作为与总行其他应急相关人员进展协调的依据。适用范围XXXXXX应急处置和恢复措施予以应对的操作风险大事。例如：本系统应急预案适用范围是北京数据中心与本系统有关的全部设银行邮件收发发生中断需要实行应急处置和恢复措施予以应对的操作风险大事。邮件网关系统简称为 MGAT，产品英文名称为Websense邮件网关。系统及资源系统信息应用系统中文全称：说明：请在此描述应用系统在北京数据中心〔或ITSM〕的中文全称。应用系统英文缩写：说明：请在此描述应用系统在北京数据中心〔或ITSM〕的英文简称。应用系统负责部室：说明：请在此描述应用系统在数据中心〔或ITSM〕的负责部室。应用系统治理员：说明：请在此描述应用系统在数据中心〔或ITSM〕的应用预A/B平台系统治理员：说明：请在此描述应用系统在数据中心〔或ITSM〕的平台预A/B网络治理员：说明：请在此描述应用系统在数据中心〔或ITSM〕的网络治理A/B系统描述系统功能：说明：请在此描述应用系统的主要功能。支撑业务：说明：请在此描述应用系统所支撑的全部业务应用。业务影响范围：说明：请在此描述应用系统故障后可能影响的范围。运行指标(RTO,RecoveryTimeObjective)恢复点目标(RPO,RecoveryPointObjective)、运行维护级别、可用性要求，性能要求，业务连续性要求，安全性要求，可治理性要求，可维护性要求等。运行指标解释：断后，从中断到必需恢复的时间要求。〔，数据必需恢复到的时间点要求，即数据可容忍丧失的最大时间长度〔RTO〕和恢复点目标〔RPO〕是必填项。在营业不同时间段〔业务顶峰、业务空闲和非业务时间〕如对RTO/RPO有不同要求，请单独列举。例如：邮件网关系统运行指标恢复时间目标：0恢复点目标：0分钟。〔0-。99.9%。性能要求：系统最大并发连接数8000个TCP连接，邮件处理速度>150封/秒，邮件延迟时间平均值 <1分钟，邮件错误率<0.01%。业务连续性要求：7*24安全性要求：防攻击性能参数>170,000次/小时包括字典攻击、名目攻击、病毒攻击、压缩文件攻击等。关联系统说明：请在此描述与该系统运行相关的其它关联系统状况，如：何种关联系统？所涉及何种业务等。物理架构〔包括放置在哪个机房，物理如何连接、以及何其他系统的关联拓扑等网络拓朴说明：请在此描述系统网络拓朴构造及简要描述IP说明：请在此描述简要描述系统使用的IP地址及端口〔请填写包括带外治理在内的全部网络地址和端口〕系统软硬件主机设备说明：请在此描述主机设备的具体配置及参数。例如：主机设备一：邮件网关系统主效劳器，设备用途：设备编号： 操作系统及版本：WindowsServer20XXR2企业版设备位置：北京洋桥2层设备型号：IBMxSeries3850备序列号：99C4653〔主要设备〕CPUXeon3.0G4

中间件及版本：websenseV6.3.2RAIDraid5146*6网卡一MACIP：00-14-5E-BC-7A-2E(无IP地址)内存大小：8G 网卡二MAC及IP：00-14-5E-BC-7A-2F〔无IP地址〕网卡：3网卡：3网卡三MAC及IP：00-10-18-30-69-4D(IP：9)其他软件配置所用软件按系统软件、中间件、数据库、应用等进展划分。例如：软件类型产品名称版本号用途说明操作系统WEBSENSEOS2-14生产数据库Mysql4.0生产应用软件RiskFilter6.3.3生产磁盘/磁盘阵列说明：请在此描述系统所用的磁盘及磁盘阵列。磁带存储说明：请在此描述系统所用的磁带存储。网络设备〔如路由器、交换机、负载均衡等〕说明：请在此描述系统专用的各种网络设备其它硬件设备〔如加密机等〕说明：请在此描述系统专用的各种硬件设备。后备资源软件备份等资源信息。数据备份要说明备份等级、备份时间、备份介质、存放位置和保管人等信息。硬件配件说明：请在此描述系统可能有的各种硬件配件，如大机、小机、效劳器、网络设备、计算机备件和其它相关配件。对这些配件要注明具体型号、序列号、效劳期限、保存位置和保管人等信息。软件备份说明：请在此描述系统可能有的各种软件备份，如操作系统、数据库系统、应用软件备份等。对这些备份要注明具体产品名称、版本号、保存位置和保管人等信息。用户安排户。要明确用户角色、用户组及其它相关信息。其他信息说明：请在此描述其它与系统相关的需要描述的信息。标准处置预案说明：请在此描述系统预设的一些标准处置预案，如主备机切换、应急库切换、灾备环境标准切换、硬件设备标准关闭、硬件设备标准重启等标准处置预案。系统实际状况酌情修订。在预案模板中，系统标准处置预案列举如下：主备机标准切换：该处置预案应包含系统各种设备在运行中消灭意外时，所涉及的各种应急迫换处置步骤。设备包含大机、小机、效劳器、网络设备、专用设备、存储等。应急库标准切换:该处置预案应包含系统切换应急库的相关处置步骤。灾备环境标准切换：该处置预案应包含系统切换灾备环境的相关处置步骤。硬件设备标准关闭：该处置预案包含系统硬件设备关闭时的相关处置步骤。硬件设备标准重启：该处置预案包含系统硬件设备重启时的相关处置步骤。数据库标准关闭：该处置预案包含系统数据库关闭时的相关处置步骤数据库标准重启：该处置预案包含系统数据库重启时的相关处置步骤。应用效劳标准关闭：该处置预案包含系统应用效劳关闭时的相关处置步骤。应用效劳标准重启：该处置预案包含系统应用效劳重启时的相关处置步骤。中间件标准关闭：该处置预案包含系统中间件关闭时的相关处置步骤。中间件标准重启：该处置预案包含系统中间件重启时的相关处置步骤。其它通用软件标准关闭：该处置预案包含系统其它通用软件关闭时的相关处置步骤。其它通用软件标准重启：该处置预案包含系统其它通用软件重启时的相关处置步骤。硬件模块故障标准处置：该处置预案应包含系统设备消灭硬件模块故障，需要进展在线更换的相关处置步骤。涉及模块如电源、CPU、内存、RAID恢复回切标准处置：该处置预案应包含系统通过故障救治，排解故障后恢复到原生产环境所涉及的各种回切处置。标准处置说明：请在此对标准处置的主要用途做简要描述。修订日期：说明：请在此描述该标准处置最近一次验证和修订的日期。处置时间：说明：请在此描述完成操作需要的时间。操作步骤：说明：请在此描述具体操作步骤，要求具体到具体的操作命令。验证步骤：说明：请在此描述操作完后的验证步骤，也要求具体到具体的操作命令。例如：1：主备机切换工作状况下，邮件网关备机通过该标准处置可紧急接收效劳。修订日期：20XX310处置时间：处置时间<20操作步骤：进入运维终端E:\日常备份\月报\邮件网关邮件效劳器策略明细表，找到当日备份及证书备份；将备机的IP地址修改为生产主机地址(11.xxx.xxx.31)，重启动网络；具体操作命令为：vi/etc/sysconfig/network-PS项中的地址修改为生产地址，存盘退出编辑。31在超级用户权限下执行应用启动命令： #/etc/init.d/smgdrestart。用administrator用户登录s://11.xxx.xxx.31/admin治理界面，进入系统设置---帮助—设置向导--，输入〔验证〕备份的证书序号和激活码。连续在系统设置---更治理中，马上更反病毒库和反垃圾邮件库。登录s://11.xxx.xxx.31:10000端口治理界面，在系统31验证步骤：登录s://11.xxx.xxx.31/admin查看系统设置、系统面是否正常；s://11.xxx.xxx.31/admin，统计与日志中，分别查看邮件日志、投递邮件、系统状态、过滤统计等，测试收发邮件是否正常工作，过滤是否正常；s://11.xxx.xxx.31:10000CPU、磁盘、内存、eth0硬件运行状况；如以上三局部检查都正常，则说明系统主备机切换成功。故障快速定位快速定位流程维护流程，预案修订人员需要依据系统特点修改完善。定位流程描述说明：请依据上节的定位流程图，翔实描述各具体定位流程步骤〕故障快速定位排查内容说明：请在此具体描述在系统故障排查时，可能涉及的检查的内容、执行的命令、指标阀值等。在预案模板中预设了快速定位排查表，主要涉及应用应用软件、网络状态、硬件状态、通用软件等检查内容。步骤、操作/复核人、检查结果等具体信息。并要求依据排查结果指查挨次，将相关检查内容添加到排查表中。附录中。系统应急场景分类及描述故障场景分类要描述，要求故障场景分类应能掩盖系统全部可能消灭的故障场景。例如：故障场景、应用软件故障场景、网络故障场景和其它故障场景。硬件故障场景：主要包含系统硬件方面的故障场景。例如。通用软件故障场景：主要操作系统、数据库软件、中间件等方面的。应用软件故障场景：主要包含业务应用系统方面的故障。例如。网络故障场景：主要包含与网络相关的故障场景。例如。其它故障场景：主要包含系统相关的外联系统、外部环境等方面的硬件故障场景〔预案编制人员在修订应急步骤时，建议参考平台部编制的通用故障处理方案，该方案内包含LINUX、AIX、HP-UXINFORMIXORACLE〕在预案模板中，系统硬件常见故障大事列举如下：1〕 大型机特别报错小型机特别报错加密机设备特别效劳器特别宕机设备网卡特别CPU设备硬盘特别设备内存特别设备光纤卡特别RAIDHA设备串口卡特别设备其它部件特别XXXX修订日期：说明：请在此描述该故障大事处置最近一次验证和修订的日期。大事级别：说明：请在此设定该故障大事等级〔一级/二级/三级/四级/五级/六级。划分原则请依据《中国建设银行信息系统生产大事等级认定规定》(建总发〔20XX〕138授权级别：权/部室负责人授权/部室日常授权)。授权级别的设定可参照中心总体预案中的授权级别设定原则。处置时间：场景描述：说明：请在此简要描述该故障场景可能消灭的状况和现象。验证方法：说明：请在此简要描述可确认该故障大事验证方法和手段。现场保护：说明：请在此描述进展现场保护所使用的现场收集脚本。局部脚本可见附录。救治步骤：章节号及名称。例如：邮件网关集群中一台设备硬件宕机修订日期：20XX311大事级别：五级大事授权级别：部室负责人授权处理时间：26场景描述：应用监控人员通过邮件、短信、实时监控等渠道得知主机不行用。应用用户可以ping通主机IP地址，但不能从掌握台登入操作系统，且未觉察硬件故障灯亮。〔3分钟〕1.进入主机房检查主机上是否有硬件报错或是否有黄灯闪，假设没有则说明不是由于硬件的损坏导致的主机不行用。〔3分钟〕假设系统无法响应且屏幕有信息，用手机将提示信息拍下，或者用笔将文字记录下来；系统重启后，执行errspot.sh起来，以备分析故障时使用。〔0分钟〕IP(11.xxx.xxx.31)，重启动网络；具体操作命令为：vi，将P项中的地址修改为生产地址，存盘退出编辑。31在超级用户权限下执行应用启动命令：#/etc/init.d/smgdrestart。administrator用户登录s://11.xxx.xxx.31/admin治理界面，进入系统设置---帮助—设置向导--，输入〔验证〕备份的证书序号和激活码。连续在系统设置---更治理中，马上更反病毒库和反垃圾邮件库。登录s://11.xxx.xxx.31:1000031状态；通用软件故障场景〔预案编制人员在修订应急步骤时，建议参考平台部编制的通用故障处理方案，该方案内包含LINUX、AIX、HP-UX、INFORMIX、ORACLE通过故障处理流程和应急处理步骤〕在预案模板中，系统通用软件常见故障大事列举如下：1〕 系统数据库崩溃数据库存储损坏数据库无法正常处理恳求数据库表死锁数据库表数据无法插入规律日志满导致数据库挂起数据库启动失败数据库交易处理缓慢9〕 数据库表空间OffLine数据库无法连接或无响应数据库性能极剧下降数据库短时间内不行用数据库实例监听宕掉数据库实例消灭大量等待大事数据库实例无法切换规律日志16〕Tuxedo17〕weblogic18〕AIXLINUXHP-UXWINDOW中间件特别或报错应用软件故障场景后的章节里进展具体描述。在预案模板中，系统应用软件常见故障大事列举如下：1〕 系统应用不能正常运行应用进程特别系统应用无法启动系统应用响应缓慢或无响应XXXXXX用户无法登陆应用界面用户连接应用特别报错应用效劳队列堵塞应用消灭大量繁忙，交易时间延长应用共享空间特别应用处理性能下降局部分行应用堵塞，无法连接总行某类特定交易成功率特别某类特定交易流量特别下降网路故障场景后的章节里进展具体描述。在预案模板中，系统网络常见故障大事列举如下：1〕 外联节点网络特别中断网络外联效劳不行用APDBWEBAP网络端口流量特别上升/下降防火墙连接数特别IP数据传输中消灭特别丢包病毒爆发，堵塞网络网络被攻击，不行用F5其它故障场景说明：请在此具体列举并描述系统全部可能消灭的外部环境、外联、故障大事都要求在预案随后的章节里进展具体描述。在预案模板中，系统其它常见故障大事列举如下：1〕 机柜特别掉电外联系统交易特别外联系统不行用设备被人为破坏恢复回切场景后的章节里进展具体描述。在预案模板中，系统恢复回切场景列举如下：1〕 应用回切数据库回切灾备库回切附录附录一：人员联系表系表中应至少含有中心领导层、业务部门、系统处室、网络、机房、平台、合作公司、外部机构和外部效劳商等应急处置所需的人员。要求在预案模板设置的表中能明确应急处置人员的技术水平和力量，以及B在预案模板的人员联系表中，每个人员信息预设如下字段：1〕 姓名所属单位职务联系邮箱固定移动专业技能应急职责说明：请在此注明人员在应急中的职责。如指挥A角、指挥B角、操作员A角、操作员B角、审核员A角、审核员B角、外联人员A角、外联人员B角、公司技术人员A角、公司技术人员B角等。9〕 联系表修订日期附录二：应急演练方案组织系统应急演练时，演练人员可以参考使用。附录三：应急演练报告组织系统应急演练时，演练人员可以参考使用。附录四：故障应急报告系统应急时，应急人员可以参考使用。附录五：故障现场收集脚本说明：脚本编号编制规章如下：障收集脚本，在故障状况下可有系统应急人员直接使用； 障收集脚本，针对不同的场景和具体问题进展执行的脚本〔脚本执行可能会对系统有肯定风险，建议由专业技术人员执行〕CXXX—自定义脚本(custom),数据中心预案修订人员可针对不同的场景和具体问题，自行开发的用于特定系统和应用信息收集的脚本。G001G002G003G004G005G006G007G008S001S002

aix\general\general.aix.shbea\tuxedo\general\BEAMonitor_MP.shbea\tuxedo\general\BEAMonitor_SHM.shhp\general\cola.shhp\general\colb.shinformix\general\rmix.shoracle\general\general_script.sh…aix\special\collect_part_ports.shaix\special\collect_spec_port.sh

系统脚本用途〔简要说明〕AIX件、IO、网络、内存、snap、Dump、系统安全方面等信息。TuxedoMP应用信息TuxedoSHM集应用信息HP系统通用故障收集脚本,主要用于收集系统、硬件、IO、网络、内存、HACMP、Dump、系统安全方面等信息HP系统通用故障收集脚本,主要用于收集网络、ipcsInformix系统通用故障收集脚本,主要用于收集Onstat、env、ulimit、csdkversion、oninit、typetab、bar_act.log、online.log、sqlhosts、onconfigOracle系统通用故障收集脚本,主要用于收集数据库常用信息。…AIX系统特别故障收集脚本,主要用于收集网络TCPDUMPAIX系统特别故障收集脚本,主要用于收集网络端口等信息。S003

aix\special\coredummp.shAIX系统特别故障收集脚本,主要用于收集系统coredummpS004S005S006S007S008S009S010S011S012

aix\special\HACMPException.shaix\special\Memoryhigh.shaix\special\net.shbea\weblogic\special\thread_dump.shinformix\special\rmixoracle\Special\dbv.shoracle\Special\os