西城区数据中心系统应急预案.doc

数据中心系统应急预案中关村科技软件有限公司目录一、总则3（1）编制目的3（2）适用范围3（3）编制依据3二、应急事件分级4（1）应急事件等级分类4（2）事件影响程度分级5（3）事件综合指标5三、应急事件响应及处理流程6（1）应急资源联系表6（2）应急事件处理流程表7（3）故障排查、处理任务分解8四、故障快速排查手册8(1)服务器硬件故障排查9(2)操作系统故障排查12(3)网络故障排查12(4)平台故障排查14五、事件处理15应用系统故障处理15六、汇总统计15七、应急预案完善16八、数据库备份策略16（1）策略16l备份类型16l备份周期16l备份地点16l定期检查17（2）方案17l安装备份工具17l创建文件夹17l计划任务17l备份任务18l备份检查19数据中心系统应急预案一、总则（1）编制目的为提高数据中心系统面对重特大网络与信息突发事件时的组织指挥和应急处置能力，保证网络与安全事件应急处置工作迅速、高效、有序执行，特制定本预案。（2）适用范围本应急预案适用于数据中心系统发生网络与系统突发事件时使用。 （3）编制依据本预案编写依据西城区党政机关计算机网络与信息安全管理规定等相关管理规定及文件。二、应急事件分级（1）应急事件等级分类级别事件类型一级非常紧急1、 数据中心系统不能工作，影响用户业务2、核心网络停止服务，造成大范围办公电脑不能接入办公网络、国际互联网、办公专网 ；3、病毒大规模爆发，造成大范围办公电脑不能正常工作并造成业务数据不可恢复的丢失；4、可以通过互联网访问系统的网页被篡改或出现违法信息；5、机房供电故障且UPS故障、机房失火、机房设备被雷击；6、区领导关注的事件，影响区领导办公的事件。7、二级事件有可能升级的事件。 二级紧急1、 区级主要系统能够工作，但部分功能失效，性能下降，但不致中断用户整体业务。（含服务器故障、服务器网络故障、软件系统故障）；2、 办公聚集区或多个楼层交换机故障，核心交换机多个网段故障；病毒爆发，造成政务办公网、互联网不能提供正常访问；3、 多个单位领导的PC故障；4、 机房空调故障、供电故障（UPS在支撑）；5、 防篡改系统、防火墙、存储系统等安全设备故障；6、 领导关注的三级事件。三级普通1、软件运行尚可，但出现系统报错。2、对一个单位产生影响的事件，包括：楼层交换机故障；3、核心交换机某一个网段故障；病毒爆发，造成一个单位办公电脑不能正常工作；4、一个单位应用的系统故障（含服务器故障、服务器网络故障、软件系统故障）；5、一个单位领导的PC故障；6、领导关注的四级事件；四级一般1、用户对产品改进的问题，或产品应用问题；2、现场服务与支持事件。包括：IT维修、电脑病毒查杀、3、用户IP地址调整、网站栏目调整等4、机房UPS、防雷、消防、报警等重要但非紧急故障事件。5、网络报警、安全监测、防病毒软件服务器、审计等重要但非紧急故障事件。6、机房监控、地板、照明等一般故障事件。（2）事件影响程度分级等级事件类型及影响涉及一级被媒体捕捉的所有负面事件；造成大范围办公业务不能正常运行，包括：1、 核心网络停止服务，造成大范围办公电脑不能接入办公网络；2、 病毒大规模爆发，造成大范围办公电脑不能正常工作并造成业务数据不可恢复的丢失；3、 可以通过互联网访问系统的网页被篡改或出现违法信息；4、 核心业务系统不能使用二级对电子办公造成局部影响的事件，包括：1、 部分网络停止运行，造成楼层或部分部门工作人员不能联入办公网络；2、 在政务内网中运行，跨部门业务系统（政务门户、区人口库平台等）能提供应用服务，但性能下降；3、 病毒爆发，造成部分部门办公电脑不能正常工作三级对电子办公个体产生影响的和正常维护的事件，包括：1、 办公设备损坏修理、病毒查杀；2、 服务器重新启动等应用运维事件；3、 设备切换四级服务与支持事件。（3）事件综合指标等级应急事件等级事件影响程度分级事件紧急程度分级事件发起单位重要程度分级资源介入一级一级一级ll 公司技术总监直接协调事件的处理过程；l 信息办、信息中心主任到场指导；l 召集应用、网络、安全运维公司到场会商。二级二级二级一级、二级一级l 公司技术总监直接协调事件处理l 报信息办、信息中心主任l 涉及安全的，召集应用、网络、安全公司到场会商三级三级三级三级、四级二级、三级l 服务台和运维服务人员直接处理l 汇总报表报公司技术总监四级四级四级l 服务台和运维服务人员直接处理三、应急事件响应及处理流程 根据应急事件处理流程图，进行应急事件全流程处理。并对事件处理全过程进行详细记录，事件故障发现及排查由故障定基层人员负责，事故处理过程由相对应的网络安全、系统运维、应用系统运维一线人员记录。（1）应急资源联系表应急处理层级人员姓名联系电话手机职位故障定级层董翠霞88064469前台坐席资源调集层刘岩83975488组长资源调集层谷征83975488系统管理员故障排查、处理层李络运维二线技术故障排查、处理层王建络安全二线技术故障排查、处理层李络运维一线技术故障排查、处理层程浩伟、王建18710059554网络安全一线技术故障排查、处理层田献用系统二线技术故障排查、处理层侯金用系统一线技术（2）应急事件处理流程表 应急事件处理流程故障发现层系统、安全运维人员信息中心人员系统驻场运维人员委办局办公人员信息中心服务台应急事件1、2级应急事件1、2级主管主任故障级别判定应急事件3、4级故障定级及资源调集层调集一级故障排查失败调集系统管理员系统运维一线人员组长10分钟结果反馈网络安全一 线人员系统开发一线人员系统开发二线人员系统运维二线人员网络安全二线人员二线人员故障点排查一线人员故障点排查启动故障排查预案故障排查层硬件、操作系统故障排查系统排查网络排查系统恢复测试故障点处理应急预案完善处理过程记录故障处理层（3）故障排查、处理任务分解处理层级处理状态承担角色内容分解故障定级层故障定级信息中心服务台1、判定应急事件层级2、通知组长或管理员进行资源调集3、记录事件发生、定级、调集资源时间点资源调集层资源调集组长、系统管理员1、接到事件报警，立即到达现场2、根据故障级别调集相对应技术人员到场3、组织进行事件排查故障排查层故障排查网络故障排查1、网络防火墙排查2、监控设备检查故障排查层故障排查服务器、操作系统故障排查1、动力供应（电、空调等）排查2、系统硬件排查3、网络畅通排查4、操作系统故障排查故障排查层故障排查应用系统故障排查1、应用系统故障排查2、系统数据库故障排查3、应用系统接口故障排查四、故障快速排查手册一线技术人员接到事件通知，立即启动信息系统故障排查手册，所有一线技术资源同时启动故障排查，应在10分钟之内定位应急事件产生来源。并初步分析处理此故障所需时间，并拟定应急事件现场处理方案，将事件故障点、处理方案上报系统管理员。(1)服务器硬件故障排查根据应用系统服务器资产列表，排查服务器指示灯是否报警正常。查询方法如下：l 服务器前面板检查：序号指示灯解释状态1内部环境健康指示灯绿色：正常橙色闪烁：系统降级红色闪烁：内部环境出现严重问题2外部环境健康指示灯绿色：正常橙色闪烁：系统降级红色闪烁：内部环境出现严重问题31号网卡活动指示灯绿色：连接到网络不亮：没有网络连接42号网卡活动指示灯绿色：连接到网络不亮：没有网络连接5电源加电指示灯橙色：服务器加电，处于待机状态绿色：已加电并处于开机状态不亮：没有接通电源l 电源模块检查序号指示灯解释状态11号指示灯不亮，2号指示灯绿色正常21号指示灯闪烁，2号指示灯不亮电源故障l 处理器模块检查序号指示灯解释状态11号指示灯灭，2号指示灯橙色或红色闪烁处理器配置错误21号指示灯橙色或红色闪烁，2号指示灯不亮或红色闪烁处理器供电模块故障l 内存板模块检查序号指示灯解释状态3可以拆除内存板指示灯灭：如果服务器处于加电状态，不要拆下内存板。绿色：可以拆下内存板。5内存指示灯（1-4）灭：锁定开关解锁或断电橙色：检测到内存错误橙色闪烁：内存配置错误绿色闪烁：内存板正在重建绿色常亮：正常6内存板状态指示灯灭：锁定开关解锁或断电橙色：检测到内存错误橙色闪烁：内存配置错误绿色闪烁：内存板正在重建绿色常亮：正常(2)操作系统故障排查服务器启动停留在自检界面，无法通过自检，操作系统无法启动，检查操作系统是否因文件丢失，导致服务器操作系统无法启动，检查方法如下：l 服务器启动时按ctrl+s进入Bios界面，由硬盘启动改为由光盘启动。保存并退出。l 放入系统PE 引导光盘，重启服务器进入PE系统（PE光盘存放在调试室工具柜一层光盘盒中）。l 若通过PE盘启动操作系统成功，则排除操作系统硬件故障，并确认服务器操作系统故障。(3)网络故障排查应用系统无法提供访问，进行网络故障排查，是否由于网络故障导致应用不能提供服务。检查方法如下：1、在个人电脑客户端，点击“开始” “运行”，输入cmd进入命令行，使用PING大包命令，检查与区人口库平台服务器之间网络连接情况。Ping l 65500 t 4（1）如果能够PING通（大包）而且不发生丢包现象，可排除网络故障；（2）如果无法PING通（大包）或网络丢包现象，立即联系网络组相关人员协助检查。（3）发生故障均不属于以上几方面，则需按照以下步骤进行一系列排查。2、在数据中心服务器本地桌面字符操作窗口。使用PING大包命令，检查与内网DNS服务器之间网络连接情况。Ping l 65500 t （1）如果能够PING通（大包）而且无丢包现象，可排除网络故障；（2）如果无法PING通（大包）或发现网络丢包现象，立即联系网络组相关人员协助检查。检查内容包括服务器网络接口及其他网络设备连接情况。（3）如果发生网络丢包现象，初步判断网络故障，并需按照以下步骤进行一系列排查。 (4)平台故障排查检查数据中心运行是否正常，检查方法如下：检查数据中心运行是否正常，检查方法如下：l 检查Tomcat后台服务 登录数据中心服务器，打开Tomcat服务运行窗口，查看tomcat服务窗口中是否报error错误，若报错为tomcat故障。l 重启Tomcat后台服务首先进入linux控制台界面，依次执行以下命令（1）进入tomcat服务文件所在目录： cd /usr/local/tomcat/bin/（2）停止tomcat服务： Shutdown.sh s（3）启动tomcat服务： ./startup.sh 如果问题仍未能解决，需要重启区人口库平台服务器。l 重启服务器首先进入linux控制台界面，执行reboot或shutdown r now命令，重启区人口库平台服务器。五、事件处理应用系统故障处理数据中心无法访问具体描述： IE访问区人口库无法访问事件处理类别故障现象故障处置责任人问题发现IE访问数据中心，连接失败。系统地址01:6060/society坐席人员将事件定级后，根据事件处理流程表的流程通知组长或管理员,调集资源后进行处理。前台坐席网络问题事件处置事件产生由网络故障问题导致由网络安全人员进行故障处理，并启动网络故障处理预案网络安全一线、二线人员操作系统问题事件处置事件产生由操作系统故障问题导致由系统运维人员进行故障处理，并启动区人口库平台应急预案。对于操作系统损坏需从新部署应用系统的事件立即启动服务器部署手册进行从新部署，详见附件一;系统运维一线、二线人员应用系统问题事件处置事件产生由应用系统故障问题导致1、 重启tomcat服务。2、 重启区人口库平台服务器。应用系统开发一线、二线人员六、汇总统计 应急事件处置完成后，系统开发公司、网络安全运维、系统运维（包括一线技术人员、二线技术人员）人员立即组织分析造成应急事件的直接、间接原因。于24小时。之内将事件情况编制成文本向上一级领导汇报。上报内容应至少包括：l 事件处置后的系统情况；l 事件发生的直接、间接原因；l 事件发生所造成的实际危害和实际影响范围；l 事件发生最终采取的应急处理措施；l 事件处置流程，及过程记录；七、应急预案完善 根据应急事件处置分析结果，完善相关系统应急预案，若此事件为预案中已涉及的案例，则根据实际分析结果优化事件处理流程。若此事件在预案中未涉及，则将此次事件制作成案例完善到相关预案中。八、数据库备份策略（1）策略l 备份类型采用全量和增量备份相结合的自动备份方案。l 备份周期每周定期自动全量备份一次，每天自动增量备份一次。备份成功自动删除以前的备份数据，每种备份类型仅保留最近两个备份。l 备份地点采用异机备份方式，即在数据库服务器的内网中，选择另外一台磁盘空间足够备份的机器，进行自动备份。l 定期检查每周需专人定期检查备份情况，磁盘空间余额，并做检查记录。（2）方案l 安装备份工具在异机上安装SQLServer 企业管理器，以便做备份计划任务；l 创建文件夹在异机选择磁盘空间足够备份的逻辑盘上，创建备份文件夹。例：备份文件夹：E:DB_BackUp全量备份文件夹：E:DB_BackUpFull全量备份文件夹1：E:DB_BackUpFull1增量备份文件夹：E:DB_BackUpInc增量备份文件夹1：E:DB_BackUpInc1l 计划任务添加操作系统计划任务，以下简称计划任务1、添加周日计划任务，把全量备份文件夹里的备份文件拷贝至、并覆盖全量备份文件夹1里的备份文件，设置每周周日5:30执行；2、添加周一计划任务，把周一对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周一5:30执行；3、添加周二计划任务，把周二对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周二5:30执行；4、添加周三计划任务，把周三对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周三5:30执行；5、添加周四计划任务，把周四对应的增量备份文件夹里的备份文件拷贝至、并覆盖增量备份文件夹1里的对应的备份文件，并覆盖原先的文件，设置每周四5:30执行；6、添加周五计划任务，把周五对应的增量备份文