机房重要信息系统应急预案.doc

XXXXXX计算机机房应急预案一、 适用条件1 适用范围本预案适用于XXXXXX计算机机房发生电力、火灾、空调故障和水浸等突发事件的应急处置工作。1 适用场景电力事件：由于机房电力不可用引发的应急事件。 以机房为参照物：第一种情况：机房输入无电（大楼突然停电；大楼有电，机房市电输入无电）；第二种情况：机房本身供配电故障。火灾事件：机房设施本身产生的火灾以及外部火灾威胁。空调故障：有机房空调故障引发的机房温度升高的应急事件。水浸事件：机房内部遭到水患，影响或破坏机房正常运行。二、应急处置流程机房突发事件处置总流程机房突发事件处置总流程指挥组执行组处置结束领导小组结束业务应急办法业务部门协调相关资源领导小组成员否领导小组事件定级并启动应急预案是业务恢复业务部门处置成功领导小组领导小组成员电力、空调、火灾、浸水处置确认事件类型故障处理事件发现机房管理人员事件报告安全领导小组事件分析应急组判断是否为事件否停电事件处置流程机房停电事件应急处置流程-1（办公大楼突然无电；办公大楼有电，机房输入无电）指挥组执行组领导小组协调应急资源电力事件发生机房管理员快速定位故障：UPS设备检查，主要检查剩余电量、可用状态等；通知电力维修工。是否办公大楼停电机房输入无电否是领导小组成员修复时间（20分钟）修复时间（2小时）与供电部门联系，确定停电原因及恢复时间领导小组成员领导小组成员报告应急小组组长否否是启用发电设备，待发电机工作稳定后，切换到发电机供电；是电力部门、领导小组成员启用发电设备、抢修线路机房管理员检查供电情况；监测业务系统运行情况结 束机房停电事件应急处置流程-2（机房本身供配电故障）指挥组执行组电力事件发生机房管理人员快速定位故障UPS故障配电柜故障机房供电回路故障领导小组成员领导小组成员检查配电柜各开关及线路检查故障位置及原因，以及受影响业务排除故障领导小组成员断开UPS输入空气开关试供电是否正常是否电力维修工、机房供电小组配合检查供电回路故障原因：回路中是否有损坏的设备，是否存在短路，是否有漏电等，针对问题进行处理领导小组成员闭合回路中设备电源开关，试供电，逐台启动设备是领导小组成员闭合UPS输入空气开关领导小组成员检查单电源供电设备，临时解决供电问题领导小组成员通知服务商或厂商进行维修UPS恢复正常运行结 束火灾事件处置流程机房火灾事件处置流程图指挥组执行组对人员和资源进行调度领导小组火灾事件发生火势特别严重？否是危及人身安全？是领导小组成员是否需要切断供电？否领导小组成员通知全部人员撤离，拨打119火警电话关闭机房电源，若气体灭火设备没有自启，手动启动并拨打119电话，机房人员撤离领导小组成员是领导小组成员否灭火器分区灭火，通知业务部门进行业务紧急处置，切断供电灭火器分区灭火，若影响业务通知业务部门进行部分业务紧急处置领导小组成员报告应急小组组长，通知大楼消防小组火是否被扑灭火被扑灭是否机房管理员配合119灭火业务部门负责人进行业务紧急处置执行组评估机房受害程度，制定恢复措施，恢复机房环境，向指挥组汇报详细情况结束空调事件处置流程机房空调突发事件处置流程图指挥组执行组领导小组决策：停机策略机房温度上升过快机房管理人员采取降温措施（冰块、风扇等）并监控温度变化情况机房管理人员发现空调故障是否供电故障温度是否降低是否空调设备故障领导小组成员领导小组成员通知服务承包商或厂商维修故障空调排查供电故障是否领导小组成员上报小组组长机房管理员执行停机策略启动业务应急空调运行恢复正常结 束水浸事件处置流程机房水浸事件处置流程领导组安全领导小组成员通知业务部门负责人进行业务处置领导小组机房水浸事件发生水浸是否严重？否是危及人身安全？是机房管理人员是否需要停电？否机房管理人员通知人员撤离，关闭机房电源报告应急预案小组通知人员撤离领导小组成员是机房管理人员否通知业务部门进行业务处置，切断供电，同时吸水除湿吸水除湿报告小组组长，切断机房供电领导小组成员业务部门负责人进行业务紧急处置机房管理人员评估机房受害程度，制定恢复措施，向应急小组汇报，提出下一步建议恢复运行环境及损坏设施处置结束XXXXXX通信网络应急预案一、 适用条件1 适用范围本预案适用于XXXXXX通信网络类突发事件的应急处置工作。2 场景描述 1.网络拥塞事件发生网络通信故障，或网络负载超过了可用资源，出现数据包丢失，导致传输时延增大，网络吞吐量下降甚至网络完全瘫痪等现象，造成核心信息体统或核心业务系统无法处理业务，必须采取应急处置措施，开展处置工作的突发事件。2.网络中断事件 发生网络线路中断、设备故障等事件，导致通信网络系统部分或全部中断，造成核心信息系统或核心业务系统无法处理业务，必须采取应急处置措施开展处置工作的突发事件。二、 应急处置流程1.通信网络突发事件处置总流程事件发现各部门人员事件报告网络管理员事件分析网络管理员判定是否为事件故障处理否领导组事件定级且启动预案是 否确定事件类型领导小组领导小组网络中断事件处置网络拥塞事件处置处置成功业务部门恢复是否事件结束2.通信网络拥塞事件处置流程启动拥塞事件处置流程领导小组事件分析和定位攻击事件设备故障攻击源是否在本地否是办公室联系攻击源单位，应急小组成员采取有效措施领导小组成员采取有效措施拒绝攻击，联系中支科技部门其他故障网络管理员提供备品支持进行设备替换联系厂家维修或者更换结束拥塞事件处置流程领导小组联系中支科技部负责人和数据中心有关人员进行处置2.通信网络拥塞事件处置流程中支科技部门负责人指导处置工作启动中断事件处置流程应急小组事件分析外部通信线路故障设备硬件故障否否设备软件故障否内部线路故障是是是是外援机构线路运营商线路恢复服务网络管理员提供备品支持网络管理员分析软件故障原因网络管理员线路故障定位外援机构维保商提供备品支持系统集成商产品厂商软件更新支持网络管理员明确处置步骤网络管理员设备替换网络管理员内部线路恢复中支科技科分析事件提出处置建议领导小组成员明确处置步骤领导小组成员开展处置工作结束中断事件处置流程否XXXXXX计算机系统应急预案一、 适用条件1 适用范围本预案适用于XXXXXX计算机系统突发事件的应急处置工作。2 场景描述 1.系统崩溃事件发生系统崩溃，出现蓝屏，无法启动，卡XP等情况造成无法办公，必须采取应急处置措施，开展处置工作的突发事件。2.系统中毒事件 发生系统中毒或者木马入侵事件，导致系统速度变慢，IE指向可疑，软件无法使用，甚至杀毒软件无法使用情况时，必须采取应急处置措施，开展处置工作的突发事件。二、 应急处置流程1、计算机系统处置流程事件发现各部门人员事件报告系统管理员事件分析系统管理员判定是否为事件故障处理否领导组事件定级且启动预案是 否确定事件类型应急小组应急小组系统崩溃处置系统中毒处置处置成功业务部门恢复是否事件结束2.系统崩溃处置流程启动系统崩溃处置流程领导小组事件分析和定位软件冲突硬件故障其他故障系统管理员提供备品支持进行设备替换联系厂家维修或者更换结束系统崩溃处置流程使用系统备份镜像文件，重装系统系统管理员查找冲突软件备份系统，删除该软件3、系统中毒处置流程启动系统中毒处置流程领导小组事件分析和定位中毒程度低中毒程度高哦高、木马入侵使用系统备份镜像文件，重装系统结束系统中毒处置流程查找被入侵软件，删除该软件，并全盘杀毒系统管理员查找中毒软件删除该软件并杀毒，备份系统XXXXXX信息科技系统应急操作手册1、主线路故障：故障现象：联通协议转换器故障灯报警。故障解决方法：联通和电信两条2M SDH线路，联通线路为主线，电信线路为备线，当线路发生故障时在协议转换器上会出现告警信号，如AIS灯为红色等信息。主线路发生故障时，备用的电信线路会自动切换为主线路，代替联通线路。在发现故障后及时上报领导及通知联通大客户经理进行故障解决。2、OA线路故障故障现象：访问数据中心OA协同办公系统速度突然变慢或无法连接。故障解决方法：当线路出现故障时系统访问速度变慢，通过查看设备状态指示灯判断线路是否故障，及时通知联通客户经理及数据中心网络中心，联调解决问题。 3、外联线路故障故障现象：相对应的业务无法进行，如：无法登录人行FTP服务器，无法登录银监局1104报表系统等。故障解决方法：我行现外联单位主要有人民银行、银监局。当线路出现故障时，应与运营商及时联系，并通知相关使用部门。4、与数据中心连接相关设备故障故障现象：支行所有柜员终端无法登录，数据中心服务器无法访问可能出现故障的设备及处理方法：（1）锐捷路由器故障：首先检查锐捷路由器，查看是否有掉电现象，如果没有掉电则查看路由器是否出现硬件故障，(如查看路由器后面的接口卡的状态灯的颜色，红色为故障，绿色为正常)。如果无法在短时间内修复则立刻启用备用路由器代替原路由器，将V35线缆与内网以太口网线正确接好后开机即可（注：备用路由器配置已经提前配好，与主路由器配置完全相同）。（2）核心交换机故障：检查生产网交换机，有无断电情况，如果断电将电源重新接好。然后对交换机使用PING命令，PING网关地址，如果不通，则表示交换机自身故障或配置出现故障，此时立刻更换备用交换机。具体操作步骤如下：温备设备切换：将主交换机上的所有连接线依次插拔到备用交换机上，连接完成后使用PING命令，PING数据中心对端地址。查看是否可以PING通，如果PING通，则问题解决。使用quit命令退出系统。冷备设备切换：首先使用CONSOLE连接到备用交换机，进入交换机后首先使用dis cu命令查看交换机是否有配置，输入sys命令，在提示符为 shengchan-sw状态下，直接导入配置信息，使用save命令进行存盘。测试是否ping 通数据中心端地址。如果PING通则故障排除。冷备设备无法启动：使用替代设备替换，使用命令del config.cfg删除交换机中的配置信息，并重启交换机，然后再将备份配置信息导入设备的操作。使用ping命令测试数据中心对端地址。如果PING通则故障排除。（3）前置服务器故障：直接更换备用服务器，更换后查看服务器的状态是否正常，如光路诊断器是否有报警，硬盘灯是什么颜色，红色代表故障，绿色代表正常。IP地址是否与原生产设备配置相同，测试业务是否正常处理，如能正常办理，说明恢复成功。（4）生产路由器故障：对路由器进行检查，使用内网计算机，ping数据中心 对端地址。如果PING通则表示线路及广域网路由设备没有问题，如果不通则表示广域网路由设备出现故障，更换备机并测试是否联通。并与数据中心网络中心联系。（5）外连设备故障故障现象：人民银行或银监局ftp服务器无法访问可能出现故障的设备及处理方法：外联路由器故障：大小额前置服务器无法正常工作， ping人民银行对端地址，如果不通则有两种可能，一为对端设备故障，此时应与人民银行及时联系，二为线路故障，应立刻将路由器以太口接到备用路由器上，再使用PING对端的备用线路地址，如果PING通表示线路正常，如果仍无法访问，则立刻上报领导及人民银行。其它类似故障处理方法参照此方法。防火墙故障：当主防火墙出现故障时银监局及人民银行的网站或FTP无法访问，将线路连接到备用防火墙上，测试是否连通，连通则故障解决。如果经过以上处理故障仍然存在，则立刻联系人民银行及银监局相关业务部门，询问是否是对方服务器故障。上报行领导及数据中心科技部，并与对方单位人员保持联系，直至故障解决。（6）外网设备故障故障现象：NOTES及SameTime办公软件无法登录，所有外网网站无法打开。可能出现故障的设备及处理方法：外网H3C交换机故障：将线路切换到备用交换机上，并使用console线连接到电脑，使用超级终端对其进行配置检查，如配置正常则再将原有网线全部连接到备用交换机上。数据中心服务器故障：数据中心服务器改造或升级引起的暂时无法连接，应立刻与数据中心沟通，确认故障解决时间，并上报相关领导。（7）大小额支付系统硬盘故障：当单块硬盘故障时，主机面板会报警，硬盘灯会闪烁，机器会自动切换到备份硬盘上，此时做好切换到备用服务器的准备，联系设备供应商，反馈硬件故障信息，尽快排除故障，若需要更换硬盘则尽快联系生产商进行调换工作。并及时向主管领导汇报故障信息和故障处理进度。（8）前置机软件系统故障：检查前置备份应用程序与数据中心最新发布程序是否一致，如不一致则更新数据中心最新程序包文件，更新后测试业务是否正常，业务正常则故障排除。如发现其他问题，则判断是否SCOUNIX操作系统问题，如发现操作系统问题，则将备机替换到生产环境。核对更新包是否数据中心发布最新版本，是最新版本则通知业务部门测试业务是否正常。并及时向主管领导及数据中心汇报故障处理进度。（9）其它故障现象及解决方案：交易不能正常处理：1、业务终端不能正常登陆：检测终端与前置机之间的线路物理连接是否正常，若线路没有问题则尝试换一下故障终端的辫子插孔，重启终端，看是否排除故障；若仍存在故障，可尝试重启联结终端的锐捷路由器；如果是营业部及所有支行终端全部故障，首先查看前置服务器运行状态，看是否能否PING通，若前置机工作正常，则往数据中心汇报，咨询数据中心服务器运行状况，判断是否是全行故障，如果是全行故障，在数据中心数据中心指导下排除。如果是我行前置机故障，参考前置机服务器故障及前置机软件故障解决。另外在排除故障过程中可以使用杀毒软件，检测生产网络是否存在ARP等攻击病毒，导致丢失正确的网关地址。如是病毒导致，则立即切断收病毒侵害的计算机网络。如果是前置机系统故障，在短时间内无法解决，刚立即切换到备用前置机，切换成功后通知各支行系统管理员重启支行机房内的生产网路由器，并进行终端的业务测试，测试完成后整理问题出现原因，并向上级领导进行汇报。2、密押服务器故障：密押服务器目前采取热备方式，当主设备故障时，密押服务器会自动切换到备用设备。通过密押服务器前面板灯观察设备运转状态，若系统灯或告警灯闪烁则说明设备出现故障，使用ROOT用户登陆大小额前置机使用vi命令查看/SJL10_TCTD目录下的host_cfg.dat文件，查看配置文件中备用服务器的ip地址，如果备用IP在前面，说明密押服务器已切换到备机运行，使用PING命令检查主密押服务器的线路是否联通，如果是线路故障，检查物理连接是否正常，如果是系统故障，在非营业时间，重启主密押服务器并再次检查线路。在线路正常状态下，运行支付系统前置机/SJL10_TCTD目录下testPIN_clnt程序，若返回return_code=0,说明设备运转恢复正常。断开备用密押服务器线路，运行大小额前置机/SJL10目录下的testMAC_clnt程序，检查配置文件host_cfg.da