机房应急预案资料整理

机房应急预案资料整理 机房应急预案随着我公司信息化建设的不断深入，加强机房各类设备、系统以及信息与网络安全等方面应对突发事件的处理能力将是信息部门目前面临的一项重要任务。 为应对机房可能发生的突发事件，将正在发生或已发生事故的损害程度减轻到最低，确保员工安全，特制定本应急处置预案。 1.1机房突发事件分类1.自然灾害指地震、火灾等因自然因素引起的网络与信息系统的损坏。 2.事故灾难指电力中断、网络损坏、软件、硬件设备故障等引起的网络与信息系统的损坏。 3.人为破坏指人为破坏网络线路、通信设施，黑客攻击、病毒攻击、恐怖袭击等引起的网络与信息系统的损坏。 1.2应急处理人员组织机构员组织机构1.3应急机构人员岗位职责 1、应急总指挥职责 （1）保证在任何时间，及时协调应急行动所有涉及的岗位人员； （2）提供必须的紧急响应设备； （3）在紧急情况下全面负责紧急行动； （4）在必要时向外界求救，例如 119、 110、120等。 2、应急副总指挥职责 （1）在总指挥领导下具体开展工作，当总指挥不在时履行总指挥职责； （2）根据获得的应急信息下达命令。 3、各相关设备负责人职责 （1）负责尽快收集信息向应急总指挥汇报事故情况； （2）负责现场临时设备抢救和对事态的控制； （3）听从上级指挥人员的指挥。 1.4信息与网络安全突发事件处理原则1.预防为主。 立足安全防护，加强预警，重点保护基础信息网络和关系信息安全、稳定的重要信息系统，从预防、监控、应急处理、应急保障等环节，在管理、技术、人员等方面采取多种措施充分发挥各方面的作用，共同构筑信息与网络安全保障体系。 2.快速反应。 突发事件发生时，按照快速反应机制，及时获取充分而准确的信息，跟踪研判，果断决策，迅速处置，最大程度地减少危害和影响。 3.分级负责。 按照“谁主管，谁负责”的原则，建立和完善安全责任制及联动工作机制。 根据各负责人的职能，各司其职，加强各负责人的协调与配合，共同履行应急处置工作的管理职责。 4.以人为本。 把保障人员以及公共利益的安全作为首要任务。 5.常备不懈。 加强技术储备，规范应急处置措施与操作流程，定期进行预案演练，确保应急预案切实有效，实现网络与信息安全突发公共事件应急处置的科学化、程序化与规范化。 1.5机房应急开关机具体措施机房各设备关闭顺序如下1.6服务器及存储设备故障处理1.6.1排错流程故障发生1.6.2应急处置具体措施服务器设备损坏应急处置措施A、关键应用系统所在服务器设备损坏后，应立即查明原因，使用备份服务器替换损坏设备，并立即恢复应用系统正常使用;B、立即与设备提供商联系，请求派维修人员前来维修。 服务器软件损坏紧急处置措施A、迅速查找原因，尝试重启系统。 使用备份进行恢复。 必要时联系开发商;B、当发现服务器感染有病毒后，应立即将该机从网络上隔离出来。 并启用杀病毒软件对该机进行杀毒处理，同时使用病毒检测软件对其他机器进行病毒扫描和清除工作。 经技术人员确认确实无法查杀该病毒后，应作好相关记录，并迅速联系有关产品商研究解决;C、当因空调，电力等问题需要关闭所有服务器时，应遵循如下步骤先关闭所有应用服务器和数据库服务器，再关闭存储设备。 启动所有服务器时，应先打开存储设备，再打开数据库服务器，最后打开应用服务器。 1.6.3服务器突发情况记录1.7网络设备故障处理1.7.1网络设备排错流程网络设备的排错流程下面流程图是网络维护人员所应采取的排错模型，当发生网络故障时应按照此流程快速进行定位、排除故障。 1.7.2网络系统故障突发事件分级故障等级故障现象1级网络完全拥塞或设备宕机网络或设备处理能力严重受影响，对最终客户的业务运作有严重影响网络或设备故障对重要的客户（公司经理级或重要的部门）造成严重影响2级网络或设备的性能严重下降，对最终客户的业务运作产生重要影响部分区域网络故障一般网络节点发生故障大部分客户的网络通讯质量下降3级网络或设备性能受损，但最终客户大部分业务仍可正常工作报警出错和操作命令反常4级其它一般的故障，不影响系统的整体运行，不影响大部分客户的使用1.7.3应急措施黑客攻击时的紧急处置措施A、当发现网页内容被篡改、Inter接入路由器有用户登录或通过其他方式发现有黑客正在进行攻击时，应立即向信息部相关人员通报情况；B、在信息部人员授权下，立即备份当时的log日志并采用端口限制方式阻断外部的入侵，观察被攻击的服务器等设备状态，同时向信息部领导汇报情况；C、协调相关应用部门，与信息部有关技术人员一同负责被破坏系统的恢复与重建工作；D、协助信息部人员协同有关部门共同追查非法信息；E、情况严重的，根据突发事件级别应及时向有关上级部门汇报。 病毒安全紧急处置措施A、当发现计算机感染有病毒后，应立即将该机从网络上隔离出来；或从网络设备状态发现病毒爆发应采取show mac-address sharp定位或IP查询将病毒机器所在的网络设备端口shutdown；B、通知维护人员对该设备的硬盘进行数据备份；C、启用杀病毒软件对该机进行杀毒处理，同时进行病毒检测软件对其他机器进行病毒扫描和清除工作；D、如发现杀病毒软件无法清除该病毒，应立即通知用户并向及信息部负责人报告，经信息部技术人员确认无法查杀该病毒并同意格式化硬盘后，作好相关记录，并格式化硬盘；E、机器恢复后重新开启网络设备的相应端口；F、认为情况极为严重，根据突发事件级别应及时向有关上级部门汇报。 广域网线路中断紧急处置措施A、链路出现问题后，网络维护人员应立即信息部负责人报告，沟通地方节点技术人员共同迅速判断故障，查明故障原因；B、如属我方管辖范围，由双方技术人员立即配合予以恢复。 如遇无法恢复情况，立即进行备件更换或向有关厂商请求支援；C、如属运营商管辖范围，立即与运营商维护部门申报故障，请求修复；D、根据突发事件级别应及时向有关上级部门汇报。 局域网中断紧急处置措施A、局域网中断后，网络维护人员应立即判断故障节点，查明故障原因，并向信息部领导汇报；B、如属线路故障，更换新线路或重新安装线路；或从最近飞线至故障设备；C、如属路由器、交换机等网络设备（光模块）故障，应立即查找是否有相关备件可以替换，或与设备提供商联系更换设备，并调试畅通；D、如属路由器、交换机配置文件破坏，应迅速按照备份配置文件重新配置，并调试畅通；如遇无法解决的技术问题，立即向有关厂商请求支援；E、情况严重的，根据突发事件级别应及时向有关上级部门汇报。 1.8空调设备故障处理若空调损坏，应第一时间通知厂家上门进行维修，并及时报告信息部相关领导请示，获得授权后按机房设备关闭顺序关闭各类设备。 1.9消防设备故障处理一旦机房发生火灾，应遵照下列原则首先确保人员安全；其次保护关键设备、数据安全；三是保护一般设备安全；人员疏散的程序是机房工作人员立即按响火警警报，并通过119电话向公安消防请求支援，所有人员戴上防毒面具，所有不参与灭火的人员按照预先确定的线路，迅速从机房中撤出；人员灭火的程序是首先切断所有电源，启动自动喷淋系统或使用灭火器，灭火值班人员戴好防毒面具，从指定位置取出泡沫灭火器进行灭火。 1.10电源设备故障处理热力机房目前使用UPS系统，在紧急情况发生时，应按如下步骤进行关机 （1）确认所有负载均已安全关机。 （2）关闭UPS负载电源。 （3）将UPS的系统启用开关切换到off的状态。 （4）将DC电池连接断路器切换到off的位置。 （5）将所有电池拉出到红色电池断开线以外。 （6）断开PDU上的断路器。 （7）将PDU后面总输入断路器切换到断开位置。 （8）将每个上行主电路断路器切换到断开位置。 10/81.应急响应机制1.1.基本处理流程发现故障初步判定启动应急预案，并通知领导联系技术支持处理联系开发人员或厂家工程师现场处理故障恢复总结，修订应急预案扩大应急突发事件应急组按事件流程处理一般事件突发事件已解决已解决记录汇报进度汇报进度增援汇报未解决 （1）值班人员平时应做好应急事件的监控工作，对于突发事件应认真分析、准确判定故障发生的数据域，负责跟踪该事件直至其结束。 对于不在运维中心的故障，应在第一时间内通知负责人去现场处理，密切关注事件流程及进展情况，并做好登记工作上报领导。 （2）正常情况下，要求值班人员在10分钟内进行事件确认。 如果属于一般事件则按照事件流程进行分派处理，否则应迅速启动应急预案，并严格按照应急预案所规定的步骤快速实施应急处置，及时汇报上级领导，掌握实时处理情况。 11/8 （3）在处理过程中，如需其他部门去现场增援处理，应及时向上级领导部门汇报，协调沟通，尽快联系技术工程师或厂家技术支持赶赴现场援助处理。 2.演练准备工作2.1.视频监控系统检查视频监控是否正常工作，图像是是否清晰。 检查接受到的视频图像为实时图像。 2.2.湿温监控系统检查湿度控制器、温度控制器是否正常工作，检测当湿度过高或温度过高时其是否实现实时报警。 2.3.UPS检测系统检查监控中心所收到的UPS运行状态，与实时UPS运行状况是否一致，具体参数是否正常（如输入电压、电流、蓄电池供电情况等）。 3.演练过程3.1.机房市电供电异常3.1.1.准备工作机房供电系统图、配电系统维修工具、应急灯、UPS操作手册、应急联系电话表。 全面检查机房供电系统状况，重点确保UPS主机系统和电池组等处于良好运行状态。 12/8与配电室联系好，保证在演练期间配电室无维修或其他操作，电力供应稳定。 通知UPS供应商或维护商做好相应备件及技术支持准备，以防止UPS后备电池因维护保养不善造成其使用寿命缩短或UPS主机在进行逆变切换时发生故障。 演练前对网络系统及应用系统进行一次系统备份和数据备份。 3.1.2.应急演练应掌握的数据由于目前UPS系统在机房的负荷较大，目前UPS有效后备时间约22.5小时。 经与相关小组了解业务系统数据应急和设备正常关闭时间约1.5小时。 机房计算机设备允许最高环境温度为33C。 13/83.1.3.市电异常应急演练处置流程图突发市电停电检查UPS运行状况每十分钟对UPS进行一次记录，对机房系统进行一次正常运行确认每十分钟记录一次机房温度、湿度短时间能恢复供电机房温度超过27C，打开机房通道门并使用电风扇，减少机房温升是否大于33C对UPS主机进行宕机，来电后进行恢复送电主机、网络、应用等系统进入宕机流程，并确认系统管理员密码通知领导小组准备宕机做好恢复送电的准备市电恢复后，对电源进行检查恢复送电后，检查空调运行状况主机、网络、应用等系统进入宕机流程，并确认系统管理员密码通知领导小组，根据要求，逐台宕机是否是与大楼配电室联系否3.1.4.应急操作过程首先，接到应急演练小组演练开始的命令，将UPS供电总电源切断。 在供电电源停止后，每四分钟对UPS供电情况进行一次巡检，检查内容主要是UPS的负载情况、输出的电压电流、电池后备时间、电池运行情况，并做好记录（记录表样式附后）。 随时联系配电室人员，了解供电恢复时间，并向领导小组汇报。 当停电半小时后未得到准确送电时间，通知维护小组及其他相关部门，做好停机准备，停部分设备以减少用电负荷。 当停电一个小时后仍未得到准确送电时间火灾配电室通知短时间内故障无法排除，向领导小组汇报，由领导小组通知维护小组及相关部门关闭机房全部设备。 14/8如果停电范围较大，涉及机房空调市电停止，还需有专人对机房温升情况进行监控并记录（记录样式附后）。 当机房温度达到33C时，向领导小组汇报，由领导小组通知维护小组及其他相关部门关闭机房相关设备，随着温度的升高直至关闭全部设备。 上述UPS电源中断和机房空调电源终端两种情况同时发生时，只要其中一个条件不能满足机房运行要求，就要向领导小组汇报，由领导小组通知维护小组及其他相关部门关闭机房全部设备。 送电后的恢复工作市电恢复正常供电后，机房管理员检查UPS系统运行情况和电池组充电状况、空调系统运转情况，并向领导小组进行报告。 3.1.5.演练中发生异常故障的处理 （1）应急演练过程中，发现任何异常情况要及时向应急演练领导小组报告，由应急演练领导决定是否终止应急演练。 （2）在应急演练过程中预先准备好灭火器材，防止出现大电流放电出现着火。 （3）在UPS电池出现过热时应及时终止演练并恢复市电供电，以防意外发生。 （4）出现电池及电缆接头过热情况要及时处理，恢复市电，更换接头等。 3.2.机房漏水3.2.1.演练内容计算机机房场地漏水，对计算机系统运行造成严重影响。 3.2.2.准备工作吸水设备、水桶、拖布及地板吸盘等水灾抢救用品。 机房供电系统系线路图纸、了解机房漏水的风险点。 3.2.3.机房可能发生大范围漏水的部分机房空调加湿用的供水水管、除湿的下水和吸顶空调的冷凝水。 15/83.2.4.演练操作步骤演练开始。 执行小组接到计算机机房管理人员报告场地漏水或计算机机房场地监控系统（漏水报警器报警）发现场地漏水，执行小组立即检查进水部位，查明进水原因，掌握危害程度，并与大楼后勤服务部门联系，请求寻找进水原因。 执行小组向协调小组、领导小组报告计算机场地漏水原因、危害程度，同时为了减少损失，通知维护小组做好进行数据备份、业务系统和电子设备关闭的操作准备工作。 大楼后勤服务部门负责疏通排水通道、清楚计算机机房周边积水、切断计算机机房漏水水源。 协调小组在确保无触电危险的前提下，组织人员用吸水工具抽吸场地内积水，控制进水影响范围。 领导小组根据进水危害程度，命令维护小组部分关闭或全部关闭业务系统和电子设备后，由机房管理员切断部分或全部场地电源，防止危害进一步扩大。 进水危险解除后，机房管理员检查计算机场地受灾情况和电力线路、网络线路健康情况，进行计算机机房去湿等环境恢复，并向领导小组报告。 领导小组根据计算机机房环境恢复情况，命令维护小组部分恢复或全部恢复业务系统和电子设备进行3.3.机房火灾3.3.1.演练内容计算机机房发生火灾，对人的生命和计算机系统运行造成危害。 3.3.2.准备工作 （1）手持计算机机房灭火器、手持应急照明灯具等火灾抢救用品。 （2）确保气体灭火系统运行稳定，并将启动方式设置为手动。 3.3.3.演练步骤火情发现。 执行小组接到机房管理人员的火情报告，或计算机机房场地监控系统发现火情，或大楼消防监控中心发现火情。 16/8执行小组在排除误报和在确保生命安全的前提下，准确掌握火