51CTO下载-03电子政务运维中心机房应急预案.doc

文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 1 18 1 文档编号文档编号 项目编号项目编号 保密级别保密级别商密 电子政务运维服务中心机房电子政务运维服务中心机房 应急预案应急预案 用 户 有限公司 主管机构 主管部门 信息化领导小组 日 期 日 期 2009 9 1 签 字 签 字 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 2 18 2 目目 录录 一 目的一 目的 2 2 二 基本原则二 基本原则 3 3 三 适用范围三 适用范围 3 3 四 应急事件级别定义四 应急事件级别定义 3 3 五 组织机构及职责五 组织机构及职责 4 4 5 1 应急领导小组组织机构 4 5 2 应急领导小组职责 4 5 3 应急小组成员职责 5 六 应急响应机制六 应急响应机制 5 5 6 1 基本处理流程 5 七 应急方案七 应急方案 6 6 7 1 互联网中断应急预案 暂定为二级事件 6 7 2 运维中心 ITM 监控软件应急预案 暂定为二级事件 7 7 2 1 运维中心 ITM 监控软件部署情况 7 7 2 2 数据库操作部分 7 7 2 3 ITM 操作部分 8 7 2 4 ITSM 操作部分 8 7 3 运维中心托管应用应急预案 暂定为三级事件 10 7 4 TSM异地备份应急预案 暂定为二级事件 10 7 5 运维中心市电中断应急预案 暂定为二级事件 10 7 5 1 运维机房操作流程 11 7 5 2 柴油发电机房操作流程 12 7 6 发电机故障应急预案 暂定为二级事件 14 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 3 18 3 一 目的一 目的 为科学应对网络与信息安全突发事件 提高我省电子政务运维服务中心应 对突发应急事件的处理能力 确保信息系统安全运行 维护网络和系统正常运 行 降低信息安全事件对运维机房所造成的损失和影响 编制本预案 二 基本原则二 基本原则 1 居安思危 预防为主 实行突发事件统一管理 统一指挥 各级负责 的原则 2 统一领导 分级负责 全面规划 及时发现 快速反应 措施果断的原 则 依据 电子政务统一平台故障等级划分 对突发事件进行分级管理 并 按照事件级别迅速上报相关领导和责任人 3 制度规范 加强管理 严格按照 电子政务网运行维护规范 电子政务中心机房维护作业规范 事件处理流程规范操作 使突发应急 的工作规范事件化 制度化 4 快速反应 协同应对 当突发事件发生时 各级要立即按应急预案 投入应急工作 加强各个部门配合协作 形成统一指挥 反应灵敏 功能齐全 协调有序 运转高效的应急管理机制 5 主动报告原则 当突发事件发生后 要及时报告应急预案实施情况 三 适用范围三 适用范围 运维中心互联网中断应急预案 运维中心运维监控软件应急预案 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 4 18 4 运维中心托管系统应急预案 运维中心异地备份应急预案 运维中心市电中断应急预案 运维中心发电机故障后应急预案 四 应急事件级别定义四 应急事件级别定义 根据网络与信息安全突发公共事件的可控性 严重程度和影响范围 一般 分为四级 I 级 特别重大 II 级 重大 III 级 较大 IV 级 一般 国家有关法律法规有明确规定的 按国家有关规定执行 1 I 级 特别重大 重要网络与信息安全系统发生全市性大规模瘫痪 事态发展超出相关主管部门的控制能力 对国家安全 社会秩序 经济建设和 公共利益造成特别严重损害的突发公共事件 2 II 级 重大 重要网络与信息安全系统造成全市性瘫痪 对国家安 全 社会秩序 经济建设和公共利益造成严重损害 需要跨部门 跨地区协同 处置的突发公共事件 3 III 级 较大 某一区域的重要网络与信息安全系统瘫痪 对国家安 全 社会秩序 经济建设和公共利益造成一定损害 但不需要跨部门 跨地区 协同处置的突发公共事件 4 IV 级 一般 重要的网络与信息安全系统受到一定程度的损坏 对 公民 法人和其他组织的权益有一定影响 但不危害国家安全 社会秩序 经 济建设和公共利益的突发公共事件 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 5 18 5 五 组织机构及职责五 组织机构及职责 5 15 1 应急领导小组组织机构应急领导小组组织机构 组 长 副组长 成 员 5 25 2 应急领导小组职责应急领导小组职责 1 负责编制 修订所辖范围内突发应急事件的 应急预案 2 负责协调和督促整个应急事件的处理过程 有针对性地组织专业技术人 员对应急突发事件进行增援处理 必要时去现场督促 对于超出界定的突发事 件 尽快提出紧急补救措施进行恢复 3 应急事件处理结束后 协调解决故障现场的恢复生产工作 4 定期或不定期地对应急小组成员进行技能培训和应急演练 5 35 3 应急小组成员职责应急小组成员职责 1 值班人员平时应做好应急事件的监控 预警工作 当应急事件发生后 迅速生产事件上报相关领导 并进行先期处置 如有必要通知二 三线工程师 2 二线 三线工程师在接到应急信息后 应积极配合值班人员进行先期处 置 迅速赶往故障现场提供技术援助 3 对于在应急故障处理期间发生的新问题 新情况 应认真登记 及时上 报 对于超出 应急预案 界定的应急事件 应及时汇报应急领导小组 争取 尽早提出补救措施进行恢复 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 6 18 6 六 应急响应机制六 应急响应机制 6 16 1 基本处理流程基本处理流程 已解决 扩大应急 发现故障 启动应急预案 并通知领导 按事件流程处理 初步判定 故障恢复 联系技术支持处理 联系开发人员或 厂家工程师现场处理 一般事件 突发事件 总结 修订应急预案 已解决 未解决 突发 事件 应急 组 未解决 已解决 汇报进度 汇报进度 汇报 增援 记录 1 值班人员平时应做好应急事件的监控工作 对于突发事件应认真分析 准确判定故障发生的数据域 负责跟踪该事件直至其结束 对于不在运维中心 的故障 应在第一时间内通知负责人去现场处理 密切关注事件流程及进展情 况 并做好登记工作上报领导 2 正常情况下 要求值班人员在 10 分钟内进行事件确认 如果属于一般事 件则按照事件流程进行分派处理 否则应迅速启动 应急预案 并严格按照 应急预案 所规定的步骤快速实施应急处置 及时汇报上级领导 掌握实时 处理情况 3 在处理过程中 如需其他部门去现场增援处理 应及时向上级领导部门 汇报 协调沟通 尽快联系技术工程师或厂家技术支持赶赴现场援助处理 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 7 18 7 七 应急方案七 应急方案 7 17 1 互联网中断应急预案互联网中断应急预案 暂定为二级事件 1 密切关注 积极与其他机房值班人员取得联系 准确判断故障位置 数 据域 如故障区域属于运维中心范围之内 应立即启动应急预案上报相关领导 同时通知其他机房值班人员加紧监控力度 2 检查网络硬件设备运行状态 如发现指示灯有异常告警 及时与对端进 行确认 必要时联系市广电工程师检查物理链路 如情况属实 尽快督促广电 工程师去现场进行抢修 并上报相关领导 3 如发现故障属硬件原因所致 尽快启用备份设备或备用端口 争取将损 失减少至最低水平 及时汇报领导 协调更换或维修 4 登录核心交换机检查配置信息及其运行情况 如果发现配置信息有被篡 改的情况 尽快启用备份数据进行恢复 5 坚持由简到繁 由大到小的原则逐步缩小故障范围 最后定位故障点 如果发现网络内部存在严重病毒感染或网络攻击 果断断网 尽快通知相关责 任人查杀病毒 并告知技术支持寻求补救措施 7 27 2 运维中心运维中心 ITMITM 监控软件应急预案监控软件应急预案 暂定为二级事件 7 2 17 2 1 运维中心运维中心 ITMITM 监控软件部署情况监控软件部署情况 设备 ip应用名称位 置设备型号备注 10 15 36 21 省政府监控3 列 2 柜 Dell 2950 可通过 vnc 登录 10 15 36 22 省委 人大 政协监控3 列 2 柜 Dell 2950 可通过 vnc 登录 10 15 36 26 统一平台监控3 列 2 柜 Dell 2950 可通过 vnc 登录 10 15 36 27 配置备份3 列 2 柜 Dell 2950 可通过 vnc 登录 10 15 36 25 数据库3 列 2 柜曙光 620r可通过 vnc 登录 10 15 36 24 服务流程管理3 列 2 柜 Dell 2950 可通过 vnc 登录 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 8 18 8 7 2 27 2 2 数据库操作部分数据库操作部分 应用系统要运行 首先应保证数据库能正常工作 如有故障 可以利用 vnc 远程登录 然后在桌面打开一个命令行终端 输入如下命令 cd opt oracle product OraHome bin 进入工作目录 ps ef grep ora 查看服务进程 如果输出结果与下图类似 则说明 oracle 数据库正在运行 否则说明数据库 有异常 需要手动重启 kill 9 杀死相关进程 su oracle 切换用户 dbstart ORACLE HOME 启动数据库服务进程 7 2 37 2 3 ITMITM 操作部分操作部分 在确保数据库正常运行后 才能依次在每台监控服务器上启动 ITM 服务进 程 具体命令如下 cd var ITManager bin 进入工作目录 ps ef grep ITM 查看服务进程 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 9 18 9 如果有 ITMserver 进程 则说明 ITM 服务正在运行 否则 应手动重启 nohup ITMnurse 启动 ITM 服务进程 注意 在重新启动 ITMnurse 服务前 一定要将以前的相关进程全部杀死 否则它将去自动调用 ITM 服务 导致启动失败 整个启动过程较慢 大约需要 8 至 10 分钟 可以在监控区网管机上通过 vnc 远程进行操作 目前 各 ITM 应用的 syslo 信息也存放于本地物理磁盘 所以当应用启动 后 还应检查 syslog 运行情况 具体命令如下 ps ef grep syslog 查看服务 syslog 进程 cd var ITManager syslogcollector 进入工作目录 nohup syslogrun sh 启动 syslog 服务进程 ps ef grep syslog 核查服务 syslog 进程 kill 9 XXXX 杀死相关进程 dbshut 停掉数据库进程 Poweroff 关闭服务器 7 2 47 2 4 ITSMITSM 操作部分操作部分 ITSM 数据库和应用均部署在 15 36 24 服务器上 可以通过 vnc 或远程 桌面进行登录 进入到服务管理界面 查看 ITSMServer ITSMProxy itsmdb ITSMSms 及 Apache Tomcat cas 进程是否正 常启动 如异常则应手动进行重启 并作记录 具体情况如下图所示 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 10 18 10 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 11 18 11 7 37 3 运维中心托管应用应急预案运维中心托管应用应急预案 暂定为三级事件 1 检查网络连接 配置是否正常 2 利用 vnc 或远程桌面登录服务器 检查本地服务进程是否正常 如有问 题 手动重启相应服务 并做好记录 3 检查服务器是否感染病毒 查杀病毒 如发现系统正在遭受网络攻击或 被黑客控制 果断断网 并上报托管部门相应领导 以便尽早处理 4 积极联系托管单位来机房检查 确认 利用备份数据进行恢复 7 47 4 tsmtsm 异地备份应急预案异地备份应急预案 暂定为二级事件 1 一般的 tsm 故障均可以通过系统重启进行恢复 但重启之前必须先检查 最近 tsm 备份情况 系统重新之后应确保带库已正确被挂载 以便能正常备份 2 TSM 存储备份关机顺序 必须严格按照主机 虚拟带库 扩展柜进行 可 通过 KVM 登录 按 ctrl 键 进行选择 但需要注意 每台设备应间隔 3 5 分 钟再关机 3 TSM 存储备份开机顺序 必须严格按照扩展柜 虚拟带库 主机进行 每 台设备应相隔 3 分钟再开机 等主机顺利启动后 需要立即检查带库挂载情况 如有异常 应立即重启 4 如发现系统正在遭受网络攻击或被黑客控制 应果断断网 查杀病毒并 尽快上报领导 以便查明原因 5 系统恢复后 应及时检查最近备份数据 并及时通知相关负责人来机房 验证备份数据的完整性及其可恢复性 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 12 18 12 7 57 5 运维中心市电中断应急预案运维中心市电中断应急预案 暂定为二级事件 运维机房市电中断后 应立即电话联系大楼物业 物业值班室电话 88312910 转 25 82300966 询问停电原因并估计恢复时间 并上报主管部门 领导 如若停电时间超过 20 分钟必须做发电前准备工作 并启动应急预案 具体操作分两部分进行 7 5 17 5 1 运维机房操作流程运维机房操作流程 7 5 1 17 5 1 1 发电前准备工作发电前准备工作 1 关闭市电配电柜内热水器 主任办公室 运维一 运维二 运维三 机房空调 监控区空调 电视墙等大功耗用电设备开关 2 确认市电配电柜内钥匙开关是否已置于自动档 如不符 将钥匙开关 置于自动挡 3 电话联系发电人员 告知机房内发电准备工作已经就绪 等待发电机 送电 7 5 1 27 5 1 2 发电机正常供电后发电机正常供电后 1 电话联系发电机房人员 确认机房准备一切就绪 可以送电 2 等待发电机供电稳定后 将市电配电柜内钥匙开关置于手动档 3 检查配电柜面板电压表三相电压是否均在 400 伏特左右 4 检查配电柜面板三个电流表指示针是否均在 40 安培以下 5 检查 UPS 控制面板是否能正常供电 此时显示 旁路供电 确认输 入电源频率在 50 赫兹左右 注意 在发电机供电时 操作人员不得远离机房 并随时注意市电配电柜 及 UPS 主机表值的变化和告警 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 13 18 13 7 5 1 37 5 1 3 市电恢复后市电恢复后 1 市电恢复大约 5 10 分钟后 与物业电话联系确认市电供电已经稳定 2 电话联系发电人员 告知发电机可以停止供电 3 当发电机停止供电后 将市电配电柜内钥匙开关置于自动档 此时市电 已开始供电 4 检查配电柜面板电压表三相电压是否均在 400 伏特左右 5 检查配电柜面板三个电流表指示针是否均在 40 安培以下 6 检查 UPS 控制面板是否能正常供电 确认输入电源频率在 50 赫兹左右 7 确认设备工作正常后 将市电配电柜内钥匙开关置于手动档 8 检查各办公室设备情况并通知准备供电 保障各位办公室人员人身安全 及设备安全 9 依次复位市电配电柜内热水器 主任办公室 运维一 运维二 运维三 机房空调 监控区空调 电视墙等电器开关 注意事项 每个开关复位时应间隔 5 10 秒 以免引起浪涌现象损坏配电及 用电设备 7 5 27 5 2 柴油发电机房操作流程柴油发电机房操作流程 7 5 2 17 5 2 1 启动柴油发电机前的检查及准备工作启动柴油发电机前的检查及准备工作 1 检查机油 冷却液液面 是否在规定的范围内 2 检查柴油供油管是否已经放入油箱并尽可能插入油箱底部 3 检查供油系统是否正常 4 检查电瓶电缆连接是否牢靠 5 检查发电机配电箱的送电开关是否置于 分 状态 7 5 2 27 5 2 2 启动柴油发电机启动柴油发电机 1 插入启动钥匙将启动开关向右旋转置于打开位置 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 14 18 14 2 按下启动按钮 同时小幅度摆动 左右摆动 油门手柄 待发动机启动 后立即松开启动按钮 注意 每次启动时间不要超过 5 秒 启动间隔不要少于 10 秒 3 将油门手柄调置较小的位置 发动机匀速转动即可 保持发动机匀速运 转 5 10 分钟 待发动机转速正常后才可调整油门手柄 4 将油门手柄慢慢向右调整 并注意频率表 指针最高指向 50 赫兹 5 随着油门手柄的逐渐开启 频率表指针指向 50 赫兹时 稳住油门手柄并 将油门手柄固定手轮向右旋转固定牢靠 7 5 2 37 5 2 3 柴油发电机向运维机房供电柴油发电机向运维机房供电 1 联系机房值班当班人员 确认市电配电柜钥匙开关已经置于自动状态 2 询问机房工作人员是否可以拉闸送电 3 待机房工作人员确认可以送电时 将发电机控制箱的送电开关向上调至 合 状态 此时已将电送至机房 4 注意发电机配电箱的电流表 频率表的变化 随时调整油门手柄 使频 率表指针固定在 50 赫兹 刚刚加入负载时 频率值会变小 应及时调整油门 手柄提高频率至 50 赫兹 5 随时注意燃料液面 及时补充发电机所需燃料 如果在更换燃料时 发 电机熄火 应立即通知机房工作人员 7 5 2 47 5 2 4 正常发电期间正常发电期间 注意 在发电机运转时 操作人员不得远离发电机 并随时注意发电机表 值的变化 1 发电机控制箱部分 a 注意频率表数值的变化 应控制在 50 赫兹 b 注意电流表数值的变化 每块电流表不得超过 40 安培 c 注意电压表数值的变化 每项电压不得高于 430 伏特 d 用手触摸发电机机壳检查表面温度是否正常 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 15 18 15 2 柴油机控制箱部分 a 注意水温表的变化 表针应指在绿格部分 b 注意油温表的变化 表针应指在绿格部分 c 注意油压表的变化 表针应指在绿格部分 d 注意电流表的变化 表针应指向 方向 7 5 2 57 5 2 5 柴油发电机停机柴油发电机停机 1 联系机房工作人员 确认发电机断供准备工作是否就绪 2 待机房工作人员确认可以断电后 将发电机控制箱的送电开关向下调至 分 状态 并立即将油门手柄向左调整到较小状态 3 通知机房工作人员已将发电机供电开关断开 4 保持发动机低转速运转 3 5 分钟后 将熄火开关拉置熄火位置 向右拉 直至发动机完全停止转动 5 将启动开关旋转至中间档位 拔出钥匙即完成熄火 6 将柴油输油管从油箱中取出 并固定在较高位置 防止油管中的柴油外 漏 7 盖好油箱 并填写发电机操作 运转登记表 7 67 6 发电机故障应急预案 暂定为二级事件 发电机故障应急预案 暂定为二级事件 特殊情况下 市电中断后 启动发电机发电时 发电机有故障 不能正常 发电 值班人员应及时联系确认 尽快上报领导 寻找其他解决方案 必要时 关闭运维中心机房内非关键业务 以保证呼叫中心及 ITM 系统能正常使用 1 监控区的网管机内 外网各留一台 其余的均可以关闭 2 按照主机 虚拟带库 扩展柜顺序 关闭 TSM 备份服务器 H3C 存储参照 TSM 执行 3 在监控区通过网管机或 VNC 关闭省政府动力环境监控 省政府视频监控 省委动力环境监控 政协视频监控以及运维中心视频监控等 文件编号文件编号 WL SD 26 版版 次次 A 0 应急预案应急预案分分 页页 次次 16 18 16 4 4 列 5 柜内所有服务器均属测试组维护 负责人为相红利 除 11 235 需 要登录系统正常关机外 其他的均可以直接关机 a 192 168 7 235 用户名 密码 administrator zhaoyikui b 192 168 7 11 用户名 密码 administra