系统维护和机房运维方案

运运 维维 服服 务务 方方 案案 2016 年年 5 月月 18 日日 第 1 页 目目 录录 1服务内容服务内容 3 1 1 服务目标 3 1 2 信息资产统计服务 3 1 3 网络 安全系统运维服务 4 1 4 主机系统运维服务 6 1 5 存储系统运维服务 10 1 6 数据安全存储及灾备运维服务 11 1 6 1 传统的灾备方式 11 1 6 2 容灾方案的关键指标 13 1 6 3 常见的备份策略 14 1 6 4 容灾的核心问题 15 1 6 5 容灾的实现方式 16 1 6 6 异地容灾技术 18 1 6 7 灾难恢复级别 20 1 7 容灾建设方式 21 1 7 1 企业信息系统保护层次 21 1 7 2 容灾技术模型 23 1 7 3 业务平台的保护 业务处理能力的冗余 23 1 7 4 数据平台的保护 业务状态数据的复制 24 1 7 5 接入平台冗余和贴换 24 1 7 6 容灾模式 24 1 7 6 1 容灾层次 25 1 7 6 2 容灾范围 25 1 7 6 3 同级容灾或降级容灾 26 1 7 6 4 容灾技术概述 27 1 7 6 5 基于存储的数据复制技术建设容灾系统 28 1 7 6 6 小结 31 2运维服务流程运维服务流程 32 3服务管理制度规范服务管理制度规范 34 3 1 服务时间 34 3 2 行为规范 34 3 3 现场服务支持规范 35 3 4 问题记录规范 35 4应急服务响应措施应急服务响应措施 37 4 1 应急基本流程 37 4 2 预防措施 37 4 3 突发事件应急策略 38 第 2 页 1 服务内容服务内容 1 1 服务目标服务目标 可为提供的运行维护服务包括 信息系统相关的主机设备 操作系统 存 储设备容灾的运行维护服务 保证用户现有的信息系统的正常运行 降低整体 管理成本 提高网络信息系统的整体服务水平 同时根据日常维护的数据和记 录 提供用户信息系统的整体建设规划和建议 更好的为用户的信息化发展提 供有力的保障 用户信息系统的组成主要可分为两类 硬件设备和软件系统 硬件设备包 括网络设备 安全设备 主机设备 存储设备等 软件设备可分为操作系统软 件 典型应用软件 如 数据库软件 中间件软件等 业务应用软件等 通过运行维护服务的有效管理来提升用户信息系统的服务效率 协调各业 务应用系统的内部运作 改善网络信息系统部门与业务部门的沟通 提高服务 质量 结合用户现有的环境 组织结构 IT 资源和管理流程的特点 从流程 人员和技术三方面来规划用户的网络信息系统的结构 将用户的运行目标 业 务需求与 IT 服务的相协调一致 提供的信息系统服务的目标是 对用户现有的信息系统基础资源进行监控 和管理 及时掌握网络信息系统资源现状和配置信息 反映信息系统资源的可 用性情况和健康状况 创建一个可知可控的 IT 环境 从而保证用户信息系统的 各类业务应用系统的可靠 高效 持续 安全运行 服务项目范围覆盖的信息系统资源以下方面的关键状态及参数指标 运行状态 故障情况 配置信息 可用性情况及健康状况性能指标 1 2 信息资产统计服务信息资产统计服务 此项服务为基本服务 包含在运行维护服务中 帮助我们对用户现有的信 息资产情况进行了解 更好的提供系统的运行维护服务 第 3 页 机房服务内容包括 机房电源 温度 湿度信息统计记录 硬件设备型号 数量 版本等信息统计记录 软件产品型号 版本和补丁等信息统计记录 存储产品型号 版本和性能等信息统计记录 网络结构 网络路由 网络 IP 地址统计记录 综合布线系统结构图的绘制 其它附属设备的统计记录 1 2 11 2 1机房电源 温度 湿度要求机房电源 温度 湿度要求 频率输入电压相位电流开关备注 50Hz220V单相 2 线 地线 20A单相交流电 参数运行状态非运行状态 温度 10 40 10 50 相对湿度 8 808 90 温度变化 10 10 硬件设备清单如下表统计 1 3 网络 安全系统运维服务网络 安全系统运维服务 从网络的连通性 网络的性能 网络的监控管理三个方面实现对网络系统 的运维管理 网络 安全系统基本服务内容 序号序号服务模块服务模块内容描述内容描述提供方提供方 1现场备件安装 配合用户进行 按备件到达现场 时间工程师到达现场 xxx 公司 2现场软件升级 首先分析软件升级的必要性和风 险 配合用户进行软件升级 xxx 公司 第 4 页 3现场故障诊断 按服务级别 7 24 小时 5 8 小时 xxx 公司 4电话远程技术支持7 24 小时xxx 公司 5问题管理系统对遇到的问题进行汇总和发布xxx 公司 机房网络核心交换机信息机房网络核心交换机信息 系统管理单位 维保单位 设备名 设备型号 管理 IP 检查内容检查内容参考标准参考标准检查结果检查结果检查结论检查结论巡视方法描述巡视方法描述巡检周期巡检周期 电源运行状态 正常 异常 风扇运行状态 正常 异常 硬件 运行 状态 模块运行状态 正常 异常 VLAN 状态 正常 异常 配置 状态 正常 异常 系统 运行 状态 检查 OSPF 状态 正常 异常 日志 检查 日志 状态 正常 异常 正常 异常 正常 异常 其他 检查 内容 正常 异常 1 用户现场技术人员值守用户现场技术人员值守 可根据用户的需求提供长期的用户现场技术人员值守服务 保证网络的实 时连通和可用 保障接入交换机 汇聚交换机和核心交换机的正常运转 现场 值守的技术人员每天记录网络交换机的端口是否可以正常使用 网络的转发和 路由是否正常进行 交换机的性能检测 进行整体网络性能评估 针对网络的 利用率进行优化并提出网络扩容和优化的建议 现场值守人员还进行安全设备的日常运行状态的监控 对各种安全设备的 日志检查 对重点事件进行记录 对安全事件的产生原因进行判断和解决 及 时发现问题 防患于未然 同时能够对设备的运行数据进行记录 形成报表进行统计分析 便于进行 网络系统的分析和故障的提前预知 具体记录的数据包括 配置数据 性能数据 第 5 页 故障数据 2 现场巡检服务现场巡检服务 现场巡检服务是对客户的设备及网络进行全面检查的服务项目 通过该服 务可使客户获得设备运行的第一手资料 最大可能地发现存在的隐患 保障设 备稳定运行 同时 将有针对性地提出预警及解决建议 使客户能够提早预防 最大限度降低运营风险 巡检包括的内容如下 编号编号内容内容 硬件运行状态检查项目硬件运行状态检查项目 单板状态检查电源模块状态检查风扇状态检查 整机指示灯状态检查机框防尘网检查机房温度 湿度检查 1 设备地线检查 软件运行情况检查项目软件运行情况检查项目 设备运行情况检查网络报文分析设备对接运行状况检查2 路由运行情况检查 网络整体运行情况调查网络整体运行情况调查 3 网络运行问题调查网络变更情况调查网络历史故障调查 3 网络运行分析与管理服务网络运行分析与管理服务 网络运行分析与管理服务是指工程师通过对网络运行状况 网络问题进行 周期性检查 分析后 为客户提出指导性建议的一种综合性高级服务 其内容 包括 服务内容服务内容服务优点服务优点 向客户提供网络专家电话号码 保证重大问题第一连线至网络专家 网络专家组每周与客户进行不少于 2 小时 的电话技术交流 以最小成本保证及时解答客户关心的技术问 题 并就某一领域技术问题展开深层次沟通 每月向客户提交 CASE 汇总分析报告 并 可扩展到每年 17 次 月度 季度 年度 使客户了解网络历史故障情况以及故障预防 建议 最大程度减少网络故障隐患 更高效 的进行网络管理 第 6 页 4 重要时刻专人值守服务重要时刻专人值守服务 深刻知道保证重要时刻设备稳定运行对客户成功尤为关键 因此 可对客 户提供重要时刻的专人现场值守支持 包括政府客户的重大会议期间 金融客 户的年终结算日 运营商客户的生产网重大割接或其它任何客户认为可能对其 业务运营产生重大影响的时刻 如需专人值守 客户需至少提前 3 周与授权服务商客户服务经理联系 对 每位合约客户 授权服务商均需按事先合同约定提供专人值守服务 客户如需 超出合同约定范围的更多值守支持 需额外支付相应人力和差旅费用 1 4 主机系统运维服务主机系统运维服务 现在造成 IT 架构不可用的原因有很多 主要包括非计划性宕机和计划性宕 机两大类 其中 非计划性宕机主要是由计算机故障或数据故障引起的 计划性 宕机主要是由于生产系统的数据改变或系统改变引起的 1 1 非计划性宕机 非计划性宕机 非计划性宕机主要包括主机宕机 数据故障宕机 存储故障 人为错误 数据损坏 站点故障等 主机故障宕机 当主机系统或数据库服务器出现意外故障并导致服务中断时 主机系统就 会发生故障 数据故障宕机 数据故障是指丢失 损坏或破坏关键企业数据 数据故障的原因比计算机 故障更加错综复杂 可能由于存储硬件 人为错误 损坏或站点故障引起 存储故障 单一存储配置 目前都是采用磁盘 RAID 技术加热备磁盘来解决 因此存 储系统的故障主要是由机房电力故障或人为因素导致存储设备的电源发生故障 人为错误 人为错误包括 误删除重要数据或升级语句中不正确的 WHERE 子句更 新了比预定更多的行 数据损坏 第 7 页 数据损坏通常由 I O 堆栈中的故障组件导致 例如 数据库将 I O 作为 更新交易的结果 该数据库 I O 将在各个组件中进行传输 包括 操作系统的 I O 代码 文件系统 卷管理器 设备驱动程序 主机总线适配器 存储控制 器和磁盘驱动器 直至最后被写入 I O 堆栈中任何组件发生错误或硬件故障 都可能 变换 数据中的一些位 进而导致损坏的数据被写入数据库中 这一 损坏可能是数据库控制信息或用户数据 它们对于数据库的正常工作至关重要 同样 磁盘故障也可能损坏数据 站点故障 数据保护特性提供了预防灾难性事件的能力 这些事件可能在某一段时间 内严重减缓站点的处理能力 这些事件包括文件损坏 自然灾害 电力或通信 中断 甚至恐怖活动 2 2 计划性宕机 计划性宕机 计划性宕机是 IT 系统在运行阶段所不可避免的 但 IT 系统停机运维会影 响到数据库停止对外提供服务 会对业务运营造成一定影响 特别是对 7 24 365 的业务系统 计费系统 在线交易系统等 计划内停机包括例行操作 定期维护和部署新设备等 例行操作指频繁进 行的维护任务 包括备份 性能管理 用户管理和批处理 定期维护 如安装补 丁和重新配置系统 只是偶尔进行 以更新数据库 应用程序 操作系统 中 间件或网络 部署新设备包括硬件 操作系统 据库 应用程序 中间件或网络 的重大升级 申请计划停机时不仅要考虑计划的停机时间 同时还要考虑因停机造成的 对整个业务系统的影响 数据更改导致的停机 对于数据的更改例如增加数据空间 改变数据库的对象 添加及删除数据 库对象 对数据库的参数进行调整等操作 都有可能导致计划性停机 系统更改而导致的停机 由于系统更改导致的停机主要表现在两方面 一是主机系统的更改 例如 更新设备 添加硬件 调整参数造成主机系统重启 二是数据库系统的更改 例 如数据库补丁升级 调整一些重要参数需要重新启动数据库的运维操作 提供的主机系统的运维服务包括 主机的日常监控 设备的运行状态监控 第 8 页 故障处理 操作系统维护 补丁升级等内容 主机系统基本服务内容 序号序号服务模块服务模块内容描述内容描述提供方提供方 1现场备件安装 配合用户进行 按备件到达现场时间工 程师到达现场 设备厂商 xxx 公司 2补丁服务 消除软件漏洞给系统带来的安全隐患 并对安装补丁所引起的系统连锁反应进 行合理的平衡 xxx 公司 3升级服务 对系统进行软件或硬件的升级 以改进 完善现有系统或消除现有系统的漏洞 xxx 公司 4现场故障诊断 按服务级别 7 24 小时 5 8 小时 xxx 公司 5电话远程技术支持7 24 小时xxx 公司 6问题管理系统对遇到的问题进行汇总和发布xxx 公司 7系统优化 对客户系统的括主机 存储设备 操作 系统 提供优化服务 现场值守人员可进行监控管理的内容包括 CPU 性能管理 内存使用情况管理 硬盘利用情况管理 系统进程管理 主机性能管理 实时监控主机电源 风扇的使用情况及主机机箱内部温度 监控主机硬盘运行状态 监控主机网卡 阵列卡等硬件状态 监控主机 HA 运行状况 主机系统文件系统管理 监控备份服务进程 备份情况 起止时间 是否成功 出错告警 第 9 页 服务器部分服务器部分 系统管理单位 XX 供电公司 设备名 设备型号设备序列号 管理 IP 检查内容检查内容参考标准参考标准检查结果检查结果状态是否正常状态是否正常巡检方法描述巡检方法描述巡检周期巡检周期 电源指示灯 正常 异常 面板指示灯 正常 异常 内置磁带机 正常 异常 CPU 状态 正常 异常 内存状态 正常 异常 磁盘状态 正常 异常 网卡状态 正常 异常 硬件 运行 状态 HBA 卡运行状态 正常 异常 系统日志 正常 异常 Mail 正常 异常 文件系统 包括磁 盘卷剩余空间 正常 异常 硬件检测 正常 异常 交换分区 正常 异常 固件版本 正常 异常 补丁包版本 正常 异常 系统镜像 正常 异常 设备灯状态 正常 异常 系统故障报告 正常 异常 系统 检查 进程状态 正常 异常 CPU 利用率 正常 异常 内存利用率 正常 异常 系统 性能 检查 磁盘 I O 性能 正常 异常 集群进程状态 正常 异常 集群 检查 集群日志 正常 异常 1 5 网络存储系统运维服务网络存储系统运维服务 提供的机房存储环境 SAN NAS 运行维护服务是包括存储的 IOPS 和 Space 利用管理 存储的主动 IOPS 性能和 Space 利用管理对系统运维非常重要 可了解用 CIFS iscsi FC FCoE NFS 协议运行状况 通过性能管理可了解存 储的日常运行状态 识别存储的 IOPS 性能 有针对性地进行性能优化 同时 密切注意存储系统的变化 主动地预防可能发生的问题 第 10 页 存储 主机规划 主机名 HostName 分区 Space 应用 Application OS 版本HA 版 本 HBA 型 号 IOPS 64K 512K 存储故障 单一存储配置 目前都是采用磁盘 RAID 技术加热备磁盘来解决 因此 存储系统的故障主要是由机房电力故障或人为因素导致存储设备的电源发生故 障 数据损坏通常由 I O 堆栈中的故障组件导致 例如 数据库将 I O 作为 更新交易的结果 该数据库 I O 将在各个组件中进行传输 包括 操作系统的 I O 代码 文件系统 卷管理器 设备驱动程序 主机总线适配器 存储控制 器和磁盘驱动器 直至最后被写入 I O 堆栈中任何组件发生错误或硬件故障 都可能 变换 数据中的一些位 进而导致损坏的数据被写入数据库中 这一 损坏可能是数据库控制信息或用户数据 它们对于数据库的正常工作至关重要 同样 磁盘故障也可能损坏数据 为了减少单一站点的故障 是数据业务连续性 实现数据的异地备份 并 在发生意外灾难时对数据进行快速恢复 确保客户的业务持续性 提供的存储运行维护服务还包括快速发现 诊断和解决性能问题 在出现 问题时 及时找出性能瓶颈 解决存储性能问题 维护高效的应用系统 存储 运行维护服务 主要工作是使用技术手段来达到管理的目标 以系统最终的运 行维护为目标 提高用户的工作效率 1 6数据安全存储及灾备数据安全存储及灾备运维服务运维服务 1 6 1 传统的灾备方式传统的灾备方式 说到灾难恢复 自然会想到备份 企业关键数据丢失会中断企业正常商务 运行 造成巨大经济损失 容灾和备份都是保护数据的有效手段 同时 数据 容灾与数据备份相互联系 主要体现在以下几个方面 第 11 页 数据备份是数据容灾的基础 数据备份是系统 数据容灾的基础 也是低端容灾的实现 是高端容灾 实时数据保护 的有力保障 目前备份技术主要有快照备份 离线备份 异 地存储备份 备份系统通过备份策略 对计算机信息系统的操作系统 文件系 统 应用程序 数据库系统等数据集 实现某一时间点的完整拷贝 拷贝的数 据处在非在线状态 不能被立刻访问 必须通过相应操作 如恢复等方式使用备 份数据 这也解决了高端容灾 实时数据保护 不能解决的问题 人为误操作 恶意性操作等 这类操作 计算机系统是不能区分的 一旦执行 将造成数据 中心 灾备中心同时修改 对于数据库系统 在日志方式下 可以通过回滚方 式修改 对于文件系统 操作系统等其他配置信息是不能回滚的 将造成毁灭 性的结果 因此在建设高端容灾系统的前提 一定要做好本地系统的备份 这 是容灾技术的起点 数据备份是数据高可用的最后一道防线 其目的是为了系统数据崩溃时能 够快速的恢复数据 虽然它也算一种容灾方案 但这种容灾能力非常有限 因 为传统的备份主要是采用数据内置或外置的磁盘机进行冷备份 备份磁盘同时 也在机房中统一管理 一旦整个机房出现了灾难 如火灾 盗窃和地震等灾难 时 这些备份磁盘也随之销毁 所存储的磁盘备份也起不到任何容灾功能 双机热备的备份方式 面对灾难各大容灾厂商首先所提出的容灾解决方案就是双机热备技术 双 机热备技术是基于应用切换的原理即整个容灾系统由两套业务系统和共享一个 存储阵列所构成 一但主服务器出现异常或故障 备份服务器立刻接管主服务 器的应用 也就是目前通常所说的 active standby 方式 主要通过纯软件切换 的方式实现双机容错 因为两台服务器共享一个磁盘阵列上的数据 所以当磁 盘损坏的时候就造成两台服务器都不可用 这样就达不到容灾的效果 而且通 过纯软件来切换的话存在误切换的情况 就是当主服务器还是正常的时候就把 业务系统的连接切换到备用服务器上 这就会造成业务系统的暂时停顿等问题 双机双存储 双机双存储即在双机热备的基础上增加一套存储 实现应用层的切换和底 层数据的不间断复制 其工作原理与双机热备类似 数据库若要能够正常启动 第 12 页 必会先检测其数据文件 日志文件 控制文件等一系列文件的完整性 才可以 正常启动 对于双机双存储的存储层复制来说是文件层复制 他们无法做到检 测数据的一致性 一旦双机双存储发生的是逻辑错误时 无论是主服务器还是 备用服务器都将无法启动 容灾不是简单备份 真正的数据容灾就是要避免传统冷备份的先天不足 它能在灾难发生时 全面 及时地恢复整个系统 容灾按其容灾能力的高低可分为多个层次 例如 国际标准 SHARE78 定义的容灾系统有七个层次 从最简单的仅在本地进行磁 盘备份 到将备份的磁盘存储在异地 再到建立应用系统实时切换的异地备份 系统 恢复时间 也可以从几天到小时级到分钟级 秒级或 0 数据丢失等 1 6 2 灾备方案的关键指标灾备方案的关键指标 RTO Recovery Time Object RTO 即恢复时间目标 是指 将信息系统从灾难造成的故障或瘫痪状态恢 复到可正常运行状态 并将其支持的业务功能从灾难造成的不正常状态恢复到 可接受状态 所需时间 其中包括备份数据恢复到可用状态所需时间 数据处 理系统切换时间 以及备用网络切换时间等 该指标用以衡量容灾方案的业务 恢复能力 第 13 页 RPO Recovery Point Time RPO 即数据恢复点目标 是指业务系统所允许的灾难过程中的最大数据丢 失量 以时间来度量 这是一个与数据备份系统所选用的技术有密切关系的指 标 用以衡量灾难恢复方案的数据冗余备份能力 容灾半径 容灾半径是指生产中心和灾备中心之间的直线距离 用以衡量容灾方案所 能防御的灾难影响范围 显然 具有零 RTO 零 RPO 和大容灾半径的灾难恢 复方案是用户最期望的 但受系统性能要求 适用技术及成本等方面的约束 这种方案实际上是不大可行的 所以 用户在选择容灾方案时应该综合考虑灾 难的发生概率 灾难对数据的破坏力 数据所支撑业务的重要性 适用的技术 措施及自身所能承受的成本等多种因素 理性地作出选择 1 6 3 常见的备份策略常见的备份策略 备份策略 描述 Full Backup 完全备份 是每次对系统进行完全的备份 当数据发生数据丢失灾难 时 完全备份所需要的时间最长和消耗的磁带最多 但恢 复时间最短和操作最方便 Incremental Backup 增量备份 是备份上一次全备份或者增量备份系统发生改变的数据 这种备份策略的优点时节省了磁带空间 缩短了备份时间 其缺点在于当灾难发生时 数据的恢复比较麻烦而且可靠 性比较差 其中任何一盘磁带出现问题都会影响之后的磁 第 14 页 带恢复 Differential Backup 差量备份 是备份上一次全备份后到系统发生改变过的文件 其优点 是无需要每天对系统做完全备份 备份所需要时间短并且 节省了磁带空间 它的灾难恢复也很方便 系统管理员只 需要全备份和增量备份的介质就可以进行系统的恢复 Synthetic Backup 合成备份 是当备份窗口较短时进行 在进行合成备份的时候 会从 完全备份 增量备份和差量备份中读取信息 然后创建一 个新的完全备份 这种完全备份可以离线进行且网络还是 在继续使用 不会降低系统性能或者妨碍网络中的用户 差异增量备份 Differential Incremental Backup 此备份主要在于 每次备份的内容是从上次 0 级或 1 级备份以来发生改变的内容 累积增量备份 Cumulative Incremental Backup 此备份主要在于每次 备份的是从上次 0 级备份以来发生改变的内容 第 15 页 1 6 4 容灾的核心问题容灾的核心问题 容灾适应性 指的是容灾系统在实施和使用的过程中对原有的生产系统 硬件系统 网 络系统的影响 有的容灾系统可能需要冻结原有的生产系统的情况下进行数据 的复制 有点容灾系统可能要对硬件 网络环境进行改造 改造成系统所要求 的条件 这些对改造对原有的系统和数据都存在一定的风险性 容灾可见性 指的是容灾系统的容灾效果是不是可见 可查询的 有的容灾系统的容灾 效果要等灾难发生之后 备用系统恢复之后才能验证是不是真做到了数据零丢 失的效果 如果数据复制失败不能马上反应出来同样达不到容灾的效果 所以 容灾系统的核心问题 能否构建一个绿色容灾系统 在实施和使用过程中不会 影响原生产系统 无需改造硬件和网络环境 其容灾结果的好与坏又实时可见 可验证 1 6 5 容灾的实现方式容灾的实现方式 通常 应用服务器通过 SAN 访问存储资源 针对 SAN 共享存储模型进行 了进一步的细化 把 SAN 存储分为 应用层 文件 记录层 块管理 第 16 页 物理存储设备 如下图所示 SNA 共享存储模型 因此 可以从文件 记录层 块管理层来实现容灾 根据容灾的发起端来进 行划分 容灾可分为 数据库级容灾 基于数据库的容灾技术传输的是 SQL 指令或者重作 日志文件 如 Oracle 数据库自带的 Data Guard 技术 卷管理级容灾 基于主机卷管理软件的容灾技术可以选择同步或者异 步复制方式 存储目标数据的逻辑卷不能被业务系统所使用 属于冷容灾方式 如 VERITAS VVR 远程数据复制软件 网络级容灾 网络级容灾主要是指基于虚拟存储技术的容灾 例如 IBM 的 PPRC EMC 的 Mirrorview HDS 的 Truecopy 复制技术 存储设备级容灾 通过存储控制器实现的设备级数据远程镜像或复制 是传统容灾方式中最高效最可靠的方式 基于磁盘系统的同步数据复制功能可 实现异地数据的容灾 第 17 页 虚拟化存储产品实现远程复制 1 6 6 异地容灾技术异地容灾技术 远程镜像技术 远程镜像技术是在主数据中心和备援中心之间的数据备份时用到 远程镜 像又叫远程复制 是容灾备份的核心技术 同时也是保持远程数据同步和实现 灾难恢复的基础 远程镜像按请求镜像的主机是否需要远程镜像站点的确认信 息 又可分为同步远程镜像和异步远程镜像 同步远程镜像 同步复制技术 是指通过远程镜像软件 将本地数据以完全 同步的方式复制到异地 每一本地的 I O 事务均需等待远程复制的完成确认信 息 方予以释放 同步镜像使远程拷贝总能与本地机要求复制的内容相匹配 当主站点出现故障时 用户的应用程序切换到备份的替代站点后 被镜像的远 程副本可以保证业务继续执行而没有数据的丢失 但它存在往返传播造成延时 较长的缺点 只限于在相对较近的距离上应用 异步远程镜像 异步复制技术 保证在更新远程存储视图前完成向本地存储 系统的基本 I O 操作 而由本地存储系统提供给请求镜像主机的 I O 操作完成 确认信息 远程的数据复制是以后台同步的方式进行的 这使本地系统性能受 到的影响很小 传输距离长 可达 1000 公里以上 对网络带宽要求小 但是 第 18 页 许多远程的从属存储子系统的写没有得到确认 当某种因素造成数据传输失败 可能出现数据一致性问题 为了解决这个问题 目前大多采用延迟复制的技术 即在确保本地数据完好无损后进行远程数据更新 快照技术 远程镜像技术往往同快照技术结合起来实现远程备份 即通过镜像把数据 备份到远程存储系统中 再用快照技术把远程存储系统中的信息备份到远程的 磁带库 光盘库中 快照是通过软件对要备份的磁盘子系统的数据快速扫描 建立一个要备份 数据的快照逻辑单元号 LUN 和快照 cache 在快速扫描时 把备份过程中即将 要修改的数据块同时快速拷贝到快照 cache 中 快照 LUN 是一组指针 它指向 快照 cache 和磁盘子系统中不变的数据块 在备份过程中 在正常业务进行的同 时 利用快照 LUN 实现对原数据的一个完全的备份 它可使用户在正常业务不 受影响的情况下 实时提取当前在线业务数据 其 备份窗口 接近于零 可 大大增加系统业务的连续性 为实现系统真正的 7 24 运转提供了保证 快照是通过内存作为缓冲区 快照 cache 由快照软件提供系统磁盘存储的 即时数据映像 它存在缓冲区调度的问题 互连技术 早期的主数据中心和备援数据中心之间的数据备份 主要是基于 SAN 的远 程复制 镜像 即通过光纤通道 FC 把两个 SAN 连接起来 进行远程镜像 复 制 当灾难发生时 由备援数据中心替代主数据中心保证系统工作的连续性 这种远程容灾备份方式存在一些缺陷 如 实现成本高 设备的互操作性差 跨越的地理距离短 10 公里 等 这些因素阻碍了它的进一步推广和应用 目前 出现了多种基于 IP 的 SAN 的远程数据容灾备份技术 它们是利用 基于 IP 的 SAN 的互连协议 将主数据中心 SAN 中的信息通过现有的 TCP IP 网络 远程复制到备援中心 SAN 中 当备援中心存储的数据量过大时 可利用 快照技术将其备份到磁带库或光盘库中 这种基于 IP 的 SAN 的远程容灾备份 可以跨越 LAN MAN 和 WAN 成本低 可扩展性好 具有广阔的发展前景 基于 IP 的互连协议包括 FCIP iFCP Infiniband iSCSI 等 虚拟存储 在有些容灾方案产品中 还采取了虚拟存储技术 如西瑞异地容灾方案 第 19 页 虚拟化存储技术在系统弹性和可扩展性上开创了新的局面 它将几个 IDE 或 SCSI 驱动器等不同的存储设备串联为一个存储池 存储集群的整个存储容量可 以分为多个逻辑卷 并作为虚拟分区进行管理 存储由此成为一种功能而非物 理属性 而这正是基于服务器的存储结构存在的主要限制 虚拟存储系统还提供了动态改变逻辑卷大小的功能 事实上 存储卷的容 量可以在线随意增加或减少 可以通过在系统中增加或减少物理磁盘的数量来 改变集群中逻辑卷的大小 这一功能允许卷的容量随用户的即时要求动态改变 另外 存储卷能够很容易的改变容量 移动和替换 安装系统时 只需为每个 逻辑卷分配最小的容量 并在磁盘上留出剩余的空间 随着业务的发展 可以 用剩余空间根据需要扩展逻辑卷 你也可以将数据在线从旧驱动器转移到新的 驱动器上 而不中断服务的运行 存储虚拟化的一个关键优势是它允许异质系统和应用程序共享存储设备 而不管它们位于何处 公司将不再需要在每个分部的服务器上都连接一台磁带 设备 1 6 71 6 7 灾难恢复级别灾难恢复级别 国家 信息系统灾难恢复规范 中根据数据备份系统 备用数据处理系统 备用网络系统 备用基础设施 技术支持 运行维护支持 灾难恢复预案这七 个要素的不同要求 把灾难恢复分为 6 个级别 第 20 页 1 7 容灾建设方法容灾建设方法 容灾建设项目和业务连续性项目与用户的业务要求 应用现状密切相关 并涉及众多技术和产品以及繁多的供应商 因而属于建设复杂 风险较高的项 目之一 为降低项目风险 保证容灾中心建设的成功 选择有经验的合作伙伴 并且有成熟实用的方法论指导对信息中心容灾建设非常重要 规划 Plan 科学的规划是项目成功的前提 规划阶段需要对企 业的 IT 系统现状进行评估分析 根据企业的业务发展的要求明确进行需求定义 从而在确定的需求基础上选择合适的技术 进行技术架构设计 选择合适的技 术方案并采购相应的产品 建设 Build 本阶段主要是进行技术平台建设 包括整合 数据 迁移等 测试 建设完整的 灾难恢复计划 DRP 或 业务连续性计划 BCP 在科学 合理的规划前提下 建设阶段将相对比较有序 管理 Manage 对容灾建设项目或业务连续性项目而言 建设了容 灾技术平台及相关的人员 流程要求仅仅是开始 而不是结束 必须定期更新 维护确保能够满足不断变化的业务发展要求 贯穿 规划 建设 管理 三个阶段的是 项目管理和服务集成能力 容 灾或业务连续性建设涉及的技术和产品非常广泛 针对不同的业务应用也可能 采用不同的技术方案 这些方案来自不同的厂商 由于业务的相互关联 不同 的技术方案之间也存在密切的联系 甚至相互依赖 同时 在容灾建设过程中 将有多方供应商提供服务支持 能够协调多方关系 对项目实施进度及质量进 行统一控制 对多方服务进行集成调度是 项目管理和服务集成 的重要工作 也是保证项目按时完成并保证质量的重要因素 1 7 1 企业信息系统保护层次企业信息系统保护层次 现代企业的数据中心 IT 平台 包括主机平台 网络平台 存储平台等 的 保护和恢复有不同等级的技术手段 未来企业的业务连续性建设将需要不断提 高企业的信息 数据的保护和恢复的等级 第 21 页 不同层次的数据中心保护 如上图所示 对企业集中化数据中心的 IT 系统和业务数据进行保护可以有 多种不同层次的保护方案 主要分为本地保护和远程保护两个方面 企业数据中心面向运营的保护及恢复包括三个层次 平台保护 主要是平台的高可用 如采用主机群集系统和高可用 存储平台 包括 SAN 网络环境的高可用和存储系统的高可用 保证 IT 平 台没有单点故障 实现业务和应用的高可用性 数据备份 对业务数据进行经常性的本地备份 在 IT 系统出现物 理故障或逻辑故障时 数据备份都能提供可靠的数据保护 数据恢复 在出现数据错误或丢失时能够进行快速 可预见的数 据恢复 减少 IT 系统的中断时间 降低对业务运营的影响 建设了完善的本地保护和恢复后 企业需要规划建设面向灾难保护 及恢复的 远程 数据及业务保护 它包括三个层次 远程的信息保护 是将企业的所有重要数据安全的存储在远程站 点 提供保护 避免灾难性的事件破坏数据 远程自动处理 除了提供对生产数据的远程保护外 能够自动进 行系统切换 回切及数据恢复等工作 从而在灾难事件发生时能够快速恢 复业务运行 多数据中心保护 通过建设多个数据中心 采用多数据中心的数 据保护 恢复技术 防范更大范围的灾难事件 第 22 页 1 7 2 容灾技术模型容灾技术模型 容灾技术平台建设是企业业务连续性建设的重要基础 XXX 公司将企业的 IT 平台划分为 接入平台 应用平台 数据平台 三部分 建议企业的容灾技 术平台建设应该主要着眼于对业务处理平台 数据平台和接入平台这三个重要 的系统领域的保护 容灾技术模型示意图 1 7 3 业务平台的保护业务平台的保护 业务处理能力的冗余业务处理能力的冗余 容灾技术方案建设中 对于企业的业务平台的保护 主要表现为对业务处理 能力的冗余和复用 其中牵涉 支持应用系统运行的服务器和操作系统等系统软件 支持应用系统运行的存储器及存储器和服务器的连接 存储网络等 连接服务器的 IP 网络系统 支持应用系统实现的中间件或数据库等 客户将需要在容灾中心应该配置与需要保护的生产中心相同厂家 相同版 本 相同配置的应用服务器 中间件和数据库 要确保主数据中心和容灾中心 的软件运行环境相同 实现业务逻辑的应用软件系统 第 23 页 咨询服务部门将可以为客户对上述各方面进行调查评估 分析客户的当前生产 中心业务平台当前的现状和特定技术要求 并提出建设容灾方案的具体要求 1 7 4 数据平台的保护数据平台的保护 业务状态数据的复制业务状态数据的复制 在容灾系统中 对数据平台的保护主要表现为对业务状态数据的保护 备 份和恢复以及复制 需要保护的业务状态数据包括 业务交易状态 数据本身的数据属性为文件 数据库等 系统状态 包括应用软件的初始数据 参数设置 以及系统软件的配置 数据 参数设置等 中间数据 或临时数据 在容灾系统建设中 数据平台的保护是实现企业灾难恢复的核心 保证数 据的安全永远是第一位的 只有支撑企业业务运营的数据能够及时 完整地复 制到容灾中心 才可以在灾难发生时 在容灾中心恢复受灾难影响的业务应用 对不同企业 XXX 公司将根据需求分析的结果 对企业的不同重要级别的应用 或业务单元采取不同的数据复制方法 对不同类型的应用 根据其访问特点等 也将采取不同的数据复制方法 1 7 5 接入平台冗余和切换接入平台冗余和切换 接入平台在容灾备份系统里 需要实现对外部接口的冗余及切换 其中牵 涉 应用数据接口的切换 包括文件传输 消息机制等 应用连接接口的切换 HTTP 连接 数据库连接 远过程调用 对象的 调用等 网络连接的冗余和切换 包括城域网网络连接 拨号连接等等 企业的 接入平台冗余和切换 的关键在于实现在容灾中心应该配置相同 访问能力的网络设备 并在网络配置上确保能快速 方便地将网络访问从主生 产中心切换到备份生产中心 第 24 页 1 7 6 容灾模式容灾模式 将根据项目启动前期的 现状评估 业务需求分析 等结果 可以从容灾层 次 容灾范围 运营方式 容灾规模等多角度进行综合分析 得出适用于用户 容灾要求的容灾模式和运营方式 1 7 6 1 容灾层次容灾层次 根据业务恢复时间的长短可以将容灾建设划分为不同的层次 只做数据的灾难保护 仅能保证数据的完整性 此类业务在容灾中心 只需要配置存储平台 实现数据的远程复制和存储即可 这种方式可以降低 投资 但业务恢复时间很长 一般在 3 天以上 数据的灾难保护是仅将生产 中心的数据完整地复制到容灾中心的容灾方式 数据的灾难保护是异地容灾 的最低级形式 也是最基本的方式 是实现更高级容灾方式的基础 在灾难发生时 仅有数据的灾难保护无法保证业务的连续性 仅可以 保证数据是可用的 若技术策略选择得当 可以保证业务数据的完整性 采用这种模式有以下特性 业务恢复速度较慢 通常情况下 RTO 72 小时 业务恢复难度大 需要新增设备 实现技术难度比较低 运行维护成本较低 投资比较节省 除数据的灾难保护外 实现应用的高可用 确保业务可以快速恢复 容灾系统的应用不改变原有的业务处理逻辑 是对生产中心系统的基本 复制 这种方式有以下特性 业务恢复速度较快 通常情况下 RTO 小于 24 小时 也可以达 到几小时级别 业务恢复过程相对简单 实现技术难度比较高 运行维护成本较高 如 增加软件版本管理 软件部署 维护人 员等 投资比较高 第 25 页 1 7 6 2 容灾范围容灾范围 根据业务影响分析结果 容灾备份存储平台项目的业务将划分为关键业务 和非关键业务两大类 未来可以根据需要选择要做容灾保护的业务种类 可以 先建设关键业务容灾 未来实现全业务容灾 关键业务容灾 业务需求定义中通过业务影响分析定义关键业务的 容灾 全业务容灾 1 7 6 3 同级容灾或降级容灾同级容灾或降级容灾 根据容灾中心配置的处理能力不同 可以分为同级容灾和降级容灾 若未 来的在容灾中心为需要进行容灾保护的业务系统都配置与生产中心相同处理能 力和高可用能力的业务处理平台 主要是指主机性能 高可用群集等 则为同 级容灾设计 如果未来的在容灾中心为需要进行容灾保护的业务系统配置比生 产中心的处理能力低或高可用能力降低 比如没有做群集等 则为降级容灾设 计 采用同级或降级容灾方式取决于业务需求和投资预算 降级容灾可以减少 投资 在主机方面的投资 第 26 页 1 7 6 41 7 6 4 容灾技术概述容灾技术概述 不同企业的不同业务需求和应用特点将可能需要有不同的容灾技术要求 可以采用多种容灾技术来建容灾系统 XXX 专业咨询服务部将更许客户的实际 需求提供不同的技术方案 对所有客户的容灾技术平台建设而言 容灾方案的 技术核心是数据的保护 实现远程数据复制 并能够在灾难发生时在远端利用 复制数据提供企业业务运营支撑服务 因此数据复制技术是构建容灾技术平台 的核心 不同数据复制技术的分类如下 如上图所示 对容灾项目而言 比较可行的是采用连续数据复制技术 根据不同容灾方案所采用数据远程复制技术位于企业 IT 架构不同层面又 可以分为以下三类容灾方案 基于存储层面的容灾方案 利用存储系统的远程数据复制功能建设容灾 系统 它包括 同类存储平台之间的数据复制 异构存储平台之间利用虚拟存储技术实现数据复制 基于主机层面的容灾方案 利用主机厂家提供的相关功能软件或第三方 的主机软件实现远程的数据复制 建设容灾系统 第 27 页 1 7 6 51 7 6 5 基于存储的数据复制技术建设容灾系统基于存储的数据复制技术建设容灾系统 采用基于存储的容灾方案的技术核心是利用存储阵列自身的盘阵对盘阵的 数据块复制技术实现对生产数据的远程拷贝 从而实现生产数据的灾难保护 在主数据中心发生灾难时 可以利用灾备中心的数据在灾备中心建立运营支撑 环境 为业务继续运营提供 IT 支持 同时 也可以利用灾备中心的数据恢复 主数据中心的业务系统 从而能够让企业的业务运营快速回复到灾难发生前的 正常运营状态 基于存储的容灾方案示意图如下 基于存储数据复制技术的容灾方案示意图 采用基于存储的数据复制技术建设容灾系统是目前金融 电信企业 政府 采用较多的容灾方案 有非常多的应用案例 是容灾建设可选择的技术方案之 一 基于存储的复制可以是如上示意图的 一对一 复制方式 也可以是 一对 多或多对一 的复制方式 即一个存储的数据复制到多个远程存储或多个存储的 数据复制到同一远程存储 而且复制可以是双向的 基于存储的容灾方案有两种方式 同步方式和异步方式 说明如下 同步方式 可以做到主 备中心磁盘阵列同步地进行数据更新 应用系统的 I O 写入主磁盘阵列后 写入 Cache 中 主磁盘阵列将利用自身的机制同时 第 28 页 将写 I O 写入后备磁盘阵列 后备磁盘阵列确认后 主中心磁盘阵列才返回应 用的写操作完成信息 异步方式 是在应用系统的 I O 写入主磁盘阵列后 写入 Cache 中 主 磁盘阵列立即返回给主机应用系统 写完成 信息 主机应用可以继续进行读 写 I O 操作 同时 主中心磁盘阵列将利用自身的机制将写 I O 写入后备磁盘 阵列 实现数据保护 采用同步方式 使得后备磁盘阵列中的数据总是与生产系统数据同步 因 此当生产数据中心发生灾难事件时 不会造成数据丢失 为避免对生产系统性 能的影响 同步方式通常在近距离范围内 FC 连接通常是 200KM 范围内 实 际用户部署多在 35KM 左右 而采用异步方式应用程序不必等待远程更新的完成 因此远程数据备份的 性能的影响通常较小 并且备份磁盘的距离和生产磁盘间的距离理论上没有限 制 可以通过 IP 连接来实现数据的异步复制 采用基于存储数据复制技术建设容灾方案的必要前提是 采用基于存储数据复制技术建设容灾方案的必要前提是 通常必须采用同一厂家的存储平台 通常也必须是同一系列的存储产 品 给用户的存储平台选择带来一定的限制 采用同步方式可能对生产系统性能产生影响 而且对通信链路要求较 高 有距离限制 通常在近距离范围内实现 同城容灾或园区容灾方案 采用异步方式与其他种类的异步容灾方案一样 存在数据丢失的风险 通常在远距离通信链路带宽有限的情况下实施 尽管有以上限制 基于存储的容灾技术方案仍然是当前最优先选择的容灾 技术平台 尤其是基于 XXX 公司的存储系统建设容灾方案有非常广泛的应用 这主要是由于基于存储的容灾技术方案有如下优点 如下优点 采用基于存储的数据复制独立于主机平台和应用 对各种应用都适用 而且完全不消耗主机的处理资源 基于存储得数据复制技术 由于在最底层 实施起来受应用 主机环 境等相关技术的影响最小 非常适合于这样主机和业务系统很多 很复杂 的环境 采用此种方式可以有效降低实施和管理难度 采用同步方式可以完全不丢失数据 在同城容灾或园区内容灾方案中 只要通信链路带宽许可 完全可以采用同步方案 而不会对主数据中心的 第 29 页 生产系统性能产生显著影响 采用 XXX 基于存储的同步复制方式的容灾案 例有很多 有非常多的成功经验 而目前同城容灾环境中已经具备上述条 件 可以很方便部署同步方式复制 采用异步方式虽然存在一定的数据丢失的风险 但没有距离限制 可以实现远距离保护 异地数据中心 则采用与北京两个中心的异步复制 方式进行数据保护 灾备中心的数据可以得到有效利用 对于基于应用 基于主机 基于存储的三种容灾方案而言 灾备中心 的数据通常不可用 仅为生产系统中的数据提供灾难保护和灾难恢复 但 对采用基于存储技术的容灾方案中 有很灵活的技术手段可以充分利用灾 备中心的数据 从而提高企业的业务运营效率 带来更多的投资回报 如 下图所示 基于存储的容灾方案有效利用灾备数据 如上图所示 生产中心的 源数据 R1 通过存储本身的数据复制机制被复 制到了灾备中心 即 目标数据 R2 目标数据 R2 在正常生产情况下是不可 访问的 灾备中心的后备主机只能在灾难发生时 主中心服务停止后 才可以 访问 目标数据 接管主中心的服务 基于主机和应用的容灾方案的灾备中心 数据与此类似 但采用基于存储的容灾方案时 我们可以为 目标数据 建立 一个 BCV 卷或快照 克隆 从而可以给到另外的服务器使用 利用这种机制 用户可以在容灾中心做很多工作 第 30 页 用户开发测试人员可以利用 R2 BCV 或 R2 快照得到真实的数据进行新 应用开发 测试工作 从而保证新应用的质量 加快新产品上市时间 这种方 式在采用基于主机方案和基于应用方案都很难实现 或在获得一份真实数据进 行开发测试时需要很长的时间 消耗大量的资源 用户的其它应用也可以利用 R2 BCV 或 R2 快照满足其它业务的需要 如数据仓库应用通常需要从生产系统抽取数据 一旦进行大规模数据抽取 生 产系统几乎处于停顿状态 这时可以利用 R2 BCV 卷进行数据抽取 从而避免 数据抽取给生产系统带来的巨大性能冲击 企业的决策分析系统的数据来源也 都