容灾技术概念

容容灾灾技技术术的的概概念念 第 1 页 目目 录录 第第一一章章 容容灾灾技技术术及及方方案案讨讨论论2 1 1 容灾技术的意义 2 1 2 容灾技术的分类 3 1 3 同步传输的数据复制 4 1 4 同步数据容灾的性能分析 9 1 5 异步数据复制方式 12 1 6 容灾技术性能总结和对照 17 第第二二章章 广广域域网网络络的的高高可可用用技技术术 软软件件容容灾灾方方式式 18 第 2 页 第第第第一一一一章章章章 容容容容灾灾灾灾技技技技术术术术及及及及方方方方案案案案讨讨讨讨论论论论 1 1 1 1 1 1 容容容灾灾灾技技技术术术的的的意意意义义义 当应用系统的一个完整环境因灾难性事件 如火灾 地震等 遭到破 坏时 为了迅速恢复应用系统的数据 环境 立即恢复应用系统的运行 保证系统的可用性 这就需要异地灾难备份系统 也称容灾系统 可以 说 对于关键事物的处理系统 如联通的各项业务系统 客户服务 计费 IDC 等 建立最高级别的安全体系 也是提高服务质量 在竞争中立于 不败之地的重要举措 长期以来 对企业而言 建立一套可行的容灾系统相当困难 主要是高 昂的成本和技术实现的复杂度 鉴于此 从可行性而言 必须具有良好的 性能价格比 建立异地容灾系统 即指建立远程的数据中心 通过配置远程容灾 系统将本地数据实时进行远程复制 同时实现本地系统故障时应用系统 的远程启动 确保系统的不中断运行 建立异地容灾中心的优势在于 1 强大的一级灾难抗御能力 2 有效防止物理设备损伤产生的灾难后果 3 提供 99 9999 的安全机制 4 实时数据复制提供强大的数据交换能力 第 3 页 随着数据安全技术的发展 Cluster HA 的技术越来越成熟 Cluster 的部署越来越普及 Cluster 技术确实解决了用户系统的高可 用性问题 为业务的良性发展提供了稳定的基石 随着业务的发展 商 业环境对服务供应商提出的要求也越来越苛刻 这必将使应用系统及其 数据对高可用性的要求走上一个新的台阶 一个本地 Cluster 系统理论上可以提供 99 99 以上的系统高可用性 但一旦发生火灾 自然灾害 人为破坏等意外事件 服务商将如何应对 呢 如果没有必要的准备和应对手段 这样的一次意外对服务上来说将 是灾难性的 对于 IT 部门来讲 要提高自己的抗灾能力 其必要的技术 就是建立起一个容灾系统 1 1 1 2 2 2 容容容灾灾灾技技技术术术的的的分分分类类类 一个容灾系统的实现可以采用不同的技术 一种技术是 采用硬件进 行远程数据复制 我们称为硬件复制技术 这种技术的提供者是一些存 储设备厂商 数据的复制完全通过专用线路实现物理存储设备之间的交 换 另一种技术是 采用软件系统实现远程的实时数据复制 并且实现 远程的全程高可用体系 远程监控和切换 这种技术的代表如 VERITAS 等一些著名存储软件厂商 我们在下面的章节会对以上两种技 术进行详细的论述 容灾系统的归类在另一个方面要由其最终达到的效果来决定 从其对 系统的保护程度来分 我们可以将容灾系统分为 数据容灾和应用容灾 所谓数据容灾 就是指建立一个异地的数据系统 该系统是本地关键 应用数据的一个实时复制 在本地数据及整个应用系统出现灾难时 系 统至少在异地保存有一份可用的关键业务的数据 该数据可以是与本地 生产数据的完全实时复制 也可以比本地数据略微落后 但一定是可用 的 所谓应用容灾 是在数据容灾的基础上 在异地建立一套完整的与本 第 4 页 地生产系统相当的备份应用系统 可以是互为备份 建立这样一个系 统相对比较复杂 不仅需要一份可用的数据复制 还要有包括网络 主 机 应用 甚至 IP 等资源 以及各资源之间的良好协调 应用容灾应该 说是真正意义上的容灾系统 我们先讨论一下数据容灾 数据容灾 硬件容灾方案和软件容灾方案均包括 又称为异地数据 复制技术 按照其实现的技术方式来说 主要可以分为同步传输方式和 异步传输方式 各厂商在技术用语上可能有所不同 而根据容灾的距离 数据容灾又可以分成远程数据容灾和近程数据容灾方式 下面 我们将 主要按同步传输方式和异步传输方式对数据容灾展开讨论 其中也会涉 及到远程容灾和近程容灾的概念 并作相应的分析 1 1 1 3 3 3 同同同步步步传传传输输输的的的数数数据据据复复复制制制 有关同步数据容灾 在传统意义上讲 就是通过容灾软件 可以含在 硬件系统内 将本地生产数据通过某种机制复制到异地 从广义上讲 同步数据容灾是指在异地建立起一套与本地数据实时同步的异地数据 第 5 页 从上图 我们可以看出 采用同步传输方式进行异地数据容灾的过程 包括 1 本地主机系统发出第一个 I O 请求 A 2 主机会对本地磁盘系统发出 I O 请求 3 本地磁盘系统完成 I O 操作 并通知本地主机 I O 完成 2 在往本地 I O 的同时 本地系统 主机或磁盘系统 会向异地系 统发出 I O 请求 A 3 异地系统完全 I O 操作 并通知本地系统 I O 完成 4 本地主机系统得到 I O 完成 的确认 然后 发出第二个 I O 请求 B 第 6 页 不同的异地数据复制技术的实现方式是不同的 包括 1 基于主机逻辑卷层的同步数据复制方式 软件复制方式 2 基于磁盘系统 I O 控制器的同步数据复制方式 硬件复制方式 一 基于主机逻辑卷的同步数据复制方式 基于主机逻辑卷的同步数据复制方式以 VERITAS Volume Replicator VVR 为代表 VVR 是集成于 VERITAS Volume Manager 逻辑卷管理 的远程数据复制软件 它可以运行于同步模式和 异步模式 在同步模式下 其实现原理如下图 第 7 页 当主机发起一个 I O 请求 A 之后 必然通过逻辑卷层 逻辑卷管理层 在向本地硬盘发出 I O 请求的同时 将同时通过 TCP IP 网络向异地系统 发出 I O 请求 其实现过程如下 1 本地主机系统发出第一个 I O 请求 A 2 主机逻辑卷层会对本地磁盘系统发出 I O 请求 3 本地磁盘系统完成 I O 操作 并通知本地逻辑卷 I O 完成 2 在往本地磁盘系统 I O 的同时 本地主机系统逻辑卷会向异地系 统发出 I O 请求 A 3 异地系统完成 I O 操作 并通知本地主机系统 I O 完成 4 本地主机系统得到 I O 完成 的确认 然后 发出第二个 I O 请求 B 二 基于磁盘系统的同步数据复制功能 基于磁盘系统的同步数据复制功能实现异地数据容灾 如 SRDF 和 PPRC 这两个软件运行的平台是磁盘系统 部署这样的系统必须要求在 两端采用相同种类的磁盘系统 其同步数据复制的实现原理如下图 第 8 页 当主机发出一个 I O 请求 A 之后 I O 进入磁盘控制器 该控制器在 接到 I O 请求后 一方面会写入本地磁盘 同时利用另一个控制器 或 称通道 通过专用通道 如 ESCON FC 光纤通道 IP over FC 或者租用线路 将数据从本地磁盘系统同步的复制到异地磁盘系统 其 实现过程如下 1 本地主机系统发出第一个 I O 请求 A 2 主机对本地磁盘系统发出 I O 请求 2 在往本地磁盘系统 I O 的同时 本地磁盘系统会向异地磁盘系统 发出 I O 请求 A 3 本地磁盘系统完成 I O 操作 3 异地系统完成 I O 操作 并通知本地磁盘系统 I O 完成 4 本地次盘系统向主机确认 I O 完成 然后 主机系统发出第 二个 I O 请求 B 第 9 页 1 1 1 4 4 4 同同同步步步数数数据据据容容容灾灾灾的的的性性性能能能分分分析析析 利用同步传输方式建立异地数据容灾 可以保证在本地系统出现灾难 时 异地存在一份与本地数据完全一致的数据备份 具有完整的一致性 但利用同步传输方式建立这样一个系统 必须考虑 性能 这个因素 采用同步数据传输方式时 从前面的描述来看 本地系统必须等到数 据成功的写到异地系统 才能进行下一个 I O 操作 一个 I O 通过远程 链路写到异地系统 涉及到 3 个技术参数 带宽 距离和中间设备及协 议转换的时延 1 带宽 本地 I O 的带宽是 100MB 秒 SAN 网络中 在 I O 流量很大的情 况下 如果与远程的 I O 带宽相对 100MB 秒 800Mbit 秒 窄得多的 话 如 E1 2Mbit 秒 E3 45Mbit 秒 将会明显拖慢生产系统的 I O 从而影响系统性能 2 距离 光和电波在线路上传输的速度是 30 万公里 秒 当距离很长时 这种 线路上的延时将会变得很明显 例如 一个异地容灾系统的距离是 1000KM 其数据库写盘的数据块大小是 10KB 一次 I O 的数据量 那 么 本地 I O 时 100 米距离内 光电在线路上的延时 0 1km 300 000km 2 次 一个来回 0 67 10 6 秒 1 秒钟内允许 I O 次 1 0 67 10 6 1 5 10 6 次 1 秒钟允许的 I O 量 10KB 1 5 10 6 15GB 此数字远远超过光纤通道带宽本身 也就是说 光电在 100 米距离的 第 10 页 线路上的延时对性能的影响可以忽略不计 异地 I O 的 1000 公里 光电在线路上的延时 1000km 300 000km 2 次 1 150 秒 1 秒钟内允许 I O 次 1 1 150 150 次 1 秒钟允许的 I O 量 10KB 150 1 5MB 此数据表明 在 1000 公里距离上 允许的最大 I O 量在不存在带宽 限制时 已经远远低于本地 I O 的能力 注 上面分析还未考虑中间 设备及协议转换的延时 3 中间链路设备和协议转换的时延 中间链路设备和协议转换的方式的不同 时延不同 对性能的影响也 不同 在对性能影响的分析中 这个因数也应计算在内 目前不同异地 数据复制技术所依赖的介质和协议不同 我们将介质 协议和大概时延 例表如下 这里提供的数据只精确到数量级 仅供参考 实际数据应该 向设备供应商索取 链链路路设设备备和和协协议议带带宽宽支支持持的的距距离离设设备备和和协协议议转转换换时时延延 租用线路任意不受限制约 1ms ESCON136Mbit66 公里 100us LAN1000Mbit10 公里 100us ATM655Mbit不受限制 100us IP over FC800Mbit60 公里 100us FC800Mbit60 公里 1ms 1ms 8ms 7ms 2 6ms1 7ms 不适合用同步传输方式 备注不适合用同步传输 在 10 公里距离上 采用各种传输协议允许的最大 I O 能力 数据块 第 12 页 大小以 10KB 为例 假定带宽足够 1 10 0 公公里里 租用线路ATM LAN ESCON IP over FC FC 线路时延 次60us60us60us60us 设备协议时延 1ms 100us 100us 10us I O 次数 秒485 930900 5800900 5800900 12500 I O MB 秒4 8 9 39 589 589 125 备注适合用同步传输 1 1 1 5 5 5 异异异步步步数数数据据据复复复制制制方方方式式式 从前面的分析来看 同步数据容灾一般只能在较短距离内部署 10KM 100KM 大于这个距离 就没有实际应用价值了 因为即使在 1000KM 距离上 4 5MB 的速率即使将数据复制到异地 每个 I O 的响应 时间也会超过 10ms 这种响应速度太慢 异步数据容灾是在 线路带宽和距离能保证完成数据复制过程 同时 异地数据复制不影响生产系统的性能 这样的要求下提出来的 考虑异 步数据容灾 应该注意到以下几个技术条件和事实 1 带宽必须能保证将本地生产数据基本上完全复制到异地容灾端 还要考虑距离对传输能力的影响 按照前面的估算 在 1000 公里范围内 一条带宽足够的线 路能支持的 I O 流量最大为 数据块大小 10KM 1 4MB 3600 秒 24 小时 120GB 天 2 异地容灾远端数据会比本地生产端数据落后一定时间 这个时间随 采用的技术 带宽 距离 数据流特点的不同而不同 一般而言 第 13 页 软件方式的数据复制技术具有完整的数据包的排队和断点重发机 制 在灾难情况下可以保证灾难时间点的数据一致性 3 异步容灾基本不影响本地系统性能 与同步传输方式相比 异步传输方式对带宽和距离的要求低很多 它 只要求在某个时间段内能将数据全部复制到异地即可 同时异步传输方 式也不会明显影响应用系统的性能 其缺点是在本地生产数据发生灾难 时 异地系统上的数据可能会短暂损失 如果广域网速率较低 交易未 完整发送的话 但不影响一致性 类似本地数据库主机的异常关机 通过异步传输模式进行异地数据复制的技术 包括 1 基于主机逻辑卷的数据复制方式 2 基于磁盘系统 I O 控制器的数据复制方式 基于主机逻辑卷 Volume 的数据复制方式 首先申明 针对这种方式 这以 VERITAS VVR 为例 但并不表示所 有基于主机进行复制的其它软件采用同样方式 也不保证其它软件是有 应用价值的 VERITAS VVR Volume Replicator 通过基于 Volume 和 Log 的 复制技术 保证在任何时刻本地系统发生自然灾难时 在异地的数据仍 是可用的 VERITAS VVR 在异步模式下采用了 Log 技术来跟踪未及时复制的数据 块 这个 Log 是一个先到先服务的堆栈 每一笔 I O 处理都会首先被放 进这个 Log 并按到达先后顺序被复制到异地服务器系统 下图是其工作的结构原理 第 14 页 从上图 我们可以看到整个 I O 和复制的过程如下 1 本地主机系统发出第一个 I O 请求 A 到逻辑卷 2 逻辑卷对本地磁盘系统发出 I O 请求 2 在往本地磁盘系统 I O 的同时 逻辑卷向本地磁盘系统上的 VVR Log 发出相同的写请求 3 本地磁盘系统完成 I O 操作 并通知逻辑卷 I O 完成 3 VVR 完成针对这个 I O 的远程操作 并通知逻辑卷 4 逻辑卷向主机确认 I O 完成 服务器的另一个进程 VVR 的进程 负责将 Log 队列中的 I O 复制到 异地服务器 这个过程和上面的 I O 过程在时间上无关 如上图中的标 记 I 和 II I 本地 VVR 进程从 Log 队列中取出最先到达的 I O 复制到异地服 务器 II 异地服务器接收到本地服务器 VVR 发出的 I O 请求 将相应 数据写到异地磁盘系统 然后 通知本地系统 VVR 进程 要求下一个 第 15 页 I O 这里 跟踪未及时复制的数据块的 Log 技术是保证异地数据可用的必 要条件 一个数据库的 I O 是有严格顺序的 这个顺序是保证数据库完 整性的必要条件 一个完整性被破坏的数据库一般是不可用的 比如根 本无法启动 打开该数据库 且是无法修复的 本地数据库的完整性是 由数据库本身来维护的 当一个数据库被实时复制到异地时 要保证异 地数据库的完整性 必然保证在异地磁盘 I O 上的 I O 顺序和本地 I O 顺序完全相同 否则 异地数据库的完整性就无法保证 VERITAS VVR 采用的 I O 控制机制是支持先到先服务的 Log 技术 因此 不管异地数据比本地数据落后多少时间 都能保证异地数据库数 据的一致性 比如 本地系统在 12 00 时发生自然灾难 由于部分数据 未被及时复制到异地 如有 10 分钟的数据未完成复制 那么在异地系统 上存在 11 50 分钟以前的所有数据 且这个数据库是可用的 目前的基于磁盘系统的异地数据复制技术采用 Bitmap 技术和 Timestamp 技术 这两种技术都不能保证本地向异地复制数据的顺序严 格和本地 I O 的顺序相同 所以 这两种方式都不能保证异地数据库的 完整性 Bitmap 位图 技术记录未被及时复制的数据块的方法是 对于每个 数据块 如 32KB 用一个 Bit 来对应 某一个 Bit 被置为 1 时 表 示其对应的数据块已被修改过 正在等待处理 这里是等待被复制 由此可以看出 当有一块以上的数据块未被及时复制时 系统并无法确 认哪一块数据块应该先复制到异地 所以 系统将任选一块 即不按到 达的时间先后进行复制 可以看出 这种方式不能根本保证异地数据库 数据的完整性 一致性 Timestamp 方式是对每个未及时传送的数据块盖上一个时间戳 从表 第 16 页 面上看 由于时间戳的关系 好像能确定一个数据块被修改的时间顺序 了 其实不然 当一个未被及时复制的数据块被第 2 次修改 并盖上新 的时间戳时 数据复制的顺序就被破坏了 例如 现在有 10 块数据块未被复制 编号 1 2 3 4 5 6 7 8 9 10 这时 第 3 块数据被再次修改 并被盖上一个新的时间戳 11 这时 系统会按这样的次序进行复制 1 2 没有 3 4 5 6 7 8 9 10 11 我们可以看到 在复制进行到 4 10 之间时 异地数据的完整性被破坏 事实上 在一个运行繁忙的系统中 出现这种情况机率极高 甚至每 时每刻都处在这种状态之下 所以 本着严格的 对系统可用性负责任 的态度 我们认为 Timestamp 的技术虽然比 Bitmap 技术有一定优势 但实际上也无法保证异地数据的完整性和可用性 1 Bitmap 和 Timestamp 方式的技术弱点 没有 log 作为磁盘系统内置的数据复制功能 传统的磁盘管理模式没有考虑在 磁盘系统内部开辟出一个磁盘块给磁盘系统控制器本身使用 所以 磁 盘系统无法采用 log 模式进行异步数据复制 2 磁盘系统保留异步传输模式的目的 复制 但不是容灾复制 数据复制的目的不仅仅是容灾 数据容灾要求两地时时保持连接 数 据复制过程在任一时间都在进行 除非有线路或设备故障 而非容灾 性复制只要求在某一个时间段里将数据复制到异地 复制告一段落后 在某一时刻完全同步 复制工作会暂停 这种复制可能是为一个特 殊目的只做一次 如在线业务迁移 也可能每天或每月追加一次 这样 在异地就会存在一份最大损失数据量为 1 天或 1 个月的生产数据复制品 其对数据的保障能力 如同磁盘备份 这种方式复制数据的目的包括 1 在异地保存一份备份数据 如同磁带备份异地保存 2 在线业务 迁移 当信息中心或其中的一个服务要迁移到另一个地方 又希望少停 机 实际上也可用磁带备份和恢复来实现 3 利用与磁盘快照技术结 第 17 页 合 为异地开发中心提供一个与生产数据尽量相同的测试数据源 当然 也可用于其它可能的目的 综上所述 我们可以看出 虽然基于磁盘系统的异地数据复制功能有 异步传输模式 但实际上并不支持异步数据容灾 只有像 VERITAS Volume Replicator 这样基于先进先出的 Log 技术的解决方案才真正支 持异步数据容灾 1 1 1 6 6 6 容容容灾灾灾技技技术术术性性性能能能总总总结结结和和和对对对照照照 以下我们对于各种容灾技术的工作方式进行总结 S So of ft tw wa ar re e 同同步步 S So of ft tw wa ar re e 异异步步 基基于于阵阵列列的的 同同步步数数据据容容灾灾 理想距离 100km 40Mbit相对较小 40Mbit 对应用系统性能 的影响 很大很小很大 是否需要专用磁 盘系统 不需