GoldenGate容灾解决方案

精品文档 1欢迎下载 GoldenGateGoldenGate 容灾解决方案容灾解决方案 黄行威黄行威 甲骨文 中国 软件系统有限公司甲骨文 中国 软件系统有限公司 精品文档 2欢迎下载 目录 第一章 方案概述 3 1 1 概览 3 1 2 GoldenGate TDM 的好处 3 1 2 1 实时性 3 1 2 2 持续可用性 3 1 2 3 异构支持 3 1 2 4 高性能 低影响 3 1 2 5 事务一致性 4 1 3 GoldenGate 技术介绍 4 第二章 方案实现技术细节 11 精品文档 3欢迎下载 第一章 方案概述 1 1 1 1 概览概览 为了应对这样的现状 我们推荐 Oracle 公司的 GoldenGate 软件 该软件 提供了事务数据管理 TDM 平台 用于持续性的在电子客票系统和灾备系统之 间传递大量事务数据 并确保投递速度快 事务完整 系统整体开销影响小 采用 GoldenGate 的数据复制技术 实现数据实时备份 确保核心数据的安 全 同时避免引入过多种类的软硬件产品 降低了运营维护的复杂度和投入 有利于灾备系统的恢复和切换 1 2 1 2 GoldenGate TDM 的好处 1 2 1 实时性实时性 随着一个新事务在数据源端产生 数据马上被捕获 转换 如果有必要 并且在极短时间内被传送给目标端系统 1 2 2 持续可用性持续可用性 GoldenGate 工作不需要专门的时间窗口或者系统中断 它的架构可以保证 即使遇到计划或非计划断电也不会影响可用性 1 2 3 异构支持异构支持 只要源和目标端都是主流数据库 主流平台 即使在在异构环境下 也可 以使用 TDM 进行系统间数据复制 这就确保了 IT 部门的灵活性 1 2 4 高性能 低影响高性能 低影响 GoldenGate 能够支持每秒数千的事务交易 同时对源系统和目标系统仅仅 有极小的性能影响 精品文档 4欢迎下载 1 2 5 事务一致性事务一致性 尽管事务是在源和目的两个不同的系统之间传递的 GoldenGate 依然可以 确保其参照完整性和事务一致性 1 3 1 3 GoldenGateGoldenGate 技术介绍介绍 关于 GOLDENGATE GoldenGate 是高可用和实时数据整合的最优方案 GoldenGate 协助关键 系统保持 24 7 小时运作 满足最终用户连续可用的要求 GoldenGate 帮助组 织在企业范围内快速分发关键数据 以便及时和准确的决策 简而言之 GoldenGate 解决方案就是实时获取实时信息 GoldenGate 解决方案由 GoldenGate Transactional Data Management TDM 支撑 提供异构系统间事务数据实时捕获 路由 转换和投递 同时系统 消耗最低 全球逾 400 家客户信赖 GoldenGate 解决方案 包括 Visa Bank of America US Bank UBS Sabre Holdings DIRECTV Comcast MGM Mirage Chase Paymentech AMD Mayo Foundation Retail Decisions 和 O 等 GoldenGate 拓展全球市场 和领先技术提供商建立战略合作关系 他们包 括 ACI Worldwide Amdocs Business Objects Cerner Eclipsys Fujitsu GE Healthcare HP IBM Ingres Microsoft Teradata 高可用和容灾解决方案 GoldenGate 高可用和容灾解决方案消除计划外和计划内停机时间 同时提 高性能和可伸缩性 满足数据和使用量激增需求 GoldenGate 实时备用 显著加快关键业务系统的恢复 GoldenGate 零停机时间操作 系统升级 移植和维护操作时不中断业务 精品文档 5欢迎下载 运作 GoldenGate 活动 活动 通过均衡负载实现两个或更多数据库性能和扩展 性的提升 数据库分层 使公司确保他们的生产系统的最高性能 同时还容易支持必 要只读操作 实时数据整合解决方案 GoldenGate 实时数据整合解决方案提供为数据仓库 商店经营数据 报表 系统 或其他 OLTP 数据库提供实时变化数据 无须批处理窗口 并且性能影响最小 GoldenGate 实时数据仓库在 OLTP 系统和数据仓库之间连续 实时地捕 获 转换和投递最近变化的数据 这也可以和现有 ETL 系统整合 GoldenGate 实时报表 以廉价次等系统分担生产数据库的报表负载 实 时报表总能获取最新数据 GoldenGate 事务数据完整性 在OLTP系统之间实时保证点对点数据完整性 并且系统影响最小 GoldenGate 可以在异构的 IT 基础结构之间实现大量数据的秒一级的数据 捕捉 转换和投递 GoldenGate 可以支持几乎所有常用操作系统如和数据库平 台 如下表所示 操作系统操作系统数据库数据库 MS NT 2000 XP Linux Sun Solaris HP UX IBM AIX HP NonStop TRU64 IBM z OS OS 390 Oracle DB2 MS SQL Server MySQL Enscribe SQL MP SQL MX Sybase Teradata 其他 ODBC 兼容数据库 GoldenGate 软件提供了一个单一的平台 这个平台可以为任何企业环境实 现秒一级的灾难备份 GoldenGate 是一种基于软件的数据复制方式 它从数据 库的日志中解析数据的变化 数据量只有日志的四分之一左右 GoldenGate 将数据转化为自己的格式 直接通过 TCP IP 网络传输 无需依赖于数据库自身 的传递方式如 Oracle Net 而且可以通过高达 9 1 的压缩比率对数据进行压缩 精品文档 6欢迎下载 大大降低带宽需求 在目标端 GoldenGate 可以通过交易重组 分批加载等技 术手段大大加快数据投递的速度和效率 降低目标系统的资源占用 可以在秒 一级实现大量数据的复制 1 3 1 1 复制模式复制模式 单向数据复制单向数据复制 GoldenGate 的数据复制原理是 利用捕捉进程 Extract Process 在源系 统端读取 Online Redo Log 或 Archive Log 确定需要进行的复制 增 删 改 操作 并通过队列 Extract 队列 将相关信息传送到目标系统 目标系 统端的投递进程 Deliver 进程 接受相关内容 通过 Replicate 进程创建实现 数据复制或同步的 SQL 语句 并在目标系统中予以执行 双向数据复制双向数据复制 双向数据复制是基于单向数据复制原理之上 两端互为源 目的数据复制对 象 两端生产系统同时保持 Active 状态 为了避免出现刚被复制进对端目的数据库数据马上又被捕捉进程复制回源 端 陷入死循环的状态 GoldenGate 采用了相应的判别机制来保证对捕捉数据 的识别 当应用程序和 GoldenGate 复制进程同时更新同一个表时 捕捉进程使 用了一个跟踪表机制 在配置双向数据复制时 需要通过命令行向两边的数据 库中加入跟踪表 当捕捉进程读到一个交易中有针对跟踪表的更新 捕捉进程 就知道这个交易是由复制进程产生的并且把这笔交易忽略掉 如果没有针对跟 踪表的更新 捕捉进程就知道这个交易是由应用程序产生的并且把这笔交易读 取出来 通过以上处理机制后 就可以很好的解决双向数据复制中所担心的重复捕 捉变化数据的操作出现 显然 上述过程的实现 与基于文件复制原理的数据 精品文档 7欢迎下载 同步完全不同 无论从网络资源占用 执行效率和对系统性能影响等方面考虑 都比其它方案有较大的优势 GoldenGate 提供了灵活的应用方案 基于其先进 灵活的技术架构可以根 据用户需求组成各种拓扑结构 如图所示 GoldenGateGoldenGate 各种拓扑结构示意图各种拓扑结构示意图 1 1 广播复制 由一个数据库向多个数据库复制 利用 GoldenGate 的数据 过滤功能可以实现数据的有选择分发 2 2 集中复制 由多个数据库向一个数据库复制 可以将分布的 跨平台 或异构的多个数据库集中到一个数据库 此种模式广泛应用于 n 1 模 精品文档 8欢迎下载 式的容灾 通过将多个系统数据库集中到一起 可以充分利用备份中 心的设施 大幅减少投资 另外也用于跨平台多系统的数据集成 为 这些提供系统提供一个统一视图便于查询和统计数据 3 3 多层复制 由 A 数据库向 B 复制 同时又由 B 向 C 复制 可以在以上 几种模式基础上无限制扩展 由此可见 GoldenGate 的复制模式非常灵活 用户可以根据自己的需求选 择特定的复制方式 并根据系统扩展对复制进行扩展 1 3 1 2 关键特性关键特性 GoldenGate 是一种基于数据库日志的数据复制产品 可以利用极少的系统 开支 实时复制数据库 改善数据可用性 GoldenGate 可以在数据移植 在线 维护等场合应用 以减少或消除数据库的停机时间 同时 它还可用于数据容 灾 负载均衡 数据集中 数据分布等应用中 GoldenGate 可确保在这些工作 进行时 源系统的正常事务处理得以继续进行 功能上不受影响 作为一种软件方案 GoldenGate 可以采用非常灵活的方式加以配置 包括 双向复制和多层次的数据复制 特别是其在双向数据复制领域的技术先进性 可以满足用户在本地或广域网络环境中的各种复杂需求 GoldenGate 的 TDM 软件的几个关键特性 1 1 本机数据改变捕捉本机数据改变捕捉 作为一个基于日志的同步解决方案 将对源系统和 网络的影响减少到最低 2 2 灵活性灵活性 源和目的系统不需要有一样的操作系统 数据库及模板 例如 表 索引 等 GoldenGate 能在同一个系统的多个数据库实例之间实 现数据复制 或把数据复制到局域网内的其它数据库实例 或把数据 复制到广域网上的远端数据库实例 3 3 无需宕机时间的移植无需宕机时间的移植 GoldenGate 能在不同版本的数据库和操作系统之 间同步数据 数据库 操作系统或应用系统的更新可以在辅助系统里 进行 一旦更新后的辅助系统通过了完整的测试 所有的处理工作就 可以切换到辅助系统 然后更新主系统 一旦主系统的更新完成了 主与辅助系统之间能够再一次同步而无宕机时间 4 4 不依赖于硬件和数据库不依赖于硬件和数据库 GoldenGate 不依赖于操作系统 数据库和硬件 精品文档 9欢迎下载 数据可以在不同的环境之间移动 因而消除了客户对任何拓扑结构的 依赖性 5 5 RPORPO 与与 RTORTO 的目标的目标 GoldenGate 提供了立即恢复备份的装备 这是因为 源和备份系统可以配置或构架设计为双向 端到端 的功能 6 6 双向复制双向复制 GoldenGate 提供了两个或两个以上生产系统之间的数据复制 功能 这些系统无须具有一样的属性或相同的操作系统 数据库或数 据库版本 7 7 数据一致性数据一致性 备份数据库支持读一致性的查询活动 交易的一致性在任 何时候都受到保护 8 8 灵活的拓扑结构灵活的拓扑结构 在数据库和表一级实现了多种相关数据的分部方式 例如 支持一对多 多对一 多对多以及分层的配置 9 9 映射与转换功能映射与转换功能 列转换能够适应特别的备份需要 包括查看和执行存 储过程 10 10 数据选择数据选择 选择性的复制数据而不是全部 例如表 行和列 支持支持 OracleRACOracleRAC 对于对于 OracleOracle 的一个特别需求就是实时支持的一个特别需求就是实时支持 RACRAC 数据复制 数据复制 与其它现有方案不同之处就是能够从交易日志中捕捉和投递数据 与其它现有方案不同之处就是能够从交易日志中捕捉和投递数据 1 3 1 3 应用方式应用方式 GoldenGate 是一种基于 log 的复制解决方案 支持不同的配置方式 以 满足用户的各种数据复制和同步化要求 其用途和应用方式包括 1 1 建立报表系统 建立报表系统 GoldenGate 可以将源系统的数据实时复制到目标系统 从而建立一个可以 被访问的即席查询和报表系统 目标系统可以是源系统的全集或子集 通过将查询和报表系统放在不同的数据库实例中运行 可以平衡服务器负 载并提高 OLTP 类生产系统的性能 一方 面 可以减少 OLTP 应用和查询报表应用 之间的磁盘 I O 冲突 提高 OLTP 应用的 效率 另一方面 GoldenGate 支持不同模 式间的复制 可以分别面向 OLTP 和查询系统的报表实例使用特点来进行设计 如建立索引 设置数据库表的参数等等 精品文档 10欢迎下载 实现高可用性实现高可用性 保证数据高可用性和数据库系统能够从灾难中迅速恢复是一个非常具有挑 战性的工作 GoldenGate 可以通过 LAN 或 WAN 进行复制 这样当生产环境出现 紧急事件或要进行例行维护时 可以将应用切 换到复制数据库中 有了生产数据库的实时拷贝 用户可以保 证应用系统 7 24 不间断运行的情况下进行维护工作 高可用性高可用性 如进行操作系统和数据库的升级等等 多数据源配置多数据源配置 多数据源配置允许你将不同的用户分布到不 同的服务器 让每个数据库能够反映其他数据库 的变化 在这种配置模式下 GoldenGate 采用必 要的冲突处理机制来解决可能发生的冲突 多数据源多数据源 数据分布和数据集中数据分布和数据集中 GoldenGate 通过 LAN 或 WAN 进行实时复制 将生产数据库中的数据拷贝到 需要它们的地方 对广播复制来说 远程用户可以访问这些实时数据而不用登 录生产服务器 因此 提高了网络性能和生产环境下的 OLTP 应用的性能 集中复制集中复制 广播复制广播复制 层次化企业数据分布层次化企业数据分布 GoldenGate 支持层叠复制 可以向不是直接 相连的数据库复制数据 使用这种配置 可以在 远程数据库间进行复制 如从北京到上海 GoldenGate 支持多种复杂的场景来满足复制需求 精品文档 11欢迎下载 精品文档 12欢迎下载 第二章 方案实现技术细节 采用 Oracle GoldenGate 数据实时同步解决方案 需要在源与目标系统均 安装 GoldenGate 相应软件模块 系统架构图如下 1 正常运行情况下 数据同步方向为生产系统到灾备系统正常运行情况下 数据同步方向为生产系统到灾备系统 我们需要启 动上图中绿色实线方向的 GoldenGate 进程 同时停止红色虚线方向的 GoldenGate 进程 数据同步进程如下 a 在生产系统上需要运行 GoldenGate 捕获进程 负责实时读取 Oracle 数据库交易日志中的数据变化 并根据需要可以执行过滤 操作 仅将感兴趣的数据捕获过来 写入本地的源队列文件中 根根 据实际测试 写入队列文件的数据量约为交易日志文件的四分之一据实际测试 写入队列文件的数据量约为交易日志文件的四分之一 b 在生产系统上还需要运行 GoldenGate DataPump 进程 该进程负责 将源队列文件的内容发送到目标队列文件中 通过压缩机制 最大 压缩比可以达到 9 1 网络传输的数据量 最佳情况下约为源队最佳情况下约为源队 列文件内容的九分之一 列文件内容的九分之一 精品文档 13欢迎下载 c 变化数据到达灾备系统后 灾备系统上的 GoldenGate 灾备进程将 实时读取这些交易变化数据 根据其在生产系统上的交易顺序 完 全一致地应用到灾备系统 保证了两边交易数据的一致性 2 当生产