Oracle GoldenGate技术培训(公司内部培训).pptx

Oracle GoldenGate技术交流 XX公司技术沙龙第二期 XXX 2017年3月 Oracle GoldenGate介绍 前GoldenGate公司简介 创建于1995年，总部在美国旧金山。 数据复制领域的专业公司。 全球超过4,000个安装许可，分布在政府、银行、制造、传媒、电 信、证券、医疗和零售等各大行业，其中有多个全球财富500强企 业。 Oracle、IBM、HP、Microsoft、Sybase、TeradataTeradata等著名企业建立了 紧密合作关系。 中科领新信息技术有限公司是GoldenGate公司中国区总代理和技术 支持中心。 2009年被Oracle收购。 GoldenGate是什么? Oracle GoldenGate 提供异构环境间事务数据的实时、低影响的捕获、 路由、转换和交付 实时数据整合市场的领导者 GoldenGate 给Oracle的数据整合方案带来了在异构平台的快速的,可 扩展的,实时数据整合能力 GoldenGate 为应用或数据库的提供了在线升级,迁移的能力 GoldenGate产品组件 GoldenGate产品组件功能 Oracle GoldenGate TDM （Transactional Data Management交易数据管理 ） 主要功能组件 Oracle GoldenGate for Mainframe使用于主机及大型机(HP NonStop databases and IBM Mainframe) Oracle GoldenGate Veridata验证及监控复制两端数据库的数据差异性 Management Pack for Oracle GoldenGate 图形化的配置,管理及监控工具 Oracle GoldenGate Application Adapters 为Base24, Logger for Enscribe, and JMS and Flat File 提供的实时数据同步适配器 GoldenGate Studio图形化配置复制过程的套件 Management Pack for Oracle GoldenGate 需要安装Oracle Weblogic标准版,需要购买相关的License GoldenGate TDM介绍 GoldenGate TDM 是基于日志的实时CDC软件平台，提供异构环境下 大量交易数据的实时捕捉、变换和投递，同时保持亚秒一级的数据延 迟。 基于GoldenGate TDM，我们提供高可用/容灾和实时数据集成的解决 方案。 GoldenGate TDM 采用高内聚低耦合的结构，能够支持多种拓扑结构 ，包括一对一，一对多，多对一，多对多，层叠和双向复制。 CDC：Change Data Capture，就是我们通常提到的变化数据捕获 GoldenGate 工作原理 交易数据管理 Transactional Data Management（TDM） 特性:收益: 实时性 亚秒一级延迟 高性能 能够以低资源消耗完成每秒数千交易的复制 异构环境支持 在不同平台和数据库环境下复制数据 可扩展 开放的结构使客户适应各种异构数据平台 以交易为单位复制 维护交易一致性 可靠 保证数据的连续可用 独立于数据库系统的复制技术提供7x24服务 不停机,保证业务的连续性,在线升级,迁移数据库系统 及应用 GoldenGate提供异构环境下交易数据的实时捕捉、变换、投递， 主要是支持异构数据库环境下的变化数据同步。 GoldenGate变化数据捕捉的优势 针对SQL SERVER,DB2都提供基于日志的CDC 直接从数据库日志中通过自己的专有程序抽取数据。 支持在备份系统上抓取变化数据。 对一些数据类型如LONG,XML,BLOB都提供了支持。 基于日志的实时数据复制 亚秒级复制 不依赖源数据库的触发器和规则，对源数据库影响小。 OGG在数据传输方面的优势 OGG有很好的机制来保证传输的交易一致性和断点续传。 事务完整性事务级粒度 只复制成功提交的事务 防止源和目标的不一致性 Oracle GoldenGate 架构 Oracle GoldenGate 架构 Oracle GoldenGate 架构 Oracle GoldenGate 架构 Oracle GoldenGate 架构的优势 捕获一次即可交付给多个目标做不同用途 基于日志的非侵入式捕获 只移动提交的数据，降低了带宽要求 降低开销和总拥有成本 即使在大数据量情况下也能实现亚 秒级延迟 保持事务完整性 确保数据可恢复性 高性能和高可靠性 提供分离的模块化架构 支持异构源和目标，可满足不同的延迟需求 与ELT/ETL 和消息处理解决方案共存且集成 灵活性和易用性 GoldenGate的工作特点 实时数据复制 支持异构环境 可靠性：断点续传，不影响系统连续 运行。 高性能，对生产系统影响小 事务完整性 整合：ETL tools, Message Service 灵活拓扑结构 复制冲突检测和解决 事件标记基础架构(Event marker infrastructure) 路由和压缩：TCP/IP，LAN，WAN 加密：128位，SSL 自定义延时应用修改 根据事务大小和数量自动管理内存 事务完整性事务级粒度 只复制成功提交的事务 防止源和目标的不一致性 GoldenGate支持异构环境任意组合 DatabasesO/S and Platforms Capture: Oracle DB2 Microsoft SQL Server Sybase ASE Teradata Enscribe SQL/MP SQL/MX Delivery: All listed above, plus: HP Neoview, Netezza, Greenplum, and any ODBC compatible databases ETL products JMS message queues MySQL TimesTen Windows 2000, 2003, XP Linux Sun Solaris HP NonStop HPUX HP TRU64 HP OpenVMS IBM AIX IBM z/OS GoldenGate 10.4支持的主流数据库版本 Oracle 8i (DML only) Oracle 9.1 and 9.2 (DML and DDL) Oracle 10.1 and 10.2 (DML and DDL) Oracle 11g (DML and DDL) DB2 UDB 8.x and 9.5 on Windows and UNIX DB2 UDB for OS/390 and z/OS 7.1 (until IBM end of service date) DB2 UDB for z/OS Version 8.1 and 9.1 SQL Server 2000 and 2005 on MS- supported OS as a source or target. SQL Server 2008 on MS-supported OS as a target only. Sybase 12.5.4 and 15 ASE MySQL versions 4.0 and 4.1 GoldenGate架构中关键的技术 分布式松散耦合的进程架构 初始化装载时不影响数据库使用 可以在异构平台之间进行数据初始化装载 可扩展性: 变化数据捕获API (VAM) 客户化定制: User Exits, SQL callouts, Macros 异步的数据变化传输 只传输提交的数据 DML, Metadata, DDL 统一的 Trail 文件格式 在异构平台之间交换数据 可以设定数据转换规则，设置数据和操作过滤条件(table, row, column) 基于的事务的批量操作 GoldenGate架构中关键的技术续 归档和审计功能 Trail 文件备份 审计 保存所有变化 (Insert all records) 数据冲突的检测和解决机制: 用于双向数据传输（双活）的系统 在目标数据库延迟应用目标端的数据 基于事件驱动的基本架构 e.g., 自动的主备机切换 进程的自动定位 支持动态回滚和基于时间点的数据恢复 支持并行操作 批量数据抽取和批量数据入库 恢复 GoldenGate的核心竞争点 Active-Active 避免了资源浪费，提高系统利用率 即时接管 在线迁移 基于事务日志的数据抽取 处理量大，负载小 过滤 配置并行 可靠的数据传输 Checkpoint机制，以便于发生错误 时恢复 基于TCP/IP网络，对网络连接要 求低 强大的异构支持 无需停机的数据比较方案 图形化的集中管理 Oracle GoldenGate 使用场景 很多客户需要连续的实时数据 降低IT系统的成本赢得业务系统运行的效率 Real-Time Business Operation s 关键键的应应用和数据的连续连续 可用 性 在灾难发生时系统的可用性 在计划宕机期间的系统仍然可以使 用 负载均衡和数据分担 商业业智能和决策支持的实时实时 信息访问访问 报表系统可以即时获得生产数据 分析系统可以访问到关键的生产信息 异构平台的数据交换 降低IT系统统的成本 grant dba, connect, resource to goldengate; 打开源数据库的supplemental log 开关: alter database add supplemental log data; alter system switch logfile; alter system archive log current; 在源端，对于要复制的表（样例）: ggsci dblogin userid goldengate, password oracle add trandata dbaccadm.dconmsg 如果复制表没有主键也没有唯一索引，且字段数目超过32个， 则需要手动将表所 有的字段都加入supplemental log. 在目标端， disable 复制表的触发器及cascade constraints. 准备环境: 安装 GoldenGate 目录 DirectoryContents dirchkGoldenGate checkpoint files（检查点文件） dirdatGoldenGate trail and extract files（trail和抓取文件） dirdefData definitions produced by DEFGEN and used to translate heterogeneous data（由DEFGEN生成的，用于解释异构数据的数据定义） dirpcsProcess status files（进程状态） dirprmParameter files（参数文件） dirrptProcess report files（进程报告） dirsqlSQL scripts（SQL脚本） dirtmpTemporary storage for transactions that exceed allocated memory （临时存储超过分配内存的事务） Step 2. Change Capture（变化捕获） Change Capture Extract Overview Extract can be configured to: Capture changed data from database logs（根据数据库日志捕获变 化的数据） Distribute data from local trails to remote systems (data pump)（根 据本地trail文件把数据分发到远程主机） Capture data directly from source tables for initial data load（直接从 源端数据库表中捕获数据） 捕获增量 Oracle GoldenGate 捕获增量 在数据初始化之前，在源端启动Extract来捕获增量数据 Add extract Threads : 将Threads设置为当前数据库真实的redo log Thread 数目， 不论其是否是RAC 环境. Step 3. Initial Load 初始化 Oracle GoldenGate 数据初始化（SCN的意义） 数据初始化手段: EXP/IMP DATA PUMP Transportable Tablespace (TTS) RMAN 以上方法均可以指定SCN 以上方法均可以不中断业务系统 初始化 方法优点/缺点 EXP/IMP优点：这种方法的好处是， 可以通过管道直接将数据导入到目 标数据库， 这样做不需要额外的磁盘空间来存放导出文件。 缺点：比较慢。 DATA PUMP优点：导出与导入速度都非常快。 缺点： 在源端及目标端都要有足够的空间来容纳导出文件，且 需要将导出文件传送到目标端。 Transportable Tablespace (TTS) 优点：导出速度快， 使用RMAN TRANSPORT TABLESPACE并不 需要将表空间置为read only. 缺点：目标端的数据文件大小需要与与源端一致。 RMAN优点：导出速度快， 适合整库导出. 缺点：如果数据库的版本是10g一下， 不支持跨平台；源端与 目标端数据库版本一致，目标端只能通过数据库升级来升到高 版本。 Step 4. Change Delivery（变化交付） Change Delivery - Replicat Overview Replicat can: Read data out of GoldenGate trails（从trail文件中读取数据） Perform data filtering（执行数据过滤） Table, row, operation Perform data transformation（执行数据转换） Perform database operations just as your application performed them（执行数据库操作，以应用程序的执行模式） 加载 Oracle GoldenGate Data Pump 和Replicat Oracle GoldenGate Data Pump 进程也是一个Extract进程. Data Pump 将Trail 文件送到远端（远端可以不是目标端） 由于Data Pump 的任务较轻，从性能的角度出发， 可以考虑在Data Pump这一侧做过滤和转换 Replicat: 使用start replicat ., afterscn . 可以对同一个Trail file启用多个Replicat，但最好别超过四个. 数据初始化(10G) 同构 数据初始化(10G) 异构 各模块介绍 各模块结构 Extract（Capture） Extract的两个功能 Extract（Capture）DB变更信息的获取（1） Extract（Capture）DB变更信息的获取（2） Extract（Capture） 双向复制 双向复制场合的注意事项 为避免重复应用、应设置不捕获GoldenGate（Replicat）的SQL语句 通过Extract（Capture）的参数可指定 GETAPPLOPS / IGNOREAPPLOPS 指定捕获/忽略Replicat以外的更新数据库进程的动作 GETREPLICATES / IGNOREREPLICATES 指定捕获/忽略Replicat对数据库的更新动作 各组件的结构 Collector 变更信息的收发 Data Pump变更信息的发送（两种方式） 方式： 另外起动发送专用的Extract（即Data Pump） 先保存到本地的Trail文件然后发送 方式：一个Extract兼Capture和Data Pump之职 从REDO日志取得信息然后直接向远端发送 Data Pump 多个目标发送 （两种方式） 各部件的结构 Replicat Replicat的功能 Replicat的功能 从Trail文件生成SQL语句在目标DB执行 以变更的行为单位生成SQL语句、执行 基于主键（或唯一键）和变更前的值（可选）更新 （主键或唯一键的值是在源端通过附加日志方式从日志中获得） 各部件结构 Manager GoldenGate整体的监控/管理 Manager的作用 Trail文件的管理 Trail文件的生成/删除 进程的监控/管理 定期监控进程 进程的启动/停止、再启动 GoldenGate整体的监控/报表 执行用户的命令 Manager GoldenGate整体的监控/管理 Manager与各部件之间通信 UI Manager ： TCP/IP Extract/Replicat Manager（本地） ：共享内存 各进程状况（如处理完的检查点等等）都保存在共享内存，Manager查询后产生相关报表 Extract（Data Pump） Manager（远端）：TCP/IP Oracle GoldenGate Capture Oracle GoldenGate Delivery Filter/Map MAP scott.emp TARGET james.emp FILTER(ON UPDATE, COMPUTE (sal * 100) 100000); 数据变换：可以对列进行映射和列值的变换 数据变换可以利用GoldenGate的函数和宏 例：MAP hr.contact, TARGET hr.phone, COLMAP (USEDEFAULTS, name = cust_name, phone_number= STRCAT( “(”, area_code, “)”, ph_prefix, “-”, ph_number) ); 注意：不支持多字节的列名或文字串作为条件 函数 主要函数 条件判断函数 IF, CASE, EVAL, VALONEOF 等 例：FILTER (IF (sal 100, sal, 0) 100); 文字列/数値操作函数 COMPUTE, STRCAT, STRCMP, STRLEN, STRFIND等 注意：不支持对多字节文字列进行操作 例：FILTER (STRLEN(ename ) 40); 日期函数 DATE, DATENOW等 例：FILTER (hiredate DATENOW); GoldenGate Veridata 什么是 GoldenGate Veridata? “GoldenGate Veridata 是一个快速、低影响的数据比较解决方案，它 用于鉴别和报告两个数据库之间的数据差异，而不需要中断这些系统 或他们的业务流程支持.” 为什么需要 Veridata? 数据之间的差距是现 实存在的 用户错误 输入错误 无意识的使用 恶意的企图 基础架构错误 系统故障 磁盘损坏 网络故障 移植确认 数据库升级 数据库移植 操作系统升级 应用升级 实时数据集成验证 数据仓库 查询分载 营销数据库 应用错误 逻辑故障 升级失败 潜在缺陷 配置错误 应用 复制 网络 Veridata 数据库比较工具 支持异构数据库 生成直观比较报告 系统消耗小 GoldenGate Veridata 高速的数据比对解决