GoldenGate培训教程.ppt

GoldenGate软件及工作原理介绍,高级技术顾问：,公司目标,GoldenGate为客户提供交易数据管理（Transactional Data Management）解决方案. 有效帮助客户优化数据访问性能，提高交易数据的可访问性和可用性，满足关键业务的需要,Real-Time Access to Real-Time Information,公司简介,历史及现状,与多家著名厂商 结为战略合作伙伴,广泛的客户基础,始建于 1995 Oracle公司2009年7月收购,在北美、欧洲、亚太、拉丁美洲设有分公司,24x7 全球技术支持,交易数据管理Transactional Data Management,TDM提供异构环境下交易数据的实时捕捉、变换、投递。,TDM 具有: 实时性 秒一级延迟 异构环境支持 在不同平台和数据库环境下复制数据 以交易为单位复制 维护交易一致性,特点: 高性能 能够以低资源消耗完成每秒数千交易的复制 可扩展 开放的结构使客户适应各种异构数据平台 可靠 保证数据的连续可用,GoldenGate支持平台,GoldenGate 解决方案,高可用性与容灾 活动备份 无宕机运行 Active-Active 层次化企业数据,实时数据集成 数据仓库实时数据供给 实时报表 数据整合,灾难恢复 灾难容忍 无间断运行,磁带备份 磁盘镜像 块复制 热备份 Active-Active,硬件 存储 数据库 应用,物理结构 数据 交易,批处理 即时复制 近似实时复制 实时复制,脚本 ETL工具加脚本 EAI和ETL工具加脚本 GoldenGate TDM,Weeks Days Hours Minutes / Seconds Sub-seconds,Real Time Threshold,高可用性,数据整合,实时性要求,为什么选择 GoldenGate TDM?,消除批处理窗口 方便实现整合流程 低资源占用,实时获取数据 基于日志的复制 对源系统影响小 只捕捉数据变化 降低系统负荷 无需额外编程 保证交易完整性和一致性 可以保证在各种平台下数据的完整性和一致性,GoldenGate TDM软件技术概览,Transactional Data Management (TDM) Software Platform,TDM 工作原理: 模块化 “积木”,网络,源数据库,目的数据库,队列文件: 暂存数据变化.,传输: 数据经过压缩和加密传送到目的地.,Capture: 实时读取交易日志捕捉数据变化并可实现过滤.,Delivery:执行所需的数据变化，然后将数据变化提交到目的库.,逻辑数据复制的几个重要问题（一）,数据变化来源 读取在线日志或归档日志 在信息不足时与数据库交互 数据字典信息 查询日志不足信息，例如大对象 只复制提交交易 如何标志记录的唯一性？ Rowid 逻辑复制源和目标的rowid是不一致的，除非自行为两端记录建立额外的rowid map 主键 实际应用中主要业务表均建立有主键 唯一索引也可作为唯一标识 无主键表可使用全部列作为唯一标识,逻辑数据复制的几个问题（二）,oracle数据库附加日志 缺省状况下只记录变化记录的rowid及对应变化（前影像、后影像） 为了能够在目标投递到对应的记录，需在日志中记录主键或唯一索引 数据库级附加日志 SUPPLEMENTAL_LOG_DATA_MIN （最小附加日志） SUPPLEMENTAL_LOG_DATA_PK/UI SUPPLEMENTAL_LOG_DATA_FK/ALL（10g） 表级附加日志 GoldenGate建议方式 sqlplus alter table add supplemental log group Ggsci add trandata ctais2.mytable /自动寻找PK/UI Dba_log_groups和dba_log_group_columns 每个log group不能超过32列，超过需要人工分组,逻辑数据复制的几个问题（三）,目标端使用附加日志还原sql 根据附加日志中的主键信息构筑where条件 如果没有附加日志或者没有足够的列则无法执行update和delete操作，而insert不受影响 主键变化要重新添加表的附加日志 无主键表则列的增删均要重新添加表的附加日志,CREATE TABLE tcustmer ( cust_code VARCHAR2(4), name VARCHAR2(30), city VARCHAR2(20), state CHAR(2), PRIMARY KEY (cust_code) USING INDEX );,For Record: (a,a,a,a) Update tcustmer set name=b; Oracle附加日志会记录cust_code列的值a到日志中； 目标端根据cust_code=a构筑update 的sql语句； 如果两端主键变为city，而没有重新添加附加日志，则目标端会根据自己的主键city建立附加日志，此时日志中没有该字段值，导致目标update失败 如果修改表但没有修改主键，则附加日志不受影响,逻辑数据复制的几个问题（四）,如何将数据装载到目标库？ 常规加载 通过SQL装载 直接加载 通过数据块装载 不利用空闲存储空间 不检查外键等约束 装载速度较快 GoldenGate采用常规加载 保证数据安全和一致性 有效提高性能的选项 合并小交易 拆分大交易 批处理的加速,单向复制 报表、灾备,双向复制 立即接管,点对点 负载均衡, 高可用性及容灾,广播复制 数据分发,集中复制 数据仓库,灵活的拓扑结构,多级复制 层次化企业数据,Data Pumps 与一对多复制,Database Transaction Logs,Extract Process,Extract Process,Extract Process,Extract Process,GoldenGate Veridata,快速数据对比方案 能够快速设别和报告在线数据的差异 用途: 降低数据差异带来的风险 简便快捷的对比 无需影响业务 关键特性: 支持大数据量对比 支持在线状态的数据对比 优秀的对比效率和速度 可执行选择性对比 可自动执行无需人工干预 灵活的报表,GoldenGate Director,能够使客户定义、配置和管理GoldenGate TDM 各节点和进程，监控运行状态 优化系统管理 关键特性: 集中管理多个GG进程 丰富的客户端和web界面提高可用性 提供报警以及与第三方软件集成的接口 实时获取GG进程信息 对原系统无影响,典型案例,案例一：中华人民共和国海关总署,远距离容灾 低带宽 低延时 可随时接管的双业务中心 快速业务切换 异构复制(内部),案例二：国家体育总局体彩中心,N+1模式容灾 各省市集中备份 远距离 低带宽,案例三：国家税务总局,N+1集中容灾 远距离 低带宽,案例三：国家税务总局-各试点,南海灾备中心,生产中心,异址灾备中心,同城备份,远程异地备份,涉及应用系统： 一期：CTAIS2系统 二期：JH系统, FWSK系统,2019年6月16日星期日,GoldenGate安装及其组件,系统需求,为获取高可用性，建议安装于共享阵列，可以随集群软件切换到备用节点 复制软件只需不到200M空间大小，考虑到需要缓存队列数据，建议保留相当于数据库归档日志量3-7天的存储空间 复制软件安装目录可位于任何位置 复制软件可使用现有系统用户或者建立专门系统用户，需满足如下条件： 该用户具有为Oracle安装用户组成员，环境变量与Oracle运行用户一致，可访问Oracle数据库 其内存限制应当满足数据复制要求，可以通过ulimit a输出察看信息，具体配置在/etc/security/limits 文件中。,双机环境下的理想配置方案,正常运行状态,备机接管状态,安装步骤,Unix下的安装步骤 ftp .gz file to GoldenGate安装目录 gzip d *.gz tar xvf *.tar Implement the GoldenGate Password license GGSCI CREATE SUBDIRS 许可文件pw位于 GoldenGate安装目录下 V10.4版本后，不再需要许可文件,数据库需求,复制用户可以使用现有或者新建用户，DML复制要求权限如下： 源端：CONNECT/ALTER ANY TABLE/ALTER SESSION/CREATE SESSION /FLASHBACK ANY TABLE/SELECT ANY DICTIONARY/SELECT ANY TABLE/“RESOURCE“ 目标端在源端基础上加以下权限：INSERT ANY TABLE/DELETE ANY TABLE/UPDATE ANY TABLE; 需要打开数据库级最小附加日志 select SUPPLEMENTAL_LOG_DATA_MIN from v$database; ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 针对所有复制表打开表级附加日志 GGSCI add trandata select * from user_log_group_columns where table_name= ; 超过32列无主键表需要手工添加附加日志： Alter table add supplemental log group (column,) always;,GoldenGate组件与目录结构,基本组件 Manager 管理进程，管理其它进程活动 Extract 抽取进程，抽取日志（队列）获取数据变化 Replicat 投递进程，向目标数据库投递数据 C