第一部分GoldenGate及其工作原理

GoldenGate软件及工作原理介绍现在是1页\一共有28页\编辑于星期一公司目标GoldenGate为客户提供交易数据管理（TransactionalDataManagement）解决方案.有效帮助客户优化数据访问性能，提高交易数据的可访问性和可用性，满足关键业务的需要Real-TimeAccesstoReal-TimeInformation现在是2页\一共有28页\编辑于星期一公司简介历史及现状与多家著名厂商结为战略合作伙伴全球35个国家300多客户，

2000多个安装广泛的客户基础始建于1995在北美、欧洲、亚太、拉丁美洲设有分公司24x7全球技术支持现在是3页\一共有28页\编辑于星期一交易数据管理TransactionalDataManagement

TDM提供异构环境下交易数据的实时捕捉、变换、投递。TDM具有:实时性秒一级延迟异构环境支持在不同平台和数据库环境下复制数据以交易为单位复制维护交易一致性特点:高性能能够以低资源消耗完成每秒数千交易的复制可扩展开放的结构使客户适应各种异构数据平台可靠保证数据的连续可用现在是4页\一共有28页\编辑于星期一GoldenGate支持平台…数据库操作系统抽取:OracleDB2OS/390DB2UDBMicrosoftSQLServerSybaseEnscribeSQL/MPSQL/MXTeradata投递:AlllistedaboveMySQL,IngresandanyODBCcompatibledatabasesWindows2000,2003,XPLinuxSunSolarisHP-UXIBMAIXHPNonStopTRU64IBMz/OS,LUW现在是5页\一共有28页\编辑于星期一GoldenGate解决方案高可用性与容灾活动备份无宕机运行Active-Active层次化企业数据实时数据集成数据仓库实时数据供给实时报表数据整合

现在是6页\一共有28页\编辑于星期一实时数据实时访问灾难恢复

灾难容忍

无间断运行磁带备份

磁盘镜像

块复制

热备份

Active-Active硬件

存储

数据库

应用物理结构

数据

交易批处理

即时复制

近似实时复制

实时复制脚本

ETL工具加脚本EAI和ETL工具加脚本 GoldenGateTDMWeeksDays Hours Minutes/Seconds Sub-secondsRealTimeThreshold高可用性数据整合实时性要求现在是7页\一共有28页\编辑于星期一为什么选择

GoldenGateTDM?消除批处理窗口方便实现整合流程低资源占用实时获取数据基于日志的复制对源系统影响小只捕捉数据变化降低系统负荷无需额外编程保证交易完整性和一致性可以保证在各种平台下数据的完整性和一致性现在是8页\一共有28页\编辑于星期一GoldenGateTDM软件技术概览TransactionalDataManagement(TDM)SoftwarePlatform现在是9页\一共有28页\编辑于星期一TDM工作原理:模块化“积木”网络源数据库目的数据库双向复制队列文件:暂存数据变化.传输:数据经过压缩和加密传送到目的地.Capture:实时读取交易日志捕捉数据变化并可实现过滤.Delivery:执行所需的数据变化，然后将数据变化提交到目的库.CaptureSourceTrailTargetTrailSourceTrailTargetTrailDeliverDeliverCapture现在是10页\一共有28页\编辑于星期一逻辑数据复制的几个重要问题（一）数据变化来源读取在线日志或归档日志在信息不足时与数据库交互数据字典信息查询日志不足信息，例如大对象只复制提交交易如何标志记录的唯一性？Rowid逻辑复制源和目标的rowid是不一致的，除非自行为两端记录建立额外的rowidmap主键实际应用中主要业务表均建立有主键唯一索引也可作为唯一标示无主键表可使用全部列作为唯一标示现在是11页\一共有28页\编辑于星期一逻辑数据复制的几个问题（二）oracle数据库附加日志缺省状况下只记录变化记录的rowid及对应变化（前影像、后影像）为了能够在目标投递到对应的记录，需在日志中记录主键或唯一索引数据库级附加日志SUPPLEMENTAL_LOG_DATA_MIN（最小附加日志）SUPPLEMENTAL_LOG_DATA_PK/UISUPPLEMENTAL_LOG_DATA_FK/ALL（10g）表级附加日志–GoldenGate建议方式sqlplus>altertableaddsupplementalloggroup…Ggsci>addtrandatactais2.mytable//自动寻找PK/UIDba_log_groups和dba_log_group_columns每个loggroup不能超过32列，超过需要人工分组现在是12页\一共有28页\编辑于星期一逻辑数据复制的几个问题（三）目标端使用附加日志还原sql根据附加日志中的主键信息构筑where条件如果没有附加日志或者没有足够的列则无法执行update和delete操作，而insert不受影响主键变化要重新添加表的附加日志无主键表则列的增删均要重新添加表的附加日志CREATETABLEtcustmer(cust_codeVARCHAR2(4),nameVARCHAR2(30),cityVARCHAR2(20),stateCHAR(2),PRIMARYKEY(cust_code)USINGINDEX);ForRecord:(‘a’,’a’,’a’,’a’)Updatetcustmersetname=‘b’;Oracle附加日志会记录cust_code列的值’a’到日志中；目标端根据cust_code=‘a’构筑update的sql语句；如果两端主键变为city，而没有重新添加附加日志，则目标端会根据自己的主键city建立附加日志，此时日志中没有该字段值，导致目标update失败如果修改表但没有修改主键，则附加日志不受影响现在是13页\一共有28页\编辑于星期一逻辑数据复制的几个问题（四）如何将数据装载到目标库？常规加载通过SQL装载直接加载通过数据块装载不利用空闲存储空间不检查外键等约束装载速度较快GoldenGate采用常规加载保证数据安全和一致性有效提高性能的选项合并小交易拆分大交易批处理的加速现在是14页\一共有28页\编辑于星期一单向复制报表、灾备双向复制立即接管点对点负载均衡,高可用性及容灾广播复制

数据分发集中复制数据仓库灵活的拓扑结构多级复制层次化企业数据现在是15页\一共有28页\编辑于星期一DataPumps与一对多复制DatabaseTransactionLogsExtractProcessTrailExtractProcessTrailTrailTrailExtractProcessExtractProcess现在是16页\一共有28页\编辑于星期一

GoldenGateVeridata™快速数据对比方案能够快速设别和报告在线数据的差异用途:降低数据差异带来的风险简便快捷的对比无需影响业务关键特性:支持大数据量对比支持在线状态的数据对比优秀的对比效率和速度可执行选择性对比可自动执行无需人工干预灵活的报表现在是17页\一共有28页\编辑于星期一GoldenGateDirector™能够使客户定义、配置和管理GoldenGateTDM各节点和进程，监控运行状态优化系统管理关键特性:集中管理多个GG进程丰富的客户端和web界面提高可用性提供报警以及与第三方软件集成的接口实时获取GG进程信息对原系统无影响现在是18页\一共有28页\编辑于星期一典型案例现在是19页\一共有28页\编辑于星期一案例一：美国银行超过五千八百家分行及一万六千多部自动柜员机热备份数据中心从贯穿北美的四台主机(HPNSK)抓取数据保障ATM7X24小时可用热备份点主数据中心客户客户客户客户双向数据复制GoldenGatehashelpedtheBankofAmericaaccommodategrowth.MicheleSchwappach,VicePresidentandSeniorSystemsManager现在是20页\一共有28页\编辑于星期一案例二：中华人民共和国海关总署远距离容灾低带宽低延时可随时接管的双业务中心快速业务切换现在是21页\一共有28页\编辑于星期一案例三：国家体育总局体彩中心N+1模式容灾各省市集中备份远距离低带宽现在是22页\一共有28页\编辑于星期一GoldenGate安装及其组件4/24/2023现在是23页\一共有28页\编辑于星期一系统需求为获取高可用性，建议安装于共享阵列，可以随集群软件切换到备用节点复制软件只需不到200M空间大小，考虑到需要缓存队列数据，建议保留相当于数据库归档日志量3-7天的存储空间复制软件安装目录可位于任何位置复制软件可使用现有系统用户或者建立专门系统用户，需满足一下条件该用户具有为Oracle安装用户组成员，环境变量与Oracle运行用户一致，可访问Oracle数据库其内存限制应当满足数据复制要求，可以通过ulimit–a输出察看信息，具体配置在/etc/security/limits

文件中。现在是24页\一共有28页\编辑于星期一双机环境下的理想配置方案正常运行状态备机接管状态现在是25页\一共有28页\编辑于星期一安装步骤Unix下的安装步骤ftp.gzfiletoGoldenGate安装目录gzip–d*.gztar–xvf*.tarlddggsci./ggsciGGSCI>CREATESUBDIRS现在是26页\一共有28页\编辑于星期一数据库需求复制用户可以使用现有或者新建用户，DML复制要求权限如下：源端：CONNECT/ALTERANYTABLE/ALTERSESSION/CREATESESSION/FLASHBACKANYTABLE/SELECTANYDICTIONARY/SELECTANYTABLE/"RESOURCE“目标端在源端基础上加以下权限：INSERTANYTABLE/DELETEANYTABLE/UPDATEANYTABLE;需要打开数据库级最小附加日志selectSUPPLEMENTAL_LOG_DATA_MINfromv$database;ALTERDATABASEADDSUPPLEMENTALLOGDATA;针对所有复制表打开表级附加日志GGSCI>addtrandata<tablename>

select*fromuser_log_group_columnswheretable_name='<tablename>

';超过32列无主键表需要手工添加附加日志：Altertable<table>addsupplementalloggroup<group>(column,..)always;现在是27页\一共有28页\编辑于星期一GoldenGate组件与目录结构基本组件Manager管理进程，管理其它进程活动Extract