版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、GoldenGate 安装部署及解决方案目录GoldenGate 安装部署及解决方案 11 、 GoldenGate 简介 32 、文档约定和说明 53 、 GoldenGate 软件安装 63.1 GoldenGate 软件安装包下载63.2 Windows 下安装73.3 Linux 和 Unix 下安装84 、 GoldenGate 同步基本配置 94.1 oracle 之间同步和GoldenGate 基础 94.2 oracle 与 db2 同步174.3 oracle 与 sybase 同步 185 、 GoldenGate 同步方案 195.1 使用 GoldenGate 初始化加
2、载195.2 一对多数据同步(广播复制)215.3 多对一数据同步(集中复制)225.4 数据转换和过滤235.5 关于目标端高数据安全性下的 GoldenGate 配置方案 275.6 GoldenGate 双向复制( active-active )306 、 GoldenGate 数据同步性能测试 336.1 测试中主要监测数据和监测方式336.2 测试脚本和 GoldenGate 配置 346.3 测试步骤386.4 性能测试结果407 、 GoldenGate 推荐配置 427.1 添加必要的环境参数427.2 BATCHSQL 参数427.3 数据库用户密码加密437.4 trail
3、 再压缩448 、 GoldenGate Troubleshooting 458.1 一些常用的进程信息和日志的查看方式458.2 解析 trail 文件45附: GoldenGate 新版本的一个特性 46参考文档 481、GoldenGate 简介GoldenGate软件是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日 志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数 据库实 时同步 (real-time data synchronize ) 、双活 (active-active high availability )。GoldenGate软
4、件可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,其复制过程简图如下:如上图所示,GoldenGate的数据复制过程如下:利用捕捉进程(Capture Process)在源系统端读取Online Redo Log 或Archive Log,然后进行解析,只提取其中数据的变化如增、删、改操作,并将相关信息转换为Golde nGate自定义的中间格式存放在队列文件(trail )中。再利用传送进程将队列文件通过TCP/IP传送到目标系统。捕捉进程在每次读完log中的数据变化并在数据传送到目标系统后,会写检查点(checkpoint ),记录当
5、前完成捕捉的log位置,检查点的存在可以使捕捉进程在中止并恢复 后可从检查点位置继续复制;目标系统接受数据变化并缓存到GoldenGate队列当中,队列为一系列临时存储数据变化的文件,等待投递进程读取数据;GoldenGate投递进程从队列中读取数据变化并创建对应的SQL语句,通过数据库的本地接口执行,提交到数据库成功后更新自己的检查点,记录已经完成复制的位置,数据的复制过程最终完成。由此可见,GoldenGate是一种基于软件的数据复制方式,它从数据库的日志解析数据的Golde nGate通过TCP/IP网络传输,无需依赖于数据库自身的传递方式,而且可以通过高达9:1的压缩率对数据进行压缩,
6、可以大大降低带宽需求。在目标端,GoldenGate可以通过交易重组、分批加载等技术手段大大加快数据投递的速度和效率,降低目标系统的资源占用,可以在亚秒级实现大量数据的复制,并且目标端数据库是活动的GoldenGate提供了灵活的应用方案,基于其先进、灵活的技术架构可以根据用户需 求组成各种拓扑结构,如图所示:#爵異查询袤备器翩磷中竄14 IFHn虽中心丄、u-u层;V萸w麟g曝W1黨备|、一U-lJxGoldenGate可以提供可靠的数据复制,主要体现在下面三点:(1 )保证事务一致性GoldenGate在灾备数据库应用复制数据库交易的顺序与在生产中心数据库上的顺序相同,并且按照相同的事务环
7、境提交,确保在目标系统上数据的完整性和读一致性,为实时查询和事务处理创造了条件。(2)检查点机制保障数据无丢失Golde nGate的抽取和复制进程使用检查点机制记录完成复制的位置。对于抽取进程,其检查点记录当前已经抽取日志的位置和写队列文件的位置;对于投递进程,其检查点记录当前读取队列文件的位置。检查点机制可以保证在系统、网络或GoldenGate进程故障重启后数据无丢失。(3)可靠的数据传输机制GoldenGate用应答机制传输交易数据,只有在得到确认消息后才认为数据传输完成,否则将自动重新传输数据,从而保证了抽取出的所有数据都能发送到备份端。数据传输过程中支持128位加密和数据压缩功能。
8、Oracle 公司的GoldenGate产品,可以在异构的IT基础结构之间实现大量数据的秒一级 的数据捕捉、转换和投递。目前最新版本为V.0。GoldenGate可以支持几乎所有常用操作系统如和数据库平台,如下表所示:操作系统数据库MS NT, 2000, XP, Linux, Sun Solaris,HP-UX, IBM AIX,HP Non Stop, TRU64, IBMz/OS, OS/390Oracle, DB2, MS SQL Server, MySQL,En scribe, SQL/MP, SQL/MX, Sybase, Teradata, 其他ODBC兼容数据库
9、2、文档约定和说明为统一表示命令和便于查看,对格式作如下约定:GG_HOME表示从操作系统命令行(cmd)进入 GoldenGate安装路径下执行命令。GGSCI 表示在 GoldenGateSQL表示在数据库下执行/*SQL语句*/ 表示配置文件内容,表示自定义参数,如自定义表名/*不包含在内。vtable name命令环境中执行命令。GoldenGate使用的版本主要为11.1,部分使用10.4版本,GoldenGate 命令行中的操作均是在mgr主进程running时以下示例中若无特殊说明, 除部分新特性,两者基本无差别; 进行,当然,GoldenGate安装部分除外。补充说明:该文档主
10、要介绍GoldenGate基本使用、GoldenGate的各类解决方案,以及以往本人在使用测试中总结的经验,文中的例子和执行的命令都是参照官方文档并亲自测试执行过。但因个人能力所限,错漏之处再所难免,文档中也不可能覆盖 GoldenGate的方方面面。而且,因为GoldenGate本身提供了大量的参数,也不可能在这里一一列举,本文档中只举例了常用的一些参数命令,关于各个参数的具体使用语法和作用,还请参照官方文档Oracle GoldeGateReferenee Guide 。3、GoldenGate 软件安装32位系统在不同的操作系统和平台上安装Golde nGate,需要在官网下载对应的版本
11、和64位系统的安装介质虽然不同,但是在同一OS上安装方式是一样的。GoldenGate需要解析数据库的日志文件,所以安装位置必须要能访问到日志文件(在 线日志和归档文件),并具有相应的权限。3.1 GoldenGate 软件安装包下载经常有人问我GoldenGate的下载地址,所以在这里专门说明一下GoldenGate软件的官方下载地址:/目前只有这个地址能下到对应32位操作系统的安装介质。首页如下:Welcome to the Oracle r E-Th dwilbd dhy Qrdcla.pftkul that 4 口IT即瞬f申创,典g
12、中通 Ibholbob drio Assort xal kjatu网页开头点击这个Continue进入下载。然后下方选择同意协议之类的,点首次进入需要登记一些个人信息,如名字、公司等,Continue进入搜索。搜索时如下选择:Sdec.1 a Produsl PddcFu且icini hrtidd血讷佝也PlatfosmLinux x86.V -Go点GO,然后选择对应版本的 Oracle GoldenGate 下载。GoldenGate安装包一般只有几十兆 的大小,下载还是很快的。GoldenGate 除了同步软件这块,还有其他相关的产品,比女口 Oracle GoldenGate Dire
13、ctor用于集中图形化管理和监控;Oracle Golde nGate Veridata,用于两端同步数据质量检验。在本文档中暂不介绍。3.2 Windows 下安装(1)安装 MicrosoftVisual C + 2005 SP1Windows 操作系统需要首先下载安装 MicrosoftVisual C + 2005 SP1 发行包(注意该软件也 分 32 位和 64 位)。( 2 )绿色安装 GoldenGate 下载对应平台版本的 GoldenGate 安装包,解压。然后进入操作系统命令行(cmd ),进入 GoldenGate 解压路径下,执行:GG_HOMEggsci- 进入 G
14、oldenGate 命令窗口模式GGSCI CREATE SUBDIRS -建立子目录GGSCIedit param mgr-配置 GoldenGate 主进程参数由于第一次执行该命令,会提示创建 mgr 参数文件,点“是”并在文本中输入如下参数:/*PORT 7801 -GoldenGate 主进程端口号DYNAMICPORTLIST 7802-7820 -GoldenGate 为进程间通讯动态分配的端口段,注意这里如果分配的端口端少于 extract-replicat 进程对的话,会导致部分进程因通讯失败而出 错。保存,生成的参数文件保存在 GG_HOME dirprm 下然后可以启动 G
15、oldenGate 主控制进程:GGSCIstart mgrGGSCIinfo all -查看进程状态如果进程 MANAGER 状态显示为 RUNNING 则表示主进程已在运行。至此软件安装完成3 )管理 GoldenGate 服务在 WINDOWS 下还可以将 GoldenGate 主进程作为系统服务进行管理,如下配置:./ 表明与其他参数文件位置不同,该参数文件是 为自定义的系统服务名GGSCIedit param ./globals - 配置全局参数,注意前面的 直接位于 GoldenGate 安装路径下的输入:/*MGRSERVNAME -GoldenGate 主进程端口号,*/-创建
16、服务,完成后可以直接进服务进行管理然后退出 GGSCI 命令行: GGSCI exit GG_HOME install addservice addeventsWINDOWS 删除 GoldenGate 服务:GG_HOMEinstall deleteevents deleteservice- 对应删除服务操般服务会以相同的名字在这作或者在注册表删除:HKEY_LOCAL_MACHINESYSTEMCurrentControlSetServices里显示一个主健,直接删除相关的键值便可3.3 Linux 和 Unix 下安装( 1)检查必需的 lib 包下载对应平台版本的 GoldenGate
17、 ,解压。在解压路径下执行:rootGG_HOME # ldd ggsci 将列出所有需要的 lib 和当前缺少的。 GoldenGate 在 Linux 和 Unix 下安装,需要安装ORACLE 的 lib 环境以及 $ORACLE_HOME/lib 下的几个包,所以必须安装在 Oracle 之后,而且 确保在环境变量中加入:export LD_LIBRARY_PATH=$ORACLE_HOME/lib( 2)绿色安装 GoldenGate在解压路径下执行 ./ggsci 进行接口命令行,rootGG_HOME # ./ggsci- 进入 GoldenGate 命令窗口模式GGSCI CR
18、EATE SUBDIRS -建立子目录GGSCIedit param mgr - 配置 GoldenGate 主进程参数 由于第一次执行该命令,会提示创建 mgr 参数文件,点“是”并在文本中输入如下参 数:PORT 7801 -GoldenGate 主进程端口号DYNAMICPORTLIST 7802-7820 -GoldenGate 为进程间通讯动态分配的端口段,注意这里如果分配的端口 端少于 extract-replicat 进程对的话,会导致部分进程因通讯失败而出 错。*/ 保存,生成的参数文件保存在 GG_HOME dirprm 下 然后可以启动 GoldenGate 主控制进程:G
19、GSCIstart mgr GGSCIinfo all - 查看进程状态 如果进程 MANAGER 状态显示为 RUNNING 则表示主进程已在运行。至此软件安装完成。lib 包,进入 GGSCI 接口命令行后的操和 Windows 下安装的主要区别是需要确认必需的作都是一致的4 、 GoldenGate 同步基本配置GoldenGate 支持目前大部分主流数据库,这也是它的优势之一。下面列举了Oracle 、Db2 、Sybase 之间的同步。同步测试的准备工作中,有一部分是共通的,如下:( 1 ) 在源端和目标端建立相同结构的两个表,建立主键。保证复制的对象在一开始是一 致的。( 2) 保
20、证没有相关对象的触发器(会导致数据冲突的那些)或设置失效。( 3) 数据库需要开启必须的日志模式。不同数据库的配置差异主要在这一步。( 4) 源端和目标端都需要安装相应版本的 GoldenGate 软件,并分配一个有 DBA 权限的数 据库用户给 GoldenGate 用以连接数据库。备注:分配给 GoldenGate 的用户一般情况下并不需要完全的 DBA 权限,在官方文档上有详细的权限 需求说明,但是完全按照那个配置比较繁琐。额外的,如果数据库使用 ASM 时,需要 sysdba 权限。4.1 oracle 之间同步和 GoldenGate 基础4.1.1 Oracle 数据库设置首先安装
21、好 ORACLE ,设置好 ORACLE_SID , ORACLE_HOME 等环境变量。当然,推荐 的做法是在每个进程配置文件里都加上指定的环境变量参数,在后面优化配置中进行说明。Oracle 数据库需要开启归档日志,并开启最小附加日志模式。SQL select supplemental_log_data_min from v$database;-查看是否开启了最小附加日志模式SQLalter database add supplemental log data;-开启最小附加日志模式实际生产应用中,最好同时打开 ORACLE 的强制日志模式,以防止源数据库因直接路径加 载忽略 redo 生
22、成而导致这部分数据无法同步:SQLselect force_logging from v$database; SQL Alter database force logging;光开启最小附加日志模式还不够,还需要打开表级的补全日志,可以在 GoldenGate 中 使用 add trandata 命令强制重做日志记录主键值,以保证在目标端能成功复制: GGSCIdblogin userid ddw,password ddw -GoldenGate 中登录 OARCLE 数据库 GGSCIadd trandata ddw. - 表名可以使用通配符 GGSCI add trandata coss3
23、.per_test,nokey,cols(sampletime, objectid)-无主键指定字段补全的示例 也可以在数据库中打开:SQLalter table add supplemental log data (primary key) columns;千万不要小看这步日志设置, 其实在 GoldenGate 的配置中,这步是最容易出错的环节 如果开启 DDL 复制做冗灾备份,最好直接在数据库级别打开补全日志:SQL alter database add supplemental log data (primary key,unique,foreign key) columns; 检查一
24、下,全是 YES 就 OK 了(整个数据库级别补全)SQL select supplemental_log_data_min, supplemental_log_data_pk,supplemental_log_data_ui from v$database;4.1.2 关于 Oracle 补全日志补充说明Oracle 日志( redo log )一般用于实例恢复和介质恢复,但是如果需要靠日志还原完整 的 DML 操作信息(比如 Logmnr 、 Streams 和这里的 Goldengate ),默认记录的日志量还不够。 比如一个 UPDATE 的操作,默认 redo 只记录了 rowid
25、以及被修改的字段信息,但这里 GoldenGate 还原这个事务, 因为不是根据 rowid 而是 SQL 层面根据唯一键值来定位记录, 所 以还需要将主键或者其他字段的信息附加到日志中去。 要往日志中增加这些额外字段信息的 操作,就是开启补全日志,即 Add Supplemental Logging 。打开补全日志,会使数据库的日志量 增加,所以只打开需要的级别和对象即可。Oracle 补全日志可以在数据库级别设置,也可以在表级别设置。在数据库级别中,补 全日志按补全的信息量,对应好几个级别:( 1 ) 最小附加日志( Minimal supplemental logging ):是开启 l
26、ogmnr 的最低日志要求, 提供了行链接( chained rows )和多种数据存储(比如聚簇表、索引组织表)的 信息。在 Oracle 9.2 之后的版本中,默认都不开启。( 2 ) 主键补全( Primary key supplemental logging ):在日志中补全所有主键列。如果 表中无主键,则补全一个非空唯一索引列;如果非空唯一索引键也没,那么会补 全除了 LOB 和 LONG 类型字段以外的所有列,这时就和下面的所有补全一样了。( 3 ) 唯一键补全( Unique key supplemental logging ):当唯一键列或位图索引列被修 改时,在日志中补全所有
27、唯一键列或位图索引列。打开唯一键补全也会同时打 开主键补全。注意这个级别是需要条件触发的。( 4 ) 外键补全( Foreign Key supplemental logging ):当外键列被修改时,将在日志中 补全所有外键列。这个级别也是需要条件触发的。( 5 ) 所有补全( All supplemental logging ):在日志中补全所有字段 (排除 LOB 和 LONG 类型)。数据库级别中的 5 个类型中, 除了最小附加日志级别, 都可以在表级进行设置。 除此之 外,表级还可以明确指定需要补全的列。Oracle 表级补全日志需要在最小补全日志打开的情况下才起作用, 即若一个数据
28、库没有开最小补全日志或之前drop suppleme ntal log data 操作则即便指定了表级补全日志,实际在重做日志输出的过程中描述的记录仍只记录rowid和相关列值。而要关闭最小补全日志,也必须首先关闭数据库级别的其他补全级别后,才能关闭。所以在 GoldenGate中,对于 Oracle数据库的日志补全要求,至少是打开最小附加日志和主键补全。主键补全只要在需要同步的表上开启即可。当然GoldenGate的add trandata语法中也可以指定补全的列,这和Oracle表级补全日志的功能完全一致。毕竟,日志还是由数据库生成的,Golde nGate 并不能直接控制日志的生成方式和
29、规则,只能根据所捕获的数据库的日志规则而来。不同的数据库,日志补全的规则也会不同。以上部分内容参考自Oracle 10gR2 UtilitiesSupplemental Logging 部分4.1.3 dml 同步 一对一的实时同步简单配置同步流程如图:SOURCEDBEXTRACTNetwooi(1)源数据库端添加提取进程( extract process )GGSCIadd extract extl,tranlog,begin now-新增抽取进程extl,基于日志方式,立即生效需要注意的是,GoldenGate中的进程名最长只能8个字符。注意,如果是在 RAC环境下,需要再
30、加上THREADS 指定提取的日志THREADGGSCIadd extract extl,tra nlog,begin now , THREADS GGSCIedit param extl -生成并编辑同名配置文件/*extract extluserid ddworcl,password ddwrmthost 4, mgrport 7801-抽取进程名-连接本机DB的帐号密码-目标数据库服务器地址和GG服务端口号rmttrail d:toolsGGgg10gdirdatrldynamicresolution- 远程队列的位置(下一步建的东西)gettruncates ta
31、ble ddw.aatest;-优化参数,动态分析表结构- 抓取 truncate 数据-需要抽取的表,可以使用通配符然后给这个提取进程创建远端队列,即图中的RMTTRAIL :GGSCIadd rmttrail d:toolsGGgg10gdirdatrl extract extl需要注意的是,这里最后的名称 rl (可以自定义,字母或数字)是指以后生成的 trail 文件都会 以 rl 开头, 如 rl000001 ,这个文件头名称最长只能 2 个字符 。如果需要在文件级别区分队列,建 议将队列创建于于不同的目录下。开启这个提取进程:GGSCI start extlGGSCI info a
32、ll -查看所有进程状态此时 extl 进程 running 则表示已成功运行, 这时开始会在前面指定的目标端队列位置生成 trail 文件。如果进程出错,可以使用view report extl 查看错误信息。2)目标数据库端添加复制应用进程(replicat process )在目标端 GoldenGate 命令行中配置复制进程:GGSCIadd replicat repl exttrail d:toolsGGgg10gdirdatrl,begin now,nodbcheckpoint-新增复制进程,使用对应的队列 rl ,即刻开始,使用文件检查点 GGSCIedit param repl
33、 - 配置复制进程参数 /*replicat repluserid ddworcl,password ddwassumetargetdefs - 两台数据库数据结构一致则使用此参数 reperror default,discarddiscardfile D:repsz.dsc,append,megabytes 100 gettruncatesmap ddw.aatest, target ddw.aatest_1;- 复制进程名-目标数据库的帐号密码-如果复制数据出错则忽略- 错误信息写入 XXXX 文件,追加模式,最大 100m- 复制 truncate 操作- 映射关系,注意 target
34、前必须留一个空格-map ddw.aatest, target ddw.aatest_1, keycols (name), where (TYPE1 = 1)- 加两横杠在配置文件中进行注释;keycols 指定唯一键; where 筛选数据*/开启复制进程: GGSCIstart replinsert , update , delete 和至此,一个最简单的同步配置完成,对于源数据库相应表的truncate 操作都将通过日志捕获并同步到目标数据库。4.132 使用 datapump加入datapump后的数据传输的流程:EXTRACTEXTrRAILEX1RACT N&rwodtRMTHOS
35、T 恥神aReplicatRMTIRAIL REPLICATTARGETDB ADD EXTRACT pump1, EXTTRAILSOURCE , BEGIN -vlocal_trail 即是对应 extl 配置文件中定义的 d:toolsGGgg10gdirdatl1GGSCI edit param pump1 /* extract pump1userid ddw, password ddw rmthost 4, mgrport 7801 rmttrail d:toolsGGgg10gdirdatr1 PASSTHRU|NOPASSTHRU -直通模式或普通模式 ge
36、ttruncatestable ddw.bbtest;*/ 直通模式用在两边表名、列名一致,可以直接映射的情况,不需要额外配置;普通模式可以配置表名列名 自定义映射,可以加 FILTER 、 transformation 等,需要配置一个数据定义文件( data-definitions file )然后修改原先为提取进程配置远端队列位置:GGSCIdelete rmttrail d:toolsGGgg10gdirdatrl extract extlGGSCIadd rmttrail d:toolsGGgg10gdirdatrl extract pump1 然后启动 extl 和 pump 进程
37、就 OK 了。 使用数据定义文件GoldenGate 数据定义文件( data-definitions file ),主要用于不同数据源之间(比如下面的Oracle 与 DB2 之间的同步) ,进行数据同步时用来转换数据格式。 数据定义文件主要包含表名、 字段名、字段类型、字段长度和偏移量。利用 GoldenGate 的 defgen 工具生成一个数据定义文件 ( data-definitions file ),大致步骤 如下:( 1)创建 DEFGEN 工具的参数文件( 2)运行 DEFGEN 工具生成数据定义文件( 3)配置 GG 进程识别定义文件例子:GGSCIedit p
38、aram defgen -/*DEFSFILE 创建 DEFGEN 工具的参数文件-指定由 DEFGEN 生成的数据定义文件的全路径和名称SOURCEDB | TARGETDB ,-oracle 不需要配置这个参数USERID ,PASSWORD -DB2 不需要配置 PASSWORDTABLE . -分析指定表生成配置文件类似如下( ORACLE ):/*DEFSFILE GG_HOMEdirdefextdb.refUSERID ddw,PASSWORD ddwTABLE ddw.aatest;然后退出 GGSCI ,在 GG 安装路径下运行 DEFGEN 工具:GG_HOMEdefgen
39、paramfile dirprm/defgen.prm 配置文件默认生成在 GG_HOMEdirdef 下,不要去手动修改。如果对应表的表结构发生更 改,需要重新生成这个配置文件。然后将生成的配置文件拷贝至目标服务器的 GG_HOMEdirdef 下。修改复制进程 repl 参数文件: GGSCIedit param repl 将原先的 assumetargetdefs 参数替换为 sourcedefs GG_HOME dirdefextdb.refGGSCIstop replGGSCIstart repl 数据定义文件的配置完成。 配置进程检查点( checkpoint )检查
40、点记录了进程读写的位置信息用以数据恢复, 目的是为了防止进程因系统、 网络崩 溃而导致的数据丢失,对于 GoldenGate 保证数据同步过程中数据不丢失非常重要。 GoldenGate 的检查点由一个内部进程自动控制,与数据库检查点的概念类似。提取进程的 检查点记录它在数据源中的读取位置和队列的写出位置, 复制进程的检查点记录它读取队列 的位置。每条提取或复制进程都有自己对应的检查点信息。当 GoldenGate 的进程重启时, 由它所记录的检查点决定需要读取的队列位置。GoldenGate 的检查点信息有两种存放方式:( 1)默认存放在 GGHOMEdirchk 下的文件中,一个进程对应一
41、个文件。提取进程只能使用 这种模式。不需要特殊配置。( 2 )存放在数据库指定的表中,需要进行如下配置:首先在 ./globals 参数文件中加入:/*CHECKPOINTTABLE . -指定的检查点记录表然后运行:GGSCIDBLOGIN SOURCEDB , USERID , PASSWORD GGSCIADD CHECKPOINTTABLE .-生成这个检查点记录表在 新 增 复 制 进 程 时 可 以 在 添 加 时 指 定 checkpointtable . 替代nodbcheckpoint ,使用数据库记录检查点信息。ORACLE 官方文档中,比较推荐将复制进程的检查点信息存放到
42、数据库表中进行管理, 认为在某些情况下能促进数据恢复。 并指出检查点信息量非常小, 而且是进行记录更新而非记录 插入,一个进程只对应一条记录, 在它特殊的检查点处理机制下不会对数据库造成影响。个人猜想 是当目标数据库崩溃还原后(特别是在不完全恢复的情况下) ,检查点信息能同数据库一起还原, 在数据上能利用数据库事务性与数据库保持一致, 从而在数据库正常打开后能继续进行数据同步。 但实际上并不必要, 因为数据库故障的情况多种多样, 就算检查点同步恢复后,也不能保证直接 就能启动 GoldenGate 进程。4.1.3 ddl 同步GoldenGate 的 DDL 同步只支持两边一致的数据库,限制
43、条件较多(如不能进行字段映射、 转换等),具体可以参考官方文档。 DDL 的抓取不是通过日志抓取来捕获的,而是通过 触发器来实现,所以对源数据库的性能影响要比单纯的数据抓取要大很多,可谓屏弃了 GoldenGate 的优势。尽量不要使用 GoldenGate 的 DDL 复制功能,在大多数业务系统中,实 际上不会有频繁的数据库结构变动,完全可以通过手工的方式进行维护。确实有大量 DDL 操作的环境, 如果可以, 还是推荐物理 DG 之类的替换方案; 确实要使用 GoldenGate 的 DDL 复 制,那么请详细参考官方文档的限制和说明。-以上主要为个人意见,有不同看法的请无视开启 DDL 复
44、制的基本配置步骤为:( 1)关闭 ORACLE 的回收站功能。( 2)选择一个数据库 schema 存放支持 DDL 的 GoldenGate 对象,运行相应创建脚本。3 )编辑 globals 参数文件。4 )修改 extl 和 repl 的配置文件具体操作步骤:(1)关闭数据库回收站:SQLalter system set recyclebin=off scope=both;( 2)编辑 globals 参数文件:GGSCIedit param ./globals 添加以下内容后保存:GGSCHEMA ddw - 标明支持 DDL 的 GG 对象存放在哪个 schema 下3)执行创建脚本
45、:首先需要命令行进入 GG 安装目录下,然后再运行 sqlplus 执行脚本,如果不进入目录下脚本执行会报错(应该是由于GG 脚本中子脚本嵌套使用相对路径的问题所造成)SQLmarker_setup.sqlSQLddl_setup.sql- 提示输入目标 schema- 提示输入目标 schema, 输入 initialsetup 最后输入 yesSQLrole_setup.sql-不进行该步赋权后面起进程会报错 SQLgrant GGS_GGSUSER_ROLE to ddw;SQLddl_enable.sql- 使触发器生效(4)修改提取进程和复制进程的配置文件,分别加入ddl inclu
46、de all 属性。此时 repl 必须指定 assumetargetdefs 属性,这表明只有两边数据库结构一致的情况下才可 以启用 DDL 复制。另外,开启 DDL 同步不能再只映射单表了,对整个模式下的对象都有加入 DDL 复制之后,数据复制的lag 明显增加了清除数据库中 DDL 复制的设置在实际测试中, 由于我在同一个数据库中进行映射, 映射表结构不一致, 导致进程报了 一系列的错误。这个时候需要把通过脚本创建的 GG 对象中的数据清空,安装目录下只提供了清 除对象的脚本,可以如下操作:首先要求把所有的 GG 进程停掉,包括 mgr 进程SQLddl_disable.sql -首先使
47、 DDL 触发器失效 SQLddl_remove.sqlSQLmarker_remove.sql role_setup.sql 没有对应的清除脚本,但是这块不影响配置信息的清除 然后重新再创建脚本。4.2 oracle 与 db2 同步设置 DB2 数据库参数:-DB2 命令行工具登陆 DB2- 设置 LOGRETAIN 参数-设置 USEREXIT 参数db2 connect to user using db2 get db cfg for - 查看数据库参数配置 db2 update db cfg for using LOGRETAIN ON db2 update db cfg for u
48、sing USEREXIT ON 设置完后的参数配置相关显示如下:Log retain for recovery status = RECOVERYUser exit for logging status = YES重启数据库并进行全库备份:db2 stop forcedb2 startdb2 backup db 指定归档路径: ( OVERFLOWLOGPATH 参数)db2 connect to user using db2 update db cfg using overflowlogpath GoldenGate 中执行 add trandata 补全日志:GGSCIdblogin s
49、ourcedb sample userid db2admin,password db2admin- 除 oracle 外的数据库都需要指定sourcedb 参数,指定数据库名称GGSCIadd trandata db2admin.其他的同步配置与 Oracle 中一样,需要注意的是进程配置文件中登陆 DB2 的部分都需 要指定 sourcedb 这个参数( ORACLE 不需要,指定了反而报错) 。还有就是复制进程的配置 文件中一般不能指定 assumetargetdefs 参数,因为不是结构一致的数据库,需要通过 defgen 工具生 成数据定义文件进行映射。4.3 oracle 与 syb
50、ase 同步Sybase 数据库设置使用 sybase 的 SQL Advantage ,用 sa 用户登录,执行 dbcc settrunc( ltm, valid ) 修改参数。GoldenGate 中连接 SybaseGGSCI dblogin sourcedb zhoubase userid sa password sasasa同样做如下设置GGSCIadd trandata .其他配置和 Oracle 中一样。需要注意的是, Sybase 是个区分大小写的数据库( sql server 同样)。而 Oracle 不区分大 小写,这就导致了表和字段在复制进程映射的时候, 容易因大小写问
51、题导致映射失败。 解决 方法是在表名外加上双引号或者单引号,参照如下复制进程的配置文件内容:/*replicat repsysourcedefs d:toolsGGgg10gdirdefextsy.refUSERID ddw, PASSWORD ddwreperror default, discarddiscardfile D:repsy.dsc,append,megabytes 100MAP “ dbo.BBTEST ” , TARGET “ DDW.AASYBASE; -引号区分”大小写5、GoldenGate 同步方案GoldenGate工具虽小,但它提供表级字段级同步映射,而且同步性能
52、优异、资源消耗 低,使它的灵活性很强,可以提供多种数据同步、冗灾的解决方案。5.1使用GoldenGate 初始化加载GoldenGate 方式。初始化加载架构:rnn-MCtknri tng or Loq TflWetxt rad这里所指的 GoldenGate初始化加载,只是它指提供的 官方介绍的初始化方式要么需要借助其他数据库工具(如direct load方式,因为其他几种 extract-SQL*Loader ),要么中间走了完全没必要的步骤导致性能很差(如extract-file-replicat 方式),都不算纯正的上图中,显示了初始化加载启用了两条同步路线:上面一条是真正的initial load,负责将源数据端的数据一次性发送到目标数据库;下面一条,其实就是普通的GoldenGate同步进程,负责抓取初始化
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
评论
0/150
提交评论