Goldengate配置介绍材料

1、目录1 综述 31.1 目的31.2 原则32 OGG计原则 42.1 OGG的版本及下载422GoldenGate 运行用户42.3 为GoldenGate运行用户配置环境变量 42.4 网络设置42.5 GoldenGate 安装位置42.6 OGG DDL复制52.7 OGG数据复制链路结构 52.8 OGG进程命名规则62.8.1 总述62.8.2 主Extract进程命名规则 62.8.3 本地队列命名规则 62.8.4 Data Pump Extract 进程命名规贝0 72.8.5 本地队列命名规则 72.8.6 Replicat进程命名规则 72.9 OGG进程数量设计 82.

2、9.1 主 Extract进程设计 82.9.2 Data Pump 进程设计 82.9.3 Replicat 进程设计 93 GG实施步骤 103.1 准备103.2 仓U建运行GoldenGate的用户113.3 安装GoldenGate113.4 添加变量123.5 增加附加日志123.6 OGG源端配置123.6.1 MGR进程参数模板 12362 主Extract进程参数模板 13363 Data Pump传输进程参数模板 153.7 OGG目标端配置163.7.1 安装 GoldenGate163.7.2 添加变量163.7.3 MGR进程配置 173.7.4 数据入库 Repli

3、cat进程参数模板 173.8 启动 GoldenGate 进程193.8.1 启动源端管理进程 193.8.2 启动目标端管理进程 193.8.3 启动源端抽取进程 193.8.4 启动源端传输进程 193.8.5 启动目标端入库进程 194 GG初始化说明 204.1 数据库说明204.2 数据库信息204.3 Goldengate同步内容204.3.1 个税内咅E Goldengate进程说明 204.3.2与外部其他系统 Goldengate进程说明 204.4 附件错误!未定义书签。1综述1.1目的本文档作为实施人员在使用Oracle Golde nGate数据复制时作为详细设计的指

4、导性规范。1.2原则在实施整个项目过程中实现各进程命令的规范化，并提供规划数据复制链路的设计原则。2 OGG设计原则2.1 OGG的版本及下载AIX 系统下目前安装的是 ggs_AIX_ppc_ora11g_64bit.tar 。Linux64 位系统目前安装的是 fbo_ggs_Linux_x64_ora11g_64bit.tar 。版本都为.3。2.2 GoldenGate 运行用户国网直接使用oracle运行用户运行 OGG，完全遵循Oracle已有用户属组和权限。2.3为GoldenGate运行用户配置环境变量确保为 oracle和OGG运行用户配置动态库路径。确保Or

5、acle数据库的运行库(/lib )添加到操作系统的动态库环境变量中：LD_LIBRARY_PA TH(Solaris, Linux), LIBPA TH (AIX), SHLIB_PATH (HPUX)。2.4网络设置OGG只需要复制两端的IP地址之间能够建立 TCP连接。防火墙添加策略参考 防火墙策略申请表(目前版本要填写两份， 保证策略是双向的) 即可。2.5 GoldenGate 安装位置由于是测试环境，当前并没有产生归档，检查当前OGG空间充足，用于 OGG本身的安装以及缓存数据队列，可以参照以下原则配置OGG安装位置：? 一个数据库上有多个 Oracle实例同样安装一套 Golde

6、nGate;? OGG安装位置统一为/Golgengate目录2.6 OGG DDL 复制日常复制中，原则上不建议打开DDL复制。因为：1 DDL的捕捉是通过源端建立 Trigger来实现的，会对源数据库产生性能影响，尤其是 对于业务量大的业务系统；2由于两端的数据库存储结构和对象等不可能完全一致，源端能够执行的DDL语句到了目标端不一定能够执行成功，为此打开DDL复制需要较大的维护工作量；3源端数据库发生 DDL变化时，可以通过在目标端同样打补丁的方式予以解决，而不 通过DDL复制。如确因业务需求需要考虑打开DDL复制，可以采取在业务较闲阶段打开DDL复制的Trigger观察其对业务系统影响

7、，如没有性能上的较大降低，可以考虑保留DDL复制。需实时对于业务系统进行监控，观察其在业务高峰期是否正常。DDL复制建议只复制最小的集合，女口 table、index、create user等。2.7 OGG数据复制链路结构Oracle GoldenGate数据复制的链路结构如下图所示:1）源端首先配置一个主Extract进程，负责从数据库日志中解析数据，然后将数据写入到本地队列；2）源端再配置一个 Data Pump Extract，用于将本地队列经由网络传输到目标端的远程队列；3）目的端配置replicat进程，负责将传输到目标的队列文件写入数据库。2.8 OGG进程命名规则2.8.1总述

8、OGG的进程命名遵循规则1）长度不超过8;2）只建议包含字母和下划线，不建议使用数字和其它特殊字符。OGG的队列命名遵循规则队列名称包含绝对路径或相对路径，以及作为标识的两个字母，如./dirdat/rt和/Goldengate/dirdat/rt均可，建议使用相对路径。2.8.2主Extract进程命名规则主Extract的命令建议格式如下：e +源端数据属性或对应数据库缩写+ “ _目标数据库+ extract序列号其中1）前面的一个字母e表示本进程为主 Extract，负责抽取数据库日志；2）下划线左边是源端复制的数据属性或者数据对应的源端数据库缩写，下划线右边对应目标数据库的缩写；3）

9、由于两个库之间可能有多个复制进程，在这就添加一个Extract序列号以示区别。举例：egs_zj9, ehx_jq0,phx_jk7具体进程数量请参考下节的介绍。2.8.3本地队列命名规则本地队列命名建议格式如下：/dirdat/xx或./dirdat/xx建议尽量采用相对路径格式，后面的两位字母一般为本地队列定义为g+一个标识字母，标识字母可以根据 extract进程确定，有助于显式地将extract进程与队列联系起来。例如：./dirdat/ga2.8.4 Data Pump Extract 进程命名规则Data Pump Extract的命名建议格式如下：P+源端数据属性或对应数据库缩写

10、 + “ _ ”目标数据库+ extract序列号其中1）dpe表示本进程为 data pump extract，以与主 extract区分开。2）后面几位命名要求严格与extract对应，即extract如果是egs_zj9,则对应的datapump进程命令为pgs_zj9，以便于识别那个 dpe与哪个ext进程对应。2.8.5本地队列命名规则本地队列命名建议格式如下：/dirdat/xx或./dirdat/xx建议尽量采用相对路径格式，后面的两位字母一般远程队列定义为r+ 一个标识字母，标识字母保持与本地队列一致。例如，本地队列./dirdat/ga，远程队列./dirdat/ra。2.8

11、.6 Replicat进程命名规则Replicat的命名建议格式如下：r+源端数据属性或对应数据库缩写+ “_”目标数据库+投递序列号其中1）前面一个字母r表示本进程为replicat进程，负责向数据库投递数据；2）下划线左边是源端复制的数据属性或者数据对应的源端数据库缩写，下划线右边对应目标数据库的缩写；3）如果一个队列数据较多，需要拆分为多个replicat，则可以在后面加上1-2位阿拉伯数字的序列号以示区别。以下为一个复制链路的命名示例，其中有一个extract和一个data pump和三个replicat:Extract:ezsj_gs1本地队列：./dirdat/ zgData Pu

12、mp Extract:pzsj_gs1远程队列：./dirdat/ rgReplicat:rzsj_gs12.9 OGG进程数量设计2.9.1主Extract进程设计Oracle GoldenGate的Extract进程处理能力根据主机、操作系统、内存、磁盘10等因素会有所不同，但其总体处理能力较强，请参照以下原则设定其数量：1）对于每个数据库实例至少需要一个单独的extract ；2）各进程之间应当分别负责不同的数据库实例、schema、业务表集合，并且各进程之间尽量实现负载均衡。2.9.2 Data Pump 进程设计仅一条：1） Data Pump 与主 Extract 必须一一对应。2

13、93 Replicat进程设计Replicat进程设计原则如下：1）每个远程队列至少有一个replicat负责；2）每个replicat进程能够处理的队列大小要根据系统配置、数据库性能、数据结构如 表是否有主键和索引等而定，一般需要经过一段时间实际运行方可获得可靠数据。相对extract而言，replicat的处理能力要差很多，经常需要将一个trail拆分为多个replicat并行处理。3）Replicat如需拆分，按照schema、业务所涉及表范围、表名称前缀等方法进行依次拆分，经常需要多次拆分方能达到最佳效果。可以查看源端extract的报告或者使用stats命令找出变化较频繁的表，为一个

14、或几个这些大数量级表单独配置投递进程。以下为一个trail拆分为多个replicat的示例:Extract 示例：EXTRACT extgbsete nv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )USERID golde ngate, PASSWORD XXXXEXTTRAIL ./dirdat/gbDyn amicresoluti on-这里共有两个schematable UCR_UIF1.*;table UCR_UEC.*;Data Pump 与 Extract 类似，略。Replicat 示例:replicatrepgbp sete nv ( NL

15、S_LANG = AMERICAN_AMERICA.ZHS16GBK )USERID golde ngate, PASSWORD XXXXDyn amicresoluti on-本 replicat 负责一个 schemamap UCR_UIF1.*, target UCR_UIF1.*;replicatrepgbtsete nv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )USERID golde ngate, PASSWORD XXXXDyn amicresoluti on-本replicat负责另一个schema中的一张大表MapUCR_UEC.TF_

16、O_SELFSERVICE_STATE,targetUCR_UEC.TF_O_SELFSERVICE_STATE;replicatrepgbusete nv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )USERID golde ngate, PASSWORD XXXX dyn amicresoluti on-本replicat负责另一个schema中除去上述大表外的所有表MAPEXCLUDE UCR_UEC.TF_O_SELFSERVICE_STATmap UCR_UEC.*, target UCR_UEC.*;3 GG实施步骤3.1准备a. 为Golden

17、Gate软件划分目录为/Goldengate，存储空间充足;b. 数据库必须处于归档模式，建议保留10天的归档日志；c. 不同厂商之间数据同步由双方工程师共同确定所需要复制的表以及划分复制通道。d. 为GoldenGate防火墙开端口 7809, 7840-7850 （在源和目标端）3.2创建运行GoldenGate的用户1）在源端采用ORACLE用户运行GoldenGate2）创建 GG安装位置：/Goldengate3）创建GoldenGate数据库用户ggs$ sqlplus / as sysdbaSQL create user ggs ide ntified by XXXX;SQL g

18、rant conn ect, resource, dba to ggs;SQL exit;4）检查源端数据库是否为归档模式，若为非归档模式，将其改为归档模式SQLarchive log list;5）检查源端数据库附加日志是否打开SQLselect suppleme ntal_log_data_m in from v$database;a）将数据库附加日志打开SQLalter database add suppleme ntal log data;b）切换日志以使附加日志生效-SQL Alter system switch logfile;Select * from v$tra nsact i

19、on3.3 安装 GoldenGate通过sftp上传GoldenGate软件包道安装目录，并解压缩tar -xvf *.tar在 ggsci 环境下创建 GoldenGate 子目录，create subdirsShellggsciGGSCI CREATE SUBDIRSGGSCI EXIT3.4添加变量vi .bash_profileexport GG_HOME=/Golde ngateexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:$GG_HOME:$LD_LIBRARY_PATH3.5增加附加日志在GGSCI命令行中登陆数据库，为需要复制的数据表添加tr

20、andataa) 执行完毕通过下列 sql检查，查看那些表已经添加了附加日志:Info tradataschema.tableb) 如果发现尚有部分表未添加附加日志，需有手工添加，例：Ggscidblogi nu seridggs,password XXXX如果该表有主键：Ggsciadd tran dataschema.tableGgsciadd tran dataschema.table-Ggsciadd tran data schema.*3.6 OGG源端配置现在以一条完整的链路为例，详细演示各进程的配置方法。3.6.1 MGR进程参数模板GGSCIedit param mgr-Man

21、ager使用的端口port 7809DYNAMICPORTLIST 7840-7850-自动启动所有的Extract进程-AUTOSTART EXTRACT *-自动重启所有的Extract，每隔2分钟重试，重试次数 5次AUTORESTART EXTRACT *,RETRIES 5,W AITMINUTES 2-每隔1小时检查延迟报告-LAGREPORTHOURS 1-每隔30分钟检查延迟，如果超过延迟阀值，将写入错误日志-LAGINFOMINUTES 30-延迟阀值45分钟-LAGCRITICALMINUTES 453.6.2主Extract进程参数模板当前源端 IP: 100.12.XX

22、X.XXX SID : bjscgshxl为egs_zj9进程配置参数：GGSCIedit param egs_zj9-Extract进程名EXTRACT egs_zj9-设置环境变量SETENV (ORACLE_SID=bjscgshx1)SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)-GoldenGate用户名、密码useridggs,password XXXX-捕获Truncate操作 GETTRUNCATESREPORT AT 01:59REPORTROLLOVER AT 02:00TRANLOGOPTIONS CONVERTUCS2CLOBS

23、EXTTRAIL ./dirdat/xtNUMFILES 3000EOFDELAYCSECS 30GETTRUNCATEStranl ogopti on sasmusersysasm, asmpassword XXXX-动态解析表名DYNAMICRESOLUTIONDBOPTIONS ALLOWUNUSEDCOLUMNFETCHOPTIONS NOUSESNAPSHOTFETCHOPTIONS SUPPRESSDUPLICATESFETCHOPTIONS FETCHPKUPDA TECOLS WARNLONGTRANS 3H, CHECKINTERV AL 3MTABLE GS_HX.CS_F

24、YKCBZ;TABLE GS_HX.DM_DJ_BGDJXM;? 添加egs_zj9进程，从数据库日志中抓取有效数据GGSCI (HYGSDBDQ03) 11 add extract egs_zj9, tran log, threads 2, begin nowGGSCI (HYGSDBDQ03) 14 add exttrail ./dirdat/ xt,extract egs_zj9,megabytes 100? 检查配置情况:GGSCI INFO EXTTRAIL *GGSCI START EXTRACT egs_zj9GGSCI VIEW REPORT egs_zj9363 Data P

25、ump传输进程参数模板对应的抽取进程为 egs_zj9为对相应的抽取进程配置相应的传输进程：GGSCIedit param pgs_zj9-Data Pump进程名称EXTRACT pgs_zj9-设置环境变量SETENV (ORACLE_SID=bjscgshx1)SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)REPORT AT 01:59REPORTROLLOVER AT 02:00FLUSHCSECS 30NUMFILES 3000EOFDELAYCSECS 30-目标机器IP和端口RMTHOST 100.12.98.XX,MGRPORT 7809

26、, TCPBUFSIZE 100000, TCPFLUSHBYTES300000-队列文件在目标端的存放位置rmttrail ./dirdat/zf-采用pass-through模式处理表PASSTHRU-动态解析表名DYNAMICRESOLUTION-要复制的表清单TABLE GS_HX.*;添加pgs_zj9进程，将本地队列的数据抽取出来GGSCI (HYGSDBDQ03) 33 add extract pgs_zj9,exttrailsource ./dirdat/xt?添加远端队列，将pgs_zj9进程捕捉到的数据将写入该队列GGSCI (HYGSDBDQ03) 34 add rmtt

27、rail ./dirdat/rt, extract pgs_zj9, megabytes 100? 检查配置情况GGSCI START EXTRACT pgs_zj9GGSCI INFO EXTRACT pgs_zj93.7 OGG目标端配置3.7.1 安装 GoldenGate通过sftp上传GoldenGate软件包道安装目录，并解压缩tar -xvf *.tar在 ggsci 环境下创建 GoldenGate 子目录，create subdirsShellggsciGGSCI CREATE SUBDIRSGGSCI EXIT3.7.2添加变量在oracle用户的.bash_profile

28、文件中添加：vi .bash_profileexport GG_HOME=/Golde ngateexport LD_LIBRARY_PA TH=$ORACLE_HOME/lib:$GG_HOME:$LD_LIBRARY_PATH3.7.3 MGR进程配置GGSCIedit parammgr-Manager使用的端口port 7809DYNAMICPORTLIST 7840-7850-自动启动所有的 Extract进程-AUTOSTART EXTRACT *-自动重启所有的 Extract，每隔2分钟重试，重试次数 5次AUTORESTART EXTRACT *,RETRIES 5,W AIT

29、MINUTES 2-每隔1小时检查延迟报告LAGREPORTHOURS1-每隔3分钟检查延迟，如果超过延迟阀值，将写入错误日志LAGINFOMINUTES 3-延迟阀值5分钟LAGCRITICALMINUTES 53.7.4数据入库Replicat进程参数模板当前目标端IP: 100.12.XX.XXSID : bjsczsj1GGSCIedit params rgs_zj9-Replicat进程名称replicat rgs_zj9SETENV (ORACLE_SID=bjsczsj1)SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8) -GoldenGate用户名、密码USERID ggs , PASSWORD XXXXsqlexec Alter sessi on set commit_write=no waitREPORT AT 01:59REPORTROLLOVER AT 02:00-除重处理-HANDLECOLLISIONSREPERROR DEFAU