goldengate安装手册(bigdata v12.2)

*Oracle goldengate 安装手册 1 公司 Oracle Goldengate 安装手册 *Oracle goldengate 安装手册 2 目录 1 Goldengate 安装说明 3 1.1 总体说明 .3 1.2 添加环境变量 .3 1.3 GG 软件的安装（源和目标系统均需要安装） .4 1.4 开启源端数据库附加日志 .5 1.5 数据库 版本参数修改 .6 1.6 配置 GLOBALS .6 1.7 配置定义文件 .6 1.8 建立 OGG 进程和队列 6 2 数据初始同步 11 2.1 将源端数据导入之中间库 .11 2.2 将中间库数据导入至 Hadoop.11 2.3 目标启动 replicat 进程并追加增量数据 .11 *Oracle goldengate 安装手册 3 1 Goldengate 安装说明 1.1 总体说明 Goldengate 软件目录的属主为 oracle:dba，权限为 775; Goldengate 目录一般是建立在共享存储上，这样实际上 goldengate 的软件和 相应的文件如参数文件，队列文件等都是在共享存储上的。这样做的好处是， 例如在 RAC 环境下，如果一台服务区宕机，则可以将$GG_HOME mount 到另外一 个正常的 rac 节点上，启动 goldengate 各个进程就可以了，不需要做任何其他 的动作; 本次测试过程是部署在 gpfs 文件系统上。 1.2 添加环境变量 在 oracle 用户下增加环境变量： 源端： export GG_HOME=/data/oggo export PATH=$PATH:$GG_HOME export LIBPATH=$GG_HOME:$ORACLE_HOME/lib 目标端 bigdata：要求必须 jdk1.7 export GG_HOME=/data/oggt export PATH=$PATH:$GG_HOME export LD_LIBRARY_PATH=$GG_HOME:/usr/lib/jvm/java-1.7.0-openjdk- 5.x86_64/jre/lib/amd64/server Platform Environment variable IBM AIX LIBPATH HP-UX SHLIB_PATH Sun Solaris LD_LIBRARY_PATH HP Tru64 (OSF/1) LINUX *Oracle goldengate 安装手册 4 1.3 GG 软件的安装（源和目标系统均需要安装） 1)使用 Oracle 用户（如非此用户，请自行取代，下同）通过 ftp 上传 GGS 软件到安装 目录下并解压缩： unzip fbo_ggs_Linux_x64_shiphome.zip.zip 修改参数文件： cd fbo_ggs_Linux_x64_shiphome/Disk1/response 执行 vi oggcore.rsp 修改一下参数： INSTALL_OPTION=ORA11g SOFTWARE_LOCATION=/data/oggo DATABASE_LOCATION=/usr/lib/oracle/u01/app/oracle 执行 runInstaller 开始安装： ./runInstaller -silent -nowait -responseFile /data/oggo/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp 2) 在/goldengate 目录下运行 GGS 命令行控制界面： ./ggsci 3) 在 GGS 命令行界面下创建子目录： GGSCI create subdirs *Oracle goldengate 安装手册 5 1.4 开启源端数据库附加日志 1）检查附加日志情况 使用以下 sql 语句检查数据库附加日志的打开状况 : Select SUPPLEMENTAL_LOG_DATA_MIN ,SUPPLEMENTAL_LOG_DATA_PK ,SUPPLEMENTAL_LOG_DATA_UI ,SUPPLEMENTAL_LOG_DATA_FK ,SUPPLEMENTAL_LOG_DATA_ALL , FORCE_LOGGING from v$database; 2）打开数据库附加日志 打开附加日志并切换日志（保证 Online redo log 和 Archive log 一致） 在 mount 状态下打开归档日志： Alter database archivelog; alter database add supplemental log data ; 或全部打开： alter database add supplemental log data(primary key,unique) columns; alter database force logging; 3）创建 Goldengate 用户 create tablespace ogg datafile /data/oradata/orcl/ogg.dbf size 1G; create user ogg identified by ogg default tablespace ogg; GRANT execute on DBMS_SQL to ogg; grant EXEMPT ACCESS POLICY to ogg; grant create table to ogg; grant create sequence to ogg; alter user ogg quota unlimited on ogg; GRANT CONNECT TO ogg; GRANT RESOURCE TO ogg; GRANT DBA TO ogg; GRANT CREATE SESSION TO ogg; GRANT ALTER SESSION TO ogg; GRANT SELECT ANY DICTIONARY TO ogg; GRANT SELECT ANY TABLE TO ogg; GRANT FLASHBACK ANY TABLE TO ogg; GRANT ALTER ANY TABLE TO ogg; GRANT ALTER SYSTEM TO ogg; GRANT SELECT on dba_clusters TO ogg; GRANT EXECUTE ON utl_file TO ogg; *Oracle goldengate 安装手册 6 BEGIN DBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGE( Grantee = OGG, privilege_type = CAPTURE, grant_select_privileges = TRUE, do_grants = TRUE); END; / 4)打开表级附加日志 alter table ogg.test add supplemental log data(all) columns; alter table SMODEL_JLJ.CM_PORT add supplemental log data(all) columns; alter table SMODEL_JLJ.CM_LINK add supplemental log data(all) columns; . 1.5 数据库 版本参数修改 从数据库 版本开始，需要在源和目标端数据库上同时修改 ENABLE_GOLDENGATE_REPLICATION 参数： sqlplus / as sysdba alter system set ENABLE_GOLDENGATE_REPLICATION=true scope=both; 1.6 配置 GLOBALS 编辑 GLOBALS： EDIT PARAMS ./GLOBALS GGSCHEMA ogg 1.7 配置定义文件 ./ggsci . 1.8 建立 OGG 进程和队列 （1） MGR 参数和进程（源和目标均需要配置） cd $GG_HOME ./ggsci ggsciedit param mgr -源端 PORT 7809 *Oracle goldengate 安装手册 7 DYNAMICPORTLIST 7840-7914 -AUTORESTART EXTRACT *, RETRIES 5, WAITMINUTES 3, RESETMINUTES 60 PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1 LAGREPORTHOURS 1 LAGINFOMINUTES 30 LAGCRITICALMINUTES 45 ggsciedit param mgr -目标端 PORT 17809 DYNAMICPORTLIST 17810-17820 -AUTORESTART REPLICAT *, RETRIES 5, WAITMINUTES 3, RESETMINUTES 60 PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1 LAGREPORTHOURS 1 LAGINFOMINUTES 30 LAGCRITICALMINUTES 45 配置完成后，源和目标均启动： ggsci start mgr （2） 源端配置 extract 和 pump 进程（根据用户实际环境填写） 配置服务器 A 捕获进程 cd $GG_HOME ./ggsci ggsciedit param ext_jl 具体 ext_jl.prm 内容如下： EXTRACT ext_jl SETENV (NLS_LANG=“AMERICAN_AMERICA.ZHS16GBK“) USERID ogg, PASSWORD ogg DISCARDFILE ./dirrpt/ext_jl.dsc, APPEND, MEGABYTES 100 TRANLOGOPTIONS dblogreader DBOPTIONS ALLOWUNUSEDCOLUMN WARNLONGTRANS 2h,CHECKINTERVAL 3m FETCHOPTIONS NOUSESNAPSHOT TRANLOGOPTIONS CONVERTUCS2CLOBS -ddl include mapped EXTTRAIL ./dirdat/jl -TRANLOGOPTIONS ALTARCHIVELOGDEST PRIMARY INSTANCE oraXPAD1 /gg/sarch1, ALTARCHIVELOGDEST INSTANCE oraXPAD2 /gg/sarch2 WILDCARDRESOLVE DYNAMIC dynamicresolution GETUPDATEBEFORES NOCOMPRESSUPDATES NOCOMPRESSDELETES *Oracle goldengate 安装手册 8 gettruncates TABLE SMODEL_JLJ.*, tokens (INDICATOR=GETENV(GGHEADER,BEFOREAFTERINDICATOR); TABLE gg.tcustmer, tokens (INDICATOR=GETENV(GGHEADER,BEFOREAFTERINDICATOR); 配置传输进程 cd $GG_HOME ./ggsci ggsciedit param dpe_jl 具体 dpe_jl.prm 内容如下： EXTRACT dpe_jl PASSTHRU RMTHOST 6, MGRPORT 17809 RMTTRAIL ./dirdat/jl DYNAMICRESOLUTION GETTRUNCATES TABLE SMODEL_JLJ.*; table gg.tcustmer; 增加 ext 和 pump 进程以及队列： cd $GG_HOME ./ggsci ADD EXTRACT ext_jl, TRANLOG, BEGIN NOW ADD EXTTRAIL ./dirdat/jl, EXTRACT ext_jl, MEGABYTES 200 ADD EXTRACT dpe_jl, EXTTRAILSOURCE ./dirdat/jl ADD RMTTRAIL ./dirdat/jl, EXTRACT dpe_jl, MEGABYTES 200 （3） 配置 hdfs 投递进程 创建 hdfs 目录： su hjpt hadoop fs mkdir /data/hjpt/itf/hqit/oss/jl hadoop fs ls /data/hjpt/itf/hqit/oss/jl hadoop fs -chmod -R +w /data/hjpt/itf/hqit/oss/oss/jl 设置 HDFS_HOME 环境变量 ./ggsci ggsciedit param hive_jl 具体 hive_jl.prm 内容如下： REPLICAT hive_jl TARGETDB LIBFILE libggjava.so SET property=dirprm/hdfs_ps GETUPDATEBEFORES gettruncates *Oracle goldengate 安装手册 9 DISCARDFILE ./dirrpt/ hive_jl.dsc, purge REPORTCOUNT EVERY 1 MINUTES, RATE GROUPTRANSOPS 2000 MAXTRANSOPS 5000 MAP gg.*, TARGET gg.*; MAP SMODEL_JLJ.*, TARGET SMODEL_JLJ.*; 配置 hdfs_ps 内容如下： gg.handlerlist=hdfs gg.handler.hdfs.type=hdfs gg.handler.hdfs.includeTokens=true gg.handler.hdfs.maxFileSize=256m gg.handler.hdfs.rootFilePath=/data/hjpt/itf/hqit/oss/jl gg.handler.hdfs.fileRollInterval=0 gg.handler.hdfs.inactivityRollInterval=0 gg.handler.hdfs.fileSuffix=.txt gg.handler.hdfs.partitionByTable=true gg.handler.hdfs.rollOnMetadataChange=true gg.handler.hdfs.authType=none gg.handler.hdfs.format=delimitedtext gg.handler.hdfs.format.includeColumnNames=false gg.handler.hdfs.mode=tx # gg.handler.hdfs.format.includeOpTimestamp=true gg.handler.hdfs.format.includeCurrentTimestamp=true gg.handler.hdfs.format.insertOpKey=I gg.handler.hdfs.format.updateOpKey=U gg.handler.hdfs.format.deleteOpKey=D gg.handler.hdfs.format.truncateOpKey=T gg.handler.hdfs.format.encoding=UTF-8 gg.handler.hdfs.format.fieldDelimiter=CDATAu0001 #gg.handler.hdfs.format.fieldDelimiter=| gg.handler.hdfs.format.lineDelimiter=CDATAn gg.handler.hdfs.format.includeTableName=true gg.handler.hdfs.format.keyValueDelimiter=CDATA= #gg.handler.hdfs.format.kevValuePairDelimiter=CDATA, gg.handler.hdfs.format.pkUpdateHandling=update gg.handler.hdfs.format.nullValueRepresentation= gg.handler.hdfs.format.missingValueRepresentation=CDATA gg.handler.hdfs.format.includePosition=false # goldengate.userexit.timestamp=utc goldengate.userexit.writers=javawriter javawriter.stats.display=TRUE *Oracle goldengate 安装手册 10 javawriter.stats.full=TRUE gg.log=log4j gg.log.level=INFO gg.report.time=30sec gg.classpath=/etc/hadoop/conf.empty:/usr/lib/hadoop/*:/usr/lib/hadoop-hdfs/lib/*:/usr/lib/hadoop- hdfs/*:/usr/lib/hadoop/lib/* javawriter.bootoptions=-Xmx8200m Xms8192m -Djava.cla