Linux安装和配置ogg单向数据复制支持DDL

1、本实验环境：源端redhat5.4 Oracle 目标端一、软件安装1.配置环境以 Oracle 用户登录，设置环境变量修改 .bash_profile，增加如下内容：export LD_LIBRARY_PATH=/goldengate:$ORACLE_HOME/lib:$LD_LIBRARY_PATH保存退出/goldengate 为 ogg 安装目录运行 source /.bash_profile 使环境变量生效以root用户在根目录下创建goldengate目录，此目录名可自定义：mkdir /goldengatechown oracle:oinstall R /gol

2、dengate2. 上传并解压安装文件不同的操作系统平台和oracle版本需要使用不同版本的ogg软件。使用 oracle 用户通过 ftp 上传 ogg 软件并解压缩至 /goldengate 安装目录tar zxvf *.gz 或者 gunzip *.gz 或者 tar xvf *.tar或者unzip *.zip3.创建子目录在/goldengate， ogg 安装目录下运行 GGS 命令行控制界面：cd /goldengate./ggsci在 GGS 命令行界面下创建子目录：create subdirs以上步骤在源端和目标端都要进行操作。如果ggsci无启动，说明环境就是没有配置好或对

3、应的版本不对。二、源端配置1.数据库开启归档确认数据库是否处于归档模式：Select log_mode from v$database;如果不是，开启归档模式：指定归档目录alter system set log_archive_dest_1 = location=+ASM_DATA scope=both; shutdown immediate;startup mount;alter database archivelog;alter database open;2. 开启数据库的附加日志通过以下 sql 语句检查数据库附加日志的打开状况:Select SUPPLEMENTAL_LOG_DAT

4、A_MIN from v$database;返回值 yes 为打开。如果没有开启，请执行如下命令打开alter database add supplemental log data ;alter system switch logfile;3. 开启数据库强制日志模式通过以下 sql 语句检查数据库是否开启强制日志模式:Select force_logging from v$database;返回值 yes 为打开。如果没有开启，请执行如下命令打开alter database force logging ;4. 配置管理进程在/goldengate目录下运行 GGS 命令行控制界面：cd /g

5、oldengate./ggsci确认参数文件中的端口没有被占用netstat a|grep 7809编辑参数，在 ggsci 下执行edit params mgrPORT 7809AUTOSTART ER *AUTORESTART EXTRACT *,RETRIES 100,WAITMINUTES 2PURGEOLDEXTRACTS ./dirdat/*,USECHECKPOINTS,MINKEEPDAYS 3LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 45SYSLOG ERROR,WARN各参数解释5.新建goldengate用户、

6、表空间及赋予权限SQL create tablespace tbs_ogg datafile /u01/app/oracle/oradata/mydb/tbs_ogg.dbf size 100M autoextend on;Tablespace created.SQL create user goldengate identified by goldengate default tablespace tbs_ogg;User created.SQL grant dba,connect,resource to goldengate;Grant succeeded.6.增加同步表的附加日志本实验使

7、用ogg同步SCOTT用户下的所有表如果SCOTT用户被锁定使用以下命令解锁alter user scott account unlock;alter user scott identified by 123456;SCOTT用户下有四张表SQL select table_name from user_tables;TABLE_NAME-DEPTEMPBONUSSALGRADEGGSCI (rhel5) 1 dblogin userid goldengate password goldengateSuccessfully logged into database.删除原有同步表的附加日志，如果

8、以后配置过ogg的执行GGSCI (rhel5) 2 delete trandata scott.*Logging of supplemental redo log data is already disabled for table SCOTT.BONUS.Logging of supplemental redo log data is already disabled for table SCOTT.DEPT.Logging of supplemental redo log data is already disabled for table SCOTT.EMP.Logging of su

9、pplemental redo log data is already disabled for table SCOTT.SALGRADE.增加同步表的附加日志GGSCI (rhel5) 3 add trandata scott.*2016-06-19 11:49:35 WARNING OGG-00869 No unique key is defined for table BONUS. All viable columns will be used to represent the key, but may not guarantee uniqueness. KEYCOLS may be u

10、sed to define the key.Logging of supplemental redo data enabled for table SCOTT.BONUS.Logging of supplemental redo data enabled for table SCOTT.DEPT.Logging of supplemental redo data enabled for table SCOTT.EMP.2016-06-19 11:49:35 WARNING OGG-00869 No unique key is defined for table SALGRADE. All vi

11、able columns will be used to represent the key, but may not guarantee uniqueness. KEYCOLS may be used to define the key.Logging of supplemental redo data enabled for table SCOTT.SALGRADE.WARNING OGG-00869 No unique key is defined for table BONUS. All viable columns will be used to represent the key,

12、 but may not guarantee uniqueness. KEYCOLS may be used to define the key.可以使用在参数文件中加入KEYCOLS手动指定主键，语法为table table_name,KEYCOLS (col_name,col_name,);也可以为表添加主键本实验不做添加，没有主键可能会使ogg会造成数据不同步。7.抽取进程配置文件增加配置文件 exttab.prm，加入如下内容后保存，也可以在本地创建 exttab.prm 然后加入内容后通过 FTP 工具上传到 OGG 安装目录的 dirprm 目录下， 注意根据实际情况标红部分：GG

13、SCI edit params exttabexttab.prm 内容 EXTRACT EXTTABDYNAMICRESOLUTIONSETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)SETENV (ORACLE_HOME=/u01/app/oracle/product/10.2.0/db1)SETENV (ORACLE_SID=mydb)USERID goldengate,PASSWORD goldengateDISCARDFILE ./dirrpt/exttab.dsc,APPEND,MEGABYTES 1024TRANLOGOPTIONS ASMUSE

14、R SYSASM,ASMPASSWORD 123456 -访问ASM读取日志EXTTRAIL ./dirdat/tltable scott.*各参数解释：如果主机上存在多个数据库实例，需要设置：Setenv(ORACLE_SID=sid_name) NLS_LANG需要设置和数据库语言环境一至 (select * from nls_database_parameters查询当前数据库字符集)(如果需要排除某些表，可以添加TABLEEXCLUDE TEST.TEST1，必须添加在TABLE TEST.*前面) 如果 Redo Log存储在 ASM中，设置 Catpure ASM连接方式如下： 或

15、之前版本： TRANLOGOPTIONS ASMUSER sysasminst, asmpassword oracle 直接访问ASM的方式需要配置ASM的监听，在tnsname.ora目录下添加ASM = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 20)(PORT = 1521) ) (CONNECT_DATA = (SERVICE_NAME = +ASM) (INSTANCE_NAME = +ASM) (SERVER = DEDICATED) (UR=A) ) )、或之以后版本

16、，GoldenGate为 11g或以后版本： TRANLOGOPTIONS DBLOGREADER 如果在 AIX或HPUX平台数据库的 redo log使用的是 RAW，则可能需要设置参数：TRANLOGOPTIONS RAWDEVICEOFFSET，设置此参数：TRANLOGOPTIONS RAWDEVICEOFFSET 0 -仅限于AIX平台下使用裸设备时使用，其它平台或非裸设备均不需要-需要在Aix操作系统中去查有没有偏移量,如果有偏移量的话,该参数不需要进行设置,goldengate的默认就可以了；-如果没有偏移量，则需要设置为0； 8.传输进程配置文件增加给目标库传输进程配置文件

17、dp_tab.prm，加入如下内容后保存，也可以在本地创建dp_tab.prm 然后加入内容后通过 FTP 工具上传到 OGG 安装目录的 dirprm 目录下， 注意根据实际情况替换标红部分：GGSCI edit params dp_tabdp_tab.prm 内容：EXTRACT DP_TABPASSTHRU,mgrport 7809,compressRMTTRAIL ./dirdat/tltable scott.*;9.配置 OGG 抽取进程和传输进程增加抽取进程，只有源端数据库为RAC情况才需要“ ,threads n”GGSCIadd extract exttab,tranlog,b

18、egin now,threads n建立抽取进程和队列文件关联关系GGSCIadd exttrail ./dirdat/tl, extract exttab, megabytes 200增加传输进程组GGSCIadd extract dp_tab, exttrailsource ./dirdat/tl建立传输进程和目标端队列文件关联关系GGSCIadd rmttrail ./dirdat/tl, extract dp_tab, megabytes 200启动抽取进程和传输进程GGSCIstart exttabGGSCIstart dp_tabGGSCIinfo all注：启动抽取进程和传输进程

19、前需要启动管理进程三、目标端操作1.创建goldengate用户、表空间及赋予权限SQL create tablespace tab_ogg datafile /u01/app/oracle/oradata/mydb/tab_ogg.dbf size 100M autoextend on;Tablespace created.SQL create user goldengate identified by goldengate default tablespace tab_ogg;User created.SQL grant dba,connect,resource to goldengate

20、;Grant succeeded.本实验要把数据同步到一个ogg用户下，需要先创建该用户，本步非必需。SQL create user ogg identified by 123456 default tablespace users;User created.SQL grant resource,connect,dba to ogg;Grant succeeded.2. GLOBALS 配置在/goldengate， ogg 安装目录下运行 GGS 命令行控制界面：cd /goldengate./ggsci在 ggsci 下执行edit params ./GLOBALSCHECKPOINTTA

21、BLE goldengate.checkpoint;退出 ggsci3. 创建 checkpoint 表在/goldengate， ogg 安装目录下运行 GGS 命令行控制界面：cd /goldengate./ggsci在 ggsci 下执行dblogin userid goldengate,password goldengateadd checkpointtable4. 配置管理进程在/goldengate， ogg 安装目录下运行 GGS 命令行控制界面：cd /goldengate./ggsci确认参数文件中的端口没有被占用netstat a|grep 7809编辑参数，在 ggsci

22、 下执行edit params mgrPORT 7809AUTOSTART ER *AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 455. 启动管理进程start mgr到/goldengate/dirdat目录下查看有没有队列文件tl*传过来6. 复制进程配置文件增加到目标库复制进程的配置文件 reptab.prm，加入如下内容后保存

23、，也可以在本地创建reptab.prm 然后加入内容后通过 FTP 工具上传到 OGG 安装目录的 dirprm 目录下， 注意根据实际情况替换标红部分：GGSCI edit params reptabreptab.prm 内容（其中环境变量 NLS_LANG 与源端保持一致）：replicat reptabSETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)SETENV (ORACLE_SID=mydb)userid goldengate,password goldengatereperror default,discarddiscardfile /gold

24、engate/dirrpt/reptab.dsc,append,megabytes 1024dynamicresolutionASSUMETARGETDEFSmap scott.*, target ogg.*;In the Replicat param Please try ASSUMETARGETDEFS , if source and target have same table structure. if both the structures are different , generate the source definition and use SOURCEDEFS in Rep

25、licate Param.7. 配置 OGG 复制进程./ggsci增加到目标库的复制进程GGSCIadd replicat reptab, exttrail ./dirdat/mo,checkpointtable ogg.checkpoint配完后暂时不要启动进程四、数据初始化OGG 进程正式运行前必须确保源端和目标端的数据是一致的，所以必须进行数据初始化。以下数据初始化采用数据泵的方式执行，在数据初始化前，必须确保源端抽取进程为运行状态，目标端复制进程为停止状态（源端传输进程无要求）。1.源端导出数据以下命令注意根据实际情况替换标红部分：使用 oracle 用户登录源端系统，进入 OGG

26、安装目录/goldengate下，创建导出数据文件目录，如：expdp_data，$mkdir expdp_data$sqlplus /nologSQLconn / as sysdbaSQLselect * from dba_directories;创建数据导出目录和赋权SQLcreate directory ogg_dump_dir as /goldengate/expdp_data;SQLgrant read,write on directory ogg_dump_dir to scott;查询当前数据库的 SCN 号，并记录下来， 下一步要用到SQLselect current_scn

27、from v$database;CURRENT_SCN-631836SQLexit导出数据文件expdp scott/tiger directory=ogg_dump_dir dumpfile=scott_20151230.dmp tables=EMP,DEPT,BONUS,SALGRADE logfile=scott.log flashback_scn=631836如果tables参数过长，也可以使用parfile=scott_tab.par scott_tab.par 文件内容如下tables=EMP,DEPT,BONUS,SALGRADE将生成的 DMP 文件复制到目标端的/golden

28、gate/impdp_data（如果不存在，需先创建此目录） 目录下，也可通过 FTP 工具先下载到本地再上传到目标端相应目录scp scott_20151230.dmp oracle01:/goldengate/impdp_data2.目标端导入数据以下命令注意根据实际情况替换标红部分：使用 oracle 用户登录目标端系统，进入 OGG 安装目录下，创建导入数据文件目录，如：/impdp_data，oraclejlptgwdb goldengate$mkdir impdp_dataoraclejlptgwdb goldengate$sqlplus /nologSQL

29、conn / as sysdba创建数据导入目录和赋权SQLselect * from dba_directories;SQL create directory ogg_dump_dir as /goldengate/impdp_data;SQLgrant read,write on directory ogg_dump_dir to ogg;如果导出数据使用的用户名和表空间与目标端不同，请在导入 impdp 命令中加入REMAP_SCHEMA 参数和 REMAP_TABLESPACE 参数$impdp ogg/123456 directory=ogg_dump_dir dumpfile=sc

30、ott_20151230.dmp logfile=table.log table_exists_action=replace remap_schema=scott:ogg remap_tablespace=users:tbs13.启动复制进程./ggsci此处 SCN 号为导出数据时查询的 SCN 号GGSCI start reptab, aftercsn 631836ogg配置完成，可以进行测试五、添加DDL复制支持1.源端配置进入 goldengate安装目录，以sysdba角色进入sqlplusoracleprimary goldengate$ sqlplus / as sysdba关闭

31、数据库回收站(11G以后可以不用关)SQL alter system set recyclebin=off scope=both;清空回收站SQL purge recyclebin运行goldengate DDL支持配置脚本，顺序必须一致SQL marker_setup.sqlSQL ddl_setup.sqlSQL role_setup.sqlSQL marker_setup.sqlMarker setup scriptYou will be prompted for the name of a schema for the GoldenGate database objects.NOTE:

32、 The schema must be created prior to running this script.NOTE: Stop all DDL replication before starting this installation.Enter GoldenGate schema name:goldengateMarker setup table script complete, running verification script.Please enter the name of a schema for the GoldenGate database objects:Setti

33、ng schema name to GOLDENGATEMARKER TABLE-OKMARKER SEQUENCE-OKScript complete.SQL ddl_setup.sql GoldenGate DDL Replication setup scriptVerifying that current user has privileges to install DDL Replication.Checking user sessions.There are 2 user sessions currently open (first 3 are shown):PROGRAM OS_U

34、SER USERNAME- - -SID SER# PID- - -extractrhel5 (TNS V oracle GOLDENGATE143 21 21388extractrhel5 (TNS V oracle GOLDENGATE147 34 21387IMPORTANT: Oracle sessions that used or may use DDL must be disconnected. If you continue, some of these sessions may cause DDL to fail with ORA-6508.To proceed, enter

35、yes. To stop installation, enter no.Enter yes or no:yesYou will be prompted for the name of a schema for the GoldenGate database objects.NOTE: For an Oracle 10g source, the system recycle bin must be disabled. For Oracle 11g and later, it can be enabled.NOTE: The schema must be created prior to runn

36、ing this script.NOTE: Stop all DDL replication before starting this installation.Enter GoldenGate schema name:goldengateYou will be prompted for the mode of installation.To install or reinstall DDL replication, enter INITIALSETUPTo upgrade DDL replication, enter NORMALEnter mode of installation:INIT

37、IALSETUPWorking, please wait .Spooling to file ddl_setup_spool.txtUsing GOLDENGATE as a GoldenGate schema name, INITIALSETUP as a mode of installation.Working, please wait .RECYCLEBIN must be empty.This installation will purge RECYCLEBIN for all users.To proceed, enter yes. To stop installation, ent

38、er no.Enter yes or no:yesDDL replication setup script complete, running verification script.Please enter the name of a schema for the GoldenGate database objects:Setting schema name to GOLDENGATEDDLORA_GETTABLESPACESIZE STATUS:Line/pos-Error-No errorsNo errorsCLEAR_TRACE STATUS:Line/pos-Error-No err

39、orsNo errorsCREATE_TRACE STATUS:Line/pos-Error-No errorsNo errorsTRACE_PUT_LINE STATUS:Line/pos-Error-No errorsNo errorsINITIAL_SETUP STATUS:Line/pos-Error-No errorsNo errorsDDLVERSIONSPECIFIC PACKAGE STATUS:Line/pos-Error-No errorsNo errorsDDLREPLICATION PACKAGE STATUS:Line/pos-Error-No errorsNo er

40、rorsDDLREPLICATION PACKAGE BODY STATUS:Line/pos-Error-No errorsNo errorsDDL HISTORY TABLE-OKDDL HISTORY TABLE(1)-OKDDL DUMP TABLES-OKDDL DUMP COLUMNS-OKDDL DUMP LOG GROUPS-OKDDL DUMP PARTITIONS-OKDDL DUMP PRIMARY KEYS-OKDDL SEQUENCE-OKGGS_TEMP_COLS-OKGGS_TEMP_UK-OKDDL TRIGGER CODE STATUS:Line/pos-Er

41、ror-No errorsNo errorsDDL TRIGGER INSTALL STATUS-OKDDL TRIGGER RUNNING STATUS-ENABLEDSTAYMETADATA IN TRIGGER-OFFDDL TRIGGER SQL TRACING-0DDL TRIGGER TRACE LEVEL-0LOCATION OF DDL TRACE FILE-/u01/app/oracle/admin/mydb/udump/ggs_ddl_trace.logAnalyzing installation status.STATUS OF DDL REPLICATION-SUCCE

42、SSFUL installation of DDL Replication software componentsScript complete.SQL role_setup.sqlGGS Role setup scriptThis script will drop and recreate the role GGS_GGSUSER_ROLETo use a different role name, quit this script and then edit the params.sql script to change the gg_role parameter to the prefer