OGG学习笔记.docx

精品文档一. OGG概述TDM 事物数据管理结构拓扑管理工具验证数据工具报价二OGG体系结构2.1 OGG的用途从源数据库通过事物日志捕获数据的变化并更新目标数据库。（源数据库和目标数据库都ONLINE）批量处理（初始化加载，执行一次），主要用于异构数据库的同步（oraclemysql，数据结构不同），同构数据库不建议使用。（BATCH）2.2 OGG的组件EXTRACT和DATA PUMP都在源数据库，REPLIACAT,CLLECTOR在目标数据库TRAIL和EXTRACT FILES,CHECKPOINTS都是文件，其他的都是进程2.3 体系架构图首先启动manager进程，COLLECTOR进程和extract进程连接Transaction log是指redolog和archive log 上图这种情况，如果网络断了，内存会溢出。下图中使用本地的trail文件解决。可靠性增加了，但是延迟会增加。2.4 TRAILS 文件 一组磁盘文件：为了持续的抽取和复制数据库的变化，OGG使用了一系列临时的磁盘文件存储了捕获的内容。Trail文件可以放置在源端，目标端或者中间服务器上。在源端称为本地的trail（抽取的trail），目标端称为远端的trail。Trail文件总是以两个字符命名（自命名），追加六位数字。2.5 DATA PUMP和oracle的数据泵有所不同：防止网络的和目标数据库的失效。在data pump中实现数据的过滤和传输。延迟可能会增加，可以启用多个data pump解决。过滤的功能也可以在抽取和复制的过程中实现。实现多对一的数据同步。聚合实现一对多的数据同步。广播2.6 双向复制数据回路问题初始化加载：直接导入，抽取出数据后直接使用SQL复制到目标库批量导入，使用SQL*LOADER导入文件复制，放到file中使用数据库工具2.7 处理方法静态抽取（异构）同步导出文件在线用户处理，直到用户停止一次性抽取初始化2.8 检查点CHECKPOINTING与oracle的检查点概念不同，可以放在磁盘的一个文件中，也可以放在目标数据库的一个表中。2.9 参数、进程组和命令参数文件进程组：抽取、复制进程，参数文件，检查点文件，等相关的进程文件每个进程组必须有一个唯一的组名。使用GGSCI工具，管理OGG三OGG安装3.1 安装步骤3.1.1 下载/technetwork/middleware/goldengate/downloads/index.html3.1.2 设置环境变量ORACLE_BASE=/u01ORACLE_HOME=$ORACLE_BASE/oracleORACLE_SID=wilsonPATH=$ORACLE_HOME/bin:$ORACLE_BASE/gg11:$PATHLD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_BASE/gg11:$LD_LIBRARY_PATHexport ORACLE_BASE ORACLE_HOME ORACLE_SID PATH LD_LIBRARY_PATH是配置文件生效. ./.bash_profile3.1.3 安装上传介质至/U01目录创建临时目录/ggCd /gg解压介质unzip ./GoldenGate V.0 for Oracle 11g on Linux x86.zip使用oracle用户安装创建安装目录mkdir /u01/gg11解压tar文件Cd /u01/gg11GgsciCreate subdirsLs -ltr3.1.4 安装后的目录3.2 官方联机文档后三个比较重要3.3 GGSCI的使用在安装目录下使用Help 文件四WorkShop实验步骤1.准备实验环境1.在目标端和源端都创建实验用户，并赋权：create user ggusr identified by ggusr default tablespace EXAMPLE;grant connect,resource to ggusr;2.创建实验表，源端目标端都要执行执行脚本创建表，源端目标端都要执行执行脚本导入数据，只在源端都要执行2.配置OGG配置管理进程的相关参数文件1.配置mgr（源端/目标端）Edit params mgr实际上是使用vi创建了这个参数文件-This is the minimal configuration of manager processPORT 7809启动manager进程start mgr查看managerps ef|grep ora_日志文件View report mgr2.源端增加redolog的相关的信息如果不打开，只有rowid的相关信息。Alter database add supplemental log data; -把附加的信息加到redo log中Alter system switch logifle;Select SUPPLEMENTAL_LOG_DATA_MIN from v$database;Yes表示打开3.源端增加复制表的redo信息连接到数据库dblogin userid system,password neusoft指定表add trandata ggusr.tcustmeradd trandata ggusr.tcustord查看相关信息Info trandata ggusr.*4.参数文件全局参数,一个参数文件每个进程一个参数,一个参数文件每个组的参数,一个参数文件1.全局参数全局参数可以被覆盖产看参数含义：reference2.manager进程的参数文件参数设置参考reference5.使用OGG初始化加载推荐使用数据库本身的工具使用ogg直接导入,一次性批量导入使用ggusr登陆远端和目标端,并查询两这两张表源端目标端1.增加抽取进程add extract einikk,sourceistableEinikk命名规则：e代表extract，ini代表出事换加载，kk自定义名称Sourceistable 表示一次性抽取表中所有的数据Help add extract2.设置抽取组的相关参数edit params einikkEXTRACT EINIKKUSERID system, PASSWORD neusoft 生产系统需要使用ggusr，需要足够的权限RMTHOST 8, MGRPORT 7809 远端机器的地址和端口，和源远端对应RMTTASK REPLICAT, GROUP RINIKK 远端的组名TABLE ggusr.TCUSTMER; -复制的表名TABLE ggusr.TCUSTORD; -复制的表名3.增加复制进程add replicat rinikk,specialrun复制进程的名字需要和抽取进程设置的参数一致Help add replicat4.设置复制组的相关参数edit params rinikk- This is replicate parameter fileREPLICAT RINIKKASSUMETARGETDEFS -假设源端和目标端表结构一致，不需要比较了USERID system, PASSWORD oracle 数据库的用户名密码DISCARDFILE ./dirrpt/RINIKK.dsc, PURGE 源端无法复制的数据放置到这个文件中MAP ggusr.*, TARGET ggusr.*;-把源端ggusr中所有的数据复制到目标端ggusr中5.开始初始化加载start extract einikkGGSCI (oracle11g) 18 start extract einikkSending START request to MANAGER .ERROR: opening port for MGR MGR (No route to host).修改/etc/hosts 文件的相关ip查看日志源端：view report einikk目标端：view report rinikk查看表记录6.配置抽取进程1.创建抽取组add extract eorakk, tranlog, begin now, threads 1 eorakk 抽取进程的命名tranlog 从日志抓取begin now 从现在开始抓取threads 1 rac共有几个节点在执行这个操作之前需要执行 dblogin userid system,password neusoft否则需要再执行注册操作2.配置抽取参数edit params eorakkEXTRACT EORAKKUSERID system, PASSWORD neusoft RMTHOST 7, MGRPORT 7809RMTTRAIL ./dirdat/kk -远端的trail文件目录TABLE ggusr.TCUSTMER;TABLE ggusr.TCUSTORD;增加远端的trail ADD RMTTRAIL ./dirdat/kk, EXTRACT EORAKK, MEGABYTES 5MEGABYTES 5每个文件5M目标端还没有trail的目录查看远端trail文件的信息3.启动抽取进程start extract eorakk查看信息Info all查看抽取进程的详细信息7.配置复制进程1.编辑全局参数文件edit params ./GLOBALS CHECKPOINTTABLEsystem.ggchkptable 这个表生产环境下不能放在system用户下2.创建checkpoint表创建这个表，修改GLOBALS文件需要先退出ggsci在创建表dblogin userid system,password neusoft -登陆数据库add checkpointtable查看表3.创建复制组Add replicat rorakk, exttrail ./dirdat/kkreplicat rorakk 复制组名exttrail ./dirdat/kk 指明复制进程读取trail文件的目录4.配置复制进程Edit params rorakkREPLICAT RORAKKUSERID system, PASSWORD neusoftHANDLECOLLISIONS 处理冲入ASSUMETARGETDEFSDISCARDFILE ./dirrpt/RORAKK.DSC, PURGEMAP ggusr.tcustmer, TARGET ggusr.tcustmer;MAP ggusr.tcustord, TARGET ggusr.tcustord;5.启动复制进程Start replicat rorakk查看信息8.校验数据源端目标端源端增加一行，并提交查看目标端，数据已经被复制。执行脚本源端数据目标端数据已经复制9.配置本地trail和data pump1.停止源端抽取进程Stop extract eorakk查看状态Status eorakk删除之前两个表中的数据2.停止目标端复制进程Stop replicat rorakk查看进程Status rorakk删除两个表的数据3.配置抽取参数Edit params eiexrrEXTRACT EIEXRRUSERID system, PASSWORD neusoftEXTTRAIL ./dirdat/rrTABLE ggusr.TCUSTMER;TABLE ggusr.TCUSTORD;4.增加抽取组dblogin userid system,password neusoftadd extract eiexrr, tranlog, begin now, threads 1 5.定义本地trail文件Add EXTTRAIL ./dirdat/rr, EXTRACT EIEXRR, MEGABYTES 56.配置data pump抽取参数Edit params epmprrEXTRACT EPMPRRPASSTHRURMTHOST 7, MGRPORT 7809RMTTRAIL ./dirdat/rrTABLE ggusr.TCUSTMER;TABLE ggusr.TCUSTORD;7.增加data pump抽取组ADD EXTRACT EPMPRR, EXTTRAILSOURCE ./dirdat/rr8.定义远端trail文件ADD RMTTRAIL ./dirdat/rr, EXTRACT EPMPRR, MEGABYTES 59.启动data pump抽取进程Start extract eiexrrStart extract epmprrinfo extract eiexrrinfo extract epmprr10.插入数据11.目标端验证结果 logdump12.创建复制组Add replicat riexrr, exttrail ./dirdat/rrreplicat riexrr 复制组名exttrail ./dirdat/rr 指明复制进程读取trail文件的目录13.配置复制进程Edit