




已阅读5页,还剩72页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
精品文档一. OGG概述TDM 事物数据管理结构拓扑管理工具验证数据工具报价二OGG体系结构2.1 OGG的用途从源数据库通过事物日志捕获数据的变化并更新目标数据库。(源数据库和目标数据库都ONLINE)批量处理(初始化加载,执行一次),主要用于异构数据库的同步(oraclemysql,数据结构不同),同构数据库不建议使用。(BATCH)2.2 OGG的组件EXTRACT和DATA PUMP都在源数据库,REPLIACAT,CLLECTOR在目标数据库TRAIL和EXTRACT FILES,CHECKPOINTS都是文件,其他的都是进程2.3 体系架构图首先启动manager进程,COLLECTOR进程和extract进程连接Transaction log是指redolog和archive log 上图这种情况,如果网络断了,内存会溢出。下图中使用本地的trail文件解决。可靠性增加了,但是延迟会增加。2.4 TRAILS 文件 一组磁盘文件:为了持续的抽取和复制数据库的变化,OGG使用了一系列临时的磁盘文件存储了捕获的内容。Trail文件可以放置在源端,目标端或者中间服务器上。在源端称为本地的trail(抽取的trail),目标端称为远端的trail。Trail文件总是以两个字符命名(自命名),追加六位数字。2.5 DATA PUMP和oracle的数据泵有所不同:防止网络的和目标数据库的失效。在data pump中实现数据的过滤和传输。延迟可能会增加,可以启用多个data pump解决。过滤的功能也可以在抽取和复制的过程中实现。实现多对一的数据同步。聚合实现一对多的数据同步。广播2.6 双向复制数据回路问题初始化加载:直接导入,抽取出数据后直接使用SQL复制到目标库批量导入,使用SQL*LOADER导入文件复制,放到file中使用数据库工具2.7 处理方法静态抽取(异构)同步导出文件在线用户处理,直到用户停止一次性抽取初始化2.8 检查点CHECKPOINTING与oracle的检查点概念不同,可以放在磁盘的一个文件中,也可以放在目标数据库的一个表中。2.9 参数、进程组和命令参数文件进程组:抽取、复制进程,参数文件,检查点文件,等相关的进程文件每个进程组必须有一个唯一的组名。使用GGSCI工具,管理OGG三OGG安装3.1 安装步骤3.1.1 下载/technetwork/middleware/goldengate/downloads/index.html3.1.2 设置环境变量ORACLE_BASE=/u01ORACLE_HOME=$ORACLE_BASE/oracleORACLE_SID=wilsonPATH=$ORACLE_HOME/bin:$ORACLE_BASE/gg11:$PATHLD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_BASE/gg11:$LD_LIBRARY_PATHexport ORACLE_BASE ORACLE_HOME ORACLE_SID PATH LD_LIBRARY_PATH是配置文件生效. ./.bash_profile3.1.3 安装上传介质至/U01目录创建临时目录/ggCd /gg解压介质unzip ./GoldenGate V.0 for Oracle 11g on Linux x86.zip使用oracle用户安装创建安装目录mkdir /u01/gg11解压tar文件Cd /u01/gg11GgsciCreate subdirsLs -ltr3.1.4 安装后的目录3.2 官方联机文档后三个比较重要3.3 GGSCI的使用在安装目录下使用Help 文件四WorkShop实验步骤1.准备实验环境1.在目标端和源端都创建实验用户,并赋权:create user ggusr identified by ggusr default tablespace EXAMPLE;grant connect,resource to ggusr;2.创建实验表,源端目标端都要执行执行脚本创建表,源端目标端都要执行执行脚本导入数据,只在源端都要执行2.配置OGG配置管理进程的相关参数文件1.配置mgr(源端/目标端)Edit params mgr实际上是使用vi创建了这个参数文件-This is the minimal configuration of manager processPORT 7809启动manager进程start mgr查看managerps ef|grep ora_日志文件View report mgr2.源端增加redolog的相关的信息如果不打开,只有rowid的相关信息。Alter database add supplemental log data; -把附加的信息加到redo log中Alter system switch logifle;Select SUPPLEMENTAL_LOG_DATA_MIN from v$database;Yes表示打开3.源端增加复制表的redo信息连接到数据库dblogin userid system,password neusoft指定表add trandata ggusr.tcustmeradd trandata ggusr.tcustord查看相关信息Info trandata ggusr.*4.参数文件全局参数,一个参数文件每个进程一个参数,一个参数文件每个组的参数,一个参数文件1.全局参数全局参数可以被覆盖产看参数含义:reference2.manager进程的参数文件参数设置参考reference5.使用OGG初始化加载推荐使用数据库本身的工具使用ogg直接导入,一次性批量导入使用ggusr登陆远端和目标端,并查询两这两张表源端目标端1.增加抽取进程add extract einikk,sourceistableEinikk命名规则:e代表extract,ini代表出事换加载,kk自定义名称Sourceistable 表示一次性抽取表中所有的数据Help add extract2.设置抽取组的相关参数edit params einikkEXTRACT EINIKKUSERID system, PASSWORD neusoft 生产系统需要使用ggusr,需要足够的权限RMTHOST 8, MGRPORT 7809 远端机器的地址和端口,和源远端对应RMTTASK REPLICAT, GROUP RINIKK 远端的组名TABLE ggusr.TCUSTMER; -复制的表名TABLE ggusr.TCUSTORD; -复制的表名3.增加复制进程add replicat rinikk,specialrun复制进程的名字需要和抽取进程设置的参数一致Help add replicat4.设置复制组的相关参数edit params rinikk- This is replicate parameter fileREPLICAT RINIKKASSUMETARGETDEFS -假设源端和目标端表结构一致,不需要比较了USERID system, PASSWORD oracle 数据库的用户名密码DISCARDFILE ./dirrpt/RINIKK.dsc, PURGE 源端无法复制的数据放置到这个文件中MAP ggusr.*, TARGET ggusr.*;-把源端ggusr中所有的数据复制到目标端ggusr中5.开始初始化加载start extract einikkGGSCI (oracle11g) 18 start extract einikkSending START request to MANAGER .ERROR: opening port for MGR MGR (No route to host).修改/etc/hosts 文件的相关ip查看日志源端:view report einikk目标端:view report rinikk查看表记录6.配置抽取进程1.创建抽取组add extract eorakk, tranlog, begin now, threads 1 eorakk 抽取进程的命名tranlog 从日志抓取begin now 从现在开始抓取threads 1 rac共有几个节点在执行这个操作之前需要执行 dblogin userid system,password neusoft否则需要再执行注册操作2.配置抽取参数edit params eorakkEXTRACT EORAKKUSERID system, PASSWORD neusoft RMTHOST 7, MGRPORT 7809RMTTRAIL ./dirdat/kk -远端的trail文件目录TABLE ggusr.TCUSTMER;TABLE ggusr.TCUSTORD;增加远端的trail ADD RMTTRAIL ./dirdat/kk, EXTRACT EORAKK, MEGABYTES 5MEGABYTES 5每个文件5M目标端还没有trail的目录查看远端trail文件的信息3.启动抽取进程start extract eorakk查看信息Info all查看抽取进程的详细信息7.配置复制进程1.编辑全局参数文件edit params ./GLOBALS CHECKPOINTTABLEsystem.ggchkptable 这个表生产环境下不能放在system用户下2.创建checkpoint表创建这个表,修改GLOBALS文件需要先退出ggsci在创建表dblogin userid system,password neusoft -登陆数据库add checkpointtable查看表3.创建复制组Add replicat rorakk, exttrail ./dirdat/kkreplicat rorakk 复制组名exttrail ./dirdat/kk 指明复制进程读取trail文件的目录4.配置复制进程Edit params rorakkREPLICAT RORAKKUSERID system, PASSWORD neusoftHANDLECOLLISIONS 处理冲入ASSUMETARGETDEFSDISCARDFILE ./dirrpt/RORAKK.DSC, PURGEMAP ggusr.tcustmer, TARGET ggusr.tcustmer;MAP ggusr.tcustord, TARGET ggusr.tcustord;5.启动复制进程Start replicat rorakk查看信息8.校验数据源端目标端源端增加一行,并提交查看目标端,数据已经被复制。执行脚本源端数据目标端数据已经复制9.配置本地trail和data pump1.停止源端抽取进程Stop extract eorakk查看状态Status eorakk删除之前两个表中的数据2.停止目标端复制进程Stop replicat rorakk查看进程Status rorakk删除两个表的数据3.配置抽取参数Edit params eiexrrEXTRACT EIEXRRUSERID system, PASSWORD neusoftEXTTRAIL ./dirdat/rrTABLE ggusr.TCUSTMER;TABLE ggusr.TCUSTORD;4.增加抽取组dblogin userid system,password neusoftadd extract eiexrr, tranlog, begin now, threads 1 5.定义本地trail文件Add EXTTRAIL ./dirdat/rr, EXTRACT EIEXRR, MEGABYTES 56.配置data pump抽取参数Edit params epmprrEXTRACT EPMPRRPASSTHRURMTHOST 7, MGRPORT 7809RMTTRAIL ./dirdat/rrTABLE ggusr.TCUSTMER;TABLE ggusr.TCUSTORD;7.增加data pump抽取组ADD EXTRACT EPMPRR, EXTTRAILSOURCE ./dirdat/rr8.定义远端trail文件ADD RMTTRAIL ./dirdat/rr, EXTRACT EPMPRR, MEGABYTES 59.启动data pump抽取进程Start extract eiexrrStart extract epmprrinfo extract eiexrrinfo extract epmprr10.插入数据11.目标端验证结果 logdump12.创建复制组Add replicat riexrr, exttrail ./dirdat/rrreplicat riexrr 复制组名exttrail ./dirdat/rr 指明复制进程读取trail文件的目录13.配置复制进程Edit
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025广西西林县委机构编制委员会办公室招聘编外聘用人员2人模拟试卷及答案详解(各地真题)
- 天津市人民医院血管超声诊断考核
- 2025福建福州市体育工作大队招聘食堂小工2人考前自测高频考点模拟试题及答案详解一套
- 上海市人民医院治疗计划剂量学评估与优化技巧试题
- 张家口市中医院肿瘤营养护理考核
- 2025湖南岳阳临湘市城东粮食收储有限公司招聘考前自测高频考点模拟试题及一套参考答案详解
- 张家口市人民医院循证医学应用考核
- 大学课件文字
- 2025江苏省宿迁市沭阳县面向普通高校应届师范类毕业生招聘16人(第二批次)模拟试卷及答案详解(有一套)
- 2025福建泉州市洛江区公办学校专项招聘编制内新任教师9人(二)模拟试卷及完整答案详解
- GB/T 17642-2025土工合成材料非织造布复合土工膜
- 《医用细胞生物学》课件:线粒体的功能与疾病
- 金融科技监管法律法规-全面剖析
- 道路运输岗位管理制度
- 保密知识课件下载
- 典型故障波形分析(电力系统故障分析课件)
- 2025监理工程师教材水利
- 江苏高中英语牛津译林版新教材必修一词汇(默写版)
- 直接证明与间接证明课件新人教选修
- 土石方运输合同协议
- 2025年江苏启晟集团有限公司招聘笔试参考题库含答案解析
评论
0/150
提交评论