DSGRealSync操作管理手册

DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司1 49 DSG RealSync 操作管理手册操作管理手册 2012 1 14 DSGdata Inc DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司2 49 目目 录录 1REALSYNC 工作原理工作原理 4 1 1原理概论 4 1 2日志抓取 Data Capture 5 1 3日志分析 Analyze 5 1 4交易合成 Synthesize 6 1 5交易传输 7 1 6数据装载 8 2REALSYNC 支持列表支持列表 10 2 1首次全同步 10 2 2复制关系维护 10 2 3DML 操作复制支持 10 2 4DDL 操作复制支持 12 2 5常见的不支持操作及处理方式 14 3各复制端口一览表各复制端口一览表 16 4软件部署结构说明软件部署结构说明 19 5发起全同步并启动复制发起全同步并启动复制 20 6REALSYNC 目录和文件结构说明目录和文件结构说明 23 6 1源端安装目录说明 23 6 1 1config 目录重点文件说明 23 6 1 2scripts 目录中的文件说明 23 6 1 3bin 目录重点文件说明 24 6 1 4log 目录重点文件说明 24 6 1 5rmp 目录重点文件说明 25 6 2目标端安装目录说明 25 6 2 1scripts 目录重点文件说明 25 6 2 2bin 目录重点文件说明 26 6 2 3log 目录重点文件说明 26 6 2 4rmp 目录重点文件说明 26 7REALSYNC 日常维护日常维护 28 7 1进程检查 28 7 1 1数据复制的进程检查 28 7 2如何停止和启动进程 29 7 2 1源端进程的停止 29 7 2 2源端进程的启动 29 7 2 3目标端进程的停止 30 7 2 4目标端进程的启动 30 7 3日志监控 31 DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司3 49 7 3 1源端日志分析监控 31 7 3 2目标端装载日志 34 7 4队列累积查看 36 7 4 1源端日常是否 xf1 积压 36 7 4 2目标端日常是否 xf1 积压 37 7 5如何进行重新全同步 37 7 5 1停止并清空源端的 realsync 程序只需执行 full sync ds sh 37 7 5 2停止并清空目标端的 realsync 程序秩序执行 full sync dt sh 40 7 5 3重新启动源端的 realsync 程序只需执行 start dsg sh 41 7 5 4重新启动目标端的 realsync 程序只需执行 start dsg dt sh 42 7 5 5确认全同步已经结束并且进入到实时同步阶段 42 7 6如何修改日志分析间隔 45 7 7维护需要过滤的 DDL 操作 45 7 7 1过滤 DDL 操作的意义 45 7 7 2支持的过滤操作种类 45 7 8日常需要删除的一些文件 48 7 8 1检查磁盘阵列的剩余空间 48 7 8 2删除源端 realsync 的文件 48 7 8 3删除目标端 realsync 的文件 49 DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司4 49 1 RealSync 工作原理工作原理 1 1 原理概论原理概论 RealSync 技术是针对数据库提供了基于逻辑的交易复制方式 该方式通过直接捕获源 数据库的交易 将数据库的改变逻辑复制到目标系统数据库中 实现源系统和目标系统数 据的一致性 如上图所示 RealSync 在数据源 Data Source 简称 DS 端和数据目标端 Data Target 端 简称 DT 分别安装 Agent 进程 Source 端的 Agent 进程对 ORACLE 日志进行 监控 发现改变及时对目标数据库进行更新 当应用系统在 Data Source 端向数据库进行任何操作时时 这些信息都将在 Redo Log 中保存 RealSync Agent 通过对实时获取的 Log 日志进行分析 获得本次操作的交易指令 和交易数据 然后将这些交易指令和交易数据经过格式转化生成 XF1 数据格式 并实时通 过网络传送到 Data Target 系统 Data Target 系统的 RealSync Agent 接收数据库包 经过校验码检查 确认正确的数据 库包后 调用 Oracle 函数按照交易的先后顺序在 Data Target 系统中执行该交易 ologxologx Archived log Redo Log QUEUE XEXPXEXP sendersender receiverreceiver QUEUE ROWID Mapping Table loaderloader Transactions XF1 Format OCI DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司5 49 1 2 日志抓取 日志抓取 Data Capture RealSync 对数据的抓取是通过安装在 Data Source 端的 Agent 模块定时分析 Oracle Redo Log 来获取 Data Source 端的交易类型及数据的 RealSync Agent 在判断 Data Source 端的 Oracle 系统是否有新的交易产生时是通过定期 检查 oracle 提供的视图中记录的当前 SCN 号来判断的 这样避免每次检都通过读取 log 文 件来判断否有新的交易产生时造成的系统影响 在确认有新的交易产生时 可以同时获得当前的 Redo Log 组 以及最新日志在日志 文件的最新位置 RealSync Agent 模块根据这些信息将上次抓取时记录的日志位置与本次读取的最新位 置之间的 Log 读取并加以分析 然后将这些数据保存在 Online Log Cache 文件中 等待下 一步作交易合成处理 RealSyncRealSync 的优势 的优势 与其他类似日志复制产品相比 RealSync 对日志进行分析 得到交易信息再进行传送 而其他类似产品不对日志作分析 传送全部日志 然后在目标端通过日志作 Recover 这 样一来 不仅传送数据量大 而且目标端数据库不能打开 1 3 日志分析 日志分析 Analyze Oracle 数据库的所有更改都记录在日志中 其中记录了对数据库中的每一个变化 当我们需要了解数据库中所作的交易时 一个最有效实用而又低成本的方法就是分析 Oracle 数据库的日志文件 system view 状状态态 1 状状态态 2 时时间间间间隔隔 T 可可任任意意设设置置 Online Redo Group Analyze Module Online Log Cache DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司6 49 RealSync Agent 中集成了 DSG 的优秀日志分析功能 该功能完全不同于 oracle 提供的 Logminer 日志分析工具 在性能和功能上都大大提高 主要体现在系统性能的优化上 大 幅度提高日志分析的速度 使得对于高并发业务系统的复制成为可能 按照 RealSync 的日 志分析设计目标 每秒能够分析的日志量达到 10M s RealSync 通过对日志的分析 得到该数据库中的每个 SQL 指令 并将这些 SQL 指令 生成 XF1 格式的表达方式 XF1 格式是 DSG 公司的专有技术 该技术是 DSG 公司用来表达 SQL 指令的方式 该 数据格式能够通过 DSG 的专有转换算法能够直接转换为 ORACL 的内部数据表达格式 从 而在分析和转载时需要最小的转化 提高分析和装载速度 减少资源占用 丰富能够表达 的各种数据类型 1 4 交易交易合成 合成 Synthesize 通过 ORACLE REDO LOG 分析的交易指令存在如下的几个特点 1 这些指令是交叉出现的 属于一个交易 Transaction 的多条 SQL 指令是非连 续存储的 多个交易的 SQL 之间是相互穿插的 2 Redo log 中记录了所有的 commit 的交易以及没有 commit 的交易 所以 为了提高系统的可控制性 保证逻辑完整性 避免数据丢失 最好将复制的最 小单位为一个交易 Transaction 而不是以单个 SQL 指令为复制单位 这样在 Data Target 端的交易装载更加容易控制 同时 对于复制的数据而言 只有那些 Commit 的数据对于 Data Target 端系统是有意 义的 而对于那些 Rollback 的数据无需复制到 Data target 系统上 所以 RealSync 在复制过程中不是复制每个 SQL 语句 而是对抓取的数据进行交易整 合后以交易 Transaction 为单位进行复制 同时只复制 COMMIT 的交易 Online Log Cache T1 SQL1 T2 SQL1 T1 SQL2 T1 SQL3 T2 SQL2 T1 COMMIT T3 SQL1 T2 COMMIT T3 Rollback T2 T1 丢丢弃弃 传传输输 Synthesize Module DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司7 49 如上图所示 在 Online Log Cache 文件中 包括 Commit 的交易 没有 Commit 的交易 和 Rollback 的交易 交易合成模块首先按照交易序号对 SOL 语句进行划分 每个交易包含 多条 SOL 语句 然后 以交易为单位进行处理 将已经 Commit 的交易 传至传输处理模 块 将未提交的交易保存在本地 一旦通过日志得知保存的未提交交易已提交 立即将该 交易发送到传输处理模块 对 Rollback 的交易作丢弃处理 RealSync 的优势 RealSync 是以交易为单位进行传输的 而不是以 SOL 语句为单位进行传输的 更容易 保证数据的一致性和完整性 1 5 交易传输交易传输 RealSync 技术为了保证数据传输的安全 可靠 在传输处理上作了特殊的处理与支持 1 数据在传输之前首先存入 Data Source 端的 Cache 传输进程 sender 从 Cache 中读取交易数据封装为 TCP IP 数据包传送给 Data target 端的 vagentd 进程 2 在 data target 端 vagentd 进程在收到传输的交易数据包后 首先存入 Queue 然 后由 Load 进程从 Queue 中严格按照交易的顺序装载交易信息 如上图所示 负责传输的进程 sender 从本地队列中按照先进先出的原则抓取需要 传输的交易 将交易数据封装成一个数据包后通过 TCP IP 协议传递给对端系统 在封装的 数据包的包头部分描述了包的大小 对端系统在接受到传来的数据包后 首先根据包头描述的包大小进行传输的合法性检 查 判断是否传输完整 Capture Process Export Process Import Process 10 11 12 13 14 15 16 10 11 12 13 14 15 16 17 Queue 10 11 12 13 14 15 16 10 11 12 13 14 15 16 17 Post Process 10 11 12 13 14 15 16 10 11 12 13 14 15 16 17 Queue HeaderBody DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司8 49 1 6 数据装载数据装载 在传统的复制技术中 常用的数据装载方式是采用 Oracle 的 SQL 接口 通过 Insert Update Delete 等 SQL 语句实现数据的装载 这种方式在通用性上很好 但关键在 于性能问题非常突出 SQL 语句的执行需要经过 parse plan 格式转换等过程 造成大量的系统开销 尤其 是 update 和 Delte 操作的大量 Where 子句操作需要进行复杂的查询定位任务 从而导致装 载性能低下 对处理能力的要求比生产系统的还高 DSG RealSync 在设计之初就定位于电信级大数据量系统的应用 因此在装载性能上进 行了大幅度的改善 使得装载端的性能和处理能力需求降至最低 在其中 DSG RealSync 采用了两个关键的技术提高了装载速度 1 采用 XF1 数据格式的装载 2 采用 Rowid mapping 的方式实现快速定位 XF1 DSG Extend Format 格式是 DSG 公司的专有技术 该技术是 DSG 公司用来表 达 SQL 指令的方式 该数据格式能够通过 DSG 的专有转换算法能够直接转换为 ORACL 的内部数据表达格式 从而在分析和转载时需要最小的转化 提高分析和装载速度 减少 资源占用 丰富 sql 语句的表达方式 Oracle 数据库系统在设计上提供了 4 个层次的接口 其中包括 User 层 SQL 层 Transformation 层和 I O 层 其结构为 在这四层当中 当采用 SQL 接口进行数据装载时 调用的是 User 层 而 DSG RealSync 通过 XF1 数据格式装载时 调用 I O 层直接将数据通过 Oracle 的最 底层函数写入系统中 所以 DSG RealSync 在装载层上有一定优势 对于交易中的操作 存在着大量的 Where 子句操作 在采用标准 SQL 语句执行这些操 USER SQL Transformation I O DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司9 49 作时 系统需要首先定位目标记录所在的数据文件的位置信息 这将带来大量的索引查询 开销 当并发执行数千条指令时 系统的开销将变得非常庞大 DSG RealSync 工具不采用该方式实现装载数据的定位 而是通过 ROW Mapping 的方 式实现记录的快速定位 当 RealSync 从源端 Log 文件中读取交易数据时 将获得该交易对应记录的所在位置 用 rowid 表示为 rowid ds 当该交易在目标端装载时 系统不翻译为 Where 子句 而是去通过保存在目标端的 row mapping 表获得对应目标端该记录的所在位置 rowid 记录为 rowid dt 从而在目标端装载时通过 rowid 能够直接定位于该数据需要写入的位置 避免了大量 的索引查找时间 每条记录的 row mapping 信息是在该记录执行 insert 操作 sql loader 或首次批量同步 时建立起来的 RealSync 的优势 DSG 扩展格式 XF1 DSG Extend Format 是 RealSync 产品的一个核心技术 是一种最高 效率表示 ORACLE 记录的数据格式 该格式只需要经过最小的转换过程就能够装载到 ORACLE 数据库中 并且装载效率非常高 无需标准 SQL 语句执行的复杂过程 加快装载速度 对于 Update Delete 等带 Where 子句的交易 可以大幅度提高装载速度 DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司10 49 2 realsync 支持列表支持列表 2 1 首次全同步首次全同步 1 指定复制对象 指定需要复制的 user 指定需要复制的表 指定哪些表需要复制 指定哪些表不需要复制 2 不停业务的首次全同步 3 指定表的重新全同步 2 2 复制关系维护复制关系维护 1 添加新表到复制任务 2 删除某些表的复制任务 3 添加新的用户到复制任务 4 删除某个用户的复制任务 2 3 DML 操作复制支持操作复制支持 1 支持的 DML 操作类型 Insert Update Delete 2 支持对 Truncate Table 操作复制 3 支持 DIRECT PATH LOADING 在 Logging 模式下批量装载数据的复制 sqlldr direct y impdp insert into APPEND DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司11 49 4 提供 ROWID Mapping 模式的映射关系 支持 Unique key 和非 unique key 的 表的复制 5 支持的 DATA TYPES CHAR DATE NUMBER LONG VARCHAR VARCHAR VARCHAR2 NCHAR NVARCHAR2 FLOAT LONG LONG RAW BLOB CLOB ROWID 6 支持的 Table 类型 Table with partitions Table with chained rows 7 支持 Insert all 操作 insert all when 1 1 then into ts test nokey values id name addr info sysdate systimestamp num when id 1000 then into ts test values id 1 name addr info sysdate systimestamp num select from ts test 8 支持 Merge 操作 begin for i in 1 1000 loop if mod i 3 0 then DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司12 49 insert into ts test values i 测试 i 中上海 1 sysdate systimestamp i 200 end if end loop commit for i in 1 1000 loop merge into ts test a using dual b on a id i when matched then update set name 测试 to char sysdate yyyymmdd when not matched then insert values i 测试 i 中上海 1 sysdate systimestamp i 200 end loop commit end 2 4 DDL 操作复制支持操作复制支持 1 系统支持的 DDL 操作 Objects typeOperate type备注备注 Create table Drop table tables Truncate table DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司13 49 Alter table column clauses add column clauses modify column clauses drop column clause rename column clause constraint clauses ADD constraints MODIFY constraints Drop constraints alter table partitioning add table partition drop table partition truncate partition indexesCreate Alter Drop viewsCreate Alter Drop sequencesCreate Alter functionsCreate Alter Drop proceduresCreate Alter Drop packagesCreate package Create package body Alter package Drop package Drop package body grant alter database userCreate user Alter user Drop user roleCreate role Alter role Drop role DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司14 49 create body directoryCreate directory Drop directory profileCreate profile Alter profile Drop profile dblinkCreate dblink Alter dblink Drop dblink revoke 2 支持的 DDL 操作配置 可在以上支持的 DDL 中进行一些 DDL 是否复制的配置 包括 database level 的 DDL 过滤 可指定 role user dblink profile 等 database 级的操作是否需要同步 USER level 的 DDL 过滤 可指定 user 级下的重要操作是否需要同步 例如可指定所有的 drop table 等大破 坏性的操作都不能被复制 TABLE LEVEL 的 ddl 过滤 可指定某些重要表的 TRUNCATE TABLE DROP TABLE 等大破坏性操作不被复 制 2 5 常见的不支持操作及处理方式常见的不支持操作及处理方式 不支持的对象类型 Cluster Context IOT TABLE ORGANIZATION EXTERNAL table NESTED TABLE XML TABLE DIRECTORY BITMAP INDEX Domain indexes Library DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司15 49 Type type body User defined type BFILE 以上对象或者数据类型 DSG Realsync 暂时没支持 但如果应用中的确用到了这些 对象 DSG 将承诺马上支持 因为这些对象的数据已经分析到了 只不过是过滤了而 已 不支持的 database 级的常见操作 alter database add tablespace alter database add datafile alter system 不支持的 schema 下的对象操作 对于 nologging 的 table 上执行的如下操作 insert append impdp sqlldr direct y 对于不支持的操作 只需要对这些表或整个 schema 进行一次全同步就能够把数据全部 复制过去 DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司16 49 3 各复制端口一览表各复制端口一览表 生产系统容灾系统复制内容 口腔医院 复制 IP 130 1 10 19 安装路径 oracle realsync 登录用户名 oracle Dbpsd port 60000 Vagentd port 60001 IP 130 1 31 8 安装路径 oracle realsync 登录用户名 oracle Vagentd port 60001 DSG DSG XXKLOG XXKLOG OUTPBILL OUTPBILL MHIS MHIS NURSING NURSING JJFORM JJFORM PRODUCTKEY PRODUCTKEY CPR CPR BONUS BONUS TOAD TOAD APPINFACE APPINFACE EXAMLABINTFACE EXAMLABINTFACE ECONSTAT ECONSTAT LAB LAB ADMINISTRATOR ADMINISTRATOR ITF BALJ ITF BALJ PHARMACY PHARMACY EQUIPMENT EQUIPMENT INSURANCE INSURANCE INPBILL INPBILL SYSHIS SYSHIS OUTPADM OUTPADM PACS PACS INQUIRE INQUIRE PHYEXAM PHYEXAM SURGERY DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司17 49 SURGERY BLDBANK BLDBANK INPADM INPADM LOGIN LOGIN HCMS HCMS ACCT ACCT ORDADM ORDADM COMM COMM EXAM EXAM TJ TJ OUTPDOCT OUTPDOCT MEDADM MEDADM INFECT INFECT WIRELESS WIRELESS MEDREC MEDREC INTERFACE INTERFACE IP 130 1 10 18IP 130 1 10 6 安装路径 sharedisk realsync 安装路径 dsg realsync 登录用户名 oracle登录用户名 oracle vagentd port 50001vagentd port 50001 dbpsd port 50000 本地复制 DSG DSG XXKLOG XXKLOG OUTPBILL OUTPBILL MHIS MHIS NURSING NURSING JJFORM JJFORM PRODUCTKEY PRODUCTKEY CPR CPR BONUS BONUS TOAD TOAD APPINFACE APPINFACE EXAMLABINTFACE EXAMLABINTFACE ECONSTAT ECONSTAT LAB LAB ADMINISTRATOR ADMINISTRATOR ITF BALJ ITF BALJ PHARMACY PHARMACY EQUIPMENT DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司18 49 EQUIPMENT INSURANCE INSURANCE INPBILL INPBILL SYSHIS SYSHIS OUTPADM OUTPADM PACS PACS INQUIRE INQUIRE PHYEXAM PHYEXAM SURGERY SURGERY BLDBANK BLDBANK INPADM INPADM LOGIN LOGIN HCMS HCMS ACCT ACCT ORDADM ORDADM COMM COMM EXAM EXAM TJ TJ OUTPDOCT OUTPDOCT MEDADM MEDADM INFECT INFECT WIRELESS WIRELESS MEDREC MEDREC INTERFACE INTERFACE DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司19 49 4 软件部署结构说明软件部署结构说明 vagentd Realsync进程部署 vman dbpsd Redo logOracle 控制信息流 复制数据流 sendervagentdloader 如上图所示 RealSync 在生产数据库 source 上和备份系统端 target 分别安装 Agent 进 程 Source 端的 vagent 进程对 ORACLE 日志进行监控 发现改变及时对目标数据库进行 更新 当应用系统在 Source 端向数据库进行任何操作时时 这些信息都将在 Redo Log 中保 存 RealSync Agent 通过对实时获取的 Log 日志进行分析 获得本次操作的交易指令和交 易数据 然后将这些交易指令和交易数据经过格式转化生成 XF1 数据格式 并由发送进程 sender 实时通过网络传送到 Target 系统 Target 系统的 vagentd 进程接收数据库包 经过校验码检查 确认正确的数据库包后 由装载进程 loder 调用 Oracle 函数按照交易的先后顺序在 Target 系统中执行该交易 dbpsd 进程为管理控制进程 该进程是在作系统配置和发起全同步时使用的 该进程 一般安装在生产系统上 vman 程序为配置终端 该终端通过 dbpsd 进程管理 source 和 target 上的 vagentd 程序 DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司20 49 5 发起全同步并启动复制发起全同步并启动复制 发起全步的方式就是在 bin 目录下执行 vm 文件 源端的全同步源端的全同步 rac2 sharedisk realsync bin cat vm connect 50000 user root dbps set ds 1 itvl 3 state start set dt 1 1 tgt db 2 xf1 y state start set dm 1 1 cfg sync ftcqiM6 rac2 sharedisk realsync bin vman vman vm 1 set dm 过程的日志信息过程的日志信息 set dm 过程是 realsync 软件中进行数据的导出和导入过程 该过程分为源端导出过程 和目标端装载过程 导出过程的日志在源端的 log log vagentd 文件中 在导出过程中的日志信息如下 Log vagentd 日志内容 全同步过程中 日志内容 全同步过程中 cd log tail f log vagentd r 0 18 13MB R9 4 44 C1 0 00 W5 0 00 P 4 44 T 0 E 1 TIME Thu Dec 15 23 14 55 2011 开始抽取表 显示百分比 0 18 已经抽取的大小 13MB 读取速度 R9 4 44 压缩速度 C1 0 00 写速度 W5 0 00 平均速度 P 4 44 总共耗时 E 1ms INFO CR POOL initialized CR POOL size 1000 eliminate algorithm 1 FIFO xexp TBCS SUBS PRODUCT P R 20 PID 26945 ReaderID 2 Performance report is disabled Detail Performance report is disabled 2012 01 14 23 15 01 0 sequence save to cache grp size seq bsz nab flg dup TH Next SCN 2011 12 15 23 15 01 10 4192256 21014 1024 1283568 8 1 1 0 xffffffffffff 21014 1283083 0 14 4192256 15840 1024 1668169 8 1 2 0 xffffffffffff 15840 1667573 0 线程 日志大小 seq 号 标志位 块大小 下一块 标志位 8 为当前日志 DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司21 49 如果出现以上信息表明全同步过程正常开始 log s0 log s1 log s2 log s3 是全同步过程中目标端的日志是全同步过程中目标端的日志 执行 tail f log s0 日志不断变化并且无错误提示表明目标端装载正常 cd log tail f log s0 IPC KEY 0 x630106cd CHECK MEMLEAK is turned off Entering XF1ToOracleLoader pid 17379 sem no 8 Loader 0 xf1 2012 01 14 12 16 38 TRUNCATE TABLE ODS SUBSCRIBER 1 Truncate OK 2012 01 14 12 16 38 0 I 0 D 0 U 2 DDL 0 ms Loader 1 xf1 DP handler size 0 allocated 16384KB maxrows one time 1024 2012 01 14 12 16 38 1 I 0 D 0 U 0 DDL 0 ms Loader 2 xf1 Mapping TBCS SUBSCRIBER ODS SUBSCRIBER 1 ODS SUBSCRIBER 1 1 rows 1 rows mapped 2 如何判断全同步过程顺利完成如何判断全同步过程顺利完成 全同步过程的完成分为两个阶段 源端导出过程完成和目标端装载过程完成 源端导出过程完成的标志 源端导出过程都打印在 log vagentd 日志中 在该日志的导出完成后会看到如下信息 Summary of DBPS Express Export Tables 6 36 Rows 835752820 Extents 16272 Zip Level 1 To Read 4800 00MB Read 130176 00MB CR Read 0 00MB XF1 117434 39MB XF1 Zipped 33602 50MB 71 39 Elapsed 00 32 59 579 1979 579s DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司22 49 当看到以上的全同步导出统计信息时 可认为源端的导出已经结束 目标端装载过程完成的检查 目标端的装载是有多个队列共同完成的 因此我们需要监测几个队列下都已经完成了 检查一 检查目标端的 log s 日志中已经没有新的任务在执行 检查二 检查目标端的 rmp sync0 sync1 sync2 队列中已经没有任何 xf1 文件 cd rmp ls sync sync0 cfg loaderno sync1 cfg loaderno sync2 cfg loaderno 当目标端装载完成全同步的数据后 将自动进入到实时同步阶段 我们可以通过查看 目标端的 log r0 观察系统是否已经自动进入到了实时同步阶段 cd log tail f log r0 Loader 1 xf1 2011 12 16 03 31 41 6 I 0 D 0 U 0 DDL 2086 ms Loader 2 xf1 2011 12 16 03 31 41 0 I 0 D 6 U 0 DDL 2086 ms Loader 3 xf1 2011 12 16 03 31 41 0 I 6 D 0 U 0 DDL 2086 ms Loader 4 xf1 2011 12 16 03 31 41 56 I 0 D 0 U 0 DDL 2086 ms Loader 5 xf1 2011 12 16 03 31 41 56 I 0 D 0 U 0 DDL 2086 ms Loader 6 xf1 2011 12 16 03 31 41 56 I 0 D 0 U 0 DDL 2086 ms DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司23 49 6 realsync 目录和文件结构说明目录和文件结构说明 6 1 源端安装目录说明源端安装目录说明 安装完成的目录结构如下 rac2 sharedisk realsync ls lrt total 128 drwxr xr x 2 dsg oinstall 96 Dec 15 21 12 index drwxr xr x 2 dsg oinstall 96 Dec 15 21 12 soft drwxr xr x 2 dsg oinstall 96 Dec 15 21 12 exp drwxr xr x 2 dsg oinstall 8192 Dec 15 21 12 scripts drwxr xr x 3 dsg oinstall 96 Dec 15 21 21 log drwxr xr x 2 dsg oinstall 8192 Dec 15 21 24 vcfsd drwxr xr x 2 dsg oinstall 96 Dec 15 21 52 config drwxr xr x 4 dsg oinstall 8192 Dec 19 12 00 bin drwxr xr x 3 dsg oinstall 32768 Dec 20 15 16 rmp drwxr xr x 3 dsg oinstall 8192 Dec 20 15 16 vcfsa rac2 sharedisk realsync Scripts 目录 所有脚本所在目录 VCFS HOME 该环境变量一般设为 vcfsa 用以保存系统运行状态 如 log 读 取的位置 uncommitted 交易 统计信息 XLDR HOME 该环境变量一般设为 rmp 用以保存数据传输之前的缓存队列和 传输控制信息 bin 目录 执行文件所在目录 Vcfsd 目录 系统配置信息 由 dbpsd 进程使用 6 1 1 config 目录重点文件说明目录重点文件说明 mapping ini set dm 命令中用到的映射关系文件 ddl ini 对 DDL 操作过滤进行设置的配置文件 6 1 2 scripts 目录中的文件说明目录中的文件说明 start vagentd DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司24 49 启动 realsync 进程的脚本 stop vagentd 停止 realsync 进程的脚本 clean vagentd 删除 realsync 工作过程中的所有的中间状态 注 注 clean vagentd 脚本只有在必须作重新全同步的时候才能使用 否则将造成很大的脚本只有在必须作重新全同步的时候才能使用 否则将造成很大的 破坏性 破坏性 check 检查 realsync 所有启动的进程命令 6 1 3 bin 目录重点文件说明目录重点文件说明 bin 目录为所有执行文件和 vm 文件的存放地点 vagentd 日志分析程序 sender 数据发送程序 dbpsd 服务程序 vman 字符菜单管理工具 vm 全同步执行批处理文件 其他命令均为 DSG 公司的工具程序 是为了检查问题时所使用的工具 用户可不必掌 握 6 1 4 log 目录重点文件说明目录重点文件说明 log 目录存放了所有的进程日志文件 log vagentd 日志分析过程的 log 文件 log sender 发送过程的 log 文件 log dbpsd DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司25 49 dbpsd 进程的 log 文件 archivelog 目录 该目录下为历史的 log vagentd 和 log sender 文件 这些文件可随时删除 6 1 5 rmp 目录重点文件说明目录重点文件说明 源端 rmp 目录存放了所有发送的队列信息 xf1 文件 为 sender 发送的队列文件 2 cfg senderno sender 队列的控制文件 6 2 目标端安装目录说明目标端安装目录说明 DSG dsg realsync ls lrt total 32568 drwxr xr x 2 dsg dba 96 Dec 15 21 07 index drwxr xr x 2 dsg dba 96 Dec 15 21 07 imp drwxr xr x 2 dsg dba 96 Dec 15 21 07 soft drwxr xr x 3 dsg dba 96 Dec 15 23 14 vcfsa drwxr xr x 2 dsg dba 1024 Dec 16 13 46 scripts drwxr xr x 3 dsg dba 1024 Dec 16 16 44 log drwxr xr x 2 dsg dba 96 Dec 19 09 35 config drwxr xr x 4 dsg dba 1024 Dec 19 12 01 bin drwxr xr x 9 dsg dba 1024 Dec 19 18 15 rmp dsg basua1 dsg etlplus Scripts 目录 所有脚本所在目录 VCFS HOME 该环境变量一般设为 vcfsa 用以保存系统运行状态 XLDR HOME 数据装载之前的缓存队列和装载控制信息 Rowid mapping 文件 源数据库的数据字典文件 bin 目录 执行文件所在目录 6 2 1 scripts 目录重点文件说明目录重点文件说明 start vagentd DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司26 49 启动 realsync 进程的脚本 stop vagentd 停止 realsync 进程的脚本 clean vagentd 删除 realsync 工作过程中的所有的中间状态 注 注 clean vagentd 脚本只有在必须作重新全同步的时候才能使用 否则将造成很大的脚本只有在必须作重新全同步的时候才能使用 否则将造成很大的 破坏性 破坏性 check 检查 realsync 所有启动的进程命令 6 2 2 bin 目录重点文件说明目录重点文件说明 bin 目录为所有执行文件和 vm 文件的存放地点 vagentd 日志分析程序 loader 装载进程 其他命令均为 DSG 公司的工具程序 是为了检查问题时所使用的工具 用户可不必掌 握 6 2 3 log 目录重点文件说明目录重点文件说明 log 目录存放了所有的进程日志文件 log vagentd 数据接收过程的 log 文件 log s0 log s1 log s2 log s3 全同步过程中的装载日志文件 log r0 增量复制过程中的装载日志文件 archivelog 目录 该目录下为历史的 log r0 这些文件可随时删除 6 2 4 rmp 目录重点文件说明目录重点文件说明 目标端的 rmp 目录存放了非常重要的队列信息和 rowid mapping 信息 DSG Realsync 管理维护手册 2019 12 20 迪思杰 北京 数码技术有限公司27 49 DSG dsg realsync rmp ls lrt total 428830 drwxr xr x 2 dsg dba 96 Dec 15 23 14 verify drwxr xr x 2 dsg dba 96 Dec 15 23 14 rowid drwxr x 2 dsg dba 115712 Dec 16 01 49 sync1