鼎甲异构数据同步软件用户手册

第1章软件概 技术原 组成部 技术特 使用约 第2章运行环 硬件环 操作系 其它说 第3章安装与卸 Windows平 Linux平 第4章配置说 InfoSync服务 InfoSync同步 InfoSync目的 文件摆渡方式(本地文件或ftp获取文件 第5章服务器管 在Linux平台下运行 第6章InfoSync同步源管 当同步源是Oracle RAC的支 当同步源是DM6 当同步源是DM7 DDL同步管 当同步源是Oracle 当同步源是DM6 当同步源是DM7 DDL同步出错时的处 第7章InfoSync目的端管 使用限 在Linux平台目的端是Oracle 第8章管理控制工 1多样化的业务类型导致数据需求日趋复杂化同时数据量的急剧攀升也导致数据库服务，InfoSync是鼎甲科技推出的新一代支持异构环境的高性能、高可靠和高可扩展的数据库实时同步系统。该产品基于成关系数据模型和标准接口衡、数据移植、联机、订阅分发和多业务等业务领域。，InfoSyncInfoSync的配置，建立起InfoSync运行环境。请按照章节顺序进行阅读。鼎甲异构数据同步软件InfoSync，通过秒级数据实时同步可以有效避免传统备份系统传统ETL工具因创建触发器、表等对业务系统带来的性能影响；通过可读写的备机数InfoSync并将相关信息转换为InfoSync自定义的格式存放在队列文件中。通过发送进程将队列文件通过TCP/IP传送到接收执行子系统。SQL语句，通过数据库的本地接口执行，提交数据库成功后更新本地的检查点，记录已完成的位置。1.11InfoSync2InfoSync采用基于日志的结构化数据同步技术，实时数据同步不依赖主InfoSync提供业务连续性支持，备机数据库系统始终出于活动状态。在非性停机导致主机业务系统无法工作时可在InfoSync的备机数据3InfoSync采用并行处理体系，能够实时主机源数据库日志，以较低InfoSync同步源，InfoSync采用优化的日志扫描算法实现目标数据的快速抽取。在InfoSync目的端，InfoSync使用数据库本地ODBC接口备机数据库系统，同时可机数据库系统的资源占用。传输过程中，InfoSyncTCP/IP进4InfoSync的数据同步以源数据库的事务为单位，严格按照主机业务系统级粒度的数据一致性，使得备机数据库系统分担主机数据库系统上中止。为保障数据传输的无丢失，InfoSync使用检查点机制实现断点续位置检查点和InfoSync主程序的数据装载模块的已装载位置检查点。InfoSync的前置模块与主程序模块采取完备的消息应答机制来保障数据5传输，InfoSync备机数据库系统中的数据可以在业务处理逻辑上与主机InfoSync型业务的完全双业务，提高应用系统整体性能6InfoSync支持同步数据可筛选、数据过滤和简单的数据转换，实现满足业务需求的按需同步有效的降低网络通信代价和成本InfoSync数据筛选通过用户在需要同步的表上定义过滤和转换规则来实现。未来InfoSync还将和DMETL结合，实现更为复杂的数据。InfoSync还输安全性，防止数据库数据在传输过程中被窃取7InfoSync采用轻量级框架设计，能够方便项目实施人员快速部署并极大的减少系统管理员工作和负担。同时InfoSync支持初次数据装载8InfoSync面对日趋复杂的计算机环境具有极好的适应性，能够在目前流实现企业不同平台上的多个信息系统的统一同步的支持。目前主机源数6Oracle9iOracle10gOracle1gDBQL、tgreLBC接口连接的各种主流关InfoSyncDOUBLEARCHARARBINAYDTETIMEBLOBInfoSyncDELETETRUNCATETABLE、ALTERTABLETRUNCATEDDLNULL以InfoSync_开头的表是InfoSync 系统表，不支持表名为InfoSync_开头的表2InfoSyncInfoSync安装文件占用277M，包括了管理工具以及管理界面占用的空间，另外需要一些额外的空间InfoSync运行的日志文件。WindowsWindows2003、Windows2008LinuxLinux操作系统（如Redhat、Kylin等UnixHP-UX、AIX在Windows安装时，安装和执行InfoSync的用户必须是管理员；在Linux平台InfoSync安装，将涉及的数据库接口动态库添加到TCP/IP（InfoSyncIP地址。InfoSync需要使用以下TCP/IP端口：管理进程间通信的默认端口5345；发送和执行子系统之间通信的默认端口5346；用户可以自行定义这些端口。JavaJdk1.63WindowsWindowsInfoSyncWindows2003平台为例描述整个安装过程，其他的Windows平台可以参考此安装过程。3.1InfoSyncLinuxLinux平台下，InfoSyncWindows进入安 ，更改权限，执行安装文件od+x进入图形化界面安装(2.6.1WindowsInfoSync的安装步骤)在命令行界面时，可以使用-i参数进行命令行方式的安装，具体操作命令 Linux4运行InfoSync服务端之前，首先应进行相关的配置，配置文件名为infosync.xml，在 InfoSyncInfoSync4.14.1限定值为en程序输出语言选项，en英文，ch31状态轮询间隔(单位：秒检查点的间隔(单位：秒0站点ID001码是否为明文，0表示用明文，1表示用密文。可通过infosync_console工具，用命令pwd"XXXXX"，对配置文件中所有有效，包括数据库及asm。InfoSyncInfoSync同步源配置包括基本项、RAC、ARCH和SEND配置等，下面对各项配置<!--可选，OracleRAC时必须填写，配置子项见4.2.2说明4.24.2CPT限定限定数据库OCI数据库服务名或针对DM数据库只针对dm60PROCEDURE或PROFUNCTIONFUNTRIGGER或TRSEQUENCESEQPACKAGEPKGSYNONYMSYNTABLESPACE或TSDDL同步对象和操作如TABLE:VIEW:OP，操作。需要执行DDL当掩码中增加了DEFINE选项以后，DDL同步将只同步对防止大的查询建表DDL事务导致磁盘空TRUNCATE或OBJECT或OBJOPERATIONOP11注：“parse_thr”ALTERTABLERAC配置不是必须的，用户可以根据自己的需要进行配置，RAC4.34.3RACRACASMRAC环境中ASMRACASM22RAC21831RAC间误差(单位：秒ARCH4.44.4ARCH归档文件清理间隔(单位：秒002清除归档日志的方式：02可选：若未配置该项，则转移到归档路径的 下，若clear_flag项配2 4.54.5SENDInfoSync目的端1InfoSync管理端InfoSync数InfoSync1消息包大小(001是否开启网闸模式，0闭，1001是否进行消息校验，0闭，1在网络条件不满足的情况下，InfoSync其中<data_file>4.7文件摆渡InfoSync011广播时重新扫 1广播时清理归档文件周001是否忽略触发器目的端只支持DM数据库001是否忽略约束目的端只支持DM数据库00不忽略(1忽略(自增列是否忽略自增列目的端只支持DM数据库)为DM7算法，如过滤规则用于允许或符合过滤条件的操作，在SEND配置中，必须包含过滤规则……4.8白，所有允许同步的如果白也不存在，则不允许同步 示例示例 说明：t1表name列的值 时不允许同示例 说明：t1表name列值不等 时不允许同SEND<colitem></colitemInfoSyncDM7，Oracle10g，Oracle11g时，<item>InfoSync目的端是DM6时，<item>sysdba模式下的所有表映射到InfoSyncdb1s1sysdbata开头的表映射到InfoSyncdb1s1模式下以tbsysdba模式下的表t1映射到InfoSyncdb1s1<colitem><colitem>映射规则</colitem<colitem>C3==@TO_CHAR(C3,"YYYY-MM-DD")</colitem@LPAD(str1,len,str2):str1str2指定的字符，将其拉伸n个字节长度。@STRSUB(strstart,count):charmn@TO_CHAR(str,fmt)DATEfmt中指定语VARCHAR类型字符串。(5)@NULL()NULL值。(6)@STRCAT(str1,str2…strN)str1，str2…strN连接后的字符串。(7)@STRSUB(str1,old1,new1,old2,new2…)str1中的old1,old2new1，new2。(8)@STRUP(str)str转换为大写。@STRLEN(str)strInfoSyncInfoSync中在目的端上配置接收模式和运行模式，包含在<RECV></RECV>部分中，每个 其中各配置项的详细说明如表4.84.8InfoSync数据如果配置了ftp子项，那其中各配置项的详细说明如表4.94.9文件摆渡方式下日志文件的路1扫描日志日志文件的时间ftp服务器ftpftp4.10限定Oracle9i，空ODBCMPP，Oracle，SQLServer有各自目的端字符集的编DM数只针对00112执行模式类型，12代表ETLCDC执11SQL缓存大小（10110表示大小写不敏0020表示对象大小写002表示只使用102012出错后部分执行1020按事务顺序，1部分并行，2并行1010关闭，1101是否校验影响的行数，0关闭，100201执行并缓存到文2只缓存文件不执行1010缓存文件保存按1缓存文件按表来 录名最大长度为256[数据库名.]模式名.表名,[数据库名模式名.表名缓存文件的表过滤TEST.T1,0 SEND4.110数据源的站点IDInfoSync目的端1InfoSync号InfoSync号<!--可以配置多个转发的目的，对应多个<send></send>，配置内容同4.2.4SEND参数配置<!--可以配置多个广播目的，对应多个<send></send>，配置内容同4.2.4SEND参数配置 广播模式可以理解为将多 下的InfoSync中转数据文件分发到多个InfoSync中转分析后在多个下生成InfoSync中转数据文件，再通过广播，将不同下的InfoSync5InfoSyncInfoSync，打开配置文件按自己的需求配置以后方可执行infosync_server.exe启动服务（在Windows7或Vista平台中，必须以管理员运行infosync_server.exe来启动服务配置方法请参考第4章。Linux启动操作系统控制台命令终端，切换到InfoSync程序安装的，执行以下命令“./infosync_server”；LinuxInfoSync6InfoSyncInfoSyncOracleOracle时，InfoSyncInfoSyncDBAOracle的安装用户位于同一用户不支持Varray、Anydata、Anydataset、Anytype、BFILE、BINARY_INTEGER、MLSLABEL、PLS_INTEGER、URITYPE、UROWID等数据类型。OracleOracleOracleDDL8.4当同步源数据库是Oracle时，必须开启Oracle的归档日志，请按照以下顺序进行操登录：sqlplus/登录：sqlplus/assysdbaSQL>ARCHIVELOGLIST;6.1SQL>OracleSQL>6.2OracleSQL>MOUNTOracleSQL>6.3MOUNT6.46.56.66.7Oracle时，还必须开启最小附加日志；并且当同步表不包含主键，SQL>ALTERSQL>ALTERDATABASEADDSUPPLEMENTALLOGSQL>SQL>ALTERDATABASEADDSUPPLEMENTALLOGDATA(ALL)SQL>SELECTSQL>SELECTSUPPLEMENTAL_LOG_DATA_MINFROMRACOracle时，InfoSyncASMRAC，并且需要注意以InfoSyncOracleRACInfoSync可以必须同步缺省节点间有3秒的误差如果允许时间超过3秒请修改对应的epochInfoSyncASM实例，需要在“tnsnames.ora”ASMASMASM=DESCRIPTION(ADDRESS=(PROTOCOL=TCP)(HOST=***.***.***.***)(PORT=1521)))InfoSyncOracleRACRACRAC实InfoSync方能生效。支持的数据数据类型及其映射关系表（22种数据类型映射类型√√√√√√√√√TIMESTAMPWITHE×TIMESTAMPWITHALTIME×INTERVALYEARTOINTERVALYEAR√INTERVALDAYTO √LOB√√√×√√LONG√ROWID√×XML××××ORACLENUMBER6.2OracleORACLEIOT√×××√×××√×××√×××√×××√×××√√√√√√型√√√√√√√√√√√SQL>SQL>ALTERDATABASESYSTEMSQL>ALTERDATABASETEST√Create√Drop√Create√Drop√Create√Drop√包Create√Drop√Create√Drop√视图/物化视图Create√Drop√Create√Drop√√Drop√DM6InfoSync支持多库架构的数据库系统，当同步源数据库是DM6时，由于DM6采用干扰。当同步源数据库是DM6时，需要注意以下事项。DM6开启DM6逻辑日志的方法是在“dm.ini”中添加“ENABLE_LOGICAL_DML_LOG=1”DM6SQL>ALTERDATABASE<数据库名>SQL>ALTERDATABASE<数据库名>SYSTEMTEST库，则需要执行下面两条语句：DM7当同步源数据库是DM7时，InfoSync不支持单个字段为多数据类型或时间间隔 =LOCAL =D:\dmdbms\DM7\data\arch =512 = =LOCAL =D:\dmdbms\DM7\data\arch =512 =dm.iniFAST_COMMIT0。（45映射类型√√√√√√√√√√√√√√√√√√√√√√√ TIME TIME× LOCALTIME LOCALTIME× INTERVALYEAR√√√√INTERVALDAYINTERVALDAY√INTERVALDAYINTERVALDAY√INTERVALDAYINTERVALDAY√√ √INTERVALINTERVAL√√ TOINTERVALTO√√多数据类√LONGLONG√√√√√√6.4DM7表表列√√√×××√√√×××√√√×××DROP√√√×××√√√×××转为普√√√×××ALTERTABLE..DROPPARTITION..××不支持分区表删除子表√√√√修改列的长度√修改列的精度√修改列的数√修改列的缺√增加主键约束√删除主键约束√增加外键约束√删除外键约束√增加唯一约束√删除唯一约束√增加检查约束√删除检查约束√增加非空约束×删除非空约束×√×Create×Drop×××××包×Drop×Create×Drop×视图物化视Create×Drop×Create×Drop×××DDLDDL同步是基于触发器的同步，在建立一个全库级的触发器捕捉DDL操作到操作的语句并执行。DDL同步默认是不支持的，需要在源数据库上配置才能使用。DDLSQLDDL_MASK配置为相应的值，具体请参见4.2.1CPTInfoSync服务器后方能开DDL同步功能。DDL同步通过中间表记录系统字典表的版本信息，并自动根据日志SCN进行，确保日志分析过程中获取对应SCN的字典信息版本。，，DDL同步通过DDL同步功能位于安装的scripts文件夹下包含一InfoSync_DDL_InfoSync_DDL_TRIGGER，用以用户捕捉DDL操作和字典表版本信息。，，DDLInfoSyncInfoSync，然DDLInfoSync用户判码的相关注释。ORACLE的情况下，DDLSYS模infosync_ddl_sqlORACLE ORACLE 6.11recyclebinONORACLE6.12ORACLEDM6DM6开启DDL同步需要在SYSDBA用户下执行，如需同步多库，则需要在每个DM7SYSDBADDLCREATE/DROP/ALTERTABLE操作时，执行端如果没有执行成功，则会处于挂起状1秒钟尝试再次执行一次，直到执行成功为止；当执行端处于挂起状态之前，在DDL语句以及错误码，并提示执行进入挂CONTINUE命令终止挂起状态，DDL语句并继续执行。TRUNCATE该表时，源端可能执行成功，而目的端则始终报错，同步时忽略该错误并继续DDLDDL语7InfoSyncInfoSyncDM7dm.iniBATCH_PARAM_OPT配置参数0。LinuxOracleLinuxOracleUNIXODBC，并且需要配置ODBC连接串，同时需要将UNIXODBC的动态库路径加载到操作系统共享环境变量LD_LIBRARY_PATH中。SQL>selectuserenv('language')from另外，在Linux平台下，为防止出现中文码现象，需要将SQL>selectuserenv('language')fromInfoSyncOracletar-xzfunixODBC-tar-xzfunixODBC-make&&makeODBC将操作系统当 切换到 ，修改odbc.ini和odbcinst.ini参数Description=Description=ORACLEODBCDSNDriver=OracleinOraDb11g_home1SERVER=05UID=InfoSyncPWD=InfoSyncServername=ORCLPORT=odbcinst.ini[Oraclein[OracleinDescription=ODBCDRIVERFORDriver=/u01/app/oracle/product/11.2.0/db_1/lib/libsqora.so.11.1Threading=0Threading08为便于管理InfoSync的运行，InfoSync提供了交互式管理控制工具infosync_console语法：CONNECT示例：CONNECT功能：CONNECTinfosync_serverIP的情况下infosync_se