IStream DDS软件手册之软件介绍篇

IStream DDS 软件手册软件手册 技术介绍篇技术介绍篇 2009 年年 7 月月 前言 4 1 DDS 的应用领域 4 1 1 生产系统的热容灾 4 1 2 分担业务 6 1 3 数据分发与集中 7 1 4 数据迁移 8 1 5 双向同步 8 2 DDS 支持的同步特性 9 2 1 支持的同步对象 9 2 2 支持的同步模式 9 2 3 数据同步方式 11 2 4 数据定位方式 11 3 DDS 的同步原理 12 3 1 历史数据同步 12 3 2 交易抓取 12 3 3 交易分析 13 3 4 交易传输 13 3 5 交易装载 13 4 DDS 同步的性能 13 4 1 读取在线日志 13 4 2 内存中完成交易解析 13 4 3 只合成已经提交的交易 14 4 4 实时压缩传输 14 4 5 通过 rowid 寻址 14 4 6 合成交易文件大小 14 4 7 首次同步的性能 14 4 8 增量同步的性能 14 5 DDS 的目标端数据库可复用 15 5 1 目标端数据库始终处于打开状态 15 5 2 交易数据准确 15 5 3 新产生的数据对于同步无影响 15 6 DDS 的高可用性 15 6 1 采用缓存机制 15 6 2 跟踪日志 16 7 DDS 的特性 16 7 1 在线部署简单 占用资源少 16 7 2 异构跨平台的支持 16 7 3 一对多和多对一 16 7 4 对部分表重新进行单独全同步 17 7 5 定时同步 17 7 6 实时显示交易的统计 17 7 7 字符操作和 web 操作模式 17 7 8 静态数据校验 17 7 9 支持 oracle 自带数据导入工具 17 7 10 DDS 的部署要求 17 9 DDS 的健壮性 18 9 1 网络中断 18 9 2 源端数据库重新启动 18 9 3 源端 DDS 重新启动 18 9 4 目标端 DDS 重新启动 18 9 5 目标数据库重新启动 18 9 6 源端删除用户 导入数据 18 10 DDS 的软件体系架构 19 10 1 源端体系架构 19 10 2 目标端体系架构 20 附录 DDS 支持内容汇总 21 前言前言 IStream DDS 以下简称 DDS 是基于交易的逻辑级 oracle 数据同步软件 利用数据库日志在线跟踪 分析技术 将生产数据库的交易信息以事务为单位 通过异步的方式 实时的传递 装载到目标数据库中 以达到源端 目标端数据 保持同步的目的 是一种准实时同步软件 DDS 不依赖硬件的同步能力 支持多种系统平台 具有部署简单 同步速度快 交易延迟时间短的特点 DDS 能够支持跨多种 Unix Linux windows 操作系统平台 不同 Oracle 版本 之间的交易同步 DDS 同步的目标数据库为在线打开状态 可以随时复用 DDS 适用于 异构 热容灾 数据迁移 数据集中 数据分发 分担业务等应 用领域 本手册适用于 dds2 12 及其以上版本 1 DDS 的应用领域的应用领域 1 1 生产系统的热容灾生产系统的热容灾 对于大部分公司而言 容灾是一项巨大的工程 意味着高额的资金投入和人力成 本 受到传统同步技术的限制 容灾必须拥有专用的硬件支持 专用的传输链路 容灾距离以及系统平台等诸多的限制 此外由于传统容灾系统的不能时时使用的 特性 导致不但风险不能评估 而且巨大的投入也可能得不到任何回报 DDS 使用逻辑数据容灾技术 传递的是交易信息 因此传输数据量很小 保证了 在低带宽环境下实现低延迟的 Oracle 交易异步同步 是一种高效且低成本的数据 库容灾方式 DDS 使用标准的 TCP IP 协议进行通讯 容灾端的 Oracle 数据库可 以部署在本地或远程容灾中心 距离没有限制 此外 由于同步的目标端数据库始终处于打开状态 因此 当生产数据库遇到计 划内或非计划停机时 DDS 能够支持前端应用程序快速的切换到容灾数据库 与 其它基于磁盘或文件系统的物理同步技术相比 不但省略了漫长的数据库 recovery 和启动时间 而且能够保证 100 的切换成功率 下图表示交易系统切换后 业务交易在容灾系统上继续执行的示例 主主交交易易数数据据库库热热容容灾灾数数据据库库 笔记本 电脑 DDS同步 移动电话 主主交交易易业业务务系系统统 当原生产系统数据库在恢复正常使用后 可以通过 DDS 将容灾端数据再次同步到 源端数据库中 从而达到互为容灾的目的 下图表示 原交易系统恢复正常后 容灾系统数据同步到原交易系统上的示例 原原主主交交易易数数据据库库主主交交易易数数据据库库 笔记本 电脑 DDS同步 移动电话 主主交交易易业业务务系系统统 1 2 分担业务分担业务 DDS 基于交易的逻辑级同步技术保证了目标端数据库始终处于可用状态 因此对 于 DDS 所同步的 schema 不能进行修改以外 对于同步的 schema 做数据读操作 在同步数据基础上新创建的 schema 不会对同步本身产生任何影响 因此对于查询 报表 备份 分析以及与其它业务的接口等业务或应用都可以放在目标数据库上 进行处理 这些应用也不必在原交易数据库上争夺处理资源和时间窗口 生产系统运行和维 护的压力得以释放 提高了稳定性 而不同的应用在分布的数据库上也可以进行 有针对性的优化 下图表示在容灾系统做业务查询 报表处理 数据备份 统计分析 与其它业务 系统接口等应用的示例 主主交交易易数数据据库库热热容容灾灾数数据据库库 笔记本 电脑 DDS同步 移动电话 主主交交易易业业务务系系统统 业务查询 报表处理 数据备份 统计分析 其它业务系统接口 1 3 数据分发与集中数据分发与集中 DDS 能够完成企业范围内的数据分发 将生产库的交易数据实时同步到一个或多 个本地或异地的数据库中 数据分发是一种典型的通过部署多服务器 多数据库 来分担负载 提高响应速度的企业应用模式 下图表示交易系统的业务数据同时分发到不同目标端的示例 主主交交易易数数据据库库 异异地地热热容容灾灾数数据据库库 DDS同步 本本地地容容灾灾数数据据库库 本本地地查查询询数数据据库库 DDS同步 DDS同步 DDS 能够完成企业范围内的数据集中 从多个交易数据生产库实时同步到一个本 地或异地的数据库中 下图表示交易系统的业务数据同时分发到不同目标端的示例 主主交交易易数数据据库库2 2 主主交交易易数数据据库库3 3 主主交交易易数数据据库库1 1 目目标标端端数数据据库库 DDS同步 DDS同步 DDS同步 1 4 数据迁移数据迁移 数据库软件 硬件升级过程中涉及到的数据库迁移 是企业经常会遇到的情况 在传 统数据迁移过程中 经常会面临三个方面的问题 1 新系统和源系统 os 平台或数据库平台不同 2 切换时间窗口有限 3 系统切换一段时间后 某种原因导致新交易系统部分交易无法正常运行 这三个问题一直是传统数据迁移方式 物理备份恢复 逻辑导入导出 所不能同时满 足的 尤其是第三种情况 如果切换回原来的交易系统上 则新产生的业务交易无法 同步到原来的系统上 导致部分业务不一致 大大影响企业的业务正常运行 针对这两种情况 DDS 针对这种进行了合理的解决方式 如下图所示 原原交交易易数数据据库库 新新交交易易数数据据库库 DDS同步 DDS同步 针对这三种常见情况 dds 分别对应如下处理机制 A DDS 本身支持异构跨平台方式 对于源端和目标端操作系统和数据库版本不同的 情况均能够支持 满足第一种情况 B 由于 dds 同步的目标端是打开状态的 加上 dds 准实时同步的特性 可以使业务停 止时间窗口变得很短 是以分钟来计算的 满足了第二种情况 C DDS 在新旧交易系统切换后 利用 dds 只同步变化数据的特性 将新交易系统数 据库上变化的数据实时的同步到旧交易系统上 这样就可以保持两边数据的一致 性 从而在交易切换时能够满足后台交易数据一致性的需求 满足了第三种情况 1 5 双向同步双向同步 随着跨地域企业的不断发展 双业务中心逐渐会成为一种解决庞大业务数据和企 业业务响应冲突的一种必要手段 DDS 解决方案如下图所示 交交易易数数据据库库1 1 交交易易数数据据库库2 2 DDS反向同步 DDS同步 双方各自运行各自的业务 双方产生的业务数据实时的同步到对方数据库中 从 而达到双业务中心 双业务数据备份中心的效果 2 DDS 支持的同步特性支持的同步特性 2 1 支持的同步对象支持的同步对象 DDS 支持两种级别数据库对象的同步 用户级同步 表级同步 用户级同步 源端数据库指定用户及其所包含的表 视图 索引 过程 函数 包 序列等数据对 象全部同步到目标端数据库指定的用户下 DDS 支持源端用户名和目标端用户名不同的同步方式 表级同步 表级同步分为单表同步和多表同步 单表同步指定源端数据库指定用户下的单个表同步到目标端数据库指定用户下的单个 表 多表同步 即 group 方式 针对多个用户 每个用户只同步指定的部分表同步的情况 2 2 支持的同步模式支持的同步模式 同步模式主要指源端和目标端的架构模式 具体分为 1 1 模式 1 n 模式 n 1 模式 1 1 1 模式四种 1 1 对对 1 1 的同步模式的同步模式 生产数据库 目标数据库 DDSDDS n n 对对 1 1 同步模式同步模式 生产数据库2 目标数据库 DDS DDS 生产数据库3 生产数据库1 DDSDDS 1 1 对对 n n 同步模式同步模式 目标数据库2 生产数据库 DDS DDS 目标数据库3 目标数据库1 DDS 级联同步级联同步 目标数据库 生产数据库 生产数据库 目标数据库 DDS DDS 使用者可以根据具体情况选择或组合以上同步模式到您所需要的应用架构中 2 3 数据同步方式数据同步方式 DDS 支持历史数据同步 只同步变化数据同步两种方式 这两种方式和有效结合或单 独使用 历史数据的同步历史数据的同步 历史数据指同步时刻已经存在的数据 历史数据同步方式分为两种 1 快照方式 快照方式利用 oracle 的 select 的多版本特性 将历史数据抓取到目标端 同时可选择 将变化数据实时同步 在历史数据装载完成后 再装载变化数据 历史数据的抓取与 变化数据的抓取之间无缝结合 有业务运行也不影响数据同步的准确性 相对而言 快照方式同步数据时间长 对于系统资源占有大 2 读文件方式 读文件方式指 dds 直接读取 oracle 数据文件中的表数据 同时可选择变化数据实时抓 取 相对而言 快照方式同步数据时间端 对于系统资源占有小 但是这种方式抓取历史 数据时 源端系统不能有业务 否则无法保证同步数据的准确性 变化数据同步变化数据同步 变化数据同步有两种应用方式 1 与历史数据同步方式结合 Dds 支持历史数据与变化数据无缝结合的同步模式 这种方式无需停止业务 2 单独同步变化数据 这种方式是在两边数据已经一致的情况下 将某一边数据库现产生的交易同步到 另外一边的数据库中 2 4 数据定位方式数据定位方式 目标端装载交易时 对于目标端对应数据 表的记录 的定位方式分为 rowid 和 where 两种方式 rowid 方式 使用 rowid 同步方式 由于在目标端装载时直接根据 rowid 方式定位表纪录的物理位 置 不会因为数量量的差异而影响查找纪录的速度 使用 rowid 方式时 首先必须进行全同步 增量同步结合的模式 后续的增量数据依 赖全同步数据 即使源端某些表的纪录完全相同 则也不会影响数据的准确性 Where 方式 Where 方式在目标端装载数据时 对于目标端对应的数据查找依赖对应表的 where 条 件 对于对应数据的查找速度完全依赖于数据库本身的查找速度 主要满足两种应用需要 一种跟 rowid 方式相同 差别在于表的数据不能出现重复纪录 另外一种方式是只同步变化数据部分 只依赖源端和目标端相关表的数据结构 这种 方式采用 dds 的只进行增量同步的方式进行 3 DDS 的同步原理的同步原理 3 1 历史数据同步历史数据同步 使用快照方式 首次同步时 对于同步 map 所涉及的每一个表的同步过程如下 1 锁该表 2 记录同步时刻的 scn 3 读取该表数据 4 在读取该表数据时接着将该表解锁 无需等待该表数据读取完毕 在表做开始同步的时刻 锁表是为了保证该表在日志中不会有交易发生 同时又因为 记录了 scn 也不会有多余的交易被抓取 也不会漏掉相关交易 开始读取数据时 利用了 oracle 数据库自身提供的 多版本 特性 能够保证读取数 据的一致性 同时对该表进行解锁 又使该表被锁的时间不会太长从而严重影响正常 交易 这种方式保证了源端在任何时刻下都可以进行首次数据的批量同步而不会影响同步数 据的准确性 读文件方式 首次同步时 对于同步 map 所涉及的每一个表的同步过程如下 1 记录同步时刻的 scn 2 读取该表数据 首次同步时 直接从 oracle 数据文件中读取该表数据 同时记录同步时刻的 scn 由于 这种方式要求在同步过程中 没有交易产生 因此会保证历史数据抓取的准确性 在 同步完成后 将变化数据实时抓取 首次同步是可以选择的 如果事先已经保证了两边数据一致 则可不选用首次同步是可以选择的 如果事先已经保证了两边数据一致 则可不选用 dds 自带的全同步功能 直接进行交易变化部分的同步 自带的全同步功能 直接进行交易变化部分的同步 3 2 交易抓取交易抓取 Dds 通过事先创建的试图来捕获日志变化 由于每次捕获的日志的物理位置都会记录 因此可以得出日志变化量 后续的抓取日志 分析交易 传输交易 完全由 dds 独自完成 不使用 oracle 数据库 任何资源 在每次抓取的日志量处理完成后 记录在 dds 的缓存目录中 因此对于日常运行过程 中 dds 停止或其它原因需要读取归档日志时 根据记录的日志物理位置来定位需要 抓取的归档日志 Dds 抓取日志跟 oracle 数据库是写日志是并行操作而又互不影响 正常情况下 dds 都是准实时的抓取变化日志量 对于源端是对于源端是 rac 环境来说 环境来说 rac 环境中 在每一个实例所在的主机操作系统上可以读取另外主机的在线日志 包括 归档日志 通过每一个实例的日志和 scn 来保证交易顺序的准确性 3 3 交易分析交易分析 严格按照源端 Oracle 数据库内部 SCN 执行顺序以及已经提交的交易来合成交易文件 该交易文件号是依次递增并且是唯一的 从 0 开始 交易文件号的算法跟 oracle 的 scn 算法一样 可以保证在 oracle 数据库正常使用期间 保证 Dds 能够正常使用 Dds 只处理已经完成提交的交易 对于回滚操作 dds 不处理该操作 3 4 交易传输交易传输 Dds 只传输交易内容 不传输交易内容的数据结构 采用专有的合成交易文件格式 只有 DDS 提供的工具才可以解析交易内容 这样即证了在网络传输过程中数据的安全 性又可以保证网络传输过程中数据的准确性 满足下列三种情况 源端将删除该交易文件 1 接受的交易文件号跟源端传输的一样 2 接受的交易文件大小跟源端传输的一样 3 接受的交易文件校验码跟源端传输的一样 3 5 交易装载交易装载 目标端接受交易合成文件后 首先存放在缓存目录中 然后严格按照从小到大顺序进 行装载 装载的交易文件不能缺失 否则装载的进程将一直处于等待状态 因此无论 目标端是 rac 环境还是单机环境都可以保证装载的准确性 这样就可以保证在目标端装载过程中 保证按照源端合成的交易文件顺序来装载 4 DDS 同步的性能同步的性能 4 1 读取在线日志读取在线日志 DDS 是直接通过读取 Oracle 日志来分析出交易内容 而不是通过数据库表来得到 这 样将不依赖数据库本身的数据内容而直接得到交易信息 从而大大加快了合成交易文 件的速度 4 2 内存中完成交易解析内存中完成交易解析 源端在线日志的抓取的最新位置是通过查询数据库实例 sga 的动态视图得到的 这样 不仅速度快而且不会直接影响源端数据库的物理 I O 源端归档日志的抓取是直接抓取归档日志内容 也不会影响到源端数据库的物理 I O 抓取后的数据 只分析同步用户或表相关的交易 对于跟同步用户或表无关的交易直 接丢弃 日志的抓取 分析 合成大部分情况下都是在内存中完成的 只有少数批量交易数据 时才会使用缓存目录 这样就可以尽可能的提高抓取 分析 合成交易的速度 4 3 只合成已经提交的交易只合成已经提交的交易 DDS 只合成跟同步用户或表有关的 已经提交的交易 并且每一个交易的大小不会超 过 10MB 这样将大大提高交易文件的合成速度 4 4 实时压缩传输实时压缩传输 网络传输时 首先在源端将交易合成文件在内存中进行压缩 在目标端接收后在内存 中完成解压缩 即 进行传输之前先压缩 目标端接受压缩交易文件解压缩后 存放 到相应的缓存目录下 这样可以大大减少网络流量 从而加快交易合成文件传输的速 度 对于不含有 lob 类型的字段 交易合成文件何以压缩到 10 15 左右 4 5 通过通过 rowid 寻址寻址 数据库修改一条记录通常依赖索引或全表扫描 这样操作速度会因为数据量的差别而 有明显的差异 DDS 是直接通过 rowid 对该记录进行操作的 不会因为数据量的明显 差异使合成的交易文件中的交易提交速度有明显的差异 这一点对于海量数据尤为明 显 4 6 合成交易文件大小合成交易文件大小 dds 对每一个合成的交易文件最大上限为 10MB 加上网络传输时的压缩功能 会使网 络传输速度大大提高 由于每一个合成的交易文件最大为 10MB 在目标端装载时的读取 装载速度会很快 占用资源会比较少 从而大大加快了每一个交易合成文件的装载速度 4 7 首次同步的性能首次同步的性能 对于首次同步而言 无论是快照方式还是读数据文件的方式 DDS 在源端支持多达 16 个并行同步 目标端支持并行装载的模式 这样可以充分利用主机资源 加快首次同 步的速度 减少首次同步对于源端 目标端主机性能的影响 4 8 增量同步的性能增量同步的性能 对于某些情况下 目标节点装载增量合成交易文件慢的情况 DDS 支持多达 32 个并 行装载 可以将不同用户或表的数据放在不同的增量目录下 实行并行装载 不过对 于表之间有关联关系的数据 比如外健 就需要将这些有关联关系的表放在同一个增 量目录下 来保证装载数据正确性 另外对于一个数据库 可采用多套另外对于一个数据库 可采用多套 dds 同时运行的模式 来对不同业务的不同用户或同时运行的模式 来对不同业务的不同用户或 表进行有针对性的同步 从而在功能 需求 性能方面有针对性的解决方案 表进行有针对性的同步 从而在功能 需求 性能方面有针对性的解决方案 5 DDS 的目标端数据库可复用的目标端数据库可复用 Dds 通过三个方面来保证目标端数据库的可复用 5 1 目标端数据库始终处于打开状态目标端数据库始终处于打开状态 由于目标端装载是以数据库的交易方式来提交的 因此目标端数据库始终处于打开状 态 即在任何情况下目标端数据库都是可用的 5 2 交易数据准确交易数据准确 DDS 首先通过上述环节来保证交易数据的准确性 包括历史数据的同步和变化数据的 同步 也包含同步过程中涉及到的权限 具体包括两个方面 一方面是同步时源端数 据库中已经存在的权限 另外就是在日常使用过程中 源端数据库发生改变的权限 这两点 DDS 都能够支持 5 3 新产生的数据对于同步无影响新产生的数据对于同步无影响 由于目标端始终属于 open 状态 对于下列情况 1 对于同步业务数据基础上只读操作 2 新产生的业务数据 这样即不会对 dds 同步产生影响 也可以衍生很多新的应用 6 DDS 的高可用性的高可用性 高可用性主要体现在 RAC 或 HA 环境下的 DDS 软件切换主机后能够继续运行的情况 在此主要描述源端切换后如何从机制上保证 DDS 软件继续运行 6 1 采用缓存机制采用缓存机制 在源端 在源端 DDS PTRACK 跟踪到 redo log 增量信息 将其写入共享内存 并通知 DDS PMERGE 进行处理 DDS PTRACK 同时将此数据包写入缓存目录 DDS DATA track 中 以便后续进程没有成功处理或系统其它异常情况时 这 些数据能够恢复并重新进行处理 DDS PMERGE 收到 DDS PTRACK 和 DDS PCLEAN 的通知 将收到的数据包 进行各种必要的处理 生成处理后的数据包 将新数据包写入共享内存 并通知 DDS PCOMM 进行处理 DDS PCOMM 收到 DDS PMERGE 和 DDS PCLEAN 的通知 将收到的数据包 发送到目标端系统 如果发送不成功 目标系统未启动 网络故障 将数 据包写入缓存目录 DDS DATA comm 中 DDS 在源端通过抓取 分析合成 传输各个环境中的缓存机制来保证在软件因各在源端通过抓取 分析合成 传输各个环境中的缓存机制来保证在软件因各 种原因重新启动后 只要能够读取到相关的缓存目录就能够继续正常同步 种原因重新启动后 只要能够读取到相关的缓存目录就能够继续正常同步 6 2 跟踪日志跟踪日志 DDS PTRACK 进程的缓存文件中将记录数据库实例号 日志号 所分析到的地 址 无论 DDS 停止多长时间 只要有相关的数据库日志 个别情况下需要相关的归档 日志 DDS 就可以继续进行同步了 对于 HA 或 RAC 环境 只要 oracle 数据库实例切换后 在切换后的主机上 DDS 软件能够正常连接数据库实例 能读取归档日志 能够读写上一次停止运行时刻 的缓存目录 就可以继续正常同步 因此说 DDS 满足了 HA 或 RAC 环境下高可 用性的需求 7 DDS 的特性的特性 7 1 在线部署简单 占用资源少在线部署简单 占用资源少 DDS 部署非常简单 对于 Unix Linux 以及 Oracle 熟悉的技术人员参照相关文档 在 10 30 分钟即可部署完毕 在源端和目标端数据库上不创建任何表 DDS 对于每一个同步的用户或表 只需 4 条指令完成 并且支持脚本操作 这样就可 以避免多个用户同步时复杂的指令操作了 对于 n 个用户的同步 源端只需要 n 3 条 指令即可完成同步操作 增量同步过程中 DDS 对于主机 CPU 资源的占用平均不会超过 5 7 2 异构跨平台的支持异构跨平台的支持 DDS 是以数据库的交易为单位进行同步 装载 因此对于不同操作系统上的不同 oracle 平台环境 DDS 均可以支持 对于源端和目标端操作系统 数据库版本不同的情况也可以支持 当然前提是不同 oracle 版本之间的 schema 使用方法要彼此支持 7 3 一对多和多对一一对多和多对一 DDS 支持一个源端同时同步多达 4 个目的节点的同步模式 真正在软件上实现了一对 多的同步模式 大大减少了源端主机资源的占有率 Dds 支持 256 个目标端同时同步到一个目标端的同步模式 真正在软件上实现了多对 一的同步模式 大大减少了源端主机资源的占有率 7 4 对部分表重新进行单独全同步对部分表重新进行单独全同步 在增量使用过程中 有可能会因为某种误操作导致目标端数据更改 当源端再次对相 关部分的数据进行更改时 结果导致 DDS 将停止这张表的同步 对于这种情况 DDS 的处理方式是对该表重新进行单独全同步 同时对于其它正在同 步的表或 shema 不会有任何影响 这样就避免了因为某一张表的误操作而需要相关用 户需要全同步的操作 7 5 定时同步定时同步 DDS 支持指定时间装载同步数据到指定时刻交易的功能 不仅可以满足某些特殊的应用需求而且在某些方面起到了备份的作用 7 6 实时显示交易的统计实时显示交易的统计 DDS 在目标端运行日志中 显示每一个合成交易文件的装载时间以及延迟时间 显示每一个合成交易文件的 dml 数量 包括 inert update delete 数量上的统计 显示每一个合成交易文件的 ddl 操作语句 7 7 字符操作和字符操作和 web 操作模式操作模式 DDS 提供了不仅提供了字符操作模式而且也提供的 web 监控界面 通过两种方式都可 以对 DDS 进行日常维护和监控 满足了不同用户的使用习惯 两种操作模式 DDS 均提供了后台服务进程 无须第三方软件或服务协助 7 8 静态数据校验静态数据校验 DDS 提供了静态数据校验功能 来确认同步数据的准确性 使用此功能时 最好在业 务相对较少时刻 否则统计将没有太大意义 7 9 支持支持 oracle 自带数据导入工具自带数据导入工具 DDS 支持源端 oracle 自带的 imp 和 sqlldr 数据导入工具的使用 对于 10G 中的 impdp 工具 DDS 也提供支持 这样就不会影响使用 oracle 技术人员的操作习惯 7 10 DDS 的部署要求的部署要求 DDS 对于部署数据库环境有如下要求 目标端数据库用户在同步之前要事先存在 权限要求跟源端相同 表空间名称要求跟源端同步用户或表所使用的相关表空间名称相同 增量同步过程中 同步的用户不能删除 源端 目标端数据库的字符集要相同 源端数据库需要运行在归档模式下 正常情况下 DDS 是直接抓取在线日志的 为 了保证同步的连续性 在特殊情况下会用到归档日志 源端缓存空间大约为每天归档日志大小的 1 3 9 DDS 的健壮性的健壮性 这里主要列举了增量同步期间 DDS 对于常见的异常情况的支持 9 1 网络中断网络中断 对于同步期间网络中断的情况 由于DDS使用了缓存机制 因此在网络恢复后将继 续进行同步 装载 9 2 源端数据库重新启动源端数据库重新启动 对于同步期间源端数据库重新启动的情况 由于DDS使用了重试的机制 因此不会 因为源端数据库的重新启动而重新启动DDS软件 9 3 源端源端 DDS 重新启动重新启动 对于同步期间网络中断的情况 由于DDS使用了缓存机制 因此在重新启动后 DDS将继续同步 9 4 目标端目标端 DDS 重新启动重新启动 对于同步期间源端数据库重新启动的情况 由于DDS使用了缓存机制 因此在重新 启动后 DDS将继续同步 装载合成的交易文件 9 5 目标数据库重新启动目标数据库重新启动 对于同步期间源端数据库重新启动的情况 由于 DDS 使用了重试的机制 因此不 会因为源端数据库的重新启动而重新启动 DDS 软件 9 6 源端删除用户 导入数据源端删除用户 导入数据 对于源端的常见的 Exp imp 逻辑导出数据 删除用户 导入数据的操作 sqlload 导入数据 dds 均能够将源端的操作同步到目标端 从而达到源端 目标端数据一致的效果 10 DDS 的软件体系架构的软件体系架构 DDS 无论在设计上还是实现上都采用了模块化的方式 进程体系跟 oracle 后台进程相 似 分为三部分 第一部分是监控 管理进程 第二部分是工作进程之间通讯管理 第三部分是工作进程 10 1 源端体系架构源端体系架构 DDS 源端体系结构图 源端共享内存区主要记录源端共享内存 map 参数 信号灯 进程等详细信息 源端进程 源端进程 DDS PMONS 负责建立共享内存 信号灯 消息队列 监控系统其它进程的状态 重起异常退出进程并报告状态 DDS PMSGS 负责收集其它所有进程报告的各种错误信息 将错误信息存放到文 件 msg log 中 DDS PRECVS 负责接收界面发送来的管理命令并执行 同时也负责全同步时历史 数据的同步 DDS PTRACK 负责跟踪数据库 redo log 动态增量信息 并抓取变化的 redo log 块 DDS PMERGE 负责将 DDS PTRACK 抓取量信息进行分析 过滤 合成交易文 件 DDS PCOMM 负责将 DDS PMERGE 合成的交易文件发送到目标端 DDS PCLEAN 负责将 DDS PMERGE 和 DDS PCOMM 没有成功处理的数据包 提交进行处理 10 2 目标端体系架构目标端体系架构 DDS 目标端体系结构图 目标端共享内存区记录目标端共享内存 信号灯 进程等详细信息 目标端进程 目标端进程 DDS PMONT 负责建立共享内存 信号灯 消息队列 监控系统其它