iDBPad-数据整合平台用户手册

iDBPadiDBPad 数据整合平台数据整合平台 用户手册用户手册 有感兴趣的朋友 请联系有感兴趣的朋友 请联系 QQ 6 3 2 9 6 3 8 3 2 目目 录录 第一章 系统介绍第一章 系统介绍 2 1 1 概要 2 1 2 基础概念 2 1 3 功能特点 5 1 4 体系结构 7 1 5 应用案例 10 第二章 系统安装第二章 系统安装 10 2 1 WINDOWS环境安装 10 2 2 UNIX环境安装 16 第三章 管理工具第三章 管理工具 17 3 1 系统配置 17 3 1 1 节点配置 17 3 1 2 目录接口配置 18 3 1 3 系统管理概述 20 3 2 监控管理 21 3 2 1 系统管理 21 3 2 2 路由管理 22 3 2 3 数据传输管理 30 3 2 4 数据抽取配置 33 3 2 5 数据装载配置 36 3 2 6 日志监控 37 3 2 7 系统分析 39 3 2 8 数据库监控 41 第四章 开发接口第四章 开发接口 42 4 1 编程步骤 42 4 2 函数参考 43 第一章 系统介绍第一章 系统介绍 1 11 1 概要概要 1 什么是 iDBPad IDBPad 是解决 数据 跨平台 跨数据库同步的一个独立的软件工具平台 是面向异构数 据库整合应用的数据整合系统类的产品 2 主要功能 iDBPad 可以独立地用于一般分布式系统中的可靠数据传输 在分布式事务处理中 iDBPad 主要起通讯资源管理以及数据传输的作用 从而为联机事务处理提供一个完整可靠的支撑 环境 数据交换文件可以是几十个字节的 也可以是上 GB 容量的大型数据文件 iDBPad 能够将一个数据库中的数据变化从源库中同步到目的库中 从而保持两个数据库的 内容是完全一致的 并且还提供强大的 ETL 功能 可以方便的对现有数据进行抽取 转换 和装载 iDBPad 提供路由和队列管理 从而使数据交换平台配置简单 使用方便 iDBPad 通过添加加密插件 提供安全的数据传输 iDBPad 提供数据发送和接收的操作命令 只需通过配置就可以完成数据的传输 此外 iDBPad 也提供实用的 API 接口 极大的方便了应用程序的开发 1 21 2 基础概念基础概念 消息 在分布式应用中 不同的应用进程之间交互的信息统称为消息 消息由消息的内容及 接收者名单组成 消息的内容及格式由消息的提供者及接收者协商而定 在形式上消息可 表现为一个小的数据包 亦可表现为一个很大的文件 交换节点 具有自己专用的 iDBPad 系统运行环境及配置的实体 称为交换节点 也称交换中心 其负责数据报文的转发 该实体可以通过运行 iDBPad 软件的守护进程 从而成为一个活动 的 iDBPad 节点 数据节点 iDBPad 系统交换中心的客户端 负责报文的本地发送和落地 称为数据节点 也称交 换客户端 每个交换节点都可以有多个数据节点 应用 与具体业务有关的程序 它通过 iDBPad 系统接口函数与 iDBPad 系统交互 数据可靠传输 数据可靠传输指数据的传递在时间上无特殊要求 在网络连通的情况下必须保证数据 可靠的传递到目标节点 iDBPad 系统在数据提交后 在遇到可恢复的故障 如机器故障 网络故障 情况下 仍然能够保证数据的可靠传输 队列 iDBPad 系统中的队列是一种可靠的队列 用于存储应用程序发送的或是准备接收的文 件与消息 它能够保证标准交换数据可靠的传输 即使网络中断 机器重启 突然断电 断点续传 如果文件在传输过程中由于意外原因而引起传输失败 当系统恢复后 iDBPad 系统可 以从传输失败点继续发送该文件 而不必将整个文件重新发送 通过断点续传机制 既可 以有效减少高故障率网络上的冗余通讯量 又可以避免极端情况下 文件传输的反复失败 重传 同步方式 发送消息后 必须等待接收方的确认或应答后才进行后续的处理 异步方式 发送消息后 不必等待接收方的确认或应答即可进行后续的处理 然后在适当的时候 接收确认或应答 持久消息 在发送和接收持久消息时首先将消息在数据库中作永久性存储 遇到故障时可以根据 数据库中的内容重传消息 保证消息的可靠传输 生命周期 是消息的属性之一 是指消息的生存时间 超过这一时限 则停止对消息的传送 放 入死信队列 生命周期主要是针对异步消息的 如一个开会通知在会议结束后便无意义 就可以通过生命周期来控制 优先级 可以对消息赋予不同的优先级别 最高 0 级 最低 9 级 在源结点上 级别高的消息 将会被优先发送 在目标结点上 级别高的消息将会优先被应用取出 每处理一定数量的 高级别消息 也会处理少量低级别的消息 通过这种策略来防止大量的高级别消息造成低 级别消息无法发送 压缩传输 设置消息压缩属性 指定对一个消息进行压缩 有效地利用网络带宽 消息的路由 当目标结点不能真接到达时 需要设置中间的路由结点 通过路由结点转发消息 到 达目标结点 DTP 参考模型 DTP 是分布式事务处理 Distributed Transaction Process 的英文缩写 该参考模型 由 X OPEN 组织定义 它认为一个分布式应用系统由四个模块组成 应用 资源管理者 事务管理者 通讯管理者 发布订阅 发布订阅不同于点对点的消息传输模式 是一种一对多的消息组播模式 消息的提供 者只需要发布一次 多个订阅者都可以接收到发布的消息 主题 主题是沟通消息的发布者和消息的订阅者之间的虚拟通道 发布者将消息发布到主题 上 消息的接收者接收发布到主题上的消息 持久和非持久订阅 消息的订阅者如果想得到发布者发布的消息 必须订阅某个相应的主体 订阅分为非 持久订阅和持久订阅 非持久订阅 只有当客户端处于激活状态才能收到发送到某个主题的消息 而当客户 端处于离线状态 这个时间段发到主题的消息将会丢失 永远不会收到 持久订阅 客户端一旦做了订阅的操作 当这个客户端处于离线时 所有发送到主题 的消息将被保存 当客户再次连接时 可根据自己的标识得到所有当自己处于离线时发送 到主题的消息 集群 此处的集群是一种实现负载均衡的软件技术 用户可以利用低成本的服务器构造具有 很高可用性和可伸缩性的高性能集群系统 此技术扩展了单个节点的处理能力 把有可能 拥塞于一个节点的负载交给多个节点分担 在 C S 应用结构中 通过使用集群功能 多个 服务器联合起来作为一个整体 可支持成千上百的客户 标准交换数据 标准交换数据是 iDBPad 系统根据需要对用户数据进行处理后生成的数据文件 用户数 据经过压缩 可选 加传输包头等处理后生成标准交换数据文件 它们在节点之间传送 最终到达目的地 数据同步 在数据库上 数据同步可以这样来表述 两个数据库 一个为源库 一个为目的库 要求源库中数据所发生的任何变化均需要及时的在目的库中按照同样的顺序和内容发生 目的就是让一个地方的数据和另外一个地方的数据保持一致 ETTL 此缩写是指数据抽取 Extraction 数据转换 Transformation 数据传输 Transportation 和 数据装载 Loading 是构建 BI 系统的基础 1 31 3 功能特点功能特点 1 1 跨平台跨平台 支持主流操作系统 Windows 系列 Linux 系统 IBM AIX HP UX SUN solaris UnixWare 等 2 2 跨数据库跨数据库 支持全部主流数据库 Oracle DB2 SqlServer MySql PostgreSql SysBase Firebird 等 3 网络 网络环境环境 本系统是针对 TCP IP 协议编写 凡是支持 TCP IP 协议的网络都能使用该软件 包括 局域网和广域网 PSTN ISDN ADSL DDN 等 4 支持的开发工具 支持的开发工具 Unix平台下支持C C Java 在Windows95 98 NT 2000平台上支持多种开发工具和 可视化开发工具 如VC VB PB Delphi JDK JBuilder VisualAge for Java和 SilverStream 5 稳定高效率 稳定高效率 高效访问数据库 即通过封装相应数据库的底层访问API实现对数据库的高效操作 触发器的高效使用 本系统所建立的同步触发器是经过优化的最优解决方案 用 到索引 序号发生器等数据库技术 CLOB触发器格式文件 独创特有的CLOB触发器格式存储文件使服务端的效率达到 最高 高效 XML 操作方式 高效的SAX XML数据操作方式 使出 入库操作更加高效率 平台在传输中采用断电保护 断点续传 Send Request 等技术手段保证数据安全 可靠的传输 采用线程池 连接池技术避免频繁的启动线程或者建立连接 采用动态捆绑技术 对消息 索引的操作无需锁定 增快处理速度 6 易使用易管理 易使用易管理 易使用 易于最终用户使用 安装配置简单 易于开发者使用 提供功能强大的开发工具库 提供多种 API 接口 API For C C API For Java API For Python 等 易管理 界面友好简单 提供若干附加的数据库维护界面工具 提供图形 GUI 方式与命令行方式的管理工具 使用命令行在 UNIX 下 操作同样方便 并支持 Web2 0 操作方式 使维护更加简单 1 41 4 体系结构体系结构 14 114 1 部署网络结构部署网络结构 14 214 2 技术架构技术架构 14 314 3 功能构成功能构成 消息中间件消息中间件 提供了面向消息的数据存储 转发机制 基本文件消息传输 提供本地数据存储队列 提供了针对中间件的路由配置接口 针对大文件传输进行优化 在中间件基础之上提供了报文数据的完整性效验 强化数据传输的可靠性 iDBPad 提供强大的可视化界面管理平台 支持传输加密插件 松耦合设计 易于替换 保证数据传输安全 支持数据压缩传输 断点续传 自动探测网络状况 多平台无差别传输 针对弱质线路的可靠性传输设计 提供对数据传输的人工干预机制 提供管理接口 报文队列报文队列 自动调节使用空间 持久性存储 支持优先级排序 支持事务处理 接口插件式松耦合设计 易于替换 交换系统客户端交换系统客户端 支持跨平台 支持跨数据库 支持远程操作 路由管理路由管理 基于业务地址的路由配置 支持多层次传输架构 提供数据直发 自动转发机制 支持分组和数据类型的路由配置模式 接口插件式松耦合设计 易于替换 应用开发接口应用开发接口 消息中间件 API 接口库 支持 Java PHP C C C 等语言的直接调用 提供基于目录的数据处理接口 无需编程 提供数据管理接口 支持在已有管理平台上添加对 iDBPad 所属组件传输中间件 消息队列 路由调度的管理和控制 平台运营管理系统平台运营管理系统 实现集中式管理机制 用户登录验证 路由管理 队列管理 系统日志管理 数据库中间件数据库中间件 增量数据同步 基于触发器 基于数据库日志等技术 数据库管理 提供友好的用户界面 管理数据同步传输的功能 如配置管理 日 志管理 监控管理 任务管理等 ETL 数据抽取 转换 传输 装载功能 实现对 DB 中数据的可定义输出 可定义转化 可定义输入 支持同步方式和异步方式的数据库传输 具体功能名称具体功能名称说明说明 同库同表同步支持相同数据库中相同结构表进行数据同步 异库异表同步支持不同数据库中相同或兼容表同步 可以自定义配置 局部表同步支持可选择字段同步 即只同步指定的字段 条件同步支持按照自定义条件进行数据同步 可支持 SQL 脚本 快照同步支持快照全表同步 BLOB 同步支持同步 BLOB CLOB 和所有常用数据类型 表结构变化同步支持对表结构变化的同步功能 异库异表同步支持不同数据库中相同或兼容表同步 可以自定义配置 14 414 4 核心进程和基础服务说明核心进程和基础服务说明 进程名称进程名称说明说明 idbTransmit exe数据传输服务 idbExport exe数据抽取服务 idbTransform exe数据路由服务 idbLoader exe数据装载服务 idbDirSrv exe目录接口处理服务 idbPad exe集中管理配置界面 1 51 5 应用案例应用案例 公安部全国出入境边防检查系统 边检全国自助通关数据同步系统 北京总站无线数据验放数据同步系统 天津总站网上报检数据同步系统 深圳总站自助通关数据同步系统 交通局数据同步系统 第二章 系统安装第二章 系统安装 本章主要介绍 数据整合平台 的安装部署 分别是 Windows 环境安装和 Unix 环境安装 2 12 1 WindowsWindows 环境安装环境安装 执行提供的 iDBPad 数据整合平台安装 exe 安装程序 点击 下一步 选择 同意 序列号请联系公司获取 输入信息后 点击 下一步 点击 下一步 根据自身需要更改程序安装路径 点击 下一步 点击 下一步 继续点击 下一步 开始安装 安装完成 双击桌面上的 iDBPad exe 快捷方式即可进入 iDBPad 管理平台 目录说明 目录名目录名说明说明 Bin 可执行程序和动态库目录 config 配置文件目录 data 数据目录 包括若干功能子目录 demos 接口程序例子目录 Doc 系统帮助文档目录 Log 系统产生日志目录 Res 系统使用资源目录 Tmp 系统临时目录 2 22 2 UnixUnix 环境安装环境安装 按需要建立系统用户 获取提供的安装压缩包 iDBPad Linux Setup tar ftp 到 Unix 服务器 解压命令 tar xvf iDBPad Linux Setup tar 权限设置命令 chmod 755 idbwork 配置系统文件 位置 idbwork config 安装后 bin 目录结构 如图 启动服务脚本命令 startall sh 停止服务脚本命令 stopall sh 第三章 管理工具第三章 管理工具 本章主要介绍 iDBPad 数据平台的集成管理工具 iDBPad exe 运行于 Windows 平台 可以远程连接到数据整合服务器 以图 形化的方式对数据整合平台进行维护监控管理 3 13 1 系统配置系统配置 在使用管理工具前 先要进行相关的配置 3 1 13 1 1 节点配置节点配置 本节主要介绍 数据同步平台 的操作节点的配置修改 操作节点就是指 要管理的 iDBPad 交换系统 若要监控管理多个 iDBPad 交换系统 就配置多个 操作节点即可 完成配置方可进行 iDBPad 的管理 3 1 23 1 2 目录接口配置目录接口配置 本节主要介绍 数据整合平台 的发送目录接口如何配置 完成发送目录 的接口配置后 就可发送指定目录下的文件了 发送目录接口 发送目录接口 接收目录接口 接收目录接口 3 1 33 1 3 系统管理概述系统管理概述 登录登录 在配置好节点信息后 可以选择要登录的数据库服务器 管理管理 通过树形菜单上的多个节点 完成集中式的管理 3 23 2 监控管理监控管理 本章介绍如何使用 iDBPad 工具进行配置操作 3 2 13 2 1 系统管理系统管理 配置信息配置信息 进行系统的安装和卸载操作 进行核心服务的起停操作 进行配置参数修改的操作 配置文件预览配置文件预览 可以浏览配置文件 3 2 23 2 2 路由管理路由管理 节点配置节点配置 查询界面 维护界面 分组配置分组配置 查询界面 维护界面 隶属关系配置隶属关系配置 查询界面 维护界面 路由配置路由配置 查询界面 维护界面 路由生效界面 路由生效操作 路由查询界面 导入导出配置导入导出配置 通过此功能 实现路由数据的导出 导入 3 2 33 2 3 数据传输管理数据传输管理 发送队列维护发送队列维护 本节主要介绍 数据整合平台 的发送队列的监控处理 展开当前管理的交换系统下 的数据传输 点击 发送队列 出现如下界面 控制操作 接收队列维护接收队列维护 本节主要介绍 数据整合平台 的接收队列的监控处理 展开当前管理的交换系统下 的数据传输 点击 接收队列 出现如下界面 若没有接收的报文 则右侧列表显示为空 或者某个方向的接收队列队列深度为 0 接收队列也支持查看详细报文信息 并支持 数据删除 和 数据提取 操作方法参 见发送队列 发送队列和接收队列的监控就可随时发现发送及接收的情况 做到及时的管理和调整 操作界面 3 2 43 2 4 数据抽取配置数据抽取配置 抽取任务抽取任务 通过此功能 实现数据的出库任务 可以配置触发器类型的出库 快照类型的出库任 务等 操作界面 防震荡维护 特殊出库配置 出库队列出库队列 出库缓冲队列维护界面 缓冲查询 3 2 53 2 5 数据装载配置数据装载配置 装载任务装载任务 通过此功能 可以配置数据装载的任务 实现多任务的处理 入库维护入库维护 通过此功能 实现数据装载过程中出现的问题维护 3 2 63 2 6 日志监控日志监控 本章主要介绍 数据整合平台 的日志监控 展开当前管理的交换系统下的日志监控 选择相应的日志 即可查看各种日志的情况 通过查看日志信息 发现 iDBPad