数据交换系统技术方案(简化版)

XXX 自动监测系统工程自动监测系统工程 信息网络与数据共享交换系统信息网络与数据共享交换系统 技术与实施方案技术与实施方案 数据共享交换系统部分数据共享交换系统部分 20052005 年年 1111 月月 7 7 日日 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 目录 南京通达海网络工程有限公司 目录目录 第一部分第一部分 技术方案技术方案 1 1 1 1 概述 概述 1 1 1 1 建设背景 1 1 2 建设目标 1 1 3 建设原则 2 1 3 1 先进性和成熟性 2 1 3 2 全面性和专注性 2 1 3 3 经济性和实用性 2 1 3 4 可靠性和稳定性 2 1 3 5 安全性和保密性 3 1 3 6 可扩展性和易维护性 3 1 3 7 灵活性和兼容性 3 1 3 8 整体性和开放性 3 1 3 9 标准化与规范化 4 2 2 需求分析 需求分析 5 5 2 1 需求概述 5 2 2 总体需求 5 2 2 1 数据交换范围 5 2 2 2 数据交换类型 6 2 2 3 数据交换功能要求 6 2 2 4 数据交换系统性能要求 8 3 3 数据交换系统框架设计 数据交换系统框架设计 9 9 3 1 概述 9 3 2 数据交换系统框架 10 3 2 1 应用集成系统 11 3 2 1 1 系统结构系统结构 11 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 目录 南京通达海网络工程有限公司 I 3 2 1 2 功能组件功能组件 11 3 2 1 3 应用集成系统特点应用集成系统特点 15 3 2 2 流程管理系统 17 3 2 3 适配器系统 18 3 2 3 1 系统框架系统框架 19 3 2 3 2 适配器功能组件适配器功能组件 19 3 2 3 3 适配器控制器适配器控制器 22 3 2 3 4 适配器工作模式适配器工作模式 22 3 2 4 管理与监控系统 24 3 2 4 1 概述概述 24 3 2 4 2 管理与监控系统的体系结构管理与监控系统的体系结构 24 3 2 4 3 管理与监控的功能模块管理与监控的功能模块 24 3 2 5 安全支撑系统 26 3 2 5 1 概述概述 26 3 2 5 2 安全支撑系统体系结构安全支撑系统体系结构 26 3 3 数据交换过程及逻辑 28 3 3 1 数据交换逻辑 28 3 3 2 数据交换过程 29 4 4 数据交换系统实现 数据交换系统实现 3030 4 1 数据交换拓扑结构 30 4 2 实现技术路线 31 4 2 1 基于对象化组件的三层 多层应用结构 31 4 2 2 基于 J2EE 框架的技术路线 32 4 3 应用集成系统功能设计 33 4 3 1 数据传输 33 4 3 1 1 Websphere MQ 典型架构典型架构 33 4 3 1 2 Websphere MQ 的工作原理的工作原理 35 4 3 1 3 常见的常见的 Websphere MQ 的应用架构的应用架构 35 4 3 1 4 Websphere MQ 产品功能特点产品功能特点 37 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 目录 南京通达海网络工程有限公司 II 4 3 2 路由寻址 40 4 3 2 1 路由规则路由规则 42 4 3 2 2 路由表及配置路由表及配置 42 4 3 2 3路由寻址举例路由寻址举例 43 4 3 3 数据分割和组装 44 4 3 4 优先级控制 45 4 3 5 安全传输机制 45 4 3 6 目录服务 46 4 3 6 1 概述概述 46 4 3 6 2 LDAP 目录服务功能目录服务功能 46 4 3 7 报头格式定义 47 4 4 适配器系统设计 50 4 4 1 适配器组件设计 50 4 4 2 适配器控制器组件设计 52 4 5 管理与监控系统设计 52 4 6 安全支撑系统设计 54 4 7 基于 XML 的数据交换标准 55 4 7 1 数据交换标准 55 4 7 2 数据交换标准管理 56 4 8 数据交换过程及实现 56 4 8 1 应用系统与数据库交换 58 4 8 2 应用系统与应用系统数据交换 60 4 8 3 数据库与数据库之间的交换 61 4 8 4 数据文件与数据文件交换 63 4 8 5 数据文件与数据库交换 63 4 8 6 应用系统与数据文件交换 64 4 9 系统部署方案 64 5 5 数据库实时复制方案 数据库实时复制方案 6767 5 1 数据库复制方案 67 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 目录 南京通达海网络工程有限公司 III 5 1 1 系统架构 67 5 1 2 灵活性 高效性 68 5 1 3 智能的断点续发机制 68 5 1 4 保证原有系统的正常运转 68 5 1 5 安全性 69 5 1 6 异构平台支持 69 5 1 8 开放性 通用性 70 5 1 9 易于管理和维护 70 5 2 Sybase 数据库服务器 70 5 2 1 Replication Server 的工作原理 71 5 2 2 Replication Server 的特征和优势 74 5 2 3 Replication Server 的管理 74 5 2 4 Replication Server 的技术特性 75 5 2 5 Replication Server 的技术规范 77 5 3 Sybase ASE 数据库 77 第二部分第二部分 项目实施方案项目实施方案 8484 6 6 实施计划 实施计划 8484 6 1 项目管理 84 6 1 1 项目管理概述 84 6 1 2 南京通达海公司项目管理情况简介 85 6 1 3 项目组织管理机构 85 6 2 项目进度计划 90 6 2 1 阶段划分 90 6 2 2 开发时间表 91 6 2 3 实施过程及成果提交 93 7 7 技术保证说明 技术保证说明 9595 7 1 软件开发方法 95 7 2 质量控制体系 95 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 目录 南京通达海网络工程有限公司 IV 7 3 过程控制 98 7 4 测试方法与手段 99 7 5 文档管理 102 8 8 系统测试方案 系统测试方案 104104 8 1 概述 104 8 2 测试阶段划分及各阶段任务 104 8 2 1 单元测试 104 8 2 2 集成测试 105 8 2 3 系统测试 整体测试 105 8 2 4 测试总结 109 8 2 5 测试计划书 109 9 9 系统验收方案 系统验收方案 113113 9 1 验收概述 113 9 2 验收过程 113 9 2 1 组织建立 113 9 2 2 验收申请 114 9 2 3 验收计划制定 114 9 2 4 用户验收 114 9 2 5 专家验收 117 9 3 项目验收总结 118 1010 售后服务与培训计划 售后服务与培训计划 120120 10 1 系统服务计划 120 10 1 1 系统安装阶段 120 10 1 2 运行维护阶段 120 10 2 服务承诺 121 10 2 1 软件开发方面 122 10 2 2 系统运行维护 缺陷责任期 方面 122 10 3 培训计划 123 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 目录 南京通达海网络工程有限公司 V 10 3 1 培训目的和培训对象 124 10 3 2 培训内容和课程安排 124 10 4 技术资料 124 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 概述 0 第一部分第一部分 技术方案技术方案 1 概述 概述 1 1 建设背景建设背景 江苏省太湖地区共有苏州 无锡 常州 镇江市水利局 省太湖管理处 5 个工情分中心和苏州 无锡 常州 镇江市水文局 4 个水情分中心 建立相应 的工情 水情 水质信息监控系统及水利专业数据库 省太湖管理处既是省数 据中心的后备中心 又是与太湖流域管理局的连接通道 为了实现省中心与分中心 分中心与分中心 省中心与后备中心 省中心 分中心与太湖流域管理局之间的信息共享互联互通 彻底打破 信息孤岛 建 立数据共享交换系统 实现一个与操作系统 数据库 应用系统无关的信息共 享交换平台 1 2 建设目标建设目标 以水利专业数据库 信息监测系统为基础 利用商用软件 开发省中心 各分中心之间的数据共享交换系统 从地域分布角度来说 实现省中心与分中 心 分中心与分中心 省中心与备份中心 省中心分中心与太湖流域管理局之 间的数据交换 从数据交换的表现方式角度来说 实现数据库与应用系统之间 的数据交换 应用系统与应用系统之间的数据交换 数据库与数据库之间的数 据交换 数据文件到数据文件的数据交换 数据文件与数据库之间的数据交换 应用系统与数据文件之间的数据交换 从交换的数据类型角度来说 包括各类 水利数据 如信息监测子系统接收处理软件采集的水位 雨量 流量 水质 闸位等数据和自动监测站的状态数据 水利专业数据库数据 数据文件 图像 数据等 采用复制服务器技术实现省中心与备份中心的各类水利专业数据库 如水 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 概述 1 质数据库 水情数据库 工情数据库 的在线实时复制 数据交换系统提供各种通用的 专用的适配器系统 为应用系统提供数据 共享交换接口 1 3 建设原则建设原则 1 3 1 先进性和成熟性先进性和成熟性 从技术层面上讲 整个系统的设计开发应在技术的先进性 成熟性上作一 个合理的选择 力求方案的先进 灵活 高效 并能在未来的技术发展过程中 平滑的升级 从项目管理和软件工程角度上讲 开发商应有能力对软件研发过程控制关 键域 质量控制关键域等实施有效的管理 从技术过程 管理过程两条主线上 实现技术和文档的严格管理 明确划分出生命周期的各个阶段 以及各阶段的 输出成果和阶段评审计划 并与用户建立良好的沟通渠道和方式 1 3 2 全面性和专注性全面性和专注性 数据交换系统既要考虑到通用性 符合相关的数据共享互联互通规范标准 同时还应充分考虑到水利数据 数据库 应用系统的特殊性 以及水利部门业 务协同工作等问题 1 3 3 经济性和实用性经济性和实用性 在保证系统先进性和成熟性的前提下 应考虑系统的经济性和实用性 整 个系统的设计坚持面向实际 注重实效 坚持实用 经济 高效的原则 系统 的开发设计始终以需求为导向 分析项目的确切需求 结合先进 合理的管理 模式 功能全面 切合实际 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 概述 2 1 3 4 可靠性和稳定性可靠性和稳定性 在系统的设计方案中 各个环节都应考虑系统的可靠性和稳定性 从安全 体系建设 与其他系统之间的接口方案以及系统状态转换等方面都应该给出切 实可行的方案 考虑各种可能存在的风险 并给出相应的措施 以确保系统平 稳 高效地运行 1 3 5 安全性和保密性安全性和保密性 系统的安全性和保密性是保证系统稳定可靠和稳定运行的一个关键 所以 系统的设计应把安全性放在首位 安全体系的建设包含了多个层次 包括物理 层面的安全 网络系统的安全 数据系统的安全以及应用系统的安全 1 3 6 可扩展性和易维护性可扩展性和易维护性 系统的设计既要充分考虑目前的需求 同时还需要考虑到未来的一段时间 的发展趋势 在系统分析设计时应具有一定的前瞻性 充分考虑到系统升级 扩容 扩充和维护的可行性 从技术方法角度来说 在系统分析设计时应采用组件化 方法库 方法引 擎等设计方法 在项目实施过程中 应提供详尽完善的技术文档 维护手册 1 3 7 灵活性和兼容性灵活性和兼容性 系统的灵活性和和兼容性同样体现在系统的扩展性中 采用组件化 方法 库 方法引擎等设计方法 保证系统的可组装 可定义 可扩展 可调整 保 证系统可以根据用户的需求方便定制 可以适应不同用户的要求 也可以针对 用户的要求及时改进和调整 1 3 8 整体性和开放性整体性和开放性 数据交换系统作为一个信息共享互联互通的基础设施 整个系统应是与平 台无关的 逻辑上独立完整的系统 同时 作为基础设施应为基于数据 数据 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 概述 3 文件 数据库 应用系统的各种信息交换提供方便 高效 稳定的调用接口 并可以在系统的逻辑功能 组件 接口等方面提供开放式的 易于管理的逻辑 扩展 1 3 9 标准化与规范化标准化与规范化 信息化建设必须有标准化和规范化的支持 尤其要发挥标准化和规范化的 导向作用 以确保技术上的协调一致和整体效能的实现 统一标准是互联互通 信息共享 业务协同的基础 标准化和规范化分析设计时 既要从技术层面上考虑到实现技术和方法的 标准化和规范化问题 同时从业务层面上考虑到行业业务标准和规范 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 需求分析 4 2 需求分析 需求分析 2 1 需求概述需求概述 数据共享交换系统就是要 以水利专业数据库 信息监测系统为基础 利 用商用软件 开发省中心 各分中心之间的数据共享交换系统 实现各类水利 数据的共享交换 采用复制服务器进行主服务器与备份服务器水质数据库 水 情数据库的在线实时复制 2 2 总体需求总体需求 2 2 1 数据交换范围数据交换范围 数据交换系统涉及的组织机构包括 江苏省水利厅 省中心 市级分中心 备份中心 太湖流域管理局 如下图所示 1 省中心与分中心 备份中心之间的数据交换 通过数据交换系统实现 数据库级 文件级 应用系统级之间的数据交换和汇集 2 分中心与分中心 备份中心之间数据交换 通过数据交换系统实现数 省中心 分中心分中心分中心 太湖流域管理局 备份中心太湖局 苏州局 太湖局 无锡局 水利部 分中心分中心 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 需求分析 5 据库级 文件级 应用系统级之间的数据交换和汇集 3 省中心与备份中心之间的数据库在线实时复制 采用复制服务器进行 主服务器与备份服务器之间的水质数据库 水情数据库等数据库级的在线实时 复制 4 省中心 或分中心 与太湖流域管理局之间数据交换 通过数据交换 系统实现应用系统级之间的数据交换 5 数据采集系统与分中心之间的数据采集 自动监测站的水位 雨量 流量 水质 闸位等数据由分中心接收处理软件采集 数据交换系统需为接收 处理软件提供调用接口 实现水位 雨量 流量 水质 闸位等数据采集到分 中心数据库 并通过数据交换系统进一步汇集到省中心 2 2 2 数据交换类型数据交换类型 1 信息监测子系统接收处理软件采集的水位 雨量 流量 水质 闸位 等数据和自动监测站的状态数据 2 水利专业数据库数据 3 数据文件 4 图像数据等 2 2 3 数据交换功能要求数据交换功能要求 1 自动监测站的水位 雨量 流量 水质 闸位等数据由分中心接收处 理软件采集 数据交换系统需为接收处理软件提供调用接口 实现水位 雨量 流量 水质 闸位等数据汇集到省中心和各中心 分中心之间交换 2 水情遥测系统在各分中心已建有水情遥测数据库 省中心 分中心已 建若干水利专业数据库 数据交换系统需提供调用接口 实现数据库数据汇集 到省中心和在各中心 分中心之间交换 3 省中心 分中心有若干类数据文件和图像文件 数据交换系统需提供 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 需求分析 6 调用接口 实现这些文件在各中心 分中心之间交换 4 上述 数据交换系统需提供调用接口 是指数据共享交换系统需要完 成各节点之间数据交换的软件开发 应用程序只要进行调用接口函数 就能完 成节点之间的数据交换 5 太湖管理处是省数据中心的备份中心 省中心与太湖管理处之间的数 据交换除以上的交换功能外 还需要实现数据库实时备份功能 6 各中心 分中心之间的数据交换系统 应实现以下功能 数据库与应用系统之间的数据交换 应用系统与应用系统之间的数据交换 数据库与数据库之间的数据交换 数据文件到数据文件的数据交换 数据文件与数据库之间的数据交换 应用系统与数据文件之间的数据交换 7 节点之间的数据交换应满足 第一 采用主动交换方式 即以发送节 点主动向接收节点发送数据 第二 接收节点向发送节点申请 发送节点认证 通过后 向接收节点发送数据 8 数据交换到目的地 应按要求存入数据库 结构实施时另行提供 或 数据文件 格式实施时另行确定 9 数据交换系统应提供数据类型用户自定义功能 应可定义交换的数据 包类型 数据记录类型 数据记录各字段类型和格式 数据类型用户自定义采 用在省中心定义方式 发送 接收两端共享省中心的数据定义表 发送端按定 义的格式整理数据 接收端按定义的格式识别数据 正确地进行数据处理 存 储 10 系统需要支持多层次的安全及权限管理 提供基于数字证书的安全 连接认证 支持 DES 3DES RC4 等加密算法 提供对数据的加密传输 提 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 需求分析 7 供应用程序认证机制 通过管理工具进行简单的配置 无须编码就可以实现对 关键业务数据的多层次的安全保护及用户权限管理 2 2 4 数据交换系统性能要求数据交换系统性能要求 1 支持灵活多样的通讯方式 支持同步 异步传输方式 多节点广播 提供消息生命周期控制 支持优先级队列和先进先出队列 应用程序可自由选 择适合需求的通讯方式 2 数据传输必须可靠 要有出色的稳定性 并针对各种异常情况提供了 完善的处理机制 在网络异常中断 人为关闭进程 操作系统崩溃等情况下 可以确保数据不丢失 故障处理后数据能成功完成传输 须解决复杂网络异常 状况导致的系统崩溃 数据丢失问题 3 数据传输必须实时高效 采用多线进程并发技术 同时提供数据压缩 断点续传 大数据切割等机制 须解决网络环境下的海量数据的传输 4 必须有强大的缓冲能力 采用内存消息池 同时采用更高效率先进的 交换技术 提供硬件允许情况下无限制的缓冲能力 解决了网络故障时的消息 缓冲要求 应用系统不需要处理网络中断等异常情况 5 可远程管理配置工具 可以在任何节点上监控其他节点的系统运行情 况 进行统一的管理 监控和维护 6 具备完善的日志机制 7 编程简单 接口丰富 支持多种开发语言 支持多个运行平台 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 8 3 数据交换系统框架设计 数据交换系统框架设计 3 1 概述概述 在信息化建设过程中 各职能部门通常采用不同的技术和体系结构来构建 自身的信息系统 信息系统大多是相互独立的应用系统 使得跨平台数据共享 与访问成为困难 在系统集成和进一步开发的过程中 如何实现不同数据库 应用系统间数据信息资源合并和共享 如何保护已经建立的资源 充分利用各 部门已经使用的数据库 实现不同数据库之间的连接 数据交换和数据共享 已经成为基于异构数据库的管理信息系统开发是否成功的关键 因此 数据交 换共享平台应运而生 与传统的应用系统和应用系统之间点对点交换的模式不同的是 数据交换 系统是为各应用系统搭建的一个基础性的平台设施 应用系统可以通过数据交 换系统来完成和其他应用系统的数据交换 这样减少了不同应用之间错综复杂 的网状结构关联 消除应用之间的依赖性 一旦一个系统的结构发生变化不至 于造成另一个系统的异常 从而降低了系统维护的成本 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 9 3 2 数据交换系统框架数据交换系统框架 数据交换系统的基础技术架构由五大系统组成 分别是流程管理系统 应 用集成系统 适配器系统 管理与监控系统和安全支撑系统 五大系统形成了 三横两纵 的体系结构 三横 是指流程管理系统 应用集成系统 适配器 系统构成的三层体系结构 两纵 是指管理与监控系统 安全支撑系统 对平 台提供整体的管理 监控能力以及安全支撑体系 流程管理系统 应用集成系统和适配器系统三者相互协同 共同构成一个 开放的 标准的信息共享互联互通的基础架构 通过管理与监控系统和安全支 撑系统 共同组成基于标准的 可扩展的 统一的 安全的共享应用和开发环 境 用来实现信息资源交换和共享等互联互通的功能 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 10 3 2 1 应用集成系统应用集成系统 应用集成系统 也被称为信息共享和交换的信息服务总线 是集成不同 应用系统的基础 通过应用集成系统 不同应用系统之间形成松耦合连接 实 现信息交换 路由 分发 转换等功能 应用集成系统主要以消息和异步通讯 技术为手段 面向服务体系为框架 服务总线为基础 XML 为信息描述语言 实现各应用系统间的集成 3 2 1 1 系统系统结构结构 应用集成系统 总线服务系统 由多个服务组件组成 其框架结构如下图 所示 应用集成系统由传输服务 数据库支持服务 目录服务 路由选址服务 消息格式转换服务等组成 并内置安全模块提供安全认证 信息加密传输和资 源访问控制等功能 同时提供一套管理工具 实现系统分布式远程管理和监控 3 2 1 2 功能组件功能组件 1 1 传输服务 传输服务 传输服务是数据交换系统的核心所在 是数据交换系统运行的基础 它除 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 11 了提供稳定 可靠的传输之外 还提供灵活的开发语言支持 通过单一标准的 API 实现统一的接口规范 其组成部分如下图所示 消息中间件选用业界成熟 稳定 广泛使用的异步消息通讯产品 传输 API 则是该消息中间件所提供的接口 文件切割类负责对大文件进行切割分段 处理 保证文件的正确无误的发送 发送模块负责调用传输 API 进行信息的发 送 2 2 数据库支持服务 数据库支持服务 数据库支持服务所要完成的工作是提供对各种数据库的支持 完成信息网 络系统中多种不同的数据源之间的信息交换 其组成部分如下图所示 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 12 数据库支持服务系统是满足异构数据库层集成的重要手段 标准 DAO Database Access Object 接口定义所有对数据库操作的行为 Method 抽象 DAO 类继承标准 DAO 接口实现各行为 Method 的标准实 现步骤 而各数据源其独特的 class 实现对该数据源的操作 3 3 目录服务 目录服务 LDAPLDAP LDAP 可做为信息系统中描述用户组织结构的应用协议 通过 LDAP 服务 查询用户权限 发送模块调用 LDAP 服务 查找发送目的地 安全模块调用 LDAP 服务 进行用户权限控制 特别是用户的组织信息存放在 LDAP 中 并且和各机构服务器 IP 地址进行 映射 当各地服务器物理环境发生变化 组织信息映射新的 IP 地址 不影响应 用的使用 达到了系统的柔性设计 其组成部分如下图所示 4 4 路由选址服务 路由选址服务 路由选址路由选址根据事先设置的 应用路由表 屏蔽网络环境 操作系统和数据 形式的差异 完成应用路由的选址工作 路由模块处于应用插件与消息中间件 之间 所有插件发送的消息经过路由选址后发往相应的队列 服务器从队列接 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 13 收到的消息发往路由器 路由器根据消息报头的信息或者消息内容的信息确定 消息的走向 本地的消息发往相应的消息处理插件 而其他信息交换平台服务 器的消息则进行路由转发 其组成部分如下图所示 5 5 消息格式转换服务 消息格式转换服务 不同应用程序的数据存储格式和数据表示格式不同 应用集成系统必须要 提供消息格式转换服务来实现不同应用之间消息的转换 消息格式转换服务根据消息转换规则和公用视图 Common View 来实现 消息的转换 消息转换规则和公用视图支持 XSLT 语言 用户可以自定义消息 传输的格式和公用视图的格式 消息格式转换服务提供图形化的转换工具 通过定义和运用公用视图及源 规则 目的规则 用户可将一种应用数据格式 映射 到另一种数据格式 转换 工具能够自动生成转换规则文件 XSLT 文件 转换功能应能够支持不同数据 类型之间的转换 XML 和数据库之间 不同数据库之间 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 14 不同 XML 之间 XML 和 Java COM 对象之间 转换规则文件可以动态地部署到应用集成服务系统中 消息格式转换引擎 能够识别出动态部署的转换规则文件并加以应用 3 2 1 3 应用集成系统特点应用集成系统特点 应用集成系统应具有如下特点 支持国际标准的开放型 Web Services 信息共享和交换技术 信息表 示以 XML 作为介质 数据交换和传输是通过 HTTP 传输协议 数据 打包是采用 SOAP 技术标准 支持 XML 消息 XML Messaging 技术 通过 HTTP SMTP 等传输 协议实现消息队列 Message Queue 和消息订阅 发布 Message Pub Sub 两种方式 支持基于内容的消息路由 断点续传 服务代 理 信息压缩等功能 支持大规模的信息转换 Large scale Message Transformaiton 机制 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 15 利用 XSLT Xpath XMLQuery 等技术来实现以下功能 数据信息过滤 Message Filtering 信息的选择和路由 Message Routing 信息排序 Message Sorting 数据重组 Restructuring Data 元数据处理 Meta Data 数据转换 Translating Data 数据显示 Presentation 系统运行可靠性保证 信息传输确认 Message Acknowledgement 确保信息送到目 的地 处处保护 Message Persistence 对传输的信息以文件 File 或数据库方式存储 在系统链路由于故障断开时 信息不 会丢失 当链路接通时信息可以从存储的文件和数据库中取出继 续发送 信息优先级排列 Message Priority 对传输的信息设定优先级 别 信息过期 Expiry Time 所有被传输的信息都被标识上可调节 过期时间 在信息过期后 信息被自动取消 提供符合 PKI 标准的安全服务模块来保证系统的高安全性 具备数字 签名 信息加密 消息照耀等基本功能 提供灵活方便的应用开发接口 以便于二次开发 提供易于使用的部 署工具 方便系统的实施 系统采用 Java 语言编程 具有很强的跨平台运行能力 以适应多平台 的特点 提供易于使用的远程集中管理平台 可以从一个中央点来管理整个数 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 16 据交换体系 对分布在不同地区的数据交换子系统可以进行远程的配 置和管理 实现基于图形化界面的系统配置 监控 和管理功能 利用日志管理工具对系统的运行和错误进行监控和记录 系统支持基于内容的信息路由 Content based Message Routing 系统不仅仅支持数据层次的数据交换 通过 BPMS 技术实现跨部门 跨应用系统的业务流程的共享和整合 高性能特点 程序设计方面采用多线程 线程池技术 通讯机制 采用松耦合结构 采用异步信息传输方式 系统结构 通过集群 Message Server Clustering 容错处理和伏 在均衡等技术实现系统的不间断运行 信息传输流控制 Message Flow Control 利用智能化的信息路由 传输机制来动态的实现点到点 点到多点和多点到多点的不同方式的 信息路由 3 2 2 流程管理系统流程管理系统 流程管理系统 Business Process Management System 简称 BPMS 是 信息交互与管理的中枢 是业务流程整合和信息上传下达的控制中心 业务流 程管理系统为不断的 跨部门的流程重组和流程优化提供了技术基础和平台 业务流程管理系统提供一系列工具来设计 修改 部署 监控与管理业务流程 及各流程节点对应的服务 流程管理系统的结构如下 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 17 流程管理系统的核心组件包括 流程建模工具 业务流程仓库 业务流程 引擎 流程管理监控系统 流程管理系统对业务系统的调度 通过应用集成服务器和应用适配器实现 3 2 3 适配器系统适配器系统 作为数据交换系统中最核心 最重要 必不可少的系统 总线服务系统 它只是提供总线服务的功能 并不提供如何将应用系统连接到总线上 这个工 作是由适配器系统 Adapter System 来完成的 适配器系统就是解决应用系统 或者 DBMS 与总线服务系统之间的连接 和信息传送等问题的程序 适配器系统提供应用系统和总线服务系统连接 信 息的提取 准备 封装 打包 分类 加密 压缩和传输等功能 适配器承担 了应用系统与总线服务系统所需编程的编程工作 它进一步使开发人员从繁复 的编程工作中解放出来 通过配置 定义实现和应用系统的连接 从而大大的 提高了开发效率 减轻了技术人员的工作负担 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 18 3 2 3 1 系统框架系统框架 适配器系统主要包括适配器 组件 适配器运行环境和适配器部署工具 其中适配器运行环境的主要部分是适配器控制器 适配器系统的系统框架结构如下图所示 3 2 3 2 适配器功能组件适配器功能组件 1 信息组件信息组件 适配器的功能往往和数据的流向有很大关系 从总体上看数据流向分为数 据的输出流向和数据的输入流向 流向不同实现的功能也就有可能不同 例如 数据输出时 要对数据进行打包和封装 数据输入时要认证和拆包 同时数据 流的位置所完成的功能也有所不同 例如在传输前 要根据数据的内容进行过 滤 适配器系统应采用单向通道结构和功能组件结构 从而降低了适配器的复 杂度 增大了灵活性和可扩展性 如下图 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 19 因此 根据功能的不同 适配器信息组件可分为 信息源 信息输出 组件 信息源组件负责从某一应用系统 DBMS 提取或接收需要输出的信息 并将信息打包封装成标准格式 信息目的地组件 信息目的地组件负责包接收到的信息传送到某一应用系统 DBMS 中 信息通道组件 信息通道组件对信息进行中间处理 主要实现信息加密 解密 信息转换 信息过滤 信息压缩 解压缩 信息合并 分解等功能 若干个适配器组件为实现某种功能组合成适配器系统 一个完整的适配器 至少有一个信息源组件和一个信息目的地组件组成 信息源与信息目的地组件 是一对多或多对一的关系 适配器可包括多个信息通道组件 适配器组件之间 的关系与管理由运行环境控制 2 通用适配器组件 通用适配器组件 信息源组件和信息目的地组件可以是不同类型的组件 如文挡 数据库 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 20 中间件 TCP IP 流等 针对这些类型 适配器系统可以提供多种通用适配器组 件 如 通用数据库应用适配器组件 Oracle 适配器组件 Sybase 适配器组件 MSSQL 适配器组件 DB2 适配器组件 文档数据库应用适配器组件 格式化文档适配器组件 Domino 文档适配器组件 Excel 文档适配器组件 XML 文档适配器组件 转换组件 文档格式转换组件 加密 解密组件 编码组件 过滤组件 文件上传 下载组件 中间件应用适配器组件 IBM MQSeries 组件 Tibco RV 组件 JMS 消息组件 其他适配器组件 Web 服务适配器组件 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 21 EJB 适配器组件 COM 适配器组件 3 2 3 3 适配器控制器适配器控制器 适配器控制器是适配器系统的核心组件 它控制着适配器中的所有组件 适配器控制器采用多线程池体系结构 它负责启动信息源组件 并负责事务和 异常的管理 3 2 3 4 适配器工作模式适配器工作模式 数据流向的不同 使适配器的工作模式也不同 主要有两种工作模式 一 种是业务系统中获取数据 发送给总线服务器 一种是从总线服务器接受信息 发送给业务系统 从业务系统获取数据的适配器从业务系统获取数据的适配器 从业务系统获取数据的工作流程如下 适配器运行环境定时自动的或者接受到命令请求后 运行某个适配器 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 22 组件 适配器组件根据配置 调用业务系统的接口 应用接口或者数据接口 获取响应的业务数据 适配器组件将数据打包 交给适配器运行环境 适配器运行环境调用传输模块接口 将数据发送给总线服务器 向业务系统插入数据的适配器向业务系统插入数据的适配器 向业务系统插入数据的适配器的工作流程如下 适配器运行环境从总线服务器接受消息 主动调用或者订阅后被动接 受 运行环境将调用适配器组件 并将消息传给组件 适配器组件将消息解包 并调用业务系统的接口 将数据发送给业务 系统 适配器组件将接口调用的结果返回给运行系统 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 23 3 2 43 2 4 管理与监控系统管理与监控系统 3 2 4 1 概述概述 管理与监控系统是基于 JMX 管理标准和 B S 架构基础之上的管理平台 通 过将不同系统的管理服务集成起来 形成统一的管理门户 管理者不受地域限 制对数据交换系统进行管理 通过对标准服务接口的支持 使新服务的管理模 块可以插接到管理平台中 实现管理功能的无限扩展 管理和维护使系统稳定运行的可靠保证 管理和控制功能主要使对业务流 程管理服务器的监控和流程的变更 对系统的监控和日志管理 对适配器系统 的配置的部署和更改以及运行状况的监控 3 2 4 2 管理与监控系统的体系结构管理与监控系统的体系结构 管理与监控系统基于 JMX 标准框架体系构建 所有可管理的组件与服务都 应支持 JMX 管理协议 3 2 4 3 管理与监控的功能模块管理与监控的功能模块 提供基于 B S 结构的管理与监控系统 提供远程部署和远程系统维护的功能 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 24 提供系统运行监控工具 监控系统的运行状况 资源占用状况 系统 性能 系统异常情况等 提供系统资源配置工具 实现流程管理系统 应用集成系统 适配器 系统的动态配置 提供远程日志管理和维护 管理控制系统基于 JMX JAVA Management eXtension 规范设计 运行监控模块 监控系统性能 系统内存等资源占用情况的监控 队列 进程监控 日志管理 审计模块 对数据交换系统记录的日志进行查询 以图形方式显示日志的内容 为日志的分析提供支持 用户权限管理模块 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 25 用户 组 角色 权限管理 用户 角色的信息存放在 LDAP 服务器中 对用户进行分组 对分组进行权限设置 虚拟数据库管理模块 虚拟数据库 Meta Data 相当于数据库的表结构 在数据交换系统中 共享的表结构是公用视图格式的一组数据结构 该功能注册 管理 发布虚拟数据库 Meta Data 到共享 LDAP 服务器上 方便用户查询 本地信息管理模块 配置本地基本信息 如 LDAP 服务器连接信息 数据库服务器连接信 息等 使数据交换系统能够顺利运行 适配器管理模块 提供适配器增加 删除功能 配置基本适配器的元数据信息 路由管理模块 配置本服务器路由表 服务器路由表可以从 LDAP 服务器上获取树型 结构以得到本地的路由通道 也可以手工添加路由通道 3 2 5 安全支撑系统安全支撑系统 3 2 5 1 概述概述 数据交换系统本身并不提供安全产品 而是集成第三方安全产品 安全支 撑系统提供于第三方安全产品的接口 同时向上提供安全服务调用接口 安全 支撑服务体系将安全系统的具体实现与安全服务接口分开 使应用系统通过标 准的接口与具体安全服务产品通讯 从而实现安全支撑系统的即插即用 3 2 5 2 安全支撑系统体系结构安全支撑系统体系结构 安全支撑系统按照相关的标准规范 提供应用程序接口 服务程序接口和 安全支撑运行环境 将特定安全技术的实现与应用分开 实现安全产品的即插 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 26 即用 安全支撑系统提供标准的 开放的安全接口 实现和不同安全产品的对接 完成统一的用户认证和授权管理 满足平台安全服务以及各类应用系统安全访 问的需要 其体系结构如下图所示 安全支撑系统的体系结构图安全支撑系统的体系结构图 应用程序接口 应用程序接口提供调用底层安全产品的服务 不必考虑安全产品的具体实 现 为使用安全系统提供可编程的环境 服务程序接口 服务程序接口针对不同的安全产品 按照接口规范 通过调用相应的安全 产品接口 编写安全服务程序 使安全支撑系统可以支持不同的安全产品 如 PKI 安全系统 Kerberos 安全系统 电子印章技术等 安全支撑系统的运行环境 安全支撑系统的运行环境负责管理应用程序接口 服务程序接口和特定安 全支撑系统的创建 连接 配置和调用 实现安全系统客户端的创建 管理和 删除等功能 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 27 3 3 数据交换过程及逻辑数据交换过程及逻辑 交换系统最根本的作用是传输应用系统的各种业务数据 而应用系统和交 换系统之间是相互独立的 异地的应用系统之间 异地的交换系统之间也是相 互独立的 但为了完成传输任务它们之间又需要进行信息传递 本节将重点描 述它们之间是如何有机的联系起来的 业务数据是如何在它们之间进行传输的 3 3 1 数据交换逻辑数据交换逻辑 从交换的逻辑上将异地应用系统之间的数据交换划分成三个层次 即应用 层 包括各种应用系统 交换层 数据交换系统 和通讯层 网络 如下图 所示 AIF 表示应用层接口格式 Application Interface Format 简称 AIF 是描 述被发送数据文件本身属性的一组信息 主要作用是标识发送目的地和指示接 收方应用系统如何处理该数据 XIF 表示交换层接口格式 eXchange Interface Format 简称 XIF 是描 述被发送数据文件属性的另一组信息 主要用于交换系统之间的衔接和指示交 换过程 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统框架 28 应用层 各个应用系统 之间 应用层与交换层之间通过 AIF 进行相关信 息的传递 AIF 中最重要的信息包括数据类型 发送目的地 发送优先级等 其中数据类型是接收方判断如何处理该数据的主要依据 发送目的地和发送优 先级则传递给交换层 由交换系统根据其内容进行传输和控制 交换层与交换层之间通过 XIF 进行相关信息的传递 XIF 中的信息包括两 部分 一部分是从 AIF 中继承而来的 如最终目的地等 另一部分则是根据发 送过程中的实际情况填写的 如交换系统识别码 为接收方交换系统判断其身 份而准备 数据发送时间 本次发送的目的地等 这些信息在数据文件被转 发时也需要重新填写 以便下一站交换系统识别 3 3 2 数据交换过程数据交换过程 在源应用系统向交换系统提交数据交换请求时 在需要交换的数据之外附 加一个 AIF 格式的数据报头 交换系统根据 AIF 的内容对数据的目的地进行分 析后 在上述数据包之上再附加一个 XIF 数据报头 当数据在交换系统之间传 递时 XIF 数据报头的内容被不断修改 直到到达最终目的地的交换系统 目 的地交换系统拆除 XIF 数据报头后 将包括 AIF 数据报头的数据包交给目的地 应用系统 从而完成数据交换的全过程 目的地应用系统再根据 AIF 的内容对 原始的业务数据进行相应的处理 数据交换过程中 业务数据与数据报头的关 系以及数据报头的打包与拆包处理过程如下图所示 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统实现 29 4 数据交换系统实现 数据交换系统实现 4 1 数据交换拓扑结构数据交换拓扑结构 数据交换系统部署在省中心 省水利厅 和分中心 备份中心构成一个与 网络拓扑结构一致的树型数据交换结构 数据交换系统屏蔽网络结构上的差异 简化了各个应用之间数据交换的难度 拓扑结构如下 数据交换系统拓扑图数据交换系统拓扑图 在上图中 数据源主要有三种 应用系统 数据库和数据文件 从图形的 简洁美观角度出发 上图没有画出数据文件 上述系统拓扑是可拓展的 即可以根据实际情况增减数据交换节点而不影 响原有的数据交换 考虑到数据交换需要的较高的可靠性 上述交换节点的传 输系统均采用 Websphere MQ Server 通过各个交换节点的 MQ 队列管理器 的队列之间建立的通道来进行数据的交换 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统实现 30 4 2 实现技术路线实现技术路线 4 2 1 基于对象化组件的三层基于对象化组件的三层 多层应用结构多层应用结构 本方案中要构建的系统软件结构采用基于组件的三层 多层应用结构 三层 多层应用已经成为关键系统的业界标准 是系统成功实施和运行的重要保障 从系统结构上分为表示层 业务层 数据访问层三个相互分离的层次 业务逻 辑集中在业务层 应用服务器应构架于中间件之上 在应用服务器增加 MQ 服 务器 实现基于 MQ 消息传输的数据交换 遵循 XML 等组件标准 采用分布 式对象技术 Web服务器 J2EE应用服务器 数据库服务器 数据 数据 数据 LDAP服务器MQ消息服务器 浏览器 管理页面 多层应用结构示意图 重要业务的对象化是保证系统继承性 可维护性和扩展性的重要设计保证 组件化是业务流程与业务处理面向对象设计的表现形式 组件应当具备分布式 特性 重要业务应尽可能地对象化和组件化 并尽可能支持 XML WEB SERVICES 等分布式对象调用协议 并应当支持负载平衡和容错 对象的管理 应当具备负载平衡和自动故障切换功能以保证系统的抗压能力和性能 信息网络与数据共享交换系统 数据共享交换部分技术与实施方案 数据交换系统实现 31 这样的体系结构大大提高了应用系统的质量 基于组件的三层 多层应用体 系结构的特性体现在以下方面 保证应用系统的可靠性和性能 保证应用系统的可扩展性 保障应用系统的安全性 实现应用层的业务逻辑 功能构件的共享 使业务逻辑更新维护更方 便 同时 由于三个层次的分离 使系统的维护和变化更容易 优化系统资源的使用 由于应用服务器数量上比客户机大大减少 数 据库并发用户数要求降低 同时三层应用可灵活部署 充分使用网络 和主机资源 服务渠