数据交换平台介绍

1、议程数据交换平台概述数据交换平台概述数据交换平台功能特点数据交换平台功能特点数据交换平台应用案例数据交换平台应用案例数据交换平台概述数据交换平台概述数据源的多样数据源的多样各类数据库、文件（文本、各类数据库、文件（文本、ExcelExcel、二进、二进制）制）数据格式的差异数据格式的差异交换策略的多样交换策略的多样主动、被动主动、被动实时、分时实时、分时同步、异步同步、异步交换数据的安全、可靠交换数据的安全、可靠网络、系统环境的复杂网络、系统环境的复杂配置、管理的复杂配置、管理的复杂数据交换过程中面临的问题采用中间件采用中间件成熟的商用软件，应用软件的半成品成熟的商用软件，应用软件的半成品不同

2、的问题由不同的中间件解决不同的问题由不同的中间件解决实现平台化实现平台化为数据整合提供统一的支撑服务为数据整合提供统一的支撑服务提供统一的交换标准、接口和开发、运提供统一的交换标准、接口和开发、运行、管理环境行、管理环境解决问题的最有效途径数据交换平台总体技术架构 浏览器浏览器TongIntegratorTongLINK/QTongWebEJBEJBEJBJSPServletTongLINK/QTongIntegrator系统系统ATongLINK/QTongIntegrator系统系统BRDBLDAP用户界面层用户界面层业务逻辑层业务逻辑层数据层数据层数据交换平台数据交换平台是打破信息孤岛、

3、实现互联互通的基础框架是打破信息孤岛、实现互联互通的基础框架提供各种应用系统之间的信息交换和共享服务提供各种应用系统之间的信息交换和共享服务消息中间件消息中间件应用集成中间件应用集成中间件数据交换服务数据交换服务数据共享服务数据共享服务数据数据同步同步组件组件支撑软支撑软件层件层应用基应用基础平台础平台层层应用应用组件组件层层数据数据查询查询组件组件数据数据传输传输组件组件数据交换平台的组成作用作用为集成各种应用系统提供一个开放式企业级应用为集成各种应用系统提供一个开放式企业级应用集成框架集成框架功能功能支持不同地域的应用系统集成支持不同地域的应用系统集成支持多种数据格式及不同格式之间的转换支

4、持多种数据格式及不同格式之间的转换提供强大的数据加工能力提供强大的数据加工能力提供标准的系统集成适配器提供标准的系统集成适配器增强的对增强的对XML支持支持提供方便易用的配置工具提供方便易用的配置工具使用使用Java代码实现，良好的平台移植性代码实现，良好的平台移植性应用集成中间件TongIntegratorTongIntegratorA系统的接口，A系统的数据格式Y系统的接口，Y系统的数据格式业务流程系统A系统B数据库系统X数据库系统Y提供企业应用集成的框架提供企业应用集成的框架实现应用之间功能集成实现应用之间功能集成实现应用之间数据集成实现应用之间数据集成TongIntegrator应用框

5、架作用作用为分布式应用提供消息递送服务的消息传输平台为分布式应用提供消息递送服务的消息传输平台功能功能提供可靠、高效、安全的数据传输服务提供可靠、高效、安全的数据传输服务提供提供P2P、Pub/Sub通讯模式通讯模式实时网络监控及管理实时网络监控及管理多网络环境、多应用模式支持多网络环境、多应用模式支持支持与支持与Web技术集成技术集成消息中间件TongLINK/Q共享内存系统系统A 应用队列TongLINK/Q核心核心 日志共享内存日志数据通道数据通道可靠队列可靠队列TongLINK/Q核心核心应用应用A1应用应用A2应用队列应用接口应用接口监管系统监管系统系统系统B应用应用B1应用应用B2

6、应用接口应用接口监管系统监管系统TongLINK/Q应用框架集中式集中式消息中间件消息中间件应用集成中间件应用集成中间件数据交换中心数据交换中心消息中间件消息中间件数据交换节点数据交换节点消息中间件消息中间件数据交换节点数据交换节点消息中间件消息中间件数据交换节点数据交换节点集中数据处理，统一管理和维护集中数据处理，统一管理和维护中心处理压力大，前端维护管理工作量小中心处理压力大，前端维护管理工作量小数据交换平台的部署（一）分布式分布式消息中间件消息中间件数据交换节点数据交换节点应用集成中间件应用集成中间件消息中间件消息中间件数据交换节点数据交换节点应用集成中间件应用集成中间件消息中间件消息中

7、间件数据交换节点数据交换节点应用集成中间件应用集成中间件消息中间件消息中间件应用集成中间件应用集成中间件数据交换中心数据交换中心分布数据处理，统一数据格式分布数据处理，统一数据格式中心处理压力小，前端维护管理工作量大中心处理压力小，前端维护管理工作量大数据交换平台的部署（二）数据交换平台功能特点数据交换平台功能特点数据抽取数据抽取数据传输数据传输数据加工数据加工数据交换流程定义数据交换流程定义数据交换策略数据交换策略异常处理异常处理配置和管理配置和管理应用和数据交换平台的关系应用和数据交换平台的关系功能概述文件文件数据库数据库应用应用应用应用数据对象数据对象（XML）数据交换平数据交换平台内部

8、数据台内部数据格式格式Oracle、Sybase、SQL Server、MySQL、OpenBase等等文本、文本、XML、Excel、二进制等、二进制等J2EE、TLQ、MQ、Socket等等数据抽取基于队列机制保证数据可靠传输基于队列机制保证数据可靠传输队列队列TongLINK/Q消息消息tlqd队列队列TongLINK/QAPAPtlqd传送成功，消息才从队列中移走一次且只有一次传输一次且只有一次传输数据传输（一）支持数据传输的优先级支持数据传输的优先级TongLINK/QPriority =AP数据传输（二）低低, ,中中, ,高优先级高优先级高优先级消息传输速度高优先级消息传输速度高

9、于低优先级的消息高于低优先级的消息同一优先级的消息顺序同一优先级的消息顺序发送发送TLQ保证低优先级消息保证低优先级消息可以得到发送可以得到发送高的数据传输效率高的数据传输效率Connection2发送缓冲区Connection1发送缓冲区tlqdConnection2Connection1发送窗口大小可调、数据块大小可调发送窗口大小可调、数据块大小可调cluster集群网关集群网关AGate1BCDRcvQRcvQRcvQ发送方发送方接收方接收方数据传输（三）传输数据的安全性传输数据的安全性节点合法性检查节点合法性检查下级节点表中的合法节点下级节点表中的合法节点口令字认证口令字认证传输加密传

10、输加密第三方安全出口第三方安全出口与与TongSEC结合结合节点信息表节点信息表OK数据传输（四）格式转换格式转换内容转换内容转换XMXBGZDHINTFLOATSTRINGSTRINGNAMEPAYSEXPHONEINTINTINTSTRINGXMXBGZDH111111111234.56M张三张三NAMEPAYSEXPHONE1111111111234张三张三数据加工（一）过滤过滤添加添加XMXBGZDH111111111234.56M张三张三XMGZDH111111111234.56张三张三XB=MXMXBGZDH111111111234.56M张三张三XBGZDH11111111123

11、4.56MGSTONGTECHXM张三张三GS=TONGTECH数据加工（二）顺序顺序数据交换流程定义（一）数据分发数据分发数据分离数据分离数据对象数据对象A数据对象数据对象C数据对象数据对象B数据交换流程定义（二）数据合并数据合并数据对象数据对象B数据对象数据对象D数据对象数据对象C数据对象数据对象A数据交换流程定义（三）数据路由数据路由数据对象数据对象A数据对象数据对象A数据对象数据对象数据对象数据对象数据交换流程定义（四）实时、定时实时、定时数据交换平台数据交换平台数据交换平台数据交换平台APAP数据交换策略主动主动典型应用典型应用B2BB2B集成集成输入组件被动接收应用数据对象数据对象

12、发送输入组件被动接收数据对象数据对象输出组件应用发送应用接收应用和数据交换平台的关系（一）被动被动典型应用典型应用数据库复制数据库复制输入组件主动拉取应用数据对象数据对象DB1输入组件主动拉取数据对象数据对象DB2输出组件应用和数据交换平台的关系（二）数据对象数据对象B数据对象数据对象A数据对象数据对象B数据对象数据对象B数据对象数据对象B异常处理器异常处理统一配置统一配置配置和管理（一）参数化配置参数化配置配置和管理（二）图形化数据库配置工具图形化数据库配置工具配置和管理（三）远程监控远程监控配置和管理（四）远程监控远程监控配置和管理（五）日志系统日志系统调试日志调试日志记录运行期间的调试信

13、息记录运行期间的调试信息分级输出，更易维护分级输出，更易维护可定义输出时间，线程，可定义输出时间，线程，javajava包等相关信息包等相关信息数据日志数据日志可定义共同使用一个日志文件或每一个组件链可定义共同使用一个日志文件或每一个组件链使用自己的日志文件使用自己的日志文件循环日志，文件长度最大值和文件数最大值可循环日志，文件长度最大值和文件数最大值可定义定义各组件可以单独定义是否记录数据日志各组件可以单独定义是否记录数据日志配置和管理（六）企业级的应用集成平台企业级的应用集成平台统一的数据、应用集成框架、强大的适配功能统一的数据、应用集成框架、强大的适配功能安全、高效、可靠的数据传输体系安

14、全、高效、可靠的数据传输体系有效的数据转换有效的数据转换提供丰富的数据转换组件提供丰富的数据转换组件XML等标准的支持等标准的支持用户可定义的数据格式用户可定义的数据格式良好的平台兼容性良好的平台兼容性支持硬件、支持硬件、OS、数据库、中间件产品、数据库、中间件产品自有版权自有版权扎根国内应用需求、充分满足应用整合需要扎根国内应用需求、充分满足应用整合需要数据交换平台的特点集中式的数据共享模式集中式的数据共享模式设计思路的选择1分布式的数据共享模式分布式的数据共享模式设计思路的选择2设计思路的选择3集中式的数据共享模式集中式的数据共享模式分布式的数据交换模式分布式的数据交换模式较适用于业务活动

15、相对集中且联系相对紧密的工作环境较适用于业务活动相对分散且相互联系相对松散的工作环境适用于业务量较大的、相对繁忙的、大范围的在线事务处理（OLTP）业务适用于业务量相对较小的非在线事务处理业务，或者说是在小范围内的OLTP业务由于大量的数据需要在网上实时传输，因此对网络条件的要求相对较高由于数据实时处理要求不强，因此对网络条件的要求相对较低由于是数据集中存储和集中处理，因此对主机、存储等基础设施的性能要求高由于采用分布式存储和处理，因此对主机、存储等基础设施的性能要求较高由于在网络、主机和存储各个层次上要求较高，因此系统在技术上复杂由于在网络、主机和存储各个层次上要求较低，因此系统在技术上相对

16、复杂便于统一管理和维护系统和数据需要分散维护和管理需要在大范围内采用统一的用户管理和权限管理机制来实现应用安全控制只需要在小范围内进行用户权限控制，相对地应用安全的要求较低系统投资较高，系统建设周期、开发周期较长系统投资较低，系统建设周期、开发周期较短与原有异构的遗留系统的整合十分复杂与原有异构的遗留系统的整合相对简单设计思路的选择4采用面向数据交换服务的体系架构采用面向数据交换服务的体系架构业务系统和数据采用分散部署和维护、管理，降低业务系统和数据采用分散部署和维护、管理，降低了工作难度和风险；了工作难度和风险；只需要在小范围内进行用户权限控制，相对地对应只需要在小范围内进行用户权限控制，相

17、对地对应用安全的要求降低；用安全的要求降低；由于采用分布式存储和处理，因此对主机、存储等由于采用分布式存储和处理，因此对主机、存储等基础设施的要求相对较低；基础设施的要求相对较低；由于在网络、主机和存储各个层次上要求较低，因由于在网络、主机和存储各个层次上要求较低，因此系统在技术上相对简单，减低了实施风险；此系统在技术上相对简单，减低了实施风险；系统的投资较低，系统建设周期、开发周期较短；系统的投资较低，系统建设周期、开发周期较短；与原有异构的遗留系统的整合相对简单，可更好地与原有异构的遗留系统的整合相对简单，可更好地保护已有系统投资。保护已有系统投资。数据交换平台应用案例数据交换平台应用案例

18、项目概况项目概况由农业部信息中心牵头建设由农业部信息中心牵头建设涉及全国涉及全国3131个省、直辖市个省、直辖市1515个试点省建设周期为个试点省建设周期为3 3个月个月目标目标全国农业系统共同需要的信息资源，将通过全国农业系统共同需要的信息资源，将通过“全国农业网站资源库全国农业网站资源库”实现联合收集，同实现联合收集，同步共享；重要的农业新闻将以步共享；重要的农业新闻将以“全国信息联全国信息联播播”实现统一发布，连锁宣传。实现统一发布，连锁宣传。 农业部“全国农业网站信息资源库”和“全国信息联播”频道（1）省级网站省级网站省级网站省级网站省级网站省级网站数据共享交换平台数据共享交换平台中农

19、网采编发平台（中农网采编发平台（WCM）信息资源库信息资源库信息联播信息联播用户用户Internet农业部“全国农业网站信息资源库”和“全国信息联播”频道（2）消息中间件消息中间件+ +应用集成中间件应用集成中间件消息中间件消息中间件+ +应用集成中间件应用集成中间件数据共享交换平台数据共享交换平台解包、分析组件Zip文件打包适组件调用webservice入采编系统组件文件目录监控组件文件目录监控组件中农网采编发平台（WCM）数据库数据库组件数据加工组件发送文件到省文件加工组件省级中农网采编发平台调用webservice入采编系统组件数据解析入库组件标准表(out)标准表(in)数据库组件省应

20、用系统文件目录监控组件发送目录数据库数据库组件广东、上海除广东、上海外农业部“全国农业网站信息资源库”和“全国信息联播”频道（3）项目概况项目概况由成都市工商局牵头建设由成都市工商局牵头建设涉及成都市涉及成都市1818个委办局个委办局建设周期只有建设周期只有2 2个月时间个月时间目标目标建立全市统一的企业信用数据中心，准确收建立全市统一的企业信用数据中心，准确收集、反映、分析、评价、公示和使用企业信集、反映、分析、评价、公示和使用企业信用资源，实现社会诚信体系工程用资源，实现社会诚信体系工程 成都工商局企业信用管理系统（1）成都工商局企业信用管理系统（2）信息发布组件信用数据资源管理中心信用数

21、据资源管理中心前置前置DB前置前置DB数据采集组件数据采集组件 前置前置DB应用集成中间件应用集成中间件消息中间件消息中间件数据转换组件数据转换组件路由组件路由组件应用服务器数据交换平台数据交换平台前置前置DB历史历史DB中心中心DB 应用集成中间件应用集成中间件应用集成中间件应用集成中间件应用集成中间件应用集成中间件消息消息中间件中间件消息消息中间件中间件消息消息中间件中间件工商原有系统技监原有系统国税原有系统业务业务DB业务业务DB业务业务DB成都工商局企业信用管理系统（3）福建省电力局DXP数据交换平台（1）项目概况项目概况建立福建省电力局数据中心和建立福建省电力局数据中心和6个部门应用系个部门应用系统之间的公共数据交换平台，为应用系统提供统之间的公共数据交换平台，为应用系统提供统一的接入接口和数据加工模块，实现跨系统统一的接入接口和数据加工模块，实现跨系统数据实时、定时交换。数据实时、定时交换。项目实施周期及人员配置项目实施周期及人员配置1名项目实施经理、名项目实施经理、4名项目实施工程师名项目实施工程师3个半月完成个半月完成2个部门和数据中心的实施上线个部门和数据中心的实施上线福建省电力局DXP数据交换平台（2）集成环境集成环境p数据中心数据中心Windo