达梦数据交换平台产品白皮书

_高效全面的数据集成应用的支撑平台产品白皮书达梦数据库有限公司

2013年3月本文档含有达梦数据库公司的保密的技术和商业信息、未经达梦数据库公司的书面同意，不得进行拷贝、复印或者以其它任何形式向第三方散发。我们尽力保证本文档中信息的准确和完整但是仍然可能出现技术或者文字描述的错误，如果因使用本文档造成的损失，达梦概不负责。本文档中包含的信息可能会随时更改，恕不另行通知。结论近几十年来，信息化的推进和计算机网络的飞速发展，使得人类社会所积累的数据量已经超过了过去5000年的总和，数据的采集、存储、处理和传播的数量也与日俱增。然而，这些为不同应用服务的数据都存储在许多不同的数据源之中。为更有效地利用这些信息，实现企业或社会组织数据共享与交换，减少数据采集的重复劳动和相应费用，需要从多个分布、异构和自治的数据源中集成数据，同时还需要保持数据在不同系统上的完整性和一致性。因此，如何对数据进行有效的集成已成为增强企业商业竞争力的必然选择，尤其是对于那些拥有多部门多数据源的大型企业或者组织来说，每一个部门都拥有自己的数据库，这些数据库可能是独立、异构且自治的，为了各部门间更好的合作和数据共享，建立一个完善的数据交换和集成系统是极有应用价值而且尤为重要的。产品介绍达梦数据交换平台是达梦数据库有限公司在上十年数据处理经验的基础上，研制开发的具有自主版权的、商品化的数据交换与处理平台。达梦数据交换平台创新地将传统的ETL工具(Extract、Transform.Loading)与分布式消息平台相结合，实现了对数据抽取、传输、整合、以及装载的一站式支持，是构建数据中心、数据仓库、数据交换和数据同步等数据集成类应用的理想平台，同时也可以作为数据加工处理工具由业务人员直接使用。1）功能组件达梦数据交换平台由以下5个软件组件构成:♦达梦数据集成服务HDMETLServerDMETLServer是一个具备数据抽取（Extract）清洗转换（Transform）和装载（Load）功能的通用的数据处理平台，能够为异构数据同步和数据整合应用提供完整的支持。♦达梦数据交换设计HDMETLStudioDMETLStudio提供可视化的管理、流程设计、调试功能。MEJ通知TZmWS-|•4=口更学用R1MEJ通知TZmWS-|•4=口更学用R1sdm片?ttti：F,l44IE）曲河JZ*T,l旦口刚花面可停到川.:XMlTTlt网且旧.而.用尸枣W天0.y#**二量更要■找i百瓯悠理I年15项耗买Hpw?&咻■£行£EtS0岂云乂i踊♦达梦数据交换控制台DMETLConsoleDMETl服务管理、参数配置与初始化。

♦达梦数据总线DMETLDatabus提供基于消息的、可靠的、安全的数据路由与交换服务，用于支持广域网上跨部门的数据交换。♦达梦数据交换监控系统DMETLWebMonitor对多节点的数据交换网络的管理、监控以及统计分析功能。

2）版本划分达梦数据交换平台分为标准版和企业版，其中标准版主要提供基本的数据整合和数据同步功能，企业版则在标准版的功能上增加了基于消息的数据交换与路由、监控与统计、数据质量管理、数据的发布和订阅等企业级的功能，其主要功能划分见下表：标准版^业版TOC\o"1-5"\h\z数据清洗转换 v v增量数据抽取 v v作业调度 v v数据发布与订阅 v自定义函数变量77权限管理77操作审计77实时告警77数据质■检测7据交换与路由（口乂£口Databus）7数交换监控与统计（DMETLWebConsole)典型应用场景达梦数据交换平台是专门为各种类型的数据集成应用而设计的，使用达梦数据交换平台，能够大大缩短数据集成类应用的工作量。达梦数据交换平台能够全面而高效的应用于以下一些场景。1）异构数据同步异构数据同步是指在一定的时间范围内，通过特定的技术方式，实现异构数据源之间的数据一致性。数据同步应用通常有以下一些要求：＞性能要求高，通常要达到准实时同步，因此需要实现增量数据抽取，以达到快速同步和节省网络资源的；＞可靠性要求高，故障自动恢复。达梦数据交换平台可以很好的满足上述要求，可以支持一对一或者一对多的文件到文件、文件到数据库、数据库到数据库、数据库到文件的数据同步。同步

的源和目的数据可以是不同类型的数据库或者文件，并且在同步过程中可以对数据格式进行转换以满足源和目上的不同应用系统的要求。一对多数据同步2）数据交换数据交换，通常用于不同部门间的业务协同，数据的流动是通常由应用发起并推动的，应用获取到数据并完成业务逻辑之后，可以把数据存储下来，也可以丢弃。数据交换应用通常涉及多个部门的数据库和应用程序，需要部署多台数据交换服务器。达梦数据交换平台内置了软总线功能，可以连接各种应用和数据源，支持数据自动路由，保证数据的安全可靠传输。同时达梦数据交换平台也提供了交换监控配置系统，通过该系统可以实时监控各个交换节点的状态，并可以可视化的修改交换路由设置。跨部门数据交换3）数据整合数据整合是指将不同来源的数据，经过清洗转换后变为统一格式，存储到数据中心或者数据仓库中，用于提供数据共享、数据分析等服务。其特点是：＞数据量大，数据种类丰富，需要较高的数据装载性能；＞对数据质量要求高，需要有丰富易用的数据清洗转换组件；＞数据持续集成，不同类型的数据集成的周期可能不同，需要功能强大的作业调度与监控功能；达梦数据交换平台具有数据分区并发清洗和装载、数据质量实时检查以及灵活的调度设置，能全面满足数据整合应用对于性能、易用性的要求。数据整合功^特色＞全面的数据源支持支持各种主流数据库（达梦、Oracle、SQLServer.DB2、Mysql、Sybase、PostgreSql等）的全量和增量数据抽取和装载，还支持TXT、CSV、Excel、XML文件、消息服务器、LDAP服务器、WebService等数据的抽取和装载。＞易用增量数据抽取内置了各种增量数据抽取方式，用户只需要简单的设置即可实现对各种数据库的数据的增量数据抽取，为实时数据集成提供了良好的支持。＞批量文件处理支持各种文件（txt、excel、xml）的批量读取和解析，能够自动识别目录中新增和修改的文件，并且能够在本地和远程服务器之间同步文件夹。＞丰富的数据转换规则内置近40多种数据清洗转换规则，支持动态扩充。对于简繁体、汉字拼音、乱码处理、字符集转换、中文数字的中国特有的问题提供内置的转换规则进行处理。口金数据清洗鞫翩则」三字段清断换□字段删贬合并、峪馨□字般内容清洗口第醛j□汉字「拼音.简繁体.全半角转换□全角转半角□湿字转拼音□繁体转简体J□2.S,L8进制字符串转揆为L0®制字符串16进制字符串转换为i＜na制字符串B进制字符串转换为HW1I字符目□2进制字苻格转换为］哂制字苻奉」□字将三数字，汶字、字坦处理□去掉字符串中的汉字□仅保留字符串口的汉字□去掉字符:军中的数字□仅保留字符串口的数字□去掉字符串中的字母□仅保留字符串口的字母□汉字数字转为阿拉伯数字口字符吕编码转换」□日期时间字将吕格式化□日同.时闫L日期时间字符串幅第换所理」J记录篇选j□按字段大小、长度舞选日记录□按字段长度皤选日记录□按字段大小筛选出记录，□字符巨包含筛选□段字段簿选出包含汴包含）某字符串的记录＞批量流程创建提供基于模板的批量流程生成向导，可以快速生成大量类似的转换，大大提

高工作效率。＞^业级的监控提供了BS架构的统一监控系统，通过该系统用户可以直观的监控整个多节点数据交换网络，实时查看后台流程运行状态和统计信息、接收和处理系统告警，并执行日常的管理和维护工作。DMETL内置了数据质量检查功能，能够根据用户定义的规则对流程中的数据质量进行检查，并对结果进行统计。支持用户定制规则以及和重用质量检查规则＞高性能采用基于流水线的多线程架构，并支持数据分区处理和并行装载，可以充分发挥硬件性能数据处理能力可以随着系统CPU和IO性能的提升而同步提升。此外还支持支持单表多连接并行装载、达梦、oracle的快速装载接口、文本文件的分段并行解析等。＞高安全提供基于角色的权限控制机制，责权明晰。支持传输加密，不同交换节点之间传输的数据都是经过加密处理，防止信息泄露。＞高可扩展DMETL采用基于OSGI整体架构系统的各个模块如流程节点、转换规则、数据质量检查规则都支持插件机制，可以根据具体业务需求动态扩展。＞可编程提供了简单易用的编程接口API，通过调用该API第三方应用可以快速方便的调用DMETL的各项功能，如创建、执行流程，获取监控和统计信息等。此外，DMETL还支持编写自定义的java函数和表达式来对数据进行处理。应用案例1）浦东新区数据中心该项目建设是结合浦东新区信息化发展的实际需要，解决电子政务建设过程中出现的信息孤岛、信息共享交换、数据安全存储等问题，面向全区主要委办局，建设一套安全、高效、经济的公共数据中心，项目总体架构见下图：

+示现范分折应用层操作处刑JE安全肯理项目特色分折应用层操作处刑JE安全肯理实现了对多个委办局现运行的各种异质异构系统的支持，包括windows,linux以及unix操作系统，和对各种品牌的PCServer、小型机服务器。支持多种系列的数据库包括Oracle系列、SqlServer系列、db2、sybase、mysql、DM数据库、access等多种国内外数据库管理系统。支持通过政务外网或专用光纤连接对各委办局的局域网内的数据进行交换，对地理位置从1公里以内到10公里以外的交换节点均支持良好。

2)家电网主备调数据同步2)家电网主备调数据同步该项目的最终用户是国家电网。当前国家电网电力调度系统正面临大规模的系统升级，而当前的系统升级过程中，面临的普遍现实是：旧版系统运行了较长的时间，系统相对稳定；新版系统则实现了更多更强的功能。为了保证能够平稳地完成系统的升级，提高系统的稳定性，需要同时运行新旧两个版本的系统，并保证新旧系统的数据同步。项目特色基于DMETL表级增量抽取和灵活的转换逻辑，高效的实现了国家电网主备调系统间的异构数据（数据平台和数据模型、数据结构均不同）的同步，保证了新旧调度系统的平稳过渡和升级。3）商务部产业安全数据分析平台该项目的用户是商务部产业安全调查局。项目的核心建设内容是建设一个数据分析平台为产业损害预警业务提供数据为具体业务部门日常作业提供支撑，为领导决策提供支持。该项目涵盖了从数据采集、数据加工处理到信息发布的全部过程，系统总体构架采取分层的开放体系结构，分为数据及其管理层、业务分析层、综合应用层，如下图所示。项目特色该项目数据来源广泛，数据结构复杂，主要包括国家统计局数据、海关进出口数据、商务部数据直报系统采集数据、各行业协会和专家报送数据、购买的海外竞争对手贸易数据、调查局自采集数据等。通过DMETL工具实现了上述数据的有效整合，以此为基础实现了商务部产业安全数据仓库。4）湖北省公安云项目该项目全称为湖北省公安厅金盾工程多层架构体系建设和政府部门间信息共享平台项目。项目采用〃云计算〃理念，利用虚拟化技术，对湖北省公安厅现有的软硬件资源以及内外部数据进行整合，实现〃基础设施即服务（IaaS）''、“平台即服务（PaaS）''、〃数据即服务（DaaS）''、〃软件即服务（SaaS）'‘。该项目采用DMETL作为数据采集与整合平台，数据整合系统的结构如下图:

常住人口信息境内旅客信息查询服务综合资源库章司应用支撑［五查一联系I网吧上网信息共享服务四库联查分析服务共享资源库查询服务数据交换系统数据资源管理系统元数据管理系统数据质量管理系统各类应用目录服务分析服务数据门,数据整合实名制火车票—信息一・……，数据采集 数据整合、管理 数据共享、服务 数据应用机动车信息缓冲库1T常住人口信息境内旅客信息查询服务综合资源库章司应用支撑［五查一联系I网吧上网信息共享服务四库联查分析服务共享资源库查