数据集成整体解决方案

数据集成整体解决方案继系统集成、应用集成、业务集成之后，最头痛的数据集成（ DataIntegration ）已渐被各大企业纷纷触及。 目前国内大多数企业还仅停留在服务于单个系统的多对一架构数据集成应用， 这种架构常见于数据仓库系统领域， 服务于企业的商务智能。 早期那些数据集成大家大都是从 ETL启蒙开始的，当时 ETL自然也就成了数据集成的代名词，只是忽然一夜春风来，各厂商相继推出 DI新概念后，我们不得不再次接受新一轮的 DI洗脑，首推的有 SASDI、BusinessObjectsDI 、InformaticaDI 、OracleDI（ODI）等厂商。数据集成，主要是指基于企业分散的信息系统的业务数据进行再集中、再统一管理的过程， 是一个渐进的过程，只要有新的、不同的数据产生，就不断有数据集成的步聚执行。企业有了五年、八年的信息化发展，凌乱、重复、歧义的数据接踵而至，数据集成的空间与需求日渐迫切，企业需要一个主数据管理（ MasterDataManager ）系统来统一企业的产品信息、客户信息；企业需要一个数据仓库（ DataWarehouse）系统来提高领导层的决策意识，加快市场战略调整行动；企业需要一个数据中心（ DataCenter）系统来集中交换、分发、调度、管理企业基础数据。数据集成的必要性、 迫切性不言而喻， 不断被推至企业信息化战略规划的首要位置。 要实现企业数据集成的应用， 不光要考虑企业急需集成的数据范围， 还要从长远发展考虑数据集成的架构、能力和技术等方面内容。从数据集成应用的系统部署、业务范围、实施成熟性看主要可分三种架构。 一种是单个系统数据集成架构、 一种是企业统一数据集成架构、 一种是机构之间数据集成架构。单个系统数据集成架构 ，是国内目前大兴土木所采用的架构， 主要是以数据仓库系统为代表提供服务而兴建的数据集成平台，面向企业内部如ERP、财务、OA等多各业务操作系统，集成企业所有基础明细数据，转换成统一标准，按星型结构存储，面向市场经营分析、客户行为分析等多个特有主题进行商务智能体现。这种单个系统数据集成应用架构的主要特点是多对一的架构、复杂的转换条件、TB级的数据量处理与加载，数据存储结构特殊，星型结构、多维立方体并存，数据加载层级清晰。第 1页共8页企业统一数据集成架构 ，组织结构较复杂的大型企业、 政府机构尤为偏爱这种数据集成的架构， 因此类单位具有业务结构相对独立、 数据权力尤为敏感、 数据接口复杂繁多等特征，更需要多个部门一起协商来建立一个统一的数据中心平台， 来解决部门之间频繁的数据交换的需求。如金融机构、电信企业，公安、税务等政府机构，业务独立、层级管理的组织结构决定了内部数据交互的复杂性。 概括来说此类应用属于多对多的架构、 数据交换频繁、 要有独立的数据交换存储池、数据接口与数据类型繁多等特点。对于企业管理性、 决策性较强的信息系统如主数据管理系统、 财务会计管理系统、 数据仓库系统等数据可直接来源于数据中心，摆脱了没有企业数据中心前的一对多交叉的困扰，避免了业务系统对应多种管理系统时需要数据重复传送，如 CRM系统中新增一条客户信息数据后，直接发送到企业数据中心，由企业数据中心面向风险管理系统、数据仓库系统、主数据管理系统进行分发即可。第 2页共8页机构之间数据集成架构 ，这种架构多是应用于跨企业、 跨机构、 多个单位围绕某项或几项业务进行的业务活动，或由一个第三方机构来进行协调这些企业、机构之间的数据交换、制定统一数据标准， 从而形成一个多机构之间的数据集成平台。 如中国银联与各商业银行之间的应用案例、各市政府信息中心与市政府各机关单位之间的应用案例、外贸 EDI（海关、检验检疫局、外汇局、银行、保险、运输等） 、BTOB电子商务平台等。这类应用属于跨多企业、单位多对多的架构，具有数据网络复杂、数据安全性要求高、数据交换实时性强等特点。尤其这类架构颇具一些特点值得进一步去剖析。 因数据集成平台是架于多企业、 单位之间，数据的安全性、独立性决定了各企业、单位不得不考虑前置机的部署形式，各企业、单位在业务系统与数据集成平台之间增加一台前置机，则更有利于自有系统数据的独立与安全，也更利于数据平台对数据的获取、分发、交换的统一要求。另外，数据集成平台也要具有更多的技术功能来满足众多单位的众多数据接口、 多种数据类型、 不一致的数据标准、 数据交换的实时性、对数据的抽取与推送（ PullANDPush ）等业务需求。如数据集成平台需具有数据连通、 ETL、数据实时、数据清洗、数据质量、 EBS（EnterpriseServiceBus ）、SOA（Service-OrientedArchitecture ）等一些技术与特点。第 3页共8页以上三种数据集成架构， 一种是对应于某一个应用系统的多对一架构， 一种是完成企业内部众多系统之间数据交换的多对多架构， 一种是为多个跨企业、 单位机构实现某一项或几项业务活动而建立的多对多架构， 数据集成的应用差不多都是基于这三种架构， 每种架构可能会对应于多种数据集成的应用。 国内企业常见的数据集成应用有数据仓库、 数据同步、 数据交换，随着企业并购、新旧系统升级、分布系统向数据大集中看齐、电子商务的发展、多个企业单位协同作业等等众多业务需求的诞生，数据集成的应用开始纷繁异景起来。目前大部分数据集成软件厂商都是围绕数据仓库（ DataWarehousing ）、数据迁移（ DataMigration）、数据合并（ DataConsolidation ）、数据同步（ DataSynchronization ）、数据交换（DataHubs 或者叫主数据管理： MasterDataManagement ）这5种常见的企业应用形式来发展各自的产品技术。数据仓库（ DataWarehousing ）应用：数据仓库的发展在国内差不多有近 10个年头，数据仓库中的数据集成应用主要是围绕ETL 的功能来实现，一般来说其主要功能是将多个业务系统不同种数据类型的数据抽取到数据仓库的 ODS（OperationalDataStore ）层，经过转换， 加载存储到星型结构的 DW（Data第 4页共8页Warehouse）层，为满足不同主题的展现应用，再向关系型数据库或多维数据库进一步汇总加载，其 ETL功能可由手工编程或专业工具软件这两种类型来实现。第一种类型：由手工编程到专项 ETL工具的应用，这种应用类型是成熟的数据集成软件工具的雏形，是为快速达成项目功能需求为主，满足复杂的业务处理的需要，以 ETL 为核心应用，开发技术也发挥得淋漓尽致， PB、JAVA、SQL、存储过程、 C/C++都可能会悉数登场， 多一种系统的数据集成就可能会多于一倍的开发工作量， 使数据集成平台更趋于复杂、脆弱。另外，如电信、金融、税务、公安等行业的众多系统集成商针对各自的业务系统也开发有专项的数据集成工具， 只是有一定的局限性， 拘泥于某一种应用或某一特定的系统环境。第二种类型：众多成熟的数据集成软件工具 的应用为这一代表，如 InformaticaPowerCenter、IBMDatastage 、OracleODI 、MicrosoftSISS 等，集各种数据接口、 ETL、数据质量、实时、数据联邦、分区并行、网格、 HA等技术于一身，历练世界众多客户需求多时，具有更宽广的应用、可扩展性强、安全稳定等一些特点。数据迁移（ DataMigration ）应用：这种应用比较容易理解， 对于新旧系统升级、 数据大集中时的数据作迁移， 使数据更能顺应新系统的结构变化而平稳迁移。数据合并（ DataConsolidation ）应用：在企业并购中很容易产生数据合并的应用， 如两个企业的 HR系统的合并、 财务系统的合并、 其它业务系统的合并， 当系统需要合并必然产生数据的合并， 因此对企业数据进行统一标准化、规范化、数据的补缺、数据的一致性都将导致数据合并。数据同步（ DataSynchronization ）应用：当企业一个系统的业务活动会影响其它多个系统的进程时， 对数据的实时性、 准确性就第 5页共8页尤显重要。 如航空公司与航空机场之间的数据同步应用、 证券交易所与证券公司之间的股票信息同步、金融业的汇率信息同步等等，影响数据同步的实时性与可靠性的因素会有网络的连通性、传输效率、数据接口、数据格式等，这些诸多因素都属于数据集成中的数据同步要解决的问题。数据交换（ DataHubs ）应用 ：或者叫 主数据管理（MasterDataManagement ）应用 ，这种数据集成的应用越来越受企业的重视。一般构成企业主要的基础数据分别是客户数据、产品数据、员工信息数据、供应商数据，要从企业多个系统中快速、可靠地建立唯一、完整的企业主数据视图这就是主数据管理。要实现企业主数据管理应用的数据集成平台，必须具备有良好的数据连通性、良好的数据质量探查与分析、良好的数据转换能力等特点。文中上述提到跨多个企业、单位机构的架构就是一个典型的主数据管理应用，如公安局、工商局、税务局、人事局、劳动社保局等这些众多政府机构主要是围绕2个基本主体进行各项事务活动，一个主体是个人，另外一个主体是企业单位，而众多政府机构对这2个主体的信息数据要求重点不同、数据处理顺序有先后，数据变更有各异，数据交换复杂、频繁，而最理想的境界是这2个主体数据能做到最大程度的同步，这就是主数据管理的思想。以上五种数据集成应用解决方案在国内最常见的首当其冲的是数据仓库的应用，最复杂的应用应该是数据交换了，不管是简单还是复杂的应用都以ETL技术为基础，ETL技术成为了数据集成的核心技术，伴随ETL技术的还有数据连通、数据质量、数据清洗、数据联邦、Real-Time、数据探查等技术，为了提高数据集成的安全性、高效性、可扩展能力，还有SOA、HA、GRID等相关技术作为支撑。ETL（Extract 、Transform 、Load ）：数据集成视数据抽取、转换和加载为最基础、最核心的三项技术，这三个执行步骤可根据系统环境特点进行调整顺序，典型的应用有 ELT的顺序。 如源与目标为同种数据库、 或共用一个数据库时， 可将数据从源直接抽取到目标然后再进行转换，效率会大有提高，专注此类特点的产品以 Oracle的ODI为代表。数据连通（ DataConnective ）：良好的数据连通性是数据集成的能力体现，一般通用的关系型数据库、 ODBC、XML 等数据连通类型为常见类型，还有一些就是大中型企业常用第 6页共8页的ERP、CRM、BPM、OA等应用软件为封闭式的系统，如 SAP、Seibel、Lotus等系统的连通，因此良好的数据集成平台需要提供来自更多企业的数据连通接口， 抽取源与装载目标的范围也就更广阔。数据质量 （DataQuality ）：数据质量越来越被企业重视， 数据质量的技术范围也越发宽广，开始慢慢被剥离出数据集成的范畴。企业不能根据标准不统一、歧义、不正确的数据快速做出决策，只有站在高质量的数据基础之上做出的决策才不会发生方向偏倚。通常实现企业数据质量管理会包括源数据的探查、数据质量的评估、数据集成、数据的完整和数据的监控这五个步骤。数据的完整一般是指根据现有基础数据作其它数据项的扩展和丰富，如根据客户的联系方式来丰富客户的所属地区数据项、根据客户身份证号码来丰富客户的所属地区、年龄、性别等信息。数据实时（Real-Time）：对于实时数据仓库系统、数据同步等应用都会用到数据实时技术，一个系统的数据发生变化后，能即刻将变化的动作同步到另一个系统这就是数据实时技术的主旨。关系型数据库、AS400、MQSeries、ADABAS等系统都有自身的实时数据策略，如Oracle数据库的实时可以通过Trigger或LogMiner分析归档日志方式来实现。诸如以上ETL、数据连通、数据质量、数据实时等技术，还有数据联邦、数据清洗、HA、Grid、Partition、SOA技术，这些都是保证数据集成平台的可扩展性、 安全性、 高效性、简便性的通用技术。神州数码公司面向各行业提供有多家数据集成整体解决方案的经验，整体解决方案包括有企业数据集成业务咨询、企业数据集成平台产品、各厂商数据集成底层软件共三大块。数据集成咨询神州数码的业务咨询具体指对企业各个层次的数据对象进行调研， 给出企业数据管第 7页共8页理现状分析报告， 为企业的数据管理进行数据标准定义， 根据企业特点提出更优的核心数据管理机制建议， 设计适合企业长远发展的数据管理机构体系和工作管理流程，并对组织结构进行岗位职能设置。数据集成平台神州数码的数据集成平台是企业数据管理部门的工作手段， 须依赖于一套严谨的数据管理规范。 数据集成平台