OracleSOA主数据管理解决方案

Oracle技术处理方案

ORACLe*

El录

1.概述.......................................................

1.1背景.....................................................

南方电网“十一五”信息化现实状况...........................

南方电网“十二五”信息化定位...............................

1.2项目建设目的.............................................

13项目建设范围.............................................

1.4项目建设内容.............................................

1.5需求分析.................................................

2.Oracle主数据管理方案.......................................

2.1Oracle主数据管理设计.....................................

Oracle主数据管理总体架构设计...............................

主数据方案设计..............................................

互换数据方案设计............................................

数据互换系统功能设计.......................................

3.Oracle主数据管理设计产品简介..............................

3.1OracleBPMSuite（业务流程）.................................

BPM方案总体架构...........................................

闭环的OracleBPM处理方案...................................

业务流程分析BPA阶段.........................................

业务流程执行BPE与业务流程监视BAM阶段.....................

OracleBPM平台中重要模块简介...............................

3.1.3.10racleBPM服务器.......................................

业务规则

流程建模与模拟工具............................................

元数据资料库

OracleBPM处理方案的优势....................................

3.2OracleSOASuite（应用集成）..................................

价值主张.....................................................

创立服务.....................................................

服务连通与转换..............................................

流程编排和整合..............................................

服务公布与注册..............................................

服务的安全管理..............................................

顾客身份管理................................................

SOA平台"勺系统管理..........................................

3.3OracleDataIintegrator（批量数据抽取）.........................

产品概述.....................................................

ODI产品体系构造.............................................

数据分发和传播..............................................

数据集成关键................................................

数据质量关键................................................

数据连接.....................................................

ODI重要优势................................................

3.4GoldenGate（实时数据同步方案）.............................

高可用和容灾处理方案........................................

实时数据整合处理方案........................................

复制模式.....................................................

关键特性.....................................................

应用方式.....................................................

4.软件配置及布署方案..........................................

4.1软件配置及硬件推荐.......................................

4.2布署架构图...............................................

1.概述

1.1背景

1.1.1南方电网“十一五”信息化现实状况

Oracle主数据管理方案

南方电网口勺数据质量管理必须有一整套的用于生成和维护企业主数据H勺规范、技术和方

案，以保证主数据口勺完整性、一致性和精确性。

（1）数据原则管理

数据原则包括各业务域的数据集原则、数据模型原则及信息分类编码原则。这些原则用

于指导各业务系统建设与实行。

在原则管理上，数据资源管理工具应能有效管控原则的变更与执行。尤其是“十二五”

期间，怎样管理网省两级、省级集中的业务系统的统一版本问题是关键。

（2）主数据管理

通过企业范围内依J统一视图，即ECIM模型，实现主数据管理，增进业务系统的数据集

成与共享。

主数据管理需要处理主数据口勺定义、标识、存储、汇集、清洗、监管与共享。主数据可

认为业务系统或数据中心服务。

（3）数据质量管理

数据管理H勺最终的目的是为了提高系统数据质最。在主数据的清洗阶段，通过数据质最

管理工作，对数据进行解析、原则化、匹配&去重、补充及验证建立可靠的数据.对于关键

构造化数据在加载到数据中心时也进行相似的工作，提高决策支持水平。

南方电网打勺主数据管理系统从IT建设的角度而言都会是一种相对复杂口勺系统,往往会

和企业数据仓库/决策支持系统以及企业内的各个业务系统发生关系，技术实现上也会波

及到ETL、流程、SOA、企业服务总线等多种方面，一种经典日勺主数据管理的信息流为：

・某个业务系统触发对企业主数据的改动：

・主数据管理系统将整合之后完整、精确的主数据分发给所有有关的应用系统；

・主数据管理系统为业务系统和决策支持以及数据仓库系统提供精确的数据源。

因此对于南方电网数据质量管理的建设，必须从项目建设初期就考虑整体的平台框架和技术

实现。Oracle主数据管理(MasterDataManagement,MDM)是目前业界最完整的是,种集

成的、完整H勺企业主数据(企业业务运行和商务分析所依赖的关键性基础数据)管理平台，

具有企业级主数据存储、主数据整合、主数据清洗、主数据监管以及主数据共享等五大功能,

可全面连接企业数据内容(广泛使用和在部门间共享的数据)和实现企业范围内的主数据统

一、完整和一致。作为企业的真实数据来源，Oracle主数据管理(MDM)平台通过数据治理服

务以及对周围应用系统的集成和对商务智能系统的支持,来统一管理企业内重要的基砒数据

信息，可以整合并维护企业范围的全面、精确且权威U勺主数据，并将这些主数据信息作为共

享服务分发到所需的业务和分析系统。

Oracle主数据管理处理方案具有如下特性：

・保证数据的唯一性和精确性：有效整顿和集中分散在关键企业流程和应用软件中的

数据片断，通过一系列匹配、整合和清洗规则使之形成单一真实数据源，并提供基于工

作流的数据监管流程来实现持续的数据质量维护。最终将统一IJ勺数据资产作为Web服务

提供应周围的业务系统，实现企业范围的主数据协同;

・有效减少数据管理成本：提供统•的资源库来集中管理企业重要的数据资产，并能

将对这些数据资产的访问以服务的方式提供应周围应用系统，实时地提供访问主数据日勺

WEB服务，包括匹配、申请所有信息以及申请所需信息等；

•实现更好的报表：精确、有效的数据是精确、有效时报表的J基础，OracleMDU可以

将清洗、排重、整顿之后日勺精确数据提供应企业的商务分析系统，得到愈加精确的决策

支持；

・提供企业系统架构灵活性和创新性的基础：维护持续的、唯一而精确的主数据资产,

可以在不停变化的'业务环境中增强IT弹性，满足爆炸式数据增长的需求。

Oracle主数据管埋能支持如下六大功能:

・指定每个特定主数据域的业务职责，例如，产品、客户、供应商和组织构造。

・严格履行职责可保证接入共享资源的系统一直保持高质量主数据。

・提取分散在各个应用系统中的主数据集中到主数据存储库，主数据存储库一般采用

二维数据库存储主数据。

根据企业业务规则和企业数据质量原则对搜集到的主数据进行加工清理，从而形成

符合企业需求的J主数据。

.制定主数据变更B勺流程审批机制，从而保证主数据修改B勺一致性和稳定性。

・实现各个数据运用系统与主数据存储库的数据同步，从而保证每个系统使用的主数

据相似。）

伴随IT系统的建设，主数据的修改动作必然从既有分散的各个系统转移到主数据存储

库集中进行，因此必须保证目前主数据管理系统的灵活性，以便修改、监控、更新关联

络统主数据的变化。

Oracle主数据管理在企业范围内主数据协同方面完善了一套端到端的模式可满足

客户不一样的实行需要，即“推进模式”和“拉动模式”，前者通过前端独立应用软件

（包括Oracle应用系统、企业自主开发以及第三方软件犯勺主数据改动，通过Oracle应

用集成架构自动且迅速地同步到OracleMDM主数据平台，可实现企业范围内的全面数

据整合，而后者则是曰主数据平台积极对前端应用软件进行'实时的访问，获取新增、更

改和补充数据，并通过Oracle应用集成架构和内割数据规则实现原则化，从而最终在

主数据平台实现唯一精确地共享数据。

2.1Oracle主数据管理设计

2.1.1Oracle主数据管理总体架构设计

营网管理财务管理协同办公资产臂理探合管理人力资力管理

Oracle主数据管理的重要功能可归结为如下六大功能:

主数据存储

主数据整合与连接

主数据质量管理

主数据管理监控

主数据共享

安全可靠的平台

主数据存储

•一种具有无限可扩展性的内置.、灵活（随时间变化）内开放数据模型可维护南方电网

主数据和所有需要的属性（构造化和非构造化的）、有关实体、分类和关系；

•可跟踪主数据属性、审计跟踪信息和历史主数据剖析的来源

重要用于存储整合后主数据，将各系统的需求信息概括形成一条完整H勺记录并进行存储供应,

提供一种完整FI勺数据模型，主数据的不一样部分分布在不一样H勺业务系统中，例如一种call

center系统需要保留客户II勺所有联络信息，不过一种计费系统也许只需要保留客户H勺与计费

有关的信息，怎样将客户信息形成一条完整的记录并进行存储供应，当然是需要概括所有这

些系统的需求，提供一种完整的数据模型。

数据整合与连接

・领先的嵌入式数据质量管理工具及与第三方数据源的集成，用于验证和充实数据

・可保持数据最新H勺持续数据清理功能集

・迅速安全的参数化搜索引擎，能识别和防止反复数据

•智能合并和自动合并功能，消除数据反复，同步保证对的I肉数据属性排除

-运用与外部内容提供商口勺预建集成来充实主数据内容

-包括主数据生命周期管理工作流

主数据分散在不一样的业务系统中，要进行数据整合，第一步是实现这些异构系统的互联互

通，然后通过一定的触发机制将各个系统针对主数据的修改同步到主数据存储库。不过在实

行数据集成的过程中,由于不一样系统提供H勺数据内容、数据格式和数据质量千差万别,区

至会碰到数据格式不能转换或数据转换格式后丢失信息等问题，将会严重阻碍数据在各部门

和各应用系统中H勺流动与共享。因此，怎样对数据进行有效的集成管理是数据共享中心建设

的一种关键难点。

ETL是实现数据集成H勺重要技术。ETL中三个字母分别代表日勺是ExtractsTransformsLoad,

即抽取、转换、加载。（1）数据抽取：从源数据源系统抽取目日勺数据源系统需要的I数据：（2）

数据转换：将从源数据源获取的数据按照业务需求，转换成目的J数据源规定H勺形式，并对错

误、不一致H勺数据进行清洗和加工。（3）数据加载：将转换后日勺数据装载到目日勺数据源。ETL

过程中的重要环节就是数据抽取、数据转换和加工、数据装载。

CRM8CMLeoacyERP

Oracle的主数据整合管理ETL基于ODI来实现，使用ODI设计和生成经典格式；运用已经

有的元数据格式设计MDM应用（实体，字段，关系）：生成和维护主数据构造；生成和布署

转换。

主数据质量管理

-为每个主数据实体创立通用ID并构建针对每个所连接记录/系统对向交叉引用

-一种数据导入工作台和顾客界面，以协助数据管理员管理源系统口勺映射和数据加载

及主数据剖析

-使用预建、符合原则的业务服务和适配器实现集成

-使用可配置的属性“排除”规则，根据多种数据源创立单一H勺记录

-运用基础服务框架的数据联合功能

主数据维护着企业里该种类型数据H勺最值得信任的数据，因此使用质量管理技术来保证这些

数据的精确是主数据管理里非常重要的一环。

攻■标准化喔配小擎■复处理

•抽和标海化・性・使用军■的引掌运行人

ftM•金算条目妃景目防止

•在主从目录中遇斤分关在产品豉据存储中产

•以财重复井懵防里立段

•使用行业&公M卜力lift

生

自动产生和■认工作谈

x西这条目号描逑才成爆•退步拉什斯东门宣又

•fc・占*不必要的纪

程♦依说程

01!遇忏砂檄蝇格化果宏送少酸糖■

3•住所有依据入口点谩求而•声晶变化柱物

户白定义・乂_

1.数据清洗：数据清洗是对数据进行校验和原则化，例如地址与否存在等等。

2.数据匹配：数据匹配是找出有也许反复的记录。例如MDM系统里有两个阈值是用于控

制数据匹配的流程，第一种阈值是高分阈值，对于数据匹配分值高于高分阈值的记录将会

使用数据存活规则进行自动合并；第二个阈值是中分阈值，数据匹配得分在高分阈值和中分

阈值之间的记录将会进入人工判断工作流，由管理员或者其他指定的人决定合并还是作为

新记录。低于中分阈值的记录都将会被作为新记录。

数据存活规则(Survivorshiprules)

一般而言，企业里的主数据来源于企业里的各个系统，当不一样系统日勺同一种属性值有.不一

样时值的时候，就需要决定哪一种系统时值是精确口勺。数据存活规则指定多种规则来决定新

的数据进入到主数据库或者当新数据和旧有主数据冲突H勺时候的处理措施。数据存活规则重

要有三种：

•Recent规则：当相似的数据进入主数据系统的时候，后来来的数据为准，后来数据

替代本来的数据。例如contact(联络人)信息，缺省是后来来的更新为主。

•History规则：当相似的数据进入主数据系统的时候，以本来的I数据为准，不接受后

来数据的更新。

•Source规则：当相似的数据进入主数据系统的时候，以数据来源系统的可信度为作

为使用哪个数据最终存活的规则。例如当源系统有A,B,C三个系统的时候，我们

需要在主数据管理系统里注册这三个系统的时候，同步给这此源系统评分，则当

使用source规则II勺时候，则后来的数据将以评分高的系统为准。例如有三个系统，

CRM,财务，物流，对于客户信息而言，我们认为CRM系统里的客户信息应当是最

准”勺，我们应当给于CRM系统较高的分值，则这个时候对于客户数据我们将使用

Source规则，则后来所有的CRM系统对应客户的更新会覆盖本来不是CRM系统的

更新。

3.数据质量管理流程

数据质量的大体控制流程，即当记录进入主数据系统时，先会在主数据系统里寻找也许匹配

的记录，假如成果认为是不匹配，则将进入处理不匹配流程来增长一条新记录；假如是分

值足够高，则进入自动匹配流程把该记录和原有记录进行数据存活规则处理并合并记录；假

如是分值局限性够高，则需要人工来决定该记录是新记录还是需要和原有记录合并。

主数据管理监控

-最佳的工作流功能（例如针对南方电网主数据定义和审批路由的可配置工作流）响

应整个主数据管理生命周期事件;。racleBPEL规范制定自动化业务处理流程，支

持顾客自定义变更类型

-保证坚如磐石的安全性和法规遵守证明的完整历史和审计跟踪

■纳税人数据认证，支持机构创立数据质量原则，遵守这些原则并提高顾客对数据的

信心

-商务智能基础架构，支持剖析、法规遵守和业务绩效指标

・自动化、人工流程，提供良好的顾客界面UI,多种告知方式

•自动化、人工的审核和同意，逐层审批

•易于多组织的协同工作

主数据公布和共享

-面向终端顾客和数据管理员的直观GUI,管理主数据H勺整个生命周期一一从创立或导

入主数据信息到清理、匹配、增强和公布。使用预建的流程使南方电网更轻松地管

理主数据

-对所有集成模二1一一实时（紧耦合和松耦合）、近实时（松耦合）和批量一一的严格

的多模型支持

■提供作为业务服务和Web服务n勺常用功能

-一种内部触发的机制，创立变更信息并向所有相连系统布署

■为所有的管理软件和分析系统提供主数据记录和所选属性

-在面向服务的架构（SOA）和/或消息传递总线上的运行管理软件和数据仓库双向交互

■通过Oracle应用集成架构（AIA）流程集成包（PIP）预建的集成

-与Oroclc商务智能企业版（OBIEE）预建的集成

为了实现主数据共享，首先全网应当各个分散的业务系统连接起来，实现各个业务系统与主数据

存储的互联互通，目前H勺南网主数据管理处理方案重要采用两种方式来实现：基于ETL工具的方

式和基于SOA体系架构的方式。

1.基于ODI的方式

A

J

>

Q

0

e

u

u

0

5

S

B

。

基于ODI这样Fl勺ETL工具设计的架构更适合全网业务系统中的非实时数据量大的主数据共享公布。

如上图所示，采用基于ODIH勺ETL工具具有连接多种异构数据源和变化捕捉的能力，采用它来实

现MDM中异构系统H勺数据触发、整合和公布应当是顺理成章日勺事情，当某个主数据的源发生变

化时，ETL的CDC（变化数掂捕捉）功能就会捕捉到变化，进而将变化向数据传播到主数据管理系

统的临时存储区，然后ETL工具根据定义的数据转化规则对数据进行清洗转化，形成主数据，进

而ETL调用审批监管流程，一旦获得审批，ETL即可将主数据同步到主数据存储系统，同步分发

给各个订阅该主数据的业务系统。同步ODI可以支撑流程的设计、运行、监控，否则ETL工具必

须可以调用其他口勺工作流引擎，ODI可以实现与SOAH勺无缝集成，既可以将数据或者转化封装为

WebService服务，也可以调用外部I向WebService服务。

2.基于SOA架构的方式:

监控管理查询修改添加复制

MDM

I

—同步—*

HR

CUSTCUST

APP1

APP2

在该方案更适合实时向数据量小的主数据共享公布，采用OSB（企业服务总线）技术构建应用集

成平台，采用webservice方式实目前多种系统间应用集成和互联互通。应用集成平台是数据采

集、数据互换及服务提供能力的直接承载。数据的搜集和分发采用多种应用和适配器实现，多种

应用适配器一般提供变化数据时的轮询或者推送功能。监控管理可以采用SOA中II勺工作流引擎

来实现，同步SOA中的流程监控系统可以对整个主数据的搜集、转化、审批分发提供端到端的

监控。采用SOA技术设计的主数据管理架构基于J2EE的开放架构，会非常灵活，同步便于和其

他系统集成，系统的扩展性上很好，其问题在于假如主数据同步的量非常大，效率会有一定问题。

安全可靠的平台

・基于原则的开放平台

-多语言和多国家支持

■经验证R勺平台，全球各行业（包括公共部门）数千客户口勺选择

■面向混合的重工作负载一一Oracle拥有巨大数目的客户一一卜关键数据访问的高度

可用和可伸缩的平台。

安全特性包括全面且灵活的认证、全面的审计和监控以及所有架构级别的力L密。

Oracle已经获得了17项独立安全性评估的担保，确立了Oracle在该领域日勺领导地位。

这些评估包括TCSEC、ITSEC、FIPS和多种通用原则评估。

2.1.2主数据方案设计

主数据管理H勺关键是数据整合、数据管控和数据服务。在横跨这三个层次需要进行数据

安全管理、质量管理和元数据管理。下面分别进行简介：

数据整合：数据整合就是将离散于各个业务系统中的数据进行集中化，统一整合集成至

数据中心。数据整合将通过ETL工具实现数据的抽取、转换和加载等功能。

数据管控：重要包括数据中心物理模型、逻辑模型的设计，数据FI勺维护管理以及存储管

埋等管控功能。

数据服务管控：数据服务管控重要是对采集至数据中心的数据进行数据互换和管控，重:

要包括数据百换服务设计，数据总线互换共享,以及数据互换管理等功能c

元数据管理：元数据管理是整个数据共享中心中基础信息的管理，包括ETL元数据、接

口元数据、模型元数据和数据服务元数据等的管理功能.

质量管理:在数据管理W、J不一样阶段，数据管理对数据质量管理的侧重点也有所不一样。

数据质量管理H勺目日勺，逐渐从单纯地提高数据精确性，延伸至保障数据的完整性、唯一性、

合法性、一致性、及时性等属性；从单纯以技术角度考虑数据质量问题，发展至从顾客视角

衡量数据质量问题，提高顽客对数据的满意度；建立数据质量监控机制，及时发现、汇报、

处理数据共享中心中的数据质量问题。数据质量管理子系统是数据共享中心中数据质晶管理

体系的重要构成部分。

安全管理：重要包括数据存储安全、数据管控安全和数据互换等安全管理。

主数据方案设计原则

主数据方案设计，遵照如下一般原则：

•每类业务数据实体的属性有且仅有一种所有者（Owner）,零个或多种消费者

（Consumer）；

•对数据的维护必须通过所有者进行，消费者对数据只有只读功能；假如消费者需要

对数据进行维护，必须调用所有者数据维护服务；

•数据有且仅有一种主数据源（MasterLocation）,主数据源可以是数据所有者的应用

数据库（ADB）或者数据中心数据库。基于性能的考虑，消费者可以在ADB保留

数据的备份，由主数据源实时或定期发起数据同步；

•主数据源提供对应的数据存储和数据服务：

主数据集成方案设计

根据主数据源位置（Location）、数据冗余方式（Redundant）和数据维护的归属（Owner）,

一般的主数据集成方案分析如下表：

方案123456

主数据源数据中心数据中心数据中心数据中心ADBADB

Owner数据中心数据中心ADBADBADBADB

Consumer

与否有备

份YNYNYN

直接读同1调用数据调用数据直接读直接读

OwnerADB中心数据中心数据OwnerADBOwnerADB

中的数据访问服务访问服务

Owner读备份

Step1、在在一种交Step1、调用数据Step1、写写Owner

一种交易易内写调用数据中心数据OwnerADB

内写OwnerOwnerADB中心数据维护服务ADB；

ADB和数据和数据中维护服Step2、通

中心；心务；过数据中

Step2、通Step2、心或主数

过数据中通过数据据源启动

心启动对中心启动对

Consumer对Consumer

ADB日勺数据ConsumerADB曰勺数

同步ADBR勺数据同步

Owner写据同步

数直接读调用数据直接读调用数据直接读通过数据

据Consumer中心数据Consumer中心数据Consumer中心口勺统

维ConsumerADB中日勺数访问服务ADB中口勺访问服务ADB中的一视图获

护读据备份数据备份数据备份取数据；

方Optionl：Optionl：同1同2同1同2

式在一种交Consumer

易内，调用Owner

ConsumerH勺数据维

调用Owner护服务；

日勺数据维Option2：

护服务，同集成Owner

步写的数据维

Consumer护界面

ADB；

Option2：

集成Owner

H勺数据维

护界面，由

数据中心

启动同步

ConsumerConsumer

写ADB

下面就各个方案进行分析，对于方案1和方案2：

集成方案1一

特点单点存情多点学偌.=数零*心负与蚊嘱的造手

Owner数需*心敢绻*心

Master蚊嘱*二蚊嘱中心

各立尼系正和欲曙*心都安京京婷.但熏雪*心作为这

简要提故得宛*到豉喔中心平台寺.其它票支不至鼓甥约master系缗.对主欲提及超更套必须先遇匕杀

再兵石.其它系竟对数得的话号全抗改买

迷教至中心平台上第之二W厅.再二京嘱寺心关起可于.定程习步土改今果

期柜美装筑.各个营业系竟不能对效般发超更折.

优点运忑强势城求手段出氧对豉逐笥控的M恬对政嘈的更新亲*管差.窕色攻好的控芨敢提的型呈

统一和堂皇控制

缺点致指率心平台三力根大.氏度跟字.其它皆系交C5有一定的改造重.行妄耳薮其它系史对这至数

系S数注量喂大雪豹争鼓：敬幅*•二二台号行这对辽至亲喝的W运力鞋

这两种方案重要合用于尚无任何系统时，进行一体化系统建设，如应用于已经有系统则

改造量较大。同步，这两种方案均以数据中心做为主数据的维护中心。

对于方案3、4和方案5、6：

集成方案3、4集成方案5、6

多卢这看.UADB友玉蚊幅的造用.会嘱*心东为素多上考佳.*ADB弃支或崛的统—ADB做看数《

特点

吨的主弓W芸芝.发苴对其三系芨的兹提习步的主寺便系史.发起对其桂亲艺的蚁提同步

OwnerADBADB

Master数需*心ADB

数弟*心作为数幅的master系史.对主豉雪发包更W^的主官ADB忤为其master系竟.对主豉雪发艺

简要提必须先在ADB对数指*心W行更手.再士数赠牛心发学改等在对立的ADB系正中遂行,E=谚ADB发起

述它可步品程习步体改结果到电关系近习步充程可步到鼓电中心和其它相美史弓.

优点对鼓雪的更方生丰管控.金磐较好的控专.致得的货总系迁改造量小.逡合三官系疑

适会行罡系史

致电费量=主官立与分近控制数零受量生主舌寸与分教控却

坡点对于数堀幸士建设茎己节成的ADB之同的意我失或方

之同角或呈叉状,经为复杂

式江昊改用上方案.改壬H作量经大ADB

方案5、6较适合已经有大量系统日勺状况，带来的系统改造量最小。方案3、4适合在主

数据维护职能不变日勺状况下将主数据在数据中心中进行集中，并提供应新建应用。

主数据实行方案设计

1、主数据创立抽取设计

主数据创立抽取过程如下：

其一、先对既有业务系统进行解耦，处理目前各业务系统间交叉访问，耦合度过高H勺问

题。通过建设共享数据库，并将目前南方甩网各系统交叉访问的共享数据通过数据复制机制

同步或异步复制到共享数据库，然后再更改各业务系统既有的共享视图或物化视图定义，将

共享访问数据源统一指向共享数据库。通过共享数据库的建设及数据复制机制的建立，可以

将目前网状口勺交叉访问接口平滑过渡到基于共享数据库n勺星状接口，有效处理各系统依赖度

过高的问题，同步也为下一步各系统H勺升级改造打下基础。

这里欢I数据复制产品可以考虑Oracle曰勺GoldenGate实时复制产品，先将数据复制到共

享数据库，完毕“系统解耦”工作。

其二、是进行数据共享协同平台的建设。在进行系统解耦时，我们会构建共享数据库，

但该共享库仅仅是将目前分散到各业务系统的共享数据进行了集中，还缺乏统一的规划，因

此还需要对共享库进行重新规划设计，同步也需要对共享协同平台和外部互换库进行规划设

计。总体规划设计完毕后，即可开始构建数据共享中心和业务协同平台，其中数据共享中心

构建完毕后，就可.以逐渐将各系统间本来基于视图和物化视图日勺数据共享访问调整为基于数

据共享中心H勺访问模式。

共享库规划生成主数据管埋，可以考虑OracleDataIntegrator产品，实现数据ETL的工

作。

主敏■在U

♦T传■■峨♦住力・一!!«?■■

.

・4«««

玲.•«««

・・本”

v•・供fllatMb•外

♦3E92带卷•将

BIA・ttfMrittW

2、主数据共享分发流程设计

主数据创立生成后，就是对主数据进行有效管理和运用。同其他系统进行可以进行实时或半

实时的同步从多种源系统建立统一、完整的记录，再将主数据信息同步到其他系统中。通过

内嵌的集成服务同其他系统进行集成，例如丰富U勺公共API和业务事件。通过不停的数据清

理和转换规则来保证同步数据的质量。

主数据管理功能设计

主数据的管理功能基本与内部互换数据、外部互换数据相似。

2.1.3互换数据方案设计

内部数据、外部数据在数据互换上的业务功能和逻辑，以及技术实现都是相似的j,可以

采用相似欧I数据互换方案框架。数据互换方案框架涵盖了数据互换，质品清洗，数据管控和

数据使用，处理了怎样在关键数据上实现统一的存储，维护和使用的问题。

>数据集成：数据集成就是将离散于各个业务系统中的数据进行集中化，统一整合集

成至数据共享中心。数据集成需要对南方电网内部系统以及外部系统进行数据集成。

对于不一样的数据集成场景，有不一样口勺数据集成实现模式，例如有基于Oracle

ODI的“拉”数据集成模式和基于ESB总线的“推”数据集成模式等。

>质量管理：在数据管理H勺不一样阶段，数据管理对数据质量管理H勺侧重点也有所不

一样。数据质量管理H勺目的，逐渐从单纯地提高数据精确性，延伸至保障数据H勺完

整性、唯一性、合法性、一致性、及时性等属性；从单纯以技术角度考虑数据质量

问题，发展至从顾客视角衡量数据质量问题，提高顾客对数据的满意度；建立数据

质量监控机制，及时发现、汇报、处理数据共享中心中的数据质量问题。数据质量

管理子系统是数据共享中心中数据质量管理体系口勺重要构成部分。

数据标准化风配黄重引挚合并

•Runexh«uatrv«M«rcfm

usingcu«Aom(rMi*eengrw•Mer9«AMVIracord*to

•ider^y(Mi*ca1e«andprevent»

prewnthAreoccuroncM1productdatareposMory

DataQualityTools

故据自动校验,格式化人工工作通故维清理

•NormeftMg一心…tarc,Slep-byolepnew4em

•Removeunwanted

1)MCnpOonruiMde6M6and^MOMB(

FVCOCCHIoraduc*

,Ap0yuMr-dvftnodvataMcnpcocesaes

datavokxn«

HJIMalaldataentrypants■Productchangecontrol

图：数据质量管理

>数据管控：数据管控不是纯粹的技术问题，而是由技术、人、信息和流程4个方面

共同影响口勺综合管理问题。数据管控的演进思绪划分为4个环节：提出管理需求、

制定管理流程框架、细化详细管理流程、与组织机构详细角色进行对应。

>数据使用：存在于数据共享中心中的数据重要有两大方面的使用，一是封装成数据

服务，并集成于业务协同平台（服务总线平台）进行数据服务共享，南方电网信息

内部系统和其他外部系统统一通过业务协同平台获取所需业务数据；二是基于数据

共享中心口勺集成化数据进行综合查询分析的应用，查询分析记录功能不再基于关键

业务数据库，防止导致对关键业务系统的J性能影响。

­:•模式一把于鹿务管理平台配・生成依据腰务

❖模式三基于BPEL流程弓|景进行服务编排

田

图：数据服务共享

2.1.4数据互换系统功能设计

基于内部数据互换方案框架，并结合南方电网数据共享协同平台总体功能需求分析口勺基

础上，梳理出南方电网共享中心11勺总体功能组织构造如下图所示:

如下将分别对数据共享中心数据集成域、数据管控域、质量检测域和数据使用域的功能

规划进行详细简介:

数据集成

数据集成引擎(DataIntegrationEngine)面向应用系统，在各个应用系统I向数据源中提

取数据，是一种跨平台的用于整合异构系统数据的ETL二具，在数据共享中心中，数据集成

引擎实现了从各业务应用系统的数据源中提取用于整合共享的数据，通过质量检查后，按新

的数据模型对数据进行转换和清洗，对的无误后加载到目FI勺数据共享中心中。

数据集成引擎(DataIntegrationEngine)

目标数据加载(TargetDataLoading)

数据转换清洗(DataTransforming&Cleaning)

数据质量检查(DalaQualityCheck)

I批量数据提取]]变化数据捕获

(BulkDataExtract)(ChangeDataCapture)

接口

下面对数据集成引擎中的各个部分的功能进行详细简介。

元数据模型

为了可以自动完数据提取、质量检查、数据转换清沅和数据加载这个数据整合过程，数

据集成引擎需要懂得源数据、目日勺数据的数据构造，源数据到目H勺数据的转换及清洗规则，

尚有源数据日勺质最检查规则等数据，这些用于描述数据自身的数据被称为数据集成H勺元数据,

而无数据模型是元数据的一种实例集合，描述了详细口勺数据构造和规则，在数据进行集成前，

必须先定义好元数据模型。

详细的I元数据包括：

1）数据源定义

2）目的库定义

3）数据物理模型

4）数据检查规则

5）数据转换规则

6）数据清洗规则

批量数据提取

批量数据提取(BulkDataExtract)从数据源定期批量提取数据进行整合，是数据集成引

擎的J前端功能，与元数据模型中定义的各个数据源进行连接，获取需要整合H勺数据，然后存

储到中间数据库(StagingDatabase)进行后续口勺质量检查、清洗和转换处理。

批量数据提取由于提取的数据量较多，对于性能日勺影响也较大，一般用于非实时的数据

整合，合用于时效性规定不高并且不但愿过多影响源系统数据处理性能日勺状况。

对于关系型数据库的批量数据提取可以使用两种接口方式来进实现：

1)ORACLEDBLINK：

这种方式合用于目的数据库和数据源数据库都是Oracle的I状况，直接在目的I数据库建

立源数据库H勺DBLINK,通过DBLINK就可以像在一种数据库同样通过SQL直接提取数据源

的数据。

2)JDBCDataSource：

这种方式适合源数据库是#Oracle并且支持JDBC协议日勺数据库，目前大部分主流数据

库都支持JDBC协议，在JDBC协议上建立DataSource,通过JDBC在源数据库上执行SQL进

行数据提取。

使用批量数据提取的方式来提取数据可以用于初次初始化加载全量数据，也可在初次加

载数据后通过两种方式实现非实时日勺增量更新，这两种方式分别是：

1)基于时间戳的增量更新

这种方式提取数据速度较快，源数据库通过物理表或者试图的方式暴露数据，但规定数

据源的表或者视图必须有时间戳II勺字段并且不能对数据记录进行物理删除。

2)基于主键比对的增量更新

这种方式需要每次都提取所有数据，然后在目的数据库上按主键标识对所有数据进行全

量比对来识别增量更新的数据记录，效率低，数据源的乐力较大，只适合小数据量口勺提取,

基于主键比对的更新对源数据附表或者视图无特殊规定。

变化数据捕捉

和批量数据提取同样，变化数据捕捉(ChangeDataCapture)同样是数据集成引擎11勺前

端功能，和数据源进行队列；但顾名思义，变化数据捕捉只提供增量数据提取的功能，通过

对源数据库上变更数据的捕捉，数据集成引擎可以实现实时或准实时数据同步，此方式合用

于整合有较高时效性规定的数据。

变化数据捕捉提供多种技术实现方式，包括数据库触发器、数据库日志采集器、基于消

息队列的变更数据订阅和基于WebService的数据变化告知，下面对几种方式进行描述：

集成数据引擎积极捕捉数据变化的方式：

1)数据库触发器(DatabaseTriggers)：

通过在源数据表.卜.创立触发器来获取变化的数据，此方式实时性高，但需要对源数据库

进行改动，对高负载应用时性能有一定的影响，此方式支持主流的关系数据库。

2)数据库日志采集器(LogMiner)：

通过对源数据库口志文献进行分析，实时捕捉数据库数据的变化状况，此方式速度较快,

对源系统不会导致太大的压力，但需要数据库自身欧I功能进行实现，目前只支持Oracle和

DB2两种数据库类型。

上面两种方式是数据集成引擎积极捕捉变化数据，而卜.面H勺两种方式则是数据集成引擎

被动接受源系统H勺告知:

1)变更数据订阅(ChangeDataSubscriber)：

通过消息队列技术，变化数据捕捉功能在数据源应用提供的基于JMS原则的消息

队列上订阅数据H勺变化消息，通过监听数据变更队列，实时获得数据源应用放到队列中

的数据变化消息，此方式的提取速度快，并且JMS消息队列提供了消息传播的高可靠

性，但实时性取决于数据源应用，并且数据源应用需要开发对应的功能来实现。

2)数据变化告知(DataChangeNotification)：

和变更数据订阅相似H勺原理，数据变化告知技术是通过暴露数据变化告知H勺Web

Service接口给数据源应用，当数据的I变化被数据源应用捕捉后，数据源应用调用告