Oracle-SOA-主数据管理解决方案

Oracle技术解决方案

ORACLe

i录

1.概述.........................................................................4

1.1背景......................................................................4

南方电网“十一五”信息化现状................................................4

南方电网“十二五”信息化定位...............................错误!未定义书签。

1.2项目建设目标.............................................错误!未定义书签。

1.3项目建设范围.............................................错误!未定义书签。

1.4项目建设内容.............................................错误!未定义书签。

1.5需求分析.................................................错误!未定义书签。

2.Oracle主数据管理方案.......................................................4

2.1Oracle主数据管理设计......................................................7

Oracle主数据管理总体架构设计................................................7

主数据方案设计.............................................................15

交换数据方案设计...........................................................19

数据交换系统功能设计.......................................................21

3.Oracle主数据管理设计产品介绍.............................................37

3.1OracleBPMSuite（业务流程）.................................................37

BPM方案总体架构...........................................................37

闭环的OracleBPM解决方案..................................................38

业务流程分析BPA阶段.........................................................38

业务流程执行BPE与业务流程监视BAM阶段.....................................40

OracleBPM平台中主要模块介绍..............................................42

3.1.3.lOracleBPM服务器......................................................42

业务规则42

流程建模与模拟工具...........................................................44

元数据资料库44

OracleBPM解决方案的优势...................................................45

3.2OracleSOASuite（应用集成）..................................................46

价值主见....................................................................46

仓建月艮务....................................................................46

服务连通与转换.............................................................46

流程编排和整合.............................................................47

服务发布与注册.............................................................48

服务的平安管理.............................................................49

用户身份管理...............................................................50

SOA平台的系统管理.........................................................50

3.3OracleDataIntegrator（批量数据抽取）.........................................54

产品概述....................................................................54

0DI产品体系结构............................................................55

数据分发和传输.............................................................56

数据集成核心...............................................................58

数据质量核心...............................................................58

数据连接....................................................................60

ODI主要优势...............................................................61

3.4GoldenGate（实时数据同步方案）............................................61

高可用和容灾解决方案.......................................................62

实时数据整合解决方案.......................................................62

复制模式....................................................................63

关键特性....................................................................65

应用方式....................................................................66

4.软件配置及部署方案.........................................................68

4.1软件配置及硬件举荐......................................................68

4.2部署架构图..............................................................69

L概述

i.i背景

1.1.1南方电网“十一五”信息化现状

Oracle主数据管理方案

南方电网的数据质量管理必需有一整套的用于生成和维护企业主数据的规范、技术和方

案，以保证主数据的完整性、一样性和精确性。

(1)数据标准管理

数据标准包括各业务域的数据集标准、数据模型标准及信息分类编码标准。这些标准用

于指导各业务系统建设与实施。

在标准管理上，数据资源管理工具应能有效管控标准的变更与执行。尤其是“十二五”

期间，如何管理网省两级、省级集中的业务系统的统一版本问题是关键。

(2)主数据管理

通过企业范围内的统一视图，即ECIM模型，实现主数据管理，促进业务系统的数据集

成与共享。

主数据管理须要解决主数据的定义、标识、存储、汇合、清洗、监管与共享。主数据可

以为业务系统或数据中心服务。

(3)数据质量管理

数据管理的最终的目标是为了提升系统数据质量。在主数据的清洗阶段，通过数据质量

管理工作，对数据进行解析、标准化、匹配&去重、补充及验证建立牢靠的数据。对于核心

结构化数据在加载到数据中心时也进行相像的工作，提高决策支持水平。

南方电网的主数据管理系统从1T建设的角度而言都会是一个相对困难的系统,往往会

和企业数据仓库/决策支持系统以及企业内的各个业务系统发生关系，技术实现上也会涉

及到ETL、流程、SOA、企业服务总线等多个方面，一个典型的主数据管理的信息流为：

某个业务系统触发对企业主数据的改动;

•主数据管理系统将整合之后完整、精确的主数据分发给全部有关的应用系统；

・主数据管理系统为业务系统和决策支持以及数据仓库系统供应精确的数据源。

因此对于南方电网数据质量管理的建设，必需从项目建设初期就考虑整体的平台框架和技术

实现。Oracle主数据管理(MasterDataManagement,MDM)是当前业界最完整的是一种集

成的、完整的企业主数据(企业业务运行和商务分析所依靠的关键性基础数据)管理平台，

具有企业级主数据存储、主数据整合、主数据清洗、主数据监管以及主数据共享等五大功能,

可全面连接企业数据内容(广泛运用和在部门间共享的数据)和实现企业范围内的主数据统

一、完整和一样。作为企业的真实数据来源，Oracle主数据管理(MDM)平台通过数据治理服

务以及对周边应用系统的集成和对商务智能系统的支持，来统一管理企业内重要的基础数据

信息，可以整合并维护企业范围的全面、精确且权威的主数据，并将这些主数据信息作为共

享服务分发到所需的业务和分析系统。

Oracle主数据管理解决方案具有以下特性：

•保证数据的唯一性和精确性：有效整理和集中分散在关键企业流程和应用软件中的

数据片断，通过一系列匹配、整合和清洗规则使之形成单一真实数据源，并供应基于工

作流的数据监管流程来实现持续的数据质量维护。最终将统一的数据资产作为Web服务

供应应周边的业务系统，实现企业范围的主数据协同；

・有效降低数据管理成本：供应统一的资源库来集中管理企业重要的数据资产，并能

将对这些数据资产的访问以服务的方式供应应周边应用系统，实时地供应访问主数据的

WEB服务，包括匹配、申请全部信息以及申请所需信息等；

•实现更好的报表：精确、有效的数据是精确、有效的报表的基础，OracleMDM可以

将清洗、排重、整理之后的精确数据供应应企业的商务分析系统，得到更加精确的决策

支持；

.供应企业系统架构敏捷性和创新性的基础：维护持续的、唯一而精确的主数据资产,

能够在不断变更的业务环境中增加IT弹性，满足爆炸式数据增长的需求。

Oracle主数据管理能支持以下六大功能:

Govern

•指定每个特定主数据域的业务职责，例如，产品、客户、供应商和组织结构。

.严格履行职责可保证接入共享资源的系统始终保持高质量主数据。

.提取分散在各个应用系统中的主数据集中到主数据存储库，主数据存储库一般采纳

二维数据库存储主数据。

・依据企业业务规则和企业数据质量标准对收集到的主数据进行加工清理，从而形成

符合企业需求的主数据。

•制定主数据变更的流程审批机制，从而保证主数据修改的一样性和稳定性。

•实现各个数据利用系统与主数据存储库的数据同步，从而保证每个系统运用的主数

据相同。）

随着IT系统的建设，主数据的修改动作必定从现有分散的各个系统转移到主数据存储

库集中进行，因此必需保证当前主数据管理系统的敏捷性，便利修改、监控、更新关联

系统主数据的变更。

Oracle主数据管理在企业范围内主数据协同方面完善了一套端到端的模式可满足

客户不同的实施须要，即''推动模式”和“拉动模式”，前者通过前端独立应用软件（包

括Oracle应用系统、企业自主开发以及第三方软件）的主数据改动，经过Oracle应用

集成架构自动且快速地同步到OracleMDM主数据平台，可实现企业范围内的全面数据

整合，而后者则是由主数据平台主动对前端应用软件进行实时的访问，获得新增、更改

和补充数据，并经过Oracle应用集成架构和内部数据规则实现标准化，从而最终在主

数据平台实现唯一精确地共享数据。

2.1Oracle主数据管理设计

2.1.1Oracle主数据管理总体架构设计

Oracle主数据管理的主要功能可归结为以下六大功能:

主数据存储

主数据整合与连接

主数据质量管理

主数据管理监控

主数据共享

平安牢靠的平台

主数据存储

•一个具有无限可扩展性的内置、敏捷（随时间变更）的开放数据模型可维护南方电网

主数据和全部须要的属性（结构化和非结构化的）、相关实体、分类和关系；

・可跟踪主数据属性、审计跟踪信息和历史主数据剖析的来源

主要用于存储整合后主数据，将各系统的需求信息概括形成一条完整的记录并进行存储供应,

供应一个完整的数据模型。主数据的不同部分分布在不同的业务系统中，比如一个callcenter

系统须要保存客户的全部联系信息，但是一个计费系统可能只须要保留客户的与计费相关的

信息，如何将客户信息形成一条完整的记录并进行存储供应，当然是须要概括全部这些系统

的需求，供应一个完整的数据模型。

数据整合与连接

■领先的嵌入式数据质量管理工具及与第三方数据源的集成，用于验证和充溢数据

■可保持数据最新的持续数据清理功能集

-快速平安的参数化搜寻引擎，能识别和避开重复数据

■智能合并和自动合并功能，消退数据重复，同时确保正确的数据属性解除

■利用与外部内容供应商的预建集成来充溢主数据内容

■包括主数据生命周期管理工作流

主数据分散在不同的业务系统中，要进行数据整合,第一步是实现这些异构系统的互联互通，

然后通过肯定的触发机制将各个系统针对主数据的修改同步到主数据存储库。但是在实施数

据集成的过程中，由于不同系统供应的数据内容、数据格式和数据质量千差万别，甚至会遇

到数据格式不能转换或数据转换格式后丢失信息等问题，将会严峻阻碍数据在各部门和各应

用系统中的流淌与共享。因此，如何对数据进行有效的集成管理是数据共享中心建设的一个

关键难点。

ETL是实现数据集成的主要技术。ETL中三个字母分别代表的是Extract、Transform、Load,

即抽取、转换、加载。（1）数据抽取：从源数据源系统抽取目的数据源系统须要的数据；（2）

数据转换：将从源数据源获得的数据依据业务需求，转换成目的数据源要求的形式，并对错

误、不一样的数据进行清洗和加工。（3）数据加载：将转换后的数据装载到目的数据源。ETL

过程中的主要环节就是数据抽取、数据转换和加工、数据装载。

Oracle的主数据整合管理ETL基于ODI来实现，运用ODI设计和生成典型格式；利用已有

的元数据格式设计MDM应用（实体，字段，关系）；生成和维护主数据结构；生成和部署转

换。

主数据质量管理

•为每个主数据实体创建通用ID并构建针对每个所连接记录/系统对的交叉引用

-一个数据导入工作台和用户界面，以帮助数据管理员管理源系统的映射和数据加载

及主数据剖析

■运用预建、符合标准的业务服务和适配器实现集成

'运用可配置的属性“解除”规则，依据多个数据源创建单一的记录

■利用基础服务框架的数据联合功能

主数据维护着企业里该种类型数据的最值得信任的数据，所以运用质量管理技术来保证这些

数据的精确是主数据管理里特别重要的一环。

数IK标准化K配则拿♦复处理

•■以和标漕化・件•使用定■的引擎送行大

BW«•々芹鼻目把R以防止

•在主从0次中选b•分灵在产品卷据存儡中产

•以剧重复井用防重复发

•使用行上a公生“复

65

顿TO"

自动产生和■认xn»

•JAH条目另林福述，成银功—・螳步执行新条目定义

和审依废程•去■不必要的肥

91遇行数祗螳格化豪M少鼓樵0

•在所有数据人”声谪求刑R./7•产R变化拉切

户自定义・4

1.数据清洗：数据清洗是对数据进行校验和标准化，比如地址邮编是否存在等等。

2.数据匹配：数据匹配是找出有可能重复的记录。比如MDM系统里有两个阈值是用于限

制数据匹配的流程，第一个阈值是高分阈值，对于数据匹配分值高于高分阈值的记录将会

运用数据存活规则进行自动合并；其次个阈值是中分阈值，数据匹配得分在高分阈值和中分

阈值之间的记录将会进入人工推断工作流，由管理员或者其他指定的人确定合并还是作为

新记录。低于中分阈值的记录都将会被作为新记录。

数据存活规则(Survivorshiprules)

一般而言，企业里的主数据来源于企业里的各个系统，当不同系统的同一个属性值有不同的

值的时候，就须要确定哪一个系统的值是精确的。数据存活规则指定各种规则来确定新的数

据进入到主数据库或者当新数据和旧有主数据冲突的时候的处理方法。数据存活规则主要有

三种：

・Recent规则：当相同的数据进入主数据系统的时候，以后来的数据为准，后来数据

替换原来的数据。比如contact(联系人)信息，缺省是以后来的更新为主。

・History规则：当相同的数据进入主数据系统的时候，以原来的数据为准，不接受后

来数据的更新。

・Source规则：当相同的数据进入主数据系统的时候，以数据来源系统的可信度为作

为运用哪个数据最终存活的规则。比如当源系统有A,B,C三个系统的时候，我们

须要在主数据管理系统里注册这三个系统的时候，同时给这些源系统评分，则当

运用source规则的时候，则以后的数据将以评分高的系统为准。比如有三个系统，

CRM,财务，物流，对于客户信息而言，我们认为CRM系统里的客户信息应当是最

准的，我们应当给于CRM系统较高的分值，则这个时候对于客户数据我们将运用

Source规则，则以后全部的CRM系统相应客户的更新会覆盖原来不是CRM系统的

更新。

3.数据质量管理流程

数据质量的大致限制流程，即当记录进入主数据系统时，先会在主数据系统里找寻可能匹配

的记录，假如结果认为是不匹配，则将进入处理不匹配流程来增加一条新记录；假如是分

值足够高，则进入自动匹配流程把该记录和原有记录进行数据存活规则处理并合并记录；假

如是分值不足够高，则须要人工来确定该记录是新记录还是须要和原有记录合并。

主数据管理监控

■最佳的工作流功能（例如针对南方电网主数据定义和审批路由的可配置工作流）响

应整个主数据管理生命周期事务;oracleBPEL规范制定自动化业务处理流程，支

持用户自定义变更类型

■确保坚如磐石的平安性和法规遵守证明的完整历史和审计跟踪

■纳税人数据认证，支持机构创建数据质量标准，遵守这些标准并提升用户对数据的

信念

商务智能基础架构，支持剖析、法规遵守和业务绩效指标

■自动化、人工流程，供应良好的用户界面UI,多种通知方式

■自动化、人工的审核和批准，逐级审批

-易于多组织的协同工作

主数据发布和共享

■面对终端用户和数据管理员的直观GUI,管理主数据的整个生命周期一一从创建或导

入主数据信息到清理、匹配、增加和发布。运用预建的流程使南方电网更轻松地管

理主数据

■对全部集成模式一一实时(紧耦合和松耦合)、近实时(松耦合)和批量一一的严格

的多模型支持

-供应作为业务服务和Web服务的常用功能

■一个内部触发的机制，创建变更信息并向全部相连系统部署

■为全部的管理软件和分析系统供应主数据记录和所选属性

■在面对服务的架构(SOA)和/或消息传递总线上的运营管理软件和数据仓库双向交互

'通过Oracle应用集成架构(AIA)流程集成包(PIP)预建的集成

•与。racle商务智能企业版(OBIEE)预建的集成

为了实现主数据共享，首先全网应当各个分散的业务系统连接起来，实现各个业务系统与主数据

存储的互联互通，目前的南网主数据管理解决方案主要采纳两种方式来实现：基于ETL工具的方

式和基于SOA体系架构的方式。

1.基于ODI的方式

MDM

Applications

Metadata

Management

DataWarehouse

DataMarts

ChangeData

Capture

Business

Intelligence

基于ODI这样的ETL工具设计的架构更适合全网业务系统中的非实时数据量大的主数据共享发布。

如上图所示，采纳基于ODI的ETL工具具有连接各种异构数据源和变更捕获的实力，采纳它来实

现MDM中异构系统的数据触发、整合和发布应当是顺理成章的事情，当某个主数据的源发生变

更时，ETL的CDC（变更数据捕获）功能就会捕获到变更，进而将变更的数据传输到主数据管理系

统的临时存储区，然后ETL工具依据定义的数据转化规则对数据进行清洗转化，形成主数据，进

而ETL调用审批监管流程，一旦获得审批，ETL即可将主数据同步到主数据存储系统，同时分发

给各个订阅该主数据的业务系统。同时ODI可以支撑流程的设计、运行、监控，否则ETL工具必

需可以调用其它的工作流引擎，ODI可以实现与SOA的无缝集成，既可以将数据或者转化封装为

WebService服务，也可以调用外部的WebService服务。

2.基于SOA架构的方式:

在该方案更适合实时的数据量小的主数据共享发布，采纳OSB（企业服务总线）技术构建应用集

成平台，采纳webservice方式实现在多个系统间应用集成和互联互通。应用集成平台是数据采

集、数据交换及服务供应实力的干脆承载。数据的收集和分发采纳各种应用和适配器实现，各种

应用适配器一般供应变更数据的的轮询或者推送功能。监控管理可以采纳SOA中的工作流引擎

来实现，同时SOA中的流程监控系统可以对整个主数据的收集、转化、审批分发供应端到端的

监控。采纳SOA技术设计的主数据管理架构基于J2EE的开放架构，会特别敏捷，同时便于和其

它系统集成,系统的扩展性比较好，其问题在于假如主数据同步的量特别大,效率会有肯定问题。

平安牢靠的平台

-基于标准的开放平台

■多语言和多国家支持

■阅历证的平台，全球各行业（包括公共部门）数千客户的选择

■面对混合的重工作负载一一Oracle拥有巨大数目的客户一一下关键数据访问的高度

可用和可伸缩的平台。

■平安特性包括全而且敏捷的认证、全面的审计和监控以及全部架构级别的加密。

Oracle己经获得了17项独立平安性评估的担保，确立了Oracle在该领域的领导地位。

这些评估包括TCSEC、ITSEC、FIPS和各种通用标准评估。

2.1.2主数据方案设计

主数据管理的核心是数据整合、数据管控和数据服务。在横跨这三个层次须要进行数据

平安管理、质量管理和元数据管理。下面分别进行介绍：

数据整合：数据整合就是将离散于各个业务系统中的数据进行集中化，统一整合集成至

数据中心。数据整合将通过ETL工具实现数据的抽取、转换和加载等功能。

数据管控：主要包含数据中心物理模型、逻辑模型的设计，数据的维护管理以及存储管

理等管控功能。

数据服务管控：数据服务管控主要是对采集至数据中心的数据进行数据交换和管控，主

要包括数据交换服务设计，数据总线交换共享，以及数据交换管理等功能。

元数据管理：元数据管理是整个数据共享中心中基础信息的管理，包括ETL元数据、接

口元数据、模型元数据和数据服务元数据等的管理功能。

质量管理：在数据管理的不同阶段，数据管理对数据质量管理的侧重点也有所不同。数

据质量管理的目标，逐步从单纯地提高数据精确性，延长至保障数据的完整性、唯一性、合

法性、一样性、刚好性等属性；从单纯以技术角度考虑数据质量问题，发展至从用户视角衡

量数据质量问题，提高用户对数据的满足度；建立数据质量监控机制，刚好发觉、报告、处

理数据共享中心中的数据质量问题。数据质量管理子系统是数据共享中心中数据质量管理体

系的重要组成部分。

平安管理：主要包括数据存储平安、数据管控平安和数据交换等平安管理。

主数据方案设计原则

主数据方案设计，遵循以下一般原则：

・每类业务数据实体的属性有且仅有一个全部者(Owner),零个或多个消费者

(Consumer)；

•对数据的维护必需通过全部者进行，消费者对数据只有只读功能；假如消费者须要

对数据进行维护，必需调用全部者数据维护服务；

・数据有且仅有一个主数据源(MasterLocation),主数据源可以是数据全部者的应用

数据库(ADB)或者数据中心数据库。基于性能的考虑，消费者可以在ADB保存

数据的备份，由主数据源实时或定时发起数据同步;

主数据源供应相应的数据存储和数据服务；

主数据集成方案设计

依据主数据源位置(Location),数据冗余方式(Redundant)和数据维护的归属(Owner),

一般的主数据集成方案分析如下表:

方案123456

主数据源数据中心数据中心数据中心数据中心ADBADB

Owner数据中心数据中心ADBADBADBADB

Consumer

是否有备

份YNYNYN

干脆读同1调用数据调用数据干脆读干脆读

OwnerADB中心数据中心数据OwnerADBOwnerADB

中的数据访问服务访问服务

Owner读备份

Step1>在在一个交Step1、调用数据Step1、写写Owner

一个交易易内写调用数据中心数据OwnerADB

内写OwnerOwnerADB中心数据维护服务ADB；

数ADB和数据和数据中维护服Step2^通

据中心；心务；过数据中

维Step2、通Step2、心或主数

护过数据中通过数据据源启动

方心启动对中心启动对

式Consumer对Consumer

ADB的数据ConsumerADB的数

同步ADB的数据同步

Owner写据同步

干脆读调用数据干脆读调用数据干脆读通过数据

Consumer中心数据Consumer中心数据Consumer中心的统

ConsumerADB中的数访问服务ADB中的访问服务ADB中的一视图获

读据备份数据备份数据备份得数据；

Optionl：Optionl：同1同2同1同2

在一个交Consumer

易内，调用Owner

Consumer的数据维

调用Owner护服务；

的数据维0ption2：

护服务，同集成Owner

时写的数据维

Consumer护界面

ADB；

0ption2：

集成Owner

的数据维

护界面，由

数据中心

启动同步

ConsumerConsumer

写ADB

下面就各个方案进行分析，对于方案1和方案2：

集成方案2集成方案1

特点单点与循多点与储.兰虻据牛心负责望嘱的堤严1

Owner数援中心数超中心

Master蚊狗*心兹哥中心

各W丐系正和豉握中心纪矢存数电.但数据牛心作为这

豉再生牛到蛉援*心平金寺.其它系交不

简要搽至蓑嘈的master系筑.对主张赠发亳更新必须亮运忑张

述里公考,其它茶费对豉售的访W金主/氧

蚊再中心平台上第士心上石.再皮坡挎*心发超习步充是同步体改结果

到垮关系史.各个专业系罡不轮对数相发起更击.

优点透过强势歧求手毂达到对蛇樗m控的不恪对数据的更新龛*管控,能够我好的控爸敢再的里至

统一和更量控全

缺点我禹*心平台玉力跟大.风受候哥.其它源系无仿有一定的改3室.卷要再蔽其它系交对这至数

系充数运里喂大售的修改：豉再*•>¥£需营建对这至豉需的3理前能

这两种方案主要适用于尚无任何系统时，进行一体化系统建设，如应用于已有系统则改

造量较大。同时，这两种方案均以数据中心做为主数据的维护中心。

对于方案3、4和方案5、6：

'案3、4,案5、6

特点多点考完.=ADB会堂数雪的维数再丰心仅为数多点存储,*ADB费夫或得的1交JADB佐为我W

得的主专憧系貌,支点对其三系貌的杀嘱习步的主考惬系疣,发起对其三系吏的坡隽同步

OwnerADBADB

Master数福中心ADB

数零牛心作为数零的系靠.对主量/关后更赤三三三三三-Di三二三门髀:丁系三.-二三三三三三

简要排master

必须先在ADB对豉电牛心遂行更？再生数理*心发宏改完在对H的ADB系筑*三行.里主该ADB发金

述直可步充程习步货改经果到杓美系统可步充程可步氧数提中心和其它相关空号.

对蓑雪的更冢矣*专控.勒笠取好的控芝数焉的生至

优点系茨改造或j、.道合已有系空

逢告营建系正

数电奥量之主管正巨分数控基

统点对李婆至三二星餐《三形最西AD眨间的咫决生成方

之间案或呈可状.较为复杂

式丸果鼓与之方案.改造H作呈皎大ADB

方案5、6较适合已有大量系统的状况，带来的系统改造量最小。方案3、4适合在主数

据维护职能不变的状况下将主数据在数据中心中进行集中，并供应应新建应用。

主数据实施方案设计

1、主数据创建抽取设计

主数据创建抽取过程如下：

其一、先对现有业务系统进行解耦，解决目前各业务系统间交叉访问，耦合度过高的问

题。通过建设共享数据库，并将目前南方电网各系统交叉访问的共享数据通过数据复制机制

同步或异步复制到共享数据库，然后再更改各业务系统现有的共享视图或物化视图定义，将

共享访问数据源统一指向共享数据库。通过共享数据库的建设及数据复制机制的建立，可以

将目前网状的交叉访问接口平滑过渡到基于共享数据库的星状接口，有效解决各系统依靠度

过高的问题，同时也为下一步各系统的升级改造打下基础。

这里的数据复制产品可以考虑Oracle的GoldenGate实时复制产品，先将数据复制到共

享数据库，完成“系统解耦”工作。

其二、是进行数据共享协同平台的建设。在进行系统解耦时，我们会构建共享数据库，

但该共享库仅仅是将当前分散到各业务系统的共享数据进行了集中，还缺乏统一的规划，因

此还须要对共享库进行重新规划设计，同时也须要对共享协同平台和外部交换库进行规划设

计。总体规划设计完成后，即可起先构建数据共享中心和业务协同平台，其中数据共享中心

构建完成后，就可以逐步将各系统间原来基于视图和物化视图的数据共享访问调整为基于数

据共享中心的访问模式。

共享库规划生成主数据管理，可以考虑OracleDataIntegrator产品，实现数据ETL的工

作。

我，

的.・

・奇•■・靠一平・■中♦r伶■■或♦作»・一11实・■

.

・UK配浦

・鱼・・会・♦♦管・

*•I

•区■Mr-，•»4irw

V

•殳林・三力■■■

•艮19人/・盅重。

ATM•*再・法亶，»««

2、主数据共享分发流程设计

主数据创建生成后，就是对主数据进行有效管理和利用。同其他系统进行可以进行实时或半

实时的同步从多个源系统建立统一、完整的记录，再将主数据信息同步到其他系统中。通过

内嵌的集成服务同其他系统进行集成，例如丰富的公共API和业务事务。通过不断的数据清

理和转换规则来确保同步数据的质量。

主数据管理功能设计

主数据的管理功能基本与内部交换数据、外部交换数据相像。

2.1.3交换数据方案设计

内部数据、外部数据在数据交换上的业务功能和逻辑，以及技术实现都是相像的，可以

采纳相同的数据交换方案框架。数据交换方案框架涵盖了数据交换，质量清洗，数据管控和

数据运用，解决了如何在核心数据上实现统一的存储，维护和运用的问题。

>数据集成：数据集成就是将离散于各个业务系统中的数据进行集中化，统一整合集

成至数据共享中心。数据集成须要对南方电网内部系统以及外部系统进行数据集成。

对于不同的数据集成场景，有不同的数据集成实现模式，比如有基于OracleODI

的“拉”数据集成模式和基于ESB总线的“推”数据集成模式等。

>质量管理:在数据管理的不同阶段，数据管理对数据质量管理的侧重点也有所不同。

数据质量管理的目标，逐步从单纯地提高数据精确性，延长至保障数据的完整性、

唯一性、合法性、一样性、刚好性等属性；从单纯以技术角度考虑数据质量问题,

发展至从用户视角衡量数据质量问题，提高用户对数据的满足度；建立数据质量监

控机制，刚好发觉、报告、处理数据共享中心中的数据质量问题。数据质量管理子

系统是数据共享中心中数据质量管理体系的重要组成部分。

数据标准化孔配杳重引华

•Eesd&«Und«f<WeMOulee•Runexhuutlrv*

•MorgoitemrvconHto

♦CUBwfysMemMMerand

pravantdicAcMsn

proOxtdaurepotttory

•2必industry&cofrpanysttte

DataQualityToots

数据自动校验.格式化人工工作流数据洁理

•NomMAM08ta・and•Slep-by*«tepnewMm

・Removeorwsnled

(McnpOongenoraoon2ndon«ndapproval

rvcorcHtoraduca

'•Afipiyuwr-doftrwdvwldMcnprocesses

datavoMno

■ruinataldataentrypants•Productcfwtgecontrol

图：数据质量管理

>数据管控：数据管控不是纯粹的技术问题，而是由技术、人、信息和流程4个方面

共同影响的综合管理问题。数据管控的演进思路划分为4个步骤：提出管理需求、

制定管理流程框架、细化具体管理流程、与组织机构具体角色进行对应。

>数据运用：存在于数据共享中心中的数据主要有两大方面的运用，一是封装成数据

服务，并集成于业务协同平台（服务总线平台）进行数据服务共享，南方电网信息

内部系统和其他外部系统统一通过业务协同平台获得所需业务数据；二是基于数据

共享中心的集成化数据进行综合查询分析的应用，查询分析统计功能不再基于核心

业务数据库，避开造成对核心业务系统的性能影响。

模式一看于鹿务管理平台配・生成我据服务

S3

图：数据服务共享

2.1.4数据交换系统功能设计

基于内部数据交换方案框架，并结合南方电网数据共享协同平台总体功能需求分析的基

础上，梳理出南方电网共享中心的总体功能组织结构如下图所示:

以下将分别对数据共享中心数据集成域、数据管控域、质量检测域和数据运用域的功能

规划进行具体介绍:

数据集成

数据集成引擎(DataIntegrationEngine)面对应用系统，在各个应用系统的数据源中提

取数据，是一个跨平台的用于整合异构系统数据的ETL工具，在数据共享中心中，数据集成

引擎实现了从各业务应用系统的数据源中提取用于整合共享的数据，经过质量检查后，按新

的数据模型对数据进行转换和清洗，正确无误后加载到目标数据共享中心中。

数据集成引擎(DataIntegrationEngine)

目标数据加载

(TargetDataLoading)元

数据转换清洗(DataTransforming&Cleaning)数

据

数据质量检查(DataQualityCheck)

模

批量数据提取变化数据捕获型

(BulkDataExtract)(ChangeDataCapture)

dblinkjdbctriggerslogminerjmswebservice

下面对数据集成引擎中的各个部分的功能进行具体介绍。

元数据模型

为了可以自动完数据提取、质量检查、数据转换清洗和数据加载这个数据整合过程，数

据集成引擎须要知道源数据、目标数据的数据结构，源数据到目标数据的转换及清洗规则，

还有源数据的质量检查规则等数据，这些用于描述数据本身的数据被称为数据集成的元数据,

而元数据模型是元数据的一个实例集合，描述了具体的数据结构和规则,在数据进行集成前，

必需先定义好元数据模型。

具体的元数据包括：

1)数据源定义

2)目标库定义

3)数据物理模型

4)数据检查规则

5)数据转换规则

6)数据清洗规则

批量数据提取

批量数据提取(BulkDataExtract)从数据源定时批量提取数据进行整合，是数据集成引

擎的前端功能，与元数据模型中定义的各个数据源进行连接，获得须要整合的数据，然后存

储到中间数据库(StagingDatabase)进行后续的质量检查、清洗和转换处理。

批量数据提取因为提取的数据量较多，对于性能的影响也较大，一般用于非实时的数据

整合，适用于时效性要求不高并且不希望过多影响源系统数据处理性能的状况。

对于关系型数据库的批量数据提取可以运用两种接口方式来进实现：

1)ORACLEDBLINK：

这种方式适用于目标数据库和数据源数据库都是Oracle的状况，干脆在目标数据库建

立源数据库的DBLINK,通过DBLINK就可以像在一个数据库一样通过SQL干脆提取数据源

的数据。

2)JDBCDataSource：

这种方式适合源数据库是非Oracle并且支持JDBC协议的数据库，目前大部分主流数据

库都支持JDBC协议，在JDBC协议上建立DataSource,通过JDBC在源数据库上执行SQL进

行数据提取。

运用批量数据提取的方式来提取数据可以用于首次初始化加载全量数据，也可在首次加

载数据后通过两种方式实现非实时的增量更新，这两种方式分别是：

1)基于时间戳的增量更新

这种方式提取数据速度较快，源数据库通过物理表或者试图的方式暴露数据，但要求数

据源的表或者视图必需有时间戳的字段并且不能对数据记录进行物理删除。

2)基于主键比对的增量更新

这种方式须要每次都提取全部数据，然后在目标数据库上按主键标识对全部数据进行全

量比对来识别增量更新的数据记录，效率低，数据源的压力较大，只适合小数据量的提取，

基于主键比对的更新对源数据的表或者视图无特殊要求.

变更数据捕获

和批量数据提取一样，变更数据捕获(ChangeDataCapture)同样是数据集成引擎的前

端功能，和数据源进行队列：但顾名思义，变更数据捕获只供应增量数据提取的功能，通过

对源数据库上变更数据的捕获，数据集成引擎可以实现实时或准实时数据同步，此方式适用

于整合有较高时效性要求的数据。

变更数据捕获供应多种技术实现方式，包括数据库触发器、数据库日志采集器、基于消

息队列的变更数据订阅和基于WebService的数据变更通知，下面对儿种方式进行描述：

集成数据引擎主动捕获数据变更的方式：

1)数据库触发器(DatabaseTriggers)：

通过在源数据表上创建触发器来获得变更的数据，此方式实时性高，但须要对源数据库

进行改动，对高负载应用的性能有肯定的影响，此方式支持主流的关系数据库。

2)数据库日志采集器(LogMiner)：

通过对源数据库日志文件进行分析,实时捕获数据库数据的变更状况,此方式速度较快,

对源系统不会造成太大的压力，但须要数据库本身的功能进行实现，目前只支持Oracle和

DB2两种数据库类型。

上面两种方式是数据集成引擎主动捕获变更数据，而下面的两种方式则是数据集成引擎

被动接收源系统的通知：

1)变更数据订阅(ChangeDataSubscriber)：

通过消息队列技术，变更数据捕获功能在数据源应用供应的基于JMS标准的消息

队列上订阅数据的变更消息，通过监听数据变更队列，实时获得数据源应用放到队列中

的数据变更消息，此方式的提取速度快，并且JMS消息队列供应了消息传输的高牢靠

性，但实时性取决于数据源应用，并且数据源应用须要开发相应的功能来实现。

2)数据变更通知(DataChangeNotification)：

和变更数据订阅相同的原理，数据变更通知技术是通过暴露数据变更通知的Web

Service接口给数据源应用，当数据的变更被数据源应用捕获后，数据源应用调用通知接

口把变更的数据传递给数据变更捕获功能，此方式提取速度快，并且可通过ESB统一

暴露服务接口，消息传输牢靠性也可以通过ESB的获得支持(须要ESB的