某企业数据智能管理治理平台设计建设技术方案

项目编号:

某企业数据智能管理治理平台设计

建

设

方

案

录

1.1总体建设方案概述.......................................................3

1.1.1数据治理论述.....................................................5

1.1.2数据治理;耀.....................................................8

1.13基础库治理步骤...................................................9

1.1.4治理过程产出.......................................12

1.2平台建设总体设计.....................................................12

1.2.1平台削理念....................................................13

1.2.2平台架构谢十....................................................14

1.23平台技术特点....................................................15

1.3数据治理建设方案...............................................16

1.3.1数据标准WS......................................................................................................................16

1.3.2元数据管理......................................................20

1.33数据质量管理....................................................25

1.3.4数据集成管理....................................................30

1.4数据管理建设方案.....................................................31

1.4.1数据资产®®....................................................31

1.4.2数据异常宣里....................................................44

1.43数据架构徵里....................................................47

144数据开发管理....................................................48

1.5数据智能建设方案.....................................................54

1.5.1数据血缘........................................................54

1.5.2智能标签........................................................56

1.5.3数据探索........................................................58

1.5.4画像分析........................................................59

1.1总体建设方案概述

数据管理平台涵盖了数据的全局治理和过程管控，是数据可用的前提，只有

确保数据的标准化、规范化,可信可用，才能进一步通过数据运营、数据应用帮

助大数据中心实现数据资产管理，发现内部数据问题、发掘数据价值，进而实现

数据资产的盘活和有效利用。

数据管理平台基于元模型驱动模式，构建一体化的数据资产管控，实现全流

程、全生命周期和全景式的〃三全"治理，确保每一份数据资产皆可靠、可信、

可用。

通过对数据、应用、系统综合管理，构建标准化、流程化、自动化、一体化

的数据管理体系。

数据治理将分散、多样化的数据通过汇集、标准化、清洗等操作对数据的质

量进行全面的提升和监控，形成城市大数据的管理和控制机制，并提供一站式数

据治理体系，持续不断的挖掘和提升数据的应用价值。从功能角度，数据治理系

统包括数据标准管理、数据目录管理、数据质量管理、数据集成、工作流、数据

地图/数据血缘、数据管理数据安全、多租户、元数据管理、系统安全等功能。

制定相关标准规范及管理制度，通过相应平台工具汇聚区内各单位公共数据

及市级落地数据资源，形成区级数据池，同时经过数据清洗、转换、融合、治理

后高质量的公共数据资源，形成区级综合数据平台。

数据治理系统通过对数据全生命周期、端到端的全链路透明化管控，实现〃数

据模型标准化、数据关系脉络化、数据加工可视化、数据质量度量化〃，实现数

据资产的统一管理及全业务流程的实时监控，有效解决数据资源不可知、数据质

量不可控、数据关系不可联、数据脉络不清晰的痛点问题。

数据治理就是将数据转化为资产的手段和方法,采用的数据治理子系统和工

具，以分布式存储和运算为基础，通过人工智能和机器学习技术,辅之以适量的

人工训练和专家反馈不断优化数据理解和数据关联。数据治理子系统给围绕闵行

区大数据资源平台的应用建设目标，包含数据地图、数据质量、智能监控、数据

保护伞以及安全卫士，提供全面的数据治理能力，提供数据提取、数据清洗、数

据标准化、数据转换、数据关联、数据比对等方面服务。在数据打通过程中，同

时做好数据质量管理，主要包括四个方面数据缺失补缺、数据重复去重、数据错

误纠正、数据不可用补救。

数据治理子系统通过标准API接口、用户自主上传与自主数据抽取技术将

用户内部数据直接导入数据池，利用全局数据处理技术在数据池中解决大量数据

的集成处理,将数据统一整合、集成，最终形成可以提供高质量数据的数据集成

平台，提供规则、无错漏、清洁、有价值、易使用的集成数据环境。

z-----------------在线服务一予------------------------

/^＜[x

（深度学习知识图谱

数81特征.tj行业知识昨・新

事令数据湖+人工智能*济

帚三方峥一-O®@O-＞但5分析

收据送解U邮关联数据II合数据安全

IIJ

L----------§§希------------

内部数据（含*g）专家少员参与

＞数据治理流程图

数据治理子系统西寺现有的绝大多数数据格式的导入和识别。通过结合人工

智能技术，数据治理系统能够将数据自动识别并抽取存入数据湖中，与传统ETL

不同的是，数据治理系统的全局数据处理技术在应对多系统、多部门、多环节、

多数据、多表单的便用场景时更加科学。全局数据处理能够避免在全局数据汇总

前的信息流失，最大程度的在完成数据集成的同时保持数据的高保真、高还原。

1.1.1数据治理论述

大数据治理工作从数据汇聚开始，到最终服务业务，主要包括以下几个阶段：

大数据治理方法论

>

全息档塞关系中心轨迹中心

离线数据实时数据I二人一档.飞机火生13

同伙关系伴随轨迹

数据管理I-II

•器史.,3”・受工产

・kI・0A・

•e»ss•'；B4

7*模型治理

基础政据.数据治九斐合收期

资源虎।I.I资源展

IDMapping

为了无法计算的价值ICDWSE

第一阶段：数据汇聚，融合管理

从政务办公网、感知网、社会协同单位收集各类数据，形成大数据中心的数

据基础，并对汇集的原始数据开展基于数据管理视角和业务应用视角的治理及应

用工作。

基于数据管理视角，对业务元数据、技术元数据进行集中采集和管理，从站

位全局服务闵行区大数据创新应用的角度梳理大数据资产，构建数据资源目录和

数据资产管理应用，达到数据资源的规范化和可视化；汇聚后的原始数据仍处于

零散、不可直接使用的状态，为数据使用者提供一站式的集成开发环境,从而满

足数据资源平台下，数据开发者进行ETL开发、数据挖掘算法开发、数据主题

库建设等需求；对数据融合处理的全过程通过质量管理工具进行管理监测，保障

数据质量；因政府数据的机密性、高敏感性等特点，需对数据资源层中各数据项

进行安全上的分类分级，确保数据使用合理、安全可控。

基于业务应用视角，对汇聚的基础数据开展模型治理，通过数据清洗加工、

基于业务背景及要求的处理加工、以及面向应用专题场景的开发，依次构建整合

数据资源层、主题数据资源层、应用数据资源层，形成指标口径一致、统存统用

的大数据资源层。

第二阶段：基于数据，提炼抽象信息，形成知识

因政务大数据涉及的来源广泛、数据采集背景及方法多样甚至特殊、复杂，

导致因不同的汇集场景等因素，各个实体对象往往存在多个ID,需要对ID间关

系做计算,通过IDM叩ping,建立ID和实体人/物间的关系，从而串联起实体

人/物的属性/行为信息。数据中的各种人/物、事件、活动轨迹也不是孤立存在

的，需要对各个部份的数据做动态关系识别、轨迹匹配等操作，形成统一的关系

库、轨迹库等。

基于业务需求引导和对数据资源信息的价值梳理，对数据进行进一步提炼加

工和算法计算，将数据标签化，基于"四大库"构建全息档案等标签库，支撑专

题应用库建设，并通过标签中心产品对用户及开发者开放。

第三阶段：构建应用，服务业务

按照业务场景需求，将基础库、主题库和专题库等进一步组合利用，可构建

起各类业务创新应用，如监控大屏、全息画像、预警中心等应用。通过数据服务

平台，可以把数据和标签在线服务化提供给开发者和用户。

1.1.2数据治理流程

部门管理员中心管理员（实施人员）

2同步生产库数据结

构到前置库

3采集前置库元数据A4标准化前置库数据

1）标准录入

数据治理平台会包含部分5大库数据标准，行标、部门标准等需由实施人员

从客户处采集后录入系统

2）同步数据结构

由于数据治理过程需采集数据元并标准化，故需先将生产库需桥接库表的数

据结构录入前置库

3）元数据采集

将数据结构采集入数据治理平台

4）标准化

实施人员为采集来的元数据挂接数据标准，标准化其元数据格式属性、值域

等

5）落标及数据桥接

部门管理员根据标准化的字段属性，将生产库数据桥接到前置库

6）质检及整改

中心管理员对前置库数据进行质量检查及整改

7）数据集成

中心管理员将质检后数据集成到治理库

8）逻辑质检

中心管理员对治理库的数据根据业务需求进行逻辑层质量检查

9）资源挂载

部门管理人员对已完成数据治理的治理库数据进行资源挂载

1.1.3基础库治理步骤

针对于基础库的治理主要流程如下：

eH幽一AT个性化元

＞基础库准备

基础物理库以及基础库元数据通过产品初始化脚本创建。默认基础库模型中

的字段约束，包括字段类型，长度，规则等参考基础库基础目录技术规范，例如

人口库：

＞数据集成

以人口库为例，将前置库中的部分数据和人口数据元进行关联。

以人口基本信息表单(T_RK_BaseInfo)和人口扩展信息(T_RK_Summary)

为目标，主要验证：

多个表的数据合并：

户籍人口和流动人口汇集到人口库基本信息表。

默认字段赋值；

人口基本信息表中的rowguid、personguid需要uuid赋值。

一张表到多张表；

户籍人口和流动人口汇集到人口库扩展信息表，并且扩展信息表的

personguid需要与基本信息的personguid一致。

规则过滤；

自动过滤不满足身份证校验的数据；

自动过滤不满足代码项的数据，其中不满足部门代码项的、满足部门代码项

但是人口库中没有对应的代码项的数据都需要过滤。

代码项转换；

性别和名族代码项，部门代码项实际值与人口库代码项的值不一致的，通过

显示值进行匹配后自动转换成人口库的值。

其他来源的字段更新。

人口基本信息表的死亡标识状态由民政局的死亡信息目录进行更新。需要满

足条件的才会进行更新。

＞溯源分析

通过可视化图形，展现人口库和公安、民政等部门的溯源关系。

1.1.4治理过程产出

通过数据治理工作后，形成的数据治理成果物。

《数据标准规则清生》V--------标准确理、录入

《数空调讲很告》V--------元数据梳理、采集

3g:ra_L1R第十、

《数宪治理实施睑收用<--------治理报告

例》一__-

1.2平台建设总体设计

本项目建设数据智能管理平台适用于分析型系统数据处理的各个过程，负责

数据的加工处理以及加工处理过程数据标准、元数据和数据质量的管理。平台可

以提供数据输入、数据加工、数据输出和贯穿数据处理各个过程的全流程、全生

命周期的数据处理、数据治理和数据管控的一体化建设。

整个平台对数据进行治理、管理与应用的过程分为以下三个核心环节：

＞采集/集成环节

提供更多渠道、更复杂数据源的采集，包括业务系统数据ETL,外部文件、

第三方接口抽取，实时消息采集等。

＞加工/计算环节

提供随时变化的数据加工，包括批量数据加工，实时交互计算，机器学习等。

＞决策/探索环节

支持用户个性化需求、自主数据探索，提供固定主题的报表、指标，临时报

表需求、自助取数，数据探索、数据实验等功能。

1.2.1平台设计理念

本项目建设数据智能管理平台的总体设计理念如下：

＞数据模型标准化

通过平台将数据模型的要求严格落地，杜绝不满足标准的数据模型出现在系

统中。

＞数据治理产品化

数据治理的成果和内容，必须通过切实可行的IT手段落实到系统来严格执

行

＞数据处理工厂化

数据处理工作，必须实现工厂化的建谢口管理，以〃极速、低成本、高质量”

要求来响应业务部门的个性化数据需求。

＞数据运营全员化

体现"平台化、开放性”的思想，提高数据开放的可视化，实现人人参与数

据治理、数据建设和数据运维

＞数据安全可控化

体现安全的重要性、必要性，保障系统数据安全和数据服务开放过程中数据

的安全可控。

1.2.2平台架构设计

1.2.2.1总体架构设计

平台采用工厂化的数据处理和管理模式，通过数据生产计划、数据生产执行

和数据生产管理三大子模块，保障数据处理全过程透明可控，实现工具化、流程

化和自动化的开发、运维、管理,提升数据开发、生产的效率，保持系统健康、

持续、稳定的发展。

・数据生产计划模块：主要功能为：需求设计、设计确认等。

•数据处理执行模块：负责数据处理计划的执行、数据的生产和数据

质量控制等工作。

•数据处理管理模块：负责软件开发和数据规范的管控。

技术架构设计

为实现工厂化的数据处理和管理，本项目数据智能管理平台采用基于元数据

驱动的开发模式，保障元数据与实际系统情况的一致性,通过元数据准确描述系

统，指导系统建设。技术架构图如下：

W

■

化

第

石

*

*

2

*

呼＞

•提供数据对象设计功能

•提供元数据获取和管理功能

•提供数据质量管理功能

•提供对象化接口模块

•提供与各类底层平台对接功能

•提供可视化的标准IDE环境

•提供基于元数据血缘图的调度功能

1.2.3平台技术特点

>MetadataBeforeCoding

业务元数据和技术元数据的强制性前向获取机制，杜绝元数据的后期补录,

建设保证业务元数据/技术元数据/技术实现这三者一致性的技术机制

>BusinessDrivenDesign

以最大化业务需求吻合度为目标，所有数据对象的设计和实现，都必须以业

务需求为驱动，在最大程度上保证数据对象与业务需求的一致性。

>ObjectOrientedArchitecture

将数据、业务元数据、技术元数据、数据加工、数据质量检查等与数据相关

的内容统一作为数据对象管理起来，且该数据对象是系统的最小管理单元。

>TCUPrinciple

数据对象必须遵循TCU(TakeCareofYourself)的设计原则，所有与数

据有关的工作全部在对应的数据对象内部完成，确保数据对象之间只有数据加工

过程的上下游关系。

1.3数据治理建设方案

1・3.1数据标准管理

数据标准规范了业务术语，元数据，参考数据，基础数据，指标数据的规范

定义、获取原则、管理要求等。包括设计基础类和分析类数据标准，制定数据

标准管理制度和流程，明确数据标准管理组织和职责，以明确的组织、职责、流

程设计为前提，调动业务部门、技术部门和系统技术团队共同参与数据标准设计,

建立全局数据标准流程，制定总体落地计划，推动数据标准落地执行，增强内部

对数据标准的理解，指导信息化建设中对数据标准的参照。

13.1.1数据标准管理规范

数据标准管理体系主要包含数据标准管理、落地实施机制、及数据标准管理

平台维护三部分。

平台通过对数据标准管理、落地实施机制、及数据标准管理平台维护三部分

进行数据资源管理，制定数据标准管理制度和流程，明确数据标准管理组织和职

责，以明确的组织、职责、流程设计。落地实施机制从规范推广、技术平台支撑

两方面保障；数据标准平台维护主要包括建设数据标准技术平台，支撑数据标准

日常管理工作两方面。

＞数据标准管理机制设计

设计基础类和分析类数据标准，制定数据标准管理制度和流程，明确数据标

准管理组织和职责，以明确的组织、职责、流程设计为前提，调动业务部门、技

术部门和系统技术团队共同参与数据标准设计，建立企业级数据标准流程，制定

总体落地计划，推动数据标准落地执行，增强对数据标准的理解，指导信息化建

设中对数据标准的参照。

＞数据标准分类规范

数据标准是对数据的名称、含义、结构、取值等｛言息的统一定义，达成对数

据的业务理解、技术实现的一致性。

基于数据模型理论将数据标准延伸至5个分类，涵盖技术、业务多个视角。

业务术语：从一致性、通用性等方面统一业务术语定义。

数据项标准：用来描述实体的某种属性，包含数据项的名称、编号、别名、

简述、数据项的长度、类型、数据项的取值范围。

参考数据标准：浜别参考数据，并建立参考数据的统一标准样例，使参考数

据可在不同系统中被使用而保持统一标准值。

主数据标准：主数据编码是应用系统中的重要数据类型之一，通常用来描述

业务操作的具体对象及其特征，注重唯一性，特征一致性，稳定性及有效性。

唯一性：在一个系统，一个平台甚至整个范围内同一主数据编码要求具有唯

一的识别标志（代码，名称，特征描述等），用以明确区分业务对象，业务范围

和业务的具体细节

特征一致性：主数据在不同系统中，均按统一标准出现

稳定性：主数据相对稳定，本身属性不会随交易过程而被修改

有效性：贯穿该业务对象的全生命周期过程，只要该业务对象存在，则比数

据不会丧失有效性

指标数据标准：需要收集指标的管理信息、业务定义、以及维度定义，需要

兼顾通用性和个性化，个性化方面支持各使用部门个性化定制

＞数据标准设计规范

以分析型应用建设和操作型应用集成为导向,两套方法结合，建立数据标准

设计体系

分析型应用建设导向：以分析应用指标范围为依据，重点结合业务战略及管

理要求，自上而下追溯数据源，聚焦数据标准范围。

操作型应用集成导向：自上而下的原则，基G实际业务流程及操作,重点识

别跨业务、跨流程的集成点及关键步骤，分析提炼共享数据，完成业务流程和应

用共享的数据映射，删除冗余、非重点数据，精简数据标准建设范围。

13.1.2数据元管理

数据元管理主要包括数据元新增、数据元导入、数据元发布、数据元修改、

数据元删除、数据元停用、数据元检索等功能。同时支持数据元版本管理及版本

之间的差异核对功能以及支持基于基础库、主题库的元数据快速创建标准数据元,

并建立和相关元数据的关联关系。

1.3.13标准代码配置

标准代码配置支持代码的分类、标准代码项的新增、导入、导出功能，提供

了标准代码维护的能力；可关联到国标、地标代码字典,为数据的规范性提供了

更加详细的描述，为后续的数据质量、数据标准等工作提供支撑。

标准数据元具有唯一的编码（标准代码），按照实际的业务领域进行分类之

后，可以形成带有业务领域特征的相关编码，比如"FR00001"代表法人相关

的数据元标准代码。

可关联到国标、地标

代码字典

13.1.4常用规则配置

数据元的值有部分需要满足固定格式的标准，治理过程中需要通过固定的值

组成规则来规范数据源值的格式，例如身份证、电话号码、电子邮箱等格式。包

括通用规则及各部门根据自身需求实际制定的规则，常用规则配置会针对公共数

据的特性内置部分常用的规则，同时提供了规则的配置修改能力。

1・3.2元数据管理

按照数据整合的层次结构、主题域划分，需要实现各层的各种对象，如表、

存储过程、索引、数据链、函数和包等的管理。清晰的表示各层次结构之间的数

据流程、各对象之间的关系，以及向外提供的各类数据服务的信息。

13.2.1元数据管理目标

元数据建设以服务项目管控需要为出发点，立足于项目建设实际，通过合理

规划和全面分析，以项目中的关键点和问题点作为优先和重点突破方向，实现元

数据的逐步演进和完善。

13.2.2元数据管理内容

元数据内容涉及到整个大数据资源平台的各个数据环节，包括数据采集、逐

层加工稽核，数据服务到最终应用展现的处理，元数据管理贯穿了整个流程，并

与各环节实现有效互动。

元数据管理分类

按照元数据的定义分类，综合价值分析系统元数据管理分为业务元数据、技

术元数据、管理元数据三类。其中：

(1)业务元数据

•使用者的业务术语所表达的数据模型、对象名和属性名；

•访问数据的原则和数据来源；

•系统所提供的分析方法及公式、报表信息；

•对业务元数据来源的管理和差异性对比；

(2)技术元数据

•系统结构的描述(各个主题的定义，星型模式或雪花型模式的描述定义

等)；

•整合数据层的机构单位的数据模型描述(以描述关系表及其关联关系为

形式)；

•对数据稽核规则的定义、汇总数据层模型描述与装载描述(包括维度、

层次、度量以及相应事实表、概要表的抽取规则)；

(3)管理元数据

系统内部用户的数据处理操作规则，包括抽取、转换、加载、汇总等各类操

作的用户权限、操作时间窗管理、异常处理规则等；

外部访问用户（主要针对该系统对外提供的数据服务）的操作规则和方式,

包括所提供的数据服务接口、数据访问方式、操作；

各类用户的操作记录日志，包括操作用户、登录方式、操作对象、持续时间、

操作类型等相关信息。

13.2.4元数据管理组织

为了保障元数据管理目标的顺利达成，需要从组织架构层面建立专业的元数

据管控组织予以保障，确保元数据管控要求得以落实、制度得以执行。

13.2.5元数据管理流程

元数据维护管理流程是以需求提出作为开始，经历规划设计、开发实施、需

求验收等项目阶段的元数据建立和校验，最后实现元数据的发布和运维管理。在

这些阶段中，元数据管控组负责元数据信息的全生命周期流程的管理和监控。

元数据管理功能

元数据管理包括元数据基础数据管理和元数据应用，由元数据自动获取、元

数据检索、数据模型管理、元数据管理、血缘关系等功能组成等。

访

问

灶格式文件导出访问实时API网用

层WEBSERVICE

功

能

层

技术元数掴,一仓库像市元数苴

业业务木语/描述/规则管职责:斓

存

务理

储

层元业务指标元数据管理要求数据源接口元数据门户朝元数据

数

维度数熨数熨操作日志数据封装元数据数据质限元数据

&

元数据元数据

自动获取篦理外部文件导入

自动获取SQLMP本自动解析手工联取手工录入

＞元数据管理功能架构

＞元数据自动获取

对元数据获取数据源以及这些数据源之间的关系进行集中登记管理,并形成

自动获取数据源的全局视图，实现元数据自动获取数据信息。

要实现兀数据的自动获取，需要在集成的兀数据平台中配置自动获取策略和

调度时间等，使元数据能够按预设的调度策略触发相应的元数据自动获取过程,

满足元数据自动获取的时效性。

调度策略包括时间周期触发、事件触发两种方式。例如，在每周星期一凌晨

00:00到01:00之间触发数据资源平台元数据的自动获取过程，或者在数据处理

程序更新后12小时内触发相应的映射关系元数据自动获取过程。

＞元数据维护

包括元数据的定义、变更及版本管理，对主机信息、数据库信息、用户信息、

数据对象信息、业务规则信息、加工逻辑等进行维护和管控。

＞元数据扫描

支持以手动或定时的方式扫描指定的数据库资源，并提取和解析相关的信息

在比较扫描数据和原有数据的差异后自动将差异数据维护到指定的元数据目录。

＞元数据检索

在元数据管理首页用户通过输入关键字后，系统采用全文检索的方式迅速查

找和关键字匹配的权限范围内的元数据信息，并将信息返回给用户。用户能够通

过展示的路径信息快速定位到元数据组织树上的节点。

＞元数据版本

版本管理分为元数据对象版本管理与基线版本管理两种类型。

元数据对象版本：对元数据的每次提交形成版本（上一版本形成历史版本），

提供历史版本间，历史版本与当前版本对比功能；

基线版本，对某一阶段产生的元数据对象形成数据集，提供不同阶段产生的

数据集的版本比较

＞权限管理及查询

统一实现数据库的访问和操作管控，对用户进行角色权限、对象权限、数据

权限等方面的管控和查询；

＞元数据的导入/导出

在系统层面实现元数据的导入/导出功能，以保证数据模型、数据对象能够

灵活的迁移，支持模型间的检查和比对，以便于数据模型的维护和扩展。

1.3.3数据质量管理

数据质量管理主要包含对数据完整性、准确性、鲜活性、权威性的分析和管

理，并对数据进行跟踪、处理和解决，实现对数据质量的全程管理，提高数据的

能够提供规则配置、质量监控、问题处理等功能，及时发现并分析数据质量

问题，不断改善数据的使用质量，从而提升数据的可用性，挖掘数据更大的价值。

质量模型配置

数据质量分析的基本单元，一个质量模型由可以由一套实体表、一套规则以

及多套质检方案组成，用户在定义质检方案时，可以根据业务需要选择实体表和

规则，方案与方案之间相互独立,互不干扰。通过执行模型下的质检方案，可以

得到用户关心的数据质量分析结果，如问题数据明细信息、数据质量分析结果等。

基仁等元

13.3.2质量规则管理

数据质量规则是数据质量审核的逻辑校验标准，是数据质量监控管理的基础。

系统支持多种规则类型，提供了全方位的视角来为用户解析数据质量。一套

规则能在多套方案中复用，在保证多角度准确数据质量分析的前提下，大大减少

了用户投入的精力与时间，为用户提供了一种灵活而全面的数据质量分析方式。

系统包括以下质量规则：

＞空值检查

空值检查用于检查关键字段非空

A值域检查

值域检查用于检查关键字段的取值范围，支持数值型、字符型、日期型字段

检查

＞规范检查

规范检查用于检查指标值的格式是否规范，支持身份证、手机号码、邮箱、

日期等多种数据类型的检测，支持自定义正则表达式

＞逻辑检查

逻辑检查用于检查指标之间是否满足一定的逻辑关系

＞重复数据检查

重复数据检查用于检查表内是否有重复数据。

规则算法：groupby重复依据字段，count(l)＞l的算重复

＞及时性检查

及时性检查，用于检查数据的及时性，衡量数据抽取或数据上报是否及时。

规则算法：算出上报时间字段的值，如果没写上报时间表达式，则最佳上报

时间都是以下一期的第一天做为参照依据，再将上报时间与最佳上报时间做为比

较，看是否在允许误差最大天数范围内

＞缺失记录检查

记录缺失检查用于判断记录是否完整，是否缺少数据行。根据比照表字段检

查目标字段是否缺少数据，检查实体表字段与比照字段的数据量、数值是否完全

一致。

规则算法：对检查表字段和比照字段进行groupby并求count,根据两个

字段groupby的结果来outerjoin,count不相等或检查字段值和比照字殁值

有一个为空时，此行结果都算错

＞引用完整性检查

引用完整性检查用于判断实体表中的数据是否完全存在于比照表中。实体表

检查字段中的数据必须全部存在于比照表的比照字段中。

规则算法：实体表的检查字段关联distinct后的比照表的字段，关联后，如

果比照字段为空，则检查字段的值非来源于比照表，则该规则对应结果为false

13.3.3方案配置调度

依据质量规则执行的实际治理需求，通过图形化界面配置多种质检规则组成

可执行方案，依据执行规则管控平台自动执行质量规则检查。质量规则执行触发

方式支持按固定时间周期（如月、周、日）、事件触发等执行方式，并且在控制

台可以查看质检方案执行历史，对数据质检全流程进行管控。

I规则颜分类说明I

fflWRASAWW则咬掰ttttSQU湎

艇录百麻第财姓队艇的1*5

三

否不在封潜忌uUct•fromAubblwhoefWd1icnul

表含义E*

侬乂了帆

/PWdl.Wd2.fW3.count(,)fromA.utte1

filSMT能■舔膜寺19谖,炳一

groupbyfie<d1,fieid2.fieW3

个MBR乔汉

having<oumH>1

selecttength^tm；fromA.UHe1

is也即*e张assas总限

wherelength僧嗤?闺<>10

三虫的统被近獐*藻，泪

京ie<ect*fromwhereWdlnothfl,.X))

C«5180.

select*fromAtaWelwherefledlnotE(

18槌班锥晤1鳄猊频创汽selectcodefromftS#

)

S'ffEsns18梯切陪1S石宾缈江Wselect*fromAlabawherefieW1<0

＞界面配置

通过图形化界面配置多种质检规则组成可执行方案，通过界面进行数据传参。

＞触发方式

质量规则执行触发方式支持按固定时间周期（如月、周、日）、事件触发等

执行方式。

＞全流程管控

固定时间监控业务系统运行的各类数据，及时发现并整改数据异常，完善系统运

行机制。

13.3.4质检结果查看

基于质检方案执行过程,反馈每次质检产生的异常数据，根据问题数据所配

置的规则提供问题详情、比对及整改重检的能力。结合实际可执行和可实现的原

则，分析系统存在的数据质量问题：

＞分析与检测

着重于在数据的定义基础上，利用数据的逻辑和业务规则度数据质量进行检

测和分析。

＞整改与重建

着重与在数据的分析和检测基础上，利用起结果对数据，特别是源数据的数

据管理提出整改意见，重建数据质量的管理能力。

具体系统方案如下:

13.3.5质检分析报告

基于质检方案及质检结果，对每次质检的检查数、问题数、整改数等进行统

计，形成统计图。支持按日、按月统计及柱状图、折线图。

1.3.4数据集成管理

数据集成主要在数据治理平台承担数据管道作用，通过数据集成现实不通业

务数据的汇聚、数据中心基础库的清洗等流程，通过在线简单灵活的可视化页面

针对不同的数据汇聚、清洗流程进行配置建立，平台直接对接调度底层的数据传

输工具进行数据管道的打通；实现了数据集成建模与数据集成汇聚快速、高效流

转的全过程。

13.4.1数据建模配置

提供数据集成中数据单元集模型配置，数据模型即为数据集成中的数据单元

集。

13.4.2集成方案管理

根据实际数据集成需求，系统提供了统一的集成方案配置，集成方案可以通

过构建的数据模型实现多维度的数据汇聚、清洗等数据处理流程，解决了公共数

据中大量的数据梳理处理工作，大大减少了人工对数据对比、校准、映射等繁杂

的工作，同时实现数据在前置库、基础库等之间的快速汇聚能力。

支持数据汇聚（来源表全表到目标表）、更新（基于目标表主键从不同来源

获取所需字段）及全量、增量功能。同时，数据集成过程中，支持不同元数据代

码项之间的映射转换功能，基本的数据格式验证以及任务调度配置。

1.3.43数据来源统计

用于统计集成模型中所有数据的来源方向以及各库表、各字段的精确来源,

并且提供基于领域的快速筛选

1.4数据管理建设方案

1.41数据资产管理

数据资产管理平台主要负责对数据资产进行统一注册和管理，实现数据资产

体系化管控。主要包括数据资产注册管理、数据资产分类管理、数据资产查询、

数据地图、数据资产分析、数据资产版本管理、数据资产变更管理、资产运行审

计管理、资产统计分析，接口管理、数据质量等功能。

数据资产注册管理

平台提供数据源管理、数据资产注册管理、数据资产注册审核、生成数据库

管理等功能。提供采集器、在线维护、自动注册接口等方式来注册数据资产。

＞数据源管理

平台提供对数据源注册管理的功能，主要是对数据提供者所在数据库、

Hadoop库的注册管理。

1)数据库注册管理，主要负责数据库基本信息的注册配置，包含但不限于

以下内容：

・数据库类型

•数据库版本

•数据库服务IP

•数据库服务端口

•数据库SID

•数据库表空间

2)Hadoop库注册管理，主要负责Hive库基本信息、HDFS文件信息的

注册配置，包含但不限于以下内容：

•HIVE数据库服务IP

•HIVE数据库服务端口

•HDFS文件系统服务IP

•HDFS文件系统服务端口

＞数据资产注册管理

平台提供对数据资产注册管理的功能，主要包括对表、视图、序列、文

件、ETL过程、Hadoop等进行注册管理。

1）业务系统信息收集与资产注册，包含但不限于以下内容：

•业务系统名称

•业务系统描述

•业务系统服务IP

•业务系统服务端口

2）数据库信息采集与资产注册，包含但不限于以下内容：

•数据库类型

•数据库版本

•数据库服务IP

•数据库服务端口

•数据库SID

•数据库表空间

3）表结构信息采集与资产注册，包含但不限于以下内容：

•表名称

•表中文名称

•业务信息描述

•表结构定义

•表数据处理逻娼

4）视图信息采集与资产注册，包含但不限于以下内容:

•视图名称

•视图中文名称

•业务信息描述

•视图结构定义

5）字段信息采集与资产注册，包含但不限于以下内容：

•字段名称

•字段中文名称

•字段详细描述

•字段类型定义

6）指标信息采集与资产注册，包含但不限于以下内容：

•指标名称

•指标中文名称

•指标业务描述

•指标统计口径

•指标统计周期

7）报表信息采集与资产注册，包含但不限于以下内容：

•报表名称

•报表中文名称

•报表业务描述

•报表格式

•报表统计周期

8)hadoop平台信息采集与资产注册，包含但不限于以下内容：

•Hadoop集群名称

•Hadoop集群描述

•Hadoop集群主节点IP

•Hadoop集群从节点IP

9)hadoophive库表信息采集与资产注册，包含但不限于以下内容：

•Hive数据库服务IP

•Hive数据库服务端口

•Hive表名称

•Hive表中文名称

•Hive表业务描述信息

•Hive表结构定义

10)ETL过程信息采集与资产注册，包含但不限于以下内容：

•ETL作业名称

•ETL作业业务描述信息

•ETL过程处理逻辑

•ETL作业运行周期

•ETL来源表名称

•ETL来源文件路径

•ETL目标表名称

•ETL目标文件路径

11)文件接口信息采集与资产注册，包含但不限于以下内容：

•接口文件名称

•接口文件业务描述信息

•接口文件路径

•接口文件大小

•接口内容与表字段映射关系

12)OLAP信息采集与资产注册；

13)webservice接口信息采集与资产注册，包含但不限于以下内容：

•webservice接口名称

•webservice接口描述

•webservice接口负责人

＞数据资产注册审核

平台提供对数据资产注册的审核功能，通过在平台中定义数据资产的相

关命名规范，可实现对数据资产的自动审核，主要包括对表/视图、文件等数据

资产进行审核分析。当数据资产命名不符合规范时，平台会提示错误信息，并阻

止资产的注册操作，当数据资产命名审核通过后，交由相应的审核人进行审核,

保障数据资产的完整和规范性。

IXP.9

*««»*

bawycrsx

科”机a化

sxwQWA_GRP_AR£A_riCOMEqTMIW@SH,D

3，：；：

rniM及

uHltfil

.sat»c»*9中文名除字收mMRS”•值・长字展改发ffW

.作业比乂GROUP.©7ARCMIRho

rtMMJg

GRP_AREA_OBW

flmrUoB

CRP_0<ST_O«MWT

富体企幺

U«<6YARCK«A

CTFER.rer.io7ARCMAR

黛sew渊阳

-ZSttS------------------------------------OFER.

|力总尹M㈤.ST依T_D7E

ttty*心SY9Y.WAJD£瑜，”

t«W0用3TmT/CC.FEE

k重・世EI»_CRP_AREA_O

its雷”用EIO.ACC.FEE

emenCn£ATE_DATEDATE

晟西今年IH»啥_YEAR_NtWSUM.LWT

工术SOL

"Iutyn«»vuWM5,KM

XOfQ0+。QCttHKtfiimciM

13mor«

■收■博引IC和SMIW量不・日

”我开f评收不开。㈱射豪中孑»4时*）・臭颤NXbF£K>AD3E

收【不秆含版射¥粒♦文♦电含加向力­英文WIU用包含MEtatLST依JDATE

A生成数据库管理

平台可基于数据资产（表），通过在平台中指定生成表的数据库及表空

间寄言息后自动生成相应数据库的建表脚本并在数据库中生成数据表，如下图所

示：

表结构(tableEntity)

y启用实体定义

SHGRP,DWA_GRP_PROD_INFO_FEE_@yy)^WM@DB2▼、赖―从库中读取

MySQL

访高级设矍!

DB2

—

实体定义根据数据库类型自动生成相应的建表脚本Hive

x##aaOracle

中文名称字段说明可为空字段名i据类型主用£

集团标识▲

✓GROUPJD_______________V_A_R__C_HARB

用户标识VUSERJD\iRCH-R匚

集团产3月秀标识✓GROUP_PROD_ITEM_DBIGINTJE

策划标识OFFERJDBIGINT□

策划实例标识,OFFERJNSTJDVARCHAR

II—

眯单费用项编码“ITEM.CODEBIGINT□

客户扬理标识MANAGERJDBIGINT▼

n--•

4►

createtableSHGRP.DWA_GRP_PROD_INFO_FEE_201512(

GROUPJDVARCHAR(50).

USER_6VARCHAR(20).

GROUP_PRODJTEM_IDBIGINT,