企业级省大数据平台数据治理系统

企业级省大数据平台数据治理系统

目录

1.范围....................................................................1

2.规范性引用文件..........................................................I

3.术语、定义和缩略语.....................................................5

4.总体说明...............................................................8

4.1.概述...................8

4.2.目标................................................................9

4.3.原则...............................................................9

5.数据治理体系............................................................10

5.1.总体框架..........................................................10

5.2.组织架构...........................................................11

5.2.1.组织构成.......................................................II

5.2.2.角色职责.......................................................12

5.3.系统架构...........................................................13

5.3.1.系统功能框架...................................................13

5.3.2.系统模块流程...................................................14

5.4.系统边界...........................................................15

5.4.1.与企业级省大数据平台关系.......................................16

5.4.2.与对外能力开放平台关系.........................................16

5.4.3.与平台运维系统关系.............................................16

6.数据治理核心模块........................................................17

6.1.数据标准管理......................................................17

6.1.1.背景..........................................................17

6.1.2。

6.1.3.目标及原则.............................................18

6.1.4.业务分类和定义.................................................18

6.1.5.技术功能要求...................................................22

6.1.6.本期建设范围及内容.............................................25

6.1.7.实施要求.......................................

6.2.元数据管理........................................................26

6.2.1.背景和定义.....................................................26

6.2.2.元数据运营模式.................................................27

6.2.3.元模型标准.....................................................28

6.2.4.元数据运维.....................................................32

6.2.5.本期重点建设内容...............................................32

6.3.数据质量管理......................................................33

6.3.1.与传统经营分析系统的区别.......................................33

6.3.2.范围和原则.....................................................34

6.3.3.与其它功能模块的关系...........................................34

6.3.4.本期数据质量功能需求...........................................37

6.3.5.本期数据质量运维要求...........................................38

6.4,数据资产管理......................................................39

6.4.1.数据资产概述...................................................39

6.4.2.数据资产范围...................................................40

6.4.3.与其它功能模块的关系....................................41

6.4.4.本期数据资产功能需求..........................................41

6.4.5.本期建设内容...................................................44

6.5.数据安全管理......................................................45

6.5.1,数据安全概述...................................................45

6.5.2.建设原则.......................................................45

6.5.3.建设内容.......................................................45

6.5.4.边界关系.......................................................46

6.5.5.技术功能.......................................................46

6.5.6.管理要求.......................................................47

7.数据治理场景............................................................51

7.1.背景描述..........................................................51

7.2.场景一：银行伪卡交易判别..........................................52

7.2.1.背景介绍......................................................52

7.2.2.场景描述......................................................52

III

7.3.场景二：银行手机贷业务............................................53

7.3.1.背景介绍......................................................53

7.3.2.场景描述......................................................54

8.附录....................................................................54

附录一：数据标准框架......................................................55

附录二：数据标准体系定义内容示例..........................................55

刖B

本规范的制订是为了更好地实现企业级行大数据平台数据治理了系统的建

设和管理，为省大数据平台上的各类基础技术和应用提供支撑，加强省大数据平

台上数据的管控力度，增强数据治理子系统自身管理能力。

本规范主要包括以下几方面的内容：总体说明、数据治理体系、数据治理核

心模块、数据治理场景等。

本规范是企业级大数据平台系列规范之•。该系列规范的结构、名称或预计

的名称如下：

序号标准编号标准名称

IHQB-Y-***-2O15企业级大数据-平台日标架构

|2|QB-Y-**«-2OI5企业级省大数据平台技术规范总册

131QB-Y-**«-2OI5企业级省大数据平台技术规范分册

HIQB-Y-***-2OI5企业级省大数据平台技术规范技术方案分册

151QB-Y-***-2015企业级省大数据平台技术规范数据模型分册

16)QB-Y-***-2OI5企业级省大数据平台技术规范外部接口分册

⑺QB-Y-***-20I5企业级省大数据平台技术规范服务开放分册

181QB-Y-**«-20I5企业级省大数据平台技术规范服务开放技术

方案分册

|9|QB-Y-**«-2OI5企业级省大数据平台技术规范数据治理分册

(10)QB-Y-***-2OI5企业级省大数据平台技术规范数据治理技术

方案分册

(11]QB-Y-**<2OI5企业级省大数据平台技术规范运营维护分册

[12]QB-Y-***-2OI5企业级省大数据平台技术规范安全管理技术

方案

本规范由技（XX）XX印发。

本规范由XX集团公司业务支撑系统部提出，集团公司技术部归口。

本规范起草单位：XX集团公司业务支撑系统部。

本规范主要起草人：XX。

1.范围

本规范规定了企业级省大数据平台数据治理了系统的建设内容，适用于各省(直辖市、

自治区)公司企业级省大数据平台数据治理子系统的建设。

2.规范性引用文件

下列文件中的条款通过本规范的引用而成为本规范的条款。凡是标注日期的引用文件，

其随后所有的修改单(不包括勘误的内容)或修订版均不适用于本规范。然而，鼓励根据本

规范达成协议的各方对是否使用这些文件的最新版本进行研究。凡是不标注日期的引用文件,

其最新版本适用于本规范。

⑴《省级经营分析系统业务规范(vl.O)》XX通信有限公司

[2)《省级经营分析系统技术规范(vl.O)》XX通信有限公司

《省级经营分析系统数据质量管理系

|3)QB-J-010-2()06XX通信有限公司

统建设方案(vl.5)》

《省级经营分析系统数据仓库逻辑数

|4|QB-J-006-2006XX通信有限公司

据模型说明(vl.5)》

《省级经营分析系统数据集市业务技

|5]QB-J-007-2006XX通信有限公司

术规范(v1.5”

《省级经营分析系统与源系统接口规

I6IQB-J-008-2006XX通信有限公司

范(vl.5)》

《省级经营分析系统与BOSS系统互

⑺QB-J-009-2006XX通信有限公司

动技术规范(vl.5)》

《省级经营分析系统业务规范(vl.5)

I8IQB-J-OO3-2OO6XX通信有限公司

-基础业务分册》

《省级经营分析系统业务规范(vl.5)

I9IQB-J-004-2006XX通信有限公司

一数据业务分册》

《省级经营分析系统业务规范(vl.5)

U0]QB-J-005-2006XX通信有限公司

-集团客户分册》

《业务运营支撑系统(BOSS)业务技

HUQB-J-001-2006XX通信有限公司

术规范营销资源管理分册(2.0版)》

《业务运营支撑系统(BOSS)业务技

112]QB-J-00I-2(X)6XX通信有限公司

术规范客服信息分册(2.0版)》

《业务运营支撑系统（BOSS）业务技XX庖信有限公司

1131QB-J-001-2006术规兔（2.0版）》

《省级经营分析系统数据仓库逻辑数XX通信有限公司

QB-J-02I-2(X)7

114]据模型规范（v2.0）>

g省级经营分析系统与源数据接口规XX通信有限公司

QB-J-020-2007

H5]范（v2.0）》

《省级经营分析系统数据集市业务技XX通信有限公司

116]QB-J-022-2007术规也（v2.0）>

《省级经营分析系统业务规范渠道运XX通信行限公司

QB-J-019-2007

1171营管理分析监控分册（5。）》

《省级经营分析系统业务规范客户服XX直信有限公司

1181QB-J-018-2()07务分册（v2.0）》

《省级经苜分析系统业务规范集团客XX通信有限公司

QB-J-017-2007

119]户分册（v2.0》

《省级经禽分析系统数据质量常理系XX通信有限公司

120]QB-J-016-2007统业务技术规范（V2.0）》

《业务支撑网4A安全技术规范》XX通信有限公司

121)

C省级经营分析系统技术规范总册XX通信有限公司

|22]（v2.0全量版）>

《省级经营分析系统技术规范逻辑模XX通信有限公司

123]型分册（v2.0全量版）》

《省级经营分析系统技术规范数据集XX通信有限公司

1241市分册（v2.0全量版）》

《省级经首分析系统技术规范数据项XX通信有限公司

1251量管理子系统分册（v2.0全量版）》

《省级经营分析系统业务规范（v2-°xx通信令.限公司

126]全量版）》

《省级经营分析系统技术规范源系统XX通信有限公司

127]接口分册（、20全量版）》

《省级NGI-BASS技术规范总册XX集团公司

QB-J-002-2008

1281（vl.0））

《省级NG1-BASS技术规范数据集市XX案团公司

QB-J-OO3-2OO8

129]分册（vl.O）》

《省级NGI-BASS技术规范逻辑模型XX娓团公司

QB-J-004-2008

130)分册（vl.O）》

《省级NG1-BASS技术规范源系统接XX集团公司

[311QB-J-005-2008口分册（v1.0）》

《省级NG1-BASS技术规范元数据管

1321QB-J-006-2008XX集团公司

理分册(vl.O”

©省级NG1-BASS技术规范数据质量

133]QB-J-OO7-2OO8XX案团公司

管理子系统分册(vl.O)》

《省级NGI-BASS业务技术规范’各产

134]QB-J-008-2008XX集团公司

分析及运营分册(vl.O)》

135]QB-J-001-2008《省级NGI-BASS业务规范(v1.0)》XX集团公司

《省级NGI-BASS技术规范总册

136]QB-Y-003-2009XX集团公司

(v2.0))

《省级NGI-BASS技术规范数据集市

137]QB-Y-004-2009XX集团公司

分册“2.0)》

《省级NGI-BASS技术规范逻辑模型

网QB-Y-005-2009XX集团公司

分册(v2.0)》

《省级NGI-BASS技术规范外部接口

139]QB-Y-006-2009XX集团公司

分册(v2.0)》

《省级NGI-BASS技术规范元数据管

140]QB-Y-007-2009XX娓团公司

理分册(v2.0)》

《省级NG1-BASS技术规范数据质送

141]QB-Y-008-2009XX集团公司

管理子系统分册W2.0)》

142]QB-Y-OO2-2OO9《省级NGI-BASS业务规范(、20)》XX集团公司

143]QB-Y-052-2010《省级NG2-BASS(v3.O)业务规范》XX集团公司

《省级NG2-BASS(v3.O)技术规范总

144]QB-Y-O53-2OIOXX集团公司

册》

《省级NG2-BASS(v3.0)技术规范数据

145]QB-Y-054-2010XX集团公司

集市分册》

《省级NG2-BASS(v3.O)技术规范逻辑

146]QB-Y-O55-2OIOXX集团公司

模型分册》

《省级NG2-BASS(v3.O)技术规范外部

147]QB-Y-056-20I0XX集团公司

接口分册》

《省级NG2-BASS(v3.O)技术规范无数

148]QB-Y-O57-2OIOXX娓团公司

据管理分册》

©省级NG2-BASS(v3.O)技术规范数据

149]QB-Y-058-2010XX集团公司

质成管理子系统分册》

《省级NG2-BASS(v3.O)技术规范多

1501QB-Y-O59-2OIOXX集团公司

OP能力交互分册》

《省级增值业务综合运营平台业务规

1511QB-Y-O6O-2OIOXX案团公司

范(vl.0)》

K省级增值业务综合运营平台技术规

152]QB-Y-061-2010XX集团公司

范

《省级增值业务综合运营平台技术规

[53]QB-Y-062-2010XX集团公司

范-数据管理分册(vl.O)》

£省级增值业务综合运营平台接口规

154]QB-Y-063-2010XX案团公司

范》

【551QB-Y-039-2011《省级NG2-BASS(v3.5)业务规范》XX集团公司

g省级NG2.BASS(v3.5)技术规范总

156]QB-Y-038-20IIXX集团公司

册》

《省级NG2-BASSR3.5)技术规范数据

157]QB-Y-O4O-2OI1XX集团公司

集市分册》

8省级NG2-BASS(v3.5)技木规范逻辑

[58]QB-Y-O41-2O1IXX集团公司

模型分册》

《省级NG2-BASS(v3.5)技术规范外部

159]QB-Y-042-2011XX案团公司

接口分册》

《省级NG2-BASSB3.5)技术规范元数

160]QB-Y-043-2011XX案团公司

据管理分册》

《省级NG2-BASS(v3.5)技术规范数据

161]QB-Y-O44-2OI1XX集团公司

质珏管理子系统分册》

g省级NG2-BASS(v3.5)技术规范OP

I62JQB-Y-O45-2OI1XX集团公司

能力交互分册》

《省级增值业务综合运营平台业务规

(63]QB-Y-046-2011XX集团公司

范(vL5)》

《省级增值业务综合运营平台技术规

164]QB-Y-047-2011XX集团公司

范(vl.5)》

《省级NG2-BASS技术规范系统安全

165]QB-Y-O48-2OI1XX集团公司

管理分册(V15)》

166]QB-Y-O44-2OI2g省级NG2-BASSC40)业务规范》XX集团公司

《省级NG2-BASS(v4.0)技术规范总

167]QB-Y-O45-2OI2XX策团公司

册》

◎省级NG2-BASS(v4.0)技术规范数据

168]QB-Y-045.1-2012XX集团公司

集市分册》

《省级NG2-BASS(v4.0)技术规范逻辑

169]QB-Y-O45.2-2OI2XX集团公司

模型分册》

《省级NG2-BASS(v4.0)技术规范外部

170]QB-Y-O45.3-2OI2XX集团公司

接口分册》

《省级NG2-BASS(v4O)技术规范元数

172]QB-Y-O45.4-2OI2XX集团公司

据管理分册》

«省级NG2-BASS(v4.0)技术规范数据

173]QB-Y-O45.5-2OI2XX集团公司

质量管理子系统分册》

《省级增值业务综合运营平台业务规

[74]QB-Y-046-20I2XX集团公司

范V2.0.0J

《省级增值业务综合运营平台技术规

[751QB-Y-047-20I2XX案团公司

范V20.0》

《省级增值业务综合运营平台技术规

[76|QB-Y-047.I-20I2XX娓团公司

范数据管理分册V2.O.O5

[77]QB-Y-O44-2O13(省级NG2-BASS(\，4.5)业务规范》XX集团公司

年省级NG2-BASS(v4.5)技木规范总

(78]QB-Y-O45-2O13XX集团公司

册》

《省级NG2-BASS(v4.5)技术规范数据

179]QB-Y-045.I-20I3XX集团公司

集市分册》

《省级NG2-BASS(v4.5)技术规范逻辑

180]QB-Y-O45.2-2OI3XX集团公司

模型分册》

《省级NG2-BASSR4.5)技术规范外部

1811QB-Y-O45.3-2OI3XX集团公司

接口分册》

《省级NG2-BASS(v4.5)技术规范元数

182]QB-Y-045.4-20I3XX集团公司

据管理分册》

《省级NG2-BASS(v4.5)技术规范数据

[83]QB-Y-045.5-20I3XX案团公司

质量管理子系统分册》

《省级NG2-BASS(v4.5)技术规范安全

184]QB-Y-045.6-20I3XX集团公司

管理技术方案》

《省级增值业务综合运营平台业务规

[85]QB-Y-046-20I3XX集团公司

范V25.0》

《省级增值业务综合运营平台技术规

[86]QB-Y-O47-2OI3XX集团公司

范V25.O》

《省级增值业务综合运营平台技术规

[87]QB-Y-047.1-20I3XX集团公司

范数据管理分册V2.5.03

3.术语、定义和缩略语

下列术语、定义适用r本规范:

字母名词解释

CWM标准是OMG组织定义的数据仓库和相关系统的国际元数

据标准，给出「各种元数据结构的标准定义。CWN1标准的目的

cCWM

在r：使数据仓库和商业智能软件的元数据在异构的数据分析

工具、数据仓库平台、元数据存储库等系统之间进行交互。

EETL特指从数据源系统到大数据平台的数据抽取、转换和加我。

描述大数据平台中管理领域相关概念、关系、规则的数据,主

G管理元数据

要包括人员角色、岗位职责、管理流程等信息。

大数据平台核心元模型是以CWM为基础犷展形成的，针对大

数据平台的物理模型、逻辑模型、数据处理过程、接口单元、

指标和维度编码等主要实体进行精确定义，并要求各省人数据

H核心元模型平台统一遵循的元模型。定义核心元模型的目的是建立大数据

平台的统一元数据管理标准，为元数据管理的功能层与应用层

解耦、为企业级总部大数据平台和企业级省大数据平台的元数

据交换和相互理解提供统一的语义基础。

核心元模型参照表是对核心元模型中的枚举类型属性进行枚举

核心元模型参值定义的编码表。参照表为枚举类型属性的每个枚举值定义了

H

照表唯一的编码，并明确该编码的语义，是核心元极不标准化定文

的重要组成部分。

描述大数据平台中技术领域相关概念、关系、规则的数据。主

要包括对数据结构、数据处理方面的特征描述，獴盖大数据平

J技术元数据

台数据源接口、数据仓库、ETL.OLAP、数据挖掘、前端展现

等全部数据处理环节。

数据从数据源系统到大数据平台前端使用的整个处理过程，包

S数据处埋过程

含大数据平台数据仓库内部的数据抽取、转换和加载。

覆蛊大数据平台数据处理环节的、获取每个环节运行状态的实

S数据采集点

体。该实体可以是程序实体也可以是任务实体

数据质最报告是对数据质成口常监控以及质成评估等过程累积

S数据质成报告

的各种信息进行汇总、梳理、统计和分析，形成的统计报告

6

字母名词解释

通过获取大数据平分各环节的数据质量监控信息，结合元数据

s数据质量监控库中的有关检查规则，对各个环节的数据质量情况进行判断，

并及时向数据质量监控人员报告。

数据质量规则库是对数据质量管理活动所用到的各种判断及校

数据质成规则

s验规则进行归类和存放的存储结构，存储的内容包括采集规则、

库

监控规则、告警规则和审计规则等

数据质量管理子系统存储层上的存储结构，用于存储数据质量

数据质量信息

s信息采集程序采集的数据质量信息、质量评估信息、问题解决

库

方案和问题处理流程信息等

s省公司XX集团各有(直辖市、自治区)移动XX通信有限公司。

SQL脚本自动解析指通过对SQL脚本的词法、语法和语义进行

SQL脚本

s分析，自动生成满足CWM规范要求的数据处理过程的技术元

自动解析

数据的功能。

描述大数据平台中业务领域相关概念、关系、规则的数据。主

Y业务元数据要包括业务术语、信息分类、指标定义(指标1」径)、业务规则

等信息。

元模型是描述元数据的基础模型结构，用于说明兀数据对象的

Y元模型

各种属性、结构和关系。

元数据是描述数据间关系的数据。大数据平台中元数据泛指描

述数据概念(Concepts).数据间关系(Roles)、数据处理规则

Y元数据

(Rules)的数据,其中,领域语义(Semantics)和知识

(Knowledge)也限于•元数据的范畴。

指在台企业级省大数据平台卜为了使企业内外部使用和交换的

数据是一致和准确的，经协商•致制定并由大数据治理委员会

D数据标准

主管机构批准，具有仃业特点且共同使用和重豆使用的一种规

范性约束。

指数据标准按照企业级省大数据平台需求时数据进行标准化的

D数据标准体系

划分归类。

7

字母名词解释

按照数据标准体系划分的要求分别给出各数据标准制定的规范

D数据标准内容

内容。

行业参考模型

D规范中原定义或新增加的逻辑数据模型LDM实体。

实体

需要引用外部公共标准机构的标准。如：世界各国和地区名称

D公共代码标准

代码等。

下列略缩语适用于本规范:

缩写英文描述中文描述

ASTAbstractSyntaxTree抽象语法树

BOSSBusinessOperationSupportSystem业务运营支撑系统

CWMCommonWarehouseMecamodel公共仓库元模型

ETLExtractionTransformationLoading抽取、转换和加载

OLAPOn-lineAnalysisProcess在线分析处理

XMIXMLMetadatainierchangeXML元数据交换

BIBusinessIntelligence商务科能

RESTRepresentationalSlateTransfer表述性状态转移

4.总体说明

4.1.概述

本规范用于指导企业级省大数据平台数据治理子系统建设，规定了省大数据平台数据治

理的范围和要求，明确了数据治理子系统的体系结构，制定了数据治理子系统的功能和处理

流程。数据治理子系统包含数据标准管理、元数据管理、数据质量管理、数据资产管理、数

据安全管理等功能模块。本方案借鉴资产管理的方法理论来管理数据，将数据作为一种特殊

的资产，对进入平台的数据进行标准化的规范约束，并以元数据作为驱动，连接数据的标准

管理、数据质量管理、数据数据安全管理的各个阶段，形成统一、完善的数据治理体系，以

解决实际业务问题为导向，增强数据治理子系统对业务发展的支撑能力。

8

4.2.目标

数据治理子系统的建设为数据治理工作提供强有力的系统支撑。本期规范建设目标是以

元数帼为驱动，建立省大数据平台完整的数据治理体系。从组织架构、系统城能等方面增强

数据宏观管控，并实现精细化管理，具体包括：

•数据治理组织架构管理：定义数据治理所需人员组织上的岗位和职员，从管理角度

支撑数据治理工作的落地和执行。

•数据标准管理：建立企业级省大数据平台数据标准体系，并制定数据标准运维管控

制度和流程。

•元数据管理：降低元数据使用难度、提升用户体验，使大数据平台各类用户均能参

与到元数据运营维护当中。

•数据质量管理：为内、外部用户提供平台化的数据质量监控：通过扩充和优化公共

规则库、保证数据的完整性、一致性、准确性、及时性、合法性，提升用户使用感

知；并提供数据质量应用满足个性化需求。

•数据资产管理：重点建设从规划、注册、运维到注销的全流程管理体系，使数据资

产管理系统化、可视化。

•数据安全管理：建立体系化的数据安全管控策略，通过用户安全管理、数据安全管

理实现全方位数据安全管控机制,通过技术手段与管理措施相结合的方式落实数据

安全，做到事前可管、事中可控.事后可查.

4.3.原则

企业级省大数据平台数据治理子系统建设应遵循以下基本原则：

1.有效性原则

体现大数据平台数据治理过程中数据的标准、质最、价值、管控的有效性、高效性。

2.价值化原则

体现数据治理过程中以数据资产为价值核心，最大化大数据平台的数据价值.

3.统一性原则

体现大数据平台架构统一、标准统一、元数据统一、质量流程统一、资产价值统一的一

体化管控平台体系。

4.开放性原则

9

体现平台化、开放性运维思想，实现人人参与数据治理、人人参与数据运维。

5.产品化原则

体现大数据平台数据治理能力的显性化，通过产品化互联M思维服务大数据平台数据生

态圈用户。

6.安全性原则

体现安全的重要性.、必要性，保障大数据平台数据安全和数据治理过程中数据的安全可

控。

5.数据治理体系

5.1.总体框架

数据治理总体框架包括组织架构、数据治理模块、数据运维三部分。通过组织架构建立

管理办法，制定工作流程，确定角色取贵。数据治理模块主要包括数据标准管理、元数据管

理、数据质量管理、数据资产管理、数据安全管理，各模块协同运营，确保大数据平台的数

据一致、安全、有效。数据运维贯穿整个数据治理体系的流程中，实现平台化的运维管理思

路。数据治理总体框架如图5-1所示：

10

大数据平台

图5-1数据治理体系框架

5.2.绢织架构批注[W2]:是否根制化，简要说一下数据治理需要由专

人、专职负责，不明说建立专业机构。

数据治理组织的构建旨在通过建立数据治理组织架构明确各级角色和职资，保障数据治

理的各项管理办法、工作流程的实施，推送数据治理工作的有序开展。

5.2.1.组织构成

数据治理组织架构主要由数据治理委员会、数据治理中心和各业务部门构成。组织架构

划分和角色设定如图5-2所示：

11

组织架构I角色职责

图5-2数据治理组织架构图

5.2.2.角色职责

组织贡任体系是数据治理责任落地的保障，数据治理组织架构通过明确各角色职贡，实

行认责制度，让数据治理工作更好的融入到数据日常使用和相关的工作中，从面推动数据运

维自治的实现，如表5-1。

表5T数据格理组织架构角色职费定义内容

组织结构角色角色描述角色主要职责

由公司主

负责牵头数据治理工作；制定数据治理的政

管领导和

数据治理数据管理策、标准、规则、流程，协调认责冲突：

各业务部

委员会决策者对数据事实治理，保证数据的质量和隐私：

门领导组