大数据治理体系

1、数据治理体系、乙刖 百本标准的制订是为了更好地实现中国移动企业级省大数据平台数据治理子系统的建设和治理,为省大数据平台上的各类基础技术和应用提供支撑,增强省大数据平台上数据的管控力度, 增强数据治理子系统自身治理水平.本标准主要包括以下几方面的内容：总体说明、数据治理体系、数据治理核心模块、数据治理场景等.本标准是中国移动企业级大数据平台系列标准之一.该系列标准的结构、名称或预计的名称如下：序号标准编号标准名称1*-2021中国移动企业级大数据平台目标架构2*-2021中国移动企业级省大数据平台技术标准总册3*-2021中国移动企业级省大数据平台技术标准分册4*-2021中国移动企业级省大数据

2、平台技术标准技术方案分册5*-2021中国移动企业级省大数据平台技术标准数据模型分册6*-2021中国移动企业级省大数据平台技术标准外部接口分册7*-2021中国移动企业级省大数据平台技术标准效劳开放分册8*-2021中国移动企业级省大数据平台 技术标准效劳开放技术方案分 册9*-2021中国移动企业级省大数据平台技术标准数据治理分册10*-2021中国移动企业级省大数据平台 技术标准数据治理技术方案分 册11*-2021中国移动企业级省大数据平台技术标准运营维护分册12*-2021中国移动企业级省大数据平台技术标准平安治理技术方案本标准由中移技XXXX印发.本标准由中国移动通信集团公司业务支

3、撑系统部提出,集团公司技术部归口.本标准起草单位：中国移动通信集团公司业务支撑系统部.本标准主要起草人：段云峰、汪新勇、赵静、周立、任怡健、 王保强、潘刚、刘童桐、王金金、陶涛、刘虹、张红星、魏春辉.1 .范围本标准规定了中国移动企业级省大数据平台数据治理子系 统的建设内容,适用于中国移动各省直辖市、自治区公司企 业级省大数据平台数据治理子系统的建设.2 .标准性引用文件以下文件中的条款通过本标准的引用而成为本标准的条款.但凡标注日期的引用文件,其随后所有的修改单不包括勘误的内容或修订版均不适用于本标准.然而,鼓励根据本标准达成 协议的各方对是否使用这些文件的最新版本进行研究.但凡不标注日期的

4、引用文件,其最新版本适用于本标准.?中国移动省级经营分析中国移动通信1系统业务标准v1.0?中国移动省级经营分析中国移动通信2 一系统技木标准v1.0»?中国移动省级经营分析中国移动通信3 010-2006系统数据质量治理系统建设方案v1.5 »?中国移动省级经营分析中国移动通信4 006-2006系统数据仓库逻辑数据模型说明v1.5 �-2006003-2006004-2006005-2006001-2006?中国移动省级经营分析 系统数据集市业务技术规 范v1.5 »?中国移动省级经营分析系统与源系统接口标准v1

5、.5 »?中国移动省级经营分析 系统与系统互动技术标准v1.5 »?中国移动省级经营分析 系统业务标准v1.5 基 础业务分册?中国移动省级经营分析 系统业务标准v1.5一数 据业务分册?中国移动省级经营分析 系统业务标准v1.5一集 团客户分册?567网9101112中国移动通信中国移动通信中国移动通信中国移动通信中国移动通信中国移动通信中国移动通信?中国移动业务运营支撑 系统业务技术标准营销 资源治理分册2.0版?系统业务技术标准客服 信息分册2.0版?中国移动业务运营支撑中国移动通信13 001-2006 系统业务技术标准2.0版?中国移动省级经营分析中国移动通信14

6、 021-2007系统数据仓库逻辑数据模型标准v2.0 »?中国移动省级经营分析中国移动通信15 020-2007系统与源数据接口标准v2.0 »?中国移动省级经营分析中国移动通信16 022-2007系统数据集市业务技术规范v2.0 ?中国移动省级经营分析中国移动通信17 019-2007系统业务标准渠道运营管理分析监控分册v1.0 »?中国移动省级经营分析中国移动通信18 018-2007系统业务标准客户效劳分册v2.0 »?中国移动省级经营分析中国移动通信19 017-2007系统业务标准集团客户分册v2.0 »?中国移动省级经营分析20

7、 016-2007系统数据质量治理系统业务技术标准V2.0 »?中国移动业务支撑网 4A21平安技术标准?中国移动省级经营分析22 系统技术标准总册v2.0全量版?中国移动省级经营分析23 系统技术标准逻辑模型分册v2.0全量版?中国移动省级经营分析24 系统技术标准数据集市分册v2.0全量版?中国移动省级经营分析系统技术标准数据质量管25理子系统分册v2.0全量版?中国移动省级经营分析26 系统业务标准v2.0全量中国移动通信中国移动通信中国移动通信中国移动通信中国移动通信中国移动通信中国移动通信版2021004-2021005-2021006-20210

8、07-2021008-2021001-2021003-2021?中国移动省级经营分析系统技术标准源系统接口 分册v2.0全量版?中国移动省级1技术规范总册v1.0 »?中国移动省级1技术规范数据集市分册v1.0 »?中国移动省级1技术规范逻辑模型分册v1.0 »?中国移动省级1技术规范源系统接口分册v1.0 »?中国移动省级1技术规范元数据治理分册v1.0 »?中国移动省级1技术规范数据质量治理子系统分册v1.0 »?中国移动省级1业务技术标准客户分析及运营分册v1.0 »?中国移动省级1业务规范v1.0 »272

9、82930313233343536中国移动通信中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信?中国移动省级1技术规41008-2021?中国移动省级1技术规范数据质量治理子系统分中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司?中国移动省级1技术规37 004-2021范数据集市分册(v2.0) »?中国移动省

10、级1技术规38 005-2021范逻辑模型分册(v2.0) »?中国移动省级1技术规39 006-2021范外部接口分册(v2.0) »?中国移动省级1技术规40 007-2021范元数据治理分册(v2.0) »册(v2.0) »?中国移动省级1业务规42 002-2021范(v2.0) »?中国移动省级2(v3.0)43 052-2021业务标准?中国移动省级2(v3.0)44 053-2021技术标准总册?中国移动省级2(v3.0)45 054-2021技术标准数据集市分册?中国移动省级2(v3.0)46 055-2021技术标准逻辑模型分

11、册?47056-202148057-202149058-202150059-202151060-202152061-2021据治理分册(v1.0) »中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司?中国移动省级2(v3.0)技术标准外部接口分册?中国移动省级2(v3.0)技术标准元数据治理分册?中国移动省级2(v3.0) 技术标准数据质量治理子 系统分册?中国移动省级2(v3.0)技术标准多水平交互分册?中国移动省级增值业务 综合运营平台业务标准(v1

12、.0) »?中国移动省级增值业务 综合运营平台技术标准(v1.0) »?中国移动省级增值业务53 062-2021综合运营平台技术标准-?中国移动省级增值业务54 063-2021综合运营平台接口标准?中国移动省级2(v3.5)55 039-2021业务标准?56038-202157040-202158041-202159042-202160043-202161044-202162045-202163046-202164047-202165048-2021?中国移动省级2(v3.5)技术标准总册?中国移动省级2(v3.5)技术标准数据集市分册?中国移动省级2(v3.5)技术

13、标准逻辑模型分册?中国移动省级2(v3.5)技术标准外部接口分册?中国移动省级2(v3.5)技术标准元数据治理分册?中国移动省级2(v3.5)技术标准数据质量治理子系统分册?中国移动省级2(v3.5)技术标准水平交互分册?中国移动省级增值业务综合运营平台业务标准(v1.5) »?中国移动省级增值业务综合运营平台技术标准(v1.5) »中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信?中国移动省级2技术规中国移动通信集团公司中国移动通

14、信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司(v1.5) »?中国移动省级2(v4.0)66 044-2021业务标准?中国移动省级2(v4.0)67 045-2021技术标准总册?中国移动省级2(v4.0)68 045.1-2021技术标准数据集市分册?中国移动省级2(v4.0)69 045.2-2021技术标准逻辑模型分册?中国移动省级2(v4.0)70 045.3-2021技术标准外部接口分册?中国移动省级2(v4.0)72 045.4-2021技术标准元数据治理分册?中国

15、移动省级2(v4.0)73 045.5-2021技术标准数据质量治理子系统分册?中国移动省级增值业务74 046-2021综合运营平台业务标准V2.0.0 »?中国移动省级增值业务75 047-2021综合运营平台技术标准V2.0.0 »047.1-2021044-2021045-2021045.1-2021045.2-2021045.3-2021045.4-2021045.5-2021045.6-2021?中国移动省级增值业务 综合运营平台技术标准数 据治理分册V2.0.0?中国移动省级2(v4.5)业务标准?中国移动省级2(v4.5)技术标准总册?中国移动省级2(v4.

16、5)技术标准数据集市分册?中国移动省级2(v4.5)技术标准逻辑模型分册?中国移动省级2(v4.5)技术标准外部接口分册?中国移动省级2(v4.5) 技术标准元数据治理分册?中国移动省级2(v4.5)技术标准数据质量治理子 系统分册?中国移动省级2(v4.5)技术标准平安治理技术方 案?中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司中国移动通信集团公司767778798081828384?中国移动省级增值业务中国移动通信85 046-2021综合运营平台业务标准集团公司V2.5.0

17、 »?中国移动省级增值业务中国移动通信86 047-2021综合运营平台技术标准集团公司V2.5.0 »?中国移动省级增值业务中国移动通信87 047.1-2021综合运营平台技术标准数集团公司据治理分册V2.5.0 »3.术语、定义和缩略语以下术语、定义适用于本标准：字母名词解释C标准是组织定义的数据仓库和相关系统的国 际元数据标准,给出了各种元数据结构的标 准定义.标准的目的在于：使数据仓库和商 业智能软件的元数据在异构的数据分析工 具、数据仓库平台、元数据存储库等系统之 间进行交互.E特指从数据源系统到大数据平台的数据抽 取、转换和加载.字母名词解释G治理元

18、数据描述大数据平台中治理领域相关概念、 关系、 规那么的数据,主要包括人员角色、岗位责任、 治理流程等信息.H核心元模型大数据平台核心兀模型是以为根底扩展形成 的,针对大数据平台的物理模型、 逻辑模型、 数据处理过程、接口单元、指标和维度编码 等主要实体进行精确定义,弁要求各省大数 据平台统一遵循的元模型.定义核心元模型 的目的是建立大数据平台的统一元数据治理 标准,为元数据治理的功能层与应用层解耦、 为企业级总部大数据平台和企业级省大数据 平台的元数据交换和相互理解提供统一的语义根底.H核心元模型参照表核心兀模型参照表是对核心兀模型中的枚举 类型属性进行枚举值定义的编码表.参照表 为枚举类型

19、属性的每个枚举值定义了唯一的 编码,弁明确该编码的语义,是核心元模型 标准化定义的重要组成局部.J技术元数据描述大数据平台中技术领域相关概念、关系、规那么的数据.主要包括对数据结构、数据处字母名词解释理方面的特征描述,覆盖大数据平台数据源 接口、数据仓库、数据挖掘、前端展现等 全部数据处理环节.S数据处理数据从数据源系统到大数据平台前端使用的 整个处理过程,包含大数据平台数据仓库内 部的数据抽取、转换和加载.S数据采集点覆盖大数据平台数据处理环节的、获取每个 环节运行状态的实体.该实体可以是程序实 体也可以是任务实体S数据质量报告数据质量报告是对数据质量日常监控以及质 量评估等过程累积的各种信

20、息进行汇总、梳 理、统计和分析,形成的统计报告S数据质量监控通过获取大数据平台各环节的数据质量监控 信息,结合元数据库中的有关检查规那么,对 各个环节的数据质量情况进行判断,弁及时 向数据质量监控人员告.S数据质量规那么库数据质量规那么库是对数据质量治理活动所用 到的各种判断及校验规那么进行归类和存放的 存储结构,存储的内容包括采集规那么、监控 规那么、告警规那么和审计规那么等字母名词解释S数据质量信息库数据质量治理子系统存储层上的存储结构, 用于存储数据质量信息采集程序采集的数据 质量信息、质量评估信息、问题解决方案和 问题处理流程信息等S省公司中国移动通信集团各省直辖市、自治区 移动通信.

21、S脚本自动解析脚本自动解析指通过对脚本的词法、语法和 语义进行分析,自动生成满足标准要求的数 据处理过程的技术元数据的功能.Y业务元数据描述大数据平台中业务领域相关概念、 关系、 规那么的数据.主要包括业务术语、信息分类、 指标定义指标口径、业务规那么等信息.Y元模型兀模型是描述兀数据的根底模型结构,用于 说明元数据对象的各种属性、结构和关系.Y元数据兀数据是描述数据间关系的数据.大数据平台中元数据泛指描述数据概念 、数据间关 系、数据处理规那么的数据,其中,领 域语义和知识也属于元数据的范畴.D数据标准指在中国移动台企业级省大数据平台下为了 使企业内外部使用和交换的数据是Tc和准字母名词解释

22、确的,经协商Tt制定弁由大数据治理委员 会主管机构批准,具有行业特点且共同使用 和重更使用的一种标准性约束.D数据标准体系指数据标准根据中国移动企业级省大数据平 台需求对数据进行标准化的划分归类.D数据标准内容根据数据标准体系划分的要求分别给出各数 据标准制定的标准内容.D行业参考模型实体中国移动标准中原定义或新增加的逻辑数据模型实体.D公共代码标准需要引用外部公共标准机构的标准.如：世 界各国和地区名称代码等.以下略缩语适用于本标准:缩写英文描述中文描述抽象语法树业务运营支撑系统公共仓库元模型抽取、转换和加载缩写英文描述中文描述在线分析处理元数据交换商务智能表述性状态转移4.总体说明4.1.

23、 概述本标准用于指导企业级省大数据平台数据治理子系统建设, 规定了省大数据平台数据治理的范围和要求,明确了数据治理子系统的体系结构,制定了数据治理子系统的功能和处理流程.数据治理子系统包含数据标准治理、元数据治理、数据质量治理、 数据资产治理、数据平安治理等功能模块. 本方案借鉴资产治理 的方法理论来治理数据,将数据作为一种特殊的资产, 对进入平 台的数据进行标准化的标准约束,弁以元数据作为驱动,连接数据的标准治理、数据质量治理、数据数据平安治理的各个阶段, 形成统一、完善的数据治理体系,以解决实际业务问题为导向, 增强数据治理子系统对业务开展的支撑水平.4.2. 目标数据治理子系统的建设为数

24、据治理工作提供强有力的系统 支撑.本期标准建设目标是以元数据为驱动,建立省大数据平台完整的数据治理体系.从组织架构、系统功能等方面增强数据宏 观管控,并实现精细化治理,具体包括：数据治理组织架构治理：定义数据治理所需人员组织上的 岗位和责任,从治理角度支撑数据治理工作的落地和执行.数据标准治理：建立企业级省大数据平台数据标准体系, 并制定数据标准运维管限制度和流程.元数据治理：降低元数据使用难度、提升用户体验,使大 数据平台各类用户均能参与到元数据运营维护当中.数据质量治理：为内、外部用户提供平台化的数据质量监 控；通过扩充和优化公共规那么库、保证数据的完整性、一 致性、准确性、及时性、合法性

25、,提升用户使用感知；并 提供数据质量应用满足个性化需求.数据资产治理：重点建设从规划、注册、运维到注销的全 流程治理体系,使数据资产治理系统化、可视化.数据平安治理：建立体系化的数据平安管控策略,通过用 户平安治理、数据平安治理实现全方位数据平安管控机制, 通过技术手段与治理举措相结合的方式落实数据平安,做 到事前可管、事中可控、事后可查.4.3. 原那么企业级省大数据平台数据治理子系统建设应遵循以下根本原 那么:1 .有效性原那么表达大数据平台数据治理过程中数据的标准、质量、价值、管控的有效性、高效性.2 .价值化原那么表达数据治理过程中以数据资产为价值核心,最大化大数据 平台的数据价值.3

26、 .统一性原那么表达大数据平台架构统一、标准统一、元数据统一、质量流 程统一、资产价值统一的一体化管控平台体系.4 .开放性原那么表达平台化、开放性运维思想,实现人人参与数据治理、人 人参与数据运维.5 .产品化原那么表达大数据平台数据治理水平的显性化,通过产品化互联网 思维效劳大数据平台数据生态圈用户.6 .平安性原那么表达平安的重要性、必要性,保证大数据平台数据平安和数 据治理过程中数据的平安可控.5 .数据治理体系5.1. 总体框架数据治理总体框架包括组织架构、数据治理模块、数据运维三局部.通过组织架构建立治理方法,制定工作流程,确定角色 责任.数据治理模块主要包括数据标准治理、元数据治

27、理、数据 质量治理、数据资产治理、数据平安治理,各模块协同运营,确 保大数据平台的数据一致、平安、有效.数据运维贯穿整个数据治理体系的流程中,实现平台化的运维治理思路. 数据治理总体 框架如所示：核心领域组织架构组织架构角色与职规划和策jr -治理方法数据治理工具数据标准治理元数据治理数据质量治理数据资产治理数据平安治理数据运维质量运维资产运维管控运维大数据平台图-1数据治理体系框架5.2. 组织架构数据治理组织的构建旨在通过建立数据治理组织架构明确各级角色和责任,保证数据治理的各项治理方法、 工作流程的实施, 推送数据治理工作的有序开展.5.2.1. 组织构成数据治理组织架构主要由数据治理委

28、员会、数据治理中央和 各业务部门构成.组织架构划分和角色设定如所示:角色责任散嘱治倬次策者组织架构教掘治理委员会数据业务部门数据支撑部门数森使用部门夕降S用户数据提位舍数据堆护自数喀湾舞考图-2数据治理组织架构图5.2.2. 角色责任组织责任体系是数据治理责任落地的保证,数据治理组织架 构通过明确各角色责任,实行认责制度,让数据治理工作更好的 融入到数据日常使用和相关的工作中,从而推动数据运维自治的实现,如.表5-1数据治理组织架构角色责任定义内容组织结构角色角色描述角色主要责任数据治 理委员会数据管理决策者由公司 主管领 导和各 业务部 门领导 组成负责牵头数据治理工作；制定数据治理的政策、

29、标准、规那么、 流程,协调认责冲突； 对数据事实治理,保证数据的 质量和隐私；在数据出现质量问题时负责仲裁工作.数据治理中央数据平 台运营 者数据管 理中央 机构的 平台运 营人员负责提交数据标准的要求及数 据质量规那么和业务标准,解释 数据的业务规那么和含义；监督 各项数据规那么和标准的约束的 落实情况；负责数据治理平台中整体数据 的管控流程制定和平台功能系 统支撑的实施；负责平台的整体运营、组织、 协调.各业务部门数据提供者相关数据开发提供人负责数据及相关系统的开发,有责任执行数据标准和数据质量内容；员负责从技术角度解决数据质量 问题；作为数据出现质量问题时的主 要责任者.数据维护者数据维

30、护人员制定相关数据标准、数据制度 和规那么；遵守和执行数据标准管控相关 的流程,根据数据标准要求提 供相关数据标准；作为数据出现质量问题时的次 要责任者.数据消数据使 用人员,包 含内部 用户和 外部用 户作为数据治理平台数据管控流 程的最后参与使用者； 是数据资产价值的获益人； 作为数据治理平台数据闭环流 程的发起人.5.3. 系统架构5.3.1,系统功能框架数据治理功能框架明确了数据治理在企业级省大数据平台中 的定位,弁以合理的功能层次划分指导数据治理系统相关功能建 设.系统功能框架如所示.大数据率告门户企业内部用户企业外部用户第三方独立开发者水平开放平告 ：途渥之家 绩效杳拄AFP 治理

31、助手APP 标准知道APP 数据地图APP数据治理功能数据治理系统数据徐准营理阮苣发布生隹执行数据质量省理堂产讦女元数据治理坦8 G 百隼 与将公上一度华首FE谓鼓聒翁卢治理货产法册资产发行空产运冬受中电资产运维质S运维数据运睢数据毒护者数据平安治理款奉交全管五军声平安宣理数据省理者大数据平台图-3数据治理功能框架图企业级省大数据平台门户：企业级省大数据平台统一的访问接口,供企业内、外部用 户、第三方独立开发者访问及使用数据治理相关产品或功能, 并负责统一访问认证及日志记录.水平开放平台:企业级省大数据平台统一的对外效劳层,数据治理相关的 产品及应用均通过这个层次进行注册、发布,并对内、外部

32、开放.数据治理系统：?数据标准：在数据标准治理组织架构推动和指导下, 遵循协商一致制定的数据标准标准,借助标准化管控 流程得以实施数据标准化的整个过程.?元数据：采用集中式治理模式进行元数据治理,全公 司元数据逻辑集中,即元数据治理模块作为公司元数 据的统一发布源,集中治理元数据,提供元数据集中 创立、维护、查询功能.?数据质量：对数据从方案、获取、存储、共享、维护、 应用、消亡生命周期的每个阶段里可能引发的各类数 据质量问题,进行识别、度量、监控、预警等一系列 治理活动,并通过改善和提升组织的治理水平使得数 据质量获得进一步提升.?数据资产：规划、限制、提供数据及信息资产的一组 业务职能,包

33、括开发、执行和监督有关数据的方案、 政策、方案、工程、流程、方法和程序,从而限制、 保护、提升数据资产的价值.?数据平安：通过方案、制定、执行数据平安政策和安 全策略举措,为企业级大数据平台的数据和信息提供 行之有效的认证、授权、访问和审计.?数据运维：包括数据资产运维、数据质量运维,借鉴 互联网思维,通过产品化运维工具来整体提升企业级 大数据平台数据运维效率.企业级省大数据平台：?大数据根底平台,负责数据的接入、存储、治理、应 用及相关根底功能支撑.5.3.1. 系统模块流程图-4数据治理系统功能各模块关系图如所示,数据治理系统各模块之间,根据数据操作的流程产 生相互关联,各模块业务流程关系

34、说明如下：L1:数据标准治理模块将标准定义映射到元数据信息上,实现数据标准的标准要求落地oL2:元数据治理模块为数据资产治理模块提供存储模型、属性信息查询效劳.L3:元数据治理模块为数据质量治理模块提供元数据相关属 性信息.L4:用户通过元数据定义大数据平台的数据结构.L5:数据质量治理模块根据采集需求从大数据平台采集数据.L6:数据质量治理模块将数据质量问题反应给大数据平台.L7:数据质量治理模块向资产模块提交数据质量评估结果.L8:元数据治理模块为数据平安治理模块提供隐私级别定义 效劳.L9:数据资产治理模块发起资产访问申请,由数据平安治理模块限制用户访问权限,限制数据资产的增加、删除、变

35、更操作 权限,对访问的数据内容、数据属性等操作进行管控.L10:数据平安治理模块为大数据平台提供数据访问权限策 略.5.4. 系统边界企业级省大数据平台数据治理子系统与其它子系统之间存 在数据交互、功能调用、流程穿插等关联.数据治理子系统与大 数据平台系统内其它子系统的关系示意如所示：数据效劳平台数据治理数据标准治理 元数据治理数据质量治理数据资产治理数据平安治理平台运维企业级省大数据平台图-5数据治理子系统与各子系统边界图5.4.1. 与企业级省大数据平台关系企业级省大数据平台上的数据资产是数据治理的主要对象；数据治理为企业级省大数据平台提供数据标准指导、元数据定义、数据质量监控、数据平安等

36、方面的全面支撑,使大数据平台上的数据资产清楚、有序、平安、可控.5.4.2. 与对外水平开放平台关系数据治理为对外水平开放平台提供元数据查询、数据平安管 理支持；对外水平开放平台为数据治理提供统一的数据治理产品 及功能注册、发布、使用效劳.5.4.3. 与平台运维系统关系数据治理子系统支撑大数据平台的数据管控流程,并与平台 运维交互协调,共同支撑大数据平台整体的平安运维、数据运维和治理运维.6 .数据治理核心模块6.1. 数据标准治理6.1.1. 背景中国移动企业级省大数据平台数据标准是在经营分析系统数据管控要求根底之上,借鉴互联网企业数据治理的经验而提出的.数据标准是指在中国移动企业级省大数

37、据平台下,保证企业内外部使用和交换数据的一致性和准确性,具有行业特点且共同使用 的一种标准性约束.数据标准是企业级省大数据平台数据治理的根底性工作,是 数据治理建设中的首要环节. 首先,数据标准为企业级省大数据 平台提供统一的数据标准定义和平台逻辑模型.其次,数据标准是企业级省大数据平台进行数据治理的依据和根本.再次,数据 标准是衡量企业级省大数据平台数据资产运营和治理的评估依据.最后,中国移动通过数据标准治理的实施,实现对企业级省大数据平台全网数据的统一运营治理.企业级省大数据平台数据治理体系中数据标准治理如所示, 包括制定数据标准的标准性文件、进行数据标准化管控及数据标 准治理组织.数据标

38、准治理组织数据标准治理数据标推数据标潴标准化管控图-1数据标准治理内容企业级省大数据平台数据标准治理与原经营分析系统数据管控的区别如下所示：表-1企业级省大数据平台数据标准治理与原经营分析系统数据管控区别企业级省大数据平台数据标准原经营分析系统数据治理管控数据范涉及企业内外部数据运营相关数据仅限于市场经营围的数据,包含二域数据、外部数据.活动的B域和局部域数据.业务应用模式以数据标准为根底的数据治理 体系,实现数据的资产化,贯 穿整个数据运营的全流程,形 成以中国移动大数据平台为核 心的大数据生态圈,效劳于企 业内外部客户.以支撑企业内部经营 分析为主.效劳对象效劳于整个大数据生态圈.原经营分

39、析系统使用 人员.6.1.2.目标及原那么数据标准治理的总体目标： 通过统一的数据标准制定和发布, 结合制度约束、系统限制等手段,实现中国移动企业级省大数据 平台数据的完整性、有效性、一致性、标准性、开放性和共享性 治理,提升企业级省大数据平台数据治理水平.数据标准制定的原那么：开放性：标准制定人人参与.共享性：数据标准化信息在大数据生态圈共享使用.完整性：涵盖客户、产品、效劳、帐务、资源、网络等全 部重要数据信息.有效性：信息准确度高、理解上不存在歧义.一致性：做到“五统一,定义统一、口径统一、名称统来源统一、参照统一.标准性：制度标准、流程限制、系统治理等.6.1.3. 业务分类和定义6.

40、1.3.1. 数据标准体系分类数据标准制定如所示,包括数据标准体系划分和数据标准内 容制定,数据标准体系可分为根底类数据标准和指标类数据标准O基域指标斯造公共代用标准据淮系义 数标的定图-2数据标准体系划分6.1.3.2. 数据标准内容制定数据标准内容的制定根据数据标准体系分类的要求分别给出 数据标准制定的标准要求.1、根底类数据标准根底类数据标准是通过各种业务处理产生或各类渠道采集的根底性数据,在全国范围内必须是唯一定义的,如“用户品牌 、 “归属地市.根底类数据标准分为行业参考模型实体标准和公共代码标准.行业参考模型实体标准指根据行业需求和中国移动省级数据逻辑模型实体标准要求,继承以往数据

41、逻辑模型实体标准, 将各 域的逻辑模型实体定义抽象为模型实体标准要求. 行业参考模型 实体数据标准体系定义内容如所示.表-2行业参考模型实体数据标准体系定义内容行业参考模型实体标准标准体系属性说明数据标准编用根据数据标准编码命名规那么进行编写.标准主题数据标准归属主题标准子类数据标准归属类型中文名称数据标准中文名称.英文名称数据标准英文名称.实体编号根据行业参考模型实体编号命名规那么进行编写.实体名称根据行业参考模型实体名称命名规那么进行编写.数据版本该数据标准的版本信息.数据体系分类根据数据分类规那么对数据进行分类,以保证数据体系的易用性,以及符合用户 查找习惯.重要级别集团标准定义的数据为

42、一级,省公司定 义的数据为二级,其它常用的数据为三 级.数据提供部门该数据标准定义数据的提供部门.数据提供部门负责人该数据标准定义数据提供负责人.数据维护部门该数据标准定义数据维护部门.数据维护部门负责人该数据标准定义数据维护负责人.业务主管部门该数据标准定义数据业务主管部门,该 部门对数据口径、编码取值和相关专业 术语有决定权.业务主管部门负责人该数据标准定义数据业务负责人.数据来源系统如：等主要依据关于指标的解释和描述文件.如集团规范、省公司标准、业务部门制定等等.业务定义指标的业务描述口径,一般由业务部门 使用业务语言制定.具体行业参考模型实体数据标准体系定义内容例如参见?附录二：数据标

43、准体系定义内容例如?.公共代码标准,指对于一些共享程度较高、内容相比照拟稳定的编码,通常可以组织力量一次性地编制出来, 其中有一些需 要引用外部公共标准机构的标准,比方：世界各国和地区名称代 码等.公共代码标准体系定义内容如所示.表-3公共代码标准体系定义内容公共代码标准标准体系属性说明数据标准编用根据数据标准编码命名规那么进行编写.公共标准号引入外部公共标准号中文标准名称数据标准中文名称英文标准名称数据标准英文名称.标准状态该标准的状态,如现行、停止.公共标准机构名称引入该公共标准的机构名称.数据标准体系根据数据分类规那么对数据进行分类,以 保证数据体系的易用性,以及符合用户 查找习惯.重要

44、级别集团标准定义的数据为一级,省公司定 义的数据为二级,其它常用的数据为三 级.数据标准引入该数据标准引入和维护部门.部门数据标准引入部门负责人该数据标准引入和数据维护负责人.数据上报系统最终对数据进行计算和发布的系统,也 是各部门唯一获取指标数据的来源系统.具体行业参考模型实体数据标准体系定义内容例如参见?附录二：数据标准体系定义内容例如?.2、指标类数据标准指标类数据标准是数据根底上根据一定业务规那么加工汇总的 数据,如指标数据.指标类数据又可分为根底指标和计算指标. 根底指标一般不含维度信息, 且具有特定业务和经济含义. 计算 指标通常由两个以上根底指标计算出. 指标类数据标准体系定义

45、内容如所示.表-4指标类数据标准体系定义内容指标类标准说明番出属性数据标准编用根据数据标准编码命名规那么进行编写.中文名称数据标准中文名称.英文名称数据标准英文名称.应用场景该指标适用于什么场景.数据版本该数据标准的版本信息.数据体系分类根据数据分类规那么对数据进行分类,以 保证数据体系的易用性,以及符合用户 查找习惯.重要级别集团标准定义的数据为一级,省公司定 义的数据为二级,其它常用的数据为三 级.治理属性数据提供部门该数据标准定义数据的提供部门.数据提供部门负责人该数据标准定义数据提供负责人.数据维护部门该数据标准定义数据维护部门.数据维护部门负责人该数据标准定义数据维护负责人.业务主管

46、部门该数据标准定义数据业务主管部门,该 部门对数据口径、编码取值和相关专业 术语有决定权.业务主管部门负责人该数据标准定义数据业务负责人.数据上报系统最终对数据进行计算和发布的系统,也是各部门唯一获取指标数据的来源系统.数据生成系统生成数据所需的数据所在的来源系统,如系统.数据上游系统数据生成后上报给哪个系统,如系统.业务属性主要依据关于指标的解释和描述文件.如集团规范、省公司标准、业务部门制定等等.业务定义指标的业务描述口径,一般由业务部门 使用业务语言制定.计算流程/算法用来描述指标详细的计算过程.指标类型根据治理需要可以将指标分为根底指 标、计算指标两类.计算指标公式用于描述相关指标间的

47、平衡关系,可用 于指标数据审核过程中,能有效地保证 指标数据质量.技术属性计量单位数据使用单位如：“户、“分钟、“元、“次、“ ./% 等等.统计精度指标统计数值精确到小数还是整数.数据值域数据的合理取值范围.统计周期数据统计周期如“日、“周、“月、“季度、“半年、“年等等.统计粒度数据统计粒度如：“用户级、“区县 级、“地市级等.统计维度数据统计维度如：“地域、“品牌、“在网时长、“客户等级等.指标出数表指标数据来源于哪张物理表.指标出数代码指标数据来源于物理表的哪个.具体行业参考模型实体数据标准体系定义内容例如参见?附 录二：数据标准体系定义内容例如?.6.1.4,技术功能要求6.1.4.

48、1,数据标准制定数据标准的制定根据本册中数据标准治理的业务分类和定义 标准指导要求,基于各企业级省大数据平台的数据管控需求进行 数据标准标准的制定.其制定的数据标准标准内容在全省进行发 布和告知,要求企业级省大数据平台系统根据该标准标准进行统 一的数据治理.数据标准制定包括数据标准的编制、数据标准的审查、数据 标准的发布.数据标准化治理组织将数据标准以正式发文的方式 在全公司范围内进行发布,弁在发布后将数据标准、版本说明保存备案.最终将发布的数据标准更新至数据标准治理模块中,如所示.数据标准的编制、审查和发布通过数据标准治理模块开发实现,其流程如示：1、数据标准治理组织协调者组织数据提供者和执

49、行者参与数 据标准属性的收集和整理工作,弁根据协商一致的原那么形成数据 标准初稿.2、数据标准初稿进行屡次的讨论和丰富后,形成数据标准送 审稿提交给数据标准治理决策者.3、经过数据标准治理决策者的讨论审核后,由数据标准管 理组织协调者再次进行数据标准的修改完善,弁完成数据标准的发布.6.1.4.2.数据标准执行数省公司和各部门、分公司统一根据所制定的数据标准实施数据标准治理,数据标准的执行流程如所示图-4数据标准治理的执行流程图数据标准执行的流程步骤如下：1、数据标准制定发布后,将数据标准录入到数据标准治理模 块.2、数据标准治理执行者根据发布的数据标准,制定和发布数据标准接口.3、数据标准治

50、理模块将标准要求提供应数据质量治理根据已 录入系统的数据标准形成稽查规那么,对数据标准治理执行者制定 和发布的数据标准接口中的内容进行相关的标准稽核监控.4、将标准稽核结果发送给数据标准治理模块,弁反应给数据 标准治理决策者和数据标准治理执行者.6.1.4.3,数据标准维护数据标准的维护指数据标准建立后,根据业务需求的开展变化或外部数据标准要求不一致时, 对数据标准的内容进行变更和 版本治理,如所示.图-5数据标准治理的变更流程图数据标准治理的变更通过数据标准治理系统开发实现落地,其流程如所示：1、对执行的相关数据标准进行变更请求的申请,组织该数据 标准相关执行层和各数据运维者进行讨论和变更需求汇总.2、由数据标准治理组织协调机构进行标准变更的审核.3、讨论审议数据标准项的变更内容,弁形成标准变更需求审 批表提交给数据标准治理决策层进行审批.4、决策层将审批结果反应给标准治理组织协调者,弁由其进 行数据标准发布及版本维护.6.1.4.4,数据标准监控数据标准监控实现对数据标准执行过程的监控,包括对数据标准的执行、效果、问题进行监控治理,为后期数据标准维护管 理提供依据.数据标准的监控通过数据标准治理和元数据治理、数据质