数据治理与数据指标库规划指南

企业数据治理及统一指标库建设指南数据治理1案例分享23数据需求清单

数据责任清单数据标准元数据......公共数

据资源附加属性业务属性数据仓数据湖数据服务化用业务活动全景图逻辑实体属性业务梳理、系统梳理概念模型制定质

量标准质量改进分析数据流向梳理逻辑模型质量评估六大特性数据质量标准数据模型治全域数据资产数据资产梳理业务流程业务活动

数据治理及数据集设计的整体方法论盘职责目录

系统目录数据目录完整性

有效性

一致性

获取源系统数据字典获取源系统数据资源扩展属性基础属性ID数据负面清单系统&数据业务对

象识别

业务

场景管理

元数据业务

元数据逻辑设计系统调研业务调研业务&数据集主数据扩展唯一性

准确性及时性33...34•提升数据准备度，为业务运作提供可信的足量的数据支撑•实现业务上下游数据的快速传递共享，提升业务运作效率•数据质量的持续提升减少纠错成本，降低运营风险，提升业务服务满意度数据集成与共享数据分布数据资产目录架构模型组织架构数据模型规范数据模型设计实体、属性识别数据模型管控数据模型数据销毁安全数据交换安全数据处理安全数据存储安全数据传输安全数据采集安全数据安全数据落IT系统指标数据数据字典发布业务对象识别数据标准制定数据标准数据质量改进数据质量度量数据质量控制数据质量标准数据质量数据地图血缘关系元数据

元数据规范元数据

数据治理框架•有效的数据质量控制•高效的数据共享•一致的数据标准•可信数据源数据治理组织/流程数据治理框架价值

体现治理

诉求优化提升夯实基础职责&业务活动数据导向展开(自下而上)组织架构&规章制度标准规范业务系统(

OLTP)增量部分落标应用场景导向展开(自上而下)数据安全合规制度规范数据安全(数据分类分级)数据资产目录&数据服务(数据运

营)数据标准核标

(管理看板)技术元数据数据质量检查

(管理看板)业务模型数据资产盘点(元数据-数据标准关联)通过数据模型设计规范贯标业务数据基础数据标准数据模型赋能部门业务

数据治理路径数据湖数据架构(OLAP)主数据35

一体化数据架构这一步是数据中台核心工作内容，其中业务模型、数据模型也是数据中台建设的关键所在。数据资产(数据湖)数据标准业务模型

业务流程业务架构数据责任数据安全

入湖标准元数据数据模型数据资产目录数据资产层标准层架构层加工层36模型发布模型治理运营无人DDL脚本模型上线交付核标与数据质量元数据融合资产目录维护数据权属认责信息分级分类逻辑数据湖数据标准落标模型设计数据湖实时入湖批量入湖元数据管理部门业务系统数据库

TP&AP一体化建模体系技术元数据采集数据标准落标率模型审计定时/自动采集应用&数据

交付一体化数据资产

数据湖4

、连接&萃取自动发布逻辑实体

、属性定时/自动采集5

、应用开发1

、部门数仓3

、数据建模2

、数据同步6

、数据校验数据模型管理湖侧元数据模型验证自助入湖37需求分析运行维护系统测试

开发阶段的数据模型标准化数据模型设计是开发过程的重要一环，影响程序架构，内外部API，会影响业务逻辑，以至分布式组件架构。详细设计业务概念模型逻辑模块领域类图物理模型实现类图模型基线数据库差异数据字典物理模型基线封版上线概要设计上线交付数据库具体实现Hibemate/JPA澄清业务需求设计数据流程功能模块设计主要数据属性数据模型

封板交付编码开发数据库监测

项目成效由数据资产系统建立数据模型管理，实现数据模型事前-事中--事后的管理通过统一模型工具以及在数据资产管理平台简历数据模型管理功能，实现数据模型事前-事中-事后的管理。并且实现了数据资产管理的闭环

。元数据完整性检查其他(模型浏览、探索等)数据资产的闭环，通过模型关联元数据和标准，为数据标准落地打下基础设计模型模型检查与监控模型审核一致性对比架构师等人员审核模型完整性检查数据

模型数据

标准元数据事前事中事后39模型工具自

动审核提供核准通

过证书确定标注主

题逻辑模型参

考模型工具自

动监测差异发送差异报告模型库提供模型落标报告审核重点标

准使用问题通过模型工

具自动落标初期提供落

标指导人员设计上线维护开发测试定位核准监测落标评审

自动化和落标流程基础知识储备培训/架构/工具自动检测

发送报告标准落标

过程管理实时推荐

人工服务自动检测

智能核准工具辅助

人工审核开发过程管理数据标准管理模型设计模型审核元数据管理数据标准管理员项目组模型设计员模型架构师元数据管理员NYYNNY是否提供模型反馈意见N是否通过模型评审N是否与基线模型一致？Y线模型

数据模型管控流程修改模型并提

交模型评审引用数据标准数据库上线采集元数据发布模型报告使用建模工具

进行模型设计数据标准管理数据标准审核

发布邮件通知相关

负责人自定义数据

标准是否有可引用

的数据标准？数据标准体系

建设发布数据

标准？发布基Y•不建议在没有业务需求时，强制按标准进行系统改造•配合已有的系统改造计划，将数据标准要求作为需求执行•可考虑在不同系统交互时，完成标准转换•不强制执行•可作为外购产品的评估指标•可考虑在不同系统交互时，完成标准转换•在业务系统建设时，执行适用的数据标准•新建系统的代码应遵照数据标准项的代码

不同类型系统的落标策略新建

系统现有

系统外购

系统42内部数据重要数据核心数据涉密数据内部公文、业务数据、组织架构等企业经营数据、个人信息等极大商业价值数据、核心商业、敏感信息等国际有关保密规定、涉及国家安全秘密、机密数据、特殊用途研发数据等《数据安全法》《网络安全法》《中央企业商业秘密安

全保护技术指引》《个人信息保护(草案)》《个人信息安全规范等》基础风险排查数据库的漏洞情况，补丁情况，安全配置情况，

是否存在诸如弱口令，缺醒口令，高危代码等认为造成的使用缺陷统计分析，可视化展现账号检查梳理检查已有的数据权限情

况，尤其是高危操作的权限，特权账号的权限，运维人员的权限，以及43在用的管控措施结合法规要求，优化数据分类分级标准，联合数据治理团队，提供数据分类分级方法，识别最重要的数据，形成数据分类分级标准参考目录，同时识别重要数据资产安全风险隐患公开数据

公开发布的财务报表、业务通告和政策等数据资产排查数据分级规则

数据安全分类分级盘点数据资产梳理访问状况源，不同使用场景等条件进行数据资产使用情况的形成资产地图，包括数据库，表的详情和数量按不同时间段，不同访问盘点数据资产分布情况，依

据参

考

数据安全架构和授权体系数据安全三维框架：

人—数—安全框架数据自动授权体系：

建自动访问体系和白名单相结合44OLAP数据资产和安全管理安全定密盘点分类数据标准治理敏感数据识别脱敏数据流脱敏函数脱敏规则访问策略数据安全框架数据安全分级数据安全分类数据安全管理制度组织机构组织人员访问等级数据安全

共享制度数据安全访问引擎数据安全应用血缘关系治理静态脱敏工具数据

治理数据服务API数据资产目录数据资产访问控制动态脱敏数据库即时查询资产盘点白名单OLTP

数据安全网关数据分类分级驱动的数据资产安全管控姓名电话地区张三1512****0325北京李四1432****0452上海王五1222****1325北京姓名电话地区张三1512****0325北京李四1432****0452上海王五1222****1325北京效能监控安全审计分类

分级

访问统一数据查询

SQLBI安全访问

JDBC风险识别数据资产分类登记MYSQLOracelHive业务应用级用户

UserA业务应用级用户

UserB

User

数据安全网关

Data

安全防控45数据中台

-->

支撑基础库的建设

-->

赋能数字政府转型47业务信息数据公安口出生、死亡及户籍登记基本信息人社口社会五险参保等信息税务口民政口

地理实体数据

影像数据

高程数据基础库管理应用人口库应用人口概况、人口查询、人口统计、人口画像、周期管理、模板管理、字段映射、执行策略、入库管理、异常告警、标签管理、标签映射和关系、图形化分析……法人库应用法人概况、法人查询、法人统计、法人画像、周期管理、模板管理、字段映射、执行策略、入库管理、异常告警、标签管理、标签映射和关系、图形化分析……空间地理应用地图服务、影像服务、地名地址服务、三维服务与坐标转换等功能服务……基础数据库人口库法人库空间地理库数据抽取/数据交换

电子地图数据

地名地址数据

三维数据

基础库建设民政口婚姻关系双方信息卫计口孕产妇及家属信息建模建模元数据管理建模元数据管理元数据管理空

间

地

理

数

据法

人

数

据人

口

数

据质监口工商口48建设背景及目标1总体架构2核心建设内容3典型应用案例4指标体系背景及问题描述构建全网统一指标体系，规范口径解释，面向全网统一发布。集团及省规划背景及问题1指标口径不统一背景及问题二缺乏数据价值评估手段背景及问题三口径变更难支撑●省、市、县等各级、各部门各自定义与调整，指标数据口径杂乱无章，直接影响到数据的分析和使用，上层应用数据存在各种差异●缺乏企业级数据目录，无法清晰展示企业数据总量、使用情况、健康度、价值等，决策者很难正确对数据价值进行评估●口径频繁变更，导致开发成本增加，重复开发情况严重，比对工作量大，同时影响指标数据的使用背景及问题四缺乏问题快速定位手段背景及问题五全面支撑省内核心应用●缺乏快速、有效的数据质量问题精准识别和定位的手段，增加运维管控的难度和成本●集团及各省需要通过指标实现核心应用，包括支撑考核评价类，支撑绩效考核类，支撑一线数据分析等业务建设内容及目标统一指标库模型管理非实时指标集实时指标集血缘关系管理指标应用指标管理指标库接口管理维度管理指标拆解需求定义需求管理维度拆解指标查询多维分析资产视图血缘视图B域M域O域……核心处理系统数据应用社区决策专区梳理指标体系结合它省实施经验，对省级及集团的基础指标、业务指标进行梳理，形成一套可适用于各省的指标体系库。接入需求管理从源头开始进行管控，接入业务部门提交的需求并纳入管理，拆解指标，通过指标库的指标来实现需求。聚焦指标管理对实时指标集与非实时指标集，提供一套统一的规范化、全生命周期指标管理过程，实现可配、可看、可管；结合数据血缘，实现指标数据质量监控及问题追踪。助力指标应用支撑多维分析：通过对指标、维度、模型数据的规范化管理，向上实现对数据的多维分析；数据及关系可视化：一键查询指标数据，同时对指标数据进行量化分析，以及血缘关系可视化分析。指标体系设计采集系统运营专区营销专区合作伙伴专区开发社区建设背景及目标1总体架构2核心建设内容3它省应用案例介绍4系统总体架构数据门户渠道系统BSS生产OSS生产业务稽核大数据专题应用应用服务总线服务组合服务服装服务管理汇总层实时展现指标层离线展现指标层实时业务指标层实时基础指标层离线业务指标层离线基础指标层统一指标库客户视角管理视角应用宽表中间层基础宽表属性、明细表静态维表整合层离线整合准实时整合接口层月接口日接口离线接口准实时接口实时接口在线接口流式实时数据数据源BSS域数据OSS域数据MSS域数据外部数据集团下发应用管理查询共享角色管理录入审批数据资产管理数据管理数据标准运营调度质量稽核安全管理用户权限敏感信息安全监控

生产应用系统大数据平台处理规则管理血缘关系管理模型管理采集规则管理指标管理指标管理指标定义维度管理日志管理日志记录日志统计系统管理指标应用指标审核指标发布指标查询指标下线维度定义维度审核维度发布维度查询维度下线维度视图模型定义模型发布与审核模型差异监控模型导出模型下线模型视图采集规则定义采集规则视图处理规则定义处理规则视图采集规则引擎管理处理规则引擎管理指标关系管理维度关系管理模型关系管理需求关系管理数据资产运营视图血缘分析视图用户权限管理用户管理角色管理指标数据查询搜索引擎指标数据查询指标排行指标导出多维分析取数分析报表收藏报表共享发布报表导出数据资产统计数据资产使用分析数据资产健康度分析数据资产运营监控一键溯源影响分析安全管理稽核规则管理稽核规则定义稽核规则视图稽核规则引擎管理需求管理需求定义指标拆解维度拆解指标视图血缘关系视图程序关系管理需求实现指标体系指标库功能架构省指标市场类财务类客服类网发类网运类人力类集团指标业务类4G收入4G业务商务领航我的e家专题天翼能力投资聚焦指标库功能架构处理规则管理血缘关系管理模型管理采集规则管理指标管理指标管理指标定义维度管理日志管理日志记录日志统计系统管理指标应用指标审核指标发布指标查询指标下线维度定义维度审核维度发布维度查询维度下线维度视图模型定义模型发布与审核模型差异监控模型导出模型下线模型视图采集规则定义采集规则视图处理规则定义处理规则视图采集规则引擎管理处理规则引擎管理指标关系管理维度关系管理模型关系管理需求关系管理数据资产运营视图血缘分析视图用户权限管理用户管理角色管理指标数据查询搜索引擎指标数据查询指标排行指标导出多维分析取数分析报表收藏报表共享发布报表导出数据资产统计数据资产使用分析数据资产健康度分析数据资产运营监控一键溯源影响分析安全管理稽核规则管理稽核规则定义稽核规则视图稽核规则引擎管理需求管理需求定义指标拆解维度拆解指标视图血缘关系视图程序关系管理需求实现指标体系省指标市场类财务类客服类网发类网运类人力类集团指标业务类4G收入4G业务商务领航我的e家专题天翼能力投资聚焦应用能力管理能力业务梳理能力指标库基础管理建设背景及目标1总体架构2核心建设内容3它省应用案例介绍4指标体系梳理方法介绍指标库管理平台核心功能介绍部分功能截图指标体系梳理：指标库分类梳理源系统BSSMSSOSS…..汇总层接口层整合层应用展现指标层基础指标层业务指标层汇总层按需求和报表样式要求的形态展现的指标带有一定业务含义的度量，以描述某种业务的特征或规模，它由基础指标和维度、标记组合构成在指标逐级分解的最后，形成的有一定意义的基本度量，不带有特定业务含义业务指标体系整体分为两级，第一级是按照业务类型进行划分，包括客户分析类、收入分析类、结算收入类、资源成本类、业务量类、市场竞争类、销售品评估类、渠道管理类、缴欠费类、客户服务类、其他类，第二级分类是按照对象进行划分基础指标业务指标展现指标指标库概念重塑：指标库分类梳理：指标体系梳理：指标集市模型建设基于统计分析和营销的需要，建立指标集市，其中指标集市分为基础指标集市和业务指标集市统一经营思路、分析思路，建立企业级分析维度指标集市：考虑到指标及标签变化快的特点，指标集市都按照数据域数据语义分离建模，指标集市分为基础指标集市、业务指标集市；维度表：为保证业务指标的稳定、可控，维度需要进行标准化管理，确保分析在同一水平线上，业务指标集市的定义是基础指标和维度的结合；模型设计需满足80%以上的共性需求。汇总层数据集市基础集市应用集市指标集市业务指标集市基础指标集市指标编码：标识指标含义恒定维度：维度稳定，一般特指组织架构业务维度：指标主体在业务上的分类定义，如产品类型、客户群等指标值：指标对应的结果取数来源：基础集市指标编码：标识指标含义，与基础指标库的区别在于，指标编码中包含了业务维度恒定维度：维度稳定，一般特指组织架构指标值：指标对应的结果取数来源：基础集市、基础指标集市（配合维度表）指标分解思路需求发起需求分析——展现指标分析需求分析——新增业务指标分析需求分析——新增基础指标分析需求分析——新增维度标识分析需求可行性审核需求分析审核指标设计——指标编码指标实施展现指标视图拆解注意项：展现指标的计算规则，对同比、环比、占比等指标的计算要详细说明清楚；展现指标视图需要根据需求和报表的情况，描述清楚展现指标的粒度、频度；展现指标和业务指标、可变维度的关系描述清楚；可变维度可以是展现指标的计算维度，也可以为报表的可选维度；新增业务指标的编码，需根据后续的指标设计指标编码返回来更新；展现指标视图业务指标视图业务指标视图拆解注意项：业务指标视图中只包括新增、调整的业务指标内容；业务指标解释由业务部门、人员提供；业务指标视图要体现业务指标和基础指标、维度标识的关系；基础指标视图基础指标视图拆解注意项：基础指标视图中只包括新增、调整的内容；基础指标视图中要详细描述指标的技术口径和业务口径；维度标识视图维度标识视图拆解注意项：维度要说明增加的维度值及其对应的源系统编码；标识要说明具体的形成口径；业务指标分类举例客户分析类（500）用户类指标终端类指标客户类指标账户类指标收入分析类（70）销售品评估类（700）消费收入类指标财务收入类指标详单收入类指标经营收入类指标销售品成员类销售品类销售品支出类销售品量收类业务量类（50）上网流量类通信时长类使用次数类市场竞争类（30）用户类指标业务量收类结算收入类（10）网内结算类代理商结算类网间结算类CP/SP结算类资源成本类（50）效益类指标成本类指标缴欠费类（10）欠费类指标缴费类指标余额类指标渠道管理类（10）渠道效益类渠道建设类客户服务类（50）投诉类指标测评类指标障碍类指标业务办理类业务查询类积分类指标咨询建议类俱乐部类指标业务指标体系整体分为四级，第一级是按照业务类型进行划分，包括客户分析类、收入分析类、结算收入类、资源成本类、业务量类、市场竞争类、销售品评估类、渠道管理类、缴欠费类、客户服务类、其他类，其中将套餐评估类单独作为指标分类对象，是因为套餐类的指标与传统用户发展类、收入类等指标层次差异较大，第二级分类是按照对象进行划分建设背景及目标1总体架构2核心建设内容3它省应用案例介绍4指标体系梳理方法介绍指标库管理平台核心功能介绍部分功能截图统一指标库整体流程数据源多数据源类型接入配数据源配分析视角配输出指标数据源灵活配置分析视角灵活配置计算规则无限扩展关系数据库ElasticsearchHbasekylin..分析库支持异构表管理指标应用计算引擎(规则解析、代码编译、提交任务）取数请求发送请求……..配计算规则自定义输出指标可视化展现统一指标库核心功能--需求管理需求入口内部需求外部平台需求录入需求捕获需求平台接口需求登记拆解流程指标拆解维度拆解判断指标是否存在关联指标从已有指标衍生新指标指标比对引擎判断维度是否存在关联维度登记新维度是否是否需求拆解需求实现多维分析，自助报表报表发布共享接口需求实现需求登记自助录入需求：通过平台登记需求，提供自助录入的功能，对需求的来源方、需求内容、上线时间等需求详细信息进行登记，并对需求的变更、下线等流程进行管理外部需求对接：可通过互通接口的方式，从外部平台获取原始需求，同时对需求进行跟踪需求拆解指标拆解，将需求内容拆解为平台可识别的指标维度拆解，将需求内容拆解为平台可识别的维度需求实现针对自助录入的需求，通过指标库自带的自助取数功能实现需求，流程结束这对外部需求，通过指标库自带的自助取数功能实现需求后，再通过平台和外部应用系统的接口，共享到外部系统统一指标库核心功能--指标基础管理维度管理（维度定义、维度审核、维度发布、维度修改、维度查询、维度下线、维度视图）模型管理（模型定义、模型发布预审核、模型修改、模型差异分析、模型查询、模型下线、模型视图）指标管理（指标定义、指标审核、指标发布、指标修改、指标查询、指标下线、指标视图）数据采集规则配置管理血缘关系管理（指标的关系管理、维度的关系管理、模型的关系管理、血缘视图展现）数据处理规则配置管理数据稽核规则配置管理数据全生命周期管理实现对指标、维度、模型等数据对象的定义、审核、发布、下线、视图查看等，通过平台流转实现数据的全生命周期的管控实现对数据操作的管控功能，对所有操作轨迹记录日志，便于对数据管理人员进行管控和考核数据规范化管理各级人员使用统一的一套指标库平台，通过界面对指标口径进行管理，让数据更加规范化，减少口径差异，减少重复建设血缘关系智能化管理自动记录对象间的血缘关系，对象与对象的直接或间接的血缘关系都可以通过血缘图拖拉出来，清晰可见权限管理系统中数据权限进行严格的安全分级管理，在应用权限管理的基础上增加对管辖范围内数据的查询管控指标全生命周期管理流程和功能指标申请指标审核指标发布指标下线基础指标申请业务指标之维度组合模式申请业务指标之计算模式申请流程功能指标审核指标历史变更记录追溯变更前后差异对比发布申请发布审核下线申请影响对象自动分析下线审核模型全生命周期管理流程和功能模型申请模型审核模型发布模型监控模型下线单模型申请批量申请指标模式模型申请流程功能模型审核物理模型变更追溯物理模型差异分析和同步发布申请发布审核发布版本差异分析应用系统模型差异监控差异报告分析差异预警下线申请影响元素自动分析下线审核统一指标库核心功能--指标应用支撑多维分析在指标、维度、模型做好管理的基础上，结合数据多维分析（DataCube），实现对数据的多维分析操作，包括：钻取（Drill-down）、上卷（Roll-up）、切片（Slice）、切块（Dice）以及旋转（Pivot），数据展现方式更直观，查询效率更高，分析更灵活指标数据一键查询通过简单易用、人性化、友好的前台界面，让省、市、县经营管理人员可以方便的一键查询指标数据指标资产可量化对指标数据总量、使用情况、健康度、价值进行评估，以及指标稽核结果进行可视化展现，对管理人员重点关注的稽核项重点展示血缘视图可视化通过血缘关系，助力运营监控，某一环节出问题后，可通过血缘关系进行追溯，查看问题根源，同时对影响环节进行定位分析，保障数据的正确使用建设背景及目标1总体架构2核心建设内容3它省应用案例介绍4指标体系梳理方法介绍指标库管理平台核心功能介绍部分功能截图系统截图：指标生命周期管理---指标申请1录入2关联模型3指标口径设置（1）4指标口径设置（2）5支撑维度关联6提交系统截图：指标生命周期管理---指标变更1选择修改指标2修改基础指标在指标变更界面，可以对基础指标、业务指标进行变更。基础指标在变更以后，需要通过审核才能生效。业务指标变更以后，根据后台文件参数配置情况，1为审核后生效，0则不需要审核。系统截图：指标生命周期管理---指标审核1审核发送1.1指标创建审核1.2指标变更审核1.3审核查看系统截图：指标生命周期管理---指标下线在基础指标下线时，必须影响的业务指标下线之后，才能下线所有指标存在直接影响的报表时，均需在报表下线之后，才能下线指标下线需要审核之后才能生效，下线后的指标，在报表，首页等模块不可见可以通过查询方式，快速定位找到需要下线的指标1发起指标下线2下线影响分析系统截图：宽表管理宽表管理是对宽表的的基本信息定义、字段定义以及与指标和维度设定关联信息的设置。从字面意义上讲就是字段比较多的数据库表。通常是指业务主题相关的指标、维度关联在一起的一张数据库表系统截图：指标关系图指标关系图显示宽表与指标、以及基础指标与业务指标之间的关系系统截图：数据透视在指标关系图中可以将指标加入到数据透视，查看指标的数据提取结果。数据透视支持增加维度、因子、属性过滤条件，对指标数据结果做进一步分析。系统截图：血缘视图从维度出发从指标出发从模型出发全血缘分析系统截图：血缘应用应用1，助力监控基于血缘，形成全局监控视图基于血缘，迅速定位问题根源应用2，影响分析元素下线或变更时，根据血缘快速定位影响元素系统截图：指标权限管控1权限查看2权限分配3权限审核4授权方审核方设置5权限关注系统截图：指标自助分析---配置报表3字段预览2参数设置1指标选择4过滤设置5展现方式设置系统截图：指标分析视图建设背景及目标1总体架构2核心建设内容3它省应用案例介绍4某省指标库应用效果实例指标库持续优化2013年开始引入动态维度后，提升明显1）指标复用率整体提升15%

（复用2次以上的指标占比）；2）指标增长率（新增指标占比）从80%下降到40%；3）指标量下降80%，由原来的