数据治理之数据模型管控方案

Ⅰ.

数据治理需求发展趋势Ⅱ.

数据治理成功关键要素Ⅲ.

数据模型管控方案Ⅳ.

成功案例I.

数据治理发展趋势Ⅰ Ⅱ Ⅲ ⅣI.

数据治理发展趋势4BPMSOADWBigDataBIMDMMobileCRMSCMSmart

BIERPCIMSISMRPDSSWeb2.0ERP2.0ITSMSocialCloudData

GovernanceIT

GovernanceDBMainframe1

1960~199060年代

:

以简单的业务处理为目的70年代

:

以信息提供为目的80年代

:

以提升企业市场竞争力为目的DummyTerminalDBMCIOpen

SystemEAI3

2000~201000年初

:

系统数量增多，数据量暴增数据仓库建设开始(DW)数据统计及简单分析ClientDB移动应用及互联网等应用扩大，数据量暴增，数据分析需求增加大数据处理技术增多企业数据质量要求提高Open

System4

2010~2020ClientSOA(ESB)90年代初

:

电子商务开始,

大规模系统建设开始(ERP)90年代末

:

综合业务支撑系统建设开始MainframeEAI2

1990~2000DBClientOpen

System存储整合存储管理整合 存储应用

分析

管理

统计

整合

挖掘

存储分析数据治理范围数据治理范围 应用数据治理范围 应用数据治理范围 应用恩核（北京）

信息技术有限公司Ⅰ Ⅱ Ⅲ ⅣI.

数据治理发展趋势AS

of

July

2015恩核（北京）

信息技术有限公司Ⅰ Ⅱ Ⅲ ⅣI.

数据治理发展趋势Data

quality

problems45%46%恩核（北京）

信息技术有限公司I.

数据治理发展趋势试验阶段认知阶段发展阶段成熟阶段了解数据资产或数据治理概念。学习数据资产中包含的技术要素及内容。思考数据资产化项目带来的价值，及所在单位应当如何实施。设立小型项目，尝试数据资产化项目，确认项目价值。大数据时代的到来，数据的重要性被重视，在数据应用过程中发现数据质量问题较多。试图通过治理提升质量。较大范围启动数据资产化项目，开始设计数据资产产出物。采购工具，设置岗位，构建流程，一定范围扩大应用。Ⅰ Ⅱ Ⅲ Ⅳ数据治理体系比较完善将数据治理体系引入系统开发中，严格遵循数据治理体系，并构建自动化的校验体系。在设计、开发、测试等阶段保障数据质量。2014恩核（北京）

信息技术有限公司201620182022Ⅱ.

数据治理成功关键要素Ⅰ Ⅱ Ⅲ ⅣⅡ.数据治理之我见确保治理项目成功的关键要素项目成功要素项目背景项目目标缺乏统一数据标准未对数据标准、数据模型、数据质量等内容进行梳理数据资产管理缺乏有效体系数据应用、系统品开发及数据质量受影响元数据内容不明确，元数据未进行分类元数据有待通过专业方式进行梳理数据应用难度大新系统开发受影响,支持难度大数据质量低数据获取、共享、数据规划难度大缺乏数据标准化未构建数据标准化知识库缺乏数据标准化管理及自动应用体系数据标准管控体系缺失数据模型管控体系缺失业务元数据管控体系缺失元数据应用及校验体系缺失数据标准、数据模型、数据质量等内容设计、加载、管理方法管理组织、流程的产品化程度管控型数据治理软件平台构建自动化应用及校验体系构建数据标准、数据模型、数据质量等管理内容、组织、流程4恩核（北京）

信息技术有限公司构建基于数据治理平台的数据治理体系Ⅰ Ⅱ Ⅲ ⅣⅡ.

数据治理成功的核心要素核心成功要素保障措施措施1实施人员必须具有丰富项目经验，且提供可落地方案措施2 提供基于数据架构的数据治理措施3提供管控型管理流程和自动化应用数据治理平台措施4提供可视化和共享知识库的元数据治理体系要素1初期数据标准、模型、元数据、数据质量等内容的彻底加载要素2 构建持续性数据治理运营体系要素3构建前置型数据治理管理体系要素4构建自动应用的数据治理系统数据治理项目成功的核心要素16恩核（北京）

信息技术有限公司项目名称项目内容某央企元数据管理，数据模型管控，影响度分析，

数据质量，血源关系分析，信息资源目录管理。某通信公司数据标准化，数据模型管控。ETC电子收费系统元数据管理，数据标准化，数据模型管控，

影响度分析。国内10家以上，国外50家以上银行案例数据模型管控，数据标准化，元数据管理。方案1效果构建了元数据知识库实现了数据的标准化应用及管理实现了对数据模型的管控提升了数据质量构建了企业级数据资产管控体系效果数据标准和数据质量收集及分析,管控和验证方案通过了使用搜索引擎实现元数据收集自动化基于专业的数据建模工具实现数据标准应用自动化基于元数据工具和建模工具的统一应用，实现数据标准、数据模型等元数据校验自动化具有丰富的项目成功实施经验成功案例数据标准化，数据模型，数据质量等共享统一知识库的专业化工具成功案例实施人员必须具备丰富项目经验，提供可落地方案ⅠⅡ Ⅲ ⅣⅡ.

数据治理成功的核心要素17恩核（北京）

信息技术有限公司措施2提供基于数据架构的数据治理体系ⅠⅡ Ⅲ ⅣⅡ.

数据治理成功的核心要素25恩核（北京）

信息技术有限公司25恩核（北京）

信息技术有限公司措施2 提供基于数据架构的数据治理体系ⅠⅡ Ⅲ Ⅳ层级构成业务架构应用架构数据架构技术架构概念层逻辑层物理层企业整体业务架构子模块业务架构详细业务流程业务规划说明手册企业整体应用架构子模块应用架构详细开发流程应用设计说明手册2层级1层级2层级3层级4层级4层级4层级4层级4层级4层级综合管理综合管理执行业绩管理疗养机构分类和管理疗养机构仲裁活动 疗养机构仲裁活动实际业绩管理综合管理规划综合管理制度基本计划制定和变更疾病，患者分类体系管理审查效率分类基准设定和技术开发综合管理支付指标开发和标准方案制定综合管理制度成果管理继承关系模型概念模型逻辑模型物理模型技术整体模型基础构造关系图基础构造设计图软硬件产品目录PlannerDesignerBuilderⅡ.

数据治理成功的核心要素基于数据治理架构管理策略，构建元数据管理体系，其中包括组织、流程、元数据管理策略和内容。综合数据治理体系架构组织规划方向原则目标元数据治理架构管理策略元数据管理系统元数据管理策略流程CWM内容元数据

元数据

数据质量

标准

模型管理

管理

管理体系

规范

规范管理 元数据组织 管理数据结构管理分类体系数据标准继承 概念DA

内容分类体系数据模型业务元数据逻辑 单词/用语 域 代码物理 标准 标准 标准DW ETL DM Reporting RDBMSⅠⅡ Ⅲ ⅣⅡ.

数据治理成功的核心要素24恩核（北京）

信息技术有限公司业务功能(大)业务功能(中)业务功能(小)信息项继承关系模型概念模型逻辑物理模型属性字段信息技术元数据数据模型DB对象（大）DB对象（中）表字段应用功能（大）应用功能（中）应用功能（小）字段映射应用功能（大）应用功能（中）应用功能（小）信息项DBMSETLOLAPREPORT应用功能（大）应用功能（中）应用功能（小）信息项元数据节点之间的整合业务元数据业务信息业务元数据和技术元数据矩阵图ⅠⅡ Ⅲ ⅣⅡ.

数据治理成功的核心要素25恩核（北京）

信息技术有限公司措施3提供管控型管理流程和自动化应用数据治理系统ⅠⅡ Ⅲ Ⅳ运维支持型数据治理管理体系开发 测试 上线设计数据标准业务元数据数据模型数据库对象模型管理

数据标准管理应用影响度分析模型变更标准变更模型管控标准管控质量管控Ⅱ.

数据治理成功的核心要素措施3ⅠⅡ Ⅲ Ⅳ设计运维开发测试提供管控型管理流程和自动化应用数据治理系统管控型数据治理管理体系分析数据治理平台标准模型概念模型逻辑模型

DDL

物理模型DDLDDLⅡ.

数据治理成功的核心要素25恩核（北京）

信息技术有限公司单词+单词+域标准用语ⅠⅡ Ⅲ ⅣⅡ.

数据治理成功的核心要素恩核（北京）

信息技术有限公司词素解析单词转化用语拼接数据类型定义标准化自动应用逻辑数据模型物理数据模型基于数据标准知识库自动转化单位信息#

单位编号*

名称*

上级单位岗位变更#

岗位名称员工编号(FK)开始时间结束时间员工信息#

员工编号*

姓名*

性别年龄出生年☎入职时间单位编码(FK)DEPT_INF#DEPT_NO*

DEPT_NM*

HGH_LVL*

DEPT_NOPSTN_CHG#

PSTN_NOEMP_NO(FK)STRT_TIMEEND_TIMEEMP_INF#

EMP_NO*

NM*

SEXAGEBRTH_DATEETY_TIMEDEPT_NO(FK)ⅠⅡ Ⅲ ⅣⅡ.

数据治理成功的核心要素措施4模型视图API可视化综合分析数据标准数据模型BI

/

OLAP其他元数据信息REST

API共享知识库提供可视化和共享知识库的数据治理系统ⅠⅡ Ⅲ ⅣⅡ.

数据治理成功的核心要素25恩核（北京）

信息技术有限公司标准词典单词标准同义词员工Y职员，管理员职员入职Y服务员入职_员工_编码入职员工编码入职_[职员]_编码入职_[管理员]_编码【标准】【非标准】推荐【员工】入职员工编码入职职员编码入职管理员编码申请入职职员编码入职_职员_编码词素分析入职_员工_编码入职员工编码推荐异音同义词推荐支持同义词属性名校验词素解析及校验通过词素分析

自动检索和更新顺序不一样的

异音同义词数据标准化的自动校验及应用ⅠⅡ Ⅲ ⅣⅡ.

数据治理成功的核心要素26恩核（北京）

信息技术有限公司独立型知识库架构整合型知识库架构要点

数据库信息集中管理

元数据相关关系分析和应用1

以数据模型和DB为中心的设计23

专业数据建模技术应用4数据质量应用影响度DB目录数据模型数据标准单一/整合知识库数据质量应用影响度DB目录数据模型数据标准ⅠⅡ Ⅲ ⅣⅡ.

数据治理成功的核心要素26恩核（北京）

信息技术有限公司数据模型管控必要性及问题分析数据模型管控解决方案数据模型管控核心价值Ⅲ.

数据模型管控ⅠⅡⅢⅣⅢ.数据模型管控-

数据模型管控必要性及问题分析数据模型变更缺乏事前审计、事中监控、事后管理等体系化的管控措施，致使数据模型逐渐变成“黑盒子”，给系统建设和数据应用带来严重影响。•修改数据模型后未及时将修改的部分公开，修改的内容仅限于其内部或较少的几个人知道，其他人员均不知晓，同时也未对修改的内容进行管理，致使系统出现故障时排查问题难度较大，数据模型逐渐变成“黑盒子”

。事后弥补措施缺失•生产库中存在大量字段和表没有注释、含义模糊不清、同名不同意、同意不同名、冗余字段和表、枚举型字段中的值使用不统一等现象，直接影响对数据的识别和应用。审计工作及指标缺失•数据模型变更变更前的合理性缺乏专业人员评审，大部分企业缺乏专业的数据架构师，对不同系统的数据模型，在变更时从数据设计、业务合理性、数据治理、数据库性能等方面进行综合性评审。管理流程缺失•辅助性工具体系缺失问题汇总1226恩核（北京）

信息技术有限公司3修改过程中缺乏监控和管理，修改操作是否符合规范，修改脚本是否按照要求编写，修改时是否先修改模型再编写脚本，是否及时保证数据模型与数据库的同步等缺乏监控和管理。4ⅠⅡⅢⅣ针对数据模型管控方面存在的诸多问题，我们应从相应岗位设置、管控工具构建、管理流程设计等三个方面着手，构建适合的数据模型管控体系。事后弥补措施缺失设计事后弥补流程，对未按照流程发起的变更，设计及时发现及事后弥补方案。审计工作及指标缺失设置数据架构师岗位，设计模型变更合理性审计指标管理流程缺失设计适合的管理流程及数据架构师、模型设计人员、数据标准管理、开发、运维等角色分工辅助性工具体系缺失构建数据模型管控平台，实现辅助管理1234岗位设置1管控工具2管理流程3改善目标改善方案++数据架构师（制定制度及流程）数据模型（模型设计及管控）数据标准（标准管理及应用）模型管控数据标准变更监控人员交互流程事前、事中审计及管理流程事后弥补及共享流程Ⅲ.数据模型管控-

数据模型管控必要性及问题分析26恩核（北京）

信息技术有限公司Ⅰ Ⅱ ⅢⅣ事前事后事中流程监控审计岗位审计流程审计指标审计工具合规检查一致性检查DBMS对象变更监控DBMS对象版本比对模型与DBMS比对

差异弥补Ⅲ.数据模型管控-

数据模型管控方案Ⅰ Ⅱ ⅢⅣNoNo156279843Ⅲ.数据模型管控-

事前数据模型管控方案Ⅰ Ⅱ ⅢⅣ指标类别审核指标审查指标内容审查方式逻辑模型中文实体名称模型工具(DA#)根据已构建的单词词典对模型中的实体名称进行解析，审查其构成是否符合数据标准化工具实体定义逻辑数据模型中的实体名称定义部分是否为空，即是否对实体的定义、用途进行详细说明工具中文属性名称模型工具(DA#)根据已构建的单词词典对模型中的属性名称进行解析，审查其构成是否符合数据标准化工具属性定义逻辑数据模型中的属性名称定义部分是否为空，即是否对属性的定义、用途进行详细说明工具主标识符审查逻辑模型中是否有未定义主标识符的实体，并自动列举这些实体的名称工具继承标识符审查从其他实体中继承的主标识符名称是否与自身实体中的属性重名工具实体相似度审查逻辑模型中的所有实体相互之间是否有属性个数及属性名称相似度非常高（70%以上认为重复）工具实体名称相似度审查逻辑模型中的所有实体相互之间在实体名称上是否相似度非常高工具+人工主标识符相似度审查逻辑模型中的所有实体相互之间在实体的主标识符上是否相似度非常高或相同（

审查重复性）工具范式审查具有继承关系的实体中是否有除了继承的标识符之外的其他一般属性名称相同工具实体孤立审查在逻辑数据模型中是否存在没有与任何实体具有关系的孤立实体工具物理模型表名称模型工具(DA#)根据已构建的单词词典对模型中的表名称进行解析，

审查其英文定义是否符合数据标准化工具字段名称模型工具(DA#)根据已构建的单词词典对模型中的字段名称进行解析，审查其英文定义是否符合数据标准化工具主键定义审查物理模型中是否有未定义主键的表工具字段域定义模型工具(DA#)根据已构建的单词词典对模型中的域进行解析，

审查字段域是否符合数据标准化工具字段重复审查物理模型中具有关系的表中是否有除了外键之外的其他一般字段名称相同工具中文字段审查物理模型中是否具有利用中文对字段名进行定义的情况工具主键相似度审查物理模型中是否具有主键名称相似或完全一致的表（

审查重复）工具Ⅲ.数据模型管控-

数据模型审计指标Ⅰ Ⅱ ⅢⅣⅢ.数据模型管控-

事后数据模型管控方案Ⅰ Ⅱ ⅢⅣⅡ.

数据模型管控-价值32模型变更有流程可遵循模型事后变更及时弥补模型审计有据可依数据标准确保落地提升数据质量核心价值直接效果设置数据模型审计专职岗位和设计审计指标构建自动化强，落地性好的软件工具设计及实施数据模型管控流程设计数据架构师、数据标准、数据建模人员、开发人员交互流程设计事前、事中、事后审计及校验流程设计数据模型及数据库对象变更流程设置专职数据建模或数据架构师岗位培养数据架构师，掌握建模技术及业务知识设计符合实际情况且可落地的审计指标数据变现保障模型透明化管理数据架构师、数据标准、数据模型等管理流程配置功能数据标准管理及应用、数据模型管控功能审计校验功能，内置审计校验指标数据库对象自动搜集及差异比对功能数据资产化变更数据共享并公开实现模型数据动态化管理