元数据梳理方法与实践

企业元数据管理

元数据梳理方法与实践DAMABOK2.0——元数据概念元数据的概念及作用应用元数据梳理方法应用元数据梳理实践什么是元数据1：定义和描述其他数据的数据2：关于数据或数据元素(可能包括其数据描述)，以及关于数据拥有权、存取路径和数据的数据元数据的层次(MOF)M0M1M2M3元数据层次术语示例元元模型MOF模型：对象、属性、关系元模型/元元数据CWM元模型（库、表、字段、报表、ETL加工过程等）、CMM元模型…元数据/模型数据类元数据（数据库列表、字段列表等）、服务类元数据、UML模型…数据个人信息列表、法人信息列表…元数据的主要来源业务系统外部文件ETL服务器EDW/ODS/数据集市系统运行结构技术数据结构业务数据结构ETL程序信息

数据转换规则数据清洗规则数据处理过程

物理模型数据结构

数据字典及敏感级别程序库/数据库目录KPI关键业务指标数据分析模型

数据库目录安全认证

访问控制

帮助文档结构OLAP服务器WEB服务器应用服务器门户服务器手工补录源数据层ETL过程层数据仓库层应用服务层门户层用户用户元数据管理核心流程元数据采集模板映射系统管理员ETLETL过程DB直连方式批量导入API直连方式执行元数据采集数据源类型创建数据源配置采集任务立刻启动采集元数据应用影响分析数据分析员/开发人员/运维人员下游应用问题反馈上游模型变更预警辅助下游变更血统分析辅助问题定位元数据存储库元数据的使用场景数据标准关联元数据与质量规则，依据数据标准检查数据质量。性别代码(GB/T2261.1-2003)数据标准定义元数据数据质量规则物理模型①

标准映射质量规则②

标准映射关联质量规则③

物理模型0未知的性别1男性2女性9未说明的性别字段表数据库性别BR基本信息表HIS库性别单据发票表HIS库性别BR档案表医生站库规则分类表非空值不能为空值域值范围为(0,1,2,9)……传统元数据存储遵循OMG组织定义的CWM规范分析层资源层基础层数据存储

管理层TDDB2

对象模型层Oracle元数据存储元模型存储采集配置存储CWM规范仓库过程仓库操作转换OLAP分析数据挖掘信息可视化业务术语对象关系型资源记录型多维XML业务信息数据类型表达式键和索引类型映射软件部署对象模型（UML1.3）元数据的概念及作用应用元数据梳理方法应用元数据梳理实践为什么需要应用元数据？数据编目和提供数据的核心是先识别数据、找到数据领导这个数据我三年前提过需求，在XX流程中有，没有跟踪，

不知道落到哪个IT系统中了业务这个数据在XX系统，XX菜单的查询界面中，不过开发商不在了，谁能取到？技术项目当时的设计和开发人员都离职了，好几年前的事情，数据比较难找，我再找一下DBA这里的表名和字段名都没有描述，还是拼音简写，没法理解，怎么找？数据治理的真正落地需要梳理到字段级别为什么需要应用元数据？152个应用17万300万个字段某企业IT建设现状数据含义不可知表名、字段名无描述、不规范，大量拼音简写，没人理解咨询成果难落地请咨询公司做过两轮咨询，出一堆文档，无法落地业务建设速度快梳理周期长，梳理完业务系统已完成新一

轮迭代数据专家要求高十年以上工作经验领域业务积累深厚冰山之下统计学方式方法落后专家拍砖需要以应用视角切入的数据梳理方法基于大数据的数据梳理方法降低对数据专家的经验依赖建立数据业务的全链路关联识别每一项业务数据的含义采集为主，统计为辅，基于所有的数据梳理数据自动建立关联，而不是靠专家猜测业务与技术的碰撞，从业务理解技术，从技术理解业务每、每个字段找到相关的关联业务信息需要应用与数据的结合的数据关联方法能否通过需求、界面、事项、流程、菜单等业务人员能理解的数据找到相应数据？能否建立不同视角下的基础概念及关联业务视角业务需求流程文档菜单功能界面表单事项技术视角数据模型开发配置部署架构技术需求设计构建介质仓库部署脚本测试逻辑代码请求SQL数据视角表字段视图存储过程数据指标数据加工数据标准数据分类数据目录元数据数据服务数据开放数据质量数据展现数据采集数据共享元数据VS图数据库M3元元模型MOF模型：对象、属性、关系图数据库节点属性关系标签应用元数据采用图数据库+结构化数据库存储如何建立业务、技术和数据的关联？DevOps应用元数据数据元数据(传统)数据梳理应用元数据与数据元数据关联的梳理方法采集应用元数据采集数据元数据关联和补录分析和聚类数据标签数据主题数据链路数据目录数据标准数据搜索采集数据元数据报表工具ETL工具大数据平台Hadoop/Spark元数据采集关系数据库RDB数据模型数据关系数据处理企业元数据库…数据结构梳理全企业数据架构业务元数据库技术元数据库自动形成并管理企业元数据库文档数据库MongoDB分布式关系数据库MPP庖丁解牛·应用元数据梳理数据的核心方法应用功能1功能2功能3拆分UI模型表单模型请求元数据SQL元数据UI模型表单模型请求元数据SQL元数据UI模型表单模型请求元数据SQL元数据表1表2表3采集应用元数据文档功能界面请求SQL数据结构前台后台存储表单流程事项应用元数据UI模型数据表单模型数据请求元数据SQL元数据，标签名称编号数据项rules.rulesIdmini-2起始IP：rules.startIPstartIP结束IP：rules.endIPendIP规则类型：rules.rulesTyperulesType选项：禁止访问，值：prohibit选项：允许访问，值：allow是否生效：rules.enabl

edenabled选项：生效值：Y选项：不生效，值：N备

注：rules.remarkremark采集应用元数据方法人工采集自动采集(自动化测试中采集)需求编号功能编号执行测试用例自动截屏自动获取表单模型自动关联APM采集请求、服务及SQL元数据分析SQL，获取表信息定义功能开始采集人工点击业务系统界面点击截屏点击获取表单模型人工确认关联的APM采集请求、服务及SQL元数据分析SQL，获取表信息测试用例编号建立元数据关联表关联的功能关联的界面关联的表单模型业务系统中执行的SQL数据平台执行的ETL对外暴露的API数据模型和元数据补录表描述字段描述1字段描述2字段描述3字段描述4字段描述5字段描述...标签名称编号数据项rules.rulesIdmini-2起始IP：rules.startIPstartIP结束IP：rules.endIPendIP规则类型：rules.rulesTyperulesType选项：禁止访问，值：prohibit选项：允，值：allow是否生效：rules.enabledenabled选项：生效，值：Y

选项：不生效，值：N备

注：rules.remarkremark数据模型和元数据补录元数据分析和聚类业务数据元数据业务元数据技术元数据UI元数据流向元数据采集元数据1分词、索引、关联2元数据智能探索全量分析单库分析跨库关联3元数据分析应用分析结果溯源主题分析主题探索主题关联探索字段关联探索字段溯源表溯源全路径溯源字段关联比对名称关联描述关联规则关联同名字段关联字段范围关联4探索应用主题关联探索5主题字段探索6字段比对7类型比对长度比对精度比对…结果溯源8结果溯源9数据标签应用元数据数据标签元数据的概念及作用应用元数据梳理方法应用元数据梳理实践应用元数据梳理平台（PAMC）应用元数据梳理平台·功能架构采集客户端-Application应用元数据监听器-Agent数据管理平台-Server数据分析引擎-Solr数据采集引擎采集配置UI功能采集API功能采集采集历史链路分析界面查询请求监听数据上报SQL监听概要统计数据模型管理全链分析业务目录管理业务特性管理血缘分析采集任务管理元数据同步影响分析数据源管理数据补录应用数据分析聚类分析建立分词建立索引菜单链路功能链路界面链路API链路表单链路请求链路SQL链路表链路元数据数据源适配元数据采集ETL采集元数据版本元数据模型数据地图应用元数据梳理平台·部署架构采集人员业务系统应用元数据采集器采集客户端代理数据库元数据管理平台数据元数据采集器数据分析引擎采集人员数据架构管理平台监听器（agent）聚类分词引擎服务器应用服务器数据库服务器应用元数据数据元数据完整数据图数据库应用场景：形成知识脉络资产目录主题概念模型逻辑模型物理模型字段信息项业务系统数据库菜单功能UI模型表单模型数据元标准指标标准请求数据操作需求功能设计业务术语其他功能业务流程ETL其他模型应用场景：应用元数据链路应用场景：融合梳理数据标准选项：挂起，值：0选项：正常，值：1选项：锁定，值：2选项：注销，值：9选项：挂起，值：-1选项：正常，值：0选项：锁定，值：1用户状态选项：正常，值：1选项：锁定，值：0选项：删除，值：-1A应用B应用C应用映射融合选项：挂起，值：0选项：正常，值：1选项：锁定，值：2选项：注销，值：3选项：删除，值：4A应用映射规则B应用映射规则C应用映射规则应用场景：融合梳理数据标准应用场景：以界面查数据小航司销售部门数据分析员。他接到一个任务，需要做一个2018年“春运”的市场和销售表现分析。他大概知道做类似的专题分析，需要的“原材料”包括航班日期、起落机场、机型、客座率、平均折扣、收入、成本、利润等数据。MM(航班运行控制)系统可以支持他的需求，但是他看到系统页面，如何获取所需数据？资产目录

需求 设计菜单功能表单请求数据操作数据模型① 从一个业务功能页面② 通过资产目录了解资产情况提交申请提供者审批管理者审批开通数据文件下载需求工单应用场景：以界面查数据应用数据：快速提供数据服务(数据服务部分)业务部门希望今年的分析报告中有一些新的东西，比如在成本中加入油耗的分析，在载运率中加入腹舱货运的分析，天气对航班的影响。支持这些新增分析的数据公司是否有？如果有在哪里？知道在哪里具体找谁要？拿到手后如何与现有数据进行拼接？（需要相同的字段，同时需要口径统一）消费方资产目录（业务）申请接口服务ETL服务文件服务开发模板库在线开发离线开发资产目录（开发）审批数据转换加密/脱敏提供方发布作业调度申请/订阅准备工作根据业务需要，自助查询所需数据基于数据权限申请数据123 数