元数据及数据质量介绍

随着数据仓库的不断成长，你能回答下面的问题吗？企业级信息管控数据管理元数据管理数据标准数据质量数据整合数据安全与隐私主数据管理数据模型数据模型&业务视图人员、流程和技术•组织：建立企业级的数据管控团队是数据管控的基础。•角色：团队中按照管控的内容进行岗位的设置，即角色。•职责：不同的角色拥有详细的工作职责。•流程：根据管控要求建立可执行工作流程，并严格执行工作流程。•规范：企业的各工作岗位有数据管控团队制订的工作规范。•制度：企业须建立数据管控的制度。•平台：数据管控团队的工作必须建立在自动化的高效的信息平台。•接口：企业的信息系统之间应按照数据管控接口规范进行交互。•模板：信息系统向数据管控平台提交数据可以通过标准模板。我们建立了企业数据管控成熟度模型，该模我们建立了企业数据管控成熟度模型，该模型能够使企业识别和量化数据管控的成熟度，为企业的下一步数据管控提供指导。你的企业处在哪一级？•Predictive：预测的人员、流程、技术的整合程度人员、流程、技术的整合程度回报风险MVC元数据MVC元数据数据标准数据质量需求管理数据安全灵活查询业务单元独立单元系统管理需求开发信息调研SDM版本控制ETL开发测试工作模板Database业务应用技术应用–官方定义(CWM)：描述数据的信息。Metadataisstructuredinformationthatdescribesthecharacteristics/attributesofadataelement.–数据分析界定义：分散在企业中的关键数据描述。Metadatadescribescriticalelementsofdatascatteredacrosstheorganization.–通俗的说：如果数据仓库是一座城市的话，元数据就是城市的地图。数据仓库数据仓库 元数据•公共仓库元模型（CWM:CommonWarehouseMetamodel）是为数据仓库及商业智能环境间方便地交换元数据而制定的一个标准，其主要目的是在异构环境下，帮助不同的数据仓库工具、平台和元数据知识库进行元数据交换。•CWM模型为数据仓库和商业智能（BI）工具之间共享元数据，制定了一整套关于语法和语义的规范。它主要包含以下四个方面的规范：–CWM元模型（Metamodel）：描述数据仓库系统的模型；–CWMXML：CWM元模型的XML表示；–CWMDTD：DW/BI共享元数据的交换格式；–CWMIDL：DW/BI共享元数据的应用程序访问接口（API）。CWM标准涉及到的元数据模型结构•普通应用系统为什么不需要元数据管理?–表的数量少–数据加工简单–数据来源单一–访问方式单一–交钥匙的应用•数据仓库为什么必须元数据管理?–上下游系统多,变更频繁–数据加工复杂–用户访问方式复杂–维护周期长–某银行的DW数据举例:上游系统60个,下游系统20多个,仓库内部的表12000多个,运行的ETL任务6000多个,每个月都有新版本上线元数据架构元数据元数据执行浏览执行浏览批量元数据加载元数据缓冲区管理批量元数据加载元数据缓冲区管理元数据版本回滚业务元数据管理源系统元数据管理DW集市元数据管理DW/PDM元数据管理LDM元数据管理ETL元数据管理数据文件元数据管理查询样例管理元数据上传元数据模板管理元数据桥接器管理版本管理元数据自动更新模块ETL相关数据同步SQL解析处理模块元数据地图浏览元数据统计信息浏览全局版本比对DW来源系统元数据DW集市元数据DW/PDM元数据LDM元数据ETL、映射信息元数据数据文件元数据用户查询样例元数据对象版本查看与比对影响分析血缘分析元数据质量分析孤立对象分析全局检索用户注释元数据下载例如涉及该表的脚本等信息。友邻友邻对象友邻对象友邻对象友邻对象•向下分析一个元数据对象对下游对象的影响。•与影响分析的方向相反，向上追溯一个对象的数据来源•从某对象出发，向上下游双方向进行分析。•分析一个数据库对象被访问的频度。•分析数据准备区(SData)、物理模型区(PData)中的孤立元数据对象。•定期分析元模型中的元数据是否与实际情况一致。•选择任意两个时点的版本进行比对。•分析数据仓库中的元数据的质量。彻底解决影响/血缘分析放大的问题•采用智能SQL解析器模块，能分析数据的真实来源与目标。此项技术是精细化精细化解析结果1.1.数据管理平台开发完成，数据质量与元数据、数据标准等集成在一起，并在建行、工行部2.大量的技术和业务检查规则。3.主动的技术检查；被动的业务检1.完善数据管理平2.抽象出规范化的金融行业的业务检查规则。4:实现主动式的业务检查。1.第一次开发出数据质量检查管理系统，并且在建行DW部署。2.大量的技术检查。3.有了专门的质量1.简单的检查脚本。2.少量的技术和业务检查规则。3.没有专门的数据质量检查团队，包含在ETL工作中。4.被动式检查，救火队式工作。•我们需要什么样的数据–所需求的数据是否都已经获得–从不同应用获得数据能否保持一致–数据是否容易理解而不被曲解–数据是否在任何时间点都反应了数据的真实情况–有关联的数据之间的关系是否准确有效–从信息产生到数据可用需要多长时间•数据质量问题来源广泛、复杂元数据漏传元数据漏传传递基础变化频度覆盖率有效性度量加工完整性精确性缺陷OS硬件架构设计工具设计流程优化复查及时性定义模型产品性能奖励上岗培训激励反馈测试配置责任心进修培训业务质量性质技术业务质量性质技术26>6/13/202•P计划D执行C检查A行动•根据PDCA原理，设计出适合企业的质量提升流程PDCA例子P:在众多的质量问题中选择某一个问题准备改进。D:P:在众多的质量问题中选择某一个问题准备改进。D:在部分分支机构执行质量改进方案。C:通过DW反馈评估质量改进效A:制定数据质量改进指引，下发全部机构，并监督改进情况。戴明名言:A:找数据仓库B:找文件传输平台C:找核心系统D:按顺序全找正确答案：A企业要建立起下游即用户，用户永远是第一的原则，任何系统都要接受下游投诉并妥善处理的原则。数据管控的数据质量组织角色与职–每日数据记录,代码检查,主键重复等日常数据管控的数据质量问题治理流程数据管理平台－数据质量管理子系统•数据质量手段分类–数据收集手段–数据分析手段–文档技术手段–结果展现手段–问题与改进手段–QA控制手段•数据质量技术与工具析-SummaryScorecardExample-权重得分加权贡献评级完整性6%85%5.1%B精确性（现实角度）10%74%7.4%C精确性(获取角度)10%92%9.2%A精确性(数据概括)6%78%4.7%C+非副本记录20%47%9.4%F一致性20%46%9.2%F及时性10%56%5.6%F可访问性6%77%4.6%C+清晰度6%74%4.4%C可用性6%86%5.2%B总计100%65%F数据质量浏览浏览执行执行检查任务运行情况日期汇总检查类型管理ETL嵌入模块检查任务运行情况类型汇总检查任务管理批量运行模块单个检查任务执行情况图表数据质量清洁度指标管理离线检查模块我关注的检查任务检查任务批量加载应用服务器定时执行模块ETL错误浏览检查任务脚本在线测试数据质量清洁度指标浏览质量登记簿管理检查类型清单与明细浏览关注任务管理检查任务清单与明细浏览检查任务批量参数设置检查任务与元数据关系浏览元数据变更影响分析检查任务执行结果浏览ETL错误与质量登记簿关联错误数据浏览与下载检查任务执行结果与质量登质量登记簿浏览全局检索用户注释记簿关联编号检查名称检查描述检查任务数2,001SDATA层代码检查检查SDATA层代码检查是否存在非法值8932,002SDATA主键重复检查检查ODS提供的源数据存在重复记录的情况2,003SDATA空记录数检查检查sdata提供的源表是否存在空记录的情况2,004SDATA标准代码检查监控标准代码相关问题2,005SDATA空记录检查(周末允许为空)SDATA空记录检查(周末允许为空)2,007SDATA业务规则检查检查sdata提供的源表是否符合正常的业务规则2,008SDATA非法日期格式检查检查源表非法日期格式，即不在这三种格式中的日期（YYY2,009SDATA空记录检查(帐单日非空，其它时段不管)SDATA空记录检查(帐单日非空，其它时段不管)12,010SDATA层字段乱码检查SDATA层字段乱码检查12,011SDATA前天记录数/数值上下波动率检查(带阈值)SDATA前天记录数/数值上下波动率检查(带阈值)12,012SDATA上月记录数/数值上下波动率检查(带阈值)SDATA上月记录数/数值上下波动率检查(带阈值)3,002PDATA层主键重复检查PDATA层主键重复检查4,001汇总层主键重复检查(每日全量表)检查汇总层的主键重复记录,记录为每日全量数据,带数据4,002汇总层主键重复检查(当前全量表)检查汇总层的主键重复记录,记录为当前全量数据,不带数4,005汇总层数据记录数波动性检查汇总层数据波动性检查(记录性波动)14,007汇总层业务规则检查汇总层业务规则检查5,001MART层业务规则检查MART层违反业务规则的记录5,003MART层主键重复检查(带业务日期字段)MART层主键重复检查(带业务日期字段)5,006MART层表记录数检查MART层记录数检查,包括判断周末阈值5,007MART层有效率检查MART层有效率检查5,009应用层非