翼支付数据治理实践之元数据管理_第1页
翼支付数据治理实践之元数据管理_第2页
翼支付数据治理实践之元数据管理_第3页
翼支付数据治理实践之元数据管理_第4页
翼支付数据治理实践之元数据管理_第5页
已阅读5页,还剩15页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

翼支付数据治理实践之元数据管理数据治理与元数据治理02

元数据治理体系核心数据保障、主数据治理、数据规范体系建立、产品架构目录CO

N

T

EN

T01

元数据的定位 03

元数据平台技术介绍系统架构、元数据采集、全链路血缘04

未来展望异构数据、容灾、智能推荐01元数据的定位数据治理与元数据治理通过资产元数据识别数据表价值,通过数据血缘识别任务链路,推进核心/低价值任务治理通过主数据治理及数据质量提升,提升数据一致性及数据质量通过数据分类分级及数据安全治理,降低生产及大数据侧数据存储、传输和使用安全风险企业数据治理面临的核心问题成本效率质量安全元数据在数据治理中的核心作用“清洁数据成就卓越运营,智慧数据驱动有效增长。”元数据是数据治理的基础设施,在数据治理过程中有着核心作用问题1:数据质量和时效不高问题3:数据治理前清后乱,难以维持问题4:数据安全风险居高不下问题2:核心数据识别困难,数据一致性差问题5:数据开发烟囱化严重,基础数据面临多次重复建设…02元数据治理体系核心数据保障、主数据治理、数据规范体系建立、产品架构业务核心任务提报上游依赖识别与评估任务优先级调整实施任务时效、质量监控资源分配方案:项目空间:支持多租户及资源分配,可控制每个空间的队列资源、优先级及任务最早启动时间队列划分:核心>重要>一般(核心任务由数仓统一管控)资源策略:5点前,所有资源优先核心队列任务,5点后按优先级及依赖进行资源分配任务优先级变更控制规范:事业群申请->数仓评估范围->大数据领导审批->数仓实施->运维监控保障问题1:数据质量和时效不高单一数据源主数据定义数据质量稽核质量管控与提升主数据集成&服务主数据应用&消费数据\流程\IT协同主数据是具有高价值、跨流程、跨系统重复使用的数据,需要从基础数据中逐步识别和完善。需重点确保主数据的唯一性和权威性。主数据的质量问题直接影响数据应用的稳定性及主数据本身的推广,建立严格的数据稽核机制及质量管控策略是主数据治理成败的关键。主数据的应用遵循规范的企业流程(新增数据属于主数据范畴,不允;存量进行识别\排期整改),统一进行主数据集成并在元数据中标记出主数据表,再根据业务需求进行服务构建和数据消费。问题2:核心数据识别困难,数据一致性差通过主数据治理实现同源多用+数据质量提升,逐步建立起主数据的权威。业务团队数据仓库生产系统报表组装业务分析及数据探索坚持生产源头治理并行:(杜绝前清后乱)数据安全治理(存储、传输、使用)生产元数据治理(库表字段命名规范统一)主数据识别与应用问题3:数据治理前清后乱,难以维持;

问题4:数据安全风险居高不下主数据标准元数据标准数据开发规范数据权限管理规范数据安全规范数据分类分级标准稽核+通报机制元数据查询血缘分析元数据注册数据目录产品功能管理&服务元模型元数据维护库表管理元数据服务数据分类分级敏感数据发现数据生命周期管理主数据定义主数据集成&服务主数据应用&消费报表与可视化数据应用自助分析数据开发数据资产数据总线元数据平台数据治理体系数据消费数据安全治理数据质量提升主数据治理数据规范体系基础数据治理信息架构完善数据内容治理数据规范使用主/元数据标准数据安全规范数据开发规范质量度量质量监测质量改进数据平台03元数据平台技术介绍系统架构、元数据采集、全链路血缘[1][1][1]a

post-hocsystemuse

bigtable

as

the

storage

medium:

“blind

writes”a

large

number

of

diverse

batch-processing

jobsa

scoring

function

in

dataset

search接收层适配不同的数据源,接收元数据信息服务层提供元数据查询、管理和分析服务存储层利用不同的存储系统存

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论