阿里巴巴数据治理实践_第1页
阿里巴巴数据治理实践_第2页
阿里巴巴数据治理实践_第3页
阿里巴巴数据治理实践_第4页
阿里巴巴数据治理实践_第5页
已阅读5页,还剩18页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

!DataFunSummit*+*,!"##$%&'()

阿里巴巴高级技术专家目录01CONTENTS01•数据治理概念和需02•企业数据治理痛点、求层次阿里巴巴数据治理数据治理的理论参考实践企业数据治理的典型痛点•数据治理的概念和需求层•阿里巴巴数据治理的挑战次•阿里巴巴数据治理的成功关键•

阿里巴巴数据治理的发展实施阶段!01数据治理概念和需求层次•

数据治理的理论参考•

数据治理的概念和需求层次!数据管理协会知识体系–

DAMA-DMBOK2十大职能领域数据管理&数据治理理论参考DCMM:数据管理能力成熟度评估(2018)信通院:数据资产管理实践白皮书理论和实践相结合的落地指南数据治理的范畴国际:DMBOK2十大职能领域

[1]

国内:DCMM八大过程域

[2]【1】:DAMA国际

【2】:DCMM:

数据治理的概念和需求层次成本•数据治理的内涵逐步泛化是业界共识生产经济性安全•企业数据治理,涵盖数据发现可用、数据数据权限管理、敏感数•及时稳定产出、数据质量保障、数据安全据保护、合规要求可用合规和数据生产的经济性等多个层次。企业数字化转型阶段不同,治理关注的核心数据的共享使用,需求存在差异、好理解、可复用质量在数据管理过程中,要保证一个组织已经准确性、完备性、唯一性、一致性、有效性等将数据转换成有用信息,这项工作所需要的流程和工具就是数据治理的工作[1]时效数据生产稳定、产出及时性【1】来源:DAMS,niHarper。有用的信息:数据资产02企业数据治理痛点、阿里巴巴数据治理实践•

企业数据治理的典型痛点•

阿里巴巴数据治理的挑战•

阿里巴巴数据治理的成功关键•

阿里巴巴数据治理的发展实施阶段!企业数据治理典型痛点数据治理成效进展缓慢,数据问题依旧严重,缺少系统化的工具平台支撑治理落地和成效展现是关键原因之一数据治理咨询成果落地不足1……2自动化服务程度不高数据治理产出成果,比如各类规范和管理办法,包括数据字典,多以”业务人员使用数据更多需要数据和-数据分析依赖贴身服务,业务技术人员的贴身服务,按照IT建设纸面文件”的形式流转与企业中,人员难以借助工具自行完成。的模式提出数据加工需求或者取数与实际业务和数据没有紧耦合,能-数据分散,缺乏统一的资源目录满足“我有””,但是没能做到-重复作业,导致巨大的人力投入和存储成本。“我执行”需求,以被动支持的方式满足业务需求,没有形成数据资产目录,数据服务目录数据治理成效可视度低-无法在研发活动中将数据问题控制在事前.43-开发工具割裂,技术栈不统一,数据治理在线管理能力不足缺少量化方式来评估数据治理成熟-业务部门的数据治理投入较高度水平,数据治理工作的推动成效集成开发效率低下。缺少灵活友好的数据治理在线管理-工具特性缺失,数据研发能力-数据分析依赖贴身服务,业务工具,来支持数据治理全流程工作受限。人员难以借助工具自行完成。-工具差,完成部分工作数据治理与数据原仓之间没有打通,的门槛高。“数据的描述”和“数据的记录”两无法体现,变成了纯手动的脏活累活,严重影响数据治理工作的开展推进企业数据治理新模式从传统架构思维向DT架构思维转变,围绕数据资产化、数据价值释放的核心目标开展工作阿里巴巴数据治理发展实施阶段特定阶段专注解决主要矛盾数据成本治理数据安全治理数据规范治理数据稳定性与质量治理解决数据产出及时性和准确性问题解决数据口径一致解决数据权限控制解决数据计算和存储成本高昂性问题问题与数据共享交换问题阿里巴巴数据治理实践:数据稳定性千万级任务的调度情况下,调度依赖关系复杂程度远超过人工处理程度,独有智能基线监控机制确保高优先任务高保障产出监控告警的痛点监控数量配置难度告警时间监控所有任务是不现实的为每个任务配置监控规则极为繁琐每个任务所需告警的时间都不同EBFA4:305:0030minAHCD5:0060minB120minC45minD6:00GH10minE6:0030minF20minG6:30IKJ6:30I120minJ60min8:30L8:30K30min50minL9:00DataWorks独创、荣获国家专利的智能基线监控技术智能监控核心功能•

智能识别关键路径,合理设定告警阈值•

任务异常产生事件,自动评估事件影响范围,通知相应人员•

灵活告警方式配置,支持某著名企业群机器人、电话阿里巴巴数据治理实践:数据质量治理通过完整性、有效性、准确性、唯一性、一致性、合理性的全面评估,产出可信的、高价值密度的数据资产任务节点2表1规则1表2规则输出表1输出表2输出表3表3规则•

质量监控与调度挂钩,第一时间发现问题1

执行任务2

触发规则3

执行规则3•

40+规则&自定义规则,精细化质量控制4

告警/阻塞•

无需设定阈值,算法自动判断异常值任务节点12表1规则短信/邮件•

故障快速恢复13输出表14橙色阈值阻塞下游44红色阈值任务节点2Webhook机器人强规则?阿里巴巴数据治理实践:数据规范治理通过规范设计和开发来预防问题的发生。统一公共层来减少重复建设和确保口径一致性时间数据规范设计优惠分摊领取优惠券包含开设数据公共层建设核心公共层核心公共层数据资产:1)做规范管控,架构评业务板块业务域核销定语类型业务过程维度优惠分摊会员购买商品发布强管控定语原子指标属性报名派生指标使用一条门槛线1)确定标准、流程及规营销工具指标体系设计数据模型设计审,发布管控范2)评估建设水平2)筛选核心公共层监控3)发现短板,持续改进范围并持续更新轻约束其他营销活动门店公TableViewAPIReport数据服务开放

数据处理任务开发阿里巴巴数据治理实践:数据标准管理通过制定码表、元素、模型分层、数据模型等设计规则及字段内容质量约束,保证逻辑数据模型设计的一致性模型设计标准管理制定各类数据实体(元素、码表、模型分层、模型等)的设计约束,规范每类业务实体包含的属性、该属性是否必选、该属性内容约束等规则。逻辑模型数据规范物理模型数据规范标准编码规范中英文缩写规范阿里巴巴数据治理实践:数据安全治理制定分类分级规范敏感数据发现与脱敏数据自动打标判断依据字段名字段描述匹配规则关键字匹配正则表达可信计算环境打标人工调整字段值算法模型数据风险审计更合理管理和使用(阿里:根据分级差异化审批流)阿里巴巴数据治理实践:数据成本治理成本治理评估设定组织成本培养个人成本计算存储成本目标意识管控与运营组织目标驱动意识优先知行合一治理常态化阿里巴巴2020年成本治理的目标:数据成本增速不能超过业务增速下阿里巴巴数据治理成功关键自下而上核心目标:自上而一套组织体系数据资产化、数据价值释组织建设、制度保障放一部数据资产治理方法论自上而下:从公司治理角度入手来解决数据的管理问题,提供产出及时、质量可靠、用、安全可控、生产经济足够的授权和支持一组平台工具支撑&运营自下而上:以平台技术支撑和完善的运营体系促进治理的切实落地阿里云大数据平台/数据中台阿里巴巴数据治理成功关键–一套组织体系固定的专业组织、充分赋权,负责数据治理实施的整体推进。制规范定目标

促落地保健康数据治理小组数据管理团业务线数据数据平台负队负责人责人阿里巴巴数据治理成功关键–制度保障从实践中总结制定一系列的管理办法、流程和规范,并及时演进迭代数据资产治理规范管理办法管理流程技术规范及模板阿里巴巴数据治理成功关键–一部数据资产治理方法论数据运营思想贯穿数据建设全过程数据建模研发数据建模与代码开发数据引入数据规范定义数据资产管理数据主题式服务数据采集、清洗、结构化口径一致、算法一致、命数据资产概览、资产地批量查询、即席多维分析与集成名唯一图、治理、应用、运营等与在线服务等,主题导向数据连接萃取ID识别与标签画像生产智能数仓规划逻辑空间与物理空间运维调度作业运维、任务调度与监控报警阿里巴巴数据治理成功关键-一组平台工具支撑DataWorks

Mapute一站式

大数据开发和

自研、全托管、EB级大数治理平台

据存储和计算引擎阿里自研的大数据平台,各

阿里自研的安全可靠、高类存储和计算引擎的上层操

效能、低成本、从GB到EB作系统,提供数据集成、数

级别按需弹性伸缩的在线据开发、数据地图、数据质

大数据计算服务,致力于量、数据安全和数据服务等

海量结构化、半结构化数全方位的产品服务,帮助企

据的存储和计算服务,提业专注于数据价值的挖掘和

供数据仓库的解决方案及探索。

分析建模服务。强大的平台能力支撑是治理落地的核心保障;技术的创新和演进是数据治理落地的坚实基础阿里巴巴数据治理成功

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论