基础数据建设实践_第1页
基础数据建设实践_第2页
基础数据建设实践_第3页
基础数据建设实践_第4页
基础数据建设实践_第5页
已阅读5页，还剩18页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

.,基础数据建设实践,.,互联网+,大数据,.,基础数据建设演进,.,原始社会,数据需求方产品研发工程师,提出需求产品需求*日志打印数据需求,.,奴隶社会,数据需求方,提出需求,产品研发工程师产品需求*日志打印,数据工程师数据需求,.,封建社会,数据需求方数据工程师产品研发工程师,提出需求日志规范数据需求产品需求*日志打印,.,资本主义社会,数据需求方数据工程师产品研发工程师,提出需求日志规范数据需求产品需求*日志打印,主题建设数据仓库工程师,.,共产主义社会,数据仓库+,.,.,数据仓库建设,.,日志数据数据库数据文档数据,业务范围日志管理业务划分基础层,结构化扩展规范数据标注,.,中间层,数据仓库,建模,主题划分,一致性,粒度VS灵活,维度模型,.,主题划分高度汇总指标唯一数据一致数据分析平台,需求驱动线上服务,数据挖掘报表层,.,数据质量建设,.,.,元数据,报表位置层级,指标,数据仓库表结构属性信息依赖关系前端展现,任务层级依赖,任务执行情况,元数据管理日志/业务库元数据日志模块日志传输、参数结构业务库表结构表、属性状态ETL,.,元数据管理,.,日志扫描,类型离线日志扫描技术实时计算,实时日志扫描规则引擎,分析内容日志错、漏、重复、异常等,日志使用情况,日志冗余,.,日志扫描,.,（基础日志）,（基础日志）,统,数据分析师,数,1、日志规则制定和录入,4.2、获取日志,日志规范流程5.2、报警,查询日志规则及解释,QA2.2、获取需要埋点的日志规则2.1、获取需要埋点的日志规则,0、提出业务需求,5.1、报警,3、测试产品品线发工程师,研工,数据需求方,数据工程师,4.1、获取日志规则元数据系统（基础日志）,监控系统统（基础日志）,.,上游业务库,报警并需要数据工程师审核/完善变更,查询数据更新时间获取元数据,业务库规范流程数据需析师方查询数据库表结构及释义元数据系统（上游业务库）添加/维护元数据信息（上游业务库数据库及表结构）,据分求,数据工程师,（线上,（线上,线上业务库数据库最新变更信息数据加载进展监控系统（上游业务库）,.,血统分析,拓扑图分析了解单点对于上下游甚至全局的影响依赖分析任
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论