《Hive数据仓库应用与实战》课件 项目一-任务一-初识数据仓库_第1页
《Hive数据仓库应用与实战》课件 项目一-任务一-初识数据仓库_第2页
《Hive数据仓库应用与实战》课件 项目一-任务一-初识数据仓库_第3页
《Hive数据仓库应用与实战》课件 项目一-任务一-初识数据仓库_第4页
《Hive数据仓库应用与实战》课件 项目一-任务一-初识数据仓库_第5页
已阅读5页,还剩18页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

《Hive数据仓库应用与实战》课程核心知识:Hive安装、部署、配置、HiveQL语法、HiveShell操作。课程介绍:以能力为本位、以职业实践为主线、以项目课程为主体。培养技能目标:Hive安装、部署、配置能力、HiveQL语法、HiveShell操作。课程简介课时分配基础篇Hive数据仓库应用与实战比尔·恩门(BillInmon),被称为数据仓库之父,最早的数据仓库概念提出者,在数据库技术管理与数据库设计方面,拥有逾35年的经验。他是“企业信息工厂”的合作创始人与“政府信息工厂”的创始人。篇章引入章节任务Hive数据仓库应用与实战项目一浅谈Hive和数据仓库任务一初识数据仓库任务引入人们在生活中经常会遇到这些情况:超市的运营者希望将经常被同时购买的商品放在一起,以增加销售;保险公司想知道购买保险的客户一般具有哪些特征;医学研究人员希望从已有的千万份病历中寻找患某种疾病的病人的共同特征......任务概要任务描述:本任务主要介绍数据仓库技术诞生的原因、定义及发展历程,对于初学者来说,要搞清楚数据仓库和数据库之间概念的区别,了解数据仓库的使用场景。任务教学目标:了解数据仓库的概念、特性、发展史、应用现状了解数据仓库和数据库的区别。一数据仓库介绍二Hadoop与数据仓库教学内容数据仓库介绍知识点一大规模查询缓慢理解困难缺少历史结构复杂数据脏乱(一)为什么要使用数据仓库传统数据库分析数据时遇到的问题数据仓库解决上述问题的思路数据干净可复用,易拓展结构清晰,简单高速查询保存历史数据语义化/统一描述(二)数据仓库的解决思路数据仓库,英文名称为DataWarehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。数据仓库的定义(三)数据仓库的定义20世纪70年代20世纪80年代19881991数据仓库概念在20世纪70年代出现萌芽阶段20世纪80年代中后期,建立了TA2规范探索阶段1988年,IBM公司第一次提出了信息仓库的概念,并称之为VITAL规范雏形阶段1991年BillInmon出版了他的第一本关于数据仓库的书《BuildingtheDataWarehouse》,标志着数据仓库概念的确立。确立阶段(四)数据仓库的发展历程数据仓库是面向主题的数据仓库是不可更新的数据仓库是集成的数据仓库是随时间而变化的(五)数据仓库的特征Hive是建立在Hadoop上的,所有Hive的数据都是存储在HDFS中的数据库则可以将数据保存在本地文件系统中数据存储数据格式Hive中没有定义专门的数据格式,由用户指定,需要指定三个属性,列分隔符、行分隔符,以及读取文件数据的方法数据库中,存储引擎定义了自己的数据格式。所有数据都会按照一定的组织存储。(六)数据仓库和数据库的区别Hive的内容是读多写少,不支持对数据的删除和修改,数据都是在加载时确定好的。数据库中的数据通常是需要经常修改的。数据更新执行延迟Hive在查询数据的时候,需要扫描整个表(或分区),因此延迟较高,因此Hive只有在处理大数据时才有优势。数据库在处理小数据时执行延迟较低。(六)数据仓库和数据库的区别Hadoop与数据仓库知识点二(一)传统数仓架构与Hadoop架构的区别传统数仓架构与Hadoop架构的区别传统数仓架构VSHadoop架构GB→TB容量规模GB→TB→PB以上结构化数据数据多样性结构化、半结构化、非结构化数据存储集中,计算集中,纵向拓展架构方式分布式存储、分布式计算、横向拓展数据量达到TB级别便达到性能瓶颈处理性能性能较传统方式提升数倍至数十倍侧重数据的操作性,兼顾统计报表应用价值关注数据的业务决策价值,强调数据挖掘和综合分析系统可靠性完全取决于关键节点,大数据量的备份和恢复非常难可靠性海量数据的3副本冗余备份,关键组件提供HA功能服务器配置很高,软件采购成本及后续服务费很高经济性运行在普通x86服务器上,且软件成本低廉在本任务中,我们主要学习了以下内容:数据仓库介绍为什么要用数据仓库

数据仓库的解决思路数据仓库的定

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论