《数据仓库与数据挖掘》课件 第2章 分布式数据仓库_第1页
《数据仓库与数据挖掘》课件 第2章 分布式数据仓库_第2页
《数据仓库与数据挖掘》课件 第2章 分布式数据仓库_第3页
《数据仓库与数据挖掘》课件 第2章 分布式数据仓库_第4页
《数据仓库与数据挖掘》课件 第2章 分布式数据仓库_第5页
已阅读5页，还剩15页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

第2章

分布式数据仓库目录2.1什么是Hive

2.2Hive用在哪里

2.3Hive与传统数据仓库的比较

2.4Hive的优缺点2.5Hive的功能与架构2.6Hive运行流程2.7Hive数据存储模型2.8课后习题1.1

什么是Hive2.1什么是HiveHive是一个建立在Hadoop文件系统上的数据仓库基础架构，它提供了一系列工具，能够对存储在HDFS（Hadoop分布式文件系统）中的数据进行数据提取、转换和加载（ETL），允许熟悉SQL的用户查询数据，同时也允许熟悉MapReduce的开发者开发mapper和reducer来处理复杂的分析工作。特性：（1）灵活方便的ETL（2）支持Tez、Spark等多种计算引擎（3）可直接访问HDFS文件以及HBase（4）易用易编程2.2Hive用在哪里2.2Hive用在哪里Hive的最佳使用场合是大数据集的批处理作业，例如，网络日志分析或者不同行业中的用户行为分析、风险管理等多个方面。2.3Hive与传统数据仓库的比较1.2数据仓库与传统数据库区别：1.2数据仓库与传统数据库区别：2.4Hive的优缺点2.4Hive的优缺点Hive使用集群模式和超时重传机制实现了高可靠和高容错。2.4Hive的优缺点

但是，Hive本身也有一些缺点：(1)延迟高，因为MR本身延迟就高(2)不支持物化视图（就是不能在试图上进行增删改，仅支持普通的查询视图）(3)不适用OLTP(4)只支持函数，不支持存储过程2.5Hive的功能与架构2.5Hive的功能与架构Hive的功能结构：2.6Hive运行流程2.6Hive运行流程Hive的运行流程是一个复杂但高度优化的过程，它主要依赖于Hadoop的MapReduce框架或其他执行引擎（如Tez、Spark）来处理大规模数据，下图给出了一个基本的工作流程：2.7Hive数据存储模型2.7Hive数据存储模型Hive的数据存储模型是建立在Hadoop文件系统之上的，它提供了灵活的数据存储方式，以支持大规模数据的存储和分析。数据库表表倾斜数据分区分区桶桶桶桶正常数据2.8

课后习题2.8课后习题1.请简述Hive的基本概念及其在大数据处理中的作用。2.Hive的运行流程包括哪些主要阶段？每个阶段的主要任务是什么？3.请解释Hive的三种部署方式：内嵌模式、本地模式和远程模式，并说明它们的主要区别。4.简述Hive数据存储模型的主要组成部

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论