Hive简介-“黄冈杯”一等奖_第1页
Hive简介-“黄冈杯”一等奖_第2页
Hive简介-“黄冈杯”一等奖_第3页
Hive简介-“黄冈杯”一等奖_第4页
Hive简介-“黄冈杯”一等奖_第5页
已阅读5页，还剩8页未读， 继续免费阅读

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Hive简介2学习任务了解Hive的数据存储了解Hive的数据格式了解Hive的基础架构了解Hive的HQL3知识目标了解Hive的基础概念和架构了解Hive的三种工作模式了解Hive的大致数据模型01能力目标掌握Hive的基础架构的工作原理了解Hive的工作模式

能够说出Hive的数据模型种类02学习目标4目录01Hive的基础概念02Hive的基础架构03Hive的工作模式04Hive的数据模型5Hive的数据存储Hive数据逻辑上由存储的数据和描述表格中的数据形式的相关元数据组成，由于元数据可能要面临不断地更新、修改和读取，Hive中的数据存放在HDFS文件系统中，元数据显然不适合用Hdoop文件系统进行存储，所以它的元数据是存储在RDBMS（关系型数据库管理系统）中。6Hive的数据存储在Hadoop生态系统中，Hive允许用户使用UDF（userdefinedfunction）对数据进行处理，包括操作日期、字符串和其它数据挖掘工具。ApacheHive使用了DEFLATE，BWT，snappy数据算法对中间数据或最终数据进行数据压缩，从而提高数据吞吐量和性能。7Hive的数据格式Hive中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）。行分隔符（”\n”）以及读取文件数据的方法。ApacheHive支持不同的存储类型，比如普通的TEXT文本，RCFile，HBase，ORC等。8Hive的基础架构解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后有MapReduce调用执行。

用户接口主要有三个：CLI，Client和WUI。9Hive的HQLHiveQL查询语言Hive定义了类SQL的语言HiveQL，HiveQL允许用户进行和SQL相似的操作，这样开发人员能够方便地使用mapper和reduccr操作，这对MapReduce框架是一个强有力的支持。虽然HiveQL与大部分的SQL语法相兼容，但是它并不严格遵循支持SQL-92标准，例如多表查询、支持createtableasselect和集成MapReduce脚本等。10Hive的HQLHiveQL数据更新由于Hive是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用INSERTINTO…VALUES添加数据，使用UPDATE…SET修改数据。11Hive的HQLHiveQL数据类型Hive支持两种数据类型，一类叫原子数据类型，一类叫复杂数据类型。原子数据类型包括数值类型(INT、FLOAT、DOUBLE)、布尔型和字符串类型。复杂类型有三种:ARRAY、MAP和

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论