在Impala 和Hive里进行数据分区(1).docx_第1页
在Impala 和Hive里进行数据分区(1).docx_第2页
在Impala 和Hive里进行数据分区(1).docx_第3页
在Impala 和Hive里进行数据分区(1).docx_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

在Impala 和Hive里进行数据分区（1）进行数据分区将会极大的提高数据查询的效率，尤其是对于当下大数据的运用，是一门不可或缺的知识。那么数据怎么创建分区呢？数据怎样加载到分区呢？一、 Impala/Hive按State分区Accounts（1）示例：accounts是非分区表通过以上方式创建的话，数据就存放在accounts目录里面。那么，如果Loudacre大部分对customer表的分析是按state来完成的？比如：这种情况下如果数据量很大，为了避免全表扫描的发生，我们可以去创建分区。如果不创建分区的话，它会默认所有查询不得不扫描目录的所有文件。创建分区按state将数据存储到不同的子目录，当按照“NY”的条件进行查询的时候，它只会扫描到子目录，下面我具体来看一下分区创建。二、分区创建（1）使用PARTITIONED BY来创建分区表在这里注意state是被删除掉的，因为它作为分区字段，我们知道分区数据是不会出现在实际的文件当中的，所以state作为分区字段是不会出现在列当中的。换句话说，分区键就是一个虚列，它是不会存在列当中的。那么，如何去查看我们分区的列呢？它会出现在我们的结构当中吗？会的。三、查看分区列使用DESCRIBE显示分区列，它会出现在结构最后一列，它是一个虚列，并不是真实在数据中存在的列。我们创建单个分区，但有时候会有嵌套分区，如何来处理呢？四、创建嵌套分区：创建好了分区，我们怎么加载数据到分区呢？有两种方式动态分区和静态分区。动态分区是指Impala/Hive在加载的时候自动添加新的分区，数据基于列值存储到正确的分区（子目录）。而静态分区需要我们通过ADD PARTITION提前去定义分区的名称，当加载数据的时候，指定存储数据到哪个分区。那么动态分区和静态分区各有什么特征呢？后续为大家接着分享。 对于大数据，我们应该积极主动的去迎合和学习，因为它没有成熟的体系，还在发展上升，只有不断学习提升才可以赶上发展的步伐。建议在平时大家多学
人人文库> 全部分类> 教育资料 > 课设设计

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论