初步了解查询分析计算_第1页
初步了解查询分析计算_第2页
初步了解查询分析计算_第3页
初步了解查询分析计算_第4页
初步了解查询分析计算_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

初步了解查询分析计算学习目标2知识目标●查询分析计算●Impala概述●Impala架构介绍能力目标●了解查询分析计算●熟悉Impala概述●了解Impala架构学习任务3初步探索查询分析计算熟知Impala概述初步探索Impala架构总结Impala组成部分什么是查询分析计算Impala架构Impala概述4目录查询分析计算5针对超大规模数据的存储管理和查询分析、需要提供实时或准实时的响应，才能很好地满足企业经营管理需求。谷歌公司开发的Dremel是一种可扩展的、交互式的实时查询系统，用于只读嵌套数据的分析。通过结合多级树状执行过程和列式数据结构，它能做到几秒内完成对万亿张表的聚合查询。系统可以扩展到成千上万的CPU上，满足谷歌上万用户操作PB级的数据，并且可以在2-3s内完成PB级别数据的查询。此外，Cloudera公司参考Dremel系统开发了实时查询引擎Impala，它提供SQL语义，能快速查询存储在Hadoop的HDFS和HBase中的PB级大数据。6由Cloudera公司主导开发的大数据实时查询分析工具，宣称比原来基于MapReduce的HiveSQL查询速度提升3~90倍，且更加灵活易用。提供类SQL的查询语句，能够查询存储在Hadoop的HDFS和HBase中的PB级大数据。查询速度快是其最大的卖点。简言之Impala作为大数据实时查询分析工具，具有查询速度快，灵活性高，易整合，可伸缩性强等特点。Impala概述Impala架构7Impala架构图8Impala由Impalad、statestore、CLI组成。Impala架构（1）、Impalad是Impala的核心进程，与Datanode在同一个节点上，接受客户端的查询请求(接受查询请求的Impalad为Coordinator，Coordinator通过JNI调用java前端解释SQL查询语句，生成查询计划树，再通过调度器把执行计划分发给具有相应数据的其他Impalad执行)，读写数据，并行执行查询，并把结果通过网络流式传给Coordinator，有Coordinator返回给客户端。9（2）、statestore跟踪集群中的impalad的健康状态及位置信息，并不断把健康状况发送给所有的impalad进程节点。一旦某个impala节点不可用，statestore确保将这一信息及时传达到所有的impalad进程节点，当有新的查询请求时，impalad进程节点不会把查询请求发送到不可用的节点上。statestore通过创建多个线程来处理impalad的注册订阅和与各个impalad保持心态连接。Imp

人人文库> 全部分类> 教育资料 > 中学教育

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论