《大数据与云计算》课件-14.hive

大数据与云计算智能建造技术专业资源库知识点“象蜂”神物初识hive3Hive架构原理4Hive和数据库比较1什么是Hive2Hive的优缺点Hive简介Hive是由Facebook开发的数据仓库工具，用于解决海量结构化日志的数据统计。后来贡献给了apacher,成了其一个开源项目。Hive简介一、什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表（用Metastore服务），并提供类SQL查询功能（hiveserver2服务）。

本质是：将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduceHive简介一、什么是Hive优点操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）01避免了去写MapReduce，减少开发人员的学习成本。02Hive的执行延迟比较高，因此Hive常用于数据分析，针对实时性要求不高的场合；03Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。04Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。05Hive简介二、Hive的优缺点缺点Hive简介二、Hive的优缺点Hive的HQL表达能力有限迭代式算法无法表达数据挖掘方面不擅长Hive的效率比较低Hive自动生成的MapReduce作业，通常情况下不够智能化Hive调优比较困难，粒度较粗Hive简介三、Hive架构原理

如图中所示，Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。用户接口：ClientCLI（hiveshell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；默认存储在自带的derby数据库中，推荐使用MySQL存储MetastoreHadoop使用HDFS进行存储，使用MapReduce进行计算。驱动器：Driver包括解释器、编译器、优化器、执行器，将Hive语句翻译成MapReduce操作。Hive简介三、Hive架构原理Hive简介四、Hive和数据库比较Hive简介四、Hive和数据库比较2Hive的优缺点3Hive架构原理1什么是Hive4Hive和数据库比较课程总结Hive简介思考：Hive的特点？Hive与传统数据库的区别？知识点强劲灵活hive身手初探3Hive的访问接口1Hive的安装2Hive的部署Hive入门Hive官网地址：/Hive入门一、Hive的安装Hive入门一、Hive的安装先决条件：搭建好三节点的Hadoop集群在一个节点服务器上安装好MySQL服务Hive软件包下载解压软件包到指定的目录修改环境变量启动Hadoop集群、启动MySQl服务、启动Hive按Metastore存储位置的不同，其部署模式分为内嵌模式、本地模式和完全远程模式三种。Hive入门一、Hive的部署Hive入门二、Hive部署1、内嵌模式此模式是安装时的默认部署模式，此时元数据存储在一个内存数据库Derby中，并且所有组件（如数据库、元数据服务）都运行在同一个进程内，这种模式下，一段时间内只支持一个活动用户。由于内嵌模式时，Hive相当于Hadoop的一个客户端，因此只要在iClient上部署即可。（1）下载并安装Hive。（2）HDFS里新建Hive存储目录。只需上述两步就可以直接使用Hive了，当然，也可以使用jps命令查看Hive进程。Hive入门二、Hive部署2、本地模式此模式是Hive元数据服务依旧运行在Hive服务主进程中，但元数据存储在独立数据库中（可以是远程机器），当涉及元数据操作时，Hive服务中的元数据服务模块会通过JDBC和存储于DB里的元数据数据库交互。Hive入门二、Hive部署Hive入门二、Hive部署3、完全远程模式

元数据服务以独立进程运行，并且元数据存储在一个独立的数据库里。

这是典型的网站架构模式，前台页面给出查询语句，中间层使用Thrift网络API将查询传到Metastoreservice，接着Metastoreservice根据查询得出相应结果，并给出回应。Hive入门Hive提供了三种客户端访问接口：HiveCLI（HiveCommandLine，Hive命令行），客户端可以直接在命令行模式下进行操作。hwi（HiveWebInterface，HiveWeb接口），Hive提供了更直观的Web界面。客户端方式：Hive提供了Thrift服务，Thrift客户端目前支持C++/Java/PHP/Python/Ruby。三、Hive接口Hive入门进入Hive命令行接口，获取Hive函数