《Hive数据仓库应用与实战》课件 项目一-任务二-初识Hive

《Hive数据仓库应用与实战》Hive数据仓库应用与实战项目一浅谈Hive和数据仓库任务二初识Hive回顾回顾知识点1

数据仓库的特征回顾知识点2

数据仓库与传统数据库的区别任务引入随着数据量增加某些查询需要几个小时甚至几天才能完成。当数据达到1T时，MySQL进程垮掉。可以支撑几个T的数据，但每天收集用户点击流数据（每天约400G）时，Oracle开始撑不住了。有效解决了大规模数据的存储与统计分析的问题，但是MapReduce程序对于普通分析人员的使用过于复杂和繁琐。对外提供了类似于SQL语法的HQL语句数据接口，自动将HQL语句编译转化为MR作业在Hadoop上执行。降低了分析人员使用Hadoop进行数据分析的难度。任务概要任务描述:Hive是Hadoop生态圈中的重要成员，对于每一种技术，我们在学习其使用方法前，都有必要去了解它的背景知识，从而形成立体的认知框架，本任务我们就从背景出发，了解Hive的基本概念。任务教学目标：1．了解Hive的基本概念。2．了解Hive的发展历程。3．了解Hive的特性和优缺点。一Hive的发展历史二Hive架构教学内容三Hive特性四Hive优缺点Hive的发展历史知识点一（一）Hive的发展历史Hive发展历史及版本07年8月始于Facebook13年5月0.11StingerPhase1ORCHiveServer213年10月0.12.0StingerPhase2-ORCimprovement14年4月Hive0.13.0asStingerPhase314年11月Hive0.14.015年2月Hive1.0.015年5月Hive1.2.016年2月Hive2.0.0(添加HPLSQL,LLAP)18年5月Hive3.0.0Hive架构知识点二（一）Hive架构用户接口：client包括Hive提供的CLI（command-lineinterface）工具，进行交互式执行SQL：直接与Driver进行交互。Hive提供JDBC/ODBC驱动，作为JAVA的API。JDBC通过ThriftServer来接入，然后发送给Driver。此外，Hive还提供WEBUI接口，可以通过浏览器访问Hive。（一）Hive架构元数据：Metastore元数据是一个独立的关系型数据库Hive会在其中保存模式和其他系统的元数据，并提供三种连接模式：单用户模式、多用户模式、远程服务器模式。（一）Hive架构HadoopHive的数据存储在HDFS中，针对大部分的HQL查询请求，Hive内部自动转换为MapReduce进行计算。（一）Hive架构驱动器：Driver通过驱动器模块对输入进行解析编译，对需求的计算进行优化，然后按照指定的步骤执行（通常启动多个MR任务来执行）。Hive特性知识点三与Hadoop其他产品完全兼容HiveQL灵活的可扩展性高扩展性和容错性针对海量数据的高性能查询和分析系统类SQL的查询语言（一）Hive特性Hive和传统RDBMS的区别知识点四不能更新、删除、插入；只能通过文件追加数据、重新导入数据。不能对列建立索引（但是Hive支持索引的建立，不过不能提高Hive的查询速度。如果想提高Hive的查询速度，得运用Hive的分区、桶）（一）Hive和传统RDBMS的区别（一）Hive和传统RDBMS的区别比较项SQLHiveQLANSISQL支持不完全支持更新UPDATE\INSERT\DELETEINSERTOVERWRITE\INTOTABLE事务支持不支持模式写模式读模式数据保存块设备、本地文件系统HDFS延时低高多表插入不支持支持子查询完全支持只能用在From子句中视图UpdatableRead-only可扩展性低高数据规模小大在本任务中，我们主要学习了以下内容：Hive的发展历史Hive