数据仓库Hive应用实战 教案45-488课时-导入:更新、删除及导出表中装载数据_第1页
数据仓库Hive应用实战 教案45-488课时-导入:更新、删除及导出表中装载数据_第2页
数据仓库Hive应用实战 教案45-488课时-导入:更新、删除及导出表中装载数据_第3页
数据仓库Hive应用实战 教案45-488课时-导入:更新、删除及导出表中装载数据_第4页
数据仓库Hive应用实战 教案45-488课时-导入:更新、删除及导出表中装载数据_第5页
已阅读5页,还剩1页未读, 继续免费阅读

付费下载

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

湖南汽车工程职业学院教师授课教案第6周第5-8课时累计48课时课程名称大数据仓库HIVE授课课题更新、删除及导出表中装载数据授课专业班级大数据2101、大数据2102、大数据2103教学目标能熟练使用多种方式将Hive表中的数据导出;能熟练更新和删除Hive表中的数据;教学要点教学重点能熟练使用多种方式将Hive表中的数据导出;教学难点能熟练使用多种方式将Hive表中的数据导出;课型一体化授课教法与学法(教具)示范演示法、任务驱动教学法、分组合作教学法课后作业完成智课堂作业、看视频熟练操作教学后记(教师课后填写)授课教师王海霞、黄史记【课前复习】Hive表中数据导入的基本语法是什么?【作业点评】展示智课堂学生作业完成情况,并做点评。【学习目标】能熟练使用多种方式将表中数据导出到Hive表中;【课程导入】本章讨论HiveQL向表中装载数据和从表中抽取数据到文件系统的数据操作语言部分,即HiveDML。HiveDML是Hive生态系统中所有数据处理的基础。在本章中,当讨论通过查询语言生成目标表时,大量使用了SELECT...WHERE语句。那么,我们为什么不先讲述SELECT...WHERE语句,而直到下一章也就是第8章才阐述呢?因为我们刚讨论了如何创建数据库、创建表,就会期望先解决随之而来的下一个问题,即如何装载数据到这些表中,然后才能有数据供查询!我们假定用户已经理解了SQL的基础知识,因此这些语句对用户来说应该不陌生。如果用户对此并不熟悉,那么请到第8章获取相关更详细的介绍。【新课讲授】Hive支持直接将数据更新到表中。但频繁的update和delete操作已经违背了hive的初衷。因此,不到万不得已的情况,应该使用增量添加方式。其语法如下:UPDATEtablenameSETcolumn=value[WHEREexpression]语法解释如下表7-1:表7-1UPDATE更新表中数据语法解释关键字语法解释UPDATE用于更新表中值的关键字。tablenametablename是Hive中已有的表名。使用CREATETABLEtablename语句。SETcolumn=valueSET命令更新该列的一个值WHEREexpressionWHERE可用于为不同的查询挑选特定列的值特别说明的是,Hive中要实现update和delete操作成功,必须具备两个条件。条件一,在配置文件hive-site.xml中设置如下配置参数后重启Hive,以打开Hive的事务支持:条件二,该表必须支持ACID,而支持ACID表就必须满足以下3个条件:表的存储格式必须是ORC(STOREDASORC);表必须进行分桶(CLUSTEREDBY(col_name,col_name,...)INTOnum_bucketsBUCKETS);TABLEPROPERTY中参数'transactional'必须设定为True(tblproperties('transactional'='true'))。【讲练结合】【例7-13】在数据库studentdb中创建表book,包含bookID、bookname、subject三个字段,且均为string类型,插入数据(‘202010’,’PythonProgramming’,’Computer’)后,将bookID为'202010'的bookname改为'ProgrammingwithPython'后查询。【新课讲授】二、删除表中数据Hive支持直接在表中删除数据。其语法如下:DELETEFROMtablename[WHEREexpression]语法解释如下表7-:表7-DELETE删除表中数据语法解释关键字语法解释DELETE用于删除表中值的关键字。FROMtablenametablename是Hive中已有的表名。使用CREATETABLEtablename语句。WHEREexpressionWHERE可用于挑选查询要删除的特定列的值【讲练结合】【例7-14】在上例数据库studentdb中删除表book中的一条数据并查询。【新课讲授】三、导出:将表中数据导出1、将表中查询数据导出到HDFS文件系统Hive支持将表中查询到的数据导出到Hadoop分布式文件系统中。其语法如下:INSERTOVERWRITEDIRECTORYhdfsdirectorynameSELECTselect_fieldsFROMfrom_statement;语法解释如下表7-:表7-INSERTDIRECTORY...语法解释关键字语法解释INSERT用于将数据装载到Hive目录中的关键字。OVERWRITE如果包含,支持用户将数据导出到一个已经建好的目录中并且替换之前的数据;如果省略,支持用户将数据导出到一个已经建好的目录中并且将新数据追加到之前的数据后面。DIRECTORYhdfsdirectorynamedirectoryname是Hadoop分布式文件系统中已有的目录名称。使用Hadoop-mkdirdirectoryname可创建一个目录SELECTselect_fieldsFROMfrom_statement这可以是针对Hive生态系统的任何SELECT命令。执行INSERT语句时,一个或者多个文件将会被写入到hdfsdirectoryname,具体文件个数取决于调用的reducer个数。【讲练结合】【例7-15】将studentdb数据库中的phy_course表中的stname和opt_cour字段数据导出到hdfs文件系统中的/output目录下,导出字段之间间隔符为“,”。insert语句的执行要启用Mapreduce,执行完这条语句后,将会在hdfs文件系统的/output目录下生成默认名为000000_0的文件,这个文件是Reduce产生的结果。当没有指定导出字段间间隔符时,将使用hive默认的字段间隔符^A。【新课讲授】2、将表中查询数据导出到本地文件系统Hive支持将表中查询到的数据导出到本地文件系统中。其语法如下:INSERTOVERWRITELOCALDIRECTORYlocaldirectorynameSELECTselect_fieldsFROMfrom_statement;INSERT、OVERWRITE、SELECTselect_fieldsFROMfrom_statement语法解释与7.4.1中相同,LOCALDIRECTORYlocaldirectoryname中的localdirectoryname是本地文件系统中已有的目录名称。【讲练结合】【例7-16】将studentdb数据库中的phy_course表中的stID和class字段前10条数据导出到本地文件系统中的/home/hadoop/dataoutput目录下,导出字段之间

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论