大数据技术及应用-基于Python语言 习题解答:第6章 Hive基础与应用_第1页
大数据技术及应用-基于Python语言 习题解答:第6章 Hive基础与应用_第2页
大数据技术及应用-基于Python语言 习题解答:第6章 Hive基础与应用_第3页
全文预览已结束

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

Hive基础与应用一、简答题请简要叙述数据库与数据仓库的区别。答:普通关系型数据库主要应用于在线事务处理,其数据的实时性要求高。与之不同,数据仓库(DataWarehouse)则是一个面向主题的、集成的、相对稳定的、能够反映历史变化的数据集合,主要用于支持管理决策。若公司A打算构造一个网上商城,那么他该选择Hive还是Mysql作为数据存储工具,说明具体原因。答:可以结合使用Hive和Mysql网上商城的实时事务处理应该使用Mysql;对网上商场的历史交易数据进行统计、分析和管理决策可以使用Hive。简要叙述Hive的Table的概念。答:Hive表(Table)的概念与关系型数据库中表的概念具有相似之处,表是具有相同模式的同构数据单位,在逻辑上由存储的数据和描述表中数据类型的相关元数据组成。Hive的表分为“外部表”和“内部表(托管表)”。内部表,也叫托管表,是Hive在创建表时的默认表。内部表的生命周期时由hive控制的,默认情况下数据都存放在/user/hive/warehouse/下面。内部表被删除后,表的元数据和表数据都从HDFS中完全删除。外部表,创建表的SQL语句中加上external,创建的就是外部表。外部表的数据生命周期不受Hive控制,表中的数据在删除后仍然在HDFS中。优点:外部表的数据,可以同时作为多个外部表的数据源共享使用。适用于恢复误删的数据困难的情况,例如:实时采集的数据。分区会让数据分开不同的文件进行存储,请简要叙述分区的作用。答:分区的作用是可以提高查询速度和优化数据管理,缩小查询范围,加快数据的检索速度和对数据按照一定的规格和条件进行管理。一个数据表A(A1,A2,A3),请帮忙用Hive的DDL实现该表的创建操作。答:createtableA(A1int,A2string,A3string)二、实验题【实验6.1】利用Hive构建简单的数据仓库某大学要存储历年来所有学生的选课信息和历史成绩等信息,他们选择了用Hive存储这些历史信息,现在请你帮忙构建一个简单的数据仓库实现这些数据的存储。他们提出了一些基本信息要求如下:学生表Student(S,Sname,Sage,Ssex);其中各列含义为:S学生编号Sname学生姓名Sage出生年月Ssex学生性别课程表

Course(C,Cname,T);其中各列含义为:C课程编号Cname课程名称T教师编号教师表

Teacher(T,Tname);其中各列含义为:T教师编号Tname教师姓名成绩表

SC(S,C,score);其中各列含义为:S学生编号C课程编号score分数现请你完成数据仓库的构造,并实现下面的查询要求。按照上述数据存储要求进行数据仓库的构造;按年级统计每届学生人数;查询“Bill”的选课信息,具体要求包括所选课程名,以及最终成绩;查询"01"课程历年来的选课学生信息;查询平均成绩大于等于60分的同学的学生编号和学生姓名和平均成绩;查询所有同学的学生编号、学生姓名、选课总数、所有课程的总成绩;参考解答:1、创建数据库和表:createdatabasedb_student;usedb_student;(1)学生表createtableStudent(Sstring,Snamestring,Sagestring,Ssexstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';从.txt中导入数据: loaddatalocalinpath'/work/data/student.txt'intotabledb_student.Student;student.txt的格式: 2020001 Yan 1999-03-11 M 2021001 Li 2001-11-20 F 2020002 Ma 1999-10-01 M 2021002 Liu 2000-04-07 M2021003 Bill 2001-05-06 F(2)课程表createtableCourse(Cstring,Cnamestring,Tstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';insertintoCoursevalues('01','math','t01');(3)教师表

createtableTeacher(Tstring,Tnamestring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';insertintoTeachervalues('t01','Zhang');(4)成绩表

SCcreatetableSC(Sstring,Cstring,scorefloat)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t';insertintoSCvalues('2021003','01',91);insertintoSCvalues('2021001','01',88);2、按年级统计每届学生人数 selectcount(*)fromstudentgroupbysubstr(S,0,4);3、查询“Bill”的选课信息,具体要求包括所选课程名,以及最终成绩;selectb.C,b.Cname,a.scorefromSCasajoinCourseasbona.C=b.Cwherea.Sin(selectSfromStudentwhereSname='Bill');4、查询"01"课程历年来的选课学生信息;selecta.C,b.S,b.SnamefromSCasaleftjoinStudentasbona.S=b.Swherea.C='01';(用leftjoin的原因是01课程可能没有学生选)5、查询平均成绩大于等于60分的同学的学生编号和学生姓名和平均成绩; selectS,avg(score)asavg_scorefromSCgroupbyShavingavg_score>=

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论