2025年大数据《SQL与Hive优化》练习题集

2025年大数据《SQL与Hive优化》练习题集考试时间：______分钟总分：______分姓名：______一、选择题1.下列哪个HiveQL命令用于获取查询的执行计划？A.DESCB.EXPLAINC.DESCRIBED.SHOW2.在Hive中，`GROUPBY`子句和`ORDERBY`子句的主要区别在于？A.`GROUPBY`必须使用聚合函数，`ORDERBY`可以使用任意列B.`GROUPBY`用于对数据进行分组，`ORDERBY`用于对结果进行排序C.`GROUPBY`通常比`ORDERBY`更消耗资源D.`GROUPBY`只能在分区表上使用，`ORDERBY`不能3.以下哪种数据格式通常比TextFile格式具有更好的压缩率和查询性能？A.SequenceFileB.ORCC.ParquetD.RCFile4.假设有两个表`employees`(emp_id,emp_name)和`departments`(dept_id,dept_name)，要查询每个部门名称及其对应的所有员工姓名，以下哪种JOIN操作最合适？A.INNERJOINB.LEFTJOINC.RIGHTJOIND.FULLOUTERJOIN5.在Hive中，`LOADDATAINPATH`语句执行时，默认情况下，原始数据文件会被移动到目标目录下，这可能导致的问题之一是？A.数据重复B.权限问题C.数据丢失D.性能下降6.以下哪个Hive物理优化技术主要通过减少数据量在Map任务之间传输来提升JOIN性能？A.Map-sideJoinB.BucketMap-sideJoinC.SortMergeJoinD.BroadcastHashJoin7.在Hive中，为表添加分区通常需要？A.修改表结构B.重新加载数据C.修改元数据表D.以上都是8.以下哪个参数通常用于设置Map任务执行的内存大小？A.`hive.exec.reducers.bytes.per.reducer`B.`mapreduce.map.memory.mb`C.`hive.exec.dynamic.partition`D.`hive.exec.parallel`9.读取一个桶分区表时，如果查询条件中包含了对桶键的过滤，Hive会怎么做？A.忽略过滤条件，读取所有桶B.只读取符合条件的桶C.需要使用Map-sideJoin才能过滤D.报错10.在Hive中创建索引的主要目的是？A.提高小数据量表的查询速度B.减少数据存储空间C.加快数据插入速度D.实现数据的快速查找二、判断题1.Hive中的外部表和内部表的主要区别在于外部表的数据文件在删除表时会被保留。()2.使用窗口函数可以实现分组统计，因此它和`GROUPBY`子句的功能完全相同。()3.分区表在进行查询时，如果只查询特定分区的数据，Hive会自动跳过其他分区，只扫描需要的分区数据，从而提高查询效率。()4.在Hive中，任何复杂的查询都可以通过调整MapReduce作业的参数来获得显著的性能提升。()5.ORC文件格式支持向列式存储和索引，因此它比Parquet格式慢。()6.子查询可以嵌套在`SELECT`、`WHERE`或`HAVING`子句中。()7.`hive.exec.dynamic.partition=true`参数允许在`SELECT`语句中动态指定分区字段。()8.当使用Map-sideJoin优化时，小表会被完全加载到内存中。()9.Hive的Metastore负责存储表的元数据信息。()10.ExplainPlan中出现的SortOperator表示数据进行了排序操作，这通常意味着查询性能会有所下降。()三、简答题1.简述Hive中“桶(Bucketing)”的概念及其主要优势。2.简述在Hive中创建分区表的好处。3.解释HiveQL中`GROUPBY`和`ORDERBY`的区别，并说明为什么通常`ORDERBY`的性能较差。4.简述Hive中“Map-sideJoin”的适用场景及其原理。5.列出三种常见的HiveSQL优化技巧。四、分析题1.假设有以下Hive表结构：```sql--表1:sales(sale_id,product_id,sale_date,amount)--表2:products(product_id,product_name,category)--查询语句:SELECTduct_name,SUM(s.amount)AStotal_salesFROMsalessJOINproductspONduct_id=duct_idWHEREs.sale_dateBETWEEN'2024-01-01'AND'2024-12-31'GROUPBYduct_nameORDERBYtotal_salesDESC;```请分析这段查询语句可能存在的性能问题，并提出至少三条具体的优化建议。2.给出以下Hive查询的执行计划片段(简化版):```ExplainTABLESAMPLE来进行BucketMap-sideJoin。JOIN[TableName1],[TableName2]USING(common_col)Map-sideJoin[TableName2],Sort[TableName1],GroupBy[TableName1].col1,[TableName1].col2```请解释这段执行计划的主要内容，并说明其中可能存在的性能优化空间。试卷答案一、选择题1.B解析：`EXPLAIN`命令用于获取Hive查询的执行计划。2.B解析：`GROUPBY`用于对数据进行分组统计，`ORDERBY`用于对查询结果进行排序。这是它们最根本的区别。3.C解析：ORC和Parquet都是列式存储格式，相比TextFile这种行式存储格式，它们通过更好的压缩和向列式读取优化，通常具有更好的查询性能和压缩率。4.A解析：INNERJOIN返回两个表中匹配的记录，符合题意“查询每个部门名称及其对应的所有员工姓名”。5.B解析：`LOADDATAINPATH`默认行为是将输入文件移动到目标目录，可能导致权限问题，因为文件所有权和访问权限可能不会保留。6.A解析：Map-sideJoin通过在Map端将小表数据加载到内存，并与大表的每一行进行匹配，从而避免了大表之间的数据传输，减少了网络开销。7.D解析：添加分区需要修改表结构（添加分区字段），重新加载数据（或使用ALTERTABLEADDPARTITION），并在元数据表中记录分区信息。8.B解析：`mapreduce.map.memory.mb`是MapReduce框架的参数，用于设置单个Map任务执行的内存大小。Hive中的对应参数通常是`hive.mapred.map.memory.mb`，但优先看这个通用参数名。9.B解析：对桶分区表进行查询时，如果过滤条件涉及桶键，Hive可以利用这一信息，只扫描包含符合条件桶的数据文件，提高效率。10.D解析：索引的主要作用是加速特定列的查询查找速度，尤其是在大数据集上。二、判断题1.√解析：外部表的数据文件存储在HDFS上，与表定义分开，删除表时不会删除数据文件，直到显式地从HDFS上删除。2.×解析：窗口函数用于对结果集的特定分区进行计算，不改变分组结构，而`GROUPBY`会将数据按指定列分组，并通常聚合。它们功能不同。3.√解析：这是分区表的基本优势，通过过滤分区可以显著减少需要扫描的数据量，提升查询效率。4.×解析：参数调优是优化的一部分，但不能保证所有复杂查询都能通过简单调优显著提升性能，有时需要修改查询逻辑或使用更优的物理优化技术。5.×解析：ORC和Parquet都是高效的列式存储格式，通常比TextFile快得多，并且具有更好的压缩率。6.√解析：HiveQL支持在`SELECT`、`WHERE`、`HAVING`等子句中嵌套子查询。7.√解析：`hive.exec.dynamic.partition=true`允许在`SELECT`语句中（需配合`CLUSTERBY`或`DYNAMICPARTITIONBY`关键字）动态指定分区字段。8.√解析：Map-sideJoin的核心思想是将小表完全加载到Map任务的内存中，因此需要小表足够小以适应内存。9.√解析：Metastore是Hive的元数据存储服务，负责存储数据库、表、列、分区等元数据信息。10.×解析：SortOperator本身是执行排序，但如果排序的记录数不多，或者排序字段就是查询的输出字段（可能被缓存），或者Sort操作由Map任务内部完成（如Map-sideJoin中的预排序），性能影响可能不大甚至没有。三、简答题1.答：桶(Bucketing)是将表中的数据根据某个或某些列的值，通过哈希函数分配到固定数量的等大小“桶”中。主要优势包括：①可以利用桶键进行更高效的分区过滤和数据访问；②是实现高效Map-sideJoin的基础；③可以减少数据扫描范围，提升查询性能。2.答：创建分区表的好处：①数据管理更方便：可以按业务维度（如时间、地区）组织数据，方便维护和备份；②查询性能提升：可以通过在查询时过滤分区来减少扫描的数据量；③存储优化：不同分区的数据可以存储在不同的物理位置。3.答：区别在于目的和执行时机不同。`GROUPBY`用于将数据按指定列分组，并通常执行聚合函数，是查询逻辑的一部分，结果集会包含每组的一个或多个记录。`ORDERBY`用于对最终查询结果进行排序，是结果集的呈现方式，不影响查询逻辑和返回的记录集合。性能上，`GROUPBY`涉及分组和聚合计算，可能需要排序或分组数据，开销较大；`ORDERBY`在数据已分组或聚合后对结果集进行排序，如果排序字段不是聚合字段，且数据量较大，排序操作本身也会消耗资源。4.答：适用场景：当其中一个参与JOIN的表相对较小，且JOIN字段是桶键时。原理：将小表的数据（或其桶的代表性数据）加载到Map任务的内存中，为每个Map输出记录创建一个“桶列表”；然后，大表的记录到来时，根据其JOIN字段的值计算目标桶，并将其添加到对应桶列表中。最后，Map任务会输出多个桶列表，每个桶列表包含属于该桶的所有记录组合，Reduce任务（或下一阶段Map任务）负责合并这些桶列表完成JOIN。5.答：常见的HiveSQL优化技巧包括：①使用合适的JOIN类型，优先考虑Map-sideJoin或BucketMap-sideJoin；②合理使用分区和桶；③选择高效的文件格式（ORC/Parquet）；④避免全表扫描，尽量使用WHERE子句过滤数据；⑤使用窗口函数代替复杂的自连接或子查询；⑥优化GROUPBY和ORDERBY子句；⑦为经常用于过滤和排序的列创建索引（如果Hive版本和配置支持）；⑧分析ExplainPlan，识别并解决性能瓶颈。四、分析题1.答：可能存在的性能问题：①`sales`表可能很大，`WHEREs.sale_dateBETWEEN'2024-01-01'AND'2024-12-31'`可能导致全表扫描（如果表没有按日期分区）。②`sales`表和`products`表的`product_id`字段可能没有索引，JOIN操作可能使用NestedLoopJoin，效率较低。③`GROUPBYduct_name`可能需要扫描大量数据并进行分组计算。④`ORDERBYtotal_salesDESC`需要对所有分组后的结果进行排序，如果结果集很大，排序开销会很大。优化建议：①对`sales`表按`sale_date`字段分区，查询时利用分区过滤。②如果`product_id`是常用的JOIN或过滤字段，考虑在其上创建索引（如果Hive版本和配置支持）。③对`sales`表按`product_id`和`sale_date`创建索引（如果支持），或确保`product_id`是分区键或bucketkey，以优化JOIN操作。④对`products`表按`product_id`创建索引（如果支持）。⑤考虑使用BucketMap-sideJoin，如果`sales`表的`product_id`和`products`表的`product_id`都是桶键，并且桶数量设置合理。⑥如果查询结果集很大，可以考虑是否需要排序，或者是否可以在应用层处理。⑦分析ExplainPlan，看是否可以使用其他JOIN策略（如SortMergeJoin，如果数据量适中）。2.答：执行计划解释：*`TABLESAMPLE`：表明查询使用了基于桶的采样或分发策略，可能是在一个分桶的父表中进行采样，或者是在Map-sideJoin中准备桶列表。*`JOIN[TableName1],[TableName2]USING(common_col)`：表示存在一个JOIN操作，两个表通过`common_col`字段关联。`USING`表示该字段在两个表中名称相同。*`Map-sideJoin[TableName2],Sort[TableName1]`：说明对于`[TableName1]`，执行了Sort操作，可能是为了后续的Map-sideJoin或分组。对于`[T