计算机岗大数据技术专项训练试卷

计算机岗大数据技术专项训练试卷考试时间：______分钟总分：______分姓名：______一、单项选择题1.在HadoopHDFS架构中，NameNode主要负责管理文件系统的命名空间和元数据，而DataNode主要负责存储实际的数据块。关于HDFS的块大小，下列说法正确的是（）。A.块大小固定为128MB，不能修改B.块大小通常为64MB，适合小文件存储C.块大小默认为128MB，可以通过配置文件修改D.块大小越小，数据恢复速度越快2.在MapReduce计算框架中，Map阶段产生的中间键值对会被发送到Reduce阶段。这一过程发生在（）阶段。A.InputSplitB.MapC.ShuffleD.Reduce3.在Hive中，如果将一张表创建为EXTERNALTABLE，当执行DROPTABLE命令时，下列行为描述正确的是（）。A.表的元数据和HDFS上的数据都会被删除B.表的元数据和HDFS上的数据都不会被删除C.只删除表的元数据，HDFS上的数据保留D.只删除HDFS上的数据，表的元数据保留4.在Kafka架构中，为了保证消息的有序性，下列说法正确的是（）。A.同一个Topic内的所有消息都是有顺序的B.同一个Partition内的消息是有顺序的C.同一个ConsumerGroup内的消息是有顺序的D.同一个Broker上的消息是有顺序的5.在Spark中，RDD（弹性分布式数据集）的核心特性不包括（）。A.分区性B.不可变性C.面向对象D.面向记录6.在Flink中，Watermark（水位线）的主要作用是（）。A.触发窗口计算B.判断数据是否迟到C.进行数据去重D.协调分布式事务7.在ZooKeeper中，Leader选举通常需要满足多少个节点同意才能选举出新Leader？（）A.半数以上B.全部节点C.1个节点D.3个节点8.在HBase中，列族（ColumnFamily）是表中最基本的存储单元，下列关于列族的描述正确的是（）。A.一张表只能有一个列族B.列族一旦创建不能修改C.列族中包含多个列限定符（ColumnQualifier）D.数据存储在RowKey中9.关于Hive的分区（Partition）和分桶（Bucket），下列说法正确的是（）。A.分区是物理存储上的隔离，分桶是逻辑上的隔离B.分区是逻辑上的隔离，分桶是物理存储上的隔离C.分区和分桶的作用完全相同D.分桶数量必须大于等于分区数量10.在大数据开发中，为了避免MapReduce任务中的数据倾斜，常用的优化手段不包括（）。A.过滤掉Null值或异常值B.增加ReduceTask的个数C.在Map端进行预聚合D.将Join操作改为Semi-Join二、多项选择题1.以下属于Hadoop生态系统核心组件的有（）。A.HDFSB.YARNC.MapReduceD.ZooKeeperE.Spark2.在Spark编程中，RDD的算子根据其计算特性可以分为Transformation（转换算子）和Action（行动算子）。下列属于Transformation算子的有（）。A.mapB.filterC.reduceByKeyD.collectE.saveAsTextFile3.在Kafka中，关于消费者组（ConsumerGroup）的描述，正确的有（）。A.一个Topic可以被多个ConsumerGroup消费B.同一个ConsumerGroup内的消费者只能消费一个Partition的数据C.ConsumerGroup内的消费者数量如果大于Partition数量，多余的消费者会处于空闲状态D.同一个ConsumerGroup内的消费者可以消费同一个Partition的数据E.ConsumerGroup实现了负载均衡4.下列关于Hive中索引的描述，正确的有（）。A.Hive的索引是基于B-Tree实现的B.创建索引可以提高查询速度C.索引表存储在HDFS上D.索引不会占用额外的存储空间E.只有在查询条件中使用了索引字段，索引才会生效5.在Flink中，状态后端（StateBackend）的类型主要有以下几种（）。A.MemoryStateBackendB.FsStateBackendC.RocksDBStateBackendD.RedisStateBackendE.HBaseStateBackend三、判断题1.HDFS中的NameNode支持多NameNode，即支持HA（高可用）架构，NameNode节点之间是互相通信的。（）2.在Spark中，Transformation算子是延迟执行的，只有遇到Action算子时才会真正开始计算。（）3.Kafka消息一旦被消费者消费，无论消费者是否处理完成，该消息都会被立即删除。（）4.在Hive中，分区表实际上就是将数据分散存储在不同的目录下，目录名即为分区名。（）5.Flink的Checkpoint机制是通过Barrier（屏障）将数据流切分为多个子流来实现的，Barrier是无状态的。（）6.在MapReduce中，Shuffle阶段主要完成数据的排序和压缩，是整个计算过程中最消耗资源的环节。（）四、简答题1.请简述HDFS的读写流程。(1)客户端向NameNode请求上传文件；(2)NameNode检查文件路径是否存在及权限；(3)NameNode返回可用的DataNode列表；(4)客户端开始将文件切分成Block，并从DataNode列表中选取3个节点进行数据上传；(5)数据块在DataNode之间进行传输，每传输一个块，DataNode会向NameNode发送ACK确认；(6)所有Block上传完成后，NameNode将文件状态更新为完成。2.请简述SparkRDD（弹性分布式数据集）的五大特性。(1)分区性：数据被划分成多个分区，存储在不同的节点上；(2)不可变性：RDD是只读的，一旦创建就不能被修改；(3)面向记录：RDD中的元素是可序列化的记录；(4)依赖关系：RDD之间存在依赖关系，形成血统；(5)缓存机制：可以持久化或缓存RDD，提高重复使用效率。3.请解释Hive中“分桶”的作用。(1)提高查询效率：通过分桶，可以在查询时进行分桶剪裁，减少扫描的数据量；(2)优化Join操作：在进行大表Join大表时，可以利用分桶进行MapJoin；(3)数据采样：便于进行数据抽样分析。五、SQL与编程题1.请使用HiveSQL完成以下需求：已知表结构：`order_log`(order_idstring,user_idstring,product_idstring,pricedouble,dtstring)。表中数据包含日期字段`dt`。请编写SQL语句，查询`dt='20231001'`这一天中，每个用户购买金额（price总和）排名前3的用户及其总金额。2.请使用SparkDataFrameAPI完成以下需求：已知有一个包含`id`（整数）、`name`（字符串）、`score`（整数）的DataFrame`df`。请编写代码：(1)筛选出`score`大于80的数据；(2)将`name`列首字母大写；(3)按`score`降序排序；(4)将结果保存为Parquet格式到`/data/output/score_result`目录下。3.请简述MapReduce中Combiner（组合器）的作用。Combiner是MapReduce程序中Mapper和Reducer之间的一个本地聚合操作。它的主要作用是在Map输出的结果传给Reduce之前，在本地进行一次轻量级的聚合计算（如求和、求最大值等），以减少网络传输的数据量，从而提高整个Job的执行效率。试卷答案一、单项选择题1.C解析：HDFS的块大小默认为128MB（新版本），可以通过配置文件（如`hdfs-site.xml`）进行修改。块大小过大会导致NameNode内存压力大且寻址时间变长，过小会增加寻址次数和元数据管理开销。数据恢复速度主要取决于副本机制，与块大小无直接关系。2.C解析：Shuffle是MapReduce中Map输出的Key-Value对传输到Reduce的过程。它包括数据分区、排序、合并等操作，发生在Map阶段之后、Reduce阶段之前。3.C解析：创建EXTERNALTABLE表示外部表，表定义与物理数据分离。执行DROPTABLE命令时，只会删除Hive元数据（表结构），HDFS上的物理数据文件会被保留。这通常用于数据共享或防止误删数据。4.B解析：Kafka保证单个Partition内的消息是有序的。同一个Topic包含多个Partition，不同Partition之间的消息是无序的。ConsumerGroup内的消费者共享Partition，而不是消费者共享消息。5.C解析：SparkRDD的核心特性包括：1.分区性；2.不可变性；3.依赖关系；4.缓存机制；5.面向记录。RDD是函数式编程模型，强调不可变性和基于函数的转换，而非面向对象的特性。6.B解析：Watermark（水位线）是Flink处理迟到数据的核心机制。它是一个时间戳标记，用于告诉系统当前处理到了什么时间点的数据，从而判断哪些数据已经“迟到”并触发窗口计算或丢弃。7.A解析：ZooKeeper采用Quorum机制（法定人数机制），即需要超过半数（N/2+1）的节点同意才能进行Leader选举或执行写操作。8.C解析：列族是HBase中最基本的存储单元。列族在创建表时定义，一旦创建很难修改。列族中包含多个列限定符。数据存储在列族对应的StoreFile中，而非RowKey中。9.B解析：分区是逻辑上的概念，对应HDFS上的目录，用于快速过滤数据；分桶是物理存储上的概念，将数据分片存储，用于提高查询效率和Join效率。10.B解析：数据倾斜通常发生在Reduce阶段，导致部分Reduce节点计算量过大。增加ReduceTask的数量反而会加剧数据倾斜，因为更多任务会争夺相同的数据块。优化手段通常包括过滤Null值、预聚合、广播变量等。二、多项选择题1.ABCD解析：HDFS负责存储，YARN负责资源调度，MapReduce负责计算，ZooKeeper负责分布式协调服务。Spark是独立的计算框架，不属于Hadoop核心组件。2.ABC解析：map、filter、reduceByKey、groupByKey、flatMap等属于转换算子，它们是延迟执行的，只有遇到Action算子才会触发计算。collect、saveAsTextFile、count、reduce等属于Action算子。3.ACE解析：消费者组实现了负载均衡，同一个Group内的消费者可以消费不同Partition的数据；同一个Partition只能被Group内的一个消费者消费；一个Topic可以被多个Group消费。4.ABCE解析：Hive索引基于B-Tree实现，可以加速查询，但索引表会占用额外的存储空间，且只有查询条件中使用了索引字段时才生效。5.ABC解析：Flink提供三种标准的StateBackend：MemoryStateBackend（内存）、FsStateBackend（HDFS文件）、RocksDBStateBackend（嵌入式数据库）。Redis和HBase通常作为外部存储，不属于StateBackend本身。三、判断题1.错误解析：在HDFSHA架构中，ActiveNameNode和StandbyNameNode之间是独立的，不直接进行数据通信。它们通过ZooKeeper监控状态，由ZKFC（故障转换控制器）负责进行状态切换。2.正确解析：这是RDD的核心特性之一。RDD只支持转换操作，不支持数据修改。只有遇到Action算子时，Spark才会根据DAG图开始真正执行计算。3.错误解析：Kafka默认提供“至少一次”的语义。消费者必须提交Offset，Broker才会确认消息被消费。即使消费者宕机重启，之前未提交Offset的消息仍然可以被重新消费。4.正确解析：分区表在HDFS上表现为目录结构，分区名即为目录名。例如`/table_name/dt=20231001/`，这种结构便于根据分区字段进行数据过滤。5.正确解析：Flink的Checkpoint机制通过Barrier（屏障）将数据流切分为多个子流，每个子流对应一个Checkpoint。Barrier是无状态的，在流经算子时会被复制或修改。6.正确解析：Shuffle阶段涉及大量的网络IO和磁盘IO（排序、压缩），是MapReduce中最耗时、最消耗资源的环节。四、简答题1.HDFS读写流程解析：*读流程：1.客户端向NameNode请求下载文件，NameNode检查文件路径和权限。2.NameNode返回文件存储的Block列表（包括Block所在的DataNode地址）。3.客户端根据Block列表，从就近的DataNode开始并行下载。4.客户端启动多个线程，每个线程从一台DataNode拉取数据，数据块在传输过程中会被校验（校验和）。5.拉取完所有Block后，客户端将数据组装成完整的文件。*写流程：1.客户端向NameNode请求上传文件。2.NameNode检查文件是否存在、权限是否允许。3.NameNode返回可用的DataNode列表（通常为3个副本节点）。4.客户端将文件切分为Block，并按顺序请求存储这些Block。5.第一个Block被上传到第一个DataNode，该节点收到后继续传给第二个、第三个DataNode，形成流水线。6.每个DataNode接收并存储数据后，向NameNode发送ACK确认。7.所有Block上传完毕后，NameNode将文件状态更新为完成。2.SparkRDD五大特性解析：*分区性：数据集被划分为多个分区，分布在集群的不同节点上，支持并行计算。*不可变性：RDD一旦创建，其内容就不能被修改，只能通过转换算子生成新的RDD。*依赖关系：RDD之间存在依赖关系（血缘关系），这种依赖关系决定了数据计算的方式和容错策略。*面向记录：RDD中的元素是可序列化的记录，支持函数式编程操作。*缓存机制：可以通过persist()或cache()将RDD缓存到内存或磁盘中，提高重复使用的效率。3.Hive分桶作用解析：*提高查询效率：在进行查询时，可以利用分桶进行分桶剪裁，只扫描特定桶的数据，减少IO开销。*优化Join操作：在进行大表Join大表时，如果两张表按照Join键进行了分桶且桶数相同，可以使用MapJoin，避免数据在Reduce阶段的Shuffle传输，极大提升性能。*数据采样：分桶使得数据抽样变得非常方便，可以快速统计数据的分布情况。五、SQL与编程题1.HiveSQL解析：*思路：首先需要按用户分组并计算每个用户的总金额，然后使用窗口函数`ROW_NUMBER()`对总金额进行排名，最后筛选出排名在前3的用户。*答案：```sqlSELECTuser_id,total_amountFROM(SELECTuser_id,SUM(price)AStotal_amount,ROW_NUMBER()OVER