2026年(大数据技术)大数据处理试题及答案

2026年(大数据技术)大数据处理试题及答案一、单项选择题（本大题共20小题，每小题2分，共40分。在每小题给出的四个选项中，只有一项是符合题目要求的）1.在Hadoop生态系统中，负责资源管理和调度的组件是（）。A.HDFSB.MapReduceC.YARND.ZooKeeper2.HDFS默认的块大小（BlockSize）在Hadoop3.x版本中通常设置为（）。A.64MBB.128MBC.256MBD.512MB3.下列关于MapReduce中Shuffle阶段的描述，错误的是（）。A.Shuffle阶段连接Map端输出和Reduce端输入B.Shuffle阶段包含了Map端的溢写和MergeC.Shuffle过程不涉及网络传输D.Shuffle阶段的性能通常决定了MapReduce作业的运行时间4.在Spark中，RDD（ResilientDistributedDataset）的特性不包括（）。A.弹性B.分布式C.可变D.基于内存5.HBase的数据模型中，RowKey的设计至关重要，下列关于RowKey的说法正确的是（）。A.RowKey是任意字符串，没有长度限制B.RowKey在HBase内部是按照字典序进行排序存储的C.RowKey可以设置为nullD.RowKey的设计对读取性能没有影响6.下列哪种场景最适合使用Flume进行数据采集？（）A.从关系型数据库中通过SQL查询同步数据B.监控服务器日志文件并将增量数据实时传输C.爬虫抓取互联网网页数据D.手动上传Excel文件到HDFS7.SparkSQL中，将DataFrame注册为临时视图后，可以使用哪种方式执行查询？（）A.df.sql()B.spark.sql()C.context.sql()D.session.query()8.Kafka中，消息的持久化是通过（）实现的。A.内存缓存B.磁盘日志文件C.数据库D.Redis9.在Hive中，内部表和外部表的主要区别在于（）。A.存储格式不同B.分区方式不同C.删除表时是否删除元数据和数据D.支持的查询语言不同10.Spark作业中，对于宽依赖的RDD，Stage的划分依据是（）。A.数据本地性B.Shuffle操作C.分区数量D.内存大小11.下列关于ZooKeeper的描述，不正确的是（）。A.是一个分布式协调服务B.提供了类似于Linux文件系统的树形结构C.保证数据强一致性D.不支持Watch监听机制12.在Scala中，下列哪个关键字用于定义伴生对象？（）A.classB.objectC.traitD.extends13.Flink相比SparkStreaming，在处理流式数据时的主要优势在于（）。A.批处理速度更快B.基于事件的低延迟处理C.生态更丰富D.代码编写更简单14.HDFS中，默认的副本replicationfactor数量是（）。A.1B.2C.3D.415.在Spark中，下列哪个算子属于Action算子，会触发作业提交？（）A.mapB.filterC.reduceByKeyD.count16.列式存储格式在大数据场景下的主要优势是（）。A.适合频繁的插入和更新操作B.适合查询特定的少数列，IO开销小C.压缩比通常低于行式存储D.不支持复杂的数据类型17.数据倾斜是大数据计算中的常见问题，下列哪种操作最容易导致数据倾斜？（）A.FilterB.MapC.GroupByKey/ReduceByKeyD.Union18.在Hive中，使用ORC格式存储数据时，下列哪种特性不是其自带的？（）A.索引B.压缩C.事务支持（ACID）D.自动分桶19.Redis在大数据架构中常用于（）。A.海量数据离线分析B.高速缓存和实时计数C.数据仓库存储D.文件系统20.下列关于Lambda架构的描述，正确的是（）。A.只包含一个批处理层B.只包含一个速度层C.包含批处理层、速度层和服务层，最终结果由两者合并D.无法保证数据的准确性二、多项选择题（本大题共10小题，每小题3分，共30分。在每小题给出的四个选项中，有多项是符合题目要求的。全部选对得满分，选少得部分分，错选不得分）1.HadoopHDFS的高可用性（HA）机制通常涉及哪些组件？（）A.JournalNodesB.ZooKeeperC.ZKFailoverControllerD.ResourceManager2.下列哪些是SparkRDD的算子？（）A.mapB.flatMapC.mapPartitionsD.collect3.Kafka生产者发送消息的方式包括哪些？（）A.发送并忘记B.同步发送C.异步发送D.事务发送4.解决Spark数据倾斜的常用方法有哪些？（）A.提高并行度B.使用BroadcastJoin代替ShuffleJoinC.对Key添加随机前缀进行两阶段聚合D.增加Executor内存5.Hive的metastore的作用包括哪些？（）A.存储Hive表的元数据B.存储Hive表的分区信息C.存储HDFS上的实际数据D.提供元数据服务给客户端6.Flume的核心组件包括哪些？（）A.SourceB.ChannelC.SinkD.Interceptor7.下列哪些属于NoSQL数据库？（）A.HBaseB.MongoDBC.RedisD.MySQL8.在Scala中，关于函数式编程特性的描述，正确的有？（）A.函数是第一类公民B.支持高阶函数C.支持不可变数据D.必须显式声明变量类型9.Flink中的时间语义包括哪些？（）A.ProcessingTimeB.EventTimeC.IngestionTimeD.SystemTime10.下列关于数据仓库维度的描述，正确的有？（）A.维度是观察数据的角度B.时间维度是所有数据仓库通用的维度C.维度表通常包含大量的描述性属性D.维度表的数据量通常比事实表大三、填空题（本大题共15小题，每小题2分，共30分）1.HDFS采用__________架构，包含NameNode、DataNode和Client。2.MapReduce的计算模型主要分为Map阶段和__________阶段。3.Spark的Driver程序主要负责构建DAG（有向无环图）并拆分任务为__________。4.HBase表中，定位一行数据需要通过__________和列族、列名及时间戳。5.Kafka中，__________是逻辑上的概念，对应物理上的Log分段。6.Hive的__________命令用于将HQL查询结果直接导出到本地文件系统。7.在Scala中，__________集合类型是不可变的，而ListBuffer是可变的。8.Flume中，__________Channel是纯内存通道，速度快但存在数据丢失风险。9.SparkStreaming中DStream的离散化本质是由一系列连续的__________组成的。10.YARN中，负责管理应用程序生命周期的组件是__________。11.HDFS的__________机制用于保证数据在节点故障时的恢复能力。12.Redis中，__________数据结构常用于实现消息队列。13.数据清洗中，缺失值处理的常见方法有删除、填充均值和__________。14.在机器学习库MLlib中，__________是用于特征标准化的常用方法。15.Kappa架构旨在通过__________处理技术同时满足实时和离线分析需求，简化了Lambda架构。四、判断题（本大题共10小题，每小题1分，共10分。正确的打“√”，错误的打“×”）1.HDFS适合存储大量的小文件。（）2.RDD是Spark中的基本抽象，一旦创建就不能修改。（）3.ZooKeeper可以用于实现Hadoop的高可用（HA）自动故障转移。（）4.Hive中的ORDERBY会对全局数据进行排序，因此必须配合LIMIT使用以避免性能问题。（）5.Kafka的消费者组内，每个分区只能被组内的一个消费者消费。（）6.Spark中的累加器是共享变量，用于在不同节点间聚合数据，且支持写操作。（）7.HBase是关系型数据库，支持复杂的SQL查询。（）8.Flink的窗口操作基于EventTime时，必须处理Watermark（水位线）。（）9.数据的范式设计（3NF）在大数据仓库中总是最佳选择。（）10.BroadCastJoin（广播连接）适用于大表Join大表的情况。（）五、简答题（本大题共5小题，每小题8分，共40分）1.简述HDFS的读写流程。2.请解释SparkRDD中的窄依赖和宽依赖的区别，并说明它们对Stage划分的影响。3.列举并简述Hive内部表和外部表的区别及使用场景。4.什么是CAP定理？NoSQL数据库通常如何在CAP之间进行权衡？5.简述Kafka的高吞吐量设计原理。六、综合应用题（本大题共3小题，共40分）1.（本题12分）MapReduce编程应用：假设有一份海量天气数据文件（weather.txt），每行格式为：`日期,地点,温度`（例如：`2023-01-01,Beijing,5`）。请编写MapReduce伪代码或思路，找出每个地点的最高气温。要求：(1)描述Map函数的输入输出键值对。(2)描述Reduce函数的输入输出键值对。(3)简述如何利用Combiner优化该过程。2.（本题15分）SparkSQL与数据处理分析：现有两张表：用户信息表：`user_info(user_id,user_name,city)`订单明细表：`order_detail(order_id,user_id,amount,pay_time)`请使用SparkSQL或DataFrameAPI编写代码逻辑完成以下任务：(1)统计每个城市的总销售额和订单总数。(2)找出消费金额排名前10的用户。(3)如果数据量极大，且order_detail表存在数据倾斜（某些user_id订单极多），请给出一种优化方案并解释原因。3.（本题13分）大数据架构设计：某电商平台需要构建一个实时大屏系统，展示当天的实时GMV（商品交易总额）、实时订单量和各品类的实时销量排名。数据来源为用户产生的埋点日志（包含点击、下单、支付等事件），日志格式JSON，通过Nginx输出。请设计一个基于Flume+Kafka+SparkStreaming/Flink+Redis的技术方案。要求：(1)画出简略的数据流向图。(2)解释每个组件的作用。(3)说明如何保证数据的不丢失（Exactly-once语义）。参考答案一、单项选择题1.C2.B3.C4.C5.B6.B7.B8.B9.C10.B11.D12.B13.B14.C15.D16.B17.C18.D19.B20.C二、多项选择题1.ABC2.ABCD3.ABC4.ABC5.ABD6.ABC7.ABC8.ABC9.ABC10.ABC三、填空题1.Master/Slave2.Reduce3.TaskSet4.RowKey5.Topic6.INSERTOVERWRITELOCALDIRECTORY7.List8.Memory9.RDD10.ApplicationMaster(AM)11.副本机制/心跳检测12.List13.插值/填充众数/填充特定值14.StandardScaler15.流处理四、判断题1.×2.√3.√4.√5.√6.√7.×8.√9.×10.×五、简答题1.简述HDFS的读写流程。答：读流程：(1)Client调用DistributedFileSystem.open()方法，与NameNode通信，获取文件块的位置信息（块所在的DataNode列表）。(2)NameNode返回按距离排序的DataNode地址。(3)Client选择最近的DataNode建立连接，调用read()读取数据。(4)读取完一个块后，Client会关闭连接，然后寻找下一个块的最近DataNode继续读取，直到文件结束。(5)读取过程中，如果遇到DataNode故障，Client会尝试连接副本所在的DataNode。写流程：(1)Client调用create()方法，向NameNode请求上传文件。NameNode检查权限及文件是否存在，若允许则创建文件条目。(2)Client请求第一个Block上传到哪些DataNode。NameNode返回副本存放的DataNode列表。(3)Client建立数据流管道，将数据按Packet写入第一个DataNode。(4)第一个DataNode接收后，传给第二个，第二个传给第三个（流水线复制）。(5)每个DataNode接收数据后存入本地并异步向前一个节点发送ACK确认。(6)当Block写完，Client请求NameNode提交元数据。2.请解释SparkRDD中的窄依赖和宽依赖的区别，并说明它们对Stage划分的影响。答：区别：(1)窄依赖：父RDD的一个分区最多被子RDD的一个分区使用。即一对一关系，如map,filter,union。窄依赖不发生Shuffle。(2)宽依赖：父RDD的一个分区被子RDD的多个分区使用。即一对多关系，如groupByKey,reduceByKey,join。宽依赖涉及Shuffle过程。对Stage划分的影响：Spark根据宽依赖划分Stage。DAGScheduler会从后向前回溯RDD的血缘关系，每当遇到宽依赖时，就划分出一个新的Stage。窄依赖则被划分在同一个Stage内部，允许以流水线方式高效执行。3.列举并简述Hive内部表和外部表的区别及使用场景。答：区别：(1)管理权限：内部表由Hive完全管理；外部表仅管理元数据。(2)删除行为：删除内部表（DROPTABLE）时，Hive会删除元数据和HDFS上的实际数据；删除外部表时，仅删除元数据，HDFS上的数据保留。(3)创建语法：内部表默认CREATETABLE；外部表需指定EXTERNAL关键字。使用场景：(1)内部表：适用于临时数据、中间结果表，或者数据不需要被其他工具共享的场景。(2)外部表：适用于原始数据的导入、多个工具（如Pig,Spark）共享同一份数据的场景，以及希望误删表后数据不丢失的重要数据表。4.什么是CAP定理？NoSQL数据库通常如何在CAP之间进行权衡？答：CAP定理：指在一个分布式系统中，Consistency（一致性）、Availability（可用性）、Partitiontolerance（分区容错性）三者不可兼得，最多只能同时满足两项。(1)C：所有节点在同一时间看到的数据相同。(2)A：每次请求都能获取到非错的响应（不保证数据是最新的）。(3)P：系统在任意分区丢失或网络故障时仍能继续运行。权衡：由于分布式网络中P（分区容错）是必须存在的，因此通常在CP和AP之间权衡。(1)CP系统（如HBase,Redis,MongoDB）：保证强一致性，牺牲部分可用性。在分区发生时，拒绝请求直到数据一致。适用于金融、交易等数据准确性要求高的场景。(2)AP系统（如Cassandra,DynamoDB）：保证高可用性，牺牲强一致性（最终一致性）。在分区发生时，允许读取旧数据，保证服务不中断。适用于社交动态、电商浏览等对实时性要求高但允许短延迟不一致的场景。5.简述Kafka的高吞吐量设计原理。答：(1)顺序写磁盘：Kafka利用磁盘的顺序I/O性能远高于随机I/O的特性，将消息追加写到日志文件末尾，避免了磁盘寻道时间。(2)零拷贝技术：使用`sendfile`系统调用，数据直接从磁盘文件复制到网卡接口，跳过用户态和内核态的多次上下文切换和内存拷贝，减少CPU消耗。(3)页缓存：依赖操作系统的PageCache，将数据缓存在内存中，读写操作主要在内存进行，由操作系统负责异步刷盘。(4)批量处理：支持Producer批量发送消息和Consumer批量拉取消息，减少网络请求次数。(5)分区并发：通过Topic分区机制，将负载分散到多个Broker上，实现并行读写。六、综合应用题1.（本题12分）MapReduce编程应用：(1)Map函数：输入：`Offset,Text(2023-01-01,Beijing,5)`输出：`<Beijing,5>`逻辑：解析每行数据，提取地点作为Key，温度转换为Int作为Value。(2)Reduce函数：输入：`<Beijing,Iterable(5,8,-2,10)>`输出：`<Beijing,10>`逻辑：遍历温度列表，找出最大值。(3)Combiner优化：Combiner类可以使用与Reducer相同的逻辑（求最大值）。作用：在Map端先进行局部聚合，计算出每个Map任务输出的每个地点的局部最高温。效果：大大减少Map端输出的数据量，从而减少网络Shuffle传输的数据量，提高作业效率。注意：对于求最大值这种操作，Combiner是安全的；对于求平均值则通常不安全。2.（本题15分）SparkSQL与数据处理分析：(1)统计每个城市的总销售额和订单总数：```sqlSELECTu.city,SUM(o.amount)astotal_sales,COUNT(o.order_id)astotal_ordersFROMuser_infouJOINorder_detailoONu.user_id=o.user_idGROUPBYu.city;```(2)找出消费金额排名前10的用户：```sqlSELECTu.user_id,u.user_name,SUM(o.amount)astotal_spentFROMuser_infouJOINorder_detailoONu.user_id=o.user_idGROUPBYu.user_id,u.user_nameORDERBYtotal_spentDESCLIMIT10;```(3)优化方案：如果`order_detail`数据倾斜，且`user_info`较小，可以使用BroadcastJoin（广播变量/MapJoin）。代码示例：```scalaimportorg.apache.spark.sql.functions.broadcastvalsmallDf=spark.table("user_info")vallargeDf=spark.table("order_detail")valresult=largeDf.join(broadcast(smallDf),"user_id")```原因：广播Join会将小表（user_info）拉取到各个Executor的内存中，在Map端直接与大表