2026年大数据工程师题库及答案

2026年大数据工程师题库及答案一、单项选择题（每题2分，共40分）1.HDFS默认的数据块副本数是？A.1B.2C.3D.42.MapReduce中Shuffle阶段的主要任务是？A.数据存储B.分区、排序与传输C.资源调度D.任务监控3.YARN中负责全局资源分配的组件是？A.NameNodeB.ResourceManagerC.NodeManagerD.ApplicationMaster4.Hive中用于统计行数的聚合函数是？A.SUMB.COUNTC.AVGD.MAX5.Kafka中消息按什么逻辑分类组织？A.TopicB.QueueC.TableD.Database6.以下哪项不是Spark支持的集群管理器？A.StandaloneB.YARNC.MesosD.HDFS7.HBase中RowKey的默认排序方式是？A.字典序B.随机排序C.插入顺序D.数值大小8.Flink的核心计算模型主要面向？A.批处理B.流处理C.图计算D.机器学习9.Zookeeper在Kafka中主要承担什么角色？A.存储消息B.维护元数据与节点协调C.处理实时计算D.提供SQL接口10.数据仓库分层中，DWD层通常表示？A.数据明细层B.数据汇总层C.数据集市层D.应用层11.下列哪个是列式存储格式？A.ParquetB.SequenceFileC.AvroD.TextFile12.SQL中窗口函数ROW_NUMBER()的作用是？A.排序后分配连续序号B.排名可并列C.计算累计值D.求最大值13.HDFS元数据持久化主要依赖哪两类文件？A.fsimage和editsB.blockreport和heartbeatC.job.xml和logD.table和region14.以下哪项不是SparkRDD的特性？A.不可变B.可分区C.支持持久化D.支持事务15.下列哪个是消息队列常见的通信模型？A.发布订阅B.主从复制C.分库分表D.倒排索引16.“数据倾斜”主要是指？A.数据分布不均匀B.数据丢失C.数据重复D.数据过期17.Hive中创建分桶表使用哪个关键字？A.PARTITIONEDBYB.CLUSTEREDBYC.DISTRIBUTEDBYD.SORTEDBY18.Redis在大数据场景中最常被用作？A.缓存B.离线数仓C.图计算引擎D.数据编排工具19.以下哪个不属于Hadoop生态组件？A.HiveB.HBaseC.SparkD.MySQL20.Flink中用于容错和状态恢复的核心机制是？A.CheckpointB.ShuffleC.IndexD.Vacuum二、多项选择题（每题2分，共20分）1.下列哪些属于大数据计算框架？A.MapReduceB.SparkC.FlinkD.HDFS2.Kafka的组成部分包括哪些？A.BrokerB.TopicC.PartitionD.HDFS3.HDFS适合以下哪些场景？A.大文件存储B.高吞吐量读写C.低延迟随机访问D.流式数据访问4.Spark中RDD的依赖类型包括？A.窄依赖B.宽依赖C.混合依赖D.无依赖5.数据仓库常见分层包括？A.ODSB.DWDC.DWSD.ADS6.Hive中支持哪些排序关键字？A.ORDERBYB.SORTBYC.DISTRIBUTEBYD.CLUSTERBY7.Flink支持哪些窗口类型？A.滚动窗口B.滑动窗口C.会话窗口D.全局窗口8.下列哪些是列式存储格式？A.ParquetB.ORCC.AvroD.JSON9.数据倾斜的常见解决方案包括？A.加盐打散keyB.局部聚合C.广播小表D.调整并行度10.下列哪些属于NoSQL数据库？A.HBaseB.CassandraC.MongoDBD.MySQL三、判断题（每题1分，共10分）1.HDFS默认一个数据文件只能存储在一个DataNode上。2.MapReduce属于批处理计算框架。3.Spark比MapReduce性能高的原因之一是支持基于内存的计算。4.Kafka分区内的消息可以保证顺序。5.Hive中删除内部表时只删除元数据，不删除实际数据。6.Flink只能用于批处理，不能用于流处理。7.Zookeeper集群通常建议采用偶数个节点。8.数据湖可以存储结构化、半结构化和非结构化数据。9.HDFS中SecondaryNameNode是NameNode的热备份。10.SQL中LEFTJOIN会返回左表所有记录，右表不匹配的列值为NULL。四、简答题（每题10分，共30分）1.简述HDFS的写数据流程。2.简述Spark与MapReduce的主要区别。3.简述数据仓库四层分层ODS—DWD—DWS—ADS中各层的作用。参考答案与解析一、单项选择题1.答案：C解析：HDFS默认副本数为3，可通过dfs.replication配置调整。2.答案：B解析：Shuffle完成Map输出到Reduce输入之间的分区、排序、合并和网络传输。3.答案：B解析：ResourceManager负责整个集群的资源分配和调度；NodeManager负责单节点资源监控；ApplicationMaster负责任务协调。4.答案：B5.答案：A解析：Topic是Kafka消息的逻辑分类单元，生产者将消息写入Topic，消费者从Topic订阅读取。6.答案：D解析：HDFS是存储系统，不是集群资源管理器；Spark支持Standalone、YARN、Mesos、Kubernetes等。7.答案：A解析：HBase中RowKey按字节字典序排序存储，设计RowKey时要考虑避免热点。8.答案：B解析：Flink核心面向无界数据流的流处理，同时支持批流一体化。9.答案：B解析：Zookeeper在Kafka早期版本中负责Broker注册、Topic元数据、Leader选举等协调工作。10.答案：A解析：DWD（DataWarehouseDetail）为数据明细层，负责清洗、标准化和维度关联。11.答案：A解析：Parquet是典型列式存储格式，适合分析场景；Avro、SequenceFile、TextFile主要面向行式或顺序读写。12.答案：A解析：ROW_NUMBER()为排序后的每一行分配唯一连续序号；RANK()和DENSE_RANK()才允许并列。13.答案：A解析：NameNode使用fsimage保存元数据快照，edits记录文件系统的变更日志。14.答案：D解析：RDD具有不可变、可分区、可持久化和容错等特性，但不提供事务机制。15.答案：A解析：Kafka等消息队列常采用发布订阅模型，生产者发布消息，消费者订阅消费。16.答案：A解析：数据倾斜指某些key的数据量远大于其他key，导致任务执行时间差异大、长尾明显。17.答案：B解析：分桶表使用CLUSTEREDBY指定分桶列及桶数；PARTITIONEDBY用于分区。18.答案：A解析：Redis是内存键值数据库，常作为缓存层提升查询性能。19.答案：D解析：MySQL是关系型数据库，一般不作为Hadoop生态组件；Hive、HBase、Spark均可与Hadoop集成。20.答案：A解析：Flink通过Checkpoint定期快照状态，实现故障恢复和Exactly-Once语义。二、多项选择题1.答案：ABC解析：MapReduce、Spark、Flink均为计算框架；HDFS是分布式存储系统。2.答案：ABC解析：Broker是Kafka服务节点，Topic是消息逻辑分类，Partition是Topic的物理分区；HDFS不是Kafka组件。3.答案：ABD解析：HDFS适合大文件、高吞吐和流式顺序读取，不适合低延迟随机访问。4.答案：AB解析：RDD依赖分为窄依赖和宽依赖，对应是否发生Shuffle。5.答案：ABCD解析：常见四层架构为ODS原始数据层、DWD明细数据层、DWS汇总数据层、ADS应用数据层。6.答案：ABCD解析：ORDERBY全局排序，SORTBY局部排序，DISTRIBUTEBY按指定列分发，CLUSTERBY兼具分发和排序。7.答案：ABCD解析：Flink支持滚动、滑动、会话、全局及自定义窗口。8.答案：AB解析：Parquet和ORC为列式存储；Avro、JSON通常是行式或半结构化格式。9.答案：ABCD解析：加盐打散热点key、Map端局部聚合、广播小表避免Shuffle、调整并行度均可缓解数据倾斜。10.答案：ABC解析：HBase是列族数据库，Cassandra是宽列存储，MongoDB是文档数据库；MySQL为关系型数据库。三、判断题1.答案：错误解析：HDFS默认保存3个副本，分布在多个DataNode上。2.答案：正确3.答案：正确4.答案：正确解析：Kafka只能保证单个分区内消息有序，跨分区不保证全局有序。5.答案：错误解析：删除内部表会同时删除元数据和底层HDFS数据；删除外部表只删元数据。6.答案：错误解析：Flink面向流处理，同时支持批流一体化。7.答案：错误解析：Zookeeper集群通常采用奇数个节点，以满足半数以上存活选举原则。8.答案：正确9.答案：错误解析：SecondaryNameNode不是热备份，主要用于合并fsimage和edits文件，减轻NameNode压力。10.答案：正确四、简答题1.答案：(1)客户端向NameNode请求创建文件，NameNode检查权限和路径合法性；(2)NameNode返回可写入的DataNode列表；(3)客户端将数据按块写入第一个DataNode；(4)第一个DataNode将数据复制到后续DataNode，形成副本链；(5)每个块写入完成后返回确认信息；(6)全部块写入完毕，客户端关闭输出流。解析：HDFS写流程体现“一次写入、多副本复制、确认返回”的设计，保证数据可靠性和顺序性。2.答案：(1)计算模型：Spark基于内存计算，中间结果优先保存在内存；MapReduce中间结果主要写入磁盘；(2)执行效率：Spark的DAG调度模型更适合迭代计算和交互式分析；(3)编程模型：Spark支持RDD、DataFrame、DataSet及流处理、机器学习等库；MapReduce编程模型相对单一；(4)任务粒度：Spark以Stage组织任务，MapReduce仅包含Map和Reduce两个阶段。解析