2026年大数据开发综合测试题库

2026年大数据开发综合测试题库一、单项选择题（每题2分，共30分）1.HDFS默认的数据块副本数量是？A.1B.2C.3D.4答案C解析HDFS默认副本因子为3，即每个数据块默认存储3份，以保证数据可靠性。2.在MapReduce中，Shuffle阶段的主要作用是？A.将输入数据切分为多个分片B.对Map输出进行分区、排序、合并后传递给ReduceC.将Reduce结果写入HDFSD.将作业划分为多个任务答案B解析Shuffle是MapReduce中连接Map与Reduce的关键阶段，负责对Map输出按key分区、排序、合并，并传输给对应的Reduce任务。3.下列哪个组件不是Hadoop生态系统的核心组件？A.HDFSB.YARNC.MapReduceD.SparkStreaming答案D解析HDFS、YARN、MapReduce是Hadoop生态的三大核心组件。SparkStreaming属于Spark生态，不是Hadoop核心组件。4.Hive中用于创建内部表的语句是？A.CREATETABLEB.CREATEEXTERNALTABLEC.CREATEVIEWD.CREATEINDEX答案A解析CREATETABLE创建内部表，CREATEEXTERNALTABLE创建外部表，CREATEVIEW创建视图，CREATEINDEX创建索引。5.Kafka中负责消息存储和读取的基本单位是？A.BrokerB.TopicC.PartitionD.ConsumerGroup答案C解析Kafka中每个Topic可划分为多个Partition，Partition是消息存储和读取的基本单位，每个Partition内部消息有序。6.Spark中用于缓存RDD的操作是？A.collect()B.cache()C.reduce()D.map()答案B解析cache()用于将RDD缓存在内存中，避免重复计算。collect()将数据收集到Driver端，reduce()和map()是转换或行动算子。7.在HBase中，数据按照什么顺序存储？A.按行键的字典序B.按列族的字典序C.按时间戳倒序D.按列限定符的字典序答案A解析HBase中数据按行键（RowKey）的字典序排序存储，这是HBase数据模型的核心特性之一。8.Flink中用于实现精确一次（Exactly-Once）语义的核心机制是？A.CheckpointB.RedoLogC.WALD.事务日志答案A解析Flink通过Checkpoint机制实现状态快照与故障恢复，配合两阶段提交或端到端Checkpoint可实现Exactly-Once语义。9.下列哪种文件格式最适合大数据场景下的列式存储？A.CSVB.JSONC.ParquetD.XML答案C解析Parquet是典型的列式存储格式，适合大数据分析场景，支持高效压缩与列裁剪。10.数据仓库分层中，通常最接近原始数据的一层是？A.DWDB.ODSC.DWSD.ADS答案B解析典型数仓分层为ODS（操作数据层，最接近原始数据）、DWD（明细数据层）、DWS（汇总数据层）、ADS（应用数据层）。11.SparkSQL中用于读取JSON文件的API是？A.spark.read.text()B.spark.read.csv()C.spark.read.json()D.spark.read.parquet()答案C解析spark.read.json()用于读取JSON格式文件，spark.read.csv()读取CSV，spark.read.parquet()读取Parquet。12.Zookeeper在Kafka中的主要作用不包括？A.Broker元数据管理B.Controller选举C.消息持久化存储D.消费者偏移量管理（旧版本）答案C解析Zookeeper用于Kafka集群的元数据管理、Controller选举等协调功能，消息持久化存储由Kafka自身的日志文件完成，不依赖Zookeeper。13.在YARN中，负责为应用程序分配资源的组件是？A.NameNodeB.ResourceManagerC.NodeManagerD.DataNode答案B解析YARN中ResourceManager负责全局资源管理和分配，NodeManager负责单节点资源管理和任务执行。14.下列哪个操作不属于RDD的行动操作（Action）？A.count()B.map()C.collect()D.reduce()答案B解析map()是转换操作（Transformation），count()、collect()、reduce()是行动操作（Action），会触发实际计算。15.在Hive中，ORDERBY和SORTBY的区别是？A.ORDERBY全局排序，SORTBY局部排序B.ORDERBY局部排序，SORTBY全局排序C.两者完全相同D.ORDERBY不能用于Hive答案A解析Hive中ORDERBY是全局排序，所有数据经过一个Reducer；SORTBY是局部排序，每个Reducer内部排序。二、多项选择题（每题3分，共30分）1.下列哪些属于大数据的4V特征？A.VolumeB.VelocityC.VarietyD.Value答案ABCD解析大数据的4V特征包括Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值密度低）。2.关于HDFS的NameNode，下列说法正确的有？A.负责管理文件系统的命名空间B.存储数据块的实际数据C.维护文件到数据块的映射关系D.记录数据块所在DataNode的位置信息答案ACD解析NameNode管理命名空间、维护文件到数据块的映射及DataNode位置信息，但不存储实际数据，实际数据存储在DataNode中。3.Spark相比于MapReduce的优势包括？A.基于内存计算，迭代效率更高B.支持多种计算模式，如批处理、流处理、SQL、图计算C.完全不需要磁盘存储D.提供丰富的算子，编程更加简洁答案ABD解析Spark基于内存计算，支持批处理、流处理、SQL、图计算等，算子丰富。但Spark在数据量超过内存时仍需使用磁盘，并非完全不需要磁盘存储。4.Kafka中消费者组的特点包括？A.同一消费者组内的消费者共同消费一个Topic的所有消息B.同一分区只能被同一消费者组内的一个消费者消费C.不同消费者组之间相互独立D.同一消费者组内消费者数量可以大于分区数量答案ABCD解析同一消费者组内的消费者共同分摊一个Topic的所有消息；同一分区只能被组内一个消费者消费；不同消费者组相互独立；消费者数量可以大于分区数量，但此时会有消费者空闲。5.数据仓库与数据库的主要区别包括？A.数据仓库面向分析，数据库面向事务处理B.数据仓库存储历史数据，数据库存储当前数据C.数据仓库通常采用星型或雪花型模型，数据库采用规范化模型D.数据仓库的数据不允许删除，数据库的数据可以删除答案ABC解析数据仓库面向分析，存储历史数据，常采用星型/雪花型模型；数据库面向事务处理，存储当前数据，采用规范化模型。数据仓库中的数据在ETL过程中也可以进行删除或更新操作，并非绝对不允许删除。6.Flink支持的窗口类型包括？A.滚动窗口B.滑动窗口C.会话窗口D.全局窗口答案ABCD解析Flink支持滚动窗口、滑动窗口、会话窗口和全局窗口四种窗口类型。7.下列哪些因素可能导致Spark作业发生数据倾斜？A.某个key的数据量远大于其他keyB.分区数量设置过少C.数据分布不均D.使用groupByKey聚合数据答案ABCD解析数据倾斜的常见原因包括：key分布不均、分区数量设置不合理、数据本身分布倾斜、使用groupByKey等聚合算子导致同一key数据集中到同一分区。8.Hive中内部表和外部表的区别包括？A.删除内部表会删除底层数据，删除外部表仅删除元数据B.内部表的数据文件存储在Hive默认仓库目录，外部表可以指定任意HDFS路径C.内部表适合临时数据，外部表适合共享数据D.内部表和外部表在查询性能上有本质区别答案ABC解析内部表删除时同时删除元数据和底层数据，外部表删除时仅删除元数据；内部表数据默认存储在Hive仓库目录，外部表可指定任意路径；内部表适合临时数据，外部表适合多工具共享的数据。两者在查询性能上没有本质区别。9.下列哪些是常见的大数据文件格式？A.ParquetB.ORCC.AvroD.SequenceFile答案ABCD解析Parquet、ORC是列式存储格式，Avro是行式存储格式，SequenceFile是Hadoop的二进制文件格式，均为常见的大数据文件格式。10.在HBase中，RowKey设计应遵循的原则包括？A.长度尽量短B.散列性C.唯一性D.尽量使用时间戳作为RowKey前缀答案ABC解析HBaseRowKey设计应遵循长度尽量短、散列性好、唯一性等原则。尽量避免使用时间戳作为RowKey前缀，因为这会导致写入热点集中。三、判断题（每题1分，共10分）1.Hadoop中MapReduce的InputSplit大小默认等于HDFS数据块大小。答案正确2.Spark中的RDD是不可变的、可分区的分布式数据集合。答案正确3.Kafka中消息一旦被消费者消费后，就会立即从Broker中删除。答案错误解析Kafka中消息消费后不会立即删除，而是根据保留策略（如时间、大小）统一删除，同一消息可被多个消费者组重复消费。4.Hive是基于MapReduce的SQL查询引擎，也可以运行在Spark引擎上。答案正确5.HDFS适合存储大量小文件。答案错误解析HDFS适合存储大文件，大量小文件会占用大量NameNode内存，降低元数据管理效率。6.Flink的批处理是流处理的一种特殊形式。答案正确7.数据仓库中的维度表通常比事实表更大。答案错误解析事实表通常包含大量度量值和外键，数据量远大于维度表。8.HBase是面向列族存储的NoSQL数据库。答案正确9.YARN中NodeManager负责整个集群的资源管理和调度。答案错误解析YARN中ResourceManager负责整个集群的资源管理和调度，NodeManager负责单个节点的资源管理和任务执行。10.在Spark中，repartition()会增加或减少RDD的分区数，且一定会引发Shuffle。答案正确四、简答题（每题5分，共20分）1.简述HDFS的写入数据流程。答案(1)客户端向NameNode发起写入请求；(2)NameNode检查文件是否存在及权限，返回可写入的DataNode列表；(3)客户端将数据分块写入第一个DataNode，第一个DataNode将数据复制到第二个DataNode，第二个复制到第三个，形成流水线复制；(4)每个DataNode写入完成后返回确认；(5)客户端完成写入，通知NameNode更新元数据。2.简述Spark中RDD的宽依赖和窄依赖的区别。答案窄依赖：父RDD的每个分区最多被一个子RDD分区使用，如map、filter等算子，不需要Shuffle，可以流水线执行。宽依赖：父RDD的每个分区被多个子RDD分区使用，如groupByKey、reduceByKey、join等算子，需要Shuffle，宽依赖是划分Stage的依据。3.简述Kafka的消费者组和分区的关系。答案一个Topic可划分为多个Partition，每个Partition只能被同一消费者组内的一个消费者消费；同一消费者组内的消费者共同消费一个Topic的所有消息；当消费者数量大于分区数量时，会有消费者空闲；当消费者数量小于分区数量时，部分消费者会消费多个分区；不同消费者组之间相互独立，可重复消费同一Topic的消息。4.简述数据仓库分层中ODS、DWD、DWS、ADS各层的作用。答案ODS（操作数据层）：保存原始数据，结构与源系统基本一致，不做清洗转换；DWD（明细数据层）：对ODS数据进行清洗、去重、标准化，保留明细粒度数据；DWS（汇总数据层）：按主题对DWD数据进行汇总聚合，形成轻度汇总数据；ADS（应用数据层）：面向具体业务场景，提供高度汇总的报表数据或分析结果。五、综合分析题（每题10分，共10分）1.某电商平台每天产生约5亿条用户行为日志数据，需要搭建实时数据仓库，用于实时大屏展示GMV、订单量、活跃用户数等指标。请设计一套基于Flink+Kafka+HBase的实时数仓架构，并说明各组件的