2026年大数据技术应用考试试题及答案

2026年大数据技术应用考试试题及答案一、单项选择题（每题2分，共30分）1.HDFS中负责管理文件系统命名空间、维护文件与数据块映射关系的组件是？A.SecondaryNameNodeB.DataNodeC.NameNodeD.JournalNode答案：C解析：NameNode是HDFS的主节点，管理元数据；DataNode负责存储数据块；SecondaryNameNode仅辅助合并镜像文件，JournalNode用于高可用模式下的元数据同步。2.MapReduce模型中，reduce函数输入键值对的排列特征是？A.按到达时间排序B.随机排列C.按键分组且按键有序D.按值排序答案：C解析：MapReduce框架在Shuffle阶段对map输出按键排序并分组，保证同一key对应的所有value被连续交给同一个reduce调用。3.Spark中RDD通过下列哪种机制在分区数据丢失时快速恢复？A.检查点（Checkpoint）B.多副本冗余C.持久化到磁盘D.血缘（Lineage）重算答案：D解析：RDD记录各分区之间的依赖关系形成血统图，分区丢失后可根据血统重新计算恢复。检查点与持久化可辅助容错，但血缘重算是RDD的核心容错机制。4.下列关于HBase的描述，错误的是？A.HBase原生支持标准SQL查询B.HBase是面向列族存储的NoSQL数据库C.HBase底层数据存储在HDFS上D.HBase适合海量数据的实时随机读写答案：A解析：HBase原生不支持SQL，需要通过Phoenix等工具提供SQL接口。5.Kafka中，消费者通过什么机制准确记录并提交消费进度？A.时间戳B.偏移量（Offset）C.分区序号D.消息内容哈希答案：B6.下列哪种架构将实时计算与批量计算统一为一套处理逻辑，简化了开发与运维？A.星型架构B.Lambda架构C.Kappa架构D.雪花架构答案：C解析：Kappa架构将所有数据视为流，通过日志重放实现离线计算与实时计算逻辑统一；Lambda架构需要维护批处理与流处理两套代码。7.在数据仓库维度建模中，事实表与维度表之间的关联关系是？A.一对一B.多对一C.多对多D.一对多答案：B解析：事实表通过外键关联维度表，多条事实记录对应同一条维度记录，故从事实表角度看是多对一。8.Flume中负责对接数据来源、采集数据的组件是？A.ChannelB.SinkC.SourceD.Event答案：C9.下列哪项不属于大数据4V特征？A.数据量巨大（Volume）B.处理速度快（Velocity）C.数据类型多样（Variety）D.数据价值密度高（Value）答案：D解析：大数据的价值特征为价值密度低而潜在价值高，而非价值密度高。10.YARN中，负责整个集群资源管理与任务调度的组件是？A.NodeManagerB.ResourceManagerC.ApplicationMasterD.Container答案：B11.下列数据库属于列族存储类型的是？A.RedisB.HBaseC.MongoDBD.Neo4j答案：B解析：Redis是键值数据库，MongoDB是文档数据库，Neo4j是图数据库。12.与groupByKey相比，reduceByKey的突出优势是？A.在map端预聚合，减少Shuffle数据量B.计算精度更高C.支持更多数据类型D.不需要Shuffle过程答案：A13.决策树算法中，基尼指数定义为Gini(A.越低B.无法判断C.不变D.越高答案：D解析：基尼指数反映从数据集中随机抽取两个样本类别不一致的概率，值越小表示数据越集中、纯度越高。14.下列文件格式中，采用列式存储且压缩率高，适合Hive大规模数据分析的是？A.TEXTFILEB.JSONC.SEQUENCEFILED.ORC答案：D15.下列机器学习算法中，属于无监督学习的是？A.线性回归B.决策树C.K-Means聚类D.支持向量机答案：C二、多项选择题（每题3分，共15分；多选、少选、错选均不得分）1.下列属于大数据技术生态常见组件的有哪些？A.HDFSB.MapReduceC.SparkD.HBaseE.MySQL答案：ABCD解析：MySQL为传统关系型数据库，不属于大数据技术生态组件。2.下列关于Spark与MapReduce的对比，正确的有哪些？A.Spark优先将计算的中间结果保存在内存中B.MapReduce每个计算阶段的结果通常落盘C.Spark通过DAG优化减少Shuffle次数D.MapReduce更适合实时流计算答案：ABC解析：MapReduce以批处理为主，流式计算能力弱，D错误；实时流计算应选用SparkStreaming或Flink。3.数据治理通常涵盖的内容包括？A.数据标准管理B.数据质量管理C.数据安全管理D.数据生命周期管理答案：ABCD4.HDFS客户端写入一个文件的过程中，参与工作的节点包括？A.客户端B.NameNodeC.DataNodeD.SecondaryNameNode答案：ABC解析：SecondaryNameNode不参与数据读写流程，只周期性合并fsimage与editlog。5.下列属于Kafka核心特性的有哪些？A.高吞吐量B.消息持久化C.分布式与高可用D.仅支持点对点传输模式答案：ABC解析：Kafka同时支持发布—订阅模式和点对点模式，D错误。三、判断题（每题1分，共10分）1.HDFS非常适合存储大量小文件。答案：错误解析：HDFS元数据保存在NameNode内存中，海量小文件会消耗大量内存并降低读写效率。2.Spark中的RDD是不可变的、分布式的对象集合。答案：正确3.HBase是建立在HDFS之上的面向列的分布式数据库。答案：正确4.MapReduce适合处理所有类型的数据计算任务。答案：错误5.Oozie是用于编排和调度Hadoop作业的工作流引擎。答案：正确6.ETL是指从数据源抽取（Extract）、转换（Transform）、加载（Load）到目标系统的过程。答案：正确7.Zookeeper是一种分布式协调服务，常用于分布式锁、配置管理和命名服务。答案：正确8.Lambda架构中，批处理层与速度层处理的数据范围完全相同。答案：错误解析：批处理层处理全量历史数据，速度层处理实时增量数据，两者数据范围不同。9.Apriori算法是关联规则挖掘中的经典算法。答案：正确10.Flume只能采集日志文件类型的数据源。答案：错误解析：Flume支持日志、网络端口、Kafka等多种数据源。四、简答题（每题5分，共25分）1.简述大数据分布式计算中"数据倾斜"的含义，并列举至少两种常见解决方法。答案：数据倾斜是指在Shuffle或分区过程中，某个key的数据量远大于其他key，导致对应分区或任务负载过重，而其他节点长期空闲，使整个作业运行缓慢甚至失败。常见解决方法：(1)加盐（Salting）：为倾斜key附加随机前缀，将其打散到多个分区进行局部聚合，再去掉前缀做全局聚合；(2)两阶段聚合：先局部聚合再全局聚合，减少倾斜数据在Shuffle阶段的传输量；(3)自定义分区器：按实际数据分布重新设计分区策略，使数据均匀分布；(4)提高并行度：适当增大Shuffle分区数量，缓解单分区压力。2.简述HDFS中NameNode与DataNode各自的职责。答案：NameNode是主节点，负责管理文件系统命名空间，维护文件与数据块的映射关系、副本策略等元数据，并处理客户端的元数据请求；DataNode是从节点，负责实际存储数据块，执行数据块的写入、读取、删除等操作，并周期性向NameNode上报心跳与块报告。3.简述数据仓库与传统操作型数据库的主要区别。答案：(1)面向对象不同：数据仓库面向主题，操作型数据库面向事务处理；(2)数据内容不同：数据仓库存储集成的历史数据，操作型数据库存储当前的实时业务数据；(3)操作特点不同：数据仓库以查询分析为主，操作型数据库以增删改查为主；(4)数据模型不同：数据仓库常用星型、雪花型模型且允许冗余，操作型数据库多采用规范化模型；(5)设计目标不同：前者支撑决策分析，后者支撑业务系统高效运行。4.简述Kafka消息传递的三种语义，并说明其区别。答案：(1)至多一次（at-most-once）：消息可能丢失但不会重复，发送后不重试；(2)至少一次（at-least-once）：消息可能重复但不会丢失，通过发送后重试实现；(3)精确一次（exactly-once）：消息既不丢失也不重复，需要生产者幂等与事务机制配合实现。5.简述Spark中宽依赖与窄依赖的区别及其对容错的影响。答案：窄依赖是指父RDD的每个分区最多被一个子RDD分区使用，典型算子有map、filter、union等，可流水线执行，容错时只需重新计算丢失的父分区；宽依赖是指父RDD的每个分区被多个子RDD分区使用，典型算子有groupByKey、reduceByKey等，通常伴随Shuffle，容错时需要重新计算全部父分区数据，恢复代价较大。五、综合分析题（每题10分，共20分）1.某电商平台每天产生海量用户行为日志（浏览、点击、下单、支付），业务方既需要实时推荐，又需要离线报表分析。请设计一条完整的大数据技术链路，说明各环节所选组件及其选型理由。答案：可基于Lambda架构思想设计，兼顾实时与离线两条链路：(1)数据采集：使用Flume或KafkaConnect采集各业务服务器产生的行为日志，写入Kafka消息队列。选型理由：Kafka高吞吐、可持久化，能实现削峰填谷、解耦生产与消费。(2)数据存储：离线全量数据写入HDFS；实时维度数据与中间结果存入HBase或Redis。选型理由：HDFS适合海量文件的批量存储，HBase适合实时随机读写，Redis适合缓存热点数据。(3)数据处理：离线分析采用Hive或SparkSQL进行批处理，产出日报、周报等报表；实时计算采用SparkStreaming或Flink对Kafka中的流式数据做窗口计算，产出实时推荐特征。选型理由：Hive适合复杂SQL批处理，Flink具备低延迟与精确一次语义等流处理优势。(4)数据服务：实时推荐结果写入Redis供在线业务查询；离线分析结果写入关系型数据库或OLAP引擎（如Kylin、Doris），供报表平台展现。(5)任务调度与元数据管理：使用Oozie或Airflow编排离线任务，使用HiveMetastore统一管理元数据。解析：本题主要考查大数据技术体系的综合选型能力。答题要点在于区分实时链路与离线链路，并围绕采集、存储、计算、服务、调度五个环节说明组件定位与选型理由，能体现对Lambda/Kappa架构思想的理解即可给分。2.某公司运行一个Spark作业时，部分任务执行时间远超其他任务，整个作业被严重拖慢。经分析，数据中存在一个热门key，其数据量约占总量的80%。请说明该问题的成因，并给出至少三种解决方案及原理。答案：成因：这是典型的数据倾斜问题。Shuffle阶段数据按key进行分区，热门key所在分区的数据量远大于其他分区，导致该分区对应的任务负载过重、执行时间过长，而其他任务早已完成，形成木桶效应。解决方案：(1)加盐（Salting）：对热门key附加随机前缀，将原来的大key拆分为多个子key，使数据分散到不同分区，先做局部聚合，再去掉前缀做全局聚合。适用于reduceByKey、groupByKey等聚合场景。(2)两阶段聚合：在map端先对相同key的数据进行局部合并，大幅减少倾斜数据量后再进入Shuffle，降低单分区压力。(3)自定义分区器：根据业务对key的实际分布编写分区逻辑，如将热门