2025年大数据工程师考试真题及答案解析

2025年大数据工程师考试真题及答案解析一、单项选择题（每题2分，共40分）1.在Hadoop生态系统中，HDFS默认的块大小在Hadoop2.x及之后版本中是多少？A.64MBB.128MBC.256MBD.512MB答案B2.Spark的核心数据结构是哪一个？A.DataFrameB.DatasetC.RDDD.RDBMS答案C3.Hive的元数据通常存储在哪个数据库中？A.MySQLB.HBaseC.RedisD.MongoDB答案A4.Kafka中用于区分不同消息类别和数据管道的逻辑概念是？A.ProducerB.ConsumerC.BrokerD.Topic答案D5.HBase是基于哪种数据模型的NoSQL数据库？A.文档型B.键值型C.列族型D.图形型答案C6.MapReduce框架中，负责将Map阶段的输出按照Key进行分区和排序的是哪个阶段？A.SplitB.ShuffleC.ReduceD.Combine答案B7.YARN的核心调度器不包括以下哪种？A.FIFOSchedulerB.CapacitySchedulerC.FairSchedulerD.LRUScheduler答案D8.Flink与SparkStreaming相比，在流处理方面最大的优势在于？A.批处理能力更强B.真正的逐条流处理C.不支持状态管理D.无法保证消息语义答案B9.在数据仓库建模中，星型模型和雪花型模型的主要区别在于？A.事实表的数量不同B.维度表是否被进一步规范化C.是否包含聚合表D.是否支持增量更新答案B10.Sqoop工具在大数据架构中的主要作用是？A.流数据采集B.关系型数据库与HDFS之间数据传输C.日志文件解析D.实时数据计算答案B11.Spark中，将RDD持久化到内存的操作方法是？A.cache()B.collect()C.count()D.take()答案A12.如果一个300MB的文本文件存入HDFS，块大小为128MB，副本数为3，则该文件在HDFS中实际占用的物理存储空间为多少？A.300MBB.384MBC.900MBD.1152MB答案C解析HDFS按实际文件大小存储数据块，300MB的文件会拆分为128MB、128MB、44MB三个块。由于副本数为3，实际物理存储占用为300MB13.数据仓库ODS层的主要作用是？A.数据清洗与转换B.原始数据接入与备份C.业务指标计算D.面向应用的数据汇总答案B14.解决Spark数据倾斜问题时，以下哪种做法通常是不建议的？A.增加分区数B.过滤导致倾斜的异常数据C.继续使用默认的Hash分区器D.对倾斜Key进行加盐处理答案C15.Zookeeper集群为了实现高可用和写入一致性，通常需要配置多少个节点？A.1个B.2个C.3个及以上的奇数个D.任意偶数个答案C16.HDFS读写数据时，客户端直接与哪个组件交互获取数据块的具体位置？A.NameNodeB.DataNodeC.JournalNodeD.ZKFailoverController答案A17.在SparkSQL中，用于将DataFrame注册为临时视图的方法是？A.createOrReplaceTempView()B.registerTempTable()C.createGlobalTempView()D.registerDF()答案A18.以下哪种算法通常不用于推荐系统？A.协同过滤B.逻辑回归C.AprioriD.矩阵分解答案C解析Apriori算法是用于关联规则挖掘的经典算法，常用于购物篮分析；协同过滤、逻辑回归和矩阵分解均是推荐系统中常用的算法。19.HBase架构中，负责数据的实际读写请求并管理Region的组件是？A.HMasterB.RegionServerC.ZooKeeperD.NameNode答案B20.数据仓库的ETL过程指的是？A.抽取、转换、加载B.提取、训练、学习C.查询、分析、展示D.收集、存储、计算答案A二、多项选择题（每题3分，共30分）1.以下属于Hadoop核心组件的有？A.HDFSB.YARNC.MapReduceD.Spark答案ABC2.Spark的运行模式包括哪些？A.Local模式B.Standalone模式C.YARN模式D.Mesos模式答案ABCD3.Kafka架构中的核心组件包括？A.BrokerB.TopicC.ProducerD.Consumer答案ABCD4.关系型数据库的ACID事务特性包括？A.原子性B.一致性C.隔离性D.持久性答案ABCD5.常见的NoSQL数据库类型有？A.键值存储B.列存储C.文档存储D.图存储答案ABCD6.数据仓库的典型分层架构包含哪些层级？A.ODS（操作数据层）B.DWD（明细数据层）C.DWS（汇总数据层）D.ADS（应用数据层）答案ABCD7.解决HDFS小文件问题的常见方法有？A.使用HAR文件归档B.使用SequenceFile合并C.设置CombineFileInputFormatD.增加副本数答案ABC解析增加副本数不仅不能解决小文件问题，反而会放大NameNode的内存占用压力。合并小文件通常通过HAR归档、SequenceFile或在计算层调整InputFormat实现。8.Flink的状态管理中，State的基本类型包括？A.ValueStateB.ListStateC.MapStateD.BroadcastState答案ABCD9.以下关于大数据特征的描述，属于"4V"特征的有？A.数据量大B.处理速度快C.数据类型多样D.价值密度低答案ABCD10.Spark中，可能触发Shuffle操作的算子有？A.groupByKeyB.reduceByKeyC.joinD.map答案ABC解析map属于窄依赖算子，在同一个分区内执行，不触发Shuffle；groupByKey、reduceByKey和join涉及跨分区的数据重分布，会触发Shuffle。三、判断题（每题1分，共10分）1.HDFS支持文件的随机修改和多次追加写入。答案错误解析HDFS采用了"一次写入，多次读取"的文件模型，不支持随机修改，虽然在较新版本支持追加写入，但通常不推荐，也不支持多次任意追加。2.Spark的Job是根据Action算子触发的，一个Application中可以包含多个Job。答案正确3.Hive本质上是一个关系型数据库，支持完整的ACID事务。答案错误4.Kafka能够保证同一个Partition内的消息全局有序。答案正确5.HBase的RowKey设计应尽量避免使用时间戳单调递增的字符串。答案正确解析若RowKey单调递增，新数据会集中写入最后一个Region，导致写热点问题。6.YARN负责集群资源管理和任务调度，但它本身不负责具体的数据存储。答案正确7.所有的NoSQL数据库都完全不支持事务操作。答案错误解析部分NoSQL数据库支持一定级别的事务，例如MongoDB支持文档级别的ACID，甚至4.0版本后支持多文档事务。8.数据湖可以同时存储结构化、半结构化和非结构化数据。答案正确9.Flink的Checkpoint机制是为了实现容错和精确一次语义。答案正确10.CAP理论指出，分布式系统无法同时满足强一致性、可用性和分区容错性。答案正确四、综合应用题（每题10分，共20分）1.假设某大型电商平台需要设计一套实时日志分析系统，用于监控用户访问行为并实时计算每分钟的PV（PageView）和UV（UniqueVisitor）。请简述你会选择哪些大数据组件，并说明它们在系统架构中的职责。答案(1)数据采集：Flume或Logstash采集Web服务器日志。(2)消息缓冲：Kafka。接收采集的日志数据，起到削峰填谷、系统解耦的作用。(3)实时计算：Flink。消费Kafka中的数据，通过滚动窗口计算每分钟的PV，通过状态管理或布隆过滤器计算UV。(4)结果存储：Redis或HBase。将Flink计算的结果写入，支持前端的高并发查询。(5)数据展示：前端大屏通过接口查询Redis/HBase获取数据并进行可视化展示。解析该方案是目前业界非常经典的Lambda/Kappa架构落地模式，充分发挥了各组件的优势：Kafka的高吞吐缓冲，Flink的低延迟流计算和精准状态管理。2.在Hadoop集群中，若有一个500MB的文件需要上传至HDFS。已知HDFS配置的块大小为128MB，副本