2026年大数据工程师笔试试卷（附答案）

2026年大数据工程师笔试试卷（附答案）一、单项选择题（每题2分，共30分）1.在HDFS中，默认的副本因子是（）。A.1B.2C.3D.42.关于MapReduce的Shuffle过程，下列说法正确的是（）。A.Shuffle只发生在Map阶段B.Shuffle只发生在Reduce阶段C.Shuffle贯穿于Map输出到Reduce输入的全过程D.Shuffle仅在数据溢写磁盘时发生3.在Spark中，以下哪个算子属于宽依赖操作（）。A.mapB.filterC.groupByKeyD.union4.Flink中，用于实现有状态流处理的状态后端（StateBackend）不包括以下哪种（）。A.MemoryStateBackendB.FsStateBackendC.RocksDBStateBackendD.HBaseStateBackend5.在Kafka中，一个消费者组内的消费者数量大于分区数时，会出现（）情况。A.所有消费者都能分配到分区B.部分消费者会被闲置，无法消费消息C.消费者之间会动态轮询分配分区D.系统会抛出异常6.关于Hive中内部表和外部表的区别，下列说法错误的是（）。A.删除内部表时，表数据会被同时删除B.删除外部表时，表数据不会被删除C.外部表在加载数据时，数据会被移动到数据仓库目录D.内部表的元数据和数据由Hive完全管理7.在数据仓库的维度建模中，星型模型和雪花模型的主要区别在于（）。A.星型模型没有事实表B.雪花模型的维度表可能进一步规范化拆分C.雪花模型不支持维度表的层级关系D.星型模型的查询性能一定比雪花模型差8.下列哪种数据结构适合用于海量数据去重场景，且能够控制内存占用（）。A.红黑树B.B+树C.BloomFilterD.跳表9.HBase中，RowKey的设计直接影响查询性能。以下关于RowKey设计原则，说法错误的是（）。A.RowKey的长度越短越好B.RowKey的散列性越均匀越好C.RowKey应该尽量避免单调递增，以防止热点问题D.RowKey必须使用字符串类型10.在SparkStreaming中，关于窗口操作，窗口长度（windowlength）和滑动间隔（slideinterval）的关系是（）。A.窗口长度必须大于滑动间隔B.窗口长度必须等于滑动间隔C.窗口长度必须小于滑动间隔D.窗口长度和滑动间隔没有大小约束关系11.关于LSM-Tree（Log-StructuredMergeTree）的存储结构，下列说法正确的是（）。A.LSM-Tree的写放大问题比B+Tree更严重B.LSM-Tree适合读多写少的场景C.LSM-Tree的读放大问题可以通过布隆过滤器来缓解D.LSM-Tree的内存表（MemTable）在达到阈值后直接写入磁盘形成有序文件，无需合并12.在大数据集群中，采用一致性哈希算法进行数据分片的主要目的是（）。A.保证数据强一致性B.减少节点增减时数据迁移的范围C.提高数据压缩率D.加快数据加密速度13.在数据倾斜的优化策略中，以下哪种方法通常不能有效解决数据倾斜问题（）。A.对倾斜的Key进行加盐（salting）处理B.将reducejoin转换为mapjoinC.增大单个Reduce任务的内存D.对热点Key进行单独处理，与其他Key分开聚合14.关于Kafka的消息可靠性保障，以下说法正确的是（）。A.设置acks=0可以保证消息不丢失B.设置acks=all配合min.insync.replicas可以保证消息在生产者侧的强可靠C.消费者消费消息后，位移提交失败不会导致消息重复消费D.开启幂等生产者可以完全替代acks=all的可靠性配置15.在数据治理体系中，元数据管理的主要作用不包括（）。A.提供数据血缘追踪能力B.帮助用户理解数据的含义和来源C.直接提高底层存储引擎的读写性能D.支持数据资产目录的构建二、多项选择题（每题3分，共15分。每题有两个或两个以上正确答案，多选、少选、错选均不得分）16.以下关于ApacheFlink的时间语义，说法正确的有（）。A.EventTime指的是事件实际发生的时间B.IngestionTime是指数据进入Flink系统的时间C.ProcessingTime是指数据被处理时的系统时间D.使用EventTime时必须配合Watermark机制来处理乱序数据17.在数据仓库的分层架构中，常见的分层设计包括（）。A.ODS层（操作数据存储层）B.DWD层（明细数据层）C.DWS层（汇总数据层）D.ADS层（应用数据层）18.下列关于Hadoop生态系统中各组件的描述，正确的有（）。A.YARN负责集群资源管理和作业调度B.ZooKeeper常用于分布式协调服务，如HBase的RegionServer选举C.Oozie用于工作流调度，可以调度MapReduce和Spark作业D.Sqoop专门用于日志采集，不支持关系型数据库的数据导入19.关于Spark的存储级别（StorageLevel），以下说法正确的有（）。A.MEMORY_ONLY将RDD以反序列化的Java对象形式存储在JVM内存中B.MEMORY_AND_DISK表示优先内存存储，内存不足时溢写到磁盘C.使用MEMORY_ONLY_SER可以减少内存占用，但会增加CPU序列化开销D.设置副本数大于1的存储级别可以提高数据容错性20.关于数据湖与数据仓库的对比，以下说法正确的有（）。A.数据仓库通常存储结构化数据，数据湖可以存储结构化、半结构化和非结构化数据B.数据仓库强调Schema-on-Write，数据湖支持Schema-on-ReadC.数据湖天然支持ACID事务，数据仓库不支持D.数据湖的建设成本通常低于数据仓库的存储成本三、填空题（每空2分，共20分）21.在Hadoop中，HDFS的NameNode主要负责管理文件系统的______，而DataNode负责存储实际的数据块。22.SparkSQL中，DataFrame的底层数据结构是______，它能够利用Catalyst优化器进行查询优化。23.Flink的Checkpoint机制中，用于记录每个算子状态快照的机制是基于______算法的变种实现的。24.在Kafka中，一个Topic可以被划分为多个______，每个分区内部的消息是有序的。25.Hive中，分桶表的桶数通常由______决定，分桶的列值经过哈希计算后对桶数取模。26.在HBase的数据模型中，一个单元格（Cell）由行键、列族、列限定符、______和值五部分组成。27.在数据采集工具中，Flume的三大核心组件是Source、Channel和______。28.在ClickHouse中，MergeTree引擎家族的核心思想是______合并，以提升查询性能。29.对于大规模数据的近似去重计数，HyperLogLog算法的空间复杂度为______，即仅需极小的内存即可统计海量数据的基数。30.在大数据任务调度系统中，DolphinScheduler通过DAG（有向无环图）来定义任务依赖关系，其中DAG中的节点表示任务，边表示______。四、简答题（每题8分，共40分）31.简述HDFS的写入流程，并说明在写入过程中NameNode、DataNode和客户端（Client）各自承担的角色。32.简述MapReduce中Combiner的作用及其使用限制。请结合一个具体场景说明。33.请说明ApacheKafka中LEO（LogEndOffset）和HW（HighWatermark）的含义，并阐述它们在副本同步和消息消费可见性中的作用。34.简述Flink中Watermark的工作原理，说明它如何解决乱序事件的处理问题。请阐述Watermark与窗口（Window）之间的触发关系。35.请说明数据倾斜在Spark作业中的典型表现，并列举至少三种常见的处理策略。五、计算与分析题（共25分）36.（10分）假设某Kafka集群中有一个Topic，包含8个分区（Partition0~7），现有一个消费者组包含3个消费者实例（ConsumerA、B、C）。请计算：（1）当消费者组采用Range分配策略时，各消费者分别被分配到哪些分区？（3分）（2）当消费者组采用RoundRobin分配策略时，各消费者分别被分配到哪些分区？（3分）（3）如果该Topic的分区数增加到9个，而消费者组内新增1个消费者实例D，采用Range策略分配时，消费者C和D各分配到哪些分区？（4分）37.（7分）某大数据集群中有一个包含1亿条用户行为日志的数据集，每条日志包含字段：`user_id`、`action`、`timestamp`、`device_type`。现需要统计每个用户每天的独立操作行为数（即`user_id`+日期+`action`去重后的数量）。（1）请设计一个基于Spark的解决方案，写出核心代码（Scala或Python均可）。（4分）（2）如果该数据集中存在极少数`user_id`（如热门用户）导致数据倾斜，请结合你的方案说明如何优化。（3分）38.（8分）某业务系统需要实时统计过去1小时内每个商品的UV（独立访客数），数据以JSON格式通过Kafka实时流入，使用Flink进行实时计算。（1）请设计Flink作业的核心计算逻辑（可用伪代码描述），并指出应采用的时间语义及窗口类型。（4分）（2）如果要保证计算结果在作业重启后能够恢复（Exactly-Once语义），请说明需要启用Flink的哪些机制。（4分）六、综合应用题（共20分）39.（20分）某电商平台拥有海量用户行为数据和订单数据，业务部门提出以下分析需求：需求一：分析“双11”当天各品类商品的销售额TOP10排行榜；需求二：实时监控每秒钟的订单交易金额，当每秒交易金额超过阈值（如100万元）时触发告警；需求三：为用户推荐可能感兴趣的商品（基于用户历史行为数据的协同过滤）。该平台的数据技术栈包括：Kafka、Flink、Spark、Hive、HBase、Redis、MySQL、HDFS。请根据以上场景，回答以下问题：（1）请为需求一设计一条完整的数据处理链路，包括数据采集、存储、计算、结果输出等环节，说明每个环节选用的组件及其职责。（6分）（2）针对需求二，请设计一个基于Flink的实时告警方案，包括数据接入方式、窗口设计（滑动窗口还是滚动窗口？窗口大小和滑动间隔如何设置？）、阈值判断逻辑以及告警结果的输出方式。（7分）（3）针对需求三，请说明协同过滤算法的基本思路，并阐述在大数据场景下，如何利用Spark进行离线推荐计算，包括数据预处理、相似度计算和Top-N推荐生成的步骤。若需实现实时推荐，可如何改进？（7分）参考答案及评分标准一、单项选择题（每题2分，共30分）题号答案题号答案1C9D2C10A3C11C4D12B5B13C6C14B7B15C8C二、多项选择题（每题3分，共15分）题号答案16ABD17ABCD18ABC19ABCD20ABD三、填空题（每空2分，共20分）21.命名空间（元数据/目录信息）22.RDD（弹性分布式数据集）23.Chandy-Lamport（分布式快照算法）24.分区（Partition）25.分桶列（或用户指定的列）26.时间戳（Timestamp）27.Sink（接收器）28.分区（Partition）级别29.O(1)30.依赖关系（执行顺序/依赖）四、简答题（每题8分，共40分）31.参考答案要点：HDFS写入流程：（1）客户端向NameNode发起写请求，NameNode检查文件是否存在、权限是否允许；（1分）（2）NameNode返回可用的DataNode列表（按网络拓扑排序）；（1分）（3）客户端将数据按块（默认128MB）切分，并将第一个块写入第一个DataNode；（1分）（4）第一个DataNode收到数据后，将数据复制到第二个DataNode，第二个复制到第三个，形成流水线复制；（2分）（5）每个DataNode写入成功后向客户端返回确认信息，客户端向NameNode汇报块完成状态；（1分）（6）所有块写入完成后，关闭输出流，NameNode更新元数据。（1分）角色分工：NameNode：负责元数据管理、权限校验、数据块分配，不参与实际数据传输；DataNode：负责实际数据块的存储和副本复制；Client：负责数据切分、与DataNode建立连接并传输数据。（1分）32.参考答案要点：Combiner的作用：Combiner是MapReduce中的局部聚合组件，在Map端输出数据后、数据发送到Reduce端之前，对具有相同Key的中间结果进行合并，从而减少网络传输的数据量和Reduce端的计算压力。（2分）使用限制：（1）Combiner的输入输出类型必须与Mapper的输出类型一致；（1分）（2）Combiner的调用次数和时机不确定（可能调用0次、1次或多次），因此Combiner的运算必须满足交换律和结合律，即重复调用不影响最终结果；（2分）（3）Combiner不能用于求平均值等非幂等运算场景，除非进行特殊处理。（1分）具体场景：以WordCount为例，假设某个Map任务处理了一个包含大量重复单词的文本片段。如果不使用Combiner，Map端会将每个单词（如"hello"出现1000次）逐一发送给Reduce端，传输1000条记录；如果使用Combiner，Map端先进行局部求和，只输出1条记录`("hello",1000)`，显著减少了网络IO。（2分）33.参考答案要点：LEO（LogEndOffset）：表示每个分区副本的日志中下一条待写入消息的偏移量，即当前日志末尾的偏移量。生产者新写入的消息会追加到LEO位置。（2分）HW（HighWatermark）：表示分区中已提交（committed）消息的最高偏移量，即消费者能够读取到的最大偏移量。HW取值为所有ISR（In-SyncReplicas）副本中LEO的最小值。（2分）在副本同步和消费可见性中的作用：（1）Leader副本负责维护HW，并定期将HW同步给Follower副本。Follower副本根据HW来截断（truncate）自身日志中超出HW的部分，确保所有副本数据一致；（2分）（2）消费者只能消费HW之前的消息，HW之后的消息虽然已被Leader接收但尚未被足够多的副本同步，属于"未提交"状态。如果Leader发生故障，未提交的消息可能丢失，因此对消费者不可见。这种机制保证了消息在副本间的一致性，防止消费者读到可能丢失的数据。（2分）34.参考答案要点：Watermark的工作原理：Watermark是一种时间戳机制，表示"事件时间小于等于该时间戳的数据都已到达"。在数据流中，Watermark随事件一起流动，其值通常为已观察到的最大事件时间减去允许的最大乱序延迟（maxOutOfOrderness）。（2分）解决乱序问题的过程：（1）Flink通过Watermark机制延迟窗口的触发时间，等待迟到的数据到达；（2分）（2）当Watermark大于窗口的结束时间时，该窗口被触发计算，此时窗口内的数据被认为已经完整；（2分）Watermark与窗口的触发关系：以滚动窗口为例，假设窗口大小为10秒，Watermark延迟为5秒。当事件时间戳为12秒的事件到达时，Watermark推进到7秒，此时事件时间窗口[0,10)尚未触发；当事件时间戳为16秒的事件到达时，Watermark推进到11秒，超过窗口[0,10)的结束时间10秒，该窗口被触发。（2分）35.参考答案要点：数据倾斜的典型表现：（1）大部分Task快速完成，少数Task长时间运行，甚至失败；（2分）（2）某个ReduceTask处理的数据量远大于其他Task，OOM（内存溢出）风险高；（1分）常见处理策略：（1）对倾斜Key加盐（Salting）：为热点Key添加随机前缀，将其分散到多个Task中处理，然后再去掉前缀进行二次聚合；（2分）（2）使用MapJoin代替ReduceJoin：对于大小表关联，将小表广播到每个MapTask中，避免Reduce端的数据倾斜；（1分）（3）过滤异常Key：对于无意义的热点数据（如空值、默认值），在预处理阶段进行过滤或单独处理；（1分）（4）单独处理倾斜Key：将热点Key与非热点Key分开，非热点Key走正常聚合，热点Key单独加盐聚合后再合并结果。（1分）（以上策略答出3种即可得满分）五、计算与分析题（共25分）36.参考答案：（1）Range分配策略（8个分区，3个消费者）：Range策略按分区范围进行分配，每个消费者分配的分区数量为`分区数/消费者数`取整。8÷3=2余2，因此前2个消费者各多分配1个分区。ConsumerA：Partition0,1,2ConsumerB：Partition3,4,5ConsumerC：Partition6,7（3分）（2）RoundRobin分配策略（8个分区，3个消费者）：RoundRobin策略将分区轮流分配给消费者，所有分区均匀分配。8÷3=2余2，前2个消费者多分配1个。ConsumerA：Partition0,3,6ConsumerB：Partition1,4,7ConsumerC：Partition2,5（3分）（3）分区数增至9个，消费者增至4个，Range分配：9÷4=2余1，前1个消费者多分配1个分区。ConsumerA：Partition0,1,2ConsumerB：Partition3,4ConsumerC：Partition5,6ConsumerD：Partition7,8（4分）37.参考答案：（1）Spark解决方案核心代码：```scala//假设数据已加载为DataFrame:df，字段包含user_id,action,timestamp,device_typeimportorg.apache.spark.sql.functions._//提取日期字段（假设timestamp为Long类型Unix时间戳）valdfWithDate=df.withColumn("date",from_unixtime(col("timestamp")/1000,"yyyy-MM-dd"))//统计每个用户每天的独立操作行为数valresult=dfWithDate.select("user_id","date","action").distinct()//对(user_id,date,action)去重.groupBy("user_id","date").agg(count("action").alias("action_cnt"))result.show()```（4分）（2）数据倾斜优化：针对部分热门用户数据量过大的问题，可以采用以下策略：①对热门`user_id`进行加盐处理：将`user_id`添加随机前缀（如0~9），先按加盐后的Key进行局部聚合，再去除前缀进行二次聚合；（1分）```scalavalsaltedResult=dfWithDate.select("user_id","date","action").distinct().withColumn("salt",(rand()*10).cast("int"))//随机加盐.withColumn("salted_user",concat(col("salt"),lit("_"),col("user_id"))).groupBy("salted_user","date").agg(count("action").alias("partial_cnt")).withColumn("user_id",split(col("salted_user"),"_")(1)).groupBy("user_id","date").agg(sum("partial_cnt").alias("action_cnt"))```②对于可预知的热点用户，可将其单独提取出来，单独处理后再合并结果；（1分）③调整Spark的`spark.sql.shuffle.partitions`参数，适当增大分区数，缓解单个Task的压力。（1分）38.参考答案：（1）Flink核心计算逻辑：```scala//使用EventTime语义和Watermarkvalenv=StreamExecutionEnvironment.getExecutionEnvironmentenv.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)valkafkaStream=env.addSource(newFlinkKafkaConsumer[String]("topic",newSimpleStringSchema(),props))valuvStream=kafkaStream.map(json=>parse(json))//解析JSON，提取商品ID、用户ID、时间戳.assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofSeconds(10)).withTimestampAssigner((event,_)=>event.timestamp)).keyBy(_.productId).window(SlidingEventTimeWindows.of(Time.hours(1),Time.minutes(5))).aggregate(newUvAggregate())//使用SetState或HyperLogLog去重uvStream.print()```时间语义：EventTime，使用Watermark处理乱序；（2分）窗口类型：滑动窗口（SlidingWindow），窗口大小1小时，滑动间隔5分钟；（1分）UV去重：可使用Flink的`KeyedState`（ValueState+Set）或HyperLogLog进行近似去重。（1分）（2）Exactly-Once保障机制：①启用Checkpoint：设置`env.enableCheckpointing(interval)`，定期对状态进行快照；（1分）②设置语义为Exactly-Once：`env.getCheckpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE)`；（1分）③启用状态持久化：配置RocksDBStateBackend或FsStateBackend，将状态存储到可靠文件系统；（1分）④配置Kafka消费者位移提交：设置`setCommitOffsetsOnCheckpoints(true)`，使Kafka位移随Checkpoint一起提交，保证故障恢复后从正确的位移重新消费。（1分）六、综合应用题（共20分）39.参考答案：（1）需求一的数据处理链路设计：链路：Kafka（数据采集）→Flume（日志收集）→HDFS（原始数据存储）→Spark/Hive（离线计算）→MySQL/Redis（结果存储）→可视化报表环节组件职责数据采集Flume/Kafka实时收集用户行为日志和订单数据，Kafka作为消息缓冲区数据存储HDFS存储原始日志数据，提供高吞吐、高可靠的分布式存储数据清洗Spark/Hive对原始数据进行ETL，清洗无效数据，按分区（日期/品类）存储数据计算SparkSQL/Hive使用SparkSQL或Hive进行离线聚合计算，统计各品类销售额结果存储MySQL/Redis将TOP10排行榜结果写入MySQL供报表系统查询，Redis用于缓存加速数据展示可视化工具（如ECharts、Superset）将排行榜结果以图表形式呈现给业务部门（6分）（2）需求二的实时告警方案：①数据接入方式：业务系统的订单数据通过Kafka实时发送，Flink作为消费者从KafkaTopic中读取订单流数据。订单消息中包含订单金额和交易时间戳字段。（1分）②窗口设计：采用滚动窗口（TumblingWindow），窗口大小为1秒；（1分）因为需求是统计"每秒"的交易金额，滚动窗口能够精确对齐每一秒的边界，无需重叠；（1分）③阈值判断逻辑：```scalavalorderStream=kafkaStream.map(json=>parseOrder(json))//解析订单.assignTimestampsAndWatermarks(...)valsecondAmount=orderStream.keyBy(_=>"global")//全局统计.window(TumblingEventTimeWindows.of(Time.seconds(1))).aggregate(newSumAmountAggregate())valalertStream=secondA