2026年大数据工程师考试试题及答案

2026年大数据工程师考试试题及答案一、单项选择题（每题2分，共30分）1.HDFS中默认的数据块大小是？A.64MBB.128MBC.256MBD.512MB答案：B解析：Hadoop2.x及以上版本默认块大小为128MB。64MB是Hadoop1.x的默认值。2.下列关于MapReduce的说法，正确的是？A.Map阶段输出默认会进行排序，但不进行分区B.Shuffle过程包括分区、排序、溢写和合并C.Reduce任务的数量必须等于Map任务的数量D.Combiner的运行结果必须与Reduce的输出结果完全一致答案：B解析：Shuffle是MapReduce的核心过程，包含分区、排序、溢写（spill）、合并（merge）等环节。Combiner输出需与Reduce输入兼容，而非与Reduce输出一致。3.Spark中，下列哪种操作属于宽依赖？A.mapB.filterC.groupByKeyD.union答案：C解析：groupByKey需要将相同key的数据汇聚到同一分区，产生Shuffle，属于宽依赖。map、filter、union均为窄依赖。4.Flink中用于表示事件发生时间的时间语义是？A.ProcessingTimeB.EventTimeC.IngestionTimeD.WindowTime答案：B5.下列关于Kafka分区策略的说法，错误的是？A.未指定key时，消息按轮询方式分配分区B.指定key时，默认按key的哈希值取模分配分区C.分区数一旦确定，可以随时减少D.消费者组内每个分区只能由一个消费者线程消费答案：C解析：Kafka支持增加分区数，但不支持减少分区数，因为减少分区会导致已存储数据的分区映射失效。6.下列哪项不是数据仓库建模中维度建模的核心概念？A.事实表B.维度表C.粒度D.规范化范式答案：D解析：维度建模以事实表和维度表为核心，关注粒度、一致性维度等；规范化范式是ER建模关注的要点。7.在Hive中，下列哪种文件格式支持高效的列式存储和压缩？A.TextFileB.SequenceFileC.ParquetD.Avro答案：C8.Redis中用于设置键的过期时间（以秒为单位）的命令是？A.SETEXB.EXPIREC.TTLD.PERSIST答案：B解析：EXPIREkeyseconds用于设置过期时间。SETEX是在设置值的同时指定过期时间，TTL用于查询剩余时间。9.下列关于HBase的说法，正确的是？A.HBase是文档型数据库B.HBase支持SQL查询C.HBase的RowKey按字典序排序D.HBase的列族数量建议越多越好答案：C10.大数据数据治理中，DQC（数据质量检查）不属于下列哪个维度的指标？A.完整性B.及时性C.唯一性D.美观性答案：D11.在SparkStreaming中，从Kafka接收数据时，下列哪种方式可以保证数据不丢失？A.使用receiver方式并关闭WALB.使用direct方式并启用预写日志C.使用receiver方式连接ZooKeeperD.直接读取Kafka的日志文件答案：B12.下列哪种算法不属于常见的推荐系统协同过滤算法？A.基于用户的最近邻算法B.基于物品的最近邻算法C.ALS矩阵分解算法D.XGBoost回归算法答案：D13.下列关于数据仓库和数据湖的说法，错误的是？A.数据仓库存储结构化数据，数据湖可以存储任意格式数据B.数据仓库主要用于BI报表，数据湖多用于数据科学探索C.数据湖支持Schema-on-write，数据仓库支持Schema-on-readD.数据湖通常使用对象存储或分布式文件系统作为底层存储答案：C解析：数据仓库采用Schema-on-write（写入时定义模式），数据湖采用Schema-on-read（读取时解析模式），二者正好相反。14.在Flink中，下列关于Checkpoint的说法，正确的是？A.Checkpoint由用户手动触发B.Checkpoint用于程序崩溃后的自动恢复C.Savepoint比Checkpoint更轻量级D.Checkpoint默认存储在内存中答案：B15.下列关于CAP定理的说法，正确的是？A.分布式系统可以同时满足一致性、可用性和分区容错性B.当发生网络分区时，系统必须在一致性和可用性之间做出取舍C.ZooKeeper选择了APD.Eureka选择了CP答案：B解析：CAP定理指出，网络分区发生时，一致性和可用性无法同时保证。ZooKeeper选择CP，Eureka选择AP。二、多项选择题（每题3分，共15分）1.下列哪些组件属于Hadoop生态系统中常用的数据存储组件？A.HDFSB.HBaseC.KafkaD.Redis答案：AB解析：HDFS和HBase属于存储组件。Kafka是消息队列，Redis是缓存中间件，均不属于Hadoop生态的存储体系（虽然可以与其集成）。2.下列关于Spark与Flink的说法，正确的有？A.Spark的DAG是静态的，Flink的DAG是动态生成的B.Flink支持毫秒级延迟，SparkStreaming的延迟通常在秒级C.Spark的RDD支持血统机制实现容错D.Flink不支持事件时间处理答案：ABC解析：Flink支持事件时间、处理时间和摄入时间三种时间语义，D错误。Spark的DAG在提交时确定，Flink根据数据流动态构建执行图。3.下列哪些操作会导致Spark产生Shuffle？A.distinctB.reduceByKeyC.coGroupD.mapPartitions答案：ABC解析：对key执行去重、聚合或分组操作需要数据重分布，产生Shuffle。mapPartitions是对每个分区独立操作，不产生Shuffle。4.下列关于数据仓库分层架构的说法，正确的有？A.ODS层存储原始数据，保持与源系统一致B.DWD层通常进行数据清洗、脱敏和维度退化C.DWS层按主题汇总，为应用层提供指标服务D.ADS层直接面向业务应用，按需构建宽表或数据集市答案：ABCD5.在大数据实时计算架构中，下列哪些组件常用于解决流式数据接入问题？A.FlumeB.KafkaC.CanalD.Hive答案：ABC解析：Flume用于日志采集，Kafka用于消息缓冲，Canal用于解析MySQLbinlog。Hive是离线数仓工具，不用于实时数据接入。三、判断题（每题2分，共10分）1.HDFS适合存储大量小文件。答案：错误解析：大量小文件会占用NameNode大量内存并降低读写效率，HDFS更适合大文件存储。2.Spark的DataFrame底层仍然基于RDD实现。答案：正确3.Flink的水位线（Watermark）用于处理乱序事件，水位线越小表示等待乱序数据的时间越长。答案：错误解析：水位线越大，表示系统等待乱序数据的时间越长，容忍乱序能力越强。4.Hive在底层执行引擎中默认使用Tez。答案：错误解析：Hive的默认执行引擎是MapReduce。Tez、Spark需要额外配置。5.在Lambda架构中，批处理层和速度层的结果需要合并才能得到最终视图。答案：正确四、简答题（每题10分，共20分）1.简述HDFS写入文件的基本流程。答案：(1)客户端向NameNode发送写请求，NameNode检查权限和路径合法性并返回可用的DataNode列表；(2)客户端将文件按块大小切分，逐块向DataNode传输数据；(3)数据按流水线方式复制到多个副本节点，每个副本写入成功后向前一个节点返回确认信息；(4)所有块写入完成后，客户端通知NameNode关闭文件，NameNode更新元数据。2.简述数据仓库中缓慢变化维（SCD）的常见处理策略及适用场景。答案：(1)策略一（直接覆盖）：直接更新维度属性值，不保留历史。适用于无需追溯历史的场景，如用户联系电话；(2)策略二（新增一行）：保留历史记录，新增一条维度记录并标记新版本，为每个版本分配新代理键。适用于需要完整历史追溯的场景，如会员等级变化；(3)策略三（新增列）：在同一行中增加"原值"列和"现值"列，仅保留最近两次变化。适用于只需回溯上一版本的场景；(4)混合策略：关键属性采用策略二、非关键属性采用策略一，兼顾历史追溯与存储成本。五、综合分析题（25分）某电商平台现有订单、支付、物流、用户行为（浏览、点击、搜索）四类数据，业务部门提出三类需求：-需求一：每日统计各品类GMV、订单量、支付成功率，输出至BI报表供运营决策；-需求二：实时监控大促期间各商品维度的下单金额和支付金额，分钟级刷新大屏；-需求三：对用户行为序列进行深度分析，用于后续推荐模型特征工程。请回答以下问题：1.（8分）设计该平台的数据仓库分层架构，并说明每层的职责，以及各层分别对应哪个需求。2.（8分）针对需求二，设计一套实时计算链路，要求说明所选组件与技术方案，并阐述如何保证端到端延迟在分钟级且数据不丢失。3.（9分）针对需求三，比较Lambda架构和Kappa架构的适用性。若同时支持离线特征和准实时特征，你会如何选型？请给出理由。答案：1.数据仓库分层架构设计如下：(1)ODS层（原始数据层）：存储订单、支付、物流、用户行为等原始数据，保持与源系统一致，不做过多的数据加工，对应需求一、二、三的原始数据来源。(2)DWD层（明细数据层）：对ODS层数据进行清洗、去重、脱敏、维度退化，统一字段命名与数据类型。订单、支付明细数据在此层完成事实表建模，用户行为数据完成日志解析与Session划分。此层对应需求一和需求三的明细数据准备。(3)DWS层（汇总数据层）：按主题进行轻度汇总，如按"品类—日期"汇总GMV、订单量、支付金额，按"商品—分钟"汇总下单金额。此层直接支撑需求一的日汇总报表和需求二的实时大屏。(4)ADS层（应用数据层）：面向具体业务场景构建应用级宽表和数据集市，如BI报表数据集、推荐特征宽表、大屏指标服务。此层直接服务需求一的BI报表和需求三的推荐特征工程。2.实时计算链路设计：采用"Canal+Kafka+Flink+Doris/ClickHouse"链路。(1)数据接入：Canal实时监听MySQL数据库的binlog，解析订单表和支付表变更，将增量数据以JSON格式写入Kafka指定topic。(2)消息缓冲：Kafka作为消息中间件，对订单变更、支付变更等事件进行削峰填谷。设置合理的分区数（如按商品ID哈希）保证同一商品的订单与支付事件落入同一分区，便于后续Join。(3)实时计算：Flink消费Kafka数据，使用EventTime语义与Watermark机制处理乱序事件，执行"订单流与支付流双流Join"，按商品维度进行分钟级窗口聚合，计算下单金额和支付金额，将结果写入OLAP引擎。(4)结果存储与查询：Doris（或ClickHouse）存储聚合结果，提供大屏的亚秒级查询响应。数据不丢失保障措施：Flink开启Checkpoint，启用Exactly-Once语义；Kafka设置acks=all并配置副本数≥3。端到端分钟级延迟由Flink窗口大小（1分钟滚动窗口）和OLAP引擎的秒级查询能力保证。3.架构选型分析：Lambda架构由批处理层、速度层和服务层组成，批处理层定期计算全量历史数据得到精确视图，速度层处理实时增量数据得到近似视图，服务层合并两部分结果。适合既有高精度历史分析需求、又有低延迟实时需求的场景，但需要维护两套代码（批和流），开发与运维成本高。Kappa架构只保留一套流处理链路，用Kafka等消息队列保存完整历史数据，通过重新消费数据实现"重算"。适合历史数据可回溯、逻辑可重放的场景，但要求消息队列的存储容量和重放能力足够强。针对需求三的选型建议：(1)若推荐特征既包含天级离线特征（如用户30天购买偏好），又包含分钟级准实时特征（如用户最近5分钟点击序列），建议采用Kappa架构为主，将用户行为数据全部接入Kafka，由Flink统一完成事件清洗、Session划分和特征拼接