2026年【大数据处理工程师】考试题库及答案

2026年【大数据处理工程师】考试题库及答案一、单项选择题（每题2分，共24分）1.当前大数据处理场景中，普遍认可的大数据5V特征不包含以下哪一项？A.Volume（规模性）B.Velocity（高速性）C.Variability（可变性）D.Version（版本化）答案：D解析：业界通用的大数据5V特征为Volume（规模性）、Velocity（高速性）、Variety（多样性）、Value（低价值密度）、Variability（可变性），不包含版本化，因此选择D。2.在HDFS分布式文件系统中，负责存储实际数据块的节点角色是？A.NameNodeB.DataNodeC.ResourceManagerD.NodeManager答案：B解析：NameNode负责管理文件系统元数据，DataNode负责存储实际数据块，ResourceManager是YARN的集群资源调度管理器，NodeManager负责单节点的资源管理与任务监控，因此选择B。3.Flink1.12及以后版本中，针对无界流处理，默认采用的时间语义是？A.处理时间（ProcessingTime）B.事件时间（EventTime）C.摄入时间（IngestionTime）D.系统时间答案：B解析：Flink1.12版本后默认将时间语义设置为事件时间，事件时间以事件生成的时间为准，能够准确处理乱序流，适配无界流的准确计算需求，因此选择B。4.以下关于湖仓一体架构的描述，错误的是？A.湖仓一体融合了数据湖的灵活性和数据仓库的结构化分析能力B.湖仓一体支持结构化、半结构化、非结构化数据统一存储C.湖仓一体必须采用存算分离架构，不支持存算一体部署D.湖仓一体能够降低数据冗余，减少跨系统数据迁移成本答案：C解析：湖仓一体的核心是融合数据湖与数据仓库的能力，主流生产环境多采用存算分离架构适配弹性扩缩容，但也可根据业务需求部署存算一体方案，并非强制要求存算分离，因此选择C。5.在SparkSQL中，针对大规模分区表的热点key数据倾斜问题，以下哪种优化方案可以直接解决该问题？A.哈希分区B.范围分区C.动态分区D.盐值分区答案：D解析：盐值分区通过给倾斜热点key添加随机前缀打散分区，将原本集中在一个分区的热点数据拆分到多个分区并行处理，可有效解决热点key导致的数据倾斜；哈希分区、范围分区是基础分区规则，无法主动解决倾斜；动态分区是根据数据值动态生成分区，不解决数据分布不均问题，因此选择D。6.大数据处理流程中，以下哪项属于数据完整性校验的核心指标？A.记录缺失率B.数据值准确率C.数据一致性D.数据时效性答案：A解析：完整性校验核心是检查数据是否存在记录、字段缺失，核心指标为记录缺失率、字段缺失率；准确率校验数据内容的准确性，一致性校验多数据源的数据统一程度，时效性校验数据更新的及时程度，因此选择A。7.在HadoopYARN中，哪种调度器适合多租户企业共享集群，能够提供层级队列和资源隔离能力？A.FIFO调度器B.容量调度器C.公平调度器D.先进先出调度器答案：B解析：容量调度器支持多队列层级资源分配，支持多租户资源隔离，是企业级多租户共享集群的主流选择；公平调度器侧重资源在租户间公平分配，FIFO/先进先出调度器为单队列调度，不支持多租户隔离，因此选择B。8.根据我国《个人信息保护法》要求，处理敏感个人信息时，以下哪项操作不符合合规要求？A.取得个人的单独同意B.仅向合作方共享脱敏处理后的非可识别个人信息C.将原始敏感个人信息出售给第三方机构D.完整记录敏感个人信息的处理情况答案：C解析：《个人信息保护法》明确禁止非法出售、向第三方提供原始个人信息，因此C不符合合规要求，选择C。9.在维度建模理论中，以下哪一项不属于事实表的标准分类？A.事务事实表B.周期快照事实表C.累计快照事实表D.维度事实表答案：D解析：维度建模中事实表的标准分类为事务事实表、周期快照事实表、累计快照事实表，不存在维度事实表的标准分类，因此选择D。10.Flink中Checkpoint分布式快照的实现核心基于以下哪项机制？A.两阶段提交B.三段提交C.异步刷新D.同步写入答案：A解析：FlinkCheckpoint基于Chandy-Lamport分布式快照算法，核心采用两阶段提交机制实现，保障状态一致性，因此选择A。11.以下关于数据血缘的描述，错误的是哪一项？A.数据血缘可以记录数据的来源和流转流向B.数据血缘可以帮助定位数据质量问题的根因C.数据血缘仅能记录表级血缘，无法记录字段级血缘D.数据血缘是数据治理体系的核心组成部分答案：C解析：当前主流的数据血缘工具（如ApacheAtlas、DataWorks数据血缘等）都支持字段级血缘解析，能够精准记录字段的流转、加工变化，因此C描述错误，选择C。12.大数据离线计算场景中，以下哪种存储格式兼具高压缩比、高效查询的特性，是当前列式存储的主流选择？A.CSVB.ParquetC.JSOND.TXT答案：B解析：Parquet是面向分析型场景设计的列式存储格式，支持高压缩比，能够跳过无关列扫描，查询效率远高于文本格式，是大数据离线分析场景的主流存储格式，因此选择B。二、多项选择题（每题4分，共32分，多选、少选、错选均不得分）1.以下属于主流分布式实时计算框架的有哪些？A.ApacheFlinkB.ApacheSparkStructuredStreamingC.ApacheStormD.ApacheHive答案：ABC解析：Hive是分布式离线数据仓库工具，不属于实时计算框架，Flink、SparkStructuredStreaming、Storm都是主流分布式实时计算框架，因此选择ABC。2.大数据处理中，数据倾斜产生的核心原因包括以下哪些？A.热点key数据量远大于其他keyB.分区/分桶设计不合理导致数据分布不均C.业务数据本身存在天然的不均匀分布特性D.集群部分节点硬件配置低于其他节点答案：ABC解析：数据倾斜是数据分布不均导致的计算性能问题，核心成因是数据本身分布不均、设计不合理导致热点；节点硬件差异只会导致单节点任务运行速度慢，不属于数据倾斜的成因，因此选择ABC。3.以下关于数据治理的描述，正确的有哪些？A.数据治理的核心目标是提升数据质量，保障数据合规可用B.数据血缘追踪是数据治理的核心功能之一，可用于溯源数据流向C.数据治理仅需要技术团队参与，不需要业务团队参与D.元数据管理是数据治理的基础支撑答案：ABD解析：数据治理需要业务、技术、管理多团队协同，业务团队提供业务规则和数据定义，是数据治理不可或缺的参与方，因此C错误，ABD正确。4.以下属于湖仓一体架构领域主流开放表格式的有哪些？A.ApacheIcebergB.ApacheHudiC.DeltaLakeD.ApacheParquet答案：ABC解析：Parquet是列式存储格式，不是表格式；Iceberg、Hudi、DeltaLake是当前湖仓一体领域的三大主流开放表格式，支持ACID事务、版本管理、Schema演化等核心能力，因此选择ABC。5.Flink原生支持的窗口类型包括以下哪些？A.滚动窗口（TumblingWindow）B.滑动窗口（SlidingWindow）C.会话窗口（SessionWindow）D.全局窗口（GlobalWindow）答案：ABCD解析：Flink原生支持以上四种窗口类型，可根据不同业务场景选择适配，因此全选。6.以下操作属于大数据预处理阶段核心工作的有哪些？A.数据清洗B.数据集成C.数据变换D.数据归约答案：ABCD解析：大数据预处理是数据分析前的核心准备阶段，包含数据清洗（处理脏数据、缺失值）、数据集成（整合多源异构数据）、数据变换（规范化、离散化处理）、数据归约（降维、压缩减少数据量）四个核心部分，因此全选。7.以下关于数据倾斜优化方案的描述，正确的有哪些？A.盐值打散法适用于聚合操作中热点key导致的倾斜B.两阶段聚合适用于可拆分的聚合计算场景C.大表倾斜join优化可采用广播小表、热点key拆分等方案D.增大map端内存可以从根本上解决数据倾斜问题答案：ABC解析：数据倾斜是数据分布不均问题，增大内存只能缓解OOM，无法从根本解决数据分布不均导致的任务拖慢问题，因此D错误，ABC正确。8.数据合规场景中，以下属于常用个人信息脱敏处理方式的有哪些？A.静态脱敏B.动态脱敏C.去标识化D.数据加密答案：ABCD解析：静态脱敏提前对批量存储的静态数据脱敏，动态脱敏在数据访问时根据权限动态脱敏，去标识化、加密都是符合《个人信息保护法》要求的脱敏保护手段，因此全选。三、判断题（每题1分，共10分，正确选√，错误选×）1.HDFS中NameNode进入安全模式时，仅支持读操作，不支持写修改操作。（√）解析：HDFS安全模式是NameNode的保护状态，启动阶段默认进入，加载元数据并达到块安全阈值后退出，安全模式下不允许修改文件系统，仅支持读操作，描述正确。2.SparkRDD的弹性指RDD默认全部存储在内存中，可自动弹性扩展内存，不需要磁盘存储。（×）解析：RDD全称为弹性分布式数据集，弹性指可自动根据内存容量在内存和磁盘之间切换存储，内存不足时会将数据溢出到磁盘，因此题干描述错误。3.Flink的Exactly-Once语义指每条数据恰好只被处理一次，能够保障输出结果的准确性。（√）解析：Exactly-Once是Flink状态一致性的最高级别，通过Checkpoint和两阶段提交机制实现，保障结果准确，描述正确。4.静态脱敏是指在数据访问过程中动态脱敏，动态脱敏是提前对存储的静态数据脱敏。（×）解析：静态脱敏提前对批量静态数据完成脱敏处理，动态脱敏是在数据访问时根据访问者权限动态脱敏，题干描述颠倒，因此错误。5.维度建模中，星型模型只有一个事实表，多张非规范化的维度表；雪花模型对维度表做规范化拆分，产生多级子维度表。（√）解析：描述正确，两者核心区别是维度表是否做规范化拆分，星型模型是非规范化设计，雪花模型是规范化设计。6.分布式存储中，大量小文件仅占用存储容量，不会影响元数据管理和计算性能。（×）解析：大量小文件会占用NameNode等元数据节点的大量内存，增大元数据管理压力，计算时会产生大量任务调度开销，降低集群整体性能，因此描述错误。7.仅Flink可以实现Exactly-Once语义，SparkStreaming无法实现Exactly-Once。（×）解析：SparkStructuredStreaming通过偏移量管理和幂等输出，也可以实现Exactly-Once语义，因此描述错误。8.元数据管理仅管理技术元数据，不包含业务元数据。（×）解析：元数据管理包含技术元数据（存储位置、结构、权限等）和业务元数据（业务定义、负责人、业务含义等），因此描述错误。9.HiveonSpark的执行效率远高于HiveonMapReduce，核心原因是Spark基于内存计算，减少了中间结果的磁盘IO开销。（√）解析：描述正确，MapReduce中间结果需要落盘，Spark可将中间结果存在内存，大幅提升计算效率。10.布隆过滤器可以100%准确判断元素是否存在于集合中。（×）解析：布隆过滤器可以100%确定元素不存在集合中，但存在一定的误判率，无法100%确定元素存在，因此描述错误。四、综合应用题（共34分）某头部电商平台日活用户1.2亿，日产生用户行为日志数据120TB，包含点击、加购、收藏、下单等全链路行为数据，现有两大业务需求：①按分钟粒度输出各商品的实时访问UV，供运营实时监控流量变化；②每日产出离线用户行为主题汇总报表，支撑业务大盘分析。当前平台遇到的核心问题：实时计算UV结果波动大，任务重启后容易出现结果不对；离线报表经常出现数据倾斜，任务运行时间远超预期，同时全集群存在大量小文件，导致存储元数据压力过大，经常触发节点告警。请回答以下问题：问题1（12分）：针对实时按分钟粒度统计商品UV的需求，选择合适的技术栈，并说明如何解决乱序数据处理和计算准确性问题。参考答案：（1）技术栈选型：消息队列采用ApacheKafka缓存接入用户行为日志，计算框架选择ApacheFlink做实时计算，结果存储采用ClickHouse做多维分析查询，选型得3分。（2）乱序数据处理方案：采用Flink事件时间语义，配置Watermark（水位线）机制，根据业务可接受的延迟设置乱序容忍时间，水位线达到窗口结束时间后触发窗口计算，既能够处理绝大多数乱序数据，又将延迟控制在业务可接受范围内，得4分。（3）计算准确性保障：①开启FlinkCheckpoint机制，配置Exactly-Once状态一致性语义，任务失败重启后可从最近的Checkpoint恢复状态，不会出现数据重复计算或丢失，保障UV结果准确；②UV统计采用布隆过滤器过滤重复用户ID，大幅降低状态存储开销，适配亿级流量场景，得5分。问题2（12分）：针对离线报表的数据倾斜问题，列举3种可行的优化方案，并说明原理和适用场景。参考答案（答对任意3种即可得满分）：（1）盐值打散法：给热点key添加随机前缀，将原本集中在一个分区的热点数据打散到多个分区并行处理，避免单个Task处理大量数据拖慢整个任务；适合分组聚合场景下的热点key倾斜问题，得4分。（2）两阶段聚合法：第一阶段先做局部聚合，每个分区先对本分区内的key做局部