2026年大数据工程技术人员岗位考核试题

2026年大数据工程技术人员岗位考核试题一、单项选择题（每题1分，共20分）1.根据《企业数据资源相关会计处理暂行规定》，下列关于数据资产确认条件的说法，正确的是（）。A.企业所有采集到的外部数据都可确认为数据资产B.数据资产必须是企业拥有或控制、预期能带来经济利益的资源C.内部研发形成的数据资产无需满足成本可计量要求D.数据资产只能计入「固定资产」会计科目答案：B解析：数据资产需符合资产核心定义：由企业拥有或控制、预期带来经济利益、成本可可靠计量。外部数据需合法获取且满足经济利益流入条件才可确认，内部数据需满足成本计量要求，通常计入无形资产或存货科目。2.下列大数据技术组件中，主要用于结构化数据离线批量采集的是（）。A.FlumeB.LogstashC.SqoopD.Kafka答案：C解析：Sqoop专门用于关系型数据库与Hadoop生态之间的批量数据迁移；Flume、Logstash主要用于日志类非结构化/半结构化数据的实时采集；Kafka是分布式消息队列，用于数据缓冲与传输。3.下列缺失值处理方法中，最适合用于具有时间序列特征的数据的是（）。A.均值填充B.前后值填充C.众数填充D.删除缺失行答案：B解析：时间序列数据具有前后相关性，使用前向/后向填充（前后值填充）能更好保留序列的时序特征，均值/众数填充会破坏时序规律，删除行可能导致序列断裂。4.下列存储格式中，不属于湖仓一体架构下常用的开放表格式的是（）。A.IcebergB.HudiC.ParquetD.DeltaLake答案：C解析：Parquet是列式存储文件格式，不是表格式；Iceberg、Hudi、DeltaLake是湖仓一体的三大核心开放表格式，提供ACID事务、Schema演进等能力。5.下列关于HBase数据库的说法，正确的是（）。A.属于行式存储的关系型数据库B.适合存储超大规模、稀疏的结构化/半结构化数据C.支持复杂的多表关联查询D.主要用于OLAP场景的即席查询答案：B解析：HBase是列式存储的NoSQL数据库，适合存储PB级、稀疏、随机读写的大规模数据，不支持复杂关联查询，主要用于OLTP场景的高并发读写。6.Flink框架中，能够处理乱序数据、保证窗口计算准确性的时间语义是（）。A.处理时间B.事件时间C.摄入时间D.系统时间答案：B解析：事件时间以数据产生的时间为基准，配合水位线（Watermark）机制可以处理乱序数据，保证窗口计算结果的准确性；处理时间以算子处理数据的系统时间为基准，无法处理乱序。7.数据仓库建模中，星型模型与雪花模型的核心区别是（）。A.星型模型只有一张事实表，雪花模型有多张事实表B.雪花模型的维度表存在冗余，星型模型维度表规范化程度高C.星型模型的维度表是扁平化的，雪花模型的维度表存在层级拆分D.雪花模型的查询效率高于星型模型答案：C解析：星型模型的维度表是反规范化的扁平化结构，雪花模型的维度表经过规范化拆分，存在多层级关联；星型模型查询效率更高，雪花模型冗余度更低。8.下列数据质量维度中，用于衡量数据是否存在重复记录的是（）。A.准确性B.完整性C.一致性D.唯一性答案：D9.HadoopYARN中，负责调度集群资源、管理NodeManager的组件是（）。A.ResourceManagerB.ApplicationMasterC.ContainerD.NameNode答案：A解析：ResourceManager是YARN的全局资源管理器，负责整个集群的资源调度与NodeManager管理；ApplicationMaster负责单个应用的资源申请与任务调度；Container是资源分配的基本单位；NameNode是HDFS的元数据管理组件。10.下列数据可视化图表中，最适合用于展示不同类别数据的占比关系的是（）。A.折线图B.饼图C.柱状图D.散点图答案：B11.下列NoSQL数据库中，属于文档型数据库的是（）。A.RedisB.HBaseC.MongoDBD.Neo4j答案：C解析：Redis是键值型数据库，HBase是列存储型数据库，MongoDB是文档型数据库，Neo4j是图数据库。12.Kafka中引入分区（Partition）机制的核心目的不包括（）。A.提升消息的并发处理能力B.实现消息的有序性C.实现数据的分布式存储D.提升集群的吞吐量答案：B解析：Kafka只能保证单个分区内的消息有序，分区机制本身的核心作用是分布式存储、提升并发与吞吐量，无法保证全局有序。13.SparkRDD的核心特性不包括（）。A.不可变性B.可分区C.事务性D.可缓存答案：C解析：RDD（弹性分布式数据集）具有不可变性、可分区、可缓存、容错性等特性，不支持事务性。14.下列数据安全技术中，属于隐私保护范畴、用于在不泄露原始数据的前提下实现数据计算的是（）。A.访问控制B.数据脱敏C.联邦学习D.防火墙答案：C解析：联邦学习属于隐私计算技术，可在多方数据不出本地的前提下完成联合建模计算；访问控制、防火墙属于边界安全技术，数据脱敏是对敏感数据进行变形处理。15.云原生大数据平台的核心特征不包括（）。A.存算分离B.资源池化C.弹性扩缩容D.烟囱式架构答案：D解析：烟囱式架构是传统大数据平台的弊端，云原生大数据平台基于容器、微服务等技术实现存算分离、资源池化、弹性扩缩容。16.数据中台的核心价值是（）。A.堆砌更多大数据工具B.沉淀可复用的数据资产与数据服务，避免重复建设C.替代传统数据仓库D.实现所有数据的实时处理答案：B17.下列关于大模型与大数据平台融合的说法，错误的是（）。A.大模型可用于提升数据治理的智能化水平，如自动识别元数据B.大数据平台可为大模型训练提供高质量的语料数据C.大模型可以完全替代传统的BI分析工具D.大模型可降低大数据分析的使用门槛，支持自然语言查询答案：C解析：大模型可以辅助BI分析，但无法完全替代传统BI工具的结构化报表、精准指标计算等能力。18.下列关于数据脱敏的说法，正确的是（）。A.数据脱敏会完全删除敏感数据，无法恢复B.静态脱敏适用于生产环境的实时访问场景C.动态脱敏根据用户权限返回不同脱敏程度的数据D.手机号掩码（如138**1234）属于加密技术答案：C解析：动态脱敏是在数据访问时根据用户权限实时返回脱敏后的数据，适用于生产环境；静态脱敏是对数据批量处理后用于开发测试等非生产环境；手机号掩码属于脱敏技术，不是加密。19.下列计算框架中，最适合用于实时流处理场景（如实时用户行为分析、实时预警）的是（）。A.HadoopMapReduceB.ApacheFlinkC.ApacheHiveD.Presto答案：B解析：Flink是原生的流处理框架，支持低延迟、高吞吐的实时计算；MapReduce、Hive是离线批处理框架，Presto是即席查询引擎。20.依据《个人信息保护法》，处理不满14周岁未成年人的个人信息，应当取得（）的同意。A.未成年人本人B.未成年人的父母或者其他监护人C.未成年人所在学校D.属地网信部门答案：B二、多项选择题（每题2分，共20分）1.下列属于大数据采集技术组件的有（）。A.FlumeB.SqoopC.LogstashD.Pandas答案：ABC解析：Pandas是Python数据处理库，用于数据预处理与分析，不属于采集组件；Flume用于日志采集，Sqoop用于关系型数据库批量采集，Logstash用于日志采集与传输。2.湖仓一体架构的核心特性包括（）。A.统一存储，支持多类型数据B.支持ACID事务C.存算分离，弹性扩缩容D.流批一体处理能力答案：ABCD解析：湖仓一体融合了数据湖和数据仓库的优势，基于统一的分布式存储支持结构化、半结构化、非结构化数据，通过开放表格式实现ACID事务，采用存算分离架构，同时支持流处理与批处理。3.数据预处理的主要任务包括（）。A.数据清洗B.数据集成C.数据变换D.数据归约答案：ABCD4.下列属于分布式实时计算框架的有（）。A.ApacheStormB.SparkStreamingC.ApacheFlinkD.HadoopMapReduce答案：ABC解析：MapReduce是离线批处理框架；Storm、Flink是原生流处理框架，SparkStreaming是基于Spark的微批处理框架，属于实时计算范畴。5.数据质量的核心衡量维度包括（）。A.准确性B.完整性C.一致性D.时效性答案：ABCD6.下列属于Spark生态核心组件的有（）。A.SparkSQLB.SparkStreamingC.MLlibD.GraphX答案：ABCD7.下列属于个人信息保护法规定的敏感个人信息的有（）。A.生物识别信息B.宗教信仰信息C.医疗健康信息D.行踪轨迹信息答案：ABCD解析：根据《个人信息保护法》，敏感个人信息是指一旦泄露或者非法使用，容易导致自然人的人格尊严受到侵害或者人身、财产安全受到危害的个人信息，包括生物识别、宗教信仰、特定身份、医疗健康、金融账户、行踪轨迹等信息，以及不满十四周岁未成年人的个人信息。8.Kafka的核心组件包括（）。A.ProducerB.BrokerC.ConsumerD.ZooKeeper（或KRaft控制器）答案：ABCD解析：Kafka的核心组件包括生产者（Producer）、代理节点（Broker）、消费者（Consumer）、消费者组（ConsumerGroup），以及用于元数据管理的ZooKeeper或KRaft控制器。9.大数据平台运维的核心工作内容包括（）。A.集群部署与配置B.监控告警与故障排查C.性能优化与容量规划D.业务需求调研与分析答案：ABC解析：业务需求调研与分析属于产品或数据分析人员的工作，不属于运维核心内容。10.下列属于数据可视化常用工具的有（）。A.EChartsB.TableauC.PowerBID.Git答案：ABC解析：Git是分布式版本控制工具，不属于可视化工具。三、判断题（每题1分，共10分）1.HBase是基于HDFS的行式存储NoSQL数据库，支持高并发随机读写。答案：错误解析：HBase是列式存储的NoSQL数据库，不是行式存储。2.Flink的水位线（Watermark）机制主要用于处理乱序数据，保证事件时间窗口的准确性。答案：正确3.企业内部产生的所有数据都可以确认为数据资产并计入资产负债表。答案：错误解析：只有满足资产确认条件（拥有或控制、预期带来经济利益、成本可计量）的数据才能确认为数据资产。4.星型模型的维度表经过规范化拆分，存在多层级关联，数据冗余度低于雪花模型。答案：错误解析：雪花模型的维度表经过规范化拆分，冗余度更低；星型模型是扁平化维度，冗余度更高，查询效率更高。5.Kafka的消息被消费后会立即被删除，无法重复消费。答案：错误解析：Kafka消息是持久化存储的，根据保留策略（时间或大小）自动删除，消费后不会立即删除，支持重复消费。6.SparkRDD是不可变的分布式数据集，对RDD的所有操作都会生成新的RDD。答案：正确7.数据中台的核心是技术工具的堆砌，只要采购足够多的大数据组件就能建成数据中台。答案：错误解析：数据中台的核心是数据资产的沉淀、复用与数据服务能力的输出，技术工具只是支撑，还需要配套的组织、流程、规范。8.数据脱敏属于数据安全技术中的隐私保护范畴，可避免敏感数据直接泄露。答案：正确9.联邦学习是一种隐私计算技术，可在多方数据不出本地的前提下完成联合建模。答案：正确10.数据仓库的主要特点是面向主题、集成、相对稳定、反映历史变化。答案：正确四、简答题（每题5分，共20分）1.简述大数据全生命周期的主要阶段及各阶段的核心目标。答案：大数据全生命周期包括6个核心阶段：（1）数据采集：从多源异构数据源获取原始数据，保证数据的完整性、时效性与合法性；（2）数据预处理：对原始数据进行清洗、集成、变换、归约，解决数据质量问题，提升数据可用性；（3）数据存储与管理：根据数据类型与访问需求选择合适的存储方案，实现数据的高效存取、组织与管理；（4）数据计算与分析：通过离线/实时计算框架对数据进行处理、分析、挖掘，提取有价值的信息；（5）数据可视化与应用：将分析结果以直观的可视化形式呈现，支撑业务决策与数据产品落地；（6）数据安全与治理：贯穿全生命周期，保障数据安全合规，提升数据质量，实现数据资产化。（答对任意5个阶段及对应核心目标即可得满分）解析：本题考察大数据工程的整体框架，需掌握各阶段的核心职责与边界。2.简述湖仓一体架构相比传统「数据湖+数据仓库」架构的核心优势。答案：核心优势包括5点：（1）统一存储：基于分布式对象存储，同时支持结构化、半结构化、非结构化数据，避免数据孤岛与重复存储；（2）事务支持：通过Iceberg、Hudi等开放表格式提供ACID事务能力，解决传统数据湖数据一致性差的问题；（3）存算分离：存储与计算资源独立扩缩容，提升资源利用率，降低成本，增强弹性；（4）统一引擎：支持同一计算引擎（如Spark、Flink）同时访问湖仓数据，减少数据搬迁与技术栈复杂度；（5）流批一体：支持实时数据与离线数据的统一处理与存储，简化实时数仓的建设流程。（答对任意5点即可得满分）解析：本题考察湖仓一体的核心特性，需对比传统架构的痛点理解其优势。3.简述数据倾斜的常见表现及Spark作业中解决数据倾斜的常用方法。答案：数据倾斜的常见表现：部分Task处理的数据量远大于平均水平，导致整个作业运行时间过长，甚至出现OOM报错。常用解决方法：（1）数据源侧：对Key进行随机前缀打散，避免相同Key集中在同一分区；（2）算子侧：使用map-side预聚合（如reduceByKey替代groupByKey），两阶段聚合；（3）Join场景：小表广播（broadcastjoin），大表Key加盐扩容；（4）数据预处理：过滤异常Key（如空值、热点Key），拆分热点Key单独处理；（5）资源配置：适当增大并行度，提升每个Task的内存资源。（答出表现得1分，答出任意4种方法得4分，共5分）解析：数据倾斜是大数据工程中最常见的性能问题，需掌握其表现与不同场景下的解决方案。4.简述Flink实现端到端Exactly-Once语义的核心机制。答案：Flink主要通过三层机制实现端到端Exactly-Once语义：（1）Checkpoint机制：基于Chandy-Lamport分布式快照算法，定期为所有算子生成一致性快照，故障时可回滚到一致的检查点状态，保证算子内部状态的Exactly-Once；（2）两阶段提交（2PC）：对于支持事务的Sink系统（如关系型数据库、Kafka），Flink通过2PC协议在Checkpoint完成后才提交事务，保证Sink端数据仅写入一次；（3）幂等写入：对于不支持事务的Sink系统，通过业务主键、唯一索引等方式实现幂等写入，避免重复数据。（完整答出3种机制及对应作用即可得满分，缺少机制或作用酌情扣分）解析：Exactly-Once是实时计算的核心语义，需掌握Flink的实现原理与适用场景。五、综合应用题（每题10分，共30分）1.某电商平台有用户表user_info和订单表order_info，表结构如下：•user_info（用户表）：user_id（用户ID，主键）、city（所在城市）、register_time（注册时间）•order_info（订单表）：order_id（订单ID，主键）、user_id（用户ID）、order_amount（订单金额）、pay_time（支付时间，yyyy-MM-ddHH:mm:ss格式）、order_status（订单状态，1=已支付，2=已取消）要求用SparkSQL计算2025年12月每个城市的用户复购率，复购率定义为：复购率结果保留2位小数，按城市升序排列。请写出完整的SQL语句。答案：SELECT

u.city,

ROUND(

SUM(CASEWHENo.pay_count>=2THEN1ELSE0END)/COUNT(DISTINCTo.user_id)*100,

2

)ASrepurchase_rate

FROM(

--统计每个用户2025年12月的已支付订单数

SELECT

user_id,

COUNT(DISTINCTorder_id)ASpay_count

FROMorder_info

WHEREorder_status=1

ANDpay_time>='2025-12-0100:00:00'

ANDpay_time<'2026-01-0100:00:00'

GROUPBYuser_id

)o

LEFTJOINuser_infouONo.user_id=u.user_id

WHEREu.cityISNOTNULL

GROUPBYu.city

ORDERBYu.cityASC;（复购率公式逻辑正确得2分，时间范围过滤正确得2分，订单状态过滤正确得1分，用户订单数统计逻辑正确得2分，关联用户表获取城市正确得1分，结果保留小数与排序正确得2分，共10分）解析：本题考察SparkSQL的实际应用，核心思路是先统计每个用户的有效购买次数，再关联用户维度表计算各城市的复购率。需注意：1.时间范围需使用左闭右开区间，避免边界数据遗漏或重复；2.需过滤已取消的订单，仅统计已支付的有效订单；3.复购率的分子是购买次数≥2的用户数，不是订单数；4.需排除城市为空的无效用户数据。2.某连锁生鲜企业计划在2026年搭建新一代大数据平台，支撑以下业务需求：（1）实时采集线上APP/小程序的用户行为日志、线下200家门店的POS交易数据、供应链的库存变动数据；（2）支持T+1的经营报表、用户画像、商品销售分析等离线统计场景；（3）支持实时的用户行为分析、库存预警、动态定价等实时计算场景；（4）支持商品图片、短视频、生鲜溯源视频等非结构化数据的存储与检索；（5）满足《个人信息保护法》《数据安全法》等合规要求，保障用户敏感数据安全。请设计该大数据平台的分层技术架构，说明各层的核心组件与作用。答案：该大数据平台采用分层架构设计，共分为5层，各层核心组件与作用如下：###（1）数据采集层（2分）核心组件：Flume/Logstash（日志采集）、CDC工具（如Debezium，用于POS、库存系统的数据库实时采集）、Kafka（消息队列，数据缓冲与削峰填谷）、Sqoop（离线批量数据同步）。作用：从多源异构数据源实时/批量采集数据，统一接入Kafka进行缓冲，保证数据采集的稳定性与时效性。###（2）数据存储层（2分）核心组件：HDFS/对象存储（如MinIO，存储非结构化的图片、视频、原始日志）、Iceberg（开放表格式，实现湖仓一体的结构化/半结构化数据存储）、HBase（存储高并发读写的实时数据，如实时库存、用户实时行为标签）、Redis（缓存热点数据）。作用：基于湖仓一体架构实现多类型数据的统一存储，满足不同场景的存取需求。###（3）数据计算层（2分）核心组件：Spark（离线计算，支撑T+1报表、用户画像等批处理场景）、Flink（实时计算，支撑实时行为分析、库存预警、动态定价等流处理场景）、Presto/Trino（即席查询，支撑数据分析人员的自助查询）。作用：通过流批一体的计算引擎，覆盖离线、实时、即席查询等多种计算需求。###（4）数据服务与应用层（2分）核心组件：数据服务平台（API网关，对外提供数据接口）、BI工具（如Tableau、FineBI，可视化报表）、标签系统（用户/商品标签管理）、实时预警系统。作用：将计算后的数据资产封装为可复用的服务与产品，支撑业务决策。###（5）数据治理与安全层（2分）核心组件：元数据管理平台、数据质量监控平台、数据脱敏系统、权限管理系统（RBAC）、审计日志系统。作用：贯穿全生命周期，实现数据质量管控、元数据管理、敏感数据脱敏、权限管控与操作审计，满足合规要求。（分层合理得2分，每层组件与作用匹配且满足需求得8分，共10分；若架构逻辑清晰、符合2026年技术趋势可酌情加分，总分不超过10分）解析：本题考察大数据平台架构设计能力，需结合业务需求选择合适的技术组件，遵循分层解耦、先进实用、安全合规的原则。2026年的主流架构是湖仓一体+流批一体，需覆盖结构化与非结构化数据、离线与实时场景，同时满足合规要求。3.某企业的Spark离线批处理作业原本处理100GB数据时运行时间约30分钟，近期数据量增长20%至120GB后，运行时间突然增加到2小时以上，且经常出现ExecutorOOM报错。运维人员排查发现集群资源充足，但部分Task处理的数据量是其他Task的10倍以上。请分析该问题的核心原因，并提出至少5种具体的优化方案，说明优化思路与适用场景。答案：###核心原因（2分）该问题的核心原因是数据倾斜：由于数据分布不均匀，大量相同Key的数据被分配到同一个Task处理，导致部分Task负载远高于平均水平，进而导致整体作业运行时间延长，甚至出现OOM报错。###优化方案（共8分，答出任意5种即可得满分，每种方案1.6分，需说明优化思路与适用场景）1.过滤异常热点Key思路：先统计导致倾斜的热点Key（如空值、测试数据、超级用户ID等），在计算前过滤掉无效的热点Key，或单独处理热点