2025年大数据工程师考试试题及答案

2025年大数据工程师考试试题及答案一、单项选择题（共20题，每题1.5分，总计30分。每题只有一个正确答案，错选、不选均不得分）1.截至2025年，Apache基金会旗下原生为流批一体场景设计、支持高吞吐CDC入湖、内置Changelog生产能力的开源湖仓表格式组件是（）A.ApacheIcebergB.ApacheHudiC.ApachePaimonD.DeltaLake2.根据我国“数据二十条”政策文件明确的数据产权制度框架，数据资源三权分置的三权指的是（）A.数据所有权、数据使用权、数据收益权B.数据资源持有权、数据加工使用权、数据产品经营权C.数据隐私权、数据著作权、数据商标权D.数据采集权、数据存储权、数据销毁权3.根据2024年修订实施的GB/T36344《信息技术数据质量评价指标》，数据质量评价维度中，用于衡量数据符合法律法规、行业监管规则、内部业务制度要求程度的维度是（）A.一致性B.合规性C.准确性D.规范性4.在ApacheSpark3.5LTS版本中，自适应查询执行（AQE）框架不支持以下哪项优化能力（）A.动态调整Shuffle分区数量，避免分区过多或过少B.动态切换Join策略，将适合的SortMergeJoin转换为BroadcastJoinC.自动检测数据倾斜，对倾斜分区进行拆分处理D.动态调整Executor的CPU、内存资源配额，实现弹性扩缩容5.大数据增量数据采集场景中，对源业务数据库侵入性最低、可靠性最高、能捕获所有数据变更且不丢失的CDC（变更数据捕获）方式是（）A.基于业务时间戳字段的增量轮询B.基于数据库触发器的变更记录C.基于数据库事务日志（Binlog/WAL/RedoLog）的解析D.基于全表定期快照比对的差异识别6.根据财政部2024年1月1日起实施的《企业数据资源相关会计处理暂行规定》，企业数据资源确认为无形资产的核心条件不包括（）A.企业拥有或者控制该数据资源B.与该数据资源有关的经济利益很可能流入企业C.该数据资源的成本能够可靠计量D.该数据资源必须包含用户个人敏感信息7.在现代湖仓一体架构下的企业级数仓分层体系中，经过清洗、维度关联、脱敏后的明细事实数据存储的层级是（）A.ODS层（操作数据层）B.DWD层（明细数据层）C.DWS层（汇总数据层）D.ADS层（应用数据层）8.差分隐私作为大数据隐私计算的核心技术，其核心实现原理是（）A.对原始数据进行对称加密，仅授权用户可解密访问B.通过在查询或计算结果中加入适量随机噪声，使攻击者无法通过输出结果推断单一个体的具体数据C.对数据的访问路径进行全链路加密，防止传输过程中被窃听D.将原始数据拆分为多个分片存储在不同节点，避免单节点泄露全量数据9.大数据架构中的Kappa架构核心设计思路是（）A.维护批处理、实时处理两套独立链路，批处理提供准确结果，实时处理提供低延迟结果，服务层合并两类结果对外服务B.以流处理为核心，将批处理视为流处理的特殊场景（有界流），使用同一套流处理引擎处理所有增量和全量数据C.采用MPP数据库直连业务库，直接通过SQL查询生成报表结果D.所有数据全部采用批处理方式加工，延迟控制在小时级满足业务需求10.在大模型训练数据集预处理阶段，用于实现百亿级以上文本数据的近似去重、相似度计算的核心算法是（）A.MinHash+LSH（局部敏感哈希）B.K-Means聚类C.PageRank链接分析D.SVM支持向量机11.企业数据血缘自动采集体系中，能够支撑字段级影响分析、问题数据溯源的最细粒度血缘是（）A.表级血缘B.字段级血缘C.作业级血缘D.系统级血缘12.大数据YARN集群调度器中，适合多租户生产环境、支持资源队列容量保证、队列资源弹性共享、ACL权限管控的调度器是（）A.FIFO调度器B.容量调度器（CapacityScheduler）C.公平调度器（FairScheduler）D.单用户调度器13.维度建模方法论中，星型模型与雪花模型的核心区别是（）A.星型模型存在事实表，雪花模型不存在事实表B.星型模型的维度表采用反规范化设计，直接关联事实表；雪花模型的维度表采用规范化设计，拆分多层维度表减少数据冗余C.星型模型仅支持结构化数据，雪花模型支持非结构化数据D.星型模型适合大数据量场景，雪花模型仅适合小数据量场景14.ApacheFlink的Watermark（水位线）机制的核心作用是（）A.处理事件时间场景下的数据乱序问题，判定窗口的触发时机，平衡计算结果的准确性和延迟B.实现计算状态的分布式快照，保障ExactlyOnce语义C.提升数据处理的吞吐量，减少网络Shuffle数据量D.实现集群的弹性资源调度，动态调整计算资源15.以下组件中，最适合支撑大宽表多维聚合分析、秒级实时报表场景的OLAP引擎是（）A.ClickHouseB.MySQLC.RedisD.HBase16.容灾备份指标体系中，RPO（恢复点目标）的具体含义是（）A.灾难发生后，系统从故障状态恢复到正常服务所需要的最长时间B.灾难发生后，系统允许丢失的最大数据量对应的时间窗口C.系统全年的可用服务时间占比D.系统能够支撑的最大并发请求数量17.ApachePaimon0.8版本的主键表不支持以下哪项特性（）A.主键级别的Upsert更新，支持MergeOnRead和CopyOnWrite两种表格式B.流写流读场景下的ExactlyOnce语义保障C.自动小文件合并、schema变更自动同步D.原生支持分布式事务处理，替代传统关系型数据库作为核心交易系统存储18.《中华人民共和国个人信息保护法》明确要求，处理生物识别、医疗健康、金融账户、行踪轨迹等敏感个人信息，应当取得个人的（）A.单独同意B.默示同意C.事后追认D.无需同意，只要做匿名化处理即可19.大数据集群中以下哪类问题属于典型的数据倾斜问题表现（）A.集群所有节点CPU、内存利用率均达到90%以上，作业处理速度缓慢B.作业绝大多数Task已完成，剩余1-2个Task运行时间远超其他Task，节点数据读写量是其他节点的数十倍C.集群NameNode内存使用率持续居高不下，RPC请求延迟升高D.作业运行过程中频繁出现OOM内存溢出错误，所有Task均启动失败20.RAG（检索增强生成）系统中，用于存储高维文本向量、支撑相似度语义检索的核心组件是（）A.向量数据库B.关系型数据库C.消息队列D.分布式文件系统二、多项选择题（共10题，每题2分，总计20分。每题有2-4个正确答案，多选、少选、错选均不得分）1.与传统基于Hive的离线数仓架构相比，湖仓一体架构的核心特性包括（）A.支持ACID事务，支持数据的更新、删除操作，保障数据一致性B.统一流批读写接口，支持实时写入、增量读取，支撑流批一体计算C.支持结构化、半结构化、非结构化数据的统一存储与管理D.必须部署在HDFS分布式文件系统之上，无法兼容对象存储2.ApacheFlink实现端到端ExactlyOnce处理语义，必须依赖的核心机制包括（）A.基于Chandy-Lamport算法的分布式Checkpoint快照机制，保障计算状态的一致性B.对接支持两阶段提交（2PC）协议或幂等写入的外部Sink连接器，保障输出结果不重复不丢失C.基于事件时间的Watermark推进机制，处理乱序数据D.K8s容器化部署机制，实现资源弹性调度3.企业级数据治理体系的核心能力模块包括（）A.数据标准管理，统一企业内部的数据定义、编码、格式规范B.元数据与数据血缘管理，实现数据资产的全链路可追溯C.数据质量管理，建立数据质量监控规则，保障数据的准确、一致、完整D.数据安全与合规管理，落实分类分级、权限管控、脱敏、审计等安全要求4.大模型预训练与SFT（监督微调）阶段的典型数据处理流程包括以下哪些环节（）A.多源数据采集与格式统一，接入网页、书籍、文档、对话等多来源数据B.数据清洗与去重，去除噪音内容、重复内容、低质量内容C.敏感信息过滤与内容安全审核，去除违法违规、隐私泄露内容D.数据质量标注与对齐，按照大模型训练要求构造问答对、偏好数据5.生产环境CDC入湖链路常见的风险点包括（）A.源数据库事务日志保留时间过短，导致全量同步后增量数据断流、丢失B.源数据库表结构变更（如加字段、改字段类型）未同步到湖表，导致入湖作业报错、数据写入失败C.源库主键不唯一或变更日志顺序错乱，导致湖表数据重复、统计口径偏差D.链路没有ExactlyOnce语义保障，作业重启时导致数据重复写入6.关于SparkSQL的生产环境优化手段，以下说法正确的有（）A.大表Join小表场景下，通过广播小表的方式避免Shuffle，减少数据倾斜风险B.开启AQE自适应查询执行，动态优化分区数、Join策略、倾斜处理C.根据数据量合理设置Shuffle分区数，避免分区过多产生大量小文件，或分区过少导致单Task负载过高D.所有表全部缓存到内存中，以此提升所有查询的速度7.以下数据脱敏技术中，属于不可逆脱敏（无法从脱敏结果还原原始数据）的有（）A.采用加盐SHA-256哈希算法对身份证号、手机号进行哈希处理B.对数值型敏感数据（如用户收入）添加符合差分隐私要求的随机噪声C.采用AES-256对称加密算法对用户地址信息进行加密存储D.对手机号、银行卡号采用掩码替换（如1381234），不存储原始字段明文8.流批一体实时数仓的典型分层架构与各层核心功能对应正确的有（）A.ODS层：通过FlinkCDC、日志采集工具将业务库数据、用户行为日志实时接入消息队列或湖表，保留原始数据格式，不做加工B.DWD层：通过流计算对ODS层数据进行清洗、过滤、维度关联、脱敏、分流，形成标准化明细事实数据C.DWS层：对DWD层明细数据进行公共维度的实时聚合，形成宽表、汇总指标表D.ADS层：基于DWS层的汇总数据加工面向业务场景的专属指标，对接实时大屏、报表、推荐系统等应用9.大数据生产集群的常见性能瓶颈包括（）A.存储层小文件过多，导致元数据服务（如NameNode）内存压力过大、元数据查询延迟升高B.计算阶段出现数据倾斜，少数节点负载过高，拖慢整个作业的运行时间C.网络带宽不足，Shuffle阶段跨节点数据传输量过大，导致网络超时、作业失败D.冷数据全部存储在SSD介质中，导致存储成本过高10.根据《中华人民共和国数据安全法》，数据处理者应当履行的数据安全义务包括（）A.建立健全全流程数据安全管理制度，组织开展数据安全教育培训B.落实数据分类分级保护制度，对核心数据实行更加严格的保护C.开展数据安全风险监测，发生数据安全事件时立即启动应急预案并上报D.定期开展数据安全风险评估，向有关主管部门报送风险评估报告三、简答题（共3题，每题10分，总计30分）1.请对比传统Lambda架构与2025年主流的流批一体湖仓架构的核心设计差异，并说明流批一体架构在企业生产中的核心优势。2.结合《数据安全法》《个人信息保护法》的合规要求，简述企业大数据平台在数据全生命周期（采集、传输、存储、处理、共享、销毁）各阶段需要落实的核心安全管控措施。3.当前RAG（检索增强生成）已成为企业大模型落地的主流技术路线，请简述企业现有大数据平台需要具备哪些核心数据能力，才能有效支撑RAG系统的稳定、高效运行。四、综合应用题（共1题，总计20分）某头部零售电商平台2025年启动大数据架构升级项目，原有基于Hive+Spark的离线数仓架构已无法支撑业务发展需求，当前存在四类核心痛点：一是核心交易指标仅能支持T+1更新，无法满足实时交易大屏、实时库存监控的秒级/分钟级数据需求；二是为补充实时能力搭建的Flink+Kafka实时链路与离线链路独立维护，多次出现实时交易金额、GMV等指标与离线T+1指标口径不一致，业务侧信任度低；三是历史数据加工过程中产生了上亿个小文件，导致查询性能缓慢、集群元数据压力过大，存储资源浪费严重；四是用户手机号、收货地址、消费记录等敏感数据存在权限管控粒度粗、访问无审计的问题，存在合规风险。已知平台日均产生业务库Binlog数据2.3TB、App/小程序用户行为日志16TB、商品/用户/商家主数据600GB，架构升级目标是构建流批一体湖仓架构，同时支撑实时业务监控、用户行为分析、大模型智能推荐数据集加工三类核心场景。请结合大数据工程最佳实践回答以下问题：（1）请为该平台设计流批一体湖仓架构的分层技术选型，包括数据接入层、存储层、计算层、服务层的核心组件，并说明选型核心理由。（10分）（2）针对平台当前存在的四类核心痛点，分别提出具体的、可落地的优化解决方案。（10分）参考答案一、单项选择题（每题1.5分，共30分）1.C2.B3.B4.D5.C6.D7.B8.B9.B10.A11.B12.B13.B14.A15.A16.B17.D18.A19.B20.A二、多项选择题（每题2分，共20分）1.ABC2.AB3.ABCD4.ABCD5.ABCD6.ABC7.ABD8.ABCD9.ABC10.ABCD三、简答题（每题10分，共30分）1.核心设计差异（4分）：传统Lambda架构采用双链路设计，分为批处理层、速度层、服务层：批处理层基于离线计算引擎周期性加工全量数据，提供高准确性的T+1结果；速度层基于流计算引擎处理实时增量数据，提供低延迟但存在一定误差的实时结果；服务层需要合并两层计算结果对外提供服务，天然存在逻辑冗余。流批一体湖仓架构采用单链路设计，以支持ACID的统一湖仓表格式为存储核心，使用兼容流批语义的计算引擎处理数据，将批处理视为有界流处理的特殊场景，无需维护两套独立的计算和存储链路。核心优势（6分）：一是口径一致性，流和批使用同一套加工逻辑、同一份存储数据，从根源上避免实时与离线指标偏差；二是研发效率提升，数据开发人员无需为同一指标编写两套代码，研发周期可缩短40%以上；三是运维成本降低，减少冗余组件、作业的维护投入，降低链路故障风险；四是数据新鲜度提升，核心指标可实现分钟级甚至秒级更新，同时保证数据准确性，兼顾低延迟和高可靠；五是存储成本降低，统一存储避免多副本数据冗余，结合冷热分层策略可降低30%以上的存储成本。2.数据全生命周期安全管控措施需覆盖六个核心阶段，每个阶段要点如下：（1）数据采集阶段（1.5分）：严格落实最小必要原则，明确数据采集的范围、用途、存储周期，采集敏感个人信息需取得用户单独授权，禁止超范围采集；建立数据源合规审计机制，对第三方数据来源开展合规校验，确保数据来源可追溯、合法。（2）数据传输阶段（1.5分）：跨节点、跨网络传输数据采用TLS1.3协议加密，公网传输通过专线、VPN通道建立安全连接，对传输数据开展完整性校验，防止数据被窃听、篡改、伪造。（3）数据存储阶段（1.5分）：落实数据分类分级保护，核心数据、敏感个人信息采用国密算法加密存储，建立多副本备份、跨机房容灾机制，定期开展存储介质漏洞扫描、渗透测试，防止数据存储层泄露。（4）数据处理阶段（2分）：建立基于RBAC+ABAC的细粒度权限体系，实现表级、列级、行级权限管控；数据加工过程中对敏感字段采用脱敏、差分隐私等技术处理，所有数据访问操作全程留痕审计，定期开展异常访问行为监测。（5）数据共享阶段（2分）：数据对外共享前开展合规风险评估，对输出数据进行脱敏、去标识化处理，与数据接收方签订安全协议明确责任；涉及数据出境的需严格按照规定开展安全评估，未经审批不得向境外提供重要数据、个人信息。（6）数据销毁阶段（1.5分）：对达到存储周期、无留存价值的数据采用磁盘消磁、数据覆写等不可逆方式销毁，留存完整的销毁记录，禁止报废存储介质上残留原始数据。3.大数据平台支撑RAG系统需要具备五类核心能力：（1）多源异构数据统一接入能力（2分）：支持结构化业务数据、非结构化文档（PDF、Word、网页、音视频转写文本）、第三方知识库等多源数据的统一接入，具备增量同步能力，能够感知源数据的更新、删除变化，保障知识库数据时效性。（2）非结构化数据解析与清洗能力（2分）：具备不同格式文档的自适应解析能力，能够去除页眉页脚、广告、乱码等噪音内容，提取连续、规范的文本信息；支持多模态内容（图片、表格）的结构化转换，保障提取内容的完整性。（3）智能切片与向量化处理能力（2分）：支持根据语义边界、文档结构、Token长度进行自适应文本切片，避免切片截断语义；内置对接主流embedding模型的能力，能够批量完成文本向量化计算，建立向量片段与原始文档、位置信息的映射关系。（4）混合检索能力（2分）：打通向量数据库、全文检索引擎、结构化数据存储的查询接口，支持语义检索、关键词匹配、结构化条件过滤的混合检索能力，通过重排序模型优化检索结果准确率，解决纯向量检索的召回精度问题。（5）知识库质量与安全管控能力（2分）：具备敏感信息识别、过滤能力，防止知识库中混入违法违规、隐私泄露内容；建立知识库版本管理、效果评估机制，定期清理低质量、过时内容，保障检索结果的准确性、合规性。四、综合应用题（共20分）（1）架构分层技术选型及理由（10分，每层2.5分）①数据接入层：选型FlinkCDC作为核心数据接入组件。理由：FlinkCDC支持全量快照+增量日志的一体化同步，对源业务库无侵入，无需安装触发器、修改业务表结构，支持断点续传、ExactlyOnce语义，可直接将数据写入Paimon湖表，相比传统Canal+DataX的架构减少链路冗余，降低数据延迟。②存储层：选型ApachePaimon作为核心湖仓表格式，底层存储采用S3兼容对象存储+SSD热数据缓存池的架构。理由：Paimon原生适配Flink、Spark引擎，支持流批一体读写、主键Upsert、CDCChangelog输出、自动小文件合并，相比传统Hive表具备ACID事务能力，可支撑实时写入、增量读取场景；对象存储具备高扩展性、低成本优势，SSD缓存池存放近7天的热数据，可提升热数据查询性能，兼顾成本与效率。③计算层：选型Flink作为实时计算核心引擎，Spark作为离线批量计算、大模型数据预处理核心引擎。理由：Flink具备低延迟流处理能力，支撑实时清洗、维度关联、聚合计算，满足实时监控场景需求；Spark具备成熟的批量处理生态，支持大规模数据清洗、去重、特征加工，适合大模型推荐数据集的预处理场景；两个引擎均可直接操作Paimon表，实现存储层的统一，避免多份数据冗余。④服务层：选型ClickHouse作为实时OLAP存储，Milvus作为向量数据库，统一数据服务API网关作为对外出口。理由：ClickHouse支持大宽表的秒级多维