2026年大数据技术考试及答案

2026年大数据技术考试及答案一、单项选择题（本大题共20小题，每小题2分，共40分）1.根据我国工业和信息化部2024年发布的《大数据技术人才培养标准（修订版）》，当前大数据核心特征体系中，新增的第五个核心V维度是指（）A.数据可变性（Variability）B.数据真实性（Veracity）C.数据价值密度（Valuedensity）D.数据可视性（Visualization）答案：B解析：传统大数据核心特征的经典4V框架为：数据规模（Volume）、处理速度（Velocity）、类型多样性（Variety）、数据价值（Value）。随着生成式人工智能技术的普及，海量生成式虚假数据、噪声数据涌入大数据流通环节，数据真实性对大数据应用落地的影响不断提升，因此我国最新发布的人才培养标准中将数据真实性（Veracity）明确为第五个核心维度，强调数据质量管理在大数据全生命周期中的核心地位，因此本题选择B选项。2.在基于大语言模型的检索增强生成（RAG）应用架构中，负责存储嵌入（embedding）后的向量数据，并完成快速相似性检索的核心大数据组件是（）A.关系型数据库B.键值数据库C.向量数据库D.图数据库答案：C解析：向量数据库是专门面向向量数据的存储、索引、检索设计的新型专用数据库，和传统数据库将向量转换为普通浮点数数组存储的方式不同，向量数据库内置了近似最近邻搜索（ANN）等优化算法，能够实现亿级向量规模下的毫秒级相似性检索响应，完全满足RAG架构中从私有知识库中快速检索相关上下文的需求，是当前大模型落地行业应用的核心基础设施，因此本题选择C选项。关系型数据库适合存储结构化业务数据，键值数据库适合存储高并发访问的简单键值对数据，图数据库适合存储具有复杂关联关系的数据，均不满足大规模向量检索的性能需求，因此其余选项错误。3.以下关于湖仓一体架构的描述，正确的是（）A.湖仓一体架构无法同时支持结构化、半结构化和非结构化数据存储B.湖仓一体架构融合了数据仓库的ACID事务特性和数据湖的扩展性、灵活性优势C.湖仓一体架构必须依赖Hadoop生态的HDFS存储，无法兼容公有云对象存储D.湖仓一体架构不支持实时数据处理，仅能支持离线批量计算任务答案：B解析：湖仓一体架构是为了解决传统数据仓库扩展性差、存储成本高，传统数据湖数据一致性差、不支持事务、分析性能不足的痛点提出的新一代大数据存储架构，其核心特性就是融合了两种传统架构的优势，既保留了数据湖对多类型数据的存储支持、弹性扩展能力和极低的存储成本，又通过引入ACID事务机制解决了数据湖多任务并发写入的数据一致性问题，支持高并发的OLAP分析需求。当前主流的开源湖仓一体框架如ApacheIceberg、ApacheHudi均原生兼容S3、OSS等公有云对象存储，同时支持批流一体处理，能够同时满足离线计算和实时计算的需求，因此只有B选项的描述正确，其余选项错误。4.根据我国2024年修订的《数据安全管理办法》，以下四类数据中，属于核心数据范畴的是（）A.某头部互联网企业对外公开的官方产品宣传数据B.某地级市政务服务平台面向公众开放的公开政务信息C.支撑国家电网跨省电力调度运行的核心生产数据D.某连锁超市对外发布的周末商品促销活动信息答案：C解析：我国现行数据分类分级规则将数据划分为四个层级，分别是公开数据、一般数据、重要数据、核心数据，其中核心数据是指一旦遭到篡改、破坏、泄露或者非法获取、非法利用，会直接危害国家安全、国计民生和重大公共利益的数据。支撑国家关键基础设施运行的核心生产数据，关系到能源安全和国计民生，属于核心数据范畴，因此C选项正确，其余三类数据均属于可公开的低敏感数据，不属于核心数据。5.以下大数据计算引擎中，原生支持批流一体架构，能够一套引擎同时满足实时大数据计算和离线批量计算需求，降低架构复杂度的是（）A.MapReduceB.ApacheFlinkC.SparkSQLD.ApacheStorm答案：B解析：MapReduce是第一代大数据离线计算引擎，仅支持离线批量计算任务，不支持实时流计算；ApacheStorm是早期纯实时流计算引擎，仅支持实时计算，不支持离线批量计算；Spark框架本质上是以批处理为核心，通过微批的方式模拟流计算，并非原生支持批流一体，计算延迟相比原生流处理更高；而Flink采用原生流处理模型，将离线批量数据视为有界流，一套引擎内核可以同时处理无界实时流数据和有界离线批量数据，天然支持批流一体，能够大幅降低架构的开发和运维成本，因此成为当前大数据领域主流的核心计算引擎，本题选择B选项。6.在我国数据要素市场化配置过程中，数据确权的核心目标是（）A.确定大数据的存储位置和存储格式B.明确数据的权利归属与权利边界C.提升大数据的计算处理速度D.降低大数据的存储和维护成本答案：B解析：数据确权是数据要素合法流通交易的前提基础，由于数据具有可复制、非排他性的特征，传统产权制度无法直接适配数据产权界定，因此数据确权的核心目标就是通过制度和技术手段，明确数据的所有权、使用权、收益权、处分权等不同权利的归属和边界，解决数据交易流通中的权利纠纷问题，保障数据要素市场各方主体的合法权益，推动数据要素的合规开发利用，因此本题选择B选项，其余选项均不属于数据确权的核心目标。7.以下分布式计算理论中，CAP定理指出在分布式系统中无法同时满足三个特性，以下不属于CAP定理三个特性的是（）A.一致性（Consistency）B.可用性（Availability）C.分区容错性（Partitiontolerance）D.完整性（Completeness）答案：D解析：CAP定理是分布式系统领域的核心基础理论，由布鲁尔提出，指出分布式存储系统最多只能同时满足一致性、可用性、分区容错性三个特性中的两个，无法三者同时满足，其中三个特性分别为C一致性，指集群中所有节点数据更新的一致性；A可用性，指集群每个请求都能得到正常响应；P分区容错性，指分布式系统在出现网络分区的情况下仍然能够正常提供服务，完整性不属于CAP定理的三个特性，因此本题选择D选项。8.某大数据公司需要对用户的消费行为数据进行聚类分析，将具有相似消费习惯的用户划分为同一个群体，以下算法中适合完成该任务的是（）A.K-Means算法B.逻辑回归算法C.Apriori算法D.决策树算法答案：A解析：K-Means是最经典的划分式聚类算法，属于无监督学习算法，不需要提前标注训练数据，就可以根据样本特征的相似度将样本划分为预设的K个簇，非常适合用户群体分群这类聚类任务，因此A选项正确。逻辑回归和决策树属于有监督的分类算法，Apriori是关联规则挖掘算法，均不满足用户聚类的需求，因此其余选项错误。9.在大数据采集阶段，对于高并发的用户行为日志数据，以下最适合的消息队列传输组件是（）A.RabbitMQB.KafkaC.ActiveMQD.RocketMQ答案：B解析：Kafka是专门为高吞吐量的日志数据、行为数据传输设计的分布式消息队列，支持百万级TPS的高并发写入，能够承载大数据场景下每日十亿级以上的用户行为日志采集传输需求，因此是当前大数据采集链路中最常用的消息队列组件，本题选择B选项。RabbitMQ和ActiveMQ更适合低延迟、高可靠性的业务消息传输，吞吐量远低于Kafka，RocketMQ更适合电商交易类订单消息的传输，在高并发日志采集场景下的表现不如Kafka。10.以下技术中，不属于大数据隐私保护技术范畴的是（）A.数据脱敏B.差分隐私C.联邦学习D.增量抽取答案：D解析：增量抽取是数据同步阶段的一种常用技术，指只抽取上一次同步之后发生变化的数据，减少数据同步的资源开销，不属于隐私保护技术，而数据脱敏（对敏感字段进行替换、掩码处理）、差分隐私（通过向统计结果中加入噪声保护原始数据隐私）、联邦学习（多个参与方不出原始数据的情况下联合建模）都属于典型的大数据隐私保护技术，因此本题选择D选项。11.以下关于数据仓库的星型模型和雪花模型的描述，正确的是（）A.星型模型的维度表会进一步规范化分解为多个子维度表B.雪花模型的查询效率高于星型模型C.星型模型的冗余度低于雪花模型D.星型模型由一个事实表和多个维度表组成，结构简单答案：D解析：星型模型是数据仓库最常用的维度建模模型，核心结构是一个事实表搭配多个不拆分的维度表，结构简单，查询的时候不需要做过多的关联，查询效率高，但是维度表没有规范化，存在一定的数据冗余；雪花模型是将星型模型中的维度表进一步规范化，分解为多个层级的子维度表，减少了数据冗余，但是查询的时候需要关联更多的表，查询效率更低，因此只有D选项描述正确。12.在大数据实时计算中，ExactlyOnce语义指的是（）A.每条数据只会被处理一次，不会重复也不会丢失B.每条数据至少会被处理一次，可能重复C.每条数据最多会被处理一次，可能丢失D.每条数据会被精确处理一次，结果一定正确答案：A解析：实时计算中的处理语义分为三种，分别是AtMostOnce（最多一次，可能丢数据）、AtLeastOnce（至少一次，可能重复）、ExactlyOnce（恰好一次，不重复不丢失），ExactlyOnce语义保证每条数据只会被系统处理一次，既不会丢失也不会重复处理，能够保证计算结果的准确性，因此本题选择A选项。二、多项选择题（本大题共10小题，每小题3分，共30分）1.大数据预处理阶段是提升大数据质量的核心环节，以下属于大数据预处理常用技术的有（）A.数据清洗B.数据集成C.数据变换D.数据归约答案：ABCD解析：原始大数据往往来自多个不同的数据源，存在缺失值、异常值、数据格式不统一、数据维度冗余等多种问题，无法直接用于分析挖掘，因此必须经过预处理环节。预处理的核心步骤包括四个部分：第一是数据清洗，主要处理缺失值、异常值、重复数据，解决数据的错误问题；第二是数据集成，将来自多个数据源、多个系统的数据合并统一，解决数据分散的问题；第三是数据变换，将数据转换为适合分析挖掘的格式，常见操作包括数据归一化、离散化、编码转换等；第四是数据归约，通过特征选择、维度降维、数据抽样等方式，在保留核心信息的前提下降低数据规模，减少后续计算的资源开销，因此四个选项都属于大数据预处理的常用技术，本题全选。2.当前生成式人工智能技术与大数据技术深度融合，以下属于二者典型结合场景的有（）A.利用海量多模态大数据训练通用大语言模型B.检索增强生成（RAG）架构引入企业私有大数据提升大模型回答准确性C.利用真实大数据检测大模型生成内容的幻觉问题D.利用垂直领域专属大数据对通用大模型进行微调，优化垂直领域任务效果答案：ABCD解析：生成式AI的发展从始至终都高度依赖大数据资源，预训练阶段就需要PB级以上的文本、图像、音频等多模态大数据作为训练原料，没有高质量的海量大数据就不可能有当前大模型的发展。检索增强生成（RAG）作为大模型行业落地的主流方案，核心就是引入企业内部的私有大数据作为知识库，弥补大模型训练数据截止日期的限制，解决大模型不知道私有数据内容的问题，同时有效降低大模型的幻觉率；此外，技术人员可以通过将大模型生成的内容和真实大数据进行比对，快速识别大模型生成的虚假内容，实现幻觉检测和修正；针对垂直领域的应用需求，技术人员通常会利用垂直领域的高质量标注大数据对通用大模型进行微调，让大模型学习垂直领域的专业知识，提升生成内容的专业准确性，因此四个选项都是生成式AI与大数据的典型结合场景，本题全选。3.以下属于数据仓库和传统数据湖的区别的有（）A.数据仓库通常存储结构化数据，数据湖可以存储结构化、半结构化、非结构化等所有类型数据B.数据仓库需要提前定义数据模式，数据湖一般采用读写模式分离，不需要提前定义模式C.数据仓库存储成本通常高于数据湖D.数据仓库原生支持ACID事务，传统数据湖不支持ACID事务答案：ABCD解析：传统数据仓库诞生于企业业务数据分析需求，最早是为结构化业务数据设计的，需要在写入数据之前提前定义好数据模型和数据schema，对数据的格式要求严格，仅适合存储结构化数据，存储介质通常采用高性能存储，存储成本较高，同时原生支持ACID事务保证数据一致性；而传统数据湖是为了应对海量多类型数据的存储需求诞生的，采用集中存储的方式存储所有类型的数据，不需要在写入前提前定义schema，一般采用廉价的对象存储作为存储介质，存储成本远低于传统数据仓库，早期传统数据湖不支持ACID事务，并发写入容易出现数据不一致的问题，正是因为这些痛点才催生了湖仓一体架构的诞生，因此四个选项的描述都正确，本题全选。4.联邦学习作为一种隐私保护下的大数据联合计算技术，根据架构可以划分为哪几类常见的类型（）A.横向联邦学习B.纵向联邦学习C.联邦迁移学习D.中心化联邦学习答案：ABC解析：联邦学习根据参与方的样本和特征重叠情况，通常划分为三类核心类型：第一类是横向联邦学习，适用于参与方之间特征重叠多、用户样本重叠少的场景，比如两个不同地区的银行，业务范围不同，用户样本重叠少，但是业务特征相同，适合采用横向联邦；第二类是纵向联邦学习，适用于参与方之间用户样本重叠多、特征重叠少的场景，比如同一个地区的银行和电商，用户群体重叠度高，但是银行拥有用户的金融消费特征，电商拥有用户的购物行为特征，适合采用纵向联邦；第三类是联邦迁移学习，适用于参与方之间用户样本和特征重叠都很少的场景，通过迁移学习解决数据重叠度低的问题，因此ABC三个选项正确。5.大数据全生命周期管理包括以下哪些核心阶段（）A.数据采集与传输B.数据存储与管理C.数据处理与分析D.数据流通与销毁答案：ABCD解析：大数据全生命周期管理是指从数据产生到数据销毁的全流程管理，覆盖数据产生后的采集、传输，到存储、质量管理，再到处理、分析、挖掘，之后进入流通交易环节，最后当数据失去价值之后按照合规要求进行销毁，因此四个阶段都属于大数据全生命周期管理的范畴，本题全选。三、综合应用题（本大题共2小题，每小题15分，共30分）1.某头部国内电商平台业务快速发展，累计拥有8亿注册用户，每日新增用户行为数据（点击、浏览、加购、收藏、购买等）规模达到12PB，数据类型涵盖结构化的行为日志、非结构化的用户评论文本、半结构化的商品属性信息，当前该平台计划搭建新一代用户行为大数据分析平台，核心业务需求如下：（1）需要支持实时流量转化分析，能够实时统计不同渠道、不同品类的流量转化漏斗，延迟要求不超过5秒，支撑运营人员实时调整营销策略；（2）需要支持离线全量用户行为挖掘，每月进行一次全量用户的兴趣标签计算，支撑个性化推荐业务；（3）需要满足《个人信息保护法》的合规要求，支持敏感数据脱敏、细粒度权限控制、全流程数据审计功能；（4）存储架构需要具备弹性扩展能力，能够适配业务增长带来的数据规模扩张，同时控制存储成本。请结合上述需求回答以下问题：（1）请为该平台设计合适的存储架构和计算架构，说明选择理由；（8分）（2）请简要描述该平台用户行为数据的完整处理流程。（7分）参考答案：（1）存储架构选择基于公有云对象存储的湖仓一体架构，计算架构选择Flink+Spark的批流一体计算架构，具体理由如下：第一，存储层面，湖仓一体架构能够适配该平台多类型数据的存储需求，既可以支持结构化行为日志，也可以支持非结构化文本和半结构化商品数据，相比传统数据仓库，湖仓一体架构基于廉价对象存储，存储成本大幅降低，同时支持弹性扩展，能够随着数据规模增长按需扩容，满足业务增长需求；其次，湖仓一体架构原生支持ACID事务，能够保证多任务并发写入数据的一致性，同时湖仓一体架构支持细粒度的权限控制和数据血缘管理，能够满足数据脱敏、权限控制、数据审计的合规要求，符合平台的合规需求。第二，计算层面，采用Flink处理实时计算任务，Spark处理离线全量计算任务的架构，既满足实时计算的低延迟需求，也满足离线计算的高吞吐量需求：Flink是原生流计算引擎，能够实现秒级延迟，满足平台不超过5秒延迟的实时流量分析需求，同时Flink支持ExactlyOnce语义，能够保证实时数据计算的准确性，不会出现数据丢包或者重复计算的问题；Spark作为当前最成熟的离线批量计算引擎，对PB级以上的全量离线数据计算支持非常完善，生态丰富，能够支撑大规模用户标签挖掘任务，且开发和运维成本较低，非常适合该平台的离线计算需求。（2）该平台用户行为数据的完整处理流程分为六个核心环节：第一环节是数据采集：通过埋点SDK采集客户端（APP、小程序、H5页面）的用户行为数据，同时通过CDC技术采集服务端的业务交易数据，将全量用户行为数据和业务数据采集出来；第二环节是数据传输：采集到的数据通过Kafka消息队列进行缓冲传输，承接高并发的写入流量，削峰填谷，避免数据采集高峰压垮后端存储和计算组件；第三环节是数据预处理：预处理环节对原始数据进行清洗，去除重复数据、异常数据，填补缺失值，同时完成数据格式转换、数据脱敏，对用户手机号、身份证号等敏感信息进行掩码处理，之后将处理后的数据写入湖仓一体存储层；第四环节是数据存储管理：按照数据分层的理念，将数据分为原始数据层、明细数据层、汇总数据层、应用数据层进行分层存储管理，提升数据复用性，降低数据冗余，同时基于湖仓一体框架的元数据管理能力，记录全链路数据血缘，满足数据审计的需求；第五环节是数据计算：分为实时计算和离线计算两条链路，实时链路采用Flink消费Kafka中的实时数据，计算得到实时流量转化指标，写入结果表供前端报表展示；离线链路采用Spark按月读取全量明细行为数据，挖掘用户兴趣特征，计算得到用户兴趣标签，写入用户画像库供个性化推荐业务调用；第六环节是数据服务：通过统一数据服务接口将计算得到的指标、标签开放给前端运营报表系统和个性化推荐系统，支撑业务应用。2.某省级政务服务中心计划搭建政务数据开放平台，面向合规的科技企业开放政务公共数据，支持企业开发普惠性应用，推动政务数据开发利用，同时需要满足数据安全和个人信息保护的合规要求，避免敏感数据泄露。请回答以下问题：（1）请列举至少五种常用的大数据隐私保护技术，并分别说明其适用场景；（8分）（2）结合我国当前数据安全和数据要素流通的相关规定，说明政务数据开放需要遵循哪些核心原则。（7分）参考答案：（1）常用的大数据隐私保护技术及适用场景如下：①数据脱敏：数据脱敏是指对原始数据中的敏感信息进行替换、掩码、加密处理，在保留数据可用性的前提下去除敏感信息，常见的包括静态脱敏和动态脱敏，静态脱敏适用于将数据开放给企业开发使用的场景，动态脱敏适用于不同权限用户访问数据的时候根据权限动态隐藏敏感信息的场景，是当前政务数据开放中最常用的基础隐私保护技术。②差分隐私：差分隐私通过向数据分析或者统计结果中加入符合特定分布的噪声，在保证统计结果可用性的前提下，防止攻击者通过统计结果反推原始个人数据，保护个人隐私，差分隐私适合发布政务数据统计分析结果的场景，比如发布不同区域