2026年数据科学与大数据应用考试卷及答案

2026年数据科学与大数据应用考试卷及答案一、单项选择题（每题2分，共20分）1.下列哪项不属于大数据的“5V”核心特征？A.数据量大（Volume）B.处理速度快（Velocity）C.价值密度高（Value）D.数据真实性（Veracity）2.下列大数据存储技术中，属于列式存储的是？A.MySQLB.HBaseC.MongoDBD.Redis3.下列哪项操作不属于数据清洗的范畴？A.缺失值填充B.异常值删除C.特征标准化D.重复数据去重4.下列关于Spark框架的描述，错误的是？A.基于内存计算，迭代计算效率高于MapReduceB.仅支持批处理场景，不具备流处理能力C.核心抽象是弹性分布式数据集（RDD）D.支持Scala、Python、Java等多种编程语言5.某数据集的偏度（Skewness）为-2.3，说明该数据集的分布特征是？A.左偏分布B.右偏分布C.对称分布D.正态分布6.下列机器学习算法中，属于无监督学习的是？A.逻辑回归B.决策树C.K-meansD.支持向量机7.下列关于数据仓库特征的描述，错误的是？A.面向主题的B.集成的C.随时间变化的D.支持高频事务更新8.下列大数据框架中，主打流批一体实时计算的是？A.HiveB.FlinkC.HDFSD.Mahout9.数据采集阶段的伦理要求不包括下列哪项？A.告知用户数据用途并获得授权B.最小化采集必要数据C.对敏感数据进行脱敏处理D.公开所有采集到的用户数据10.下列关于湖仓一体（Lakehouse）架构的描述，正确的是？A.仅支持结构化数据存储B.结合了数据湖与数据仓库的核心优势C.不支持ACID事务特性D.仅适用于批处理场景二、多项选择题（每题3分，共15分。错选、多选不得分，少选且选对得1分）1.下列算法中，属于分类算法的有？A.线性回归B.逻辑回归C.随机森林D.K近邻2.下列关于HDFS的描述，正确的有？A.适合存储大文件B.采用主从（Master/Slave）架构C.支持随机写操作D.通过多副本机制实现高容错性3.下列图表类型中，适合展示数据分布特征的有？A.直方图B.箱线图C.饼图D.散点图4.下列属于大数据采集相关技术的有？A.网络爬虫B.FlumeC.KafkaD.数据脱敏5.关于大语言模型（LLM）在数据科学领域的应用，下列说法正确的有？A.可自动生成数据分析与建模代码B.可辅助完成数据清洗与特征工程C.可完全替代数据科学家的核心工作D.可用于文本类非结构化数据的分析挖掘三、判断题（每题1分，共10分）1.RDD（弹性分布式数据集）是Spark的核心数据抽象，具有不可变性。2.皮尔逊相关系数为0说明两个变量之间不存在任何关系。3.数据预处理工作只需在建模前完成一次，无需迭代调整。4.Hive是建立在Hadoop之上的关系型数据库，支持行级增删改操作。5.K-means算法的聚类效果与初始质心的选择无关。6.数据仓库的数据主要来源于业务系统的事务型数据，需经过ETL过程加载。7.在大数据全量计算场景下，数据采样是完全没有必要的。8.Flink框架的核心设计理念是“流批一体”，即同一套API可同时支持流处理与批处理。9.无监督学习的训练数据不需要人工标注标签。10.大数据场景下的数据伦理问题仅与数据采集阶段相关，与分析应用阶段无关。四、简答题（每题5分，共15分）1.简述数据科学项目的基本流程。2.简述数据湖与数据仓库的主要区别。3.简述MapReduce模型中Map阶段与Reduce阶段的核心功能。五、算法与计算题（每题10分，共20分）1.某超市交易数据库包含5条交易记录：1.{牛奶,面包,鸡蛋}2.{面包,黄油,啤酒}3.{牛奶,面包,黄油,啤酒}4.{面包,鸡蛋,啤酒}5.{牛奶,面包,鸡蛋}设最小支持度为40%，最小置信度为60%，请用Apriori算法找出所有频繁项集，并写出1条满足要求的强关联规则。2.给定6个二维数据点：A(1,1)、B(2,1)、C(4,d###步骤1：计算各点到初始质心的距离分别计算每个点到质心A、质心C的距离，将点分配到距离更近的簇：-点A：到A距离为0，到C距离为(4-点B：到A距离为1，到C距离为(4-点C：到A距离为13≈-点D：到A距离为(5−1-点E：到A距离为(3−1-点F：到A距离为(6−1###步骤2：第一次迭代后的簇划分簇1：{簇2：{C###步骤3：更新簇质心质心坐标为簇内所有点坐标的平均值：-簇1新质心：x=1+2-簇2新质心：x=4+5+解析：K-means算法通过迭代优化的方式最小化簇内平方和，每轮迭代包含“分配样本到最近簇”和“更新簇质心”两个步骤，直到质心不再变化或达到迭代次数。六、综合应用题（共20分）1.某头部电商平台拥有5亿+注册用户，日均订单量超过2000万，近期用户流失率持续上升。平台计划搭建用户流失分析与预测系统，辅助运营团队制定精准召回策略。请结合数据科学与大数据技术知识，设计一套完整的解决方案，需涵盖以下方面：（1）数据采集与集成：说明需采集的数据类型与技术工具；（2）数据存储架构：设计存储架构并说明各层存储选型；（3）数据预处理：说明核心预处理步骤与关键问题处理；（4）分析建模：说明流失预测的建模思路与至少2种适用算法；（5）结果应用与可视化：说明模型落地路径与可视化方案。参考答案与解析一、单项选择题1.答案：C解析：大数据的Value特征表现为价值密度低，需要通过海量数据的挖掘分析才能提取有效价值，而非价值密度高。2.答案：B解析：HBase是面向列的分布式NoSQL数据库；MySQL是关系型行存储数据库；MongoDB是文档型数据库；Redis是键值型内存数据库。3.答案：C解析：特征标准化属于数据变换环节，数据清洗主要解决数据质量问题，包括缺失值、异常值、重复值处理等。4.答案：B解析：Spark是统一的大数据计算引擎，通过StructuredStreaming组件支持流处理，同时兼容批处理、交互式查询、机器学习等多种场景。5.答案：A解析：偏度衡量数据分布的不对称性：偏度为负表示左偏（长尾位于左侧），偏度为正表示右偏（长尾位于右侧），偏度为0表示近似对称分布。6.答案：C解析：K-means是典型的无监督聚类算法，不需要标注标签即可自动发现数据的簇结构；其余三项均为监督学习分类算法。7.答案：D解析：数据仓库是面向分析型场景（OLAP）的存储系统，不支持高频事务级增删改；事务处理是关系型数据库（OLTP）的核心特征。8.答案：B解析：Flink是以流为核心的流批一体计算框架，擅长实时数据处理；Hive是数据仓库查询工具；HDFS是分布式文件系统；Mahout是机器学习算法库。9.答案：D10.答案：B解析：湖仓一体在数据湖低成本存储多模数据的基础上，实现了数据仓库的ACID事务、Schema管理、高性能查询等能力，支持批流一体的多种分析场景，是当前大数据架构的主流发展方向。二、多项选择题1.答案：BCD解析：线性回归属于回归算法，用于预测连续值；其余三项均为经典分类算法，用于预测离散类别。2.答案：ABD解析：HDFS仅支持数据追加写，不支持随机修改写入，因此C错误；其余三项均为HDFS的核心特性。3.答案：AB解析：直方图用于展示连续变量的频数分布，箱线图通过四分位数、极值等展示数据的离散程度与分布范围；饼图用于展示构成占比，散点图用于展示两个变量间的相关关系。4.答案：ABC解析：网络爬虫用于互联网数据采集，Flume用于日志数据采集，Kafka用于实时数据的采集与传输；数据脱敏属于数据安全与预处理环节的技术。5.答案：ABD解析：大语言模型可以显著提升数据科学工作的效率，但无法替代数据科学家的业务理解、模型决策、结果解读等核心工作，因此C错误。三、判断题1.答案：正确2.答案：错误解析：皮尔逊相关系数仅衡量变量间的线性相关关系，系数为0仅说明无线性相关，可能存在非线性相关关系。3.答案：错误4.答案：错误解析：Hive是数据仓库工具，而非数据库，不支持行级增删改，主要用于批量结构化数据的查询分析。5.答案：错误解析：初始质心选择不当容易导致算法陷入局部最优，因此工业界常通过K-means++算法优化初始质心选择。6.答案：正确7.答案：错误解析：在模型探索、快速验证等场景下，合理采样可以显著降低计算成本、提升分析效率，仍具有重要价值。8.答案：正确9.答案：正确10.答案：错误四、简答题1.答案：数据科学项目通常遵循以下核心流程：(1)问题定义：明确业务目标与分析需求，界定问题边界；(2)数据采集：根据需求采集多源异构数据，包括业务数据、日志数据、第三方数据等；(3)数据预处理：完成数据清洗、集成、变换、规约等工作，保障数据质量；(4)分析建模：选择合适的统计分析或机器学习算法构建模型，完成训练与调优；(5)模型评估：通过多维度指标验证模型效果与业务价值；(6)部署落地与迭代：将模型部署到生产环境，持续监控效果并迭代优化。（答出5个及以上核心环节即可得满分）2.答案：二者核心区别体现在以下方面：(1)存储数据类型：数据仓库主要存储结构化数据，数据湖支持结构化、半结构化、非结构化等多模数据；(2)Schema模式：数据仓库采用“写时模式”（SchemaonWrite），写入前需定义结构；数据湖采用“读时模式”（SchemaonRead），读取时再定义结构；(3)应用场景：数据仓库面向BI报表、固定分析场景；数据湖面向数据探索、机器学习、多源数据融合等灵活场景；(4)存储成本：数据湖基于低成本对象存储，单位存储成本远低于数据仓库；(5)数据质量：数据仓库数据经过严格ETL处理，质量较高；数据湖存储原始数据，质量参差不齐。（答出5点即可得满分）3.答案：(1)Map阶段：负责读取输入分片的数据，将其解析为键值对形式，通过用户自定义的Map函数进行业务逻辑处理后，输出中间结果键值对；（2分）(2)Reduce阶段：接收经过Shuffle阶段分组排序后、相同键对应的所有value集合，通过用户自定义的Reduce函数进行聚合计算，输出最终结果并写入存储系统；（2分）(3)Shuffle阶段是连接Map与Reduce的中间环节，负责将Map输出的中间数据按key分区、排序、分组后分发到对应Reduce节点。（1分）五、算法与计算题5.答案：总交易数为5，最小支持度计数为5×40%=2•候选集{面包,鸡蛋,牛奶}：所有2项子集均在L2中，支持度计数为2，满足要求；•候选集{面包,黄油,啤酒}：所有2项子集均在L2中，支持度计数为2，满足要求。其余候选集均存在非频繁2项子集，被剪枝。因此：L3={解析：Apriori算法通过逐层迭代的方式挖掘频繁项集，核心是利用“频繁项集的所有非空子集必为频繁项集”的性质进行剪枝，降低计算量。2.答案：欧氏距离计算公式为：六、综合应用题1.答案：###（1）数据采集与集成（4分）需采集的数据类型：•用户属性数据：年龄、性别、地域、注册时长、会员等级等；•用户行为数据：浏览、搜索、加购、下单、支付、评论、APP活跃等行为日志；•交易数据：订单金额、购买频次、客单价、退货、退款记录等；•交互数据：客服咨询/投诉记录、营销活动参与记录、优惠券领取使用记录等。技术工具：行为日志采用Flume+Kafka实现实时采集与传输；业务系统结构化数据采用DataX/Sqoop定时批量同步；第三方数据通过API接口接入；所有数据统一接入ODS层完成集成。###（2）数据存储架构（4分）采用湖仓一体存储架构，分层设计如下：•底层数据湖：基于对象存储（如OSS）构建，存储全量原始多模数据（日志、图片、视频、结构化数据等），降低存储成本；•数仓中间层：基于湖仓一体表格式（如Iceberg/Hudi）构建DWD（明细层）、DWS（汇总层），采用Parquet/ORC列式存储，支持ACID事务与高效查询；•应用存储层：流失预测标签、高价值用户画像等热数据存储在Redis供运营系统实时调用；分析报表数据存储在MySQL/ClickHouse供即席查询；用户行为明细存储在Elasticsearch支持多维度检索。###（3）数据预处理（4分）核心步骤：•数据清洗：处理缺失值（属性缺失用众数/默认值填充，行为缺失标记为无行为）、去除重复日志与异常值（如测试订单、负停留时长）；•数据集成：按用户ID关联多源数据，构建用户行为宽表；•特征工程：构建RFM特征、近7/30/90天活跃特征、行为序列特征、偏好特征等与流失相关的特征；•特征选择：通过相关性分析、特征重要性排序筛选核心特征，降低维度。关键问题处理：流失用户样本占比低（样本不平衡），采用SMOTE过采样、欠采样或调整模型样本权重的方式优化。###（4）分析建模（4分）建模思路：首先定义流失标准（如连续30天未登录/未下单的用户为流失用户），提取历史上已确定流失/未流失的用户作为训练集，