2026年数据科学与大数据考试试卷及答案

2026年数据科学与大数据考试试卷及答案一、单项选择题（每题2分，共20分）1.大数据通常被描述为具有"4V"特征，其中"Velocity"指的是数据的（）。A.多样性和异构性B.产生和处理的速度快C.价值密度低D.数据量规模巨大2.在Hadoop生态系统中，负责分布式文件存储的核心组件是（）。A.MapReduceB.YARNC.HDFSD.Zookeeper3.以下哪个数据结构最适合实现数据流中的滑动窗口计数？A.数组B.链表C.队列D.栈4.在SQL中，用于分组聚合的语句是（）。A.ORDERBYB.GROUPBYC.HAVINGD.LIMIT5.下列哪种方法最适合处理高维稀疏数据？A.K-Means聚类B.主成分分析（PCA）C.奇异值分解（SVD）D.逻辑回归6.在MapReduce编程模型中，Shuffle阶段的主要作用是（）。A.将输入数据切分成多个splitB.对Map输出进行分区、排序和合并C.对最终结果进行归约输出D.将任务分配给不同的计算节点7.下列关于数据仓库与大数据平台的说法正确的是（）。A.数据仓库只能处理结构化数据B.大数据平台必须使用NoSQL数据库C.数据仓库通常面向主题、集成、稳定且反映历史变化D.大数据平台完全替代了传统数据仓库8.某数据集包含100个样本，每个样本有1000个特征，现进行二分类。为避免过拟合，最合适的策略是（）。A.增加模型复杂度B.使用正则化项C.减少训练轮数至1D.使用线性回归9.在Spark中，下列哪个操作属于转换操作（Transformation）？A.collectB.countC.mapD.saveAsTextFile10.假设某推荐系统使用协同过滤算法，用户A与用户B对物品评分高度一致，但A对物品X评分高，则系统最可能推荐给A的物品是（）。A.与X相似的其他物品B.用户B评分高且A未交互过的物品C.与A历史评分均值接近的物品D.物品X本身二、多项选择题（每题3分，共15分）1.下列属于NoSQL数据库类型的有（）。A.键值存储B.文档数据库C.列族数据库D.图数据库E.关系型数据库2.关于数据清洗，常用的处理方法包括（）。A.缺失值填充B.异常值检测与处理C.去重D.数据标准化E.增加数据维度3.下列关于分布式计算框架的说法正确的有（）。A.MapReduce适合迭代式机器学习算法B.Spark基于内存计算，适合迭代计算C.Flink支持事件时间处理和有状态流计算D.Storm是典型的批处理框架E.Kafka可以作为流式数据管道4.下列属于监督学习算法的有（）。A.决策树B.K-MeansC.支持向量机D.AprioriE.朴素贝叶斯5.在特征工程中，处理类别型特征的常用方法包括（）。A.独热编码B.标签编码C.目标编码D.归一化E.二值化三、判断题（每题1分，共10分）1.Hadoop的NameNode用于存储实际数据块。2.在数据可视化中，饼图适合展示多个类别的精确大小对比。3.过拟合是指模型在训练集上表现好，但在测试集上表现差。4.数据仓库中的数据通常是易失的，即更新频繁。5.SparkRDD是不可变的分布式对象集合。6.在大数据中，抽样分析可以完全替代全量分析。7.关联规则A→B的支持度表示同时包含A和B的事务比例。8.数据标准化会使数据均值为0、标准差为1。9.Flink相比SparkStreaming更擅长精确一次（Exactly-Once）状态一致性保障。10.数据湖与数据仓库的核心区别在于数据湖通常存储原始格式数据，而数据仓库存储经过建模的、面向主题的数据。四、简答题（每题5分，共15分）1.简述大数据的"4V"特征，并结合实际各举一例。2.说明MapReduce中Map阶段和Reduce阶段各自的功能。3.列举三种常见的缺失值处理方法，并说明适用场景。五、计算与分析题（每题10分，共20分）1.给定8个用户对4部电影的评分矩阵（1–5分），其中某些评分缺失：$$\begin{array}{c|cccc}

&M_1&M_2&M_3&M_4\\

\hline

U_1&5&3&?&2\\

U_2&4&?&3&1\\

U_3&?&4&5&3\\

U_4&2&2&?&4\\

U_5&1&?&4&3\\

U_6&5&4&3&?\\

U_7&4&3&?&5\\

U_8&?&5&4&2\\

\end{array}$$（1）计算每个用户的平均评分（忽略缺失值），并说明当用户评分尺度不同时，如何用均值中心化消除偏差。（2）采用基于用户的协同过滤，用皮尔逊相关系数计算用户U1与U3的相似度（仅考虑二者共同评分的电影），并据此预测U1对M答案：（1）U1平均分为(5+3+（2）U1与U3共同评分的电影为M2$$\begin{aligned}

\bar{r}_{U_1}&=(5+3+2)/3=3.33\\

\bar{r}_{U_3}&=(4+5+3)/3=4

\end{aligned}$$计算中心化评分：U1在M2、M4上为3U3在M2、M4上为4皮尔逊相关系数：$$\begin{aligned}

\text{cov}&=(-0.33)(0)+(-1.33)(-1)=1.33\\

\sigma_{U_1}&=\sqrt{(-0.33)^2+(-1.33)^2}=1.37\\

\sigma_{U_3}&=\sqrt{0^2+(-1)^2}=1\\

sim(U_1,U_3)&=\frac{1.33}{1.37\times1}=0.97

\end{aligned}$$预测U1对M3的评分时，使用与U1r因此预测分数约为4.30分。解析：皮尔逊系数要求共同评分的电影至少2个；本题U1与U2.某电商平台2025年12月每日订单量数据（单位：万单）如下：日期1日2日3日4日5日6日7日订单量12.112.312.012.412.212.518.0（1）计算该组数据的均值、中位数、标准差，并解释为什么均值受异常值影响更大。（2）若采用3σ原则检测异常值，判断12月7日的订单量是否异常。x排序后为12.0,12.1,12.2,12.3,12.4,12.5,18.0，中位数为第4个值12.3。标准差（样本标准差，n−$$s=\sqrt{\frac{\sum(x_i-\bar{x})^2}{n-1}}

=\sqrt{\frac{(12.1-12.93)^2+\cdots+(18.0-12.93)^2}{6}}\approx2.22$$均值对异常值敏感，因为它直接使用全部数值，极端值会拉高或拉低结果；中位数只依赖中间位置，对异常值不敏感。（2）3σ原则中，x±3s解析：注意本题数据中18.0虽然明显偏高，但样本标准差也被异常值放大，导致区间变宽。若采用更稳健的方法（如箱线图或MAD），18.0很可能被标记为离群点。这里严格按3σ原则计算结果。六、综合应用题（每题10分，共20分）1.某银行要构建信用卡反欺诈检测系统，已有历史交易数据包含交易金额、时间、地点、商户类别、用户历史行为等字段，以及是否欺诈的标签。请给出完整的大数据分析流程，包括数据采集、存储、特征工程、模型构建与评估、部署与监控等环节，并针对类别不平衡问题提出至少两种处理方法。2.数据存储：原始交易数据存入分布式文件系统或数据湖（如HDFS/Iceberg），实时流数据经Kafka写入Flink/SparkStreaming处理，明细数据可存HBase/ClickHouse。3.特征工程：构造统计特征（如近1小时交易次数、金额均值）、时间特征（是否深夜）、聚合特征（商户历史欺诈率），并对高基数类别做目标编码或嵌入。4.模型构建：选择XGBoost、LightGBM或深度神经网络等分类器，使用交叉验证调参。5.模型评估：用AUC、PR-AUC、召回率等指标，重点评估对欺诈样本的检出能力。6.部署与监控：通过规则引擎+在线模型实时打分，定期重训练，监控特征分布漂移和模型效果衰减。类别不平衡处理方法：•数据层面：对少数类过采样（如SMOTE），或对多数类欠采样；•算法层面：使用代价敏感学习，提高少数类误分类代价，或设置class_weight；•评估层面：采用PR-AUC或F1-score而非准确率。2.设计一个基于Spark的日志分析系统，每天处理约10TB的Web服务器日志。请回答：（1）说明数据接入、预处理、存储与查询的整体架构。（2）若需统计每个URL的每日访问量，写出核心Spark伪代码（可用DataFrameAPI）。（3）分析该系统可能面临的扩展性挑战并提出解决方案。vallogsDF=spark.read.format("parquet").load("/data/logs/2025-12-07")

valresult=logsDF

.filter($"status"===200)

.groupBy($"url",$"date")

.agg(count("*").as("visit_count"))

result.write.format("clickhouse").save("log_analysis")（3）挑战与方案：-数据量增长：横向扩容计算节点，采用分区分桶（按日期、URLhash）避免数据倾斜；-数据倾斜：对热点URL加盐（如拆分成多个子key，再二次聚合）；-实时性不足：引入Flink处理秒级实时指标，Spark侧重批量复杂分析；-存储成本：设置生命周期管理，老数据压缩存储或迁移到冷存储。解析：本题为开放性设计题，答案合理即可。重点考查对大数据生态组件配合和流批处理思路的理解。参考答案与解析一、单项选择题1.答案：B解析：4V指Volume（体量大）、Velocity（速度快）、Variety（多样性）、Value（价值密度低）。Velocity强调数据产生、采集和处理的高时效性。2.答案：C解析：HDFS（HadoopDistributedFileSystem）提供分布式存储；MapReduce是计算框架，YARN负责资源管理，Zookeeper用于协调。3.答案：C解析：滑动窗口要求先进先出，队列能够以O(1)时间在头部移出过期数据、尾部加入新数据。4.答案：B解析：GROUPBY按字段分组，常与聚合函数配合；HAVING用于对分组结果过滤，必须依赖GROUPBY。5.答案：C解析：SVD可用于矩阵分解和降维，对稀疏矩阵有良好支持；PCA需要先计算协方差矩阵，对高维稀疏数据计算代价高。本题默认考察的也是推荐系统中常用的SVD方法。6.答案：B解析：Shuffle发生在Map与Reduce之间，负责将Map输出按key分区、排序、合并，并传输到对应Reduce节点。7.答案：C解析：数据仓库具有面向主题、集成、非易失、随时间变化的特点。大数据平台可处理多种数据，但不一定排除结构化数据，也不能完全替代数据仓库。8.答案：B解析：特征数远大于样本数时，模型易过拟合。L1/L2正则化可约束模型复杂度；单纯减少训练轮数不一定对症，线性回归不适用于分类。9.答案：C解析：map返回新的RDD，是惰性转换；collect、count、saveAsTextFile均为行动操作（Action）。10.答案：B解析：基于用户的协同过滤寻找相似用户，将相似用户喜欢的物品推荐给目标用户。因此B正确，A是基于物品的协同过滤。二、多项选择题1.答案：ABCD解析：NoSQL常见四大类为键值、文档、列族、图数据库。关系型数据库属于SQL阵营。2.答案：ABCD解析：数据清洗主要解决缺失、重复、异常、格式不一致等问题，标准化属于数据变换，可视为预处理步骤；增加数据维度不是清洗操作。3.答案：BCE解析：MapReduce将中间结果写入磁盘，迭代代价高，不适合迭代算法；Storm是流处理框架而非批处理。Kafka是高吞吐消息队列，常用作流式数据管道。4.答案：ACE解析：K-Means是聚类（无监督），Apriori是关联规则挖掘（无监督范畴）。决策树、SVM、朴素贝叶斯均有标签参与训练。5.答案：ABC解析：独热编码、标签编码、目标编码均可将类别转为数值。归一化和二值化针对连续型特征，不属于类别型特征的标准处理方式。三、判断题1.答案：错误解析：NameNode存储元数据，数据块存储于DataNode。2.答案：错误解析：饼图适合展示占比结构，人眼难以精确比较多个扇区面积，条形图更适合精确对比。3.答案：正确4.答案：错误解析：数据仓库以批量装载为主，数据相对稳定，反映历史变化。5.答案：正确6.答案：错误解析：抽样分析有成本优势，但会引入抽样误差，某些场景不能完全替代全量分析。7.答案：正确8.答案：正确9.答案：正确解析：Flink通过检查点机制与两阶段提交，原生支持端到端精确一次语义。10.答案：正确四、简答题1.答案：(1)Volume体量大，如电商平台每日产生的日志达TB级；(2)Velocity速度快，如实时交易、传感