2026年数据科学与大数据技术能力测评试题及答案

2026年数据科学与大数据技术能力测评试题及答案一、单项选择题（每题2分，共20分）1.在HDFS中，数据块（Block）的默认副本系数是？A.1B.2C.3D.42.下列哪一项不属于大数据"4V"特征？A.Volume（数据量大）B.Velocity（处理速度快）C.Variety（数据类型多样）D.Vitality（价值密度高）3.使用pandas进行数据分析时，将两个结构相同的DataFrame按行合并应使用？A.merge()B.concat()C.join()D.pivot()4.关于机器学习中的过拟合（Overfitting），下列说法正确的是？A.模型在训练集上表现差，在测试集上表现好B.模型在训练集上表现好，但在测试集上表现差C.模型在训练集与测试集上均表现差D.模型过于简单，无法学习数据规律5.在SQL中，对分组聚合后的结果进行条件筛选应使用？A.WHEREB.ORDERBYC.HAVINGD.LIMIT6.以下哪种数据库最适合存储JSON文档等半结构化数据？A.关系型数据库B.文档型NoSQL数据库C.图数据库D.键值存储7.在ApacheSpark中，"惰性求值"（LazyEvaluation）指的是？A.转换操作提交后立即执行B.转换操作延迟到行动操作触发时才执行C.行动操作延迟到转换操作触发时才执行D.所有算子都不会缓存结果8.某数据集的标准差为0，由此可以推断？A.所有数据取值相等B.数据均值为0C.数据中位数为0D.数据分布对称9.下列算法中，属于无监督学习的是？A.线性回归B.逻辑回归C.K-MeansD.CART决策树10.在数据仓库维度建模中，星型模型的结构特点是？A.多个事实表围绕一个维度表B.多个维度表围绕一个事实表C.事实表与维度表完全规范化D.维度表之间直接关联二、多项选择题（每题3分，共15分）1.属于ApacheSpark生态核心组件的有？A.SparkSQLB.SparkStreamingC.GraphXD.HBase2.常见的数据预处理方法包括？A.缺失值填充B.异常值检测与处理C.Min-Max归一化D.One-Hot编码3.关于HDFS架构，下列说法正确的有？A.NameNode负责管理文件系统元数据B.DataNode负责存储实际数据块C.SecondaryNameNode可自动接管故障的NameNodeD.数据块默认大小为128MB4.属于大数据分布式计算框架的有？A.HadoopMapReduceB.ApacheSparkC.ApacheFlinkD.ApacheKafka5.数据质量评估的维度通常包括？A.完整性（Completeness）B.准确性（Accuracy）C.一致性（Consistency）D.及时性（Timeliness）三、判断题（每题1分，共10分）1.MapReduce的Shuffle阶段发生在Map任务与Reduce任务之间。2.在pandas中，df.dropna()默认会删除包含任意缺失值的行。3.Z-score标准化会改变数据的分布形态。4.Hive底层将SQL转换为MapReduce或Spark任务执行，因此本质上是数据仓库工具而非数据库。5.增加训练样本量可以在一定程度上缓解过拟合。6.精确率（Precision）与召回率（Recall）之间往往存在此消彼长的权衡关系。7.在Spark中，reduceByKey与groupByKey功能完全一致，可互相替代。8.数据脱敏是指对敏感信息进行变形处理，在降低隐私泄露风险的同时保留一定的数据可用性。9.关系型数据库适合存储所有类型的数据，包括图片、音频等非结构化数据。10.若两个变量的相关系数r=四、简答题（每题5分，共25分）1.简述ETL的含义及其在数据仓库建设中的作用。2.简述K-Means聚类算法的基本思想与主要步骤。3.简述主成分分析（PCA）降维的基本原理。4.简述数据生命周期管理的主要阶段。5.简述Hive中分区（Partition）与分桶（Bucket）的区别。五、计算与分析题（每题10分，共30分）1.某电商平台用户订单表orders的部分字段如下：字段名类型说明order_idSTRING订单IDuser_idSTRING用户IDorder_dateSTRING下单日期，格式：yyyy-MM-ddorder_amountDOUBLE订单金额（元）请写出满足以下需求的SQL语句：(1)统计2025年1月各用户的订单总金额与订单数，并按订单总金额降序排列；(2)统计2025年每个月的下单用户数（去重）与平均订单金额；(3)找出下单总金额超过5000元的用户中，下单次数排名前10的用户及其下单次数。SELECTuser_id,

SUM(order_amount)AStotal_amount,

COUNT(order_id)ASorder_cnt

FROMorders

WHEREorder_dateLIKE'2025-01%'

GROUPBYuser_id

ORDERBYtotal_amountDESC;(2)SELECTSUBSTR(order_date,1,7)ASmonth,

COUNT(DISTINCTuser_id)ASuser_cnt,

AVG(order_amount)ASavg_amount

FROMorders

WHEREorder_dateLIKE'2025%'

GROUPBYSUBSTR(order_date,1,7)

ORDERBYmonth;(3)SELECTuser_id,

COUNT(order_id)ASorder_cnt

FROMorders

GROUPBYuser_id

HAVINGSUM(order_amount)>5000

ORDERBYorder_cntDESC

LIMIT10;解析：(1)先用WHERE按月过滤，再按user_id分组聚合，最后按总金额降序排序；(2)用SUBSTR截取前7位得到"yyyy-MM"作为月份分组键，COUNT(DISTINCTuser_id)实现去重计数，AVG计算平均金额；(3)按用户分组后，HAVING对聚合结果（总金额）进行过滤，再按下单次数降序取前10名。2.某二分类模型在测试集上的混淆矩阵如下：预测为正类预测为负类实际为正类TP=80FN=20实际为负类FP=30TN=70请计算：(1)准确率（Accuracy）；(2)精确率（Precision）；(3)召回率（Recall）；(4)F1-Score；(5)若降低分类阈值，精确率与召回率通常分别如何变化？请简要说明原因。N(1)准确率：Accuracy(2)精确率：Precision(3)召回率：Recall(4)F1-Score：F1(5)降低分类阈值后，会有更多样本被预测为正类，TP与FP同时增加。召回率通常会随之上升，因为更多实际正类被识别出来；而精确率通常会下降，因为FP的增长使预测为正类的样本中混入更多假正例。二者呈现此消彼长的权衡关系。解析：混淆矩阵是评估分类模型的核心工具。精确率关注"预测为正类的样本中有多少是真正例"，召回率关注"实际正类中有多少被正确识别"。不同业务场景侧重点不同，如疾病筛查更重视召回率，垃圾邮件过滤更重视精确率。3.某数据集的5个样本在某一特征上的取值为：x请计算：(1)该特征的均值x、总体方差σ2与总体标准差σ(2)使用Min-Max归一化将数据映射到[0(3)使用Z-score标准化后的结果。答案：(1)均值：x总体方差：σ总体标准差：σ(2)Min-Max归一化公式：x计算结果：[(3)Z-score标准化公式：z计算结果：−解析：Min-Max归一化将数据线性缩放到[0,1]区间，计算简单，但易受极端值影响；Z-score标准化将数据转换为均值为0、标准差为1的分布，适用于存在离群点或需要统一量纲的场景。本题方差计算采用总体方差（除以参考答案与解析一、单项选择题1.答案：C解析：HDFS默认副本系数为3，分别存储在本机、同机架另一节点与不同机架节点上，以兼顾容错与读写性能。2.答案：D解析：大数据经典"4V"为Volume、Velocity、Variety、Value（部分版本表述为Veracity），不存在Vitality这一标准特征；且大数据通常表现为"价值密度低"而非"高"。3.答案：B解析：concat()可按行（axis=0）或按列（axis=1）拼接；merge()与join()按键合并，pivot()为透视操作。4.答案：B解析：过拟合指模型过度学习训练数据中的噪声与细节，导致泛化能力下降，表现为训练误差低而测试误差高。D描述的是欠拟合。5.答案：C解析：WHERE作用于分组前的原始行，HAVING作用于分组聚合后的结果集。6.答案：B解析：文档型数据库（如MongoDB）以JSON/BSON文档为存储单元，Schema灵活；图数据库适合关系网络，键值存储适合简单查询场景。7.答案：B解析：Spark的转换（Transformation）只记录血缘关系，遇到行动（Action）操作如count()时才真正触发作业执行，便于统一优化DAG。8.答案：A解析：标准差衡量数据的离散程度，标准差为0表示所有数据与均值的偏差均为0，即全部相等。9.答案：C解析：K-Means聚类无需标签；线性回归、逻辑回归、决策树均属于监督学习。10.答案：B解析：星型模型以事实表为中心，多个维度表环绕其周围，维度表允许适度冗余，join路径短，查询性能好。二、多项选择题1.答案：ABC解析：Spark生态包含SparkSQL、SparkStreaming、MLlib、GraphX等；HBase是独立的列族NoSQL数据库，不属于Spark组件。2.答案：ABCD解析：数据预处理通常在建模前完成，包括缺失值处理（删除/填充）、异常值检测与处理、特征缩放（Min-Max、Z-score）、类别特征编码（One-Hot）等。3.答案：ABD解析：SecondaryNameNode只做检查点（checkpoint），定期合并fsimage与edits日志，并不具备故障自动接管能力。4.答案：ABC解析：MapReduce、Spark、Flink均支持分布式批处理或流处理；Kafka是分布式消息队列，主要承担数据缓冲与传输。5.答案：ABCD解析：数据质量通常从完整性、准确性、一致性、及时性、唯一性、有效性等维度进行综合评估。三、判断题1.答案：正确2.答案：正确3.答案：错误解析：Z-score标准化只对数据做平移与缩放，使均值为0、标准差为1，但分布形态（偏态、峰度）保持不变。4.答案：正确5.答案：正确6.答案：正确7.答案：错误解析：reduceByKey在Map端进行预聚合，Shuffle数据量小；groupByKey不预聚合，大数据量下性能较差。8.答案：正确9.答案：错误解析：关系型数据库擅长结构化数据，图片、音频等非结构化数据更适合对象存储、文档数据库等系统。10.答案：错误解析：r=0仅表示不存在线性相关关系，仍可能存在非线性关系，如y=四、简答题1.答案：ETL是Extract（抽取）、Transform（转换）、Load（加载）的缩写。(1)抽取：从业务数据库、日志文件、API等异构数据源中获取原始数据；(2)转换：对数据进行清洗、去重、格式统一、字段映射、聚合计算等处理；(3)加载：将处理后的数据写入数据仓库的目标表或数据集市。作用：ETL是数据仓库建设的核心环节，将分散、杂乱、异构的数据整合为统一、规范、可信的数据，为后续的BI分析与数据挖掘奠定基础。2.答案：K-Means是一种基于划分的无监督聚类算法，其基本思想是：给定簇数k，将n个样本划分为k个簇，使得每个样本到其所属簇中心（质心）距离的平方和最小。主要步骤：(1)随机选取k个样本作为初始聚类中心；(2)计算每个样本到各聚类中心的距离，将其分配到距离最近的簇；(3)重新计算每个簇内所有样本的均值，作为新的聚类中心；(4)重复步骤(2)(3)，直到聚类中心不再变化或达到最大迭代次数。解析：K-M