2026年大学大四(数据科学与大数据技术)数据专业综合试题及答案

2026年大学大四(数据科学与大数据技术)数据专业综合试题及答案一、单项选择题（本大题共20小题，每小题2分，共40分。每小题只有一个选项是符合题意的）1.在Hadoop分布式文件系统（HDFS）中，默认的数据块大小是（）。A.64MBB.128MBC.256MBD.512MB2.下列关于MapReduce计算模型的描述，错误的是（）。A.Map阶段主要负责数据的分片和并行处理B.Reduce阶段主要负责对Map阶段的结果进行汇总C.MapReduce任务中，Map任务的数量通常由InputFormat决定D.Reduce任务的数量必须与Map任务的数量一致3.在Spark架构中，负责资源管理和任务调度的组件是（）。A.DriverProgramB.ClusterManagerC.ExecutorD.RDD4.下列哪种算法主要用于处理分类问题，且基于特征空间中的超平面进行划分？（）A.K-Means聚类B.支持向量机（SVM）C.Apriori算法D.主成分分析（PCA）5.在关系型数据库中，若事务T读取了数据R，随后事务T修改了数据R并提交，此时若事务T回滚，导致T读取了不存在的数据，这种现象称为（）。A.脏读B.不可重复读C.幻读D.丢失更新6.下列关于NoSQL数据库的描述，正确的是（）。A.NoSQL数据库必须遵循ACID原则B.Redis属于文档型数据库C.MongoDB是面向文档的NoSQL数据库D.HBase主要适用于强事务性需求的场景7.在数据预处理阶段，用于将不同量纲的数据缩放到同一范围（如[0,1]）的方法是（）。A.标准化B.归一化C.离散化D.二值化8.在深度学习中，为了防止模型过拟合，常用的正则化技术不包括（）。A.L1正则化B.L2正则化C.DropoutD.交叉熵9.下列关于Python中Pandas库的描述，错误的是（）。A.DataFrame是Pandas中最重要的数据结构之一B.Pandas可以高效地处理时间序列数据C.Pandas中的iloc索引器是基于标签的索引D.Pandas支持SQL风格的数据操作10.在推荐系统中，基于用户的协同过滤与基于物品的协同过滤的主要区别在于（）。A.计算复杂度不同B.一个使用用户历史行为，一个使用物品属性C.相似度计算的对象不同（用户相似度vs物品相似度）D.一个是离线计算，一个是实时计算11.在流式计算框架Flink中，用于支持精确一次语义的核心机制是（）。A.检查点B.状态后端C.水位线D.时间窗口12.下列关于数据仓库维度的描述，错误的是（）。A.维度是观察数据的角度B.时间维度是数据仓库中必不可少的维度C.维度表通常包含大量的描述性属性D.维度表的数据量通常远大于事实表13.在特征工程中，使用独热编码处理分类变量时，如果类别数量非常多，可能导致的主要问题是（）。A.数据稀疏性增加B.计算速度变快C.模型准确率必然下降D.无法处理缺失值14.下列指标中，主要用于评估回归模型性能的是（）。A.准确率B.召回率C.均方根误差（RMSE）D.F1分数15.在K-Means聚类算法中，确定最佳聚类数K的常用方法是（）。A.交叉验证B.轮廓系数C.混淆矩阵D.提升图16.下列关于分布式系统CAP定理的描述，正确的是（）。A.在分布式系统中，一致性、可用性、分区容错性三者可以同时满足B.在发生分区时，系统必须在一致性和可用性之间做出权衡C.分区容错性在分布式系统中是可以被牺牲的D.CA系统比CP系统更适合互联网应用17.在Python科学计算库NumPy中，用于创建一个元素全为0的数组的函数是（）。A.np.ones()B.np.zeros()C.np.empty()D.np.eye()18.下列关于时间序列分析ARIMA模型的描述，正确的是（）。A.ARIMA模型只能处理平稳时间序列B.ARIMA(p,d,q)中，d代表差分次数C.ARIMA模型不包含移动平均项D.ARIMA模型无法进行季节性分解19.在数据可视化中，用于展示数据分布情况的图形是（）。A.散点图B.箱线图C.饼图D.雷达图20.下列关于梯度下降算法的描述，错误的是（）。A.学习率过大可能导致无法收敛B.批量梯度下降每次迭代使用所有样本C.随机梯度下降每次迭代只使用一个样本D.随机梯度下降一定能找到全局最优解二、多项选择题（本大题共10小题，每小题3分，共30分。每小题有两个或两个以上选项是符合题意的，少选得1分，错选不得分）1.下列属于大数据4V特征的是（）。A.Volume（大量）B.Velocity（高速）C.Variety（多样）D.Value（低价值密度）E.Validity（真实性）2.Hadoop生态系统中的核心组件包括（）。A.HDFSB.MapReduceC.YARND.SparkE.Hive3.下列关于SparkRDD（弹性分布式数据集）特性的描述，正确的有（）。A.RDD是不可变的B.RDD是分区的C.RDD具有血缘关系D.RDD中的数据必须存储在内存中E.RDD支持两种类型的算子：Transformation和Action4.决策树算法中常用的特征选择准则包括（）。A.信息增益B.信息增益率C.基尼系数D.均方误差E.余弦相似度5.下列属于非关系型数据库（NoSQL）的类型有（）。A.键值存储B.列族存储C.文档型存储D.图数据库E.表格存储6.在数据清洗过程中，处理缺失值的方法包括（）。A.删除缺失记录B.均值/中位数填充C.众数填充D.使用回归模型预测填充E.保留缺失值不处理7.下列关于卷积神经网络（CNN）的描述，正确的有（）。A.卷积层用于提取局部特征B.池化层用于降低数据维度C.全连接层用于输出最终结果D.CNN只能处理图像数据E.激活函数用于引入非线性8.评估二分类模型性能的常用指标有（）。A.Accuracy（准确率）B.Precision（精确率）C.Recall（召回率）D.ROC-AUCE.SSE（误差平方和）9.下列属于PythonWeb框架的有（）。A.DjangoB.FlaskC.ScrapyD.TornadoE.NumPy10.数据挖掘中的关联规则算法，需要满足的约束条件包括（）。A.最小支持度B.最小置信度C.最小提升度D.最大熵E.最小基尼系数三、填空题（本大题共10小题，每小题2分，共20分）1.在HDFS中，NameNode负责管理文件系统的元数据，而________负责实际数据的存储。2.在SparkSQL中，________是核心的编程抽象，可以被视为分布式的Row集合。3.在机器学习中，________是指模型在训练数据上表现很好，但在测试数据上表现很差的现象。4.Python中用于进行矩阵运算和科学计算的第三方库是________。5.在E-R图中，矩形表示实体，椭圆表示属性，菱形表示________。6.在K-Means算法中，通常随机选择K个样本点作为初始________。7.在主成分分析（PCA）中，我们希望通过线性变换将原始数据投影到新的坐标系，使得第一主成分具有最大的________。8.在HTTP协议中，状态码404表示________。9.A/B测试中，我们通常通过________检验来判断两组数据的差异是否具有统计学显著性。10.在图计算中，________算法常用于计算图中节点到其他所有节点的最短路径。四、简答题（本大题共5小题，每小题8分，共40分）1.简述MapReduce的工作流程，并说明Shuffle阶段的作用。2.比较宽依赖与窄依赖的区别，并说明它们对Spark任务调度的影响。3.简述支持向量机（SVM）的基本原理，特别是核技巧的作用。4.列举至少五种常见的特征工程方法，并简要说明其适用场景。5.解释数据仓库中的星型模型与雪花模型的区别。五、计算与分析题（本大题共2小题，每小题15分，共30分）1.某电商平台收集了用户对商品的评分数据（1-5分），为了预测用户对未评分商品的评分，尝试使用基于用户的协同过滤算法。现有用户A、B、C对商品I1、I2、I3的评分如下（分值越高表示越喜欢）：用户A:I1=5,I2=4,I3=?用户B:I1=3,I2=2,I3=4用户C:I1=4,I2=4,I3=5(1)请计算用户A与用户B、用户A与用户C之间的皮尔逊相关系数。(2)基于计算出的相似度，预测用户A对商品I3的评分（仅考虑相似度大于0的用户）。2.给定一个数据集包含两个特征X和标签Y，共有8个样本：X:[1,2,3,4,5,6,7,8]Y:[0,0,0,1,0,1,1,1](1)请以X=3.5为切分点，计算该切分点的基尼指数。(2)请计算根节点（不切分）的基尼指数。(3)判断该切分点是否有效（即是否降低了基尼指数）。六、综合应用题（本大题共1小题，共30分）某大型互联网公司每天产生海量的用户行为日志数据（包括点击流、浏览时长、购买记录等），数据量级为PB级。公司希望建立一个实时推荐系统，能够根据用户当前的实时行为（如刚刚点击了某类商品）动态调整推荐列表。同时，还需要对历史数据进行离线分析，以挖掘用户的长期兴趣偏好。请结合数据科学与大数据技术知识，设计一套完整的技术架构方案，要求涵盖以下方面：1.数据采集与传输层：说明如何收集日志数据并传输到存储/计算系统，需考虑数据的可靠性与实时性。2.数据存储层：说明如何选择存储系统来存储实时数据和历史数据，并给出理由。3.实时计算层：说明如何利用流式计算技术处理实时数据并更新推荐模型或特征。4.离线计算层：说明如何利用批处理技术进行大规模数据挖掘和模型训练。5.数据服务层：说明如何将推荐结果高效地返回给前端应用。6.整个架构需考虑容错性、扩展性和数据一致性，请简要说明相关措施。__________________________________________________________________________【答案与解析】一、单项选择题1.B解析：HDFS2.x及之后版本默认块大小为128MB，1.x版本默认为64MB。这是为了平衡寻址时间和传输时间。2.D解析：MapReduce中，Reduce任务的数量由用户通过`job.setNumReduceTasks(n)`指定，与Map任务的数量没有必然联系。3.B解析：ClusterManager（如Standalone,YARN,Mesos,K8s）负责资源管理；Driver负责任务控制逻辑；Executor负责具体任务执行。4.B解析：SVM是经典的分类算法，核心思想是寻找最大化间隔的超平面。K-Means是聚类，Apriori是关联规则，PCA是降维。5.A解析：脏读是指读到了未提交的数据。不可重复读是指同一事务内两次读取数据不一致（被其他事务修改并提交）。幻读是指同一事务内前后查询到的记录数量不一致。6.C解析：MongoDB是典型的文档型NoSQL数据库。Redis是键值对数据库。NoSQL通常为了性能牺牲了部分ACID特性，遵循BASE理论。HBase是列族存储，不适合强事务。7.B解析：归一化通常指将数据线性缩放到[0,1]区间。标准化通常指将数据转换为均值为0，方差为1的分布。8.D解析：交叉熵是损失函数，用于衡量模型预测与真实标签的差异，不是正则化技术。L1/L2/Dropout都是用于防止过拟合的正则化手段。9.C解析：`iloc`是基于整数位置的索引，`loc`才是基于标签的索引。10.C解析：User-basedCF计算用户之间的相似度，Item-basedCF计算物品之间的相似度。两者都使用用户历史行为。11.A解析：Flink通过Checkpoint机制定期保存状态快照，结合Barrier对齐机制实现精确一次的语义保证。12.D解析：在数据仓库中，事实表通常包含大量的外键和度量值，数据量巨大；维度表包含描述性属性，数据量相对较小。13.A解析：独热编码会导致特征空间维度爆炸，产生极其稀疏的数据矩阵，增加计算负担和存储开销。14.C解析：RMSE是回归任务的标准评估指标。A、B、D主要用于分类任务。15.B解析：轮廓系数结合了内聚度和分离度，是评估聚类效果好坏的指标，也可用于辅助选择K值。16.B解析：CAP定理指出在分布式系统中，当发生网络分区（P）时，无法同时保证一致性（C）和可用性（A），必须在C和A之间权衡。17.B解析：`np.zeros()`创建全0数组，`np.ones()`创建全1数组，`np.empty()`创建未初始化数组，`np.eye()`创建单位矩阵。18.B解析：ARIMA(p,d,q)中p是自回归阶数，d是差分阶数（使序列平稳），q是移动平均阶数。ARIMA通过差分处理非平稳序列。19.B解析：箱线图主要用于展示数据的中位数、四分位数、极值等分布信息。散点图看相关性，饼图看占比。20.D解析：对于非凸函数（如神经网络），随机梯度下降容易陷入局部最优解，不一定能找到全局最优解。二、多项选择题1.ABC解析：大数据的4V通常指Volume,Velocity,Variety,Value。有时也会加上Veracity（真实性），但最核心的是前4个。2.ABC解析：Hadoop核心组件包括HDFS（存储）、MapReduce（计算）、YARN（资源调度）。Spark和Hive是运行在Hadoop之上的生态组件，不属于Hadoop核心。3.ABCE解析：RDD是不可变、可分区、有血缘的。RDD中的数据可以缓存在内存中，但不是必须的，也可以存储在磁盘。4.ABC解析：ID3算法使用信息增益，C4.5使用信息增益率，CART使用基尼系数。MSE用于回归树。余弦相似度用于推荐系统或文本相似度。5.ABCD解析：NoSQL主要分为键值、列族、文档、图四类。表格存储通常指传统关系型数据库或特定云服务，不作为NoSQL的标准分类。6.ABCD解析：删除、均值填充、众数填充、预测填充都是常见方法。保留缺失值在某些算法（如XGBoost）中是可行的，但通常也是一种处理策略，此处选更积极的处理方式ABCD。7.ABCE解析：CNN最初用于图像，但现在也用于NLP（文本分类）等领域。卷积、池化、全连接是基本结构。激活函数引入非线性。8.ABCD解析：SSE是回归指标，其余均为分类指标。9.ABD解析：Django,Flask,Tornado是Web框架。Scrapy是爬虫框架。NumPy是计算库。10.ABC解析：关联规则挖掘通常需要设定最小支持度和最小置信度，有时为了排除负相关也会设定最小提升度。三、填空题1.DataNode2.DataFrame3.过拟合4.NumPy5.联系6.聚类中心7.方差8.NotFound（资源未找到）9.假设10.Dijkstra四、简答题1.简述MapReduce的工作流程，并说明Shuffle阶段的作用。答：MapReduce工作流程主要分为以下几个阶段：(1)Input：InputFormat将输入数据切分为多个InputSplit，并调用RecordReader读取数据，转换为键值对传给Map。(2)Map：用户自定义的Map函数处理输入键值对，输出中间结果键值对。(3)Shuffle：这是MapReduce的核心阶段。包括Map端的Partition（分区）、Sort（排序）、Spill（溢写）和Merge（归并），以及Reduce端的Copy（拉取数据）和Merge（归并排序）。Shuffle阶段负责将Map输出的无序数据按照Key分发到对应的Reducer，并确保Key相同的数据汇聚在一起且有序。(4)Reduce：用户自定义的Reduce函数处理Shuffle传来的数据，进行汇总计算，输出最终结果。(5)Output：OutputFormat将Reduce的结果写入到HDFS或其他存储系统。Shuffle的作用：连接Map和Reduce阶段，负责数据的分发、排序和聚合，是MapReduce性能优化的关键点。2.比较宽依赖与窄依赖的区别，并说明它们对Spark任务调度的影响。答：区别：窄依赖：父RDD的一个分区最多被子RDD的一个分区使用。即一对一关系。例如：map,filter,union。宽依赖：父RDD的一个分区被子RDD的多个分区使用。即一对多关系。例如：groupByKey,reduceByKey,join。宽依赖通常涉及Shuffle操作。对调度的影响：窄依赖：允许Spark在单个节点上以流水线的方式执行多个转换算子，无需跨网络传输数据，提高了计算效率。宽依赖：涉及数据Shuffle，需要跨节点传输数据。Spark会将宽依赖作为划分Stage（阶段）的依据。遇到宽依赖时，当前的Stage结束，开启新的Stage。这增加了网络IO和序列化开销，但也实现了作业的并行划分。3.简述支持向量机（SVM）的基本原理，特别是核技巧的作用。答：基本原理：SVM是一种二分类模型，其基本思想是寻找一个超平面将数据分开，并使得离超平面最近的数据点（支持向量）到超平面的距离（间隔）最大化。对于线性可分数据，使用硬间隔最大化；对于线性不可分数据，引入松弛变量使用软间隔最大化。核技巧的作用：对于非线性可分数据，SVM通过核技巧将低维空间的非线性数据映射到高维特征空间，使其在高维空间中变得线性可分。核技巧通过核函数直接计算高维空间中的内积，而无需显式地进行映射计算，从而避免了维数灾难问题，降低了计算复杂度。常用的核函数有线性核、多项式核、高斯核（RBF）等。4.列举至少五种常见的特征工程方法，并简要说明其适用场景。答：(1)标准化：将数据转换为均值为0，方差为1的分布。适用于距离敏感的算法（如SVM、KNN）。(2)归一化：将数据缩放到[0,1]区间。适用于对数据范围有明确要求的场景或神经网络。(3)独热编码：将类别变量转换为二进制向量。适用于线性回归、逻辑回归等无法直接处理类别特征的模型。(4)离散化：将连续数值划分为若干区间。适用于线性模型引入非线性特征，或增强模型鲁棒性。(5)特征交互：通过加减乘除等方式组合特征。适用于挖掘特征之间的潜在关系，如FM模型。(6)PCA/特征降维：通过线性变换减少特征维度。适用于去除冗余特征，缓解维度灾难，加速模型训练。5.解释数据仓库中的星型模型与雪花模型的区别。答：星型模型：由一个大的事实表和多个维度表组成，维度表直接围绕事实表，维度表本身不再关联其他表。结构简单，查询性能高（连接次数少），但存在数据冗余。雪花模型：是星型模型的变体，维度表被进一步规范化，拆分成多个子维度表，形成类似雪花的形状。数据冗余度低，节省存储空间，但由于表层级多，查询时需要更多的JOIN操作，性能相对较低，且结构复杂。五、计算与分析题1.解：(1)计算皮尔逊相关系数：公式：r用户A与用户B：共同评分项：I1,I2。A:[5,4],B:[3,2]A均值=4.5,B均值=2.5分子=(5-4.5)(3-2.5)+(4-4.5)(2-2.5)=0.25+0.25=0.5分母A==分母B===用户A与用户C：共同评分项：I1,I2。A:[5,4],C:[4,4]A均值=4.5,C均值=4分子=(5-4.5)(4-4)+(4-4.5)(4-4)=0+0=0=(2)预测用户A对商品I3的评分：利用加权平均公式：=其中，¯=(5+由于=0=由于评分通常在1-5分，可截断为5分。预测结果：5.5（或5分）。2.解：基尼指数公式：G(1)计算切分点X=3.5的基尼指数：数据被分为：左子集(X<=3.5):Y=[0,0,0]，共3个样本，全是0类。G右子集(X>3.5):Y=[1,0,1,1,1]，共5个样本，4个1，1个0。G切分后的总基尼指数（加权平均）：G(2)计算根节点的基尼指数：根节点数据集D:Y=[0,0,0,1,0,1,1,1]，共8个样本，5个1，3个0。G(3)判断有效性：由于Gi结论：该切分点有效。六、综合应用题答：针对该大型互联网公司的实时推荐系统需求，设计如下Lambda架构（或Kappa架构）方案：1.数据采集与传输层技术选型：使用Flume或Filebeat作为Agent部署在应用服务器上，实时采集用户行为日志。使用Kafka作为消息队列中间件。设计理由：Flume支持高吞吐和自定义拦截器；Kafka具有高吞吐、低延迟、分区机制和持久化能力，能解耦生产者与消费者，保证数据不丢失。措施：Kafka配置多副本保证可靠性；使用压缩技术减少网络传输量。2.数据存储层历史数据存储：使用HDFS（基于Hadoop）存储原始日志和清洗后的全量数据，用于