2025年上海大数据专高六第六单元机器学习与Hadoop测试卷附答案

2025年上海大数据专高六第六单元机器学习与Hadoop测试卷附答案一、单项选择题（每题2分，共30分）1.以下哪项不属于监督学习任务？A.预测房价（连续值）B.识别图像中的猫（二分类）C.客户分群（无标签）D.垃圾邮件检测（多分类）2.Hadoop生态中，负责资源管理和任务调度的组件是？A.HDFSB.YARNC.MapReduceD.HBase3.决策树算法中，信息增益主要用于？A.确定剪枝阈值B.选择最优划分特征C.计算叶节点类别D.防止过拟合4.关于K-means聚类的描述，错误的是？A.需要预先指定簇数KB.对噪声和离群点敏感C.适用于非凸形状的簇D.基于样本与质心的距离划分5.HDFS中默认的块大小是？A.32MBB.64MBC.128MBD.256MB6.机器学习中，均方误差（MSE）通常用于？A.分类任务的损失函数B.回归任务的损失函数C.聚类任务的评估指标D.降维任务的优化目标7.MapReduce作业中，Shuffle阶段的核心操作是？A.将Map输出按键分组并排序B.执行具体的计算逻辑C.管理集群资源分配D.存储中间结果到HDFS8.以下哪项是无监督学习的典型应用？A.预测用户是否会购买商品（有标签）B.新闻主题分类（无标签）C.识别手写数字（有标签）D.预测股票价格（连续值）9.随机森林（RandomForest）通过以下哪种方式降低过拟合风险？A.增加决策树的深度B.对样本和特征进行随机采样C.仅使用单一决策树D.提高学习率10.HDFS的NameNode主要存储？A.数据块的实际内容B.文件的元数据（如块位置、副本信息）C.MapReduce的中间结果D.HBase的表结构11.逻辑回归（LogisticRegression）的输出是？A.连续数值（如0.78）B.类别标签（如0或1）C.概率值（如0到1之间的概率）D.特征重要性分数12.关于Hadoop的描述，正确的是？A.适合实时计算场景（如秒级响应）B.基于分布式文件系统存储海量数据C.仅支持MapReduce一种计算模型D.单点故障问题由SecondaryNameNode完全解决13.支持向量机（SVM）的核心思想是？A.最大化类别之间的决策边界间隔B.最小化训练误差C.通过集成多个弱分类器提升性能D.基于树结构进行特征划分14.以下哪项是HDFS的设计目标？A.支持低延迟的随机访问B.处理海量的大文件（GB级以上）C.保证强一致性（每次写入立即可见）D.适用于小文件的高效存储15.机器学习中，精确率（Precision）的计算公式是？A.正确预测的正类数/实际正类总数B.正确预测的正类数/预测为正类的总数C.正确预测的正类数+正确预测的负类数/总样本数D.1错误预测的样本数/总样本数二、填空题（每空2分，共20分）1.机器学习的三要素包括模型、（）和算法。2.Hadoop3.x版本中引入了（）技术，通过多NameNode实现元数据的横向扩展。3.K-means算法的目标是最小化（）到其所属簇质心的距离平方和。4.MapReduce作业中，用户需要自定义的两个核心函数是（）和（）。5.决策树的剪枝方法分为预剪枝和（）。6.HDFS的副本机制默认设置（）个副本，以提高数据可靠性。7.逻辑回归通过（）函数将线性回归的输出映射到[0,1]区间。8.无监督学习的典型任务包括聚类、（）和异常检测。9.随机梯度下降（SGD）与批量梯度下降（BGD）的主要区别是（）。三、简答题（每题8分，共40分）1.简述监督学习与无监督学习的核心区别，并各举一个实际应用场景。2.说明HDFS中NameNode和DataNode的分工，以及NameNode故障时的恢复机制。3.对比决策树与随机森林在模型复杂度和抗过拟合能力上的差异。4.解释MapReduce中“分而治之”的思想，并说明其在大规模数据处理中的优势。5.机器学习中，为什么需要划分训练集、验证集和测试集？三者的作用分别是什么？四、应用题（共10分）某电商平台需分析用户行为数据，目标是将用户划分为“高价值”“中价值”“低价值”三类（无标签），并预测新用户是否会在30天内产生购买（有标签）。请回答以下问题：（1）针对用户分群任务，应选择哪种机器学习算法？说明选择理由及关键参数。（2）针对购买预测任务，应选择哪种机器学习算法（至少列举2种）？对比其适用场景。（3）若用户行为数据量达100GB，需分布式处理，应采用Hadoop生态中的哪些组件？说明各组件的作用。答案--一、单项选择题1-5:CBBCC6-10:BABBB11-15:CBABB二、填空题1.策略（或损失函数）2.HDFSFederation（联邦）3.样本点4.Map函数；Reduce函数5.后剪枝6.37.Sigmoid8.降维（或关联规则挖掘）9.每次迭代使用的样本量不同（SGD用单个样本，BGD用全部样本）三、简答题1.核心区别：监督学习使用带标签数据训练模型，目标是学习输入到输出的映射；无监督学习使用无标签数据，目标是发现数据内在结构或模式。应用场景：监督学习（如垃圾邮件分类，标签为“垃圾”或“非垃圾”）；无监督学习（如客户分群，无预设类别标签）。2.NameNode管理元数据（文件分块、副本位置、访问权限等），不存储实际数据；DataNode存储数据块并执行读写操作。恢复机制：通过FsImage（元数据快照）和EditLog（操作日志）恢复，SecondaryNameNode定期合并二者提供新的FsImage，或使用JournalNode（Hadoop2.x+）实现高可用，避免单点故障。3.决策树模型复杂度高（易过拟合），抗过拟合能力弱；随机森林通过集成多个决策树（基于样本和特征随机采样），降低模型方差，抗过拟合能力强。决策树依赖单一树结构，易受噪声影响；随机森林通过投票机制减少个体树的误差，泛化能力更优。4.“分而治之”指将大任务拆分为多个子任务（Map阶段并行处理分片数据），子任务结果经Shuffle阶段整合后由Reduce阶段汇总。优势：利用分布式集群并行计算，处理海量数据时可扩展；通过冗余存储（HDFS副本）和任务重试机制保证容错性；简化复杂任务的编程模型（用户仅需实现Map和Reduce函数）。5.划分原因：避免模型在训练数据上过拟合，确保评估的客观性。训练集：训练模型参数（如权重、偏置）；验证集：调优超参数（如学习率、树深度），选择最优模型；测试集：评估最终模型的泛化能力（未见过的数据），防止信息泄露。四、应用题（1）分群任务选择K-means算法。理由：目标是将用户划分为3类（预设K=3），K-means适合连续型特征的聚类，计算效率较高。关键参数：K值（需根据业务目标设为3）、最大迭代次数（防止无法收敛）、初始质心选择（可采用K-means++优化）。（2）购买预测任务可选逻辑回归或随机森林。逻辑回归：适用于线性可分数据，计算速度快，可解释性强（输出特征系数）；随机森林：适用于非线性关系，抗过拟合能力强，能处理高维特征（如用户点击、浏览、加购等多维度行为数据）。（3）组件选择及作用：H