大学机器学习题库及答案

大学机器学习题库及答案一、单项选择题（共10题，每题1分，共10分）下列关于监督学习的描述，正确的是A.训练过程不需要任何标注数据，仅靠挖掘数据内在规律完成学习B.训练过程需要使用带标注的数据集，学习输入到输出的映射关系C.训练过程依赖环境给出的奖励信号调整动作策略D.核心应用场景包含数据降维、聚类等答案：B解析：A选项描述的是无监督学习的特点，C选项描述的是强化学习的训练逻辑，D选项的降维、聚类都属于无监督学习的应用场景，只有B选项是监督学习的核心定义，监督学习的训练数据必须包含输入特征和对应的真实标签，比如分类任务的类别标签、回归任务的真实数值标签。机器学习模型出现过拟合的典型表现是A.训练集误差高，测试集误差高B.训练集误差低，测试集误差高C.训练集误差低，测试集误差低D.训练集误差高，测试集误差低答案：B解析：过拟合指的是模型过度学习训练数据中的噪声和局部规律，泛化能力下降的现象，因此在训练的数据集上表现很好（误差低），但在未见过的测试集上表现很差（误差高）。A选项是欠拟合的表现，C选项是模型拟合效果良好的表现，D选项的情况不可能出现。逻辑回归模型的原始输出值的范围是A.(-∞,+∞)B.[-1,1]C.[0,1]D.离散整数答案：C解析：逻辑回归在线性回归的输出基础上加入了Sigmoid激活函数，会将输入的任意数值映射到0到1的区间内，这个输出值代表样本属于正类的概率。A选项是线性回归的输出范围，B选项是tanh激活函数的输出范围，D选项是分类任务最终的离散预测结果，不是逻辑回归的原始输出。下列算法中属于无监督学习算法的是A.支持向量机B.K-MeansC.决策树D.朴素贝叶斯答案：B解析：K-Means是聚类算法，训练不需要标注数据，属于无监督学习范畴。A选项支持向量机、C选项决策树、D选项朴素贝叶斯都需要带标注的训练数据，属于监督学习算法。混淆矩阵中，真正例（TP）的定义是A.真实标签为正例，模型预测结果为正例的样本数B.真实标签为负例，模型预测结果为正例的样本数C.真实标签为正例，模型预测结果为负例的样本数D.真实标签为负例，模型预测结果为负例的样本数答案：A解析：B选项是假正例（FP）的定义，C选项是假反例（FN）的定义，D选项是真反例（TN）的定义，只有A选项符合真正例的定义。梯度下降算法中，学习率设置过大最可能导致的问题是A.模型收敛速度过慢B.模型震荡甚至无法收敛C.模型立刻陷入局部最优D.模型过拟合风险提升答案：B解析：学习率控制参数每次更新的步长，学习率过大时，参数更新的步长太大，可能会跨过损失函数的最小值点，导致损失函数反复震荡，甚至出现越来越大的情况，无法收敛。A选项是学习率过小的问题，C选项和学习率大小没有直接关联，D选项学习率过大不会直接提升过拟合风险。下列方法中，可以用于缓解决策树过拟合问题的是A.增大决策树的最大深度B.对决策树进行剪枝操作C.增加训练样本的特征数量D.减少训练集的样本数量答案：B解析：剪枝指的是去掉决策树中对分类增益不大的分支，降低模型复杂度，是缓解决策树过拟合的核心方法。A选项增大最大深度、C选项增加特征数量、D选项减少训练样本都会提升决策树的过拟合风险。PCA算法的核心作用是A.完成分类任务B.完成聚类任务C.实现数据降维D.实现回归预测答案：C解析：PCA是主成分分析算法，核心目标是将高维特征映射到低维空间，同时尽可能保留原始数据的方差信息，属于无监督的降维算法，本身不能直接完成分类、聚类、回归任务。强化学习中，奖励信号的核心作用是A.作为每一步动作的正确标签指导模型训练B.反馈当前动作的优劣，引导智能体调整策略C.衡量模型预测结果和真实结果的差异D.用于降维提取核心特征答案：B解析：A选项是监督学习标签的作用，C选项是损失函数的作用，D选项是降维算法的作用。强化学习没有明确的每一步正确标签，仅靠环境反馈的奖励信号判断动作的好坏，引导智能体学习能获得长期最大奖励的策略。下列指标中，属于分类任务专用评估指标的是A.均方误差B.轮廓系数C.准确率D.信息熵答案：C解析：准确率指的是分类正确的样本数占总样本数的比例，是分类任务最基础的评估指标。A选项均方误差是回归任务的评估指标，B选项轮廓系数是聚类任务的评估指标，D选项信息熵是衡量数据不确定性的指标，常用于决策树的分裂判断。二、多项选择题（共10题，每题2分，共20分）下列算法中，属于监督学习算法的有A.逻辑回归B.随机森林C.K-MeansD.PCA答案：AB解析：A选项逻辑回归是二分类算法，B选项随机森林是集成类的分类回归算法，两者都需要带标注的训练数据，属于监督学习。C选项K-Means是聚类算法，D选项PCA是降维算法，两者都不需要标注数据，属于无监督学习。下列方法中，可以用于缓解模型过拟合问题的有A.加入L1或L2正则化B.增加训练集的样本数量C.对决策树进行剪枝D.减少训练集的样本数量答案：ABC解析：A选项正则化会给损失函数加入参数惩罚项，避免参数过大拟合噪声；B选项增加训练样本可以让模型学习到更通用的规律，减少对局部噪声的拟合；C选项剪枝降低决策树复杂度，三者都可以缓解过拟合。D选项减少训练样本会提升过拟合风险。下列关于逻辑回归的描述，正确的有A.逻辑回归属于分类算法，通常用于二分类场景B.逻辑回归的输出代表样本属于某一类别的概率C.逻辑回归通常使用交叉熵作为损失函数D.逻辑回归通常使用均方误差作为损失函数答案：ABC解析：A选项逻辑回归虽然名称带“回归”，但核心是解决分类问题，最常用于二分类；B选项逻辑回归的输出是0到1之间的数值，对应正类的概率；C选项交叉熵损失更适合衡量概率分布的差异，是逻辑回归的标准损失函数。D选项均方误差是回归算法的损失函数，不适合逻辑回归的优化。下列指标中，属于聚类任务常用评估指标的有A.轮廓系数B.兰德指数C.召回率D.精确率答案：AB解析：A选项轮廓系数衡量聚类簇的紧密程度和分离程度，B选项兰德指数衡量聚类结果和真实分类的一致性，两者都是聚类的评估指标。C选项召回率、D选项精确率都是分类任务的评估指标。下列指标中，可以用于决策树分裂节点选择的有A.信息增益B.基尼系数C.信息增益率D.均方误差答案：ABCD解析：A选项信息增益、B选项基尼系数、C选项信息增益率都是分类决策树常用的分裂指标，用于衡量分裂后数据的不确定性下降程度；D选项均方误差是回归决策树常用的分裂指标，衡量分裂后预测值和真实值的误差下降程度，四类都可以作为决策树的分裂评估指标。下列属于梯度下降算法常见变种的有A.批量梯度下降B.小批量梯度下降C.随机梯度下降D.牛顿法答案：ABC解析：批量梯度下降每次用全部样本计算梯度，随机梯度下降每次用单个样本计算梯度，小批量梯度下降每次用一小批样本计算梯度，三者都是梯度下降的常见变种。D选项牛顿法是独立的二阶优化算法，不属于梯度下降的变种。下列应用场景中，适合使用无监督学习算法的有A.用户消费群体划分B.工业设备异常检测C.垃圾邮件分类D.房屋价格预测答案：AB解析：A选项用户分群不需要提前标注用户类别，靠挖掘用户消费数据的内在结构完成，适合用聚类类的无监督算法；B选项异常检测通常只有少量甚至没有异常样本的标注，适合用无监督算法挖掘偏离正常分布的样本。C选项垃圾邮件分类需要标注好的垃圾邮件和正常邮件数据，D选项房价预测需要标注好的房屋特征和对应价格数据，两者都属于监督学习的应用场景。下列指标中，可用于评估分类模型性能的有A.准确率B.召回率C.F1值D.均方误差答案：ABC解析：A选项准确率衡量整体分类正确的比例，B选项召回率衡量正类被正确识别的比例，C选项F1值是精确率和召回率的调和平均，三者都是分类模型的常用评估指标。D选项均方误差是回归模型的评估指标。下列函数中，属于神经网络常用激活函数的有A.SigmoidB.ReLUC.TanhD.交叉熵答案：ABC解析：A选项Sigmoid、B选项ReLU、C选项Tanh都可以给神经网络加入非线性能力，让模型学习复杂的映射关系，是常用的激活函数。D选项交叉熵是损失函数，不是激活函数。下列属于数据降维的作用的有A.降低模型计算复杂度，提升训练速度B.去除冗余特征和噪声，提升数据质量C.将高维数据映射到低维空间，便于可视化D.缓解维度灾难，降低模型过拟合风险答案：ABCD解析：A选项降维减少特征数量，自然降低计算量；B选项降维过程会过滤掉方差小的冗余特征和噪声特征；C选项高维数据无法直接可视化，降维到2到3维就可以直观展示数据分布；D选项维度灾难指的是特征维度过高时样本分布稀疏，模型容易过拟合，降维可以缓解这个问题，四类都是降维的作用。三、判断题（共10题，每题1分，共10分）线性回归的损失函数通常采用均方误差。答案：正确解析：线性回归用于预测连续数值，均方误差衡量预测值和真实值的平方差，符合回归任务的优化目标，是线性回归的标准损失函数。K-Means算法需要预先指定聚类簇的数量K。答案：正确解析：K是K-Means算法的核心超参数，代表最终聚类的簇数，需要在训练前手动设置，后续可以通过手肘法、轮廓系数法等选择最优的K值。过拟合只在监督学习中存在，无监督学习不会出现过拟合问题。答案：错误解析：无监督学习同样会出现过拟合问题，比如聚类算法过度拟合训练集的噪声，导致在新数据上的聚类效果很差，只是无监督的过拟合判断相对监督学习更复杂。朴素贝叶斯的“朴素”指的是假设所有特征之间相互独立。答案：正确解析：特征条件独立是朴素贝叶斯的核心假设，这个假设大幅简化了贝叶斯概率的计算过程，虽然很多时候不符合实际数据的特征关联情况，但模型仍然能取得不错的效果。分类模型的召回率越高，精确率也一定越高。答案：错误解析：召回率和精确率是此消彼长的关系，比如降低分类的概率阈值，更多样本会被判定为正类，召回率会上升，但同时更多负类也会被误判为正类，导致精确率下降，两者不可能同时无限提升。决策树属于有监督学习算法。答案：正确解析：决策树的训练需要带标签的数据集，学习从特征到标签的映射关系，可以用于分类和回归任务，属于监督学习的范畴。PCA降维过程中会尽可能保留原始数据的方差。答案：正确解析：PCA的核心逻辑是找到原始数据中方差最大的投影方向，将数据映射到这些方向上，方差越大代表保留的原始信息越多，因此最大化保留方差是PCA的核心目标。强化学习的训练过程中，智能体每一步动作都能获得明确的标签指导。答案：错误解析：强化学习和监督学习的核心区别就是没有明确的每一步动作的正确标签，只能通过环境反馈的奖励信号判断动作的优劣，奖励信号可能是延迟的，也可能只有最终结果才有奖励。特征归一化对所有机器学习算法都能提升性能。答案：错误解析：特征归一化对基于梯度下降的算法（比如线性回归、神经网络）、基于距离的算法（比如KNN、支持向量机）效果明显，能够提升收敛速度和模型性能，但决策树、随机森林这类基于树的算法对特征尺度不敏感，归一化不会提升其性能。交叉验证可以有效降低模型泛化误差估计的偏差。答案：正确解析：交叉验证会将数据集多次划分为不同的训练集和验证集，用多次验证的平均误差作为泛化误差的估计，比单次划分的结果更稳定准确，有效降低了估计偏差。四、简答题（共5题，每题6分，共30分）简述监督学习和无监督学习的核心区别。答案：第一，训练数据要求不同，监督学习需要使用带标注的数据集，无监督学习使用的是无标注的数据集；第二，学习目标不同，监督学习的目标是学习输入特征到输出标签的映射关系，对未知样本进行输出预测，无监督学习的目标是挖掘数据内在的分布规律和结构特征；第三，应用场景不同，监督学习多用于分类、回归类任务，无监督学习多用于聚类、降维、异常检测类任务。解析：标注指的是样本对应的真实结果，比如分类任务的类别标签、回归任务的真实数值，监督学习需要这些标注来指导模型优化方向，无监督学习没有这类标注，完全靠数据本身的特征完成学习。实际应用中很多场景会结合两者，比如先用无监督算法做特征挖掘，再用监督算法做最终预测。简述模型过拟合的核心成因和常见解决思路。答案：第一，过拟合的核心成因包括模型复杂度过高、训练数据量不足、训练数据包含较多噪声，导致模型学习到了训练数据中的局部噪声和偶然规律，泛化能力下降；第二，解决思路首先是降低模型复杂度，比如减少神经网络的层数和神经元数量、对决策树进行剪枝、选择结构更简单的算法；第三，可以引入正则化手段，比如在损失函数中加入L1、L2正则化项，约束参数的大小，避免参数过度拟合噪声；第四，可以通过增加训练数据量、使用数据增强技术扩充训练集，或者采用早停、集成学习等方法抑制过拟合。解析：过拟合是机器学习建模中最常见的问题之一，本质是模型的学习能力超过了数据本身的真实规律的复杂度，因此解决思路都是从“降低模型能力”和“增加数据支撑”两个方向出发，正则化相当于给模型的优化过程加入约束，避免模型学习过度，早停指的是训练过程中监控验证集误差，当验证集误差上升时立刻停止训练，避免模型拟合训练集噪声。简述逻辑回归属于分类算法而非回归算法的原因。答案：第一，逻辑回归的核心目标是解决分类任务，最常用于二分类场景，比如判断邮件是否为垃圾邮件、用户是否会转化等，和回归算法预测连续值的目标完全不同；第二，逻辑回归在线性回归的输出基础上加入了Sigmoid激活函数，将输出值映射到0到1的区间内，代表样本属于正类的概率，最终通过设置概率阈值得到离散的分类结果；第三，逻辑回归采用交叉熵作为损失函数，优化目标是缩小预测概率和真实标签的分布差异，和回归算法常用的均方误差损失完全不同，更贴合分类任务的需求。解析：逻辑回归名称中的“回归”来自其基础结构继承了线性回归的形式，但输出目标、损失函数、应用场景都符合分类算法的特点，因此归类为分类算法，部分场景下也可以拓展为多分类逻辑回归解决多分类任务。简述K-Means算法的核心执行步骤。答案：第一，首先根据业务需求或预实验确定聚类簇的数量K，从训练样本中随机选择K个样本作为初始的聚类中心；第二，计算每一个样本到所有聚类中心的距离，将样本分配到距离最近的聚类中心对应的簇中；第三，针对每个簇，计算簇内所有样本的特征均值，将这个均值作为该簇新的聚类中心；第四，重复执行样本分配和聚类中心更新的步骤，直到聚类中心的变化幅度小于预设阈值，或者达到预设的最大迭代次数，算法结束。解析：距离计算通常采用欧氏距离，初始聚类中心的选择会影响算法的收敛速度和最终结果，因此实际应用中通常会多次运行K-Means选择最优结果，或者采用K-Means++算法优化初始中心的选择，避免初始中心过近导致聚类效果差。简述混淆矩阵的核心基础指标及其含义。答案：第一，真正例（TP），指真实标签为正例，模型预测结果也为正例的样本数量；第二，假正例（FP），指真实标签为负例，模型预测结果为正例的样本数量，也就是常说的误判；第三，真反例（TN），指真实标签为负例，模型预测结果也为负例的样本数量；第四，假反例（FN），指真实标签为正例，模型预测结果为负例的样本数量，也就是常说的漏判。解析：混淆矩阵是分类任务评估的基础，准确率、精确率、召回率、F1值等常用评估指标都是基于这四个基础指标计算得到的，在类别不平衡的场景下，混淆矩阵比单纯的准确率更能直观展现模型对不同类别的识别效果，比如医疗诊断场景中漏判的代价远高于误判，就需要重点关注假反例的数量和对应的召回率指标。五、论述题（共3题，每题10分，共30分）结合实例论述机器学习中“没有免费的午餐”定理的核心内涵，以及对实际建模的指导意义。答案：该定理的核心内涵是，不存在一种机器学习算法能够在所有的任务场景下都取得最优的效果，脱离具体的任务需求、数据特点讨论算法的优劣是没有任何意义的。从理论逻辑来看，该定理的推导基于所有可能的问题分布均匀的前提，如果算法A在某一类问题上表现更好，必然会在另一类问题上表现更差，所有算法的全局期望性能是完全相同的。而实际应用中的所有机器学习任务都有特定的场景约束、数据分布和业务目标，不存在通用的最优算法。实际案例可以验证这个结论，比如在结构化表格数据的风控、营销类分类任务中，梯度提升树这类传统集成算法的效果通常优于深度学习模型，训练速度更快，对特征预处理的要求更低，可解释性也更强；但在图像、语音、文本这类非结构化数据的任务中，卷积神经网络、Transformer等深度学习模型的效果远远超过传统的机器学习算法，特征提取能力更强。再比如在金融、医疗这类对可解释性要求很高的场景，逻辑回归、单棵决策树这类结构简单、可解释性强的算法，可能比复杂的集成模型、深度学习模型更适用，就算后者的准确率稍高，也无法满足监管和风险可控的要求。对实际建模的指导意义主要有三点：第一，建模时需要根据任务类型、数据特点、业务需求选择合适的算法，不能盲目追捧热门的复杂算法，比如小样本结构化数据的任务没有必要强行使用深度学习；第二，需要针对具体任务做多组对比实验，基于实际的评估结果选择最优方案，不能仅凭理论判断算法的好坏；第三，要合理平衡算法的性能、可解释性、计算成本等多个维度的需求，选择最适配业务的方案，而不是一味追求预测精度最高的方案。解析：没有免费的午餐定理是机器学习的核心基础定理之一，其最大的作用是避免开发者陷入“算法万能”的误区，提醒开发者所有算法都有其适用边界，选择算法时必须结合实际场景，而不是脱离场景空谈算法优劣。结合实例论述类别不平衡问题对分类模型的影响，以及常用的解决方案。答案：类别不平衡指的是分类任务中不同类别的训练样本数量差距很大的情况，比如异常检测、欺诈识别、医疗诊断等场景中，少数类的样本占比可能不足百分之一甚至千分之一，这类问题会对模型训练和评估产生严重影响。首先是对模型效果的影响：第一，模型训练过程会被多数类样本主导，倾向于将所有样本预测为多数类，导致少数类的识别效果极差，比如欺诈识别场景中欺诈样本占比只有0.1%，模型只要将所有样本都预测为正常，准确率就能达到99.9%，但完全没有识别欺诈的能力；第二，常规的评估指标比如准确率会完全失效，无法反映模型对少数类的识别能力，误导开发者认为模型效果很好。常用的解决方案可以分为数据层面、算法层面、评估层面三个维度：数据层面的方法包括三种：一是欠采样，随机去掉部分多数类的样本，让两类样本数量平衡，优点是计算速度快，缺点是可能丢失多数类的重要信息，可以采用EasyEnsemble这类集成欠采样的方法缓解信息丢失的问题；二是过采样，通过复制少数类样本或者用SMOTE这类算法生成合成的少数类样本，扩充少数类的数量，优点是不会丢失信息，缺点是可能引入噪声提升过拟合风险；三是数据增强，针对图像、文本这类非结构化数据，通过翻转、裁剪、同义词替换等方式生成更多真实的少数类样本，不会引入人工噪声，效果更好。算法层面的方法包括两种：一是类别权重调整，给少数类的样本设置更高的损失权重，少数类分类错误的损失远大于多数类，引导模型关注少数类的识别效果；二是选择适配不平衡场景的算法，比如孤立森林、One-classSVM这类异常检测专用算法，不需要依赖平衡的数据集就能取得不错的效果。评估层面的方法是放弃单纯的准确率指标，改用召回率、F1值、ROC-AUC、PR曲线AP值等更适合不平衡场景的评估指标，重点关注少数类的识别效果。实际案例：某金融机构的欺诈交易检测任务中，初始采用逻辑回归算法和准确率评估，模型准确率达到99.5%，但上线后几乎检测不到欺诈交易，后续调整方案，数据层面对欺诈样本采用SMOTE过采样，算法层面给欺诈样本设置20倍的损失权重，评估层面改用欺诈类的召回率和F1值作为核心指标，调整后模型的欺诈召回率提升到85%，满足了业务需求。解析：类别不平衡是工业界机器学习任务中非常常见的问题，大部分实际业务场景中的分类任务都存在类别不平衡的情况，不能直接用教材中平衡数据集的处理方式，需要多维度协同优化才能得到符合业务需求的模型。结合实例论述梯度下降算法的核心原理、常见变种及其各自的优缺点。答案：梯度下降是机器学习中最常用的优化算法，几乎所有的参数化模型都用梯度下降或者其变种完成训练，核心原理是沿着损失函数的负梯度方向更新模型参数，逐步最小化损失函数。损失函数是衡量模型预测结果和真实结果差异的函数，梯度是损失函数关于模型参数的导数，指向损失函数上升最快的方向，因此负梯度就是损失函数下降