2026年人工智能《机器学习理论》试题及答案

2026年人工智能《机器学习理论》试题及答案一、单项选择题（每题2分，共20分）1.在机器学习中，如果模型在训练集上表现很好，但在测试集上表现较差，这种情况通常被称为？A.欠拟合B.过拟合C.偏差过大D.方差过小答案B解析过拟合是指模型太过于训练数据的细节和噪声，导致在训练集上表现优异，但在未见过的测试数据上泛化能力差。2.下列哪种方法主要用于解决梯度下降中的“鞍点”或“局部最优”问题？A.降低学习率B.使用Momentum（动量）法C.增加正则化项D.减少训练数据答案B解析动量法通过累积历史梯度的指数加权平均，有助于加速收敛并冲出平坦区域（如鞍点或局部极小值）。3.在支持向量机（SVM）中，核函数的主要作用是什么？A.增加特征空间的维度B.将低维非线性可分数据映射到高维空间使其线性可分C.减少支持向量的数量D.降低计算复杂度答案B解析核技巧隐式地将输入特征映射到高维希尔伯特空间，使得在原始空间中非线性可分的数据在高维空间中变得线性可分。4.主成分分析（PCA）试图最大化数据的什么量？A.类间距离B.类内距离C.投影后的方差D.重构误差的均值答案C解析PCA的目标是找到数据方差最大的方向，以便在保留最多信息（方差）的前提下进行降维。5.下列关于L1正则化和L2正则化的描述，正确的是？A.L1正则化更容易产生稀疏解B.L2正则化更容易产生稀疏解C.L1正则化不可导，因此无法用于优化D.L2正则化主要用于特征选择答案A解析L1正则化的等值线是方形（菱形），容易与损失函数的等值线在坐标轴上相切，从而导致部分权重为0，产生稀疏解，常用于特征选择。6.在决策树算法中，ID3算法通常使用什么指标来选择最佳分裂属性？A.基尼系数B.信息增益C.均方误差D.信息增益率答案B解析ID3使用信息增益（基于熵的减少量）作为分裂标准，而C4.5使用信息增益率，CART使用基尼系数或均方误差。7.随机森林属于哪类集成学习方法？A.BoostingB.BaggingC.StackingD.Blending答案B解析随机森林通过对训练数据进行有放回抽样并构建多棵决策树，最后通过投票或平均进行预测，这是典型的Bagging策略。8.对于一个二分类问题，如果测试集中正负样本极不平衡（例如1:99），下列哪种评估指标最不合适作为主要依据？A.准确率B.F1分数C.AUC值D.查准率与查全率答案A解析在极度不平衡的数据下，模型只要全部预测为多数类，准确率就会很高，但这没有意义。此时应关注F1、AUC或PR曲线。9.K-均值聚类算法的最终结果通常受什么影响较大？A.初始聚类中心的选择B.数据的归一化处理C.K值的设定D.以上都是答案D解析K-means对初始中心敏感（可能陷入局部最优），受数据尺度影响大（需归一化），且K值需预先设定，故三者都有影响。10.在深度学习中，批归一化层主要解决了什么问题？A.梯度消失B.梯度爆炸C.内部协变量偏移D.过拟合答案C解析BatchNormalization通过标准化每一层的输入，使得数据分布保持稳定，缓解了内部协变量偏移问题，同时也间接改善了梯度消失/爆炸并允许使用更大的学习率。二、判断题（每题1分，共10分）1.神经网络的激活函数（如Sigmoid、Tanh）必须是线性的，否则网络无法训练。答案错误解析激活函数必须是非线性的，否则多层神经网络等价于单层线性模型，无法拟合复杂非线性关系。2.逻辑回归的名称中带有“回归”，但它实际上是一种分类算法。答案正确解析逻辑回归虽然用于预测概率，但通常通过阈值将概率离散为类别，属于广义线性分类模型。3.在贝叶斯分类器中，若假设特征条件独立，则称为朴素贝叶斯分类器。答案正确4.梯度下降算法中，学习率α越大，收敛速度一定越快。答案错误解析学习率过大会导致震荡甚至发散，无法收敛；只有合适的学习率才能保证较快的收敛。5.提升方法如AdaBoost通过调整样本权重来关注前一个基学习器分类错误的样本。答案正确6.LDA（线性判别分析）是一种无监督降维算法。答案错误解析LDA是一种有监督的降维算法，它利用类标签信息来最大化类间距离并最小化类内距离；PCA才是无监督的。7.交叉验证主要用于评估模型的泛化能力，也能在一定程度上减小因数据划分带来的方差。答案正确8.深度学习模型比传统机器学习模型（如SVM、随机森林）在所有任务上都表现更好。答案错误解析深度学习在大数据场景下优势明显，但在小样本、低维度数据或对可解释性要求高的任务中，传统模型可能表现更好且效率更高。9.岭回归引入了L1正则化，可以用于特征选择。答案错误解析岭回归引入的是L2正则化，会使系数变小但不为0；Lasso回归引入L1正则化，才用于特征选择。10.EM算法（期望最大化算法）保证能找到全局最优解。答案错误解析EM算法保证每次迭代会使对数似然函数单调不减，但只能保证收敛到局部最优解或鞍点，不保证全局最优。三、简答题（每题5分，共20分）1.简述偏差与方差的权衡（Bias-VarianceTradeoff）概念及其对模型性能的影响。答案偏差指模型对训练数据的平均预测结果与真实值之间的差异，反映了模型的拟合能力（欠拟合）；方差指模型在不同训练集上的变化程度，反映了模型的稳定性（过拟合）。通常，增加模型复杂度（如加深神经网络）会降低偏差但增加方差；简化模型会降低方差但增加偏差。机器学习的目标是找到平衡点，使总误差（偏差^2+方差+噪声）最小。2.解释梯度消失问题产生的原因及其常见的解决方案。答案原因：在深层网络反向传播过程中，根据链式法则，梯度需要连乘。如果激活函数（如Sigmoid）的导数值小于1，多层连乘后梯度会呈指数级衰减，导致浅层参数几乎无法更新。解决方案：(1)使用ReLU等导数在正区间恒为1的激活函数；(2)使用残差连接构建ResNet；(3)使用批归一化层；(4)使用LSTM/GRU等门控机制（针对RNN）。3.什么是正则化？请列举两种常见的正则化方法并说明其作用。答案正则化是在损失函数中引入一个惩罚项，用于限制模型参数的复杂度，防止过拟合，提高泛化能力。常见方法：(1)L2正则化：惩罚权重向量的L2范数，倾向于让权重值变小且分布均匀，防止某个特征影响过大。(2)Dropout：在训练过程中随机“丢弃”一部分神经元，相当于训练了多个子网络的集成，减少神经元之间的共适应。4.简述K-近邻（KNN）算法的主要优缺点。优点：(1)理论简单，易于实现；(2)无显式训练过程，属于懒惰学习；(3)对异常值不敏感（特别是K>1时）。缺点：(1)计算量大，预测时需要计算与所有样本的距离；(2)维数灾难：当特征维度很高时，距离度量失效；(3)样本不平衡时效果较差。四、计算与推导题（每题10分，共30分）1.假设有一个二分类问题，使用逻辑回归模型。模型预测样本x为正类的概率为hθ(x)=σ(z)=11+答案根据链式法则：∂计算各部分：∂由于σ(∂且：∂代入链式法则：∂故梯度为∂J2.给定一个包含5个样本的数据集：{2(1)计算该数据集的均值μ和方差σ2(2)若使用PCA将其降至1维，请说明投影方向是什么，并计算样本4在该方向上的投影坐标（假设中心化后计算）。答案(1)均值：μ方差（无偏，分母为n−σ(2)PCA是寻找方差最大的方向。对于一维数据本身，其分布方向就是数据所在的直线方向。中心化后的数据为{−协方差矩阵即为方差C=主方向v满足Cv样本4中心化后为4−在主方向（假设基为1）上的投影坐标即为−2故样本4的投影坐标为-2。3.现有如下决策节点，包含10个样本，其中正类6个，负类4个。若按特征A进行分裂，分裂结果如下：•特征A="是"：包含4个样本（正类3个，负类1个）•特征A="否"：包含6个样本（正类3个，负类3个）请计算该分裂的信息增益。（注：log2答案先计算父节点的熵H(HH由于log20.6=log23−更简单的计算：H再计算子节点的熵：-子节点"是"(D1H-子节点"否"(D2H计算分裂后的熵H(H信息增益GaG五、综合应用题（共20分）某医疗研究机构正在开发一个辅助诊断罕见病的系统。数据集包含10,000个病例，其中仅有100个是阳性（患病），9,900个是阴性（健康）。每个病例有50个特征（血液指标、年龄、性别等）。你作为机器学习工程师，需要构建一个分类模型。1.数据预处理与划分（5分）：在划分训练集和测试集时，应该采用什么方法？为什么？对特征处理有什么建议？2.模型选择与评估（8分）：如果选择逻辑回归作为基线模型，应该如何调整类别权重或损失函数以应对数据不平衡？在评估模型时，Accuracy（准确率）是否合适？如果不合适，应该重点考察哪些指标？3.综合分析（7分）：在模型部署后，医生提出希望模型能够提供“为什么判断该病人患病”的解释。你会推荐哪种类型的模型（如决策树、SVM、深度神经网络等）或方法来满足这一需求？请简述理由。答案1.数据预处理与划分：•应采用分层采样来划分训练集和测试集。即在正负两类中分别按比例随机抽取样本，确保训练集和测试集中的正负样本比例都与原始数据集一致（1:99），防止某一类样本在测试集中过少导致评估失效。•特征处理建议：(1)标准化/归一化：因为特征包含血液指标（量纲可能不同）和年龄，需要缩放到同一范围（如Z-score标准化或Min-Max归一化），这对逻辑回归等基于距离或梯度的模型尤为重要。(2)缺失值处理：检查是否有缺失值并进行填补（均值、中位数或KNN填补）。(3)特征工程：分析特征与标签的相关性，去除无关特征，构造交互特征。2.模型选择与评估：•调整方法：(1)类别权重：在逻辑回归中设置class_weight='balanced'或手动设置正类权重更高（如正负样本比例的反比），使得模型在预测错正类样本时受到更大的惩罚。(2)修改阈值：默认阈值为0.5，可以根据验证集调整阈值（降低阈值），以提高正类的召回率。•评估指标：Accuracy不合适。因为如果模型全部预测为阴性，准确率也能达到99%，但这毫无临床价值。•推荐指标：(1)Recall（召回率/查全率）：医疗场景核心是“不漏诊”，尽可能找出所有患病者。(2)Precision（精确率）：减少误诊，避免过度治疗。(3)F1-Score：调和Precision和Recall。(4)AUC-ROC：评估模型整体排序能力，不受阈值影响。3.综合分析：•推荐模型或方法：(1)决策树：决策树具有天然的可解释性，可以通过可视化树结构（如IF-THEN规