计算机2025年机器学习练习

计算机2025年机器学习练习考试时间：______分钟总分：______分姓名：______一、选择题（每小题2分，共20分。请将正确选项的字母填在题后的括号内）1.下列关于机器学习的描述，哪一项是正确的？()A.机器学习完全依赖于大量的手工标注数据()B.机器学习旨在完全模拟人类的决策过程()C.机器学习模型是通过从数据中学习规律并做出预测或决策()D.机器学习算法只能进行数值计算，不能处理文本或图像2.在监督学习任务中，以下哪种情况通常被称为“过拟合”？()A.模型对训练数据拟合得非常好，但对未见过的测试数据表现很差()B.模型过于简单，无法捕捉到数据中的基本模式()C.模型训练过程中出现了数值不收敛的情况()D.模型在训练集和测试集上的表现都一般3.决策树算法在构建过程中，如何选择分裂节点？()A.随机选择一个特征进行分裂()B.选择能够最大化信息增益或基尼不纯度减少量的特征进行分裂()C.选择方差最小的特征进行分裂()D.选择样本数量最多的特征进行分裂4.K-近邻（KNN）算法是一种什么样的学习方法？()A.基于模型的学习方法()B.基于实例的学习方法()C.基于规则的学习方法()D.统计学习方法5.在评估分类模型性能时，精确率（Precision）和召回率（Recall）之间的关系是？()A.精确率越高，召回率必然越高()B.精确率和召回率通常需要同时考虑，它们之间存在权衡()C.精确率永远等于召回率()D.精确率只适用于二分类问题，召回率只适用于多分类问题6.交叉验证（Cross-Validation）技术通常用于什么目的？()A.提高模型的训练速度()B.评估模型的泛化能力()C.选择合适的模型超参数()D.减少模型的过拟合程度7.主成分分析（PCA）主要解决什么问题？()A.数据分类问题()B.数据聚类问题()C.数据降维问题，保留主要信息()D.模型参数优化问题8.在逻辑回归模型中，输出结果的含义是什么？()A.直接输出类别标签()B.输出一个连续的预测值()C.输出一个概率值，表示属于某个类别的可能性()D.输出模型的最优参数9.决策树容易产生过拟合的原因之一是？()A.对训练数据拟合不够充分()B.节点分裂标准过于简单，导致树生长过深()C.训练数据量太少()D.算法本身存在随机性10.下列哪项技术通常用于处理类别不平衡的文本分类问题？()A.特征选择()B.数据重采样（过采样或欠采样）()C.正则化()D.神经网络结构设计二、判断题（每小题1分，共10分。请将“正确”填在题后的括号内，将“错误”填在题后的括号内）1.()线性回归模型只能用于回归任务，不能用于分类任务。2.()决策树算法是贪婪算法，每次都选择最优特征进行分裂。3.()KNN算法的性能对距离度量的选择非常敏感。4.()在逻辑回归中，sigmoid函数将线性组合的结果映射到了[0,1]区间内。5.()F1分数是精确率和召回率的算术平均值。6.()随机森林算法是决策树的集成方法，可以有效防止过拟合。7.()支持向量机（SVM）通过寻找一个最优的超平面来最大化样本的分类间隔。8.()提升树（GradientBoosting）算法构建树时，总是从全数据集开始。9.()对于无监督学习算法，我们通常不需要定义明确的评估指标。10.()特征缩放（如归一化或标准化）对于基于距离的算法（如KNN）和某些模型参数的优化（如梯度下降）都是必要的。三、填空题（每空1分，共10分。请将答案填写在横线上）1.机器学习主要包含两大类问题：__________学习和__________学习。2.决策树在某个节点进行分裂时，需要选择一个最优的分裂标准，常用的有__________和__________。3.评估分类模型好坏的常用指标有准确率、精确率、召回率和__________。4.在逻辑回归模型中，通过最大化似然函数或最小化损失函数（如__________）来估计模型参数。5.K-Means聚类算法是一种常用的__________聚类算法，其目标是使各个簇内的数据点到簇中心的距离最小化。6.降维技术可以帮助我们减少数据的“维度灾难”，常见的降维方法有__________和__________。7.在进行模型选择时，为了减少评估偏差，常用__________或__________等方法。8.过拟合是指模型对训练数据学习得太好，以至于学习到了其中的__________，从而影响了模型对未知数据的泛化能力。9.在特征工程中，将类别特征转换为数值特征的一种常用方法是__________。10.决策树模型易于理解和解释，这种特性被称为模型的__________。四、简答题（每小题5分，共20分）1.简述过拟合和欠拟合的概念，并分别说明可能导致这两种情况的原因。2.解释什么是特征工程，并列举至少三种常见的特征工程方法。3.简要说明交叉验证（如K折交叉验证）的基本思想及其主要优点。4.比较并说明逻辑回归模型和支持向量机（SVM）在基本原理和应用场景上的主要异同点。五、编程题（共20分）假设你使用Python的Scikit-learn库，并已经加载了一个包含数值特征的二分类数据集（数据集特征存储在`X`变量中，对应的类别标签存储在`y`变量中）。请编写代码完成以下任务：1.（5分）将数据集随机划分为训练集和测试集，其中测试集占总数据的30%，随机种子设置为42。2.（5分）使用线性核的支持向量机（SVM）模型，在训练集上训练一个分类器。3.（5分）在测试集上评估该SVM模型的性能，输出准确率（Accuracy）。4.（5分）使用网格搜索（GridSearchCV）对SVM模型的超参数`C`（范围从0.1到10，步长为0.1）和`gamma`（范围从0.001到0.1，步长为0.001）进行调优，在交叉验证（使用3折交叉验证）的基础上找到最佳的超参数组合，并在测试集上评估优化后的模型准确率。试卷答案一、选择题1.C解析：机器学习的核心是从数据中学习规律以进行预测或决策。A错误，机器学习可以利用标注数据，也可利用未标注数据（如无监督学习）。B错误，机器学习模拟人类智能的某些方面，但并非完全模拟。C正确地描述了机器学习的过程和目标。D错误，机器学习可以处理多种类型的数据。2.A解析：过拟合指模型在训练数据上表现极好（误差很小），但在未见过的新数据上表现很差（泛化能力差）。B描述的是欠拟合。C描述的是训练不收敛。D描述的是模型表现一般。3.B解析：决策树构建的核心是选择能够最好地划分数据集的特征。这通常通过计算信息增益（ID3）、基尼不纯度减少量（C4.5）等指标来衡量，选择使指标最大化的特征进行分裂。A是随机选择。C是方差分析的思想，用于特征选择而非节点分裂。D是按样本数量选择，不是分裂标准。4.B解析：KNN算法的核心思想是“近朱者赤”，即一个样本的类别由其周围K个最近邻样本的类别决定。它不学习显式的模型，而是存储训练数据，属于基于实例的学习。A是基于模型的学习。C是基于规则的学习。D是统计学习方法的一个大类，但KNN不属于。5.B解析：精确率关注模型预测为正类的样本中有多少是真正的正类；召回率关注所有真正的正类中有多少被模型正确预测为正类。两者常常需要权衡，例如提高精确率可能导致召回率下降，反之亦然。A、C、D的表述都不准确。6.B解析：交叉验证通过将数据划分为多个子集，轮流使用其中一个作为验证集，其余作为训练集，来评估模型的平均性能，从而得到对模型泛化能力的无偏估计。A、C、D描述的不是交叉验证的主要目的。7.C解析：PCA的主要目的是通过线性变换将高维数据投影到低维空间，同时尽可能保留数据的主要变异信息（方差）。8.C解析：逻辑回归模型输出的是一个概率值，表示样本属于正类（通常设为1）的可能性大小。这个概率值通过sigmoid函数转换线性组合的结果得到。A、B错误，逻辑回归输出概率而非类别或连续值。D是模型参数，不是输出结果。9.B解析：决策树容易过拟合是因为它倾向于生长成一棵非常深的树，能够完美地拟合训练数据中的每一个噪声点或细微波动。如果节点分裂标准过于宽松（如总是选择任何一点分裂），就会导致树生长过深。10.B解析：类别不平衡是指数据集中不同类别的样本数量差异很大。数据重采样（过采样少数类或欠采样多数类）是处理不平衡问题的一种常用技术，可以平衡数据分布，帮助模型更好地学习少数类。二、判断题1.错误解析：线性回归可以用于分类任务，称为线性判别分析或感知机（当用于二分类时）。它输出的是连续值，可以通过阈值法转换为类别。2.正确解析：决策树在每一步分裂时，根据预设的准则（如信息增益、基尼不纯度）从当前节点所有可能的特征分裂点中选择最优的一个，这是一种贪婪策略，只考虑当前步骤的最优选择。3.正确解析：KNN算法的性能强烈依赖于距离度量（如欧氏距离、曼哈顿距离）的选择，不同的距离度量会改变样本之间的“近邻”关系，从而影响最终分类结果。4.正确解析：sigmoid函数h(z)=1/(1+exp(-z))将任何实数z映射到(0,1)区间内，其中z是线性组合w^Tx+b。逻辑回归模型据此输出概率。5.错误解析：F1分数是精确率和召回率的调和平均值，其公式为2*(Precision*Recall)/(Precision+Recall)，它能同时考虑精确率和召回率，避免简单平均带来的问题。6.正确解析：随机森林通过构建多棵决策树，并在每棵树的节点分裂时随机选择一部分特征进行考虑，以及使用Bootstrap样本进行训练，这引入了随机性，可以有效降低单一决策树的方差，防止过拟合。7.正确解析：SVM的核心思想是找到一个超平面，能够将不同类别的数据点正确分开，并且这个超平面距离两类数据点的“间隔”（margin）最大化。最大化间隔可以提高模型的泛化能力。8.错误解析：提升树（如GBDT）是迭代构建树的模型。在每一轮迭代中，通常先使用前一轮迭代生成的模型的残差（或预测误差）作为新的目标变量（或特征）来训练下一棵树，而不是从全数据集开始。9.错误解析：虽然无监督学习不像监督学习那样有明确的标签来衡量性能，但仍然需要评估指标来判断算法效果，例如聚类算法可以用轮廓系数、Calinski-Harabasz指数等评估簇的紧密度和分离度。10.正确解析：特征缩放对于依赖距离计算的算法（如KNN、SVM）至关重要，因为特征的量纲不同会导致距离计算结果偏差很大。对于使用梯度下降优化的算法（如线性回归、逻辑回归、神经网络），特征缩放也能加速收敛，提高数值稳定性。三、填空题1.监督，无监督解析：机器学习按学习范式主要分为监督学习（有标签数据）和无监督学习（无标签数据）。2.信息增益，基尼不纯度解析：这是决策树算法中常用的两种衡量分裂前后数据纯度变化或信息量增加程度的指标。3.F1分数（或F-measure）解析：F1分数是精确率和召回率的综合指标，常用于评估分类器在类别不平衡情况下的性能。4.逻辑损失（或交叉熵损失）解析：逻辑回归使用似然函数最大化或损失函数最小化来估计参数，常用的损失函数是二元交叉熵或逻辑损失。5.划分解析：K-Means是一种划分式聚类算法，其目标是将数据集划分为若干个互不相交的簇。6.主成分分析（PCA），线性判别分析（LDA）解析：PCA和LDA都是常用的降维方法，PCA侧重于保留数据方差，LDA侧重于最大化类间方差并最小化类内方差。7.留一法，交叉验证解析：留一法（LOOCV）和交叉验证（CV）都是常用的模型评估技术，旨在用尽量少的数据评估模型泛化能力，减少评估偏差。8.噪声解析：过拟合不仅仅是模型复杂，还因为它可能学习到了数据中的随机噪声，这些噪声在训练集中出现，但在新数据中不具代表性。9.独热编码（One-HotEncoding）解析：独热编码是一种将类别特征转换为数值特征（0/1向量）的常用方法，适用于表示名义变量。10.可解释性（或可读性）解析：模型的可解释性指模型的结构和决策过程容易被人类理解和解释的特性。四、简答题1.简述过拟合和欠拟合的概念，并分别说明可能导致这两种情况的原因。解析：过拟合是指机器学习模型在训练数据上学习得过于完美，不仅学习了数据中的潜在模式，还学习了数据中的噪声和细节，导致模型对训练数据拟合得非常好，但在面对新的、未见过的数据时表现很差，泛化能力弱。欠拟合是指模型过于简单，未能捕捉到数据中的基本规律或模式，导致模型在训练数据和测试数据上都表现不佳，无法很好地描述数据分布。过拟合可能导致的原因包括：模型复杂度过高（如决策树过深、神经网络层数过多或参数过多）、训练数据量不足、训练时间过长等。欠拟合可能导致的原因包括：模型过于简单（如线性模型用于非线性问题、决策树过浅、神经网络层数过少）、特征选择不当（缺少重要特征）、特征工程不足等。2.解释什么是特征工程，并列举至少三种常见的特征工程方法。解析：特征工程是指从原始数据中提取、转换和选择有意义的特征的过程，目的是为了提高机器学习模型的性能。它将原始数据（可能包含噪声、不相关或冗余的信息）转换为模型能够更好地理解和利用的输入形式。常见的特征工程方法包括：特征提取（从现有特征组合生成新特征，如利用多项式、交互项）；特征转换（改变特征的分布或尺度，如使用对数、平方根、归一化、标准化）；特征选择（从原始特征集中选择一个子集，去除不相关或冗余的特征，如过滤法、包裹法、嵌入法）。3.简要说明交叉验证（如K折交叉验证）的基本思想及其主要优点。解析：交叉验证（Cross-Validation）是一种评估模型泛化能力的技术。K折交叉验证的基本思想是将整个数据集随机划分为K个大小相等的子集（称为“折”或“folds”）。然后进行K轮评估，每一轮中，选择一个不同的子集作为验证集，其余K-1个子集合并作为训练集。模型在训练集上训练，在验证集上评估性能。最后，将K轮评估的性能指标（如准确率）取平均值，作为模型在当前配置下的最终性能估计。主要优点包括：相比于将数据简单划分为训练集和测试集，交叉验证更充分地利用了所有数据，减少了评估的方差；能够得到对模型泛化能力更稳定、更可靠的估计。4.比较并说明逻辑回归模型和支持向量机（SVM）在基本原理和应用场景上的主要异同点。解析：相同点：两者都是广泛应用于二分类和（经过修改后）多分类问题的监督学习模型；两者都属于统计学习模型，旨在找到一个决策边界或超平面来区分不同类别的数据点；两者模型参数的学习都涉及优化问题（逻辑回归是优化对数似然函数或交叉熵损失，SVM是优化几何间隔或正则化损失）。不同点：基本原理：逻辑回归模型基于最大似然估计，输出的是样本属于某个类别的概率，通过sigmoid函数将线性组合映射到[0,1]区间。SVM模型基于结构风险最小化原则，通过寻找一个最大化分类间隔的超平面来实现对数据的有效分离，对异常值不敏感。应用场景：逻辑回归模型输出概率，结果更直观，适合需要概率输出或模型解释性的场景；模型形式相对简单。SVM通过核技巧可以处理非线性问题（高斯核等），对特征空间的高维变换不敏感，在小样本、高维度数据集上表现通常较好；但模型解释性相对较差，参数调优（如C、gamma）对性能影响较大。五、编程题```pythonfromsklearn.model_selectionimporttrain_test_split,GridSearchCVfromsklearn.svmimportSVCfromsklearn.metricsimportaccuracy_score#假设X,y已经定义好#1.划分数据集X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=42)#2.训练SVM模型svm_model=SVC(kernel='linear')#使用线性核svm_model.fit(X_train,y_train)#3.在测试集上评估性能y_pred=svm_model.predict(X_test)accuracy=accuracy_score(y_test,y_pred)#print(f"测试集准确率:{accuracy}")#