2025年大学《统计学》专业题库- 偏最小二乘回归与机器学习模型

2025年大学《统计学》专业题库——偏最小二乘回归与机器学习模型考试时间：______分钟总分：______分姓名：______一、选择题（每题2分，共20分。请将正确选项的字母填在题干后的括号内。）1.偏最小二乘回归（PLS）主要用于解决以下哪种问题？(A)数据降维(B)处理自变量多重共线性(C)进行高斯过程回归(D)对时间序列数据进行预测2.在PLS回归建模过程中，下列哪个步骤通常被认为是迭代进行的？(A)计算X矩阵的得分向量(B)选择潜变量（成分）的数量(C)计算权重向量(D)计算Y矩阵的载荷向量3.下列哪种模型属于非参数模型？(A)线性回归(B)逻辑回归(C)K近邻（KNN）(D)支持向量机（SVM）4.在机器学习模型的评估中，交叉验证（Cross-Validation）的主要目的是？(A)提高模型的复杂度(B)减少模型的过拟合风险(C)直接得到模型的最终预测结果(D)用于对模型进行特征选择5.决策树（DecisionTree）模型在处理不均衡数据集时，可能遇到的主要问题是？(A)模型训练速度变慢(B)预测性能对多数类样本过于敏感(C)容易产生过度拟合(D)对缺失值不敏感6.下列哪种指标最适合用于评估回归模型的预测精度？(A)准确率（Accuracy）(B)F1分数(C)均方根误差（RMSE）(D)召回率（Recall）7.主成分回归（PCR）和偏最小二乘回归（PLS）在处理多重共线性问题时，主要区别在于？(A)PCR使用正则化技术，PLS不使用(B)PCR通过降维解决共线性，PLS通过构建新变量(C)PCR适用于因变量多，PLS适用于自变量多(D)PCR是监督学习，PLS是非监督学习8.支持向量机（SVM）在处理线性不可分问题时，通常采用哪种方法？(A)增加核函数(B)减少正则化参数C(C)增加特征维度(D)改用逻辑回归模型9.在进行特征工程时，标准化（Standardization）指的是将特征值转换为？(A){-1,1}之间的值(B)[0,1]之间的值(C)具有均值为0，标准差为1的分布(D)非负值10.随机森林（RandomForest）模型相较于单个决策树，其主要优势在于？(A)训练速度更快(B)对参数不敏感(C)显著降低过拟合风险，提高泛化能力(D)能够直接处理类别型自变量二、填空题（每空1分，共15分。请将答案填在题干后的横线上。）1.偏最小二乘回归中，X空间和Y空间被投影到同一个低维的潜变量（成分）空间，这两个空间分别由__________和__________表示。2.机器学习中，将数据划分为训练集、验证集和测试集的主要目的是为了__________。3.决策树模型中，常用的分裂标准有__________和__________。4.在评估分类模型性能时，混淆矩阵是一个重要的工具，它能够帮助我们计算准确率、精确率、召回率等指标。其中，精确率是指__________。5.对于回归问题，如果模型的训练误差很小，但测试误差很大，则通常认为模型存在__________现象。6.偏最小二乘回归的潜变量数通常需要通过__________等方法来确定。7.在逻辑回归模型中，输出结果通常通过__________函数进行映射，以产生概率值。8.降维方法PCA的核心思想是将原始高维变量投影到新的低维子空间，使得投影后的数据在__________最大。9.机器学习中的过拟合（Overfitting）是指模型对训练数据学习得太好，以至于失去了对__________数据的预测能力。10.增益树（如GBDT,XGBoost）在每次分裂时，选择分裂点的标准是能够最大化__________。三、简答题（每题5分，共20分。）1.简述偏最小二乘回归（PLS）与多重线性回归（MLR）在处理自变量多重共线性方面的主要区别。2.解释机器学习中过拟合（Overfitting）和欠拟合（Underfitting）的概念，并简述可能导致这两种情况的原因。3.简述K近邻（KNN）算法的基本原理。4.描述使用交叉验证（Cross-Validation）评估机器学习模型性能的基本步骤。四、计算与分析题（共45分。）1.（15分）设有一组PLS回归数据，通过建模得到以下信息：选择了2个潜变量（成分）；X空间和Y空间的权重向量（Wx,Wy）以及得分向量（Tx,Ty）的部分数据如下（得分向量的前两个成分和权重向量的前两个分量）：Tx1=1.5,Tx2=-0.5Wy1=0.8,Wy2=0.6Wx1=0.7,Wx2=-0.4Wx1'=0.5,Wx2'=0.8（'表示Y空间的权重）假设原始自变量矩阵X的一个样本点（p1,p2）在经过X空间的第一个权重向量Wx1后得到投影点p'1=1.0。请计算该样本点在Y空间对应的投影点（即预测的因变量值）y1'和y2'。并解释计算中用到的关系。2.（15分）考虑一个二分类问题，使用决策树模型进行预测。对于某个测试样本，其特征如下：特征A=3（类别型），特征B=5（数值型），特征C=0.2（数值型）。决策树的部分结构如下：根节点基于特征B进行分裂（阈值=4），左子树基于特征C进行分裂（阈值=0.1），右子树输出类别标签为“负类”。请回答：(1)该测试样本将进入决策树的哪个分支？(2)如果在左子树中，该样本是否会继续分裂？(3)最终该测试样本被预测为什么类别？请简述判断过程。3.（15分）描述一下在使用支持向量机（SVM）进行回归（SVR）时，如何通过调整模型参数（如ε和C）来控制模型的复杂度以及对训练数据的拟合程度。解释较大的ε和较大的C值分别倾向于产生什么样的模型行为。试卷答案一、选择题1.B2.C3.C4.B5.B6.C7.B8.A9.C10.C二、填空题1.T空间，Q空间2.避免过拟合，评估模型泛化能力3.信息增益（或信息增益率），基尼不纯度4.真正预测为正类的样本中，实际为正类的比例5.过拟合6.交叉验证，留一法7.Sigmoid（或logistic）8.方差（或散布）9.未见过的新数据（或测试数据）10.信息增益（或贪心策略）三、简答题1.MLR通过方差分解的方法处理共线性，将共线性变量合并成一个综合变量，或者通过正则化（如岭回归）来惩罚系数的大小。PLS则直接在自变量和因变量空间中同时提取相互正交的成分，这些成分是自变量和因变量协方差的最大线性组合，从而有效地消除了自变量间的共线性，并且能够同时处理自变量和因变量的多重共线性。2.过拟合是指模型学习到了训练数据中的噪声和细节，导致模型在训练集上表现很好，但在新的、未见过的数据上表现很差。欠拟合是指模型过于简单，未能捕捉到数据中的基本模式，导致在训练集和测试集上都表现不佳。过拟合可能由于模型复杂度过高或训练数据量不足导致；欠拟合可能由于模型复杂度过低或特征不足导致。3.K近邻（KNN）算法是一种实例基于的学习方法。其基本原理是：对于一个待分类的样本，计算它与训练集中所有样本的距离，找到距离最近的K个样本（即“近邻”），然后根据这K个近邻的类别，通过投票（多数表决）或距离加权等方式，决定待分类样本的类别。K值是一个用户定义的参数。4.使用交叉验证评估模型性能的基本步骤如下：(1)将原始数据集随机划分为K个大小相等的子集（称为“折”或“fold”）。(2)进行K次训练和评估。每次，选择其中一个子集作为测试集，其余K-1个子集合并作为训练集。(3)使用训练集训练模型，然后在测试集上评估模型性能，记录该次评估结果。(4)将K次评估结果（如均方误差、准确率等）进行平均或汇总，得到模型的最终交叉验证性能估计。四、计算与分析题1.解：计算Y空间权重向量Wy：Wy1=(Tx1*Wx1')+(Tx2*Wx2')=(1.5*0.5)+(-0.5*0.8)=0.75-0.4=0.35Wy2=(Tx1*Wx2')+(Tx2*Wx2')=(1.5*0.8)+(-0.5*0.6)=1.2-0.3=0.9计算样本点在Y空间的投影点：y1'=Tx1*Wy1+Tx2*Wy2=(1.5*0.35)+(-0.5*0.9)=0.525-0.45=0.075y2'=Tx1*Wy2+Tx2*Wy2=(1.5*0.9)+(-0.5*0.9)=1.35-0.45=0.9解析思路：PLS回归中，Y空间的得分向量Ty与X空间的权重向量Wx正交，Wy是Wx正交化后的结果。样本在Y空间的投影y'是原始得分Tx与Wy的点积。计算Wy是为了将X空间的投影点转换到Y空间，得到对因变量的预测值。2.解：(1)测试样本特征B=5，大于分裂阈值4，因此进入决策树的右子树。(2)在右子树中，测试样本特征C=0.2，小于分裂阈值0.1，因此会继续在该分支进行分裂。(3)最终该测试样本被预测为“负类”。判断过程：样本进入右子树后，继续基于特征C进行分裂，由于C=0.2<0.1，进入左子树，而左子树没有进一步的分裂规则或输出，根据题目描述，其默认输出类别为“负类”。解析思路：决策树是基于规则进行判断的。从根节点开始，根据节点指定的特征值和阈值进行判断，决定走左子树还是右子树，直到到达叶节点或满足停止条件。叶节点的输出通常是类别预测。3.解：在SVR中，参数ε（epsilon）和C（正则化参数）用于控制模型的行为。(1)ε（epsilon）是容错边界。较大的ε值意味着模型可以容忍更大的预测误差（即更多的样本点可以在ε-带外），这会使模型更平滑，复杂度降低，有助于防止过拟合。较小的ε值则要求模型更精确地拟合所有样本点（或至少在ε-带内），模型可能更复杂。(2)C是惩罚系数，控制对违反ε-带约束的样本点的惩罚力度。较大的C值意味着对误差的容忍度较低，模型会尽力使所有样本点都在ε-带内（或至少受到惩罚），这