2025年大学《应用统计学》专业题库- 偏最小二乘回归在变量选择中的应用

2025年大学《应用统计学》专业题库——偏最小二乘回归在变量选择中的应用考试时间：______分钟总分：______分姓名：______一、选择题（每题3分，共15分）1.下列关于偏最小二乘回归（PLS）描述错误的是：A.PLS可以有效处理自变量之间存在高度多重共线性的问题。B.PLS通过构建新的成分来同时降维并捕捉自变量和因变量之间的相关性。C.PLS回归系数可以直接解释为自变量对因变量的线性影响，即使在存在多重共线性的情况下。D.PLS需要自变量的数量多于样本量。2.在使用偏最小二乘回归进行变量选择时，以下哪种方法利用了模型对未知数据的预测能力？A.基于内部交叉验证（如留一法LOOCV）选择最佳成分数。B.计算每个自变量的偏最小二乘回归系数的绝对值，选择系数最大的变量。C.使用变量重要性按相关性（VIP）指标，选择VIP值超过某个阈值（如1或2）的变量。D.比较包含不同变量子集的PLS模型的预测均方根误差（RMSE）。3.偏最小二乘回归与主成分回归（PCR）的主要区别在于：A.PLS主要用于因变量是分类变量的情况，而PCR用于连续因变量。B.PLS在构建成分时同时考虑了自变量和因变量，而PCR只考虑自变量。C.PLS不需要中心化数据，而PCR需要。D.PLS计算复杂，而PCR计算简单。4.在偏最小二乘回归分析中，载荷向量（Loadings）主要用于：A.预测因变量的值。B.解释自变量之间的关系。C.解释自变量对因变量影响的相对重要性。D.衡量模型的拟合优度。5.当使用偏最小二乘回归进行变量选择时，选择过多的成分可能会导致：A.模型难以解释。B.模型对训练数据过拟合。C.损失掉部分重要的预测信息。D.以上所有情况。二、简答题（每题5分，共20分）1.简述偏最小二乘回归（PLS）的基本原理，并说明它如何解决多重共线性问题。2.解释什么是变量选择，并列举至少三种在偏最小二乘回归框架下进行变量选择的常用方法。3.在偏最小二乘回归模型中，得分向量（Scores）和载荷向量（Loadings）分别代表什么含义？它们在模型解释中各起到什么作用？4.为什么在使用偏最小二乘回归进行变量选择时，通常需要进行交叉验证来选择合适的模型参数（例如，PLS成分数）？三、计算与分析题（共35分）1.（15分）假设通过软件计算得到一个偏最小二乘回归模型的结果如下（部分）：*最佳PLS成分数为2。*PLS回归系数（对应两个成分的线性组合权重）：W1=0.8,W2=0.6；T1=0.7,T2=0.5；P1=0.9,P2=0.4。*载荷向量（Loadings）：*对自变量X1：L1X1=0.5,L2X1=0.3。*对自变量X2：L1X2=0.2,L2X2=0.7。*对自变量X3：L1X3=0.1,L2X3=0.9。*对自变量X4：L1X4=0.0,L2X4=0.8。*因变量Y的预测值与实际值之间的预测均方根误差（RMSE）为5.2。*VIP值计算结果显示：VIP(X1)=2.1,VIP(X2)=1.8,VIP(X3)=3.5,VIP(X4)=0.9。*模型的决定系数（R²）为0.85。请基于以上信息，完成以下分析：a.写出因变量Y对第一个PLS成分（T1）和第二个PLS成分（T2）的回归方程。b.写出自变量X1对第一个PLS成分（T1）和第二个PLS成分（T2）的回归方程。c.根据载荷向量，解释X1和X3在构建PLS成分时各自的主要贡献方向。哪个变量对成分的贡献更显著？d.根据VIP值，选择你认为对因变量Y预测最重要的两个自变量，并说明理由。e.解释模型的决定系数（R²=0.85）和预测均方根误差（RMSE=5.2）分别表示什么含义。2.（20分）在一个生物医学研究中，研究者希望利用患者的基因表达数据（自变量，假设有20个基因X1,...,X20）来预测其疾病严重程度（连续型因变量Y）。研究者考虑使用偏最小二乘回归进行分析，并计划进行变量选择。请阐述：a.为什么在这个研究背景下，使用偏最小二乘回归是合适的？b.研究者可以采用哪些基于偏最小二乘回归结果的变量选择策略？请简要说明每种策略的思路和步骤。c.在实施这些变量选择策略时，可能遇到哪些挑战或需要注意的问题？d.如果研究者最终选择使用包含3个自变量的PLS模型进行预测，如何解释这个模型的预测能力？（提示：可以结合模型本身的统计指标和被选入模型的变量信息来回答）。试卷答案一、选择题1.C2.D3.B4.C5.B二、简答题1.偏最小二乘回归（PLS）通过迭代算法，在自变量空间和因变量空间中同时构建一组新的线性组合（即成分T和P）。这些成分是自变量和因变量协方差的最大线性表示。在每一步迭代中，算法寻找一个成分，它最佳地捕捉了自变量之间的协方差和因变量与已构建成分之间的协方差。通过逐步构建这些成分，PLS能够有效地提取自变量和因变量之间的关键信息，即使在自变量高度相关（存在多重共线性）的情况下。因为PLS在构建成分时同时考虑了所有自变量，而不是像普通最小二乘回归那样分别考虑每个自变量，所以它不会受到共线性问题的严重干扰，能够更稳定地估计自变量对因变量的影响。2.变量选择是指在多个潜在的预测变量中，识别并选择出一个子集，用于构建预测模型。目的是提高模型的解释能力、简化模型复杂性、减少过拟合风险、以及可能提高模型的预测性能。基于偏最小二乘回归的变量选择方法主要包括：*基于偏最小二乘回归系数（或其平方）的选择：计算每个自变量在PLS模型中的回归系数（或其平方），选择系数绝对值最大的若干个变量。此方法简单直观，但可能不稳定。*基于变量重要性按相关性（VIP）指标的选择：VIP是衡量变量对模型预测贡献大小的一种标准化指标。通常，选择VIP值超过某个阈值（如1或2）的变量。VIP综合了变量在自变量空间和因变量空间中的重要性，是变量选择中常用的稳健方法。*基于内部交叉验证（如LOOCV或k-foldCV）选择PLS成分数：通过交叉验证评估不同PLS成分数（或变量子集）对未知数据的预测能力（如计算预测均方根误差RMSE或决定系数Q²），选择使预测能力最优的成分数。有时也结合逐步回归等思想，在确定成分数后进行变量筛选。3.在偏最小二乘回归模型中：*得分向量（Scores,T）：是自变量矩阵X和因变量矩阵Y的线性组合，反映了原始变量在由PLS成分构成的新坐标系中的位置。T矩阵的行数等于所选的成分数，每一行得分代表了样本在该成分上的得分。得分向量常用于可视化样本之间的关系（如样本得分图）或识别特定样本组。*载荷向量（Loadings,P）：是原始自变量矩阵X和因变量矩阵Y的线性组合，反映了原始变量如何构成PLS成分。载荷向量的行数等于所选的成分数，列数等于原始自变量（或因变量）的数量。每一列（或行，取决于定义）载荷向量描述了一个PLS成分是由哪些原始变量（正载荷或负载荷）以及如何组合而成。载荷向量常用于解释每个成分的构成，以及更重要的是，解释自变量对因变量的相对重要性，并用于变量选择。*在模型解释中，得分向量主要用于可视化样本在低维空间中的分布和聚类，以及展示样本随时间或条件变化的趋势。载荷向量则主要用于解释每个PLS成分的物理或统计意义（即哪些自变量共同决定了该成分），以及评估和选择对因变量预测最重要的自变量。4.在使用偏最小二乘回归进行变量选择时，需要选择合适的模型参数，最常见的是选择构建多少个PLS成分。由于PLS成分的数量（m）与自变量的数量（p）和样本量（n）相关，且成分数的选择会影响模型的预测能力和解释能力，因此需要通过某种方法来确定最佳或合适的成分数。交叉验证提供了一种在未知数据上评估模型预测性能的可靠方法。通过将数据分为训练集和验证集（如留一法LOOCV或k-fold交叉验证），可以评估不同成分数下PLS模型的预测误差（如RMSE或Q²）。选择能使预测误差最小的成分数，可以确保模型具有良好的泛化能力，能有效处理新的未知数据，从而实现有效的变量选择（即通过选择成分数来间接筛选变量）。三、计算与分析题1.a.因变量Y对第一个PLS成分（T1）的回归方程：Ŷ=0.7*W1*T1+0.5*W2*T2。因变量Y对第二个PLS成分（T2）的回归方程：Ŷ=0.5*W1*T1+0.6*W2*T2。其中W1=0.8,W2=0.6。b.自变量X1对第一个PLS成分（T1）的回归方程：T1=0.5*L1X1+0.3*L2X1。自变量X1对第二个PLS成分（T2）的回归方程：T2=0.3*L1X1+0.7*L2X1。其中L1X1=0.5,L2X1=0.3。c.根据载荷向量：*X1对T1的贡献是0.5，对T2的贡献是0.3。X1在两个成分上都有正向贡献，且对T2的贡献相对较大。*X3对T1的贡献是0.1，对T2的贡献是0.9。X3在T1上的贡献很小，但在T2上的贡献非常大且是正向的。*载荷向量的大小表示了原始变量在构建PLS成分时的相对重要性。比较X1和X3在各自主要贡献的成分（T2）上的载荷值（0.7vs0.9），载荷值0.9更大，说明在构建T2成分时，X3比X1具有更显著的贡献方向。d.根据VIP值选择最重要的两个自变量：*VIP(X1)=2.1。*VIP(X2)=1.8。*VIP(X3)=3.5。*VIP(X4)=0.9。VIP值衡量变量对模型预测的重要性，值越大表示该变量对模型贡献越大。选择VIP值最高的变量，VIP(X3)=3.5，VIP(X1)=2.1。因此，选择X3和X1为最重要的两个自变量。选择理由是VIP值直接反映了变量通过PLS成分对因变量的综合影响大小，VIP(X3)和VIP(X1)均显著高于其他变量。e.决定系数（R²=0.85）表示在因变量Y的变异中，由所构建的PLS模型（包含2个成分）解释了85%的信息。RMSE=5.2表示模型预测值与实际值之间的平均绝对误差为5.2个单位。这两个指标一起提供了模型拟合优度和预测精度的评价。R²接近1表示模型对数据的拟合程度较好，而RMSE给出了一个具体的误差量级，数值越小表示预测越精确。综合来看，该PLS模型具有较好的拟合能力和相对较精确的预测能力。2.a.偏最小二乘回归（PLS）非常适合这个研究背景，主要原因有：*处理多重共线性：基因表达数据中，大量基因可能存在高度相关性（多重共线性），PLS能有效处理这类问题，提供稳定可靠的回归系数估计。*降维能力：基因数量（自变量p）通常远大于样本量（n），数据维度很高。PLS能够将高维自变量空间降维到较低维度的成分空间，同时保留与因变量Y的关键相关信息，使模型更易于解释和建立。*同时建模：PLS能同时考虑自变量间的关系以及自变量与因变量之间的关系，适合用于探索复杂的生物标记物网络与疾病表型之间的关联。b.研究者可以采用以下基于偏最小二乘回归结果的变量选择策略：*基于VIP值的选择：运行PLS回归，计算所有基因的VIP值。设定一个阈值（如VIP>1或VIP>2），选择VIP值超过该阈值的基因作为最终的预测模型。此方法能识别出对疾病严重程度预测贡献最大的基因子集。*基于内部交叉验证选择成分数并结合VIP：使用LOOCV或k-foldCV来评估不同PLS成分数（m=1,2,...,min(p,n)）对验证集的预测能力（如计算RMSE或Q²）。选择能使预测误差最小的m值，得到最优PLS模型。然后，在该最优PLS模型的基础上，计算VIP值，并选择VIP值高于阈值的基因。*逐步PLS回归（逐步PLS）：类似于逐步线性回归，在每一步根据某个标准（如VIP或偏F检验）将一个最相关的基因加入模型，或从模型中移除一个最不相关的基因，直到模型不再显著改善。这种方法能逐步构建模型，同时进行变量选择。c.在实施这些变量选择策略时可能遇到的挑战或需要注意的问题：*计算复杂度：对于非常大的基因集（p很大）和样本量（n），PLS计算，尤其是结合交叉验证时，可能非常耗时。*阈值选择的主观性：VIP值或交叉验证误差的最优阈值选择可能存在一定主观性，需要基于经验或模拟研究来确定。*过拟合风险：尤其是在样本量相对较少时，变量选择过程（特别是逐步方法）可能导致模型在训练数据上表现良好，但在新数据上泛化能力差。交叉验证有助于减轻此风险，但并不能完全消除。*生物学解释的复杂性：选择的基因子集需要具备生物学意义。有时VIP值高的基因未必有已知的生物学功能，需要结合生物学知识库进行解