2025年大学《统计学》专业题库- 主成分回归与广义混合模型在统计学专业的应用

2025年大学《统计学》专业题库——主成分回归与广义混合模型在统计学专业的应用考试时间：______分钟总分：______分姓名：______一、选择题（每题3分，共15分。请将正确选项字母填入括号内）1.在主成分回归（PCR）中，选择主成分进行回归的主要依据通常是（）。A.主成分的方差贡献率B.主成分的载荷大小C.主成分与因变量的相关系数D.主成分之间的协方差2.广义混合模型（GMM）的EM算法中，E步骤是指（）。A.计算后验概率，得到关于参数的期望B.最大化似然函数，更新参数估计C.计算样本与各成分的Mahalanobis距离D.选择合适的模型成分数量3.对于一个包含多重共线性的回归问题，主成分回归（PCR）相比普通最小二乘法（OLS）的主要优势在于（）。A.能显著提高模型的R²B.能有效降低回归系数的标准误C.能直接得到原始自变量的回归系数D.对异常值不敏感4.在混合正态分布模型中，如果使用EM算法估计参数，其收敛速度通常受（）影响较大。A.样本量的大小B.成分数量的多少C.初始参数的选择D.以上都是5.下列关于广义混合模型（GMM）说法正确的是（）。A.GMM只能用于连续型数据的建模B.GMM的EM算法总是能保证收敛到全局最优解C.GMM是线性回归模型的推广D.GMM通过将多个分布进行混合，可以用来刻画更复杂的数据结构二、简答题（每题5分，共20分）1.简述主成分回归（PCR）的基本思想及其主要步骤。2.请解释EM算法在广义混合模型（GMM）参数估计中的作用，并简述其基本原理。3.在使用主成分回归（PCR）进行分析时，可能存在哪些问题？如何进行模型诊断？4.对于一个需要构建混合泊松回归模型的实际问题，请简述选择该模型可能的原因以及需要满足的假设条件。三、计算题（每题10分，共20分）1.假设通过主成分分析得到某数据集的前两个主成分的载荷矩阵为：```P=[0.60.8][0.8-0.6]```且标准化后的数据矩阵（Z）的前两行主成分得分为：```Z1=[1.5-0.52.0]Z2=[-1.00.8-1.2]```因变量y的值为[3,2,4]。(注意：此处数据仅为示意，非真实计算用)请计算基于这两个主成分的线性组合的回归系数（即β₁*Z₁+β₂*Z₂的系数β₁,β₂），假设β₁=0.5,β₂=0.7。2.假设使用EM算法估计一个包含两个正态成分的混合模型，得到以下部分结果：*混合权重：π₁=0.6,π₂=0.4*第一个成分的均值：μ₁=[1,2]，协方差矩阵Σ₁=diag([0.5,0.3])*第二个成分的均值：μ₂=[-1,-1]，协方差矩阵Σ₂=diag([0.4,0.6])请计算样本点[x₁,x₂]=[1.5,2.0]到两个成分的Mahalanobis距离平方（不考虑权重）。四、应用建模题（15分）某研究收集了50个客户的购买数据，包含年龄（Age）、收入（Income）和购买频率（Frequency）三个变量。由于年龄和收入之间存在较强的多重共线性，且购买频率可能呈现偏态分布，研究者考虑使用主成分回归（PCR）或广义混合模型（GMM，如混合正态分布或混合泊松回归，假设Frequency为计数数据）进行分析，以预测客户的购买频率。请阐述：1.为什么研究者可能选择PCR或GMM而不是直接使用多重共线性严重的普通最小二乘回归？2.如果选择PCR，请简述分析步骤，包括主成分的选择依据和如何进行回归。3.如果选择GMM（以混合泊松回归为例），请简述模型的基本形式和估计过程，并说明如何判断模型拟合优度。试卷答案一、选择题1.A*解析：PCR通过主成分对自变量进行降维，选择主成分的核心目的是保留尽可能多的信息，即主成分需要具有较大的方差贡献率，以解释原始变量的大部分变异。2.A*解析：EM算法（Expectation-MaximizationAlgorithm）由两个步骤组成：E步（ExpectationStep）计算在当前参数估计下，隐藏变量（如每个样本属于哪个成分的后验概率）的期望；M步（MaximizationStep）基于E步计算的期望，重新最大化完整数据似然函数以更新参数。因此E步骤是计算后验概率得到期望。3.B*解析：PCR通过降维消除了自变量间的线性相关关系，使得回归系数的估计更加稳定，标准误通常会降低，从而提高了估计的精确性。它不能直接得到原始变量的系数，且对异常值依然敏感。4.D*解析：EM算法的收敛速度和性质受多种因素影响，包括样本量（样本量大通常收敛更快更好）、成分数量（成分少通常易收敛）、以及初始参数的选择（好的初始值有助于更快收敛到最优解）。这三个因素都会影响收敛速度。5.D*解析：A错，GMM可用于连续、离散等多种类型的数据。B错，EM算法可能收敛到局部最优解。C错，GMM是针对分布混合问题，与线性回归是不同范畴。D对，GMM通过组合多个简单的分布成分来拟合复杂的数据分布。二、简答题1.解析：PCR的基本思想是：当自变量之间存在严重的多重共线性时，直接进行最小二乘回归会存在问题。为此，首先对原始自变量进行主成分分析（PCA），得到一组不相关的主成分。然后，将这些主成分作为新的“虚拟”自变量，只选择那些能够解释大部分原始变量方差的主成分（通常基于累计方差贡献率），最后用这些选定的主成分对因变量进行回归。其步骤通常包括：对自变量数据中心化；计算协方差矩阵或相关矩阵；进行特征值分解或使用SVD方法得到特征值和特征向量（即主成分方向/载荷）；计算主成分得分（原始数据乘以载荷）；选择足够多的主成分（如前k个方差最大的）；用选定的主成分得分和因变量进行普通最小二乘回归。2.解析：EM算法在GMM参数估计中的作用是提供一种迭代方法来估计包含隐藏（不可观测）分类信息的混合分布模型的参数。其基本原理是利用迭代的方式来逼近完整数据（即知道每个样本属于哪个组）的最大似然估计。算法包含两个交替进行的步骤：E步（期望步）和M步（最大化步）。在E步，基于当前已知的参数估计，计算每个数据点属于各个隐藏成分的后验概率（即属于每个组的期望比例）。在M步，将后验概率视为“权重”，利用这些权重重新计算混合模型的参数（如各成分的均值、方差、混合权重等），使得在给定当前后验概率的情况下，模型的似然函数达到最大化。重复进行E步和M步，直到参数估计值收敛或达到预设的迭代次数。3.解析：PCR模型可能存在的问题包括：主成分的解释性可能较差，难以将主成分回归系数回译到原始变量的实际意义；选择主成分数量的主观性，不同的选择可能导致模型结果差异；PCR是基于方差最大化的降维，可能丢失与因变量线性关系较弱但具有实际意义的信息；模型仍需进行诊断，如检查PCR回归模型的残差是否满足独立性假设。模型诊断方法可能包括：检查主成分解释的方差比例是否足够高；绘制主成分得分与因变量的散点图，观察是否存在线性关系；检查PCR回归模型的残差图，判断是否存在模式（如非正态性、异方差、自相关）；如果原始数据量足够大，可以比较PCR与直接处理原始变量的回归结果。4.解析：选择混合泊松回归模型可能的原因包括：计数数据（如购买频率Frequency）通常不服从单一的正态分布，可能存在多种产生机制，混合模型可以通过组合多个泊松分布（或泊松混合模型）来更好地刻画这种复杂性；混合模型能够识别并分离出具有不同计数行为（如高频率购买者和低频率购买者）的潜在客户群体；通过估计不同成分的参数（如均值），可以更精细地理解不同客户群体的特征。混合泊松回归模型的基本形式通常是p(y|x;θ)=Σπ_k*p(y|x;θ_k)，其中y是计数观测值，x是解释变量，θ是包含所有成分参数的向量（如各成分的λ_k均值），π_k是混合权重，k是成分索引。估计过程通常使用EM算法。需要满足的假设条件可能包括：数据是由多个泊松过程混合而成；对于每个潜在成分，数据点在给定解释变量x的条件下，仍服从泊松分布，其均值（λ_k）可能依赖于x；样本是独立同分布的。三、计算题1.解析：PCR回归模型为y=β₀+β₁*Z₁+β₂*Z₂+ε。这里假设截距β₀不需要计算（或题目隐含β₀=0）。回归系数β₁,β₂的估计可以通过将主成分得分代入线性回归模型得到。已知β₁=0.5,β₂=0.7，主成分得分矩阵（Z）的前两行为：Z₁=[1.5-0.52.0]Z₂=[-1.00.8-1.2]因变量y=[3,2,4]。代入模型：对于第一个样本：3=β₀+0.5*(1.5)+0.7*(-1.0)=β₀+0.75-0.7=β₀+0.05对于第二个样本：2=β₀+0.5*(-1.0)+0.7*(0.8)=β₀-0.5+0.56=β₀+0.06对于第三个样本：4=β₀+0.5*(2.0)+0.7*(-1.2)=β₀+1.0-0.84=β₀+0.16（注意：此处数据构造使得β₀=0.06，β₁=0.5，β₂=0.7的解恰好满足所有样本点。实际计算中不会如此巧合。）现在计算基于Z₁和Z₂的线性组合的系数β₁*Z₁+β₂*Z₂：β₁*Z₁=0.5*[1.5-0.52.0]=[0.75-0.251.0]β₂*Z₂=0.7*[-1.00.8-1.2]=[-0.70.56-0.84]线性组合=[0.75-0.251.0]+[-0.70.56-0.84]=[0.050.310.16]这个结果[0.05,0.31,0.16]即为β₁*Z₁+β₂*Z₂的值。2.解析：Mahalanobis距离平方计算公式为D²=(x-μ)ᵀΣ⁻¹(x-μ)，其中x是样本点，μ是均值向量，Σ是协方差矩阵，Σ⁻¹是协方差矩阵的逆。对于第一个成分：μ₁=[1,2],Σ₁=diag([0.5,0.3])=[[0.5,0],[0,0.3]]Σ₁⁻¹=diag([1/0.5,1/0.3])=[[2.0,0],[0,3.33...]]x=[1.5,2.0]x-μ₁=[1.5-1,2.0-2]=[0.5,0]D₁²=[0.5,0]*[[2.0,0],[0,3.33...]]*[0.5;0]=0.5*2.0*0.5+0*3.33...*0=0.5对于第二个成分：μ₂=[-1,-1],Σ₂=diag([0.4,0.6])=[[0.4,0],[0,0.6]]Σ₂⁻¹=diag([1/0.4,1/0.6])=[[2.5,0],[0,1.66...]]x-μ₂=[1.5-(-1),2.0-(-1)]=[2.5,3.0]D₂²=[2.5,3.0]*[[2.5,0],[0,1.66...]]*[2.5;3.0]=2.5²*2.5+3.0²*1.66...=6.25*2.5+9.0*1.66...=15.625+15.0=30.625因此，Mahalanobis距离平方分别为D₁²=0.5和D₂²=30.625。四、应用建模题1.解析：研究者可能选择PCR的原因是原始自变量年龄（Age）和收入（Income）之间存在较强的多重共线性，这会导致普通最小二乘回归（OLS）的系数估计不稳定、方差增大，难以解释单个自变量的独立影响。PCR通过主成分分析将Age和Income转化为不相关的主成分，消除了共线性问题，可以进行回归分析，得到更稳定、更可靠的系数估计（尽管失去了原始变量的解释）。研究者可能选择GMM（如混合正态分布或混合泊松回归）的原因是购买频率（Frequency）作为因变量，可能不满足普通OLS回归的假设（如正态性、同方差性）。特别是如果Frequency是计数数据，可能存在偏态、零膨胀或超过泊松过程假设的过度离散。GMM可以通过混合多个分布（如混合正态分布可以更好地拟合非对称数据，混合泊松分布可以直接处理计数数据的不同生成机制）来更灵活地捕捉Frequency的分布特征，从而提高模型拟合精度，并可能识别出具有不同购买行为模式的客户群体。2.解析：如果选择PCR进行分析：1.对50个客户的Age和Income数据进行中心化（均值为0）。2.计算Age和Income的协方差矩阵或相关矩阵。3.对协方差矩阵/相关矩阵进行特征值分解，得到特征值和对应的特征向量（即主成分载荷）。4.计算每个样本点的主成分得分：Score=Z*Pᵀ，其中Z是中心化数据矩阵，P是载荷矩阵。5.计算每个主成分的方差贡献率（特征值/总特征值）和累计方差贡献率。6.选择累计方差贡献率达到某个阈值（如85%或90%）的前k个主成分。选择标准通常基于解释方差的大小。7.使用选定的k个主成分得分作为新的自变量，将它们与因变量Frequency进行普通最小二乘回归（OLS），得到回归系数。8.进行模型诊断，检查残