2025年大学《应用统计学》专业题库- 统计信号处理与机器学习技术

2025年大学《应用统计学》专业题库——统计信号处理与机器学习技术考试时间：______分钟总分：______分姓名：______一、简述平稳随机过程的主要特性。举例说明一个平稳过程和一个非平稳过程。二、比较自相关函数和功率谱密度的关系。简述周期图法估计功率谱密度的原理及其主要优缺点。三、已知一个零均值离散时间信号可以由其过去的两个样本线性回归，即$X(n)=-a_1X(n-1)-a_2X(n-2)+W(n)$，其中$W(n)$是零均值的白噪声，$E[W(n)]=0$,$E[W(n)W(m)]=\delta(n-m)$。写出Yule-Walker方程，并说明其中各项的含义。四、设一个实数零均值平稳过程$X(n)$的自相关函数为$R_X(m)=\frac{1}{2}\cos(\pim/4)$。求该过程的功率谱密度$S_X(e^{j\omega})$。五、说明数字滤波器因果性和稳定性的定义，并讨论一个因果的IIR滤波器稳定的充分必要条件。六、简述K近邻（KNN）分类算法的基本思想。讨论选择合适的K值时需要考虑的因素。七、比较逻辑回归和线性回归在分类问题上的主要区别。逻辑回归模型的输出为什么是概率形式？八、简述支持向量机（SVM）分类器的基本原理。解释什么是支持向量，以及它们在SVM分类中的作用。九、什么是过拟合？简述岭回归（RidgeRegression）如何通过引入L2正则化来缓解过拟合问题。十、解释交叉验证（Cross-Validation）在模型选择中的作用。简述K折交叉验证的基本步骤。十一、简述K均值（K-Means）聚类算法的主要步骤。在应用K-Means算法时，如何选择合适的聚类数目K？十二、解释主成分分析（PCA）的基本思想。说明PCA在降维过程中如何保留数据的主要信息？十三、在处理高维数据时，什么是“维度灾难”？简述特征选择和降维技术如何缓解维度灾难问题。十四、设想你有一组包含房价（目标变量）和房屋面积、房间数量、建造年份（特征变量）的数据。如果要预测房价，你会选择哪些机器学习算法？简述选择这些算法的理由，并说明你会如何评估模型的预测性能。十五、解释统计信号处理与机器学习在处理生物医学信号（如心电图ECG或脑电图EEG）时可能如何结合。请描述一个具体的结合应用场景。试卷答案一、平稳随机过程的主要特性包括：(1)均值不随时间变化，$E[X(t)]=\mu$（对于宽平稳过程，均值恒为常数）；(2)自相关函数仅依赖于时间差，$R_X(m)=E[X(t)X(t+m)]$，与具体时刻$t$无关。平稳过程可以是宽平稳（弱平稳），要求二阶矩存在且自相关函数满足上述条件；也可以是严平稳（强平稳），要求任意时刻$t$的概率分布函数与时刻$0$相同。非平稳过程的自相关函数随时间变化，或均值随时间变化。例如，白噪声$X(t)=W(t)$是平稳过程（宽平稳），而$X(t)=t$是非平稳过程。二、自相关函数$R_X(m)$是随机过程$X(t)$在不同时刻$t$和$t+m$的乘积的期望值，它反映了信号自身在不同时间滞后下的相关程度。功率谱密度$S_X(e^{j\omega})$是自相关函数$R_X(m)$的傅里叶变换，$S_X(e^{j\omega})=\sum_{m=-\infty}^{\infty}R_X(m)e^{-j\omegam}$。功率谱密度描述了信号功率在频率域上的分布情况。周期图法估计功率谱密度的原理是：将有限长观测数据序列视为无限长周期序列的一个段，利用离散傅里叶变换（DFT）计算其DFT，再取模平方后除以数据长度，得到功率谱的初步估计。其主要优点是原理简单，计算直接。主要缺点是方差较大，且对于有限长数据，会呈现栅栏效应（频谱泄露），导致估计不够平滑，分辨率受数据长度限制。三、根据题意，自协方差函数为$C_X(m)=E[X(n)X(n+m)]=-a_1C_X(m-1)-a_2C_X(m-2)+E[W(n)X(n+m)]$。由于$W(n)$是白噪声且与$X(n)$相关性取决于$m$，有$E[W(n)X(n+m)]=\begin{cases}-a_1C_X(m-1)-a_2C_X(m-2)&\text{if}m=0\\0&\text{if}m\neq0\end{cases}$。因此，$C_X(m)=-a_1C_X(m-1)-a_2C_X(m-2)$。Yule-Walker方程是基于自协方差函数的线性方程组，用于估计AR模型参数。对于AR(p)模型$X(n)=\phi_1X(n-1)+\ldots+\phi_pX(n-p)+W(n)$，其自协方差函数满足递推关系$C_X(m)=\sum_{k=1}^p\phi_kC_X(m-k)$。对于本例的AR(2)模型，方程为：$C_X(0)=-a_1C_X(1)-a_2C_X(-1)$，$C_X(1)=-a_1C_X(0)-a_2C_X(-1)$。其中，$C_X(0)$是信号的总功率，$C_X(1)$和$C_X(-1)$是信号与其自身滞后一个样本的相关性。求解此方程组即可得到模型参数$a_1,a_2$（注意：通常需要估计自协方差或自相关函数值，如使用样本估计）。四、根据自相关函数的偶函数特性，$R_X(m)=R_X(-m)$。利用傅里叶变换的性质，实数序列的自相关函数的功率谱密度是实数且偶函数。因此，$S_X(e^{j\omega})=2\sum_{m=0}^{\infty}R_X(m)\cos(\omegam)$。将$R_X(m)=\frac{1}{2}\cos(\pim/4)$代入，得到$S_X(e^{j\omega})=2\left[\frac{1}{2}\cos(0\cdot\omega/4)+\frac{1}{2}\cos(\omega/4)+\frac{1}{2}\cos(2\omega/4)+\frac{1}{2}\cos(3\omega/4)\right]$。计算各项：$\cos(0)=1$,$\cos(\omega/4)$,$\cos(\omega/2)=\cos(2\omega/4)$,$\cos(3\omega/4)$。将这些代入上式并合并，得到$S_X(e^{j\omega})=\cos(\omega/4)+\cos(\omega/2)+\cos(3\omega/4)$。利用和差化积公式或查表，可将其进一步化简为$S_X(e^{j\omega})=\frac{1}{2}[\cos(\omega/2)+1+\cos(\omega/2)-1]=\cos(\omega/2)$。或者更简洁地表示为$S_X(e^{j\omega})=1+\cos(\pi\omega/2)$。五、一个数字滤波器是因果的，如果它的当前输出$y(n)$只依赖于当前和过去的输入$x(n),x(n-1),\ldots$，而不依赖于未来的输入。即满足$y(n)=\sum_{k=0}^Mb_kx(n-k)-\sum_{k=1}^Na_ky(n-k)$，其中$b_k,a_k$为滤波器系数，$M$为零点数，$N$为极点数。滤波器是稳定的，如果它的单位脉冲响应$h(n)$满足绝对可和条件，即$\sum_{n=-\infty}^{\infty}|h(n)|<\infty$。对于IIR滤波器，其系统函数为$H(z)=\frac{\sum_{k=0}^Mb_kz^{-k}}{1+\sum_{k=1}^Na_kz^{-k}}$。一个因果的IIR滤波器稳定的充分必要条件是：其系统函数$H(z)$的所有极点$z_i$的模都小于1，即$|z_i|<1$对于所有$i=1,2,\ldots,N$。这意味着极点必须位于单位圆内。六、K近邻（KNN）分类算法的基本思想是：对于一个待分类的新样本点，计算它与训练数据集中所有已知类别样本点的距离（或相似度），找出其中距离最近的K个样本点（“近邻”），然后根据这K个近邻的类别，通过投票（多数表决）或加权平均等方式，决定新样本点的类别。选择合适的K值需要考虑：1）K值大小直接影响决策边界：K值小，决策边界复杂，容易过拟合；K值大，决策边界平滑，容易欠拟合。2）噪声和异常值的影响：较小的K值更容易受到噪声和异常值的影响，较大的K值则相对稳健。3）计算复杂度：K值越大，分类时需要比较的近邻数量越多，计算成本越高。通常需要通过交叉验证等方法在验证集上测试不同K值的性能，选择最优的K。七、线性回归主要用于预测连续数值型目标变量，其模型形式为$y=\beta_0+\beta_1x_1+\ldots+\beta_px_p+\epsilon$，输出$y$是连续的。逻辑回归主要用于二分类或多分类问题，其模型形式通常基于逻辑函数（Sigmoid函数）$\sigma(z)=\frac{1}{1+e^{-z}}$，其中$z=\beta_0+\beta_1x_1+\ldots+\beta_px_p$。输出是逻辑函数的输入$z$，其值域在(0,1)之间，代表事件发生的概率。最后通过设定阈值（通常是0.5）将概率转换为类别标签（如0或1）。逻辑回归通过最大化似然函数来估计参数，确保输出结果在0和1之间，并符合概率分布的要求。八、支持向量机（SVM）分类器的基本原理是：找到一个最优的决策边界（超平面），使得该边界能够将不同类别的样本点尽可能分开，并且要求这个边界距离两类样本点的“间隔”（Margin）最大。这个最优超平面由位于分类边界上的支持向量（SupportVectors）决定，即那些距离超平面最近的样本点。只有这些支持向量对超平面的确定有贡献，其他远离边界的样本点不影响超平面的位置。SVM通过求解一个对偶优化问题来找到这个最优解，该问题转化为最大化间隔，并引入松弛变量处理不可分的情况。SVM在高维空间中表现良好，对小样本数据也具有较好的鲁棒性。九、过拟合是指机器学习模型在训练数据上表现非常好（训练误差很小），但在未见过的测试数据上表现很差（测试误差很大）。这是因为模型过于复杂，不仅学习到了数据中的潜在模式，还无差别地学习到了训练数据中的噪声和随机波动。岭回归（RidgeRegression）是一种L2正则化方法，它在普通最小二乘回归的目标函数（最小化残差平方和）的基础上，增加了一个惩罚项$\lambda\sum_{j=1}^p\beta_j^2$，其中$\beta_j$是模型参数（系数），$\lambda>0$是正则化参数。这个惩罚项会使得模型系数的绝对值向零收缩，从而限制模型的复杂度，减少模型对训练数据的敏感度，达到缓解过拟合的目的。$\lambda$控制着正则化的强度。十、交叉验证（Cross-Validation）是一种在模型选择和评估中常用的技术，旨在更可靠地估计模型在未知数据上的泛化能力，避免使用单一分割的测试集可能带来的偏差。K折交叉验证（K-FoldCross-Validation）的基本步骤如下：1）将整个训练数据集随机划分为K个大小相等的子集（称为“折”或“Fold”）。2）进行K次迭代，每次迭代选择一个不同的子集作为测试集，其余K-1个子集合并成一个大的训练集。3）在合并的训练集上训练模型，然后在选定的测试集上评估模型性能（如计算损失函数值、准确率等）。4）对K次迭代的评估结果取平均值，得到模型在该数据集上的最终交叉验证性能估计。这种方法利用了几乎所有数据点都参与了训练和测试，能更全面、稳定地评价模型的泛化性能。十一、K均值（K-Means）聚类算法的主要步骤如下：1）随机选择K个数据点作为初始聚类中心。2）分配阶段：计算每个数据点到K个聚类中心的距离，将每个数据点分配给距离最近的聚类中心所属的簇。3）更新阶段：对于每个簇，计算该簇内所有数据点的均值，并将该均值作为新的聚类中心。4）重复步骤2和3，直到聚类中心不再发生显著变化，或者达到预设的迭代次数上限。在应用K-Means算法时，选择合适的聚类数目K是一个关键问题。常用的方法有：1）肘部法则（ElbowMethod）：计算不同K值下的簇内平方和（SSE，Within-ClusterSumofSquares），绘制KvsSSE的曲线。观察曲线形状，找到SSE降低速度明显变缓的“肘点”所对应的K值。2）轮廓系数法（SilhouetteScore）：对于每个数据点，计算其与同簇内其他点的平均距离（a）和与最近非同簇内点的平均距离（b），其轮廓系数为$s=\frac{b-a}{\max(a,b)}$。计算所有数据点的平均轮廓系数，选择使该平均轮廓系数最大的K值。3）GapStatistic等。十二、主成分分析（PCA）的基本思想是：通过正交变换将原始的多个可能相关的变量（特征）转换为一组新的、相互独立的变量（主成分），这些新变量按照它们所解释的原始数据总方差的大小进行排序。前几个主成分保留了原始数据中的大部分重要信息（方差）。具体步骤通常包括：1）对原始数据进行标准化处理（均值为0，方差为1）。2）计算标准化数据的协方差矩阵。3）对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。4）根据特征值的大小对特征向量进行排序。选择前k个最大的特征值对应的特征向量，这些向量就是构成前k个主成分的方向。5）将标准化后的数据投影到这k个主成分构成的子空间上，得到新的k维数据表示。在降维过程中，只保留前k个主成分，舍弃方差较小的后m-k个主成分，从而达到降低数据维度的目的，同时尽可能保留数据的原始信息。十三、在处理高维数据时，会出现“维度灾难”（CurseofDimensionality）问题。其主要表现包括：1）数据稀疏性：随着维度增加，在高维空间中数据点之间的距离趋于相等，数据点变得非常稀疏，导致许多算法（如基于距离的算法KNN、SVM）的效率急剧下降，效果变差。2）计算复杂度增加：许多算法的计算复杂度与维度呈指数关系增长，使得在高维空间中计算变得非常昂贵甚至不可行。3）过拟合风险增大：高维空间中，即使是非常复杂、训练数据中微小的噪声也可能被模型学习，导致过拟合。特征选择和降维技术是缓解维度灾难问题的有效手段。特征选择（FeatureSelection）是从原始特征集中选择出一个子集，这些子集包含对目标变量最有预测能力的特征，从而减少维度并提高模型性能和效率。降维（DimensionalityReduction）是将原始的高维特征空间映射到一个低维特征空间，同时尽可能保留原始数据的重要信息。PCA是常用的降维方法，而LASSO等正则化方法也可用于特征选择。十四、如果要预测房价，我会考虑使用以下机器学习算法：1）线性回归/岭回归/Lasso回归：如果房价与房屋面积、房间数量、建造年份之间存在近似线性的关系，或者希望进行初步预测。这些算法简单直观，易于解释。2）支持向量机（SVM）：特别是使用RBF核函数的SVM，可以处理非线性关系，如果房价与特征之间存在复杂的非线性模式。3）决策树/随机森林/梯度提升树（如XGBoost,L