机器学习方法及应用（第二版）第467章课后习题及答案

第4章在实际运用中降维算法应该如何确定最终的特征维度？答：在实际应用中，确定降维后的最终特征维度通常不是靠直觉，而是通过数据驱动的定量分析与下游任务的反馈共同决定的。一、解释方差占比：这是处理主成分分析时最常用的指标。它衡量了每一个主成分所保留的原始数据信息的比例。累计贡献率法：计算前k个主成分的累计解释方差占比。通常会选择使累计贡献率达到80%、90%或95%的最小k值。手肘图：将各主成分的特征值按从大到小排列并绘制折线图。寻找图形中的肘部，即特征值下降速度明显放缓的点，该点之前的维度通常被认为是主要的特征。二、内部结构保持度：对于非线性降维，更关注数据流形结构的保持。最大似然估计：通过分析样本点与其邻域的距离分布，估算数据集的内在维度。重构误差：对于自编码器，可以观察不同瓶颈层维度下的重构损失。当增加维度不再显著降低损失时，当前的维度即为饱和维度。三、下游任务表现：这是最具实践意义的方法。降维最终是为模型服务的，因此应通过实验来验证：交叉验证：将k作为一个超参数，通过交叉验证观察其在分类或回归任务上的表现。计算开销平衡：在某些实时处理场景中，维度的确定需要权衡模型精度与推理延迟。如果增加10个维度只提升了0.1%的精度但增加了20%的耗时，通常会选择更低的维度。试用PCA算法对Iris数据集降维,并与LDA算法比较,思考两个算法的异同。答：PCA的降维效果：PCA是一种无监督算法。它不关心样本属于哪一类鸢尾花，而是寻找数据方差最大的方向。结果观察：在降维后的2维空间中，山鸢尾通常会被分得很开，但另外两类之间可能会有一定的重叠。核心逻辑：试图保留原始数据中波动最剧烈的信息。LDA的降维效果：LDA是一种有监督算法。它利用了Iris数据集的标签信息。结果观察：降维后的三类花卉聚集度更高，类别间的边界更加清晰。核心逻辑：目标是类内距离最小，类间距离最大。它专门寻找那些能最好区分不同品种的投影方向。相同点：线性变换：两者本质上都是通过矩阵相乘将高维特征线性投影到低维空间。降维目的：都在试图解决“维度灾难”问题，减少特征冗余。计算方式：最终都可以转化为求解特征值和特征向量的问题。不同点（本质区别）；关注点不同：PCA认为方差大就是信息量大，它可能在降维过程中保留了噪声较大的方向；而LDA认为区分度好就是特征好，如果某特征方差很大但对分类没贡献，LDA会果断舍弃。维度限制：对于Iris数据集（3个类别），LDA降维后的维度不能超过3-1=2维，而PCA则可以降到1到3维中的任意维度。数据分布假设：LDA假设数据服从高斯分布，且各类别方差相等（同方差性）。如果数据分布极不规范，LDA的效果可能不如PCA稳健。3、对高维数据降维之前应先进行“中心化”,常见的方法是将协方差矩阵XXT转化为XHHTXT，其中答：中心化矩阵H是线性代数中的一个投影矩阵。作用是将数据投影到与全1向量正交的子空间中。效果：对于数据矩阵X，计算XH相当于让每个样本点都减去全体样本的算术平均值。使用XHH将协方差矩阵XXT转化为XH4.在实践中,协方差阵XXT的特征值分解常由中心化后的样本矩阵X答：平方效应带来的精度损失：计算协方差矩阵XXT需要进行矩阵乘法。如果原始数据X中存在非常大或非常小的数值，计算XX条件数：协方差矩阵的条件数是原始矩阵X条件数的平方。条件数越大，矩阵越趋于奇异（不稳定），数值计算时的误差放大就越严重。SVD直接对X进行分解，避开了这个“平方”过程，结果更加稳健。5、降维中涉及的投影矩阵通常要求是正交的,简述正交、非正交投影矩阵用于降维的优缺点。答：一、正交投影矩阵定义：投影矩阵W满足WTW=I，即各投影向量（基向量）之间相互垂直且模长为1。优点：信息不冗余：不同的特征轴之间线性无关，能够最大化地解耦特征，避免降维后的数据在不同维度上包含重复信息。几何特性保持：能够保持数据的全局几何结构（如欧氏距离和角度）。如果两个点在原空间很近，正交投影后它们的相对位置关系更容易维持。计算逆变换简单：恢复（重构）数据时，转置矩阵WT即为逆矩阵（或伪逆），计算极其高效。数值稳定性：在矩阵运算中，正交矩阵不会放大舍入误差，具有极佳的数值稳定性。缺点：约束过强：强制要求正交可能会限制算法寻找最佳区分方向的能力。在某些复杂分类任务中，最能区分两类数据的方向并不一定是相互正交的。二、非正交投影矩阵定义：投影向量之间不满足垂直关系，即WTW≠I。优点：更高的灵活性（自由度）：能够更自由地拟合数据的分布。例如，在某些非线性流形或具有特定统计相关性的数据中，非正交轴可以更好地捕捉类间差异。更强的判别力：在LDA（线性判别分析）等有监督算法中，为了最大化类间散度，求得的投影轴往往是非正交的，这有助于在更低维度下获得更好的分类准确率。缺点：

特征冗余：降维后的特征之间存在相关性，可能导致后续模型（如线性回归）出现多重共线性问题。重构困难：由于WT≠W-1，将降维后的数据恢复到原空间需要计算复杂的伪逆矩阵，计算开销大且容易引入误差。扭曲空间关系：会改变原始数据的角度和距离比例，导致原本的几何特征（如圆形分布）被拉伸或挤压成椭圆。6.试在剑桥大学提供的AT&T人脸数据集中使用主成分分析策略,并做一些可视化处理。答：一、数据预处理与准备AT&T数据集包含40个人，每人10张照片，总计400张。每张图像大小为92*112像素。向量化：将每张二维图像拉伸为一个10304维（92*112）的行向量。中心化：计算所有400张图像的平均脸（MeanFace），并让每张图像减去平均脸，确保数据中心位于原点。二、PCA策略实施由于特征维度（10304）远大于样本数（400），根据我们之前讨论的原理，实践中应使用SVD（奇异值分解）来获取主成分：提取前k特征向量，这些向量在空间中表现为与原始图像维度相同的向量，即“特征脸”。三、建议的可视化处理方案可视化是理解PCA如何“压缩”人脸信息的关键。建议从以下三个维度进行展示：A.平均脸与特征脸展示(MeanFace&Eigenfaces)平均脸：展示所有样本的统计平均值，它看起来像是一个模糊的人脸轮廓。前N个特征脸：将提取出的前10或20个特征向量重新排列回92*112的矩阵并作为图像显示。现象：第一主成分通常捕捉光照变化；后续成分捕捉眼睛、鼻子、嘴巴等几何结构特征。B.解释方差占比(ExplainedVariance)累计方差曲线：绘制前k个主成分所占的总方差百分比。分析：通常你会发现，仅用约50-100个特征脸（不到原始维度的1%）就能解释数据90%以上的方差。C.人脸重构对比(FaceReconstruction)实验设计：选取一张原始人脸，分别使用前10、50、100、200个主成分进行重构。可视化：将原始图像与不同维度的重构图像并排对比。观察：随着维度k的增加，重构图像从模糊的轮廓逐渐变得清晰，最终几乎与原图无异。D.低维空间投影(2D/3DScatterPlot)将高维的人脸数据投影到前2个或前3个主成分构成的子空间中。可视化：使用散点图，并用不同颜色标记不同的人。效果：你会看到同一个人的10张照片在低维空间中通常会聚集成簇，这解释了为什么PCA可以作为识别的前序步骤。第6章简述聚类算法的主要分类。答：聚类算法是机器学习中典型的无监督学习方法，其核心目标是将物理或抽象对象的集合分成由相似对象组成的多个类（Cluster）。在实际运用中，聚类算法通常根据其建模逻辑和数据分布假设分为以下五大类：基于划分的方法：算法预先设定聚类个数k，通过迭代将数据点划分到不同的簇中，使簇内点尽量紧密，簇间点尽量远离。代表算法：K-Means（K-均值）、K-Medoids（K-中心点）等。优点：计算复杂度低，处理大数据集时效率较高。缺点：必须预先指定k值；对噪声和离群点敏感；只能发现凸形状（球形）的簇。 基于层次的方法：这种方法对给定的数据集进行层次分解，直到满足某种条件为止。它可以像树一样展示数据的亲疏关系。分类；凝聚式（Agglomerative）：自底向上，从每个点作为一个簇开始，不断合并最相似的簇。分裂式（Divisive）：自顶向下，从所有点在一个大簇开始，不断分裂。代表算法：BIRCH、AGNES、DIANA。优点：能够发现簇之间的层次关系，不需要预先指定聚类数量。缺点：计算开销大，一旦合并或分裂操作完成，就无法撤销或修正。基于密度的方法：这类算法假设簇是数据空间中被低密度区域分割的高密度区域。它不依赖距离，而是依赖“邻域”内的点密度。代表算法：DBSCAN、OPTICS等。优点：能够发现任意形状的簇（如环形、S形）；可以有效识别并剔除噪声（离群点）。缺点：当空间聚类密度不均匀时，效果较差；对参数（如邻域半径非常敏感。基于网格的方法：它将对象空间量化为有限数目的单元，形成一个网格结构。所有的处理都在网格结构上进行。代表算法：STING、CLIQUE等。优点：处理速度极快，计算时间仅与网格数量有关，与对象个数无关。缺点：聚类结果的精度受限于网格划分的大小（分辨率）。基于模型的方法：这种方法假设每个簇都符合某种数学模型（如概率分布），通过优化模型参数来实现聚类。代表算法：GMM（高斯混合模型）。优点：能够给出样本属于某个簇的概率（软聚类），对重叠数据的处理效果较好。缺点：计算复杂度较高，对初始参数设置依赖性强。简述K-means算法的过程。答：K-means算法是一种经典的基于划分的聚类算法。其核心思想是通过迭代过程，将数据集划分为K个簇（Cluster），使得每个点到其所属簇中心的距离平方和最小。1）初始化阶段(Initialization)确定K值：首先指定要生成的簇的数量K。选择初始质心：从数据集中随机选取K个点作为初始的聚类中心（Centroids）。2）分配阶段(AssignmentStep)计算距离：计算每个样本点到这K个质心的欧氏距离。关联簇：将每个样本点分配给距离它最近的那个质心所代表的簇。3）更新阶段(UpdateStep)重新计算质心：对于每一个簇，计算该簇内所有样本点的几何中心（均值）。移动质心：将该簇的质心移动到这个新的均值位置。4）迭代与收敛(Iteration&Convergence)重复步骤2）和3），直到满足以下任一停止条件：质心不再发生变化：质心的位置趋于稳定。分配不再变化：样本点的簇归属不再改变。达到预设的最大迭代次数。K-means算法的优缺点分析：优点：高效性：算法的时间复杂度接近线性，非常适合处理大规模数据集。易于理解：原理直观，参数简单。缺点：对异常值敏感：一个极端的离群点会大幅拉动均值，从而扭曲质心位置。局部最优：结果容易陷入局部最小值，很大程度上取决于初始质心的选择。形状限制：只能处理类球形的簇，对于“长条形”或“环形”的数据分布效果较差。简述DBSCAN算法的过程。答：DBSCAN（Density-BasedSpatialClusteringofApplicationswithNoise）是一种经典的基于密度的聚类算法。与K-means不同，它不需要预先指定簇的数量，并且能够发现任意形状的簇，同时识别出噪声点。理解DBSCAN的过程，首先要掌握两个核心参数：Eps：邻域半径，定义了以某点为圆心的搜索范围。MinPts：密度阈值，定义了一个簇至少需要包含的最少点数。1）核心概念分类在算法开始前，DBSCAN会根据密度定义将数据集中的点分为三类：核心点(CorePoint)：在Eps邻域内含有不少于MinPts个点的点。边界点(BorderPoint)：在Eps邻域内点的数量小于MinPts，但该点落在某个核心点的邻域内。噪声点(Noise/Outlier)：既不是核心点也不是边界点的点。2）算法执行过程DBSCAN的执行逻辑可以概括为“从一个核心点出发，通过密度传递不断向外扩展”。具体步骤如下：第一步：标记与选择算法随机选择一个尚未被访问的点P。检查其Eps邻域内的点数：如果Count>=MinPts，则将P标记为核心点，并创建一个新簇。如果Count<MinPts，则将P暂时标记为噪声点（后续它可能被归入某个簇成为边界点）。第二步：密度扩展对于新发现的核心点P，寻找其邻域内所有密度可达的点：将P邻域内的所有点加入该簇。如果邻域内包含其他核心点，则递归地将这些新核心点的邻域也合并到当前簇中。这一过程持续，直到当前簇的边缘全是边界点，无法再向外扩展。第三步：循环直至结束从剩余未处理的点中重复第一步和第二步。直到数据集中所有的点都被访问过。简述高斯混合模型EM算法的过程。答：高斯混合模型（GaussianMixtureModel,GMM）假设所有数据点都是由K个高斯分布（成分）混合而成的。由于我们不知道每个数据点具体属于哪个分布，因此无法直接使用极大似然估计，必须借助于EM（期望极大化）算法进行迭代求解。EM算法在GMM中的执行过程可以分为以下四个核心步骤：1）初始化阶段(Initialization)参数设置：预设聚类数目K。随机初始化：为每个高斯成分k随机初始化参数：均值向量μ协方差矩阵Σ混合系数πk（即该成分在整体中所占的比例，满足π2）E步：期望步(ExpectationStep)固定当前的参数，计算每个样本点由各个高斯成分生成的响应度。计算响应度：利用当前的参数，通过贝叶斯定理计算样本属于第k个高斯成分的后验概率：效果：这实际上是在做软聚类，每个点不再硬性属于某一个簇，而是以不同概率分布在所有簇中。3）M步：极大化步(MaximizationStep)在这一步，利用E步计算出的响应度，重新估计模型参数，使得对数似然函数最大化。更新均值μk更新协方差Σk更新混合系数πk4）迭代与收敛(Iteration&Convergence)循环执行：交替进行E步和M步。停止条件：计算观测数据的对数似然函数值，当该值不再显著增加（即模型已经拟合到当前的最优解）时，算法停止。K-means算法中选取不同的k值和初始中心点对实验结果有何影响?根据第6.5节案例,尝试设置多组不同的k值和初始中心点,进行实验比较,并讨论什么样的初始中心有利于取得好结果。答：在K-means算法中，K值和初始中心点的选择是影响聚类效果的两个核心变量。它们不仅决定了算法的收敛速度，还直接决定了最终聚类结果的质量（即是否陷入局部最优）。1）K值选取的影响K值代表了你对数据内在结构的预期。K值过小：会导致本该分开的簇被强行合并。K值过大：会导致簇的过度碎化。一个自然的物理簇被切分成多个小块，虽然簇内距离平方和（SSE）会减小，但失去了聚类的实际意义，容易过拟合噪声。实验比较建议：利用肘部法则（ElbowMethod）绘制K与SSE的关系曲线。2）初始中心点选取的影响由于K-means是一个启发式迭代算法，它寻找的是对数似然函数的局部最优解。随机选取的风险：如果两个初始中心点靠得太近，它们可能会在迭代中竞争同一个高密度区域，而忽略了另一个遥远的簇，导致聚类失败。震荡与收敛速度：好的初始点能让算法在3-5次迭代内收敛；差的初始点可能需要几十次迭代，甚至陷入错误的局部平衡点。3）理想的初始中心应具备以下特征：相互距离尽可能远：第一个点随机选，第二个点应选离第一个点最远的点，以此类推。这保证了初始点能覆盖到数据空间的不同区域。位于高密度区域：初始点最好是数据点密集区域的代表，而不是孤立的噪声点，这样质心在更新时会更加稳定。符合先验知识：如果已知数据分布（如图像中明显的亮部和暗部），手动指定这些特征明显的点作为初始中心，效果远好于盲目随机。基于DBSCAN的概念定义,若x为核心对象,由x密度可达的所有样本构成的集合X。试证明:X满足连接性和最大性。答：1）证明：最大性(Maximization)目标：证明若p∈X，且q从p密度可达，则已知：1.p∈X=》p从2.q从p密度可达。推导：根据“密度可达”的传递性（Transitivity）：因为p从x密度可达，意味着存在一个路径x→因为q从p密度可达，意味着存在一个路径p→将两条路径首尾相连，即可得到从x到q的完整路径。结论：由于存在从x到q的路径，且路径上的点（除q外）均为核心对象，故q从x密度可达。根据x的集合定义，q必然属于x。最大性得证。2）证明：连接性(Connectivity)目标：证明对于任意xi,xj∈已知：1.xi∈X=》x2.xj∈X=》x推导：根据密度相连的定义：如果存在一个点o，使得xi和xj均从o密度可达，则称xi在前提中，已经明确了x是一个核心对象。且xi从x密度可达，xj也从x密度可达。此时，x就充当了定义中的那个中介点结论：由于xi和xj拥有共同的源头核心对象根据第6.5节的案例分析,结合本章所讲的三种算法的特点,思考K-means、DBSCAN、EM算法分别适用于哪些场景?答：在聚类算法的选择中，没有“最好”的算法，只有“最契合数据分布”的算法。根据K-means、DBSCAN和GMM-EM的底层逻辑，它们各自的擅长领域如下：1）K-means：高效的球形切分器。适用场景：大规模数据集：由于时间复杂度接近线性，它是处理海量数据（如百万级样本）的首选。簇分布均匀且呈球形：当数据的各维度方差相近，且簇与簇之间界限较为明显时，效果极佳。简单量化任务：比如图像处理中的颜色量化，将成千上万种颜色压缩为K个代表色。初步探索：作为数据分析的第一步，快速观察数据的基本分组趋势。局限：对异常值极其敏感；无法处理条形、环形等不规则分布。2）DBSCAN：灵活的形状捕获者。适用场景：发现不规则形状：能够识别环形、螺旋形、S形等任何非凸形状的簇。含有噪声的数据集：它是唯一能自动识别并剔除离群点的算法，非常适合清理传感器采集的脏数据。地理空间数据分析：比如分析城市中的热点区域（人口密集区），因为地理上的聚集往往不是规则的圆。未知簇数量：当你完全不知道数据应该分成几类时，DBSCAN可以根据密度自动确定。局限：当数据集的密度差异很大时（有的簇极密，有的极稀疏），很难找到合适的参数。3）GMM-EM：精细的概率建模师。适用场景：簇之间存在重叠：当两个簇的边界模糊、互相渗透时，EM算法给出的软聚类（每个点属于某簇的概率）比硬划分更有参考价值。簇的形状呈椭圆或拉伸状：GMM通过协方差矩阵可以描述不同方向和大小的分布，比K-means灵活得多。统计推断与生成：如果你不仅想聚类，还想了解数据的生成逻辑（如建模背景噪声或语音信号），GMM是标准选择。图像背景建模：比如在动态视频中提取运动目标（背景建模），通常使用混合高斯模型。局限：计算开销比K-means大；容易陷入局部最优解，且对初始值依赖性强。第7章图7-25是一个简单的贝叶斯网络,求P(a,b,c)。答：根据贝叶斯网络（BayesianNetwork）的性质，一个联合概率分布可以表示为网络中所有节点在其父节点条件下的概率乘积。P(a,b,c)=p(a)p(b|a)p(c|a,b)简述隐马尔可夫过程,并说明如何评估模型与观测序列之间的匹配程度。答：隐马尔可夫模型是一种统计模型，用于描述一个含有未知（隐）参数的马尔可夫过程。它由两个相互关联的随机序列组成：状态序列（StateSequence）：这是一个隐藏的、不可观测的马尔可夫链。系统在不同的时刻处于不同的状态，且当前状态仅取决于上一个时刻的状态（满足马尔可夫性质）。观测序列（ObservationSequence）：在每个时刻，系统会根据当前所处的隐藏状态生成一个可观测的输出信号。HMM的五要素：1）N：模型中的隐藏状态数。2）M：每个状态可能产生的观测值数。3）状态转移概率矩阵A：描述从一个隐藏状态转移到另一个隐藏状态的概率。4）观测发射概率矩阵B：描述在某个隐藏状态下产生特定观测值的概率。5）初始状态概率分布π：时刻t=1时系统处于各隐藏状态的概率。通常用参数集λ=（评估模型与观测序列的匹配程度，本质上是在解决HMM的概率计算问题：已知模型参数λ和一个观测序列O=(o1,如果P(O|λ)的值越大，说明该观测序列与该模型越匹配。核心算法：前向算法。直接计算所有可能状态路径的概率之和复杂度极高O(NT)。在实践中，试证明图模型中的局部马尔可夫性:给定某变量的邻接变量,则该变量条件独立于其他变量。答：局部马尔可夫性的形式化定义设无向图G=(V,E)，对于图中的任意变量（节点）v令ne(v)为v的邻接变量集合（即所有与v直接相连的节点）。令O为图中的其他变量集合，即O=V\({v}∪局部马尔可夫性断言：在给定ne(v)的条件下，v与O独立，记作：证明思路：基于分离集最直观的证明方法是利用无向图模型中的全局马尔可夫性。全局马尔可夫性指出：若集合A和B被集合S分离（即从A到B的所有路径都必须经过S），则。证明步骤：1）构造路径分析：考虑从变量v到任一“其他变量”o∈2）寻找必经点：根据图的定义，若o不是v的邻居（因为o∈O），那么从v出发的第一步必然是走向它的某个邻居3）确定分离性：既然从v到O的所有路径都必须先穿过其直接邻居层ne(v)，那么ne(v)就是v与O之间的分离集。4）得出结论：根据全局马尔可夫性，给定分离集ne(v)，v与O之间的所有信息流被切断。因此，成立。试证明图模型中的成对马尔可夫性:给定其他所有变量,则两个非邻接变量条件独立。答：基于全局马尔可夫性的几何证明：这是最简捷的证明方式，利用了“全局马尔可夫性”这一更强的结论。证明步骤：1）定义分离集：设S=V\{u,v}。观察S是否能“分离”u和v。2）路径分析：考虑连接u和v的任意路径P。3）阻断性判断：由于u和v不直接相邻，路径P的长度至少为2（即中间至少有一个中转节点w）。这个中转节点w既不是u也不是v，因此它必然属于集合S（因为S包含了除u和v之外的所有点）。既然路径P上至少有一个点属于S，那么给定S时，该路径就被阻断（Blocked）了。4）得出结论：由于从u到v的所有路径都被S阻断，根据全局马尔可夫性，u与v在给定S下条件独立。5、在进行掷骰子根据点数决定胜负游戏时,在连续多次掷骰子的过程中,通常使用骰子A,偶尔混入一个骰子B。骰子A与骰子B区别如下:给定一个骰子掷出的点数记录如下:124552646214613613666166466163661636616361651561511514612356234请问:出现这个点数记录的概率有多大?点数序列中的哪些点数是用股子B掷出的?答：这是一个典型的隐马尔可夫模型（HMM）应用场景。在这个问题中：隐藏状态：当前使用的是“骰子A”还是“骰子B”。观测序列：给出的那一串点数记录。由于题目描述中提到“通常使用骰子A，偶尔混入一个骰子B”，先设定一个合理的状态转移概率（例如：从A转移到B的概率很低，从B回到A的概率很高）。1）出现这个点数记录的概率有多大？要计算观测序列O出现的总概率P(O|计算逻辑：初始步：计算第一个点数“1”由A掷出和由B掷出的概率。P(1|A)=1/6≈0.1667P(1|B)=0（这意味着如果序列开头是1，那么第一个骰子必然是A）。递推步：对于序列中的每一个点数，汇总所有可能的状态转移路径（A→A,B→A,A→B,B→B），并乘以对应骰子掷出该点数的概率。终止步：将最后一步到达A和B的所有概率之和相加。由于序列很长（约60多个点数），每一项概率相乘后会变得极小。在实际计算中，通常使用对数似然来避免数