《机器学习Python实战》课件 18-项目9 k 均值聚类算法基本原理讲解

机器学习Python实战

项目9

k均值聚类算法1K均值聚类算法原理2k均值聚类算法标准流程目录CONTENTS3k均值聚类算法参数选择01k均值聚类算法原理什么是聚类算法？

聚类算法是一种无监督学习方法，将无标签数据划分为若干个簇（cluster），使得同一簇内样本相似度高，不同簇间相似度低。与分类不同，聚类不依赖预先定义的类别标签。图9-1原始数据图9-2聚类结果聚类的核心逻辑——相似性度量聚类算法基于样本之间的距离（即相似性）进行划分，将距离近（相似度高）的样本归入同一簇，距离远（相似度低）的样本归入不同簇。最终目标是：簇内紧密（高内聚），簇间疏远（低耦合）。k均值聚类算法定义

K-Means（K均值）聚类算法：给定一个包含n个样本的数据集，以及用户预先指定的聚类数目k，算法以样本间的距离（通常为欧氏距离）为度量，通过反复迭代优化，将数据划分为k个簇，使得每个样本与其所属簇中心的距离平方和最小。k均值聚类算法迭代过程待聚类样本（目标k=3）随机初始化3个质心将每个样本分配到距离最近的质心，形成3个簇。判断：样本归属是否发生变化？否

→

算法终止；是

→

继续迭代。对每个簇，重新计算其所有样本的均值，将质心更新为均值位置。再次计算每个簇的样本均值，更新质心位置。重新分配样本到最近质心，更新簇划分。判断：样本归属是否发生变化？是

→

继续迭代。重新分配样本到最近质心，更新簇划分。判断：样本归属是否发生变化？是

→

继续迭代。再次计算每个簇的样本均值，更新质心位置。重新分配样本到最近质心。判断：所有样本归属不再变化

→

算法终止，输出最终聚类结果。k均值聚类算法终止条件终止条件（满足其一即可）：样本归属不再变化。质心位置变化小于设定阈值。误差平方和不再显著变化。实际应用中，常以条件1为主，同时设置最大迭代次数防止死循环。02k均值聚类算法流程k均值聚类算法流程1步骤1：初始化选定聚类数目k，从数据集中随机选取k个样本作为初始质心（簇中心）。3步骤3：判断收敛检查聚类结果是否满足终止条件：若满足（如样本归属不再变化）→算法终止，输出结果；若不满足→进入步骤4。2步骤2：分配对于每个样本，计算它与质心的距离，并将其分配给距离最近的质心所代表的簇，完成一次聚类划分。4步骤4：更新质心对每个簇，计算其中所有样本的均值，将该均值作为该簇新的质心。然后返回步骤2，继续下一轮分配与判断。03k均值聚类算法参数选择k均值聚类算法参数选择1.k值如何确定？k值即聚类算法需要预先指定的类别（簇）数目。（1）经验与业务导向法结合业务场景与分析目的，尝试多个k值，选择聚类结果可解释性最强、最符合实际需求的k值。k均值聚类算法参数选择“肘”方法确定k值其中，SSE：簇内误差平方和；k：聚类的簇数量；Cj​：第j个簇；xi​：属于簇

Cj​

的样本点；μj为簇

Cj​

的质心。​

（2）肘方法（ElbowMethod）计算不同k值下的簇内误差平方和（SSE，SumofSquaredErrors）：K-Means的优化目标为最小化簇内平方和（WCSS，Within-ClusterSumofSquares），即所有样本到其所属簇质心距离的平方和，该值也称为误差平方和（SSE）。随着k值增大，SSE逐渐减小，当k等于样本数n时SSE降为0。k-SSE曲线下降速度突然减缓的位置称为“肘点”，该点对应的k值可作为最佳聚类数的参考。k均值聚类算法参数选择2．初始的k个质心怎么选？随机初始化：从数据集中随机抽取

k

个样本作为初始质心。该方法简单高效，但不同运行结果可能差异较大，因此算法一定要多执行几次，选择聚类结果最合理的，或者选择SSE最小的结果。k均值聚类算法参数选择2．初始的k个质心怎么选？优化的方法方法一

方法二

随机选取第一个质心；后续每个质心，按与最近已有质心的距离平方成正比的概率采样，以此优化初始质心质量。根据其他聚类算法（如层次聚类）得到k个簇；取这