第9章聚类分析

Part1第9章聚类分析目录9.1Kmeans9.1.2KMeans算法的应用9.1.3KMeans算法的改进9.2DBSCAN9.3聚类结果评价8.3.1Logistic模型模型的定义8.3.2Logistic模型的优化目标第9章聚类分析

第9章聚类分析9.1KmeansKMeans算法，又称K均值算法，是一种经典的无监督学习算法，主要用于聚类分析。它通过迭代优化的方式，将数据集划分为k个簇（Cluster），使得每个簇内的数据点尽可能相似，而不同簇之间的数据点尽可能不同。K均值算法是一种基于距离度量的聚类方法，广泛应用于图像处理、文本分类、市场分析等领域。K均值算法遵循簇内相似性最大化和簇间相似性最小化。簇内相似性最大化是指每个簇内的样本点应尽可能接近簇的中心（即簇内的样本点之间距离较小）；簇间相似性最小化是指不同簇的中心点之间的距离应尽可能远。图9.1k均值算法2：repeat4：forj=1,2,,mdo8：endfor9：fori=1,2,,kdo13：else14：

保持当前均值向量不变15：endif16：endfor17：until当前均值向量均未更新聚类簇数过程：如右边框图所示第9章聚类分析9.1.2KMeans算法的应用

更新当前均值向量后，不断重复上述过程，如图9.3所示，第五轮选代产生的结果与第四轮迭代相同，于是算法停止，得到最终的簇划分。图9.3西瓜数据集4.0在各轮选代后的结果第9章聚类分析9.1.3KMeans算法的改进KMeans算法是一种经典的聚类算法，但其在实际应用中存在一些不足，例如对初始中心敏感、对噪声和异常值的鲁棒性较差、难以处理非球形簇等。为了解决这些问题，研究人员提出了许多改进方法。这些改进可以从初始中心选择、距离度量、簇形状适应性、算法效率等多个方面进行优化。KMeans++是一种改进的初始中心选择方法，能够显著提高KMeans的聚类效果。其核心思想是使初始中心尽可能分散，以避免初始中心选择不当导致的局部最优问题。KMeans++的核心思想是通过概率分布选择初始中心，使得初始中心尽可能分散。首先对于每个数据点计算其到当前已选中心点集合中最近中心点的距离

（9.2）然后根据作为选择概率

（9.3）其中，n是数据点总数。

第9章聚类分析9.2DBSCANDBSCAN是一种基于密度的聚类算法，由MartinEster等人在1996年提出。它通过分析数据点的密度分布，将高密度区域的点归为一个簇，同时将低密度区域的点标记为噪声点（即离群点）。DBSCAN不需要事先指定簇的数量，能够发现任意形状的簇，尤其适用于非球形分布的数据8.2.1DBSCAN算法的定义DBSCAN是一种著名的密度聚类算法，它基于一组“邻域”来刻画样本分布的紧密程度.DBSCAN将“簇”定义为：由密度可达关系导出的最大的密度相连样本集合。特性为连接性和最大性。第9章聚类分析9.3聚类结果评价类结果的评价是聚类分析中的一个重要环节，其目的是衡量聚类结果的质量，以便选择最优的聚类方案或者验证聚类是否达到了预期的效果。由于聚类算法很少明确的目标变量，因此评价聚类结果的难度相比监督学习更高。聚类性能度量大致有两类.一类是将聚类结果与某个“参考模型”（referencemod