《机器学习》课件-第7章聚类

第7章：聚类内容聚类基本原理聚类任务描述相似性度量类间距离聚类算法K-means聚类算法DBSCAN聚类算法层次聚类算法应用案例

逻辑回归模型交叉熵损失

聚类任务基本原理聚类是机器学习中一种关键的数据分析方法，它致力于将数据集内的对象划分为多个不同的簇。在聚类过程中，每个簇内的对象彼此之间有着较高的相似性，而不同簇的对象则具有明显的差异性。聚类能够从数据自身的特性出发，挖掘数据中隐藏的分组结构。聚类算法通常依据特定的相似性度量和聚类准则来工作。相似性度量用于衡量数据点之间的接近程度，常见的度量方式包括欧几里得距离、曼哈顿距离、余弦相似度等。而聚类准则则指导算法如何形成簇，例如基于密度的准则认为密度相连的数据点应归为一个簇，基于距离的准则根据数据点间的距离来划分簇。聚类任务基本原理聚类分析作为一个机器学习任务，主要用于自动发现数据的内在结构和分布模式，无需事先知道任何标签或分类信息，即在聚类的过程中并不依赖于预先标记的类别标签，属于一种典型的无监督学习方法。聚类的目的是通过对大量无标签数据进行分析，将数据按照其内在的相似性分成不同的簇，使得每个簇内部的数据样本之间具有较高的相似度，而不同簇之间的差异性则相对较大。数据聚类可以解决图像分割、文本聚类、生物信息学、信息检索、推荐系统等领域的很多实际应用问题。聚类任务基本原理——任务描述

聚类任务基本原理——相似性度量

聚类任务基本原理——相似性度量

聚类任务基本原理——类间距离

聚类算法-K-meansK-means（也叫K-均值）聚类算法是一种基于划分的聚类算法，其中K​表示聚类所得到簇的个数，means表示簇内数据样本的均值。它的基本原理是通过寻找数据集中数据样本和类中心的最小平方误差，将给定的无标签数据集划分为K个不同的簇，进而指派每个数据点到与其中心邻近的聚类。具体地，K-means聚类算法使用欧几里得距离度量样本的相似性，采用误差的平方和作为度量聚类质量的目标函数。

聚类算法-K-meansK-means聚类算法的迭代过程包括四个步骤：(1)根据算法预先设定的聚类个数K，从数据集中选择K个初始的中心点；(2)将每个数据样本指派到距离其最近的中心点所属的簇中，形成K个簇；(3)计算每个簇的样本均值，作为该簇的新的中心点；(4)重复执行步骤(2)和(3)，直到所有簇的中心点不再改变为止。

聚类算法-K-meansK-means聚类算法是解决聚类问题的一种简单、高效的算法。该算法对于球形簇形状的数据集效果良好，但对于非球形簇形状的数据集效果可能不佳，且对异常值和噪声敏感。此外，K-means聚类算法对初始聚类中心的选择敏感，可能陷入局部最小值，而且需要预先设定簇的数量

聚类算法-DBSCAN

聚类算法-DBSCAN

聚类算法-DBSCAN

聚类算法-DBSCANDBSCAN聚类算法的目的在于过滤低密度区域，发现稠密度区域，与K-means聚类算法只能发现凸形簇不同，DBSCAN算法可以发现任意形状的聚类簇，且其不需要预先指定簇的数目，对噪声不敏感。DBSCAN聚类算法直接对整个数据集进行操作，且使用了一个全局性的表征密度的参数，当数据量很大时，要求较大的内存作为支撑；当遇到密度分布不均匀且聚类间距相差很大的数据时，聚类效果较差。

聚类算法-层次聚类层次聚类算法对给定的数据集进行层次的分解，直到某种条件满足为止，具体可分为凝聚的层次聚类算法和分裂的层次聚类算法。凝聚的层次聚类是一种自底向上的策略，首先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到某个终结条件被满足。分裂的层次聚类算法采用自顶向下的策略，它首先将所有对象置于一个簇中，然后逐渐细分为越来越小的簇，直到达到了某个终结条件。层次聚类的代表是AGNES算法，而层次分类的代表是DIANA算法。

聚类算法-层次聚类自底向上聚合算法（AGglomerativeNESting，AGNES）最初将每个对象作为一个簇，然后这些簇根据某些准则被一步步地合并。两个簇间的相似度由这两个不同簇中距离最近的数据点对的相似度来确定。聚类的合并过程反复进行直到所有的对象最终满足簇数目。AGNES算法的伪代码如图所示

应用案例移动互联网的快速发展，涌现了海量的无标注数据，聚类算法是有效挖掘无标注数据的核心工具。植物基于不同的层次分为界、门、纲、目、科、属、种。本节针对鸢尾花存在不同的种类，使用无标签的鸢尾花数据集分别对K-均值聚类、DBSCAN算法和层次聚类进行应用验证，结果如图所示。K-均值算法：不同聚类簇数下的聚类效果

应用案例