《聚类判别分析》PPT课件.ppt

第14章，聚类分析和判别分析，介绍了：1 .聚类分析2。判别分析分类学是人类认识世界的基础科学。聚类分析和判别分析是研究事物分类的基本方法，广泛应用于自然科学、社会科学、工农业生产的各个领域。14.1.1聚类分析，根据事物本身的特点来研究个体分类的方法，其原则是同一类中的个体有较大的相似性，而不同类中的个体有较大的差异。根据分类对象的不同，可分为样本(观察)聚类和变量聚类：样本聚类：聚类观察(案例)(不同的指标被选择作为分类的依据，用于不同的目的，如选择运动员和划分课外活动组)变量聚类：在不损失大部分信息的情况下寻找独立的和有代表性的自变量。生产活动中有许多可变聚类的例子，例如衣服数量(长度、胸围、裤子长度、腰围)和鞋子数量。可变集群使大规模生产成为可能。14.1.2判别分析：判别分析是根据表示事物特征及其所属类别的变量值找出判别函数。一种根据判别函数对未知事物进行分类的分析方法。在自然科学和社会科学的各个领域，经常需要判断一个人属于哪一类。例如，动物学家对动物如何分类的研究，以及他们对动物属于哪个类别、次序和类别的判断。区别：判别分析和聚类分析的区别在于判别分析要求反映事物特征的一系列数值变量的值是已知的，并且每个个体的分类(训练样本)是已知的。14.1.3 SPSS聚类分析和判别分析过程，在“分析分类：K-means聚类：Hierarchical Cluster:Hierarchical cluster(观察聚类和变量聚类的过程：判别分析过程，14.2 QuickCluster:K-means分类方法可用于通过使用系统的默认选项或自我设置选项对观察数据进行聚类，如分成几个类，指定初始类中心，以及是否将聚类结果或中间数据存储到数据文件中。快速聚类实例(P342，data14-01a):使用系统的默认值来执行：运动员的分类(分为4个类别)分析ZETCLASSIFYK-MEANS SCLSCUSERVALIABLES : X 1，x2，X 3标签NonUmberofcluster :4有用结果：最终聚类中心由聚类结果和每个类别的观察数组成，但我不知道每个运动员属于哪个类别。这需要保存选项，即14.2快速群集中的选项，即使用快速群集的选项：输入和输出类中心数据：中心选项输出数据选择：保存选项群集方法选择：方法选项群集何时停止选择：迭代选项输出统计选择：选项选项。14.2用于指定初始类中心的聚类方法的示例P343，数据与上面的(数据14-01a)相同：四个突出类的数据被用作聚类的初始聚类中心(种子)。类中心数据文件data14-01b(但一列Cluster_，不能直接使用，需要修改)。运动员的分类(仍分为4类)分析分类yK-意思是保留： x 1，x2，X 3标签分类by :非数字聚类中心：4中心：ReadInitialROM :Data数据14-01B保存3:聚类成员和距离聚类中心更有用的结果(您可以将结果与以前的结果进行比较初始类中心比较：两个新变量qc1_1(每个观察最终分配到哪个类)和14.3 HierarchicalCluster，hierarchical clustering方法：分解方法：首先被视为一个大类，然后被分为几种类型的聚合方法：每个类首先被视为一个类，然后被合并成几个大的类，可用于观察(样本)聚类(q型)和变量聚类(r型)一般分为两个步骤(自动，这可以从Paste的语句中得知。P359):接近度：预处理数据(标准化和距离计算等。)聚类：然后对两种统计图进行聚类分析：树形图和冰柱图。各种类型数据的归一化、距离和相似度计算P348-354固定距离变量、分类变量和二进制变量的归一化方法P353: Z分数。范围-1至1、范围0至1等。14.3.4用层次聚类法对实例P358进行观察聚类，并对20种啤酒进行分类(数据14-02)。变量包括：啤酒，卡路里，钠，酒精，成本分析，分类，层次聚类：变量：卡路里，钠，酒精。成本构成和价格标签由： behernamecluster: case，q cluster display : check Statistics。单击统计数据聚类比率计划内聚矩阵：距离矩阵聚类成员资格：单一解决方案：4以显示分类方法：当每个观察分为4个类别时，它属于哪个类别。测量间隔(平方距离)、转换值(范围0-1/通过变量(值-最小值)/范围)图：(树形图)列(指定的聚类范围、开始-1、停止-4、通过-1)、方向(垂直映射)保存：个聚类成员(单一解决方案4)更有用的结果：根据需要分类，对新变量进行分类，包括4_1等。在数据文件中，14.3.5使用分层聚类方法对变量进行聚类，变量聚类是一种降维方法，用于在有许多变量时寻找代表变量，这样当用少量代表变量代替大变量集时，几乎不会丢失信息。除了选择变量而不是案例保存的选项无效、新变量未建立、14.3.6变量聚类实例1P366和上述啤酒分类问题数据14-02之外，与观察聚类相同。聚类方法：聚类方法：进一步的邻域-区间：皮尔逊关系变换值：zscore(按变量)图：树形图树统计：近似矩阵：相关矩阵有用的结果：根据相关矩阵和树形图，我们可以知道热量和酒精的相关系数最大，它们首先被归入一类。总的来说，分成三类是一个更好的结果。至于选择这两个变量中的哪一个作为替代原始变量的典型指标，可以根据专业知识或测量难度来确定。14.3.6变量聚类示例2P368有10个测试项目，分别由变量X1-X10表示，50名学生参加测试。我想从10个变量中选择一些典型的指标。数据14-03分析分类分层聚类：变量：聚类：变量，R聚类方法：聚类方法：进一步最大值-区间：皮尔逊关系图：树形图统计：邻近矩阵相关矩阵更有用的结果：聚类过程可以从树形图中看到。具体的分组是最合理的，取决于专业知识。通过p370的相关指数公式可以计算出每个类别中典型指数的选取，然后比较该类别中变量之间的相关指数。以较大者为准，该变量被选为该类别的代表变量。14.4判别分析P374，判别分析的概念：它是一种根据几个观察到的变量值判断研究对象如何分类的方法。首先，判别函数Y=a1x1 a2x2.应建立一个xn，其中：Y是判别式得分(判别式值)，x1x2.xn是反映研究对象特征的变量，a1a2.一个是SPSS的系数。对于划分为m类的研究对象，应建立m个线性判别函数。在对每个个体进行判断时，将通过观察测量的每个变量值代入判断函数，得到判断得分，从而确定该个体属于哪个类别，或者计算属于各个类别的概率，从而判断该个体属于哪个类别。还建立了标准化和非标准化的典型判别函数。详情请参阅以下吴喜之教授关于判别分析的课堂讲稿，并补充：聚类分析和判别分析。下面的讲义是吴喜之教授关于聚类分析和判别分析的讲义，我认为比书中的要清楚。首先，聚类分析一章之后是判别分析一章。聚类分析，分类，俗话说，物以类聚，人以群分。但是分类的基础是什么呢？例如，如果你想把中国的县分成几个类别，有很多分类。可根据自然条件进行划分，如考虑降水、土地、日照、湿度等方面；还可以考虑收入、教育水平、医疗条件和基础设施等指标。它可以按一个项目或多个索引进行分类。聚类分析，对于一个数据，人们可以对变量(索引)(相当于数据中列的分类)以及观察值(事件、样本)(相当于数据中行的分类)进行分类。例如，学生成绩数据可以根据学生的理科或文科成绩(或综合考虑各科成绩)对学生进行分类。当然，没有必要预先假设有多少个类别，它们可以完全根据数据本身的规律进行分类。本章将介绍的分类方法称为聚类分析。变量的聚类称为R型聚类，而观察值的聚类称为Q型聚类。这两个群集在数学上是对称的，没有区别。饮料数据(饮料. sav)，16种饮料的卡路里、咖啡因、钠和价格四个变量，如何衡量距离？如果你想对100名学生进行分类，如果你只知道他们的数学成绩，你必须根据他们的数学成绩对他们进行分类。这些结果在一条直线上形成100个点。这样，方法的要点可以归入一个类别。如果他们的物理分数也是已知的，数学和物理分数将在二维平面上形成100个点，也可以根据距离进行分类。三维或更高维度的情况类似。只是三维以上的图形无法直观绘制。在饮料数据中，每种饮料有四个变量值。这就是四维空间点的问题。根据距离的大小，聚类需要澄清两个概念：一个是点之间的距离，另一个是类之间的距离。有许多方法可以定义点之间的距离。最简单的是欧几里德距离，还有其他距离。当然，也有一些概念与距离相反，但起着相同的作用，如相似性。两点之间的相似性越大，距离就越短。由一个点组成的类是最基本的类；如果每个类由一个点组成，那么点之间的距离就是类之间的距离。但是，如果一个类包含多个点，则必须确定类之间的距离。类之间的距离是基于点之间的距离定义的：例如，两个类之间最近点之间的距离可以用作两个类之间的距离，或者两个类中最远点之间的距离可以用作两个类之间的距离；当然，各种类型的中心之间的距离也可以用作类之间的距离。在计算中，各点之间的距离和类之间的距离的选择是通过选择统计软件来实现的。不同选择的结果会有所不同，但一般不会太差。，向量x=(x1，XP)和y=(y1，yp)距离或相似系数：欧几里德距离：欧几里德，平方欧几里德距离：平方欧几里德，夹角余弦(相似系数1) :余弦，皮尔逊相关(相似系数2):切比雪夫： maxi | Xi-yi |，分块(绝对距离):Si|xi-yi|，闵可夫斯基3:当变量的测量值相差很大时，应首先进行标准化。如果r非常差，s是标准偏差，则标准化数据是每个观察值减去平均值，然后除以r或s。当观察值大于0时，一些人使用兰斯和威廉姆斯之间的距离，类Gp和类Gq之间的距离dpq(d(Xi，xj)表示点xiGp和xjGq之间的距离)，最短距离方法：最长距离方法：重心方法： 偏差平方和：(Wald)，类平均法：(中间距离，可变平均法，在欧几里德距离的情况下，有一个统一的递推公式(假设Gr是Gp和Gq的组合):兰斯和威廉姆斯给出了一个统一的递推公式(欧几里德距离):D2 (k，r)=ApD2 (k，p) AQD2 (k，q) BD2 (p，q) g | D2 (k，p)-D2 (k， Q)|前述方法的递归公式可以选择参数以获得：方法ai(i=p，q)bg最短距离0-1/2最长距离01/2重心ni/nr-apaq0类平均ni/nr00离散平方和(ni nk)/(nr nk)-nk/(nr nk)0中间距离1/2-1/40可变(1-b)/2b(1)0可变平均(1-b)ni/nrb(1)0。 利用上述点之间的距离和类之间的距离的概念，可以引入聚类方法。这里有两个简单的方法。我们必须事先确定我们可以分成多少类：k-均值聚类。正如我们前面说过的，聚类可以提前决定，但是没有必要提前决定有多少个类。但是，k- means群集(k- means cluster，也称为quickcluster)要求您指定首先要划分多少个类。这似乎很主观，不是吗？假设你说有3个类别，这个方法进一步要求你确定3个点为“聚类种子”(SPSS软件自动为你选择种子)；也就是说，这三点是这三个类别的基石。然后，根据离这三个点的距离，把所有的点分成三类。这三个类别的中心(平均值)被用作新的基石或种子(原始的“种子”是无用的)，并根据距离重新分类。这个迭代过程一直持续到满足停止迭代过程的要求为止(例如，各种类型的最终变化不大，或者有太多的迭代过程)。显然，前面的簇种子的选择不需要太认真。他们很可能会归入同一个类别。在下文中，k-均值聚类是