统计分析与方法-第七章 聚类分析ppt课件

.,1,聚类分析,.,2,第五章把对象分类聚类分析,.,3,分类,俗语说，物以类聚、人以群分。当有一个分类指标时，分类比较容易。但是当有多个指标，要进行分类就不是很容易了。比如，要想把中国的县分成若干类，可以按照自然条件来分：考虑降水、土地、日照、湿度等各方面；也可以考虑收入、教育水准、医疗条件、基础设施等指标；,.,4,聚类分析,由于不同的指标项对重要程度或依赖关系是相互不同的，所以也不能用平均的方法，因为这样会忽视相对重要程度的问题。所以需要进行多元分类，即聚类分析。最早的聚类分析是由考古学家在对考古分类中研究中发展起来的，同时又应用于昆虫的分类中，此后又广泛地应用在天气、生物等方面。,.,5,聚类分析,对于一个数据，人们既可以对变量（指标）进行分类(相当于对数据中的列分类)，也可以对观测值（事件，样品）来分类（相当于对数据中的行分类）。对变量的聚类称为R型聚类，而对观测值聚类称为Q型聚类。这两种聚类在数学上是对称的，没有什么不同。,.,6,聚类中选择变量的要求,和聚类分析的目标密切相关反映了要分类对象的特征变量之间不应该高度相关。,.,7,如何聚类？,聚类分析就是要找出具有相近程度的点或类聚为一类；如何衡量这个“相近程度”？一种方法是用相似系数，性质越接近的样品，它们的相似系数的绝对值越接近1，而彼此无关的样品，它们的相似系数的绝对值越接近于零。比较相似的样品归为一类，不怎么相似的样品归为不同的类。另一种方法是将一个样品看作p维空间的一个点，并在空间定义距离，距离越近的点归为一类，距离较远的点归为不同的类。,.,8,距离和相似系数,.,9,距离,什么是距离？首先我们看样本数据：一般满足以下四个条件时，就称为聚例：,.,10,常用距离明氏距离,Minkowski距离：当q=1时：当q=2时：当q=时：,.,11,明氏距离的缺点,距离的大小与个指标的观测单位有关，具有一定的人为性。例如：对体重和身高进行测量，采用不同单位，其距离测量的结果不同。以欧氏距离为例。,.,12,当长度=cm时：,.,13,当长度=mm时：,改进的方法：对数据进行标准化，然后再计算距离。,.,14,采用明氏距离需要注意的是：,一定要采用相同量纲的变量。如果各变量的量纲不同，或当各变量的量纲相同但各变量的测量值相差悬殊时，不能直接采用明氏距离。需要先对数据进行标准化处理，然后再用标准化处理后的数据计算距离。最常用的标准化处理方法是：,.,15,对指标标准化的方法,.,16,明氏距离的缺点,另一个缺点：它没有考虑到指标之间的相关性。改进的方法是：采用马氏距离马氏距离是1936年由印度数学家：马哈拉比斯由协方差矩阵计算构造的距离。,.,17,相似系数,研究样品之间的关系，除了用距离表示外，还有相似系数，顾名思义，相似系数是描写样品之间相似程度的一个量，常用的相似系数有：夹角余弦相关系数,.,18,相似系数,夹角余弦cosine尽管图中AB和CD长度不一样，但形状相似。当长度不是主要矛盾时，就可利用夹角余弦这样的相似系数。,.,19,夹角余弦cosine,.,20,相关系数,.,21,.,22,聚类分析内容,系统聚类法有序样品聚类法动态聚类法模糊聚类法图论聚类法聚类预报法等。本章主要介绍常用的系统聚类法。,.,23,系统聚类法,.,24,系统聚类法的基本思想,先将每个研究对象(样品或指标)各自看成一类。然后根据对象间的相似度量，将h类中最相似的两类合并，组成一个新类，这样得到h-1类，再在这h-1类中找出最相似的两类合并，得到h-2类，如此下去，直至将所有的对象并成一个大类为止。当然，真的合并成一个类就失去了聚类的意义，所以上面的聚类过程应该在某个类水平数（即未合并的类数）停下来，最终的类就取这些未合并的类。决定聚类个数是一个很复杂的问题。,.,25,系统聚类法的步骤,可选择适当的距离，计算距离,把每个样品看成一类，构造n个类,合并最近的两类为一新类,计算新类与当前各类的距离,判断,画聚类图,根据实际情况，确定类和类的个数,仅有一个类,不是仅有一个类,采用系统聚类法,.,26,系统聚类法,正如样品之间的距离可以有不同的定义方法一样，类与类之间的距离也有各种定义。例如可以定义类与类之间的距离为两类之间最近样品的距离，或者定义为两类之间最远样品的距离，也可以定义为两类重心之间的距离等等。类与类之间用不同的方法定义距离，就产生了不同的系统聚类方法。,.,27,八种系统聚类方法,最短距离法最长距离法中间距离法重心法类平均法可变类平均法可变法离差平方和法,系统聚类分析尽管方法很多，但归类的步骤基本上是一样的，所不同的仅是类与类之间的距离有不同的定义方法，从而得到不同的计算距离的公式。这些公式在形式上不大一样，但最后可将它们统一为一个公式，对上机计算带来很大的方便。,.,28,系统聚类法,最短距离法NearestNeighbor,.,29,系统聚类法,最长距离法FurthestNeighbor,.,30,系统聚类法,重心法CentroidClustering类平均法Between-groupsLinkage,.,31,系统聚类法,离差平方和法WordsMethodWords法的基本思想是来自于方差分析，如果分类正确，同类样品的离差平方和应当较小，类与类的离差平方和应当较大。具体方法：先将n个样品各自成一类，然后每次缩小一类；每缩小一类离差平方和就要增大，选择使离差平方和增加最小的两类合并，直到所有的样品归为一类为止。,.,32,系统聚类法,中样品的离差平方和为：,.,33,系统聚类法,如有五个样品：1，2，3.5，7，9第一步：将五个样品各自分成一类，显然这时的类内离差平方和S=0；第二步：将一切可能的任意两样品合并，计算所增加的离差平方和：如,.,34,此外，还有中间距离法、类内平均法等。,.,35,SPSS中的聚类分析与过程,.,36,例9.1饮料数据（drink.sav）,16种饮料的热量、咖啡因、钠及价格四种变量,.,37,SPSS中的聚类分析,Spss中的聚类功能常用的有两种：快速聚类（迭代过程）：K-MeansCluster分层聚类：Hierarchical,.,38,HierarchicalCluster聚类,分层聚类由两种方法：分解法和凝聚法。分层聚类的功能：即可进行样品的聚类，也可进行变量的聚类。分层聚类的原理：即我们前面介绍过的系统聚类方法的原理和过程。,.,39,HierarchicalCluster聚类,分层聚类的中要进行以下的选择：数据的标准化测度方法的选择：距离方法的选择或相似性、关联程度的选择。聚类方法的选择：即以什么方法聚类，spss中提供了7中方法可进行选择。输出图形的选择：树形图或冰柱图。,.,40,.,41,欧氏平方距离、类平均法聚类,快速聚类法聚类,.,42,欧氏平方距离、最短距离法聚类,欧氏平方距离、最长距离法聚类,.,43,欧氏平方距离、重心法聚类,欧氏平方距离、Words法聚类,.,44,聚类分析在市场细分中的应用,要对消费者购物的态度进行分类，在前期研究的基础上，确定6个态度变量。每个消费者要对有关购物态度的6个观点进行评价：1表示非常不同意，7表示非常同意。,V1购物很有趣V2购物不利于我的预算V3购物总是与上饭店吃饭联系在一起V4购物时我尽量买的最好V5我对购物不感兴趣V6购物时多比较价格可以节省很多钱,（SPSS文件：购物态度聚类分析）,.,45,1类：1、3、6、7、8、12、15、172类：2、5、9、11、13、203类：4、10、14、16、18、19,.,46,第1类消费者对于V1和V3的评价相对较高，而对V5评价较低，因此可以称其为“热情的消费者”。,V1购物很有趣V3购物总是与上饭店吃饭联系在一起V5我对购物不感兴趣,.,47,第2类消费者正好与第1类相反,对于V1和V3的评价相对较低，而对V5评价较高，因此可以称其为“冷淡的消费者”。,V1购物很有趣V3购物总是与上饭店吃饭联系在一起V5我对购物不感兴趣,.,48,第3类消费者对于V2、V4和V6的评价相对较高，因此可以称其为“经济型消费者”。,V2购物不利于我的预算V4购物时我尽量买的最好V6购物时多比较价格可以节省很多钱,.,49,K-MeansCluster原理,首先，选择n个数值型变量参与聚类分析，最后要求的聚类数为k个；其次，由系统选择k个(聚类的类数）观测量（也可由用户指定）作为聚类的种子。第三，按照距离这些类中心的距离最小的原则把所有观测量（样品）分派到各类重心所在的类中去。第四，这样每类中可能由若干个样品，计算每个类中各个变量的均值，以此作为第二次迭代的中心；第五，然后根据这个中心重复第三、第四步，直到中心的迭代标准达到要求时，聚类过程结束。,.,50,K-MeansMethods-快速聚类,.,51,K-MeansMethods,.,52,K-MeansMethods,.,53,K-MeansCluster聚类过程,由AnalyzeClassifyK-MeansCluster将个变量放入Variable；输入最后聚类的个数；,.,54,.,55,.,56,.,57,快速聚类法与层次聚类法应用区别,层次聚类法的聚类过程是单方向的，一旦某个样品（case）进入某一类，就不可能从该类出来，再归入其他的类。而快速聚类法受奇异值、相似测度和不合使得聚类变量的影响较小，对于不合适的初始分类可以进行反复调整.,.,58,快速聚类法与层次聚类法应用区别,在聚类分析发展的早期，层次聚类法应用普遍，其中尤以组间类平均法和离差平方和法应用最广。后