聚类分析 -发给研究生学习用.doc

学习资料收集于网络，仅供参考聚类分析基本原理及其案例一、相似度的测量聚类分析是分析如何对样品（或变量）进行量化分类的问题。通常聚类分析分为Q型聚类和R型聚类。Q型聚类是对样品进行分类处理，R型聚类是对变量进行分类处理。1.1 样品相似性的度量在聚类分析之前，首先要分析样品间的相似性。Q型聚类分析，常用距离来测度样品之间的相似程度。每个样品有p个指标（变量）从不同方面描述其性质，形成一个p维的向量。如果把这n个样品看成p维空间中的n个点，则两个样品间的相似程度就可用p维空间中的亮点距离公式来度量。两点距离公式可以从不同角度进行定义，令表示样品与的距离，存在以下的距离公式。1.1.1 闵科夫斯基距离闵科夫斯基距离又称闵氏距离，按q值的不同又可分成1）绝对距离（）2）欧几里得距离（）3）切比雪夫距离（）欧几里得距离较为常用，但在解决多元数据的分析问题时，他就显得不足。一是他没有考虑到总体变异对“距离”远近的影响，显然一个变异程度大的总体可能与更多样品近些，即使他们的欧几里得距离不一定最近；另外，欧几里得距离收到变量的量纲影响，这对多元数据的处理时不利的。为了克服这方面的不足，可用“马氏距离“的概念。1.1.2 马氏距离设与是来自均值向量为，协方差为（0）的总体G中的p维样品，则两个样品间的马氏距离为马氏距离又称为广义欧几里得距离。显然，马氏距离与上述各种距离的主要不同时它考虑了观测变量之间的关联性。如果各变量之间相互独立，即观测变量的协方差矩阵是对角矩阵，则马氏距离就退化为用各个观测指标的标准差的倒数作为加权数的加权欧几里得距离。马氏距离还考虑了观测变量之间的变异性，不再受各指标量纲的影响。将原始数据做线性变换后，马氏距离不变。1.1.3兰氏距离它仅适用于一切的情况，这个距离也可以克服各个指标之间量纲的影响。这是一个自身标准化的的量，由于它对奇异值不敏感，它特别适合用于高度偏倚的数据。虽然这个距离有助于克服闵氏距离的第一个缺点，但它也没有考虑指标之间的关联性。1.1.4 距离选择的原则一般来说，同一批数据采用不同的距离公式，会得到不同的分类结果。产生不同结果的原因，主要是由于不同的距离公式的侧重点和实际意义都有不同。因此，我们在进行聚类分析时，应该注意距离公式的选择。通常选择距离公式应注意遵守以下的基本原则：1）要考虑所选择的距离公式在实际应用中有明确的意义。如欧几里得距离就有非常明确的空间距离概念，马氏距离有消除量纲影响的作用。2）要综合考虑对样本观测数据的预处理和将要采用聚类分析方法。如在进行聚类分析之前已经对变量作了标准化处理，通常就可采用欧几里得距离。3）要考虑研究对象的特点及计算量的大小。样品间距离公式的选择是一个比较复杂且带有一定主观性的问题，我们应根据研究对象的特点不同作出具体分析。实际中，聚类分析前不妨试探性的多选择几个距离公式分别进行聚类，然后对聚类分析的结果进行对比分析，以确定最适合的距离测度方法。1.2 变量相似性的度量多元数据中的变量表现形式为向量形式，在几何上可用多维空间中的一个有向线段表示。在对多元数据进行分析时，相对于数据的大小，我们更多地对变量的变化趋势或者方向感兴趣。因此，变量间的相似性，我们可以从他们的方向趋同性或“相关性”进行考察，从而得到“夹角余弦法”和“相关系数”两种度量方法。1.2.1 夹角余弦两变量与看作p维空间的两个向量，这两个向量间的夹角余弦可用下式进行计算显然，。1.2.2 相关系数相关系数经常用来度量变量间的相似性。变量与的相关系数定义为显然也有，。无论是夹角余弦还是相关系数，他们的绝对值都小于1，作为变量近似性的度量工具，我们把他们统计为。当时，说明变量与完全相似；当趋近于1时，说明变量与非常密切；当时，说明变量与完全不一样；当趋近于0时，说明变量与差别很大。据此，我们把比较相似的变量聚为一类，把不太相似的变量归到不同的类内。在实际聚类过程中，为了计算方便，我们把变量间相似性的度量公式作一个变换为或者用表示变量间的距离远近，小则与先聚成一类，这比较符合人们的一般思维习惯。二、系统聚类分析法2.1 系统聚类的基本思想系统聚类的基本思想是：距离相近的样品（或变量）先聚成类，距离相远的后聚成类，过程一直进行下去，每个样品（或变量）总能聚到合适的类中。系统聚类过程是：假设总共有n个样品（或变量），第一步将每个样品（或变量）独自聚成一类，共有n类；第二步根据所确定的样品（或变量）“距离”公式，把距离较近的两个样品（或变量）聚合成一类，其他的样品（或变量）仍各自聚为一类，共聚成n-1类；第三步将“距离”最近的两个类进一步聚成一类，共聚成n-2类；以上步骤一直进行下去，最后将所有的样品（或变量）聚成一类。为了直观地反映以上的系统聚类过程，可以把整个分类系统地画成一张谱系图。所以有时系统聚类也称为谱系分析。2.2 类间距离与系统聚类法在进行系统聚类之前，我们首先要定义类与类之间的距离，由类间距离定义的不同产生了不同的系统聚类法。常用的类间距离定义有8种之多，与之相应的系统聚类法也有8种，分别为最短距离法、最长距离法、中间距离法、重心法、类平均法、可变类平均法、可变法和离差平方和法。他们的归类步骤基本上是一致的，主要差异是类间距离的计算方法不同。以下用表示样品与之间距离，用表示类与之间的距离。2.2.1 最短距离法定义类与之间的距离为两类最近样品的距离，即为设类与合并成一个新类记为，则任一类与的距离为最短距离法进行聚类分析的步骤如下：（1）定义样品之间的距离，计算样品的两两距离，得一距离阵记为，开始每个样品自成一类，显然这时。（2）找出距离最小元素，设为，则将和合并成一个新类，记为，即。（3）按上式计算新类与其他类的距离。（4）重复（2）、（3）两步，知道所有元素并成一类为止。如果某一步距离最小的元素不止一个，则对应这些最小元素的类可以同时合并。2.2.2 最长距离法定义类与之间的距离为两类最远样品的距离，即为最长距离法与最短距离法的并类步骤完全一样，也是将个各样品先自成一类，然后将距离最小的两类合并。将类和合并为，则任一类与的类间距离公式为再找距离最小两类并类，直至所有的样品全归为一类为止。可以看出，最长距离法与最短距离法只有两点不同：一是类之间的距离定义不同；另一是计算新类与其他类的距离所用的公式不同。2.2.3 中间距离法最短、最长距离定义表示都是极端情况，我们定义类间距离可以既不采用两类之间最近的距离也不采用两类之间最远的距离，而是采用介于两者之间的距离，称为中间距离法。中间距离将类和类合并为类，则任意的类与的距离公式为，设，如果采用最短距离法，则，如果采用最长距离法，则。如图所示，上式就是取它们（最长距离与最短距离）的中间一点作为计算的根据。特别当，它表示取中间点算距离，公式为2.2.4 重心法重心法定义类间距离为两类重心（各类样品的均值）的距离。中心指标对类有很好的代表性，但利用各样本的信息不充分。设和分别有样品，个，其重心分别为和，则和之间的距离定义为和之间的距离，这里我们用欧几里得距离来表示，即设将和合并为，则内样品个数为，它的重心是，类的重心是，那么依据上式它与新类的距离是这里我们应该注意，实际上上式表示的类与新类的距离为利用代入上式，有2.2.5 类平均法类平均法定义类间距离平方为这两类元素两两之间距离平方的平均数，即为设聚类的某一步将和合并为，则任一类与的距离为类平均的聚类过程与上述方法完全类似，这里就不再详述了。2.2.6可变类平均法由于类平均法没有反映出和之间的距离的影响，因此将类平均法进一步推广，如果将和合并为，类与新并类的距离公式为其中，是可变的且，称这种系统聚类法为可变类平均法。2.2.7 可变法针对于中间法而言，如果将中间法的前两项的系数也依赖于，那么如果将和合并为新类，类与新并类的距离公式为其中，是可变的且。显然在可变类平均法中取，即为可变法。可变类平均法与可变法的分类效果与的选择关系很大，在实际应用中常取负值。2.2.8离差平方和法该方法是Ward提出来的，所以又称为Ward法。该方法的基本思想来自于方差分析，如果分类正确，同类样品的离差平方和应该较小，类与类的离差平方和较大。具体做法是先将n个样品各自成一类，然后每次缩小一类，每缩小一类，离差平方和就要增大，选择使方差增加最小的两类合并，直到所有的样品归为一类为止。设将n个样品分成k类用表示中的第i个样品，表示中样品的个数，是的重心，则的样品离差平方和为如果和合并为新类，类内离差平方和分别为它们反映了各自类内样品的分散程度，如果和这两类相距较近，则合并后所增加的离散平方和应较小；否则，应较大。于是定义和之间的平方距离为其中，可以证明类间距离的递推公式为这种系统聚类法称为离差平方和法或Ward方法。2.3 类间距离的统一性上述八种系统聚类法的步骤完全一样，只是距离的递推公式不同。兰斯（Lance）和威廉姆斯（Williams）与1967年给出了一个统一的公式。其中，、是参数，不同的系统聚类法，它们取不同的数，详见下表。方法最短距离法1/21/200最长距离法1/21/201/2中间距离法1/21/2-1/40重心法np/nrnq/nr-0类平均法np/nrnq/nr00可变类平均法(1-) np/nr(1-) nq/nr(1)0可变法(1-)/2(1-)/2(1)0离差平方和法(np+nk)/(nr+nk)(nq+nk)/(nr+nk)-nk/(nr+nk)0这里应该注意，不同的聚类方法结果不一定完全相同，一般只是大致相似。如果有很大 的差异，则应该仔细考查，找到问题所在；另外，可将聚类结果与实际问题对照，看哪一个结果更符合经验。2.4 案例分析案例选自现代统计分析方法与应用何晓群著 中国人民大学出版社 P281例10.4例10.4 城镇居民消费水平通用表用表10-4中的8项指标来描述，8项指标间存在一定的线性相关。为研究城镇居民的消费结构，需将相关性强的指标归并到一起，这实际就是对指标聚类。原始数据列于表10-4利用MIINITAB中不同的类间距离对该例进行求解2.4.1最短距离法在“联结法（Linkage Method）”中选择“最短距离（single）”Cluster Analysis of Observations: C2, C3, C4, C5, C6, C7, C8, C9 Standardized Variables, Euclidean Distance, Single LinkageAmalgamation Steps Number Number of obs. of Similarity Distance Clusters New in newStep clusters level level joined cluster cluster 1 30 91.5804 0.74514 27 30 27 2 2 29 91.4271 0.75872 27 29 27 3 3 28 90.3055 0.85798 14 23 14 2 4 27 89.9472 0.88969 16 27 16 4 5 26 89.6282 0.91792 16 28 16 5 6 25 88.2937 1.03603 16 31 16 6 7 24 87.5863 1.09863 4 8 4 2 8 23 87.5439 1.10239 4 16 4 8 9 22 87.0748 1.14390 17 24 17 2 10 21 86.9879 1.15159 17 18 17 3 11 20 86.8067 1.16763 3 7 3 2 12 19 85.8771 1.24990 4 5 4 9 13 18 85.8313 1.25395 17 22 17 4 14 17 85.1983 1.30997 15 17 15 5 15 16 84.7294 1.35147 4 14 4 11 16 15 84.1765 1.40041 10 15 10 6 17 14 84.0672 1.41007 4 10 4 17 18 13 83.8885 1.42590 3 4 3 19 19 12 83.6575 1.44633 12 25 12 2 20 11 82.9656 1.50757 3 20 3 20 21 10 81.3381 1.65160 3 12 3 22 22 9 79.8424 1.78397 2 6 2 2 23 8 79.5369 1.81102 2 3 2 24 24 7 75.2956 2.18638 2 21 2 25 25 6 71.8701 2.48954 2 13 2 26 26 5 68.8783 2.75432 1 9 1 2 27 4 67.1310 2.90895 1 11 1 3 28 3 67.0447 2.91659 2 19 2 27 29 2 59.7886 3.55876 1 2 1 30 30 1 36.4283 5.62619 1 26 1 31Final PartitionNumber of clusters: 2 Within Average Maximum cluster distance distance Number of sum of from from observations squares centroid centroidCluster1 30 203.425 2.29037 5.74369Cluster2 1 0.000 0.00000 0.00000Cluster CentroidsVariable Cluster1 Cluster2 Grand centroidC2 -0.120056 3.60168 0.0000000C3 -0.041834 1.25503 -0.0000000C4 -0.124385 3.73154 -0.0000000C5 -0.045536 1.36609 0.0000000C6 -0.051755 1.55265 0.0000000C7 -0.037561 1.12684 0.0000000C8 0.038193 -1.14578 0.0000000C9 0.008443 -0.25328 -0.0000000Distances Between Cluster Centroids Cluster1 Cluster2Cluster1 0.00000 6.14770Cluster2 6.14770 0.00000图 最短距离法得出树状图2.4.2重心法在“联结法（Linkage Method）”中选择“质心（central）”Cluster Analysis of Observations: C2, C3, C4, C5, C6, C7, C8, C9 Standardized Variables, Euclidean Distance, Centroid LinkageAmalgamation Steps Number Number of obs. of Similarity Distance Clusters New in newStep clusters level level joined cluster cluster 1 30 91.5804 0.74514 27 30 27 2 2 29 91.2958 0.77033 27 29 27 3 3 28 91.7417 0.73088 27 28 27 4 4 27 91.3306 0.76725 16 27 16 5 5 26 91.3026 0.76973 16 31 16 6 6 25 90.3055 0.85798 14 23 14 2 7 24 89.4638 0.93247 14 16 14 8 8 23 88.0486 1.05772 14 17 14 9 9 22 88.7781 0.99315 14 18 14 10 10 21 87.8242 1.07758 14 24 14 11 11 20 87.5863 1.09863 4 8 4 2 12 19 88.2991 1.03555 4 14 4 13 13 18 86.8067 1.16763 3 7 3 2 14 17 88.1386 1.04976 3 4 3 15 15 16 86.5037 1.19444 3 15 3 16 16 15 86.8717 1.16187 3 5 3 17 17 14 85.2628 1.30427 3 22 3 18 18 13 84.6712 1.35662 3 12 3 19 19 12 80.9804 1.68327 3 25 3 20 20 11 81.3053 1.65450 3 6 3 21 21 10 80.8322 1.69638 3 20 3 22 22 9 80.0088 1.76925 3 10 3 23 23 8 72.4556 2.43772 2 3 2 24 24 7 68.8783 2.75432 1 9 1 2 25 6 70.1933 2.63794 1 11 1 3 26 5 67.6502 2.86300 2 21 2 25 27 4 67.0447 2.91659 13 19 13 2 28 3 65.0427 3.09378 2 13 2 27 29 2 60.0233 3.53799 1 2 1 30 30 1 43.1300 5.03308 1 26 1 31Final PartitionNumber of clusters: 2 Within Average Maximum cluster distance distance Number of sum of from from observations squares centroid centroidCluster1 30 203.425 2.29037 5.74369Cluster2 1 0.000 0.00000 0.00000Cluster CentroidsVariable Cluster1 Cluster2 Grand centroidC2 -0.120056 3.60168 0.0000000C3 -0.041834 1.25503 -0.0000000C4 -0.124385 3.73154 -0.0000000C5 -0.045536 1.36609 0.0000000C6 -0.051755 1.55265 0.0000000C7 -0.037561 1.12684 0.0000000C8 0.038193 -1.14578 0.0000000C9 0.008443 -0.25328 -0.0000000Distances Between Cluster Centroids Cluster1 Cluster2Cluster1 0.00000 6.14770Cluster2 6.14770 0.00000图 重心法得出的树状图2.4.3最长距离法在“联结法（Linkage Method）”中选择“最长距离（compete）”Cluster Analysis of Observations: C2, C3, C4, C5, C6, C7, C8, C9 Standardized Variables, Euclidean Distance, Complete LinkageAmalgamation Steps Number Number of obs. of Similarity Distance Clusters New in newStep clusters level level joined cluster cluster 1 30 91.5804 0.74514 27 30 27 2 2 29 90.3055 0.85798 14 23 14 2 3 28 88.2937 1.03603 29 31 29 2 4 27 87.6389 1.09398 27 28 27 3 5 26 87.5863 1.09863 4 8 4 2 6 25 87.0748 1.14390 17 24 17 2 7 24 86.8067 1.16763 3 7 3 2 8 23 86.2560 1.21637 16 27 16 4 9 22 85.8313 1.25395 18 22 18 2 10 21 84.5512 1.36724 16 29 16 6 11 20 83.6575 1.44633 12 25 12 2 12 19 83.1887 1.48782 14 17 14 4 13 18 82.9269 1.51100 4 5 4 3 14 17 82.8330 1.51930 10 18 10 3 15 16 79.8424 1.78397 2 6 2 2 16 15 77.9099 1.95501 10 15 10 4 17 14 76.0475 2.11984 4 16 4 9 18 13 75.2956 2.18638 20 21 20 2 19 12 72.6370 2.42167 10 14 10 8 20 11 71.8878 2.48797 3 4 3 11 21 10 69.8366 2.66950 2 13 2 3 22 9 68.8783 2.75432 1 9 1 2 23 8 66.0701 3.00284 3 12 3 13 24 7 58.6564 3.65896 3 10 3 21 25 6 57.6947 3.74408 1 11 1 3 26 5 49.7875 4.44388 2 19 2 4 27 4 41.6412 5.16484 3 20 3 23 28 3 32.0351 6.01500 1 26 1 4 29 2 23.4020 6.77904 2 3 2 27 30 1 0.0000 8.85015 1 2 1 31Final PartitionNumber of clusters: 2 Within Average Maximum cluster distance distance Number of sum of from from observations squares centroid centroidCluster1 4 32.794 2.74129 4.13270Cluster2 27 117.654 1.87388 5.14041Cluster CentroidsVariable Cluster1 Cluster2 Grand centroidC2 1.00253 -0.148523 0.0000000C3 1.21659 -0.180236 -0.0000000C4 2.00636 -0.297238 -0.0000000C5 2.08288 -0.308574 0.0000000C6 1.73689 -0.257316 0.0000000C7 1.51529 -0.224488 0.0000000C8 0.45233 -0.067012 0.0000000C9 1.76992 -0.262210 -0.0000000Distances Between Cluster Centroids Cluster1 Cluster2Cluster1 0.00000 5.06997Cluster2 5.06997 0.00000图 最长距离法得出的树状图2.4.4中间距离法在“联结法（Linkage Method）”中选择“中间距离（median）”Cluster Analysis of Observations: C2, C3, C4, C5, C6, C7, C8, C9 Standardized Variables, Euclidean Distance, Median LinkageAmalgamation Steps Number Number of obs. of Similarity Distance Clusters New in newStep clusters level level joined cluster cluster 1 30 91.5804 0.74514 27 30 27 2 2 29 91.2958 0.77033 27 29 27 3 3 28 91.5179 0.75068 27 28 27 4 4 27 90.8262 0.81189 16 27 16 5 5 26 90.7094 0.82223 16 31 16 6 6 25 90.3055 0.85798 14 23 14 2 7 24 89.2067 0.95522 4 16 4 7 8 23 90.9194 0.80365 4 8 4 8 9 22 87.9220 1.06892 4 5 4 9 10 21 87.0748 1.14390 17 24 17 2 11 20 89.1816 0.95745 14 17 14 4 12 19 89.4624 0.93260 14 18 14 5 13 18 88.2167 1.04284 14 22 14 6 14 17 87.7778 1.08168 14 15 14 7 15 16 86.8067 1.16763 3 7 3 2 16 15 85.9816 1.24065 4 14 4 16 17 14 88.1770 1.04636 3 4 3 18 18 13 83.6575 1.44633 12 25 12 2 19 12 83.5465 1.45616 3 12 3 20 20 11 83.4549 1.46426 3 6 3 21 21 10 79.5952 1.80585 2 3 2 22 22 9 75.5477 2.16407 2 13 2 23 23 8 75.2956 2.18638 20 21 20 2 24 7 70.8954 2.57580 2 10 2 24 25 6 74.5144 2.25552 2 20 2 26 26 5 68.8783 2.75432 1 9 1 2 27 4 70.1933 2.63794 1 11 1 3 28 3 59.8363 3.55455 1 2 1 29 29 2 67.6749 2.86082 1 19 1 30 30 1 42.1322 5.12138 1 26 1 31Final PartitionNumber of clusters: 2 Within Average Maximum cluster distance distance Number of sum of from from observations squares centroid centroidCluster1 30 203.425 2.29037 5.74369Cluster2 1 0.000 0.00000 0.00000Cluster CentroidsVariable Cluster1 Cluster