聚类分析试验讲义

1、应用多元统计分析实验讲义实验项目五聚类分析实验内容、目标及要求（一）实验内容聚类分析是一种研究事物分类的方法，其目的是把分类对象按一定的规则分为若干类，这些类不是事先给定的，而是根据数据的特征确定的。通俗的讲，聚类分析法是用来对资料 做简化的工作及分类，也就是把相似的个体（观察量）归于一群。例如汽车制造商可以通过聚类分析确定目前市场中竞争产品是哪些。下面从SPSS自带数据car_sales.sav （SPSS/tutorial/sample）中选择数据进行分析。（二）实验目标SPSS软件中系统聚类法和 K均值聚类的计算机操作及结果分析。（三）实验要求要求学生能熟练应用计算机软件进行聚类分析，并

2、对结果进行分析，培养实际应用能力。二、实验准备（一）运行环境说明电脑操作系统为Windows XP ,所需软件为SPSS 16.0。（二）基础数据设置说明将数据正确导入SPSS,设置相应的变量值。应用多元统计分析实验讲义三、实验基本操作流程及说明（一）系统界面及说明同实验一。（二）操作步骤1,选择菜单项 AnalyzefClassify fHierachical Cluster ,打开 Hierachical Cluster Analysis 对话框，如错误！未找到引用源。将原始变量Price in thousands到Fuel efficiency移入Variables列表框框中，将标志变量

3、Model移入Label Case by列表框框中。EDS鼠 ManiJactuier mdriL A 爵 Sales in tbousarids 含箪y resale yAjs Vehicle type t叩目 磅 Log-biansformedl sal ZscMe: 4.台即旧籍 . Ncere: Type Ifztypi Zscote: Pnce in the .Zsc(Me: Engine sizt Zscwe： Horsepciwi ， Nscor史 Wheefcase .iZscofe: Width |zwii TStatistics.Plots. MetticidI Save.

4、图 5-1 Hierachical Cluster Analysis 对话框在Cluster栏中选择 Cases单选按钮，对样品进行聚类（若选择Variables,则对变量进行聚类）。在Display栏中选择Statistics和Plots复选框，这样在结果输出窗口中可以同时得 到聚类结果统计量和统计图。.点击Plots按钮，打开Plots子对话框，如图5-5。设置结果输出窗口中给出的聚类分 析统计图。Dendrogram为聚类树形图，Icicle为冰柱图。图5-2 Plots子对话框这里我们选中 Dendrogram复选框和Icicle栏中的None单选按钮，只输出比较常用的聚 类树形图，而

5、不给出冰柱图。.点击Method按钮，打开 Method子对话框，如图 56,设置系统聚类的方法选项。Ckister Method: | Nearest neiiborMeasureC* Intervat| Squared Eudbdean distanceCounts:F-r: |2|I Oht-squdre measureBoot：三应用多元统计分析实验讲义Hievairchical Clustei Analysis: Methoiir Binary-Transform Measures Absojute values Change signRgscale to 0-1 rangeTran

6、sform Values landardi- |z3By variableBy fass图5-3 Method子对话框Cluster Method下拉列表用于指定类与类之间距离的测度方法，具体选项的含义参见教 材。Measure栏用于设置不同数据类型下的个体与个体之间距离的测度方法，其中,Interval中的方法适用于连续型变量，Counts中的方法适用于计数变量，Binary中的方法适用于二值变量。Transform Values选项栏用于当原始数据不是同一数量级别的时候选择对原始数据进行 标准化的方法。单选按钮By variable表示针对变量进行标准化，适用于 Q型聚类；By case表

7、示针对观测进行标准化，适用于R型聚类。这里我们选择最为常用的Z分数标准化法对原始数据进行标准化，其余选项均保持默认。.点击Save按钮，打开 Save New Variables子对话框，指定保存在数据文件中的用于 表明聚类结果的新变量。None表示不保存任何新变量；Single solution表示生成一个分类变量，在其后的矩形框中输入要分成的类数；Range of solutions表示生成多个分类变量。这里我们选择Range ofsolutions,并在后面的两个矩形框中分别输入2和4,即生成三个新的分类变量，分别表明将样品分为2类、3类和4类时的聚类结果。.在主对话框中点击 OK按钮，

8、运行系统聚类过程，结果如表5-1和图57所示。表5-1聚类过程表StageCluster CombinedCoefficierits6tags Cluster First AppearsNext StaggCluster 1Cluster 2Cluster 1Cluster 218110072671.5790043291.6250074162.31 BLI265352.51900861103 670401072S4.42U31s&234.5057599244774e0101011571Sq0应用多元统计分析实验讲义Dendrograin using Single Link ageCASE051

9、01520Label+-十+Rescaled Distance Clu3ter ComkiLrL已2s卷 Log-wireless logwii * | 箝 Log-income Ininc :唳 Customer categary 含 Chum within last n:勘 Cluster N umbef of ( 砂 Dislarce of Cae fr寸Variable$:R Standardized multipl . | i晓 Standardized voice _#)- Standardized pdgint Standardized internt T ILabel Case

10、sOKPasteReetCancelHelpNumber of Clusters:CentersMethod Iterate and classifyIterata. Save.Classify onlvOption;.,AccordCaaEY MalibuGrand AmImpala Taurus MustangFocus CivicCavalier Corolla图5-4树状图B. K- means操作步骤及结果分析电信营销商对客户分类分析。telco_extra.sav.选择菜单项 AnalyzefClassify fK-Means Cluster,打开 K-Means Cluster

11、Analysis 对话 框，如错误！未找到引用源。将原始变量x1x3移入Variables列表框框中，将标志变量Region移入Label Case by列表框框中。X图 5-5 K-Means Cluster Analysis 对话框在Method选项栏中选择Iterate classify单选项，使用 K-means算法不断计算新的类中 心，并替换旧的类中心；若选择 Classify only ,则根据初始类中心进行聚类，在聚类过程中 不改变类中心。在Number of Cluster后面的输入框中输入想要把样品聚成的类数，这里我们输入3,即将电信客户分为3类。至于Centers按钮，则用

12、于设置迭代的初始类中心。如果不用手工设置，则系统会自动 设置初始类中心，这里我们不作设置。.点击Iterate按钮，打开Iterate子对话框，对迭代参数进行设置。应用多元统计分析实验讲义K-Means Cluster Analvsi： IterateMaximum Iterabons:Convergence Criterion:20- | C口ntinu司LUse running means图5-6 Iterate子对话框Maximum Iterations输入框用于设定 K-means算法迭代的最大次数； Convergence Criterion输入框用于设定算法的收敛判据， 其值应该介

13、于0和1之间。例如判据设置为0.02, 则当一次完整的迭代不能使任何一个类中心距离的变动与原始类中心距离的比小于0.02时，迭代停止。设置完这两个参数之后， 只要在迭代的过程中先满足了其中的某一个条件，则迭代过程就停止。另外，如果选择了 Use running means复选框，则每当一个样品被分配到一类时便要立 即重新计算新的类中心；如果不选该选项，则完成了所有样品的重新分配之后才要计算新的 类中心，不选该选项会比较节省事件。这里我们保持该对话框的系统默认选项。.点击Options按钮，打开Options子对话框，如错误！未找到引用源。对话中！中Statistics 选项栏中各选项的含义如下

14、：Initial cluster centers :在结果输出窗口中给出聚类的初始类中心；ANOV A table :给出以聚类结果为控制变量的针对每个原始变量的单因素方差分析表；Cluster information for each case :在结果输出窗口中给出每个样品的分类信息，包括分 配到哪一类以及该观测量距所属类中心的距离。单击Continue返回主对话框。.在主对话框中点击 OK按钮，运行K均值聚类分析程序。表5-2给出了 K 均值迭代的初始类中心坐标，由SPSS自动给定。表5-2 初始类中心表应用多元统计分析实验讲义Cluster123Standardized log-lon

15、g distance248-1.7012Standardized log-toll free2.34-.20-.398tandardized log-equipment1.34-.65.59Standardized localling card2.49-.86-1.28Standardized log-wireless1.U-1.751 42Standardized multiple lines1J5-351P5Standardized voice mail1.511.511.51Standardized Raging1.581.G81.S8Standardized internet1.31-

16、7b1.31Standardized caller id1.04k04-J6Standardized call waiting1,0397Standardized call forwarding1.011.01-.99Standardized 3-way calling1.001.00-1.00Standardized electronic billing-11-.771.30表5-3给出了 K 均值迭代的过程，表中每一行代表每次迭代导致的类中心的变化量。从表中看出，每次迭代导致的类中心变化量在逐渐减少，第 18迭代导致的类中心的变化量 已经为0,达到了收敛（我们在Iterate子对话框中设置

17、的收敛条件为“最大迭代次数为20和收敛判据为0”）。表5-3迭代过程Changim In Cluster CentersIteration12313.29B3.59C3.49121 016.4279313.57732C4204,240,180,1955119.125.108E9J82E-028.262E-022.654E-0215.8B2E-029.375E-023.196E-0285.353E-025.0B0E-021.S17E-02g3.461E-028.501 E-026.318E-02102.489E-0235S,333116.757E-02439287127.352E-023S8.1

18、7713.125.1397.823E-02147.565E-029 578E-021.383E-02154J90E-024.699E-021.502E-02161 375E-022.672E-02,000171.943E-023.S05E-02oao18000000,000应用多元统计分析实验讲义表5-4给出了分类变量的方差分析表,检验各分析变量的均值在不同类中是否存在显著 差异，这也是对我们的分类效果是否显著的检验，检验的原假设是分析变量在不同类中不存在显著差异。从表的结果来看，针对分析变量的方差分析的p值均小于0.05,需要拒绝原假设，说明所选的聚类变量对于分类具有显著作用。表 5-4 A

19、NOVAClusterErrorFSig.M日an SquaredfMeanSquaredfStandardized log-long distance13.0632.97B99713,397,000Standardized log-toll free43.418282047252.932.000Standardized log-equipment99.0562383202.999.000Standardized log-calling card6.3012JS4675B.4D2.002Standardized log-wireless52.6792.64629381.B73.000Stand

20、ardized multiple lines38 0322,92699741.084.000Standardized vclee mail236.3012,529997447.554.000Standard fred paging293.9922,402997743.34G.000Stgndardized internet123.4472,754937163.642,000Standardized caller id303.1042,384997302.474,000Standardized call waiting234.6742411937717.172.000Standardized call forwarding269.3432.42499766071 ,000Standardized 3-way calling282.39724769S7551.678,000Standardized electronic billing112782277B9971 45.301,000表5-5给出了最终的聚类中心结果。表5-5最终的类中心表Cluster123Standardized log-lona distance,