Iris数据的结果分类.doc

Iris数据的结果分类摘 要 本文主要讨论了用快速聚类法对R.A.Fisher的Iris数据分类的问题。针对问题一，由样本数目较大且已知分类数目为3,用快速聚类法并用欧式距离对样本分类。通过SAS软件快速聚类得到样本分类（见文中表1）。根据分类表得到这三类各观测值的取值范围，结合每一类的聚点得到结论如下：相比第2、3两类，第1类属于萼片短、萼片较宽、花瓣短、花瓣窄的植物；相比第1、3两类，第2类为萼片长、萼片较宽、花瓣长、花瓣宽的植物；相比第1、2两类，第3类是萼片较长、萼片较宽、萼片较长、花瓣较宽的植物，最后通过聚类的均值及标准差分析检验分类的合理性。针对问题二，用快速聚类法并用绝对距离对样本分类。通过SAS软件快速聚类得到样本分类（见文中表6）。根据分类表得到这三类各观测值的取值范围，结合每一类的聚点得到结论如下：相比第2、3两类，第1类属于萼片短、萼片较宽、花瓣短、花瓣窄的植物；相比第1、3两类，第2类为萼片长、萼片较宽、花瓣长、花瓣宽的植物；相比第1、2两类，第3类是萼片较长、萼片较宽、萼片较长、花瓣较宽的植物，最后通过聚类与最终聚点的均值绝对值离差分析检验分类的合理性针对问题三，用快速聚类法并用距离（）对样本分类。通过SAS软件快速聚类得到样本分类（见文中表11）。根据分类表得到这三类各观测值的取值范围，结合每一类的聚点得到结论如下：相比第2、3两类，第1类属于萼片短、萼片较宽、花瓣短、花瓣窄的植物；相比第1、3两类，第2类为萼片长、萼片较宽、花瓣长、花瓣宽的植物；相比第1、2两类，第3类是萼片较长、萼片较宽、萼片较长、花瓣较宽的植物，最后通过聚类与最终聚点的均幂根离差分析检验分类的合理性。聚类分析，是研究分类问题的一种多元统计方法，被广泛应用在经济、社会、人口等诸多方面。关键词 快速聚类分析；欧氏距离；绝对距离；距离一、问题重述R.A.Fisher在1936发表的Iris数据中，研究某植物的萼片长、宽及花瓣长、宽。：萼片长，：萼片宽，：花瓣长，：花瓣宽。R.A.Fisher取了该植物3个种类,每个种类取50个样品，共150个样品。数据如表1（见附录）问题一：用快速聚类法将表1数据分3类；问题二：用快速聚类法并用绝对距离分3类，写出分类结果；问题三：在题一、题二基础上，用快速聚类法并采用距离分3类，写出分类结果。二、问题分析针对问题一，采用快速聚类法将表1（见附录）数据分为3类。快速聚类法的步骤：选择聚点，可以通过以下三种方法：经验选择、最小最大原则和将样品随机分为K类，以每类的重心作为聚点。聚点是一批有代表性的样品，它的选择决定了初始分类，分类数给定后，选取过程会根据递推公式算出初始聚点；然后计算各数据与聚点的欧氏距离并分类，检验分类是否合理，不合理返回到第二步初始分类，修改分类，如此反复循环，直至分类合理。针对问题二，与题一相似，首先先确定数据的聚点，采用绝对距离聚类分析时，最终聚点应是每一类的中位向量，确定聚点后，进行初步分类，然后计算数据间的绝对距离，根据各数据与聚点间的绝对距离进行分类。检验分类是否合理，修改分类，直至合理为止。针对问题三，采用快速聚类法并利用距离将表1数据分为3类。与题一相似，先选择聚点，进行初始分类。采用距离进行快速聚类分析时，最终聚点是每一类的中心向量，代入距离公式，求出各数据与聚点的距离，并按大小分类。三、基本假设1、假设所有数据都有效；2、假设所有花无重大变异，即无较大差异；3、假设该植物样品的选取具有随机性，无人为主观干扰。四、符号表示符号意义快速聚类法采用欧氏距离下的聚点快速聚类法利用绝对距离下的聚点快速聚类法采用距离的聚点快速聚类法按绝对距离的最终聚点快速聚类法按距离的最终聚点五、模型建立与求解随着人类社会的发展与科学技术的进步，对分类学的要求也越来越高。只凭经验或专业知识对研究对象定性分类，这往往是不够的，有时不能进行确切的分类。于是数学被引进分类学中，形成了数值分类学。随着多元数据分析方法研究的深入，在数值分类学中形成了聚类分析这一学支，聚类分析是多远数据分析的重要组成部分（1）。本文样本量较大，将采用聚类分析法中快速聚类法对数据分类。5.1快速聚类法将表1数据分为3类本文数据样本容量较大，用快速聚类法分类。快速聚类是快速有效的聚类方法。快速聚类法先将样本数据粗略地分一下类，然后将按某种原则进行修正，直至分类比较合理为止。快速聚类的大致过程如图1所示初始分类分类是否合理最终分类选择聚点选择聚点合理不合理图1 快速聚类法步骤用SAS系统中的proc astclus过程（见附录）得到以下结果。快速聚类法按欧氏距离把表1数据分为3类，初始聚点是：,，它们对应的植物编号是19,58,117.分3类的结果见表1表1 150个植物样品按欧氏距离分3类的结果第1类第2类第3类植物序号1,6,10,18,26,3136,37,40,42,4447,51,52,54,5556,59,60,61,6465,68,69,72,73,79, 80,88,89,9296,97,101,102107,108,113,116,125,126,135,136137,139,140,144145146,150,2,4,7,13,15,1720,21,23,24,2735,39,41,45,5058,74,75,75,8182,84,90,103,105111,112,124,127128,132,133,1493,5,8,9,11，1214,16,19,22,2528,29,30,32,3334,38,43,46,4849,53,57,62,6366,67,70,71,7677,83,85,86,8791,93,94,95,98,99,100,104,106109,110,114,115117,118,119,120121,122,129,130131,134,138,141142,143,147,148频数503862 根据表1分类结合题一分析表1分类的实际意义：表2 3类植物萼片及花瓣情况项目类别萼片长萼片宽花瓣长花瓣宽143-58192410191626279253851691625349-7019-3430-5610-20从聚类的情况具体分析，相比第2、3两类，第1类属于萼片短、萼片较宽、花瓣短、花瓣窄的植物；相比第1、3两类，第2类为萼片长、萼片较宽、花瓣长、花瓣宽的植物；相比第1、2两类，第3类是萼片较长、萼片较宽、萼片较长、花瓣较宽的植物。通过proc astclus过程可以得到聚类的大致情况，见表2表3 150个植物样品按欧氏距离分3类情况聚类频数均方根标准差从聚点到观测的最大距离最近的聚类聚类质心间的距离1503.080116.3668333.88832353.903413.9967318.14833654.224718.0714218.1483通过proc astclus过程还可以得到按欧氏距离分3类这3类类内的均值及标准差见表3与表4表4 按欧氏距离分3类的均值聚类均值聚类x1x2x3x4150.2600000034.1000000014.680000002.46000000268.6571428630.8857142957.7714285721.42857143359.3076923127.4000000044.2923076914.49230769表5 分3类的标准差聚类标准差聚类x1x2x3x413.7947869724.3389550141.8999462941.05385589424.9106298692.9081167204.6087239162.67103983234.9935053973.1264996405.2729352502.979739276平均数和标准差是反映数据集中趋势和离散程度的重要测量值。从表3中可以看出第1类的均值为与其聚点相近，第1类内变量各自对应的标准差分别为3.794786972，4.338955014，1.899946294，1.053855894，标准差偏小，说明第1类样品数据较为集中，与聚点偏差不大，分类较好。第2类的均值为与其聚点相近，第2类内变量各自对应的标准差分别为4.910629869，2.908116720，4.608723916，2.671039832标准差偏小，说明第2类数据较为集中，与聚点偏差不大，分类较好。第3类的均值为与其聚点相近，第3类内变量各自对应的标准差为4.993505397，3.126499640，5.272935250，2.979739276标准差较小，说明第3类数据较为集中，与聚点偏差不大，分类较好。综上关于采用欧氏距离将附录中表1数据分3类这3类的均值及标准差的分析，这3类分类合理。5.2用快速聚类法并用绝对距离分3类距离与相似系数是聚类分析的出发点，距离是衡量样品间的相似度的量，不同的距离定义，得出的分类结果一般也不同。题一用的是欧氏距离。题二采用绝对距离进行快速聚类。通过SAS系统中的proc astclus过程（见附录）得到以下结果快速聚类法按绝对距离把表1（附录）数据分为3类，初始聚点是：,，它们对应的植物编号是19,58,117。表6 按绝对距离分3类的结果第1类第2类第3类植物序号1,6,10,18,26,3136,37,40,42,4447,51,52,54,5556,59,60,61,6465,68,69,72,73,79, 80,88,89,9296,97,101,102107,108,113,116,125,126,135,136137,139,140,144145，146,1502,4,7,13,15,1720,21,23,24,2734，35,39,41,4550，58,74,7581，82,84,90,103105，111,112,123124 127，128,131132,133，148,1493,5,8,9,11，1214,16,19,22,2528,29,30,32,3338,43,46,4849,53,57,62,6366,67,70,71,7677,83,85,86,8791,93,94,95,98,99,100,104,106109,110,114,115117,118,119,120121,122,129,130134,138,141142,143,147频数503862表6同题一的表1相比，题二中的第2类比题一的第2类多了序号为34、131、148的样本，而第3类相比题一减少了序号为34、131、148样本。进一步地，根据表6数据结合题意分析分类的实际意义，总结如表6表7 3类植物萼片及花瓣情况项目类别萼片长萼片宽花瓣长花瓣宽143-58192410191626279253851691525349-7019-3430-5610-20从表7可以看出，相比第2、3两类，第1类属于萼片短、萼片较宽、花瓣短、花瓣窄的植物；相比第1、3两类，第2类为萼片长、萼片较宽、花瓣长、花瓣宽的植物；相比1、2两类，第3类是萼片较长、萼片较宽、萼片较长、花瓣较宽的植物。表8 150个植物样品按绝对距离分3类情况聚类频数均值绝对离差从聚点到观测的最大距离最近的聚类聚类中位数间的距离1502.045922.0000356.49962383.087830.0000328.50043623.221330.4996228.5004通过proc astclus过程可以得到聚类的中位数，而在采用绝对距离进行聚类分析时，最终聚点是每一类的中位向量。故聚类的最终聚点是：(表9数据保留两位小数)表9 聚类的中位数聚类中位数聚类x1x2x3x4150.0000011734.0000009114.999998102.00000104267.0000018330.0000021956.0000018321.00000055358.4996434527.9999983644.9999986314.00000000通过proc astclus过程可以得到聚类与最终聚点的均值绝对离差，各观测值与最终聚点的均值绝对离差可以反映数据的离散程度：结果见表10，并分析。表10 聚类与最终聚点的均值绝对离差与最终聚点的均值绝对离差聚类x1x2x3x412.9591836753.1224489831.4285714290.67346938923.8918918982.1891892063.8648648772.40540542033.9016393442.4754098374.1967213132.311475410从表10可以看出，第1类样品各变量与最终聚点的均值绝对离差分别为2.959183675，3.122448983，1.428571429，0.673469389；第2类样品各变量与最终聚点的均值绝对离差为3.891891898，2.189189206，3.864864877，2.405405420；第3类样品各变量与最终聚点的均值绝对离差为3.901639344，2.475409837，4.196721313，2.311475410；可以看出均值绝对离差都很小，说明数据分类较好。5.3快速聚类法并采用距离将表1数据分3类通过SAS系统中的proc astclus过程（见附录）得到以下结果快速聚类法按距离把表1（附录）数据分为3类，初始聚点是：,，它们对应的植物编号是19,58,117。表11 150个样品植物按分3类结果第1类第2类第3类植物序号1,6,10,18,26,3136,37,40,42,4447,51,52,54,5556,59,60,61,6465,68,69,72,73,79, 80,88,89,9296,97,101,102107,108,113,116,125,126,135,136137,139,140,144145146,150,2,4,7,13,15,1720,21,23,24,2735,39,41,45,5058,74,75,75,8182,84,90,103,105111,112,124,127128,132,131,133,148,1493,5,8,9,11，1214,16,19,22,2528,29,30,32,3334,38,43,46,4849,53,57,62,6366,67,70,71,7677,83,85,86,8791,93,94,95,98,99,100,104,106109,110,114,115117,118,119,120121,122,129,130134,138,141,142143,147频数503763表11同题一的表1相比，题三中的第2类比题一的第2类多了序号为34、131样本，而第3类相比题一减少了序号为34、131样本。进一步地，根据表11的数据结合具体题意探讨题三分类的实际意义，总结如表12表12 3类植物萼片及花瓣情况项目类别萼片长萼片宽花瓣长花瓣宽143-58192410191626279253851691525349-7019-3430-5610-20从表12可以看出，相比第2、3两类，第1类属于萼片短、萼片较宽、花瓣短、花瓣窄的植物；相比第1、3两类，第2类为萼片长、萼片较宽、花瓣长、花瓣宽的植物；相比第1、2两类，第3类是萼片较长、萼片较宽、萼片较长、花瓣较宽的植物。表13 150个植物样品按距离分3类情况聚类频数均幂根离差从聚点到观测的最大距离最近的聚类聚类中心间的距离1502.584717.7239339.38202373.544018.7399320.93493633.734819.6577220.9349在采用距离进行快速聚类时，最终聚点是每一类的中心向量。数据见表14故最终聚点（表中数据保留两位小数）是 ;表14距离进行快速聚类的聚类中心聚类中心聚类x1x2x3x4150.1551954534.0949061214.708054442.22020269268.1033832930.7171980156.9599112821.12598479358.9812925327.4597674344.4582233214.21868489在采用距离进行快速聚类时，通过proc astclus过程可以得到各聚类与最终聚点的均幂根离差，各观测值与最终聚点的均幂根离差可以反映各类数据的离散程度进而检验分类的合理性：数据结果见表15，分析如：表15 各观测值与最终聚点的均幂根离差与最终聚点的均幂根离差聚类x1x2x3x413.4146833103.7462376041.6814451660.91888103524.3940223312.4880350214.3827974742.67540444434.3758996282.8315010414.7911770602.711656489从表15可以看出，第1类各观测值与最终聚点的均幂根离差分别为3.414683310，3.746237604，1.681445166，0.918881035。第2类各观测值与最终聚点的均幂根离差为4.3940223312.488035021，4.382797474，2.675404444。 第3类各观测值与最终聚点的均幂根离是4.375899628，2.8315010414.791177060，2.711656489；这3类与最终聚点的均幂根离差都较小，说明分类合理。六、模型评价与推广优点：1时间复杂度低；2用距离进行聚类分析，有较强的稳健性；3. 聚类分析模型结论直观，形式简明易于理解和实现。缺点：1算法对初选值敏感；2如果样本量较大，计算较为麻烦，且难以获得聚类结论。推广：聚类分析，是研究分类问题的一种多元统计方法，是多元统计中研究“物以类聚”的一种方法。在经济、社会、人口等诸多方面的研究中，都需要采用聚类分析做分析研究。过去人们主要靠经验做定性分类处理，很少利用数学方法和原理，所以许多的分类往往带有主观性和任意性，不能解释客观事物内在的本质差别和联系，特别是对于多因素、多指标的分类问题。 聚类分析正处于发展阶段，理论上虽然不很完善，但由于它能够解决许多实际问题，所以现在越来越来多的收到人们的重视。 参考文献1 范金城，梅长林，数据分析，北京：科学出版，2002. 附录表1 Iris数据 序号类别x1x2x3x4115033142236428562232652846154367315624536328511561463414373693151238262224515925932481810146361021126130461412260275116133653052201425625391115365305518163582751191736832592318151331751925728451320362345423213773867222226333471623367335725243763066212534925451726155351322736730522328270324714292643245153026128401331148311623235930511833255243811343632550193536432532336152341423714936141382543045153937938642040144321324136733572142150351664325826401244144301324537728672046363274918471473216248255264412492502333105037232601851148301435215138162533613049185414834192551503016256150321225736126561458364285621591433011160158401226115138194622673144146336228481864149301426515135142662563045156725827411068150341646914632142702602945157125726351072157441547315036142743773061237536334562476358275119772571942137837230581679154341548015242151813713059218236431551883360304818843632956188524924331086256274213872573042128815542142891493115290377266923913602250159215439174932662946139425227391495260344516961503415297144191429825020351099255243710100258273912101147321321021463115210336932572310426229431310537428611910625930421