生物数据统计分析方法第六章

主要内容,绪论统计量、统计分布与统计比较回归与最小二乘分析比较试验设计与分析回归试验设计与分析动态试验指标的统计推断综合试验指标的统计推断,ClusterAnalysis,聚类分析(第1部分),一、简介,聚类分析也是一种分类技术。与多元分析的其他方法相比，该方法较为粗糙，理论上还不完善，但应用方面取得了很大成功。与回归分析、判别分析一起被称为多元分析的三大方法。,1.聚类的目的,根据已知数据，计算各观察个体或变量之间亲疏关系的统计量（距离或相关系数）。根据某种准则（最短距离法、最长距离法、中间距离法、重心法），使同一类内的差别较小，而类与类之间的差别较大，最终将观察个体或变量分为若干类。,2.聚类分析的应用例子,同一种疾病（如肝炎），根据临床表现等将病人分成若干类（甲、乙、丙、丁、戊型肝炎）根据疾病的若干临床表现，将病人分成轻、中、重三型在儿童生长发育研究中，把以形态学为主的指标归于一类，以机能为主的指标归于另一类,3.聚类的种类,根据分类的原理可将聚类分析分为：系统聚类与快速聚类根据分类的对象可将聚类分析分为：系统Q型与R型（即样品聚类clusteringforindividuals与指标聚类clusteringforvariables),4.聚类分析数据格式,k,5.判别分析数据格式,6.聚类分析与判别分析间的联系,先采用聚类分析获得各个个体的类别（classification）；然后采用判别分析建立判别函数，对新个体进行类型识别（(identification）,二、图示法聚类分析,1.散点图（Scatterdiagrams）,2.轮廓图(Profilediagram）,三、距离与相似系数,（一）距离,假使每个样品有p个变量，则每个样品都可以看成p维空间中的一个点，n个样品就是p维空间中的n个点，则第i样品与第j样品之间的距离记为dij,1.欧式（Euclidian）距离,1.1二维空间欧式距离,1.2欧式距离的平方,2.明氏（Minkowski）距离,SPSS称为BLOCK,实例计算,品,绝对值距离,品,Euclidian距离的平方,Euclidian距离,变量标准化,作用：消除量纲的影响,3.Mahalanobis距离,Mahalanobis距离,优点：马氏距离既排除了各指标间的相关性干扰，又消除了各指标的量纲缺点：样品协方差矩阵不变不合理。,Mahalanobis距离实例,4.Lance和Williams距离,5.斜交空间距离,可考虑变量间相关性问题,6.配合距离,适用于分类变量，尤其是名义尺度变量,（二）相似系数,研究样品间的关系常用距离，研究指标间的关系常用相似系数。相似系数常用的有：夹角余弦与相关系数,1.夹角余弦（Cosine）,2.Pearson相关系数,四、系统聚类法（hierarchicalclusteringmethod）,将n个样品各作为一类,系统聚类法是诸聚类分析方法中使用最多的一种，按下列步骤进行：,计算n个样品两两之间的距离，构成距离矩阵,合并距离最近的两类为一新类,计算新类与当前各类的距离。再合并、计算，直至只有一类为止,画聚类图，解释,类与类之间的距离,1.最短距离法(singlelinkage)2.最长距离法(completelinkage)3.中间距离法(medianmethod)4.类平均法(averagelinkage)5.可变类平均法(flexible-betamethod)6.重心法(centroidmethod)7.Ward离差平方和法(Wardsminimum-variancemethod),类与类之间的距离,8.Mcquitty的相似分析法(Mcquittyssimilarityanalysis)9.最大似然估计法(EML)10.密度估计(densitylinkage)11.两阶段密度估计法(two-stagedensitylinkage)等。,（一）最短距离法(singlelinkage，nearestneighbor),B2A2*B1A1*B3*,样品间：欧氏距离类类间：两类间两两样品距离最短。即图中样品A2和B1之间的距离,6个民族的粗死亡率与期望寿命,待续！,（二）最长距离法(completelinkage，furthestneighbor),B2A2*B1A1*B3*,样品间：欧氏距离类类间：两类间样品两两距离最长。即图中样品A2和B3之间的距离,（三）中间距离法(medianmethod),最长距离夸大了类间距离，最短距离低估了类间距离。介于两者间的距离即为中间距离,K,L,J,M,（四）中间距离法的变形可变法,（五）类平均法(averagelinkagebetweengroup),SPSS作为默认方法，称为between-groupslinkage,K,L,J,M,（六）可变类平均法(flexible-betamethod),类平均法的变型,K,L,J,M,（七）重心法(centroidmethod),B2A2*B1A1*B3*,类类间的距离用各自重心间的距离表示,（八）Ward最小方差法(Wardminimumvariancemethod),先将n个样品各自成一类，然后每次每缩小一类，每缩小一类离差平方和就要增加，选择使离差平方和增加（SSMSSKSSL）最小的两类合并，直至所有的样品归为一类为止。,（九）八种系统聚类方法的统一,以上聚类方法的计算步骤完全相同，仅类与类之间的定义不同。Lance和Williams于1967年将其统一为：,八种系统聚类法公式的参数,系统聚类法的性质,单调性中间距离法、重心法不具有单调性空间的浓缩与扩张不同聚类法作图，横坐标的范围可相差很大。最短距离法与重心法比较浓缩；可变类平均比较扩张；类平均法比较适中。,有关问题,几种聚类方法获得的结果不一定相同指标聚类采用相似系数，相似系数大或距离小则表示类间关系密切，为了统一，可采用以下公式变换。,五、快速聚类法（quickclustermethodk-meansmodel）也叫动态聚类、逐步聚类、迭代聚类）,样本量很大，用系统聚类法计算的工作量极大，作出的树状图也十分复杂,不便于分析,原理,选择初始凝聚点根据欧氏距离将每个样品归类各类的重心代替初始凝聚点根据欧氏距离将每个样品归类，直至分类达到稳定,初始凝聚点initialclusterseeds；clustercenters,自动选择必须给出允许分类的最大个数k（SAS中用MAXCLUSTERS=k(或MAXC=k)）凭经验选择以初始凝聚点建立一个数据文件,在SAS的FASTCLUS过程的SEED=选择项中输入该数据文件,六、变量聚类法,原理与以上聚类法类似,只是将标准化后的变量视为“个体”，变量间的相关系数描述“个体”间的相似程度。SAS中采用VARCLUS过程。,七、小结,与判别分析的区别（作用，数据要求？）聚类分析是一种探索性技术，对于同一问题，可获得多种结果，解释需要结合专业知识样品量大可采用快速聚类方法变量的形式？距离与相似系数？系统聚类常用方法？,存在的问题,分类数的确定专业知识聚类方法的选择试用多种方法，系统聚类与快速聚类相结合,（一）SPSS聚类分析,八、软件计算与实例分析,1.系统聚类,指定参与聚类的变量名和样品号,Statistics,聚类进度表,相似矩阵,样品或变量的分类情况,Plot,树状结构图,冰柱图,冰柱的方向,Method,聚类方法,标准化变换,亲疏关系指标,Method,将分类结果存入数据文件中,2.快速聚类,选项,读写凝聚点,人为固定分类数,ANOVA表，初始凝聚点等,（二）SAS聚类分析,样品聚类：PROCCLUSTERpseudoRSQUARESTDMETHOD=(AVE,AVERAGE,CEN,CENTROID,COM,COMPLETE,DEN,DENSITY,EML,FLE,FLEXIBLE,MCQ,MCQUITTY,MED,MEDIAN,SIN,SINGLE,TWO,TWOSTAGE,WAR,WARD);IDnational;PROCTREEHORIZONTAL;IDnational;,变量聚类：PROCVARCLUSCORRCENTROIDHIERARCHYMAXC=4;快速聚类：PROCFASTCLUSMAXC=4MAXITER=1