第六章 判别分析.ppt

1、第六章 判别分析,第一节 什么是判别分析 在科学研究和日常生活中，往往会遇到这样的问题，即根据观测数据对所研究的对象进行分类（组）判别。例如，在经济学中可根据人均国内生产总值、人均消费水平等多种指标来判别一个国家的经济发展程度所属类型；在气象学中，根据已有的气象资料（气温、气压、湿度等）来判断明天是阴天还是晴天，有雨还是无雨等。以上各方面的问题具有一个共同特点：就是事先已有“类”的划分，或事先已对某些已知样品分好了“类”，需要判断那些还未分好的的样品究竟属于哪一类。,判别分析就是在研究对象用某种方法分好若干类（组）的情况下，确定新样品属于已知类别中哪一类的多元统计分析方法。,判别分析和聚类分析

2、不同，判别分析是在已知研究对象分成若干类型（或 组别）并已取得各种类型的一批已知样品的观测数据 ，在此基础上根据某种准则建立判别函数式，然后对未知类型的样品进行判别分类。而对于聚类分析，一批给定样品要划分的类型事先并不知道，需要通过聚类分析来确定各样品所属的类型。所以，判别分析和聚类分析往往结合起来运用。,用判别分析方法处理问题时，通常要给出一个衡量新样品（样本点）与已知组别接近程度的描述指标，即判别函数，同时也指定一种判别规则，用来判定新样品的归属，判别规则可以是统计性的，决定新样品所属类别时用的是显著性检验；也可以是确定性的，决定样品归属时，只考虑判别函数值的大小。,判别分析按判别的组数来

3、分有两组（两个总体）判别和多组（多个总体）判别；按区分不同总体所用的数学模型来分有线性判别和非线性判别等。,其判别方法：距离判别法、 Fisher判别法、贝叶斯（Bayes）判别法.等。,第二节 距离判别,首先根据已知分类的数据，分别计算各类的重心，即各组（类）的均值，判别准则是对任给的一次观测，若它与第i类的重心距离最近，就认为它来自第i组.,一、两个总体的距离判断法,设有两个总体（或称两类）,两个总体的均值向量为,协方差矩阵分别为,那么对于一个样品,要判断它来自哪一个总体，就应该看,它与哪一个总体最近。,首先计算,到,总体的距离，分别记为,按距离最近,准则判别归类，则判别规则可写成,如果距

4、离定义采用欧氏距离，则可计算出：,按距离最近准则判别归类即可。,通常情况下我们所说的距离是指欧氏距离。但在统计学中，特别是在多元分析中，有时用欧氏距离显得不是太合适。,设有两个正态总体，,现有一个样品如图所示的A点，,A,距总体X的中心,远，距总体Y的中心,远,若按欧氏距离来度量，A点离总体X要比离总体Y近一些。但是，从概率论的,角度看，A点位于,右侧的,而位于,左侧的,处，应该认为A,点离总体Y近一些。,样品点x到,的马氏距离为：,（一）当,时,（二）当,时,虽然在两个总体有显著差异的条件下，误判概率很小，但当这种差异不很显著时，误判的概率就很大。因此，只有当两个总体的均值有显著差异时，做判

5、别分析才有意义。,例6.1：某地市场上销售的电视机有多种牌子，某商场从市场上随机抽取了20种牌子的电视机进行调查，其中13种畅销，7种滞销。按电视机的质量评分、功能评分和销售价格（单位：百元）搜集资料（见表），在销售状态中：1表示畅销，2表示滞销，根据资料建立距离判别函数，并根据判别准则进行回判。,20种电视机的销售情况,Tests of Equality of Group Means,Boxs Test of Equality of Covariance Matrices(a),所以，判别在,下进行。,采用距离判别函数所得结果,二、多个总体的距离判别,（一）当协方差相等时，即,判别函数为,相

6、应的判别规则为：,当均值和协方差矩阵未知时,（二）当,判别函数为,例6.2：在例6.1中，20种电视的13个畅销品种中，实际只有5种真正畅销，而有8种是平销，另外7种滞销，其各项指标如表68。在销售状态中：1表示畅销，2表示平销，3表示滞销。根据资料建立距离判别函数，并根据判别准则进行回判。假设一家厂商生产的产品，其质量评分8.0，功能评分7.5，销售价格为65百元，该产品的销售前景如何？,Tests of Equality of Group Means,Boxs Test of Equality of Covariance Matrices(a),判别分析就在,的条件下进行，而,建立判别函数

7、，并进行回判,采用距离判别函数所得结果,该厂商生产的产品，属于平销商品.,、,第二节 贝叶斯（Bayes）判别,一、Bayes判别法的基本思想 假定对研究的对象已有一定的认识，常用先验概率分布来描述这种认识。然后取得一个样本，用样本来修正已有的认识，得到后验概率分布，各种统计推断都通过后验概率分布来进行。将贝叶斯思想用于判别分析就是贝叶斯判别。,设有k个总体,它们的先验概率为,各总体的密度函数分别是,在观测到一个样品x的情况下，可用Bayes公式计算它来自g,总体的后验概率。,并且当,判x来自h总体。,二、多元正态总体的Bayes判别法,（一）判别函数的导出,P元正态分布密度函数为,把,代入,

8、由于我们只关心寻找使,达到最大的,中的分母不论,为任何值都是常数，故只需要寻找,取对数，并去掉与g无关的项，记为：,（二）假定协差阵相等,（三）计算后验概率,作判别分类时，主要是根据判别函数,的数值大小，但它并不是后验概率,因为,例6.2：在例6.1中，20种电视的13个畅销品种中，实际只有5种真正畅销，而有8种是平销，另外7种滞销，其各项指标如表68。在销售状态中：1表示畅销，2表示平销，3表示滞销。根据资料建立距离判别函数，并根据判别准则进行回判。假设一家厂商生产的产品，其质量评分8.0，功能评分7.5，销售价格为65百元，该产品的销售前景如何？,第三节 费希尔（Fisher）判别,一、判

9、别函数的建立,借助方差分析的思想构造一个判别函数,设从,分别取得,维观察值,系数,确定的原则是使组间的差异最大，而使每个组内部的差异最小。,（1）组间平方和为,（2）组内离差平方和为,值越大，表明,个组均值之间的差异越大,我们应选择这样的C ,使,达到最大,为了求,的最大值，可根据极限存在的必要条件，令,这恰好说明,和,是,的特征根及对应的特征向量。,的全部非零特征根依次为,，其中非零特征根个数,，相应的特征向量依次记为,当,时，可使,到达最大。由于,的大小可以衡量判别函数,的效果，故称,为第i,判别函数。,设,为判别效率，,二、判别函数个数的确定,的贡献率为,累计贡献率为,85%,三、判别规则,在实际工作中可采用下列方法：,1.q0=1时（即只取一个判别函数），此时有两种可供选择的方法,（1）不加权法,若,（2）加权法,将,、,按大小顺序重新排序，记为,、,此时将类的原编号按此重新编号，将,个平均值每相邻两个取加权平均，即,用,、,、,作为判别的临界值，若一个样品,的,判X属于第i类,判X属于第i+1类,2.,也有两种供选择的方法,（1）不加权法,（2）加权法,有时我们也使用中心化的Fisher判别式，即,例6.4：Fisher于1936年发表的鸢尾花数据被广泛地作为判别分析的例子。数据是从3种鸢尾花刚毛鸢尾花（第1组）、变色鸢尾花（