第三章 判别分析.ppt

1、第三章 判别分析,判别分析(discriminant analysis)是研究判断个体所属类型的一种统计方法。,判别分析的应用十分广泛。如判别产品质量的等级；判断一个国家的经济发展程度；判断该地的矿物类型;,判断病人患哪种疾病；判断明天是晴、多云或有雨等等。判断分析所处理的问题往往是包含大量的数据资料，且其数量指标往往是多元的。判别分析是一种有效的多元数据分析方法，它能科学地判断得到的样品属于什么类型，揭示内在的规律，做出正确的判断。,判别分析的模型如下： 设有k个总体G1,Gk,都是p元总体，其数量指标是,设Gi的分布函数Fi(x), 概率密度fi(x)=fi(x1,x2,xp)。对任一样品

2、 x=(x1,x2, , xp)T，判断它来自哪个总体。,X=(X1, X2, , Xp)T,由于判别准则不同，则有不同的判别分析方法，本章主要介绍距离判别、Bayes 判别和Fisher判别。,一、两个总体的情况,设有两个总体G1和G2， x=(x1,x2, ,xp)是一个样品,若能定义x到G1和G2的距离d(x,G1)和d(x,G2)，则判别规则为,3.1 距离判断,定义3.1 设x,y是从均值向量为、协方差矩阵为 的总体G中抽取的两个样品，则x,y两点之间的马氏距离平方是,定义3.1 设x,y是从均值向量为、协方差矩阵为 的总体G中抽取的两个样品，则x,y两点之间的马氏距离平方是,又定义

3、x与总体G的马氏距离平方是,当两总体G1和G2的均值向量分别为(1)和 (2)，协方差矩阵均为1和2，则,当两总体G1和G2的均值向量分别为(1)和 (2)，协方差矩阵均为1和2，则,若1=2=，则,其中,1. 两个总体协方差矩阵相等的情况,是x的线性函数，称为线性判别函数。,判别准则为,其中,其中,若记,其中W(x)也是线性函数。,实际上，这种情况还可以进一步简化为,判别规则：,当, (1), (2)未知时，用样本估计。设,来自两个总体的样本，均值和协方差矩阵的估计为,当1=2=时, 的无偏估计为,此时为非线性判别。,2. 两个总体协方差矩阵不等的情况：12,判别准则为,当1, 2 , 1,

4、 2未知时的样本估计为,二、 判别准则的评价,当一个判别法则提出以后,还要研究其优良性。考察一个判别法则的优良性，要考察误判率，即考察 x属于G1而误判为属于G2或x属于G2而误判为属于 G1 的概率。,1. 误差率回代估计法,设,分别是来自两个总体的样本，将每个样品进行回代判别，其判别结果如下表:,1. 误差率回代估计法,设,分别是来自两个总体的样本，将每个样品进行回代判别，其判别结果如下表:,其中 n11+n12=n1, n12为样品属于G1而误判为G2的个数;,n21+n22=n2, n21为样品属于G2而误判为G1的个数.,误判率的回代估计为,2. 误判率的交叉确认估计,误判率的交叉确

5、认估计是每次剔除样本中的一个样品, 利用其余n1+n2-1样品建立判别准则, 再用所建立的判别准则对删除的那个样品作判别. 对样本中的每个样品作上述分析, 以其误判比例作为误判概率的估计。,设G1的n1个样品中, 有n*12个样品被误判；G2的n*21个样品被误判。则误判率的交叉确认估计为,SAS系统可以计算误判率的交叉确认估计。,例3.1 马尾松苗紫化病是一种生理性病害，现从病苗(紫化苗)中选取12株，健苗中选取8株分别测定其每平方厘米叶片所含5种元素的微克数，其数据见表3.1，试据此作距离判别分析。,表3.1 马尾松苗数据,解 SAS程序：,data ex3_1; input group$

6、 x1-x5; cards; a 12.5 0.6 5.2 0.1 0.5 . a 11.2 0.7 4.9 0.1 0.5 b 12.1 0.4 2.8 0.2 0.6 b 7.5 0.3 2.2 0.3 0.6 ;,数据步,proc discrim data=ex3_1 pool=test slpool=0.1 method=normal distance simple list crosslisterr wcov pcov; class group; var x1-x5; run;,说明：pool=test 检验方差阵相等(或=yes或=no)；,slpool=0.1 指定显著性水平，仅

7、与pool=test匹配；,method=normal (或npar非参数方法)前者为缺省；,distance 输出各组间距离并进行检验, 理论从略；,simple 输出简单统计量；,过 程 步,crosslisterr 输出交叉确认法误判率信息；,list 输出每个样品的判别结果；,wcov 输出各类的组内协差阵；,pcov 输出联合协方差矩阵。,输出结果：,（1）简单统计量,（2）协方差矩阵,（3）协方差矩阵是否相等的检验,检验结果不显著(p=0.73410.1)，即两总体的协方差矩阵相等。,（4）类间距离的检验,检验结果显著(p=0.0007)，两总体间差异显著。,（5）线性判别函数,W

8、1(x) = -41.05361 0.74441 x1+100.24194 x2,+1.39795 x3 + 4.56860 x4+ 41.67557 x5,W2(x) = -30.81622 + 0.11215 x1 + 67.67498 x2,-0.28010 x3 +12.18045 x4+ 48.55509 x5,（6）样品回判结果,（7）回判结果概要与误判率,（8）交叉确认回判结果概要与误判率,协方差矩阵分别为1, 2, , k。类似两总体距离判别,计算新样品到各总体的马氏距离, 距离最短者属于响应的总体。,三、多个总体的距离判断 设有k个总体G1,G2, Gk, 均值向量分别为1,

9、2,.,k,任取两个总体Gi, Gj, 考察x到Gi,Gj的马氏距离的平方差,1. 总体协方差矩阵相等,其中：,这样, 得到多总体在总体协方差矩阵相等时的距离判别准则：若总体Gj0满足,易见,则判定 x 属于Gj0。,当总体均值j和协方差矩阵未知时，用样本估计。设,是来自总体Gj的样本，均值和协方差矩阵的估计为,总体协方差矩阵j不全相等,计算x至各总体Gj的马氏平方距离,记二次判别函数,判别准则：若总体Gj0满足,则判定 x 属于Gj0。,当总体均值j和协方差矩阵j未知时，用样本估计。,其估计值为,对多总体的距离判别，同两总体情况一样，做出误判率的回代估计及交叉确认估计。,3.2 贝叶斯(Ba

10、yes)判别,Bayes统计思想是假定对研究对象已有一定的认识,常用先验概率分布来描述这种认识。然后取得一个样本, 用样本来修正已有的认识(先验概率分布)得后验概率分布，各种统计推断都通过后验概率分布来进行。将Bayes统计思想用于判别分析就得到Bayes判别。,设有k个总体G1，G2，Gk分别具有p维密度函数f1(x), f2(x), ，fk(x)，已知出现这k个总体的先验概率为q1,q2,，qk(q1+q2+qk=1), 我们希望建立判别函数和判别规则。,用D1, D2, ，Dk表示p维欧氏空间P的一个划分，即D1, D2,，Dk互不相交,且D1D2Dk=RP。如果这个划分取得适当，正好对

11、应于这k个总体，这时判别规则可以采用如下办法:,设有k个总体G1，G2，Gk分别具有p维密度函数f1(x), f2(x), ，fk(x)，已知出现这k个总体的先验概率为q1,q2,，qk(q1+q2+qk=1), 我们希望建立判别函数和判别规则。,问题是如何获得这个划分?,xi 若x落入Di, i=1,2，k,用c(j|i)表示样品来自i而误判为j的损失，这一误判的概率为,于是由判别规则所带来的平均损失ECM(expected cost of miscalculation）为,我们总是定义c(i|i)=0。目的是求D1，D2，Dk使ECM达到最小 。,可以证明,定理3.1 在本节假定下，Bay

12、es判别解 D1,D2,Dk 为,其中,Dt= x|ht(x)hj(x), jt, j=1,2, k , t=1,2,k,例3.2 当k=2时,h1(x)=q2 f2(x)c(1|2),h2(x)=q1 f1(x)c(2|1),从而,D1=x|q2 f2(x)c(1|2),q1 f1(x)c(2|1) ,D2=x|q2 f2(x)c(1|2),q1 f1(x)c(2|1) ,h1(x)=q2 f2(x)c(1|2),h2(x)=q1 f1(x)c(2|1),从而,D1=x|q2 f2(x)c(1|2),q1 f1(x)c(2|1) ,D2=x|q2 f2(x)c(1|2),q1 f1(x)c(

13、2|1) ,若令判别函数为,V(x)=f1 (x)/f2(x),d=q2c(1|2)/q1c(2|1),则判别规则可表示为,例3.3 若f1(x)与f2(x)分别为p维正态分布Np(1, ), Np(2,)的密度函数，此时,V(x)=f1 (x)/f2(x),其中W(x)与距离判别的相同。则判别规则可表示为,当q1=q2,c(1|2)=c(2|1),则d=1,lnd=0。此时即为距离判别。,定理5.1 在本节假定下，Bayes判别解 D1,D2,Dk 为,其中,实际中，损失c(j|i)不易给出，常取c(j|i)=1, ij。,Dt= x|ht(x)hj(x), jt, j=1,2, k , t

14、=1,2,k,推论 如果c(j|i)=1, ij，则Bayes解为,Dt= x|qtft(x)qjfj(x), jt, j=1,2, k , t=1,2,k,例如 设G1,Gk的分布为Np(1, ), Np(k,), 则,推论 如果c(j|i)=1, ij，则Bayes解为,Dt= x|qtft(x)qjfj(x), jt, j=1,2, k , t=1,2,k,例如 设G1,Gk的分布为Np(1, ), Np(k,), 则,其中线性判别函数Wi(x)为：,判别规则也可以写为：,对协方差阵不同的情况有类似的结果。,标准的贝叶斯方法要计算后验概率分布。即计算当样品x已知时，它属于t的概率，记作(

15、t|x)，这个概率作为样品归类的尺度，其概率意义更为直接。易见,判别规则为：,标准的贝叶斯方法要计算后验概率分布。即计算当样品x已知时，它属于t的概率，记作(t/x)，这个概率作为样品归类的尺度，其概率意义更为直接。易见,或写为：,例3.5 某城市环保监测站在全市均匀地布置了14个监测点，测得污染元素含量数据如下表。污染情况分为三类：第一类为严重污染(6,8,9,13号监测点)；第二类为一般污染(1,2,3,7,10,14号监测点)；第三类为基本没有污染(4,5,11,12号监测点)。该城市另有2个单位在同一期间测定了所在单位大气中三种污染元素的含量(表中最后2行)，试判断这2个单位的污染情况

16、属哪一类。 x1二氧化硫;x2氮氧化物；x3飘尘。,大气污染数据,data ex3_5; input group$ x1-x3; cards; 2 0.045 0.043 0.265 . 1 0.205 0.068 0.284 2 0.088 0.058 0.215 . 0.101 0.052 0.181 . 0.045 0.005 0.122 ; proc discrim pool=no distance simple list ; class group; var x1-x3; priors prop; /* 先验概率,prop为样本频率ni/n。*/ run;,输出主要结果：,由此知，两

17、单位被判为第二类,即属于一般污染地区。,3.3 Fisher判别*,设从k个总体分别取得k组p维观察值如下:,n=n1+n2+nk,令a为RP中的向量，U(x)=a x为x向以a为法线方向的投影，上述数据的投影为:,令a为RP中的向量，U(x)=a x为x向以a为法线方向的投影，上述数据的投影为:,正好组成单因素方差分析数据,其组间平方和为,正好组成单因素方差分析数据,其组间平方和为,组内(误差)平方和为,若k组均值有显著差异，则,若k组均值有显著差异，则,应充分大，或,应充分大。故我们可以求a使(a)达到极大。由特征根的极值性质知，a为 |B-E|=0 (或E-1B)的最大特征根1对应的特征

18、向量1。(1)=1称为判别效率。第一线性判别函数为 u(x)= 1Tx，同理有第二线性判别函数，,若存在唯一的i0使,则,否则再用第二、三等线性 判别函数。,例3.7 (胃癌的鉴别)有三个总体:胃癌、萎缩性胃炎和非胃炎患者。从每个总体中抽5个病人，每个病人化验4项生化指标：血清铜蓝蛋白(x1)、蓝色反应(x2)、尿吲哚乙酸(x3)和中性硫化物(x4)，数据如下表。试用Fisher方法建立判别准则并对这15个样品进行判别归类。,胃癌检验的生化指标值,data ex3_7; input group$ x1-x4; cards; 1 228 134 20 11 3 100 117 7 2 ; pro

19、c candisc data=ex3_7 out=c103 ncan=2 distance simple; class group; var x1-x4; run; proc discrim data=c103 distance list; class group; var can1 can2;run;,解 SAS程序如下:,说明: out=c103生成含原数据和典变量得分数据集; ncan=2(p)选两个典变量can1,can2.,类间距离的检验,2与3两总体间差异不显著。,样品回判结果,3.4 逐步判别,与回归分析一样, 变量选择是否恰当, 是判别效果成败的关键。如果忽略了主要变量, 判别

20、效果一定不好。如果变量过多, 由于变量间的相关性, 判别效果也不一定好。一般开始选用较多的变量, 然后进行筛选。筛选的方法有前进法、后退法和逐步法。,逐步判别原理,为其样本。n=n1+nk,设有k个总体G1,G2, ,Gk，GjNp(j,), j=1,2,k,逐步判别原理,为其样本。n=n1+nk,设有k个总体G1,G2, ,Gk，GjNp(j,), j=1,2,k,分别为组内离差矩阵和组间离差矩阵。,总离差矩阵为 W(0)=E(0)+B(0),记,从矩阵W(0)与E(0)开始，作所谓的消去变换，每一次消去变换，都是在上一次变换的基础上进行的。例如,假设对矩阵W(0)、E(0)已作了r 次消去变换而得到W(r)、E(r)，则对W(r)和E(r)再作一次消去变换便得到W(r+1)及E(r+1)。矩阵W(r)与E(r)的元素以w(r)ij与e(r)ij表示。,W(0)=E(0)+B(0),在r+1 步要引进变量xj时，衡量该变量重要性的统计量叫维尔克斯(Wilks)统计量(越小越重要),检验统