多元统计分析第二部分课件

1、6.3 贝叶斯判别一、最大后验概率准则一、最大后验概率准则二、最小平均误判代价准则二、最小平均误判代价准则距离判别不合适的一个例子1（校研究生组）：（校研究生组）：n1=2000, 1=5002（校本科生组）：（校本科生组）：n2=8000, 2=400研究生组中研究生组中x500的有的有1000人，本科生组中人，本科生组中x500的有的有2000人。某学生的人。某学生的x=500，试判别该生归属哪一组。，试判别该生归属哪一组。该例如采用距离判别法则显然不妥，应考虑利用如下的先该例如采用距离判别法则显然不妥，应考虑利用如下的先验概率：验概率： 12200080000.2,0.810000100

2、00pp一、最大后验概率准则设有设有k个组个组1, 2, , k，且组，且组i的概率密度为的概率密度为fi (x) ，样品，样品x来自组来自组i的先验概率为的先验概率为pi ,i=1,2, ,k，满足，满足p1+p2 + +pk =1 。则。则x属于属于i的后验概率为的后验概率为最大后验概率准则是采用如下的判别规则：最大后验概率准则是采用如下的判别规则： 11 2|, ,iiikiiip fxpxikp fx 1,|max|llii kxpxpx 若若例例4 设有设有1、2和和3三个组，欲判别某样品三个组，欲判别某样品x0属于何组，属于何组，已知已知p1=0.05，p2=0.65，p3=0.3

3、0，f1(x0)=0.10, f2(x0)=0.63，f3(x0)=2.4。现计算。现计算x0属于各组的后验概属于各组的后验概率如下：率如下： 所以应将所以应将x0判为组判为组3。 1101030122020301330303010 05 0 100 05 0 100 65 0 630 30 2 40 0050 0041 13450 65 0 630 3611 13450 30 2 40 6351 1345.|.|.|.iiiiiiiiip fxpxp fxp fxpxp fxp fxpxp fx 皆为正态组的情形设设inp(i,i)，i0, i=1,2, ,k。这时，组。这时，组i的概率密度

4、为的概率密度为fi(x）=(2)p/2|i|1/2exp0.5d2(x,i)其中其中d2(x,i)=(xi)i 1 (xi)是是x到到i的平方马氏距离。的平方马氏距离。以下各情形下后验概率的具体计算公式。以下各情形下后验概率的具体计算公式。 当当p1=p2= =pk=1/k，1=2= =k=时，时， 2211212exp,|exp,iikiidxpxdx 当当p1=p2= =pk=1/k，而，而1,2, ,k不全相等时，不全相等时， 当当1=2= =k=，而，而p1,p2, ,pk不全相等时，不全相等时， 当当p1,p2, ,pk不全相等，不全相等，1,2, ,k也不全相等时，也不全相等时，

5、2211212exp,ln|exp,lniiikiiidxpxdx 221122122exp,ln|exp,lniiikiiidxppxdxp 221122122exp,lnln|exp,lnlniiiikiiiidxppxdxp 上述各情形的后验概率可统一表达为上述各情形的后验概率可统一表达为称称d2(x, i)为为x到到i的的广义平方距离广义平方距离。 22122121 21201012121212exp,|, ,exp,d,ln,2ln,1,2,iikiiiiiiikikikikdxpxikdxxdxghgpppphpppkik 其其中中，若若不不全全相相等等, ,若若, , 若若不不全

6、全相相等等, ,若若在正态性假定下，在正态性假定下，上述上述判别规则也可等价地表达为判别规则也可等价地表达为当当1=2= =k=时，时，上述后验概率公式上述后验概率公式可简化为可简化为其中其中ii=1i，ci=0.5i1i, i=1,2, ,k。此时判别规则等价。此时判别规则等价于于如果我们对如果我们对x来自哪一组的先验信息一无所知，则一般可取来自哪一组的先验信息一无所知，则一般可取p1=p2= =pk=1/k。这时。这时，判别规则简化为判别规则简化为上节的线性判别。上节的线性判别。实际应用中，以上各式中的实际应用中，以上各式中的i和和i(i=1,2, ,k）一般都是未知）一般都是未知的，需用

7、相应的样本估计值代替。的，需用相应的样本估计值代替。221,min,llii kxdxdx , , 若若 （）（） 1expln|,1,2,explniiiikiiiii xcppxiki xcp 1,lnmaxlnllliiii kxi xcpi xcp 若若例例5 在例在例3中，已知破产企业所占的比例约为中，已知破产企业所占的比例约为10%，即可取，即可取p1=0.1，p2=0.9，假定两组均为正态，且，假定两组均为正态，且1=2=，则未判企，则未判企业业x=(0.16, 0.10, 1.45, 0.51)的后验概率为的后验概率为由于由于p(1|x)0, i=1,2。当当1=2=时，（时，

8、（*）式可具体写成）式可具体写成其中其中a=1(12)， 。 在在p1=p2，c(1|2)=c(2|1)的条件下的条件下上上式将式将退化为距离判别退化为距离判别的线性判别。的线性判别。 2112211|2ln2|11|2ln2|1cpxaxcpcpxaxcp , , 若若, , 若若1212当当12时，（时，（*）式可写为）式可写为其中其中d2(x,i)=(xi)i1(xi), i=1,2。 在在|1|=|2|，p1=p2，c(1|2)=c(2|1)的条件下的条件下上上式将式将化为化为距离判别中距离判别中12 时的情形时的情形。 22222221/2121121/211/212121/212|

9、1()2ln1|22|1()2ln1|2cp xdxdxcp cp xdxdxcp , , 若若, ,）, , , 若若, ,）, ,2.多组的情形设设 fi(x)为组为组i的概率密度函数，的概率密度函数，i=1,2, ,k。令。令 pi组组i的先验概率，的先验概率，i=1,2, ,k。c(l|i)将来自将来自i的的x判为判为l的代价的代价, l,i=1,2, ,k， 对对l=i,c(i|i)=0。rl所有判为所有判为l的的x的集合，的集合，l=1,2, ,k。因而对因而对l,i=1,2, ,k，将来自，将来自i的样品的样品x判为判为l的条件概率的条件概率为为 |dlliirp l ip xr

10、xfxx 平均误判代价 11111111|,|kkililkkliiilkkkkiililil iecme c l ic l i prc l i prpc l i p l i ppc l i p l i xxxxx使使ecm达到最小的达到最小的判别规则判别规则是是假定所有的误判代价都是相同的，不失一般性，可令假定所有的误判代价都是相同的，不失一般性，可令c(l|i)=1, li, l,i=1,2, ,k，则此时，则此时为所有误判概率之和，称之为为所有误判概率之和，称之为总的误判概率总的误判概率。故此时的最小。故此时的最小平均误判代价准则也可称为平均误判代价准则也可称为最小总误判概率准则最小总误

11、判概率准则，并且，并且上上式可简化为式可简化为故故最小总误判概率准则与最大后验概率准则是彼此等价的，最小总误判概率准则与最大后验概率准则是彼此等价的，或者说，最大后验概率准则等价于所有误判代价相同时或者说，最大后验概率准则等价于所有误判代价相同时的最小平均误判代价准则。的最小平均误判代价准则。 111,|min|kkljjjji kjjj lj ixp fx c ljp fx c ij 若若 1111|kkkiiiiil iecmpp l ip p i i 1,maxllliii kxp fxp fx 若若注注 令令b=误判误判，ai=样品来自样品来自i，i=1,2, ,k 则利用全概率公式得

12、则利用全概率公式得总的误判概率总的误判概率为为此外，此外，总的正确判别概率总的正确判别概率为为 111|kkkiiiiiil ip bp ap b app l i 11111111|kkiiil ikkiiiip bp bpp l ipp i ip p i i 例例9 在例在例8中，假定误判代价矩阵为中，假定误判代价矩阵为 现采用最小现采用最小ecm准则进行判别。准则进行判别。l=1：p2f2(x0)c(1|2)+p3f3(x0)c(1|3) =0.650.6320+0.302.460=51.39l=2：p1f1(x0)c(2|1)+p3f3(x0)c(2|3) =0.050.1010+0.3

13、02.450=36.05l=3：p1f1(x0)c(3|1)+p2f2(x0)c(3|2) =0.050.10200+0.650.63100=41.95由于由于l=2时为最小值，故时为最小值，故将将x0判为判为2。6.4 费希尔判别费希尔判别费希尔判别（或称（或称典型判别典型判别）的基本思想是投影（或降）的基本思想是投影（或降维）：用维）：用p 维向量维向量 的少数几个线性组合的少数几个线性组合（称为（称为判别式判别式或或典型变量典型变量） （一般（一般r明显小于明显小于p）来代替原始的）来代替原始的p 个变量个变量x1,x2, ,xp ，以达到降维的目的，并根据这以达到降维的目的，并根据这r

14、 个判别式个判别式y1,y2, ,yr对样品对样品的归属作出判别。成功的降维将使判别更为方便和有效，的归属作出判别。成功的降维将使判别更为方便和有效，且可对前两个或前三个判别式作图，从直观的几何图形上且可对前两个或前三个判别式作图，从直观的几何图形上区别各组。区别各组。12,px xxx1122,rryyya xa xa x一个说明性的二维例子费希尔判别费希尔判别需假定需假定1=2= =k=。设来自组设来自组i的的p维观测维观测值为值为xij，j=1,2, ,ni，i=1,2, ,k，记记式中式中则则b是组间平方和及交叉乘积和是组间平方和及交叉乘积和，e是组内平方和及交是组内平方和及交叉乘积和

15、，叉乘积和，sp是是的联合无偏估计。的联合无偏估计。111111ikiiiinkkiiijiijiiijpnnnkbxxxxesxxxxse11111,inkkiijiiijiiinnnnnxxxx设设e1b的全部非零特征值依次为的全部非零特征值依次为12 s0，其中的非零，其中的非零特征值个数特征值个数smin(k1,p)相应的特征向量依次记为相应的特征向量依次记为t1,t2, ,ts（标准化为标准化为tispti=1, i=1,2, ,s），称，称y1=t1x为为第一判别式第一判别式，y2=t2x为为第第二二判别判别式式。一般地，称一般地，称yi=tix为为第第i判别式判别式，i=1,2,

16、 ,s。由由smin(k1,p)知，组数知，组数k=2时只有一个判别式，时只有一个判别式，k=3时最多时最多只有两个判别式，判别式的个数不可能超过原始变量的个只有两个判别式，判别式的个数不可能超过原始变量的个数数p。特征值特征值i表明了第表明了第i判别式判别式yi对区分各组的贡献大小，对区分各组的贡献大小，yi的贡献的贡献率为率为1siii而前而前r(s)个判别式个判别式y1,y2, ,yr的累计贡献率为的累计贡献率为它表明了它表明了y1,y2, ,yr的判别能力。的判别能力。在实际应用中，如果前在实际应用中，如果前r个判别式的累计贡献率已达到了一个个判别式的累计贡献率已达到了一个较高的比例较

17、高的比例(如如75%95%)，则可采用这，则可采用这r个判别式个判别式做做判别。判别。判别规则判别规则为为其中其中 ，i=1,2, ,k 。该判别规则。该判别规则也可表也可表达为达为11rsiiii 22111minrrljljjiji kjjxyyyy , , 若若11inijjiiijjiyt xxxn ,=,= 22111minrrljljii kjjxtxxtxx , , 若若如果只使用一个判别式进行判别（即如果只使用一个判别式进行判别（即r=1），则），则以上判别规则以上判别规则可简化为可简化为式中式中y和和 (i=1,2, ,k)分别是分别是前面判别规则中前面判别规则中的的y1和和

18、 (i=1,2, ,k)。有时我们也使用有时我们也使用中心化的费希尔判别式中心化的费希尔判别式，即，即式中式中 为为k个组的总均值。仍使用个组的总均值。仍使用同上的判别规则同上的判别规则进行判别。进行判别。对于两组的判别，费希尔判别等价于协方差矩阵相等的距离判对于两组的判别，费希尔判别等价于协方差矩阵相等的距离判别，也等价于协方差矩阵相等且先验概率和误判代价也均相别，也等价于协方差矩阵相等且先验概率和误判代价也均相同的贝叶斯判别。同的贝叶斯判别。1minllii kxyyyy , , 若若iy1iy ,1,2,iiytxxis 111inkijijxxn= =例例10费希尔于费希尔于1936年

19、发表的鸢尾花年发表的鸢尾花(iris)数据被广泛地作数据被广泛地作为判别分析的例子。数据是对为判别分析的例子。数据是对3种鸢尾花：刚毛种鸢尾花：刚毛鸢尾花鸢尾花(第第组组)、变色鸢尾花、变色鸢尾花(第第组组)和弗吉尼亚和弗吉尼亚鸢尾花鸢尾花(第第组组)各抽取一个容量为各抽取一个容量为50的样本，测的样本，测量其花萼长量其花萼长(x1)、花萼宽、花萼宽(x2)、花瓣长、花瓣长(x3)、花瓣、花瓣宽宽(x4)，单位为，单位为mm，数据列于，数据列于下下表表编号编号组别组别x1x2x3x4编号编号组别组别x1x2x3x41503314276582751192642856227757294213365

20、28461578723058164673156247954341545632851158052411516463414381713059217693151238264315518862224515836030481895932481884632956181046361028549243310 665630451514155234013675827411014266304414685034164143682848146946321421445434172706029451514551371547157263510146523515272574415414758285124735036142148

21、6730501774773061231496333602575633456241505337152 鸢尾花数据鸢尾花数据本题中，本题中，n1=n2=n3=50，n=n1+n2+n3=150。经计算经计算1233150.0659.3665.8834.2827.7029.74,14.6242.6055.522.4613.2620.2658.43330.573137.58011.993iiinnxxxxx316321.2131995.26716524.8407127.9331995.2671134.4935723.9602293.26716524.8405723.96043710.28018677.

22、4007127.9332293.26718677.4008041.333iiiinbxxxx3113895.6201363.0002462.460564.5001363.0001696.200812.080480.8402462.460812.0802722.260627.180564.500480.840627.180615.660inijiijiijexxxxe1b的正特征值个数的正特征值个数smin(k1,p)=min(2,4)=2，可求得两，可求得两个正特征值个正特征值1=32.192， 2=0.285相应的标准化特征向量相应的标准化特征向量00000013. 581. 818.112

23、3.4595.5622.17814.9656.3 88. 772.94321.5129.1421 .4973.4227.54911.846e b 0 00 0000000 00012. 83.2.153.216.22. 93.281.284tt , ,所以，中心化的费希尔判别式为所以，中心化的费希尔判别式为判别式的组均值为判别式的组均值为对于任一样品对于任一样品x，可按下式进行判别：，可按下式进行判别： 120 00000000 00000 0001123421234. 8358.433.1533 .573.2237.58.28111.993.258.433.2163 .573. 9337.5

24、8.28411.993ytxxxxxxytxxxxxx 11000021311222327.6 81.8255.783.215.728.513yyyyyy , , , , , 22223111minljljjijijjxyyyy , , 若若由于由于n1,n2,n3都很大，因此用都很大，因此用第一种第一种估计误判概率的效果还是不估计误判概率的效果还是不错的，判别情况列于错的，判别情况列于下下表表2。所以所以这些误判概率是比较低的。这些误判概率是比较低的。判别为判别为真实组真实组500004820149 判别情况判别情况 0000 00100 002|13|121|23|2. 451|32|3.

25、 25pppppp, , , ,我们可以将样本中我们可以将样本中150个样品的判别式得分个样品的判别式得分(y1,y2)作一散作一散点图，点图，下下图是图是sas9.1的输出结果。图中，的输出结果。图中，can1,can2分分别是指别是指y1,y2。组。组、组、组和组和组的点分别用的点分别用“1”、“2”和和“3”标出，有标出，有7个点隐藏在图中，因与图中某些点的位置个点隐藏在图中，因与图中某些点的位置几乎重叠而未能标出。几乎重叠而未能标出。从图中可见，分离的效果相当好。对于一个新样品从图中可见，分离的效果相当好。对于一个新样品x0，可以用可以用目测法从直觉上辨别目测法从直觉上辨别其所归属的组

26、其所归属的组。需要指出的。需要指出的是，对图形的目测法是费希尔判别的主要价值所在，图是，对图形的目测法是费希尔判别的主要价值所在，图中常常能反映出计算中无法得到的丰富信息，从而可能中常常能反映出计算中无法得到的丰富信息，从而可能会更有效地进行判别。会更有效地进行判别。鸢尾花数据两个判别式得分的散点图鸢尾花数据两个判别式得分的散点图第五节 实例分析与计算机实现这一节我们利用这一节我们利用spss对对fisher判别法和判别法和bayes判别法进行判别法进行计算机实现。计算机实现。为研究某地区人口死亡状况，已按某种方法将为研究某地区人口死亡状况，已按某种方法将15个已知地个已知地区样品分为区样品分

27、为3类，指标含义及原始数据如下。试建立判别类，指标含义及原始数据如下。试建立判别函数，并判定另外函数，并判定另外4个待判地区属于哪类？个待判地区属于哪类？ x1 ： 0岁组死亡概率岁组死亡概率 x 4 ： 55岁组死亡概率岁组死亡概率 x 2 ：1岁组死亡概率岁组死亡概率 x5 ： 80岁组死亡概率岁组死亡概率 x 3 ： 10岁组死亡概率岁组死亡概率 x6 ： 平均预期寿命平均预期寿命 表表1 各地区死亡概率表各地区死亡概率表 (一一) 操作步骤操作步骤1. 在在spss窗口中选择窗口中选择analyzeclassifydiscriminate，调，调出判别分析主界面，将左边的变量列表中的出

28、判别分析主界面，将左边的变量列表中的“group”变量选变量选入分组变量中，将入分组变量中，将变量选入自变量中，并选择变量选入自变量中，并选择enter independents together单选按钮，即使用所有自变量进行判单选按钮，即使用所有自变量进行判别分析。别分析。图图2 判别分析主界面判别分析主界面2. 点击点击define range按钮，定义分组变量的取值范围。本例按钮，定义分组变量的取值范围。本例中分类变量的范围为中分类变量的范围为1到到3，所以在最小值和最大值中分别输，所以在最小值和最大值中分别输入入1和和3。单击。单击continue按钮，返回主界面。按钮，返回主界面。3

29、. 单击单击statistics按钮，指定输出的描述统计量和判别函数按钮，指定输出的描述统计量和判别函数系数。选中系数。选中function coefficients栏中的栏中的fishers和和unstandardized。这两个选项的含义如下：。这两个选项的含义如下： fishers：给出：给出bayes判别函数的系数。（注意：这个选项判别函数的系数。（注意：这个选项不是要给出不是要给出fisher判别函数的系数。这个复选框的名字之所判别函数的系数。这个复选框的名字之所以为以为fishers，是因为按判别函数值最大的一组进行归类这，是因为按判别函数值最大的一组进行归类这种思想是由种思想是由

30、fisher提出来的。这里极易混淆，请读者注意辨提出来的。这里极易混淆，请读者注意辨别。）别。） unstandardized：给出未标准化的：给出未标准化的fisher判别函数（即典型判别函数（即典型判别函数）的系数（判别函数）的系数（spss默认给出标准化的默认给出标准化的fisher判别函判别函数系数）。数系数）。单击单击continue按钮，返回主界面。按钮，返回主界面。图3 statistics子对话框4. 单击单击classify按钮，定义判别分组参数和选择输出结按钮，定义判别分组参数和选择输出结果。选择果。选择display栏中的栏中的casewise results，输出一个判

31、别，输出一个判别结果表，包括每个样品的判别分数、后验概率、实际组结果表，包括每个样品的判别分数、后验概率、实际组和预测组编号等。其余的均保留系统默认选项。单击和预测组编号等。其余的均保留系统默认选项。单击continue按钮。按钮。图图4 classify子对话框子对话框5. 单击单击save按钮，指定在数据文件中生成代表判别分组结按钮，指定在数据文件中生成代表判别分组结果和判别得分的新变量，生成的新变量的含义分别为：果和判别得分的新变量，生成的新变量的含义分别为： predicted group membership：存放判别样品所属组别的：存放判别样品所属组别的值；值； discrimin

32、ant scores：存放：存放fisher判别得分的值，有几个判别得分的值，有几个典型判别函数就有几个判别得分变量；典型判别函数就有几个判别得分变量； probabilities of group membership：存放样品属于各组的：存放样品属于各组的bayes后验概率值。后验概率值。将对话框中的三个复选框均选中，单击将对话框中的三个复选框均选中，单击continue按钮返回。按钮返回。6. 返回判别分析主界面，单击返回判别分析主界面，单击ok按钮，运行判别分析按钮，运行判别分析过程。过程。图图5 save子对话框子对话框（二）（二） 主要运行结果解释主要运行结果解释1. standa

33、rdized canonical discriminant function coefficients（给出标准化的典型判别函数系数）（给出标准化的典型判别函数系数） 标准化的典型判别函数是由标准化的自变量通过fisher判别法得到的，所以要得到标准化的典型判别得分，代入该函数的自变量必须是经过标准化的。2. canonical discriminant function coefficients（给出未标（给出未标准化的典型判别函数系数）准化的典型判别函数系数） 未标准化的典型判别函数系数由于可以将实测的样品观测值直接代入求出判别得分，所以该系数使用起来比标准化的系数要方便一些。见表2（a）

34、。 由此表可知，两个由此表可知，两个fisher判别函数分别为：判别函数分别为： 实际上两个函数式计算的是各观测值在各个维度上的坐实际上两个函数式计算的是各观测值在各个维度上的坐标，这样就可以通过这两个函数式计算出各样品观测值标，这样就可以通过这两个函数式计算出各样品观测值的具体空间位置。的具体空间位置。 1123456212345674.991.8611.6560.8770.7980.0981.57929.4820.8671.1550.3560.0890.0540.69yxxxxxxyxxxxxx 表表2（a） 未标准化的典型判别函数系数未标准化的典型判别函数系数3. functions a

35、t group centroids（给出组重心处的（给出组重心处的fisher判别函数值）判别函数值） 如表2 (b) 所示，实际上为各类别重心在空间中的坐标位置。这样，只要在前面计算出各观测值的具体坐标位置后，再计算出它们分别离各重心的距离，就可以得知它们的分类了。functions at group centroids-2.5941.0139.194-.257-6.600-.756group1.002.003.0012functionunstandardized canonical discriminantfunctions evaluated at group means表表2（b） 组

36、重心处的组重心处的fisher判别函数值判别函数值 4. classification function coefficients（给出（给出bayes判别函判别函数系数）数系数）如表3所示，group栏中的每一列表示样品判入相应列的bayes判别函数系数。在本例中，各类的bayes判别函数如下：第一组：第二组：第三组： 11234565317.2143.9153.190.153.011.0189.3fxxxxxx 21234566202.2164.7171.2100.062.512.1207.0fxxxxxx 31234564982.9134.9144.585.950.010.5181.7f

37、xxxxxx 将各样品的自变量值代入上述三个将各样品的自变量值代入上述三个bayes判别函数，得到三判别函数，得到三个函数值。比较这三个函数值，哪个函数值比较大就可以个函数值。比较这三个函数值，哪个函数值比较大就可以判断该样品判入哪一类。例如，将第一个待判样品的自变判断该样品判入哪一类。例如，将第一个待判样品的自变量值分别代入函数，得到：量值分别代入函数，得到： f1=3793.77， f2=3528.32， f3=3882.48 比较三个值，可以看出最大，据此得出第一个待判样品应比较三个值，可以看出最大，据此得出第一个待判样品应该属于第三组。该属于第三组。classification fun

38、ction coefficients-143.851-164.691-134.862153.137171.185144.462-90.088-99.976-85.94553.00962.52549.97211.00812.09410.520189.261207.003181.714-5317.234-6202.158-4982.880x 1x 2x 3x 4x 5x 6(constant)1.002.003.00g ro u pfishers linear discriminant functions表表3 bayes判别法的输出结果判别法的输出结果5. casewise statistics（给出个案观察结果）（给出个案观察结果） 在casewise statisti