判别分析贝叶斯判别课件

1、判别分析贝叶斯判别1 第五章判别分析 判别分析贝叶斯判别2 判别分析是多元统计中用于判别样品所属类型 的一种统计分析方法。是一种在一些已知研究对象 用某种方法已经分成若干类的情况下，确定新的样 品的观测数据属于那一类的统计分析方法。 判别分析贝叶斯判别3 判别准则：判别准则： 用于衡量新样品与各已知组别接近程度的思路原则。 判别函数：判别函数： 基于一定的判别准则计算出的用于衡量新样品与各 已知组别接近程度的描述指标。 按照判别准则来分有 距离判别、费希尔判别与贝叶斯判别。 判别分析贝叶斯判别4 距离判别法 判别准则：对于任给一次观测值，若它与第 类 的重心距离最近，就认为它来自于第 类。 i

2、 i 马氏距离马氏距离 )()(),( 2 YXYXYXd 1 )()(),( 2 XXGXd 1 判别分析贝叶斯判别5 1 2 2 2 2 2 2 1 2 1 GdGdG GdGdG ，如， ，如， yyy yyy 1、协方差相等 两总体的距离判别 先考虑两个总体的情况，设有两个协差阵相同 的p维正态总体 和 ，对给定的样本Y Y，判别一个 样本Y Y到底是来自哪一个总体，一个最直观的想法是 计算Y Y到两个总体的距离。我们用马氏距离来指定判 别规则，有： 1 G 2 G 判别分析贝叶斯判别6 因此有 。）（如， ，）（如， 0 0 2 1 yy yy WG WG ）yyy()()(W )(

3、)( 111ppp yayay 2121 ,0GGGGWyyy相反则，则）（如果 2 21 其中),()( 21 p aaa 21 1 判别函数：判别函数： 判别分析贝叶斯判别7 2、当总体的协方差已知，但不相等、当总体的协方差已知，但不相等 1 2 2 2 2 2 2 1 2 1 GdGdG GdGdG ，如， ，如， yyy yyy )()()()( ),(),( 1 1 112 1 22 1 2 2 2 yyyy yyGdGd 判别分析贝叶斯判别8 3、当总体的协方差未知时，用样本的离差阵代替， 步骤如下： （1）分别计算各组的离差矩阵 和 ； （2）计算 （3）计算类的均值 （4）计算

4、 （5）计算 （6）生成判别函数，将检验样本代入，判类。 2 21 21 nn AA 2 , 21 21 1 21, )( 21 1 判别函数的系数 )( 2 21 1 21 ）判别函数的常数项（ 1 A 2 A 判别分析贝叶斯判别9 多总体的距离判别法多总体的距离判别法 )(min)( 22 XdXd i i l 则 l GX 设有 个 元总体 ，分别有均值向量 和协方 差阵 ，对任给的 元样品 ，判断它来自哪个总体 i k i k GG, 1 m mX 计算 到 个总体的马氏距离，比较后，把 判归给 距离最小的那个总体，若 XkX 判别分析贝叶斯判别10 错判概率错判概率 由上面的分析可以

5、看出，马氏距离判别法是合理的，但是这并 不意谓着不会发生误判。 )( 1 )(2)( 2 21 xxW 2 21 其中 设两总体 ， 分别服从 其线性判别函数为： A G B G 不妨设 ，则当 时， 21 x A GX 判别分析贝叶斯判别11 ) 2 ( ) 2 ( )( 21 22 2 21 22 2 XP XP XP ) 2 ( 2122 X P ) 2 (1 21 判别分析贝叶斯判别12 当两总体靠得比较近时，即两总体的均值 差异较小时，无论用何种判别方法，判错的概 率都比较大，这时的判别分析也是没有意义的， 因此只有当两总体的均值有明显差异时，进行 判别分析才有意义，为此，要对两总体

6、的均值 差异性进行检验. 练习：练习：P211:5-1P211:5-1 判别分析贝叶斯判别13 办公室新来了一个雇员小王，小王是好人还是坏 人大家都在猜测。按人们主观意识，一个人是好人或 坏人的概率均为0.5。坏人总是要做坏事，好人总是 做好事，偶尔也会做一件坏事，一般好人做好事的概 率为0.9，坏人做好事的概率为0.2，一天，小王做了 一件好事，小王是好人的概率有多大，你现在把小王 判为何种人。 贝叶斯判别法 一一 、标准的、标准的Bayes判别判别 判别分析贝叶斯判别14 做好事）坏人/(P 18. 0 2 . 05 . 09 . 05 . 0 2 . 05 . 0 做好事）好人/(P 8

7、2. 0 2 . 05 . 09 . 05 . 0 9 . 05 . 0 )/()()/( / 坏人做好事坏人好人做好事好人 好人做好事好人 PPPP PP )/()()/( / 坏人做好事坏人好人做好事好人 坏人做好事坏人 PPPP PP 判别分析贝叶斯判别15 一个好的判别方法，既要考虑到各个总体出 现的先验概率，又要考虑到错判造成的损失，贝 叶斯(Bayes)Bayes)判别就具有这些优点，其判别效果更 加理想，应用也更广泛。 贝叶斯公式是一个我们熟知的公式 )()|( )()|( )|( ii ii i BPBAP BPBAP ABP 距离判别简单直观，很实用，但是距离判别 的方法把总

8、体等同看待，没有考虑到总体会以不 同的概率(先验概率)出现，也没有考虑误判之后 所造成的损失的差异。 判别分析贝叶斯判别16 )( )( )|( 0 0 0 xfq xfq xGP jj ii i )( )( )|( 0 0 0 xfq xfq xGP jj ll l )( )( 0 0 1 max xfq xfq jj ii ki 则 判给 ，在正态的假定下， 为正态分布的 密度函数。 0 x l G)(xfi 设有总体 ， 具有概率密度函 数 。并且根据以往的统计分析，知道 出现的概 率为 。即当样本 发生时，求 属于某类的概率。 由贝叶斯公式计算后验概率，有： i G)(xfi i G

9、i q 0 x ), 2 , 1(kiGi 0 x 判别规则 判别分析贝叶斯判别17 ),(max)( 0 1 0 xfqxfq ii ki ll 则 判给 。 0 x l G )()( 2 1 exp )2( 1 )( )( 1 )( 21 i i i i i xxxf 若 )()( 2 1 exp )2( 1 )(, )( 1 )( 21 i i i i iii xxqxfq 则 上式两边取对数 下面讨论总体服从正态分布的情形 )(ln(xfq ii |ln 2 1 2ln 2 1 ln ii q)()( 2 1 )(1)(i i i xx 判别分析贝叶斯判别18 问题转化为若 ，则判 。

10、)(max)( 1 xZxZ i ki l l Gx 当协方差阵相等时 k 1 即 |ln 2 1 ln ii q)()( 2 1 )(1)(i i i xx )(xzi 去掉与i无关的项，等价的判别函数为： 判别函数退化为 判别分析贝叶斯判别19 ii qxzln)()( 2 1 (i)1(i) (x)x i qln2 2 1 )( (i)1(i) (x)x 令 ) (i)1(i) (x)(x ii qxFln2)( 问题转化为若 ，则判 。)(min)( 1 xPxP i ki l l Gx (i)1)(i1)(i x 2ln2)( ii qxP (i)1(i)(i)11(i)1 xxxx

11、 i qln2 令 判别分析贝叶斯判别20 xx 1)(i(i)1)(i 2 1 ln)( ii qm 完全成为距离判别法 。 令 )(xmi (i)1(i) 2 1 x 1(i) 有 ) 2 1 (ln2)(xx 1(i)(i)1(i) ii qP 问题转化为若 ，则判 。)(max)( 1 xmxm i ki l l Gx k qq k 1 1 当先验概率相等，即 时 判别分析贝叶斯判别21 二、 考虑错判损失的Bayes判别分析 设有总体 ， 具有概率密度函 数 。并且根据以往的统计分析，知道 出现 的概率为 ， 。 i G)(xfi i G i q ), 2 , 1(kiGi ) 1(

12、 1 k qq D1，D2， ，Dk是R(p)的一个分划，判别法则为： 关键的问题是寻找D1，D2， ，Dk分划，这 个分划应该使平均错判率最小。 i DX ki, 3 , 2 , 1当样品X落入Di时，判 判别分析贝叶斯判别22 【定义定义】（平均错判损失）（平均错判损失） j D iij dxxfGDXPijp)()/()/(ji C(j/i)表示相应错判所造成的损失。 则平均错判损失为： k iij i ijPijCqECM 1 )/()/( 使ECM最小的分划，是Bayes判别分析的解。 用 表示将来自总体Gi的样品错判到总体 Gj的条件概率。 )/(ijp 判别分析贝叶斯判别23 【

13、定理】 且相应的密度函数为 ，损失为 时， 划分的贝叶斯解为 kiqi, 3 , 2 , 1, )(xfi)/(ijC kihhD j kj ii , 3 , 2 , 1, )(min)(| 1 xxx k i iij fijCqh 1 )()/()(xx 若总体G1，G2，Gk的先验概率为 其中 判别分析贝叶斯判别24 含义是：当抽取了一个未知总体的样品值 x x，要判别它属于哪个总体，只要先计算出k个按先 验概率加权的误判平均损失 然后比较其大小，选取其中最小的，则判 定样品属于该总体。 k i iij fijCqh 1 )()/()(xx 下面在k=2的情形下，计算作为例子，我们讨论。

14、判别分析贝叶斯判别25 12 )()2/1 ()() 1/2( ),( 2211 21 DD dxxfCqdxxfCq DDECM dxxfCqdxxfCq DRD 11 )()2/1 ()() 1/2( 2211 1 )() 1/2() 1/2( 111 D dxxfCqCq 1 )()2/1 ( 22 D dxxfCq ) 1/2( 1C q 1 )() 1/2()()2/1 ( 1122 D dxxfCqxfCq 判别分析贝叶斯判别26 由此可见，被积函数在D1是负数时，可使ECM最小，则有分 划 0)() 1/2()()2/1 (| 11221 xfCqxfCqxD 0)() 1/2(

15、)()2/1 ( 1122 xfCqxfCq )2/1 ( ) 1/2( )( )( 1 2 2 1 Cq Cq xf xf Bayes判别准则为： dxvGx dxvGx )( )( 2 1 若 若 )( )( )( 2 1 xf xf xW ) 1/2( )2/1 ( 1 2 Cq Cq d 令 判别分析贝叶斯判别27 特别地，若 k i iij fijCqh 1 )()/()(xx ji ji ijC 0 1 )/( k ji iij fqh)()(xx k i jjiij fqfqh 1 )()()(xxx 越小 k i jjiij fqfqh 1 )()()(xxx越大)(x jj fq ),(max)( 1ki iill fqfq xx 则 判给 。与标准Bayes判别等价x l G 判别分析贝叶斯判别28 当错判概率 广义平方距离法广义平方距离法 ),()()()( 21 22 igigXdXD ii ki, 1 其中 定义样品X到总体Gi的广义平方距离为： 全相等；若各组的协方差阵， 不全相等，若各组的协方差阵 i ii 1 0 |,|ln )( S ig ji