ch贝叶斯分类学习教案

1、会计学1ch贝叶斯分类贝叶斯分类第一页，编辑于星期六：一点 四十九分。第二章第二章 贝叶斯决策理论贝叶斯决策理论n2.1 引言引言n2.2 基于最小错误率的基于最小错误率的Bayes决策决策n2.3 基于最小风险的基于最小风险的Bayes决策决策n2.4 正态分布的最小错误率正态分布的最小错误率Bayes决策决策n2.5 Neuman-Pearson 决策决策 n2.6 最小最大决策最小最大决策 第1页/共72页第二页，编辑于星期六：一点 四十九分。2.1 引言第2页/共72页第三页，编辑于星期六：一点 四十九分。2.1 引言第3页/共72页第四页，编辑于星期六：一点 四十九分。2.1 引言第

2、4页/共72页第五页，编辑于星期六：一点 四十九分。医生掌握的知识非常充分，他知道类别的先验分布：先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布。2.1 引言n数学表示：用数学表示：用 表示表示“类别类别”这一随机变量，这一随机变量， 表示患病，表示患病， 表示不患病；表示不患病；X 表示表示“白细胞浓白细胞浓度度”这个随机变量，这个随机变量，x 表示浓度值。表示浓度值。12第5页/共72页第六页，编辑于星期六：一点 四十九分。医生掌握的知识非常充分，他知道观测数据白细胞浓度分别在两种情况下的类条件分布：2.1 引言p(x|1)p(x|2)类条件概率密度函数第6页/共72页第七页，

3、编辑于星期六：一点 四十九分。2.1 引言第7页/共72页第八页，编辑于星期六：一点 四十九分。( )(| )iigPxxn以以后验概率后验概率为判决函数：为判决函数：n决策规则：决策规则：argmax(| )iijPx2.2 Bayes最小错误率决策若 P (1 / x) P (2 / x) 则判 x 1 若 P (2 / x) P (1 / x) 则判 x 2第8页/共72页第九页，编辑于星期六：一点 四十九分。(, )(| )( )() ( |) () ( |)iiiijjjPPpPpPpxxxxx第9页/共72页第十页，编辑于星期六：一点 四十九分。第10页/共72页第十一页，编辑于星

4、期六：一点 四十九分。11121() ( |)0.90.2(| )0.8180.90.20.1 0.4() ( |)jjjPpPPpxxx22221() ( |)0.40.1(| )0.1820.20.90.40.1() ( |)jjjPpPPpxxxargmax(| )1iijPx1x第11页/共72页第十二页，编辑于星期六：一点 四十九分。p(x|1)p(x|2)p(1|x)p(2|x)类条件概率密度函数后验概率2.2 Bayes最小错误率决策第12页/共72页第十三页，编辑于星期六：一点 四十九分。 第13页/共72页第十四页，编辑于星期六：一点 四十九分。2.2 Bayes最小错误率决

5、策第14页/共72页第十五页，编辑于星期六：一点 四十九分。第15页/共72页第十六页，编辑于星期六：一点 四十九分。二维时，决策边界为一曲线；三维时，决策边界为一曲面；d维(d3)时，决策边界为一超曲面。一维时，决策边界为一分界点； ( )( )ijg xgx 第16页/共72页第十七页，编辑于星期六：一点 四十九分。.x1x2xna(x)n多类识别问题的多类识别问题的Bayes最小错误率决策：最小错误率决策：gi(x) = P (i |x)第17页/共72页第十八页，编辑于星期六：一点 四十九分。( | )P e x( )( ( | )( | ) ( )P eE P eP epdxxxx（

6、平均）错误率是条件错误率的数学期望n（平均）错误率：（平均）错误率：第18页/共72页第十九页，编辑于星期六：一点 四十九分。n条件错误率条件错误率P(e|x)的计算:以两类问题为例，当获得观测值x后，有两种决策可能：判定 x1 ，或者x2。n条件错误率为：211122(| )1(| )( | )(| )1(| ) min (| ) xxxxxxxxiiPPP ePPP 若决定若决定第19页/共72页第二十页，编辑于星期六：一点 四十九分。1221( )(,)(,)P eP xRP xR212121() (|)() (|)PP xRPP xR1222112211() ( |)() ( |)()

7、( )()( )RRPp xdxPp xdxPP ePP e第20页/共72页第二十一页，编辑于星期六：一点 四十九分。t第21页/共72页第二十二页，编辑于星期六：一点 四十九分。nBayesBayes最小错误率决策最小错误率决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率最小。nBayesBayes决策决策是一致最优决策。第22页/共72页第二十三页，编辑于星期六：一点 四十九分。决策规则(| )argmax(| )xxijjPP如果 ，则xi错误率特种空间分割成 个区域，平均错误率由c(c-1)项组成。12,c 第23页/共72页第二十四页，编辑于星期六：一点 四十九分。决策

8、规则(| )argmax(| )xxijjPP如果 ，则xi错误率特种空间分割成 个区域，平均错误率由c(c-1)项组成。12,c 此时，可以计算平均正确分类概率 p(c), 则p(e) =1- p(c)第24页/共72页第二十五页，编辑于星期六：一点 四十九分。2.3 基于最小风险的Bayes决策第25页/共72页第二十六页，编辑于星期六：一点 四十九分。n损失的定义：(N类问题)做出决策 D(x) = ，但实际上 xj，受到的损失定义为：(,) 1,2, ,1,2,ijia jc i第26页/共72页第二十七页，编辑于星期六：一点 四十九分。argmin(| )argmin(,) (| )

9、xxijjjijjjRP 决策规则：2.3 基于最小风险的Bayes决策风险R（期望损失）：对x采取一个判决行动所付出的代价。条件风险（也叫条件期望损失）：11 2()()() (), ,., .ciijijjjRxEPx ia 第27页/共72页第二十八页，编辑于星期六：一点 四十九分。2.3 基于最小风险的Bayes决策第28页/共72页第二十九页，编辑于星期六：一点 四十九分。11222212211112( |)() ()( ) if ( |)() ()( ) otherwise p xPD xp xPD x等价形式为若 (21-11) p(x| 1) p(1) (12- 22) p(x

10、|2) p(2) ，则选择 1 11111222211222(| )(| )(| )(| )(| )(| )RxPxPxRxPxPx第29页/共72页第三十页，编辑于星期六：一点 四十九分。n按最小风险决策如何对细胞x进行分类？第30页/共72页第三十一页，编辑于星期六：一点 四十九分。21112212222111(| )(| )(| )1.092(| )(| )(| )0.818xxxxxxjjjjjjRPPRPPargmin(| )2xiijR第31页/共72页第三十二页，编辑于星期六：一点 四十九分。,1( , ) ,1,2,1( , ) 0i ji ji jNiji jij 决策正确时

11、，损失为0决策错误时，损失为1第32页/共72页第三十三页，编辑于星期六：一点 四十九分。第33页/共72页第三十四页，编辑于星期六：一点 四十九分。 222221()( )exp()22( )()()( )xp xE xxp x dxExxp x dx第34页/共72页第三十五页，编辑于星期六：一点 四十九分。1121/2/212121( )exp()()(2 )(,.,)( )(,.,) ,()()()()()()TnTnTniiTijn nijiijjpx xxEE xEExx xxxxxx x第35页/共72页第三十六页，编辑于星期六：一点 四十九分。第36页/共72页第三十七页，编辑

12、于星期六：一点 四十九分。( |)(,)1,2,.,iiipNicx11122( )ln( ( |) ()()()lnln ()ln22iiiTiiiiigpPdP xxxx判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略。第37页/共72页第三十八页，编辑于星期六：一点 四十九分。第38页/共72页第三十九页，编辑于星期六：一点 四十九分。2, ()(), ,1,2,.,iijI PPi jc n判别函数的简化计算：判别函数的简化计算：22211( )() ()22Tiiiig xxxx020221( )(2)211,2TTTiiiiiiTiiiiigww x x w xw 协方

13、差相等且具有相同的方差第39页/共72页第四十页，编辑于星期六：一点 四十九分。0()0Twxx1()ij w01()2ijx最小距离分类器与线性分类器2, ()(), ,1,2,.,iijI PPi jc 协方差相等且具有相同的方差第40页/共72页第四十一页，编辑于星期六：一点 四十九分。2, ()(), ,1,2,.,iijI PPi jc 协方差相等且具有相同的方差12WH时决策面)()(21PP124334H23H14H12H1121x2xHW20 x第41页/共72页第四十二页，编辑于星期六：一点 四十九分。,()(), ,1,2,.,iijPPi jc 协方差阵相等0()0Twx

14、x1()ij w01()2ijx第42页/共72页第四十三页，编辑于星期六：一点 四十九分。,()(), ,1,2,.,iijPPi jc n判别函数的简化计算：判别函数的简化计算：12( )()()( ,)Tiiiigm xxxx 0110( )1,2TiiiTiiiiigww xw xw协方差阵相等第43页/共72页第四十四页，编辑于星期六：一点 四十九分。1122ln( ( |) ()ln( ( |) ()pPpPxx11111211221()()02TTxxx第44页/共72页第四十五页，编辑于星期六：一点 四十九分。0( )TTiiiigWwxxxw x第45页/共72页第四十六页，

15、编辑于星期六：一点 四十九分。第46页/共72页第四十七页，编辑于星期六：一点 四十九分。第47页/共72页第四十八页，编辑于星期六：一点 四十九分。第48页/共72页第四十九页，编辑于星期六：一点 四十九分。第49页/共72页第五十页，编辑于星期六：一点 四十九分。第50页/共72页第五十一页，编辑于星期六：一点 四十九分。Bayes分类的算法（假定各类样本服从正态分布）第51页/共72页第五十二页，编辑于星期六：一点 四十九分。v例1、有训练集资料矩阵如下表所示，现已知，N=9、N1=5、N2=4、n=2、M=2，试问，X=(0,0)T应属于哪一类？1112131 1 0 1 1055()

16、,XX 训练样本号训练样本号k1 2 3 4 5 1 2 3 4 特征特征 x1特征特征 x21 1 0 -1 -1 0 1 0 -1 0 1 1 1 0-1 -2 -2 -2类别类别1 2 1111222122111211212122370054210033100104,( , ) ,( ,) .:,(TTTTXXXXXXCCCC 协协方方差差矩矩阵阵为为请请看看协协方方差差的的计计算算方方法法）解解1、假定二类协方差矩阵不等（、假定二类协方差矩阵不等（12） 则均值则均值:第52页/共72页第五十三页，编辑于星期六：一点 四十九分。51111111112222251112121212211

17、512122222112151110100010101410413410210033100104() ()()()()()()()(), ()(),TkkkTkkkTkkkCxxxxCxxxxCCCxxxx 协协方方差差矩矩阵阵为为(计计算算方方法法同同上上）1111212211221030310 592101060043540 22399,ln.():(),(),ln.()PPPP 先先验验概概率率第53页/共72页第五十四页，编辑于星期六：一点 四十九分。21111122121112221122102( )( )( )(xx )(xx )(xx )(xx )()lnln()TTg xgxg

18、 xPxP 利利用用公公式式：121221222212220 010 9100 01201810 9102313 5114 8112 88x(,)( , )( )., ( , )( ).(. ).TTTx xg xXg xxxxxx 将将代代入入得得：所所以以判判属属于于类类。令令得得分分界界线线方方程程为为：这这是是一一个个非非线线性性椭椭圆圆方方程程：1162. 0-1-1-2x2分类线1 2 待测样本x1第54页/共72页第五十五页，编辑于星期六：一点 四十九分。111121112212112 68020 0()( )(xx )x(xxxx )ln.()x( , )TTTTPg xP 故

19、故应应把把判判为为类类，得：所以代入Tx0 , 0,11200053,20110035121 22472 680110 61( ).g xxx 分分界界线线方方程程为为从从而而得得为为一一直直线线，如如图图中中虚虚线线所所示示1162. 0-1-1-2x2分类线1 2 待测样本x1第55页/共72页第五十六页，编辑于星期六：一点 四十九分。2.5 Neyman-Pearson 决策决策 0 0 第56页/共72页第五十七页，编辑于星期六：一点 四十九分。2.5 Neyman-Pearson 决策决策 n 这种决策可看成是在这种决策可看成是在 条件下，求条件下，求 的条件极小值问题的条件极小值问

20、题. 可采用拉格朗日乘数法求解可采用拉格朗日乘数法求解.20( )P e 1( )P eF = P1 ( e ) +(P2 ( e ) -0 )211( )()RP ep xdx 122( )()RP ep xdx 111()Rp xdx 10211 ()()()RFp xp xdx 11()()PP x 22()()PP x 1R2X1X12R第57页/共72页第五十八页，编辑于星期六：一点 四十九分。2.5 Neyman-Pearson 决策决策 n 这种决策可看成是在这种决策可看成是在 条件下，求条件下，求 的条件极小值问题的条件极小值问题. 可采用拉格朗日乘数法求解可采用拉格朗日乘数法

21、求解.20( )P e 1( )P e10211 ()()()RFp xp xdx 121,. FRPxPx 要要使使最最小小 应应使使积积分分为为负负因因此此在在区区域域内内应应使使， 1121112(,P xxRxP x 即即l l在在区区域域属属于于类类）第58页/共72页第五十九页，编辑于星期六：一点 四十九分。2.5 Neyman-Pearson 决策决策 n 这种决策可看成是在这种决策可看成是在 条件下，求条件下，求 的条件极小值问题的条件极小值问题. 可采用拉格朗日乘数法求解可采用拉格朗日乘数法求解.20( )P e 1( )P e01212() ()-()RFp xp xdx

22、第59页/共72页第六十页，编辑于星期六：一点 四十九分。2.5 Neyman-Pearson 决策决策 n 这种决策可看成是在这种决策可看成是在 条件下，求条件下，求 的条件极小值问题的条件极小值问题. 可采用拉格朗日乘数法求解可采用拉格朗日乘数法求解.20( )P e 1( )P e01212() ()-()RFp xp xdx 的求法:利用约束条件20 202122, (|)P ldl 第60页/共72页第六十一页，编辑于星期六：一点 四十九分。 121 01 0,TT 22121112212222111()expexp2222111()expexp2222TTxxxxP xxxxxP

23、x因为是两类正态所以同理：2.5 Neyman-Pearson 决策决策 解：第61页/共72页第六十二页，编辑于星期六：一点 四十九分。 1121112222:() exp()expexpP xxP xxxx 如如右右图图所所示示 判判别别边边界界为为： 判判别别式式为为：2.5 Neyman-Pearson 决策决策 112212ln, xxx 即即有有了了判判别别边边界界和和判判别别形形式式对对于于不不同同判判别别边边界界是是平平行行于于 的的不不同同直直线线。111x122x4 2 12141345. 07 . 0345. 07 . 0第62页/共72页第六十三页，编辑于星期六：一点

24、四十九分。2.5 Neyman-Pearson 决策决策 n 于是得与2的关系表如下： 4 2 1 20.04 0.09 0.16 0.25 0.38 2111 20 510 512/. lnexp. () d()xx 由已知,可计算得在 2中 x 1 N( 1, 1 ), 进一步可得第63页/共72页第六十四页，编辑于星期六：一点 四十九分。2.5 Neyman-Pearson 决策决策 n 所以此时N-P分类器的分界线为：112120 3452ln.xx 所所以以0112122010 09220 09.(),.()P xxP x 给给定定由由表表查查得得判判别别式式为为：此此时时上上式式使

25、使 最最小小这这就就是是在在给给定定 时时使使 最最小小的的判判别别规规则则。第64页/共72页第六十五页，编辑于星期六：一点 四十九分。2.6 最小最大决策最小最大决策 n从最小错误率和最小风险的贝叶斯决策中可以看出从最小错误率和最小风险的贝叶斯决策中可以看出,其决其决策都是与先验概率策都是与先验概率P(i)有关的有关的,当先验概率已知时当先验概率已知时,按照贝按照贝叶斯决策规则叶斯决策规则,可以使错误率或风险最小可以使错误率或风险最小,如果如果P(i)是可变的是可变的或事先对先验概率毫无所知或事先对先验概率毫无所知,就无法用贝叶斯决策就无法用贝叶斯决策.n本节介绍一种最小化最大风险的决策方

26、法本节介绍一种最小化最大风险的决策方法,也就是在最差也就是在最差的条件下的条件下,争取最好的结果争取最好的结果,我们将此方法简称我们将此方法简称最小最大决策最小最大决策.第65页/共72页第六十六页，编辑于星期六：一点 四十九分。2.6 最小最大决策最小最大决策 1212()iRRRPRRxx P x dxRxx P x dxRxx P x dx 风风险险 与与关关系系： 121111122221112222RRPP xPP xdxPP xPP xdx 21121111RRPPP xdxP xdx 对对二二类类情情况况有有：， 2212212222111222111112222RRRRP xdxPP xdxP xdx 第66页/共72页第六十七页，编辑于星期六：一点 四十九分。2.6 最小最大决策最小最大决策 121,().R RRP 一一旦旦被被确确定定，风风险险 就就是是的的线线性性函函数数 2211221222211222111112222RabPaP xdxbP xdxP xdx 其其中中：11()()PP x 22()()PP x 1R2X1X12R第67页/共72页第六十八页，编辑于星期六：一点 四十九分。2.6 最小最大决策最小最大决策 212112221111122222212222110:aP xdxP xdxRaP xdxRPPR 即即这这时时候