模式识别-Bayes决策方法

1、模模式识别式识别Pattern Classification第三章第三章: Bayes决策方法决策方法Bayes决策方法决策方法原理根据Bayes决策理论，由先验知识来推断后验概率保证错误概率最小或风险最小3Applied Pattern Recognition CSE616Bayes决策方法决策方法先验知识先验概率P(i )类概率密度P( X / i ) 1)(1ciiP1)/(dxXPi4Applied Pattern Recognition CSE616Bayes决策方法决策方法根据考虑问题的角度Bayes决策法最小错误概率的Bayes决策法最小风险的Bayes决策法5Applied P

2、attern Recognition CSE616最小错误概率的最小错误概率的Bayes决策决策一维二类情况设两类模式分别1 和2，其类概率密度分别为P(x / 1)和 P(x / 2),先验概率为P(1)和 P(2)P ( x / 1 )P ( x / 2 ) x 6Applied Pattern Recognition CSE616最小错误概率的Bayes决策一维二类情况显然：由Bayes公式（联合概率密度知）：1)/(1)/(21dxxPdxxP)()/()()/(),(1111xPxPPxPxP7Applied Pattern Recognition CSE616一维二类情况则后验概率

3、同理可得 其中最小错误概率的Bayes决策)()()/()/(111xPPxPxP)()()/()/(222xPPxPxP)()/()()/()(2211PxPPxPxP8Applied Pattern Recognition CSE616最小错误概率的Bayes决策一维二类情况合理的决策为：对待识样本x 若P( 1 / x ) P( 2 / x ) ，则判x1类若P( 2 / x ) P( 1 / x ) ，则判x类9Applied Pattern Recognition CSE616最小错误概率的Bayes决策一维二类情况上述决策等价于：对待识样本x 若P(x / 1) P( 1 ) P(

4、 x / 2 ) P( ) ，则判x1类若P(x / 2) P( 2 ) P( x / 1 ) P( 1 ) ，则判x类即由先验知识推断后验概率10Applied Pattern Recognition CSE616最小错误概率的Bayes决策一维二类情况或： ，则判 x1 类上述分类准则称为Bayes决策准则)()()/()/(1221PPxPxP似然比似然比11Applied Pattern Recognition CSE616最小错误概率的Bayes决策特殊情况下，若P( 1 ) = P( ) ，则分类决策完全由类概率密度函数决定。 即： 若P( x / 1) P( x / 2 ) ，

5、则判x1类 若P( x / 2) P( x / 1 ) ， 则判x类12Applied Pattern Recognition CSE616最小错误概率的Bayes决策以鱼自动分类为例，假设仅选取鱼的长度作为特征，则两类鱼的类概率密度函数P(x / 1) 和 P( x / 2 ) 如下：13Applied Pattern Recognition CSE616最小错误概率的Bayes决策类概率密度来源来统计直方图类概率密度来源来统计直方图鲈鲈 鱼鱼鲑鲑 鱼鱼14Applied Pattern Recognition CSE616最小错误概率的Bayes决策两条曲线描述了两类鱼的长度区别概率密度函

6、数已归一化，因此每条曲线下的面积为，即：1)/(1)/(21dxxPdxxP15Applied Pattern Recognition CSE616最小错误概率的Bayes决策若先验概率P( 1 ) =2/3，P( )=1/3，则其后验概率P( 1 / x ) 和 P( 2 / x )如下图所示特征值特征值x=14的模式如何分的模式如何分类？类？0.920.0816Applied Pattern Recognition CSE616最小错误概率的Bayes决策错误概率最小？错误概率P ( x / 1 ) P ( 1 )P ( x / 2 ) P ( 2 ) x R1R221)()/()()/(

7、1122RRedxPxPdxPxPP17Applied Pattern Recognition CSE616最小错误概率的Bayes决策错误概率最小？无论判别从哪个方向调整，均导致错误概率的增加！P ( x / 1 ) P ( 1 )P ( x / 2 ) P ( 2 ) x R1R218Applied Pattern Recognition CSE616最小错误概率的Bayes决策多类多维情况 设= 1， 2， ， c 是 C 个类别状态的有限集合，X = x1， x2， ， xd T 是 d 维特征向量， P( x / i ) 为第 i 类的类概率密度函数，P( i ) 为第 i 类的先验

8、概率，则有： 其中)()()/()/(XPPXPXPiiiCiiiPXPXP1)()/()(19Applied Pattern Recognition CSE616最小错误概率的Bayes决策多类多维情况Bayes决策准则为：类则判其中或若ijjiiji：CjPXPPXPXPXP , 2 , 1,)()/(max)()/(:)/(max)/(:20Applied Pattern Recognition CSE616最小错误概率的Bayes决策举例 设某地区细胞识别中正常(1)和异常(2) 两类的先验概率分别为： P(1)=0.9 P(2)=0.1 且知1和2 两类的类概率密度函数为P(x/1)

9、和P(x/2) 现有一待识细胞其特征值为x，从概率密度函数曲线查得： P(x/1)=0.2 P(x/2)=0.4 试用Bayes决策准则对待识样本进行分类。21Applied Pattern Recognition CSE616最小错误概率的Bayes决策解：P(x/1) P(1)=0.20.9=0.18P(x/2) P(2)=0.10.4=0.04可见： P(x/1) P(1 P(x/2) P(2)由Bayes决策准则得： x 1 类，为正常细胞22Applied Pattern Recognition CSE616最小风险（损失）的Bayes决策损失的概念基于最小错误概率的Bayes决策，

10、仅考虑如何保证错误概率最小，而未考虑决策所带来的损失。例如： 自动灭火系统，乙肝诊断，鱼的分类等，则应考虑错判造成的损失。可利用决策论的理论和方法来解决上述问题。23Applied Pattern Recognition CSE616最小风险（损失）的Bayes决策损失的概念设=1， 2， ， c 表示 c 个有限的类别状态的集合， A=a1， a2， ， ak 表示 k 个有限的决策（行为）的集合则定义 为模式自然状态为j 时，采取决策 ai 所造成的损失)/(jia24Applied Pattern Recognition CSE616最小风险（损失）的Bayes决策损失的概念例如，对于细

11、胞正常或异常的分类问题，可得如下损失表1（正常）2（异常）a1（正常）11 = 0 12 = 10a2 （异常）21 = 222 = 0自然状态自然状态损失损失决策决策25Applied Pattern Recognition CSE616最小风险（损失）的Bayes决策风险函数（损失函数）设P(j)是自然状态为j的先验概率， X为d维特征向量，则由Bayes决策理论知，后验概率：由于每一类后验概率P( X )均相同，可将其视为一标量因子)()/()()()/()/(jjjjjPXPXPPXPXP26Applied Pattern Recognition CSE616最小风险（损失）的Baye

12、s决策风险函数（损失函数）假定我们观测某个特定模式 X 并且采取行为 ai ，如果真实的类别状态为j ，通过定义我们将有损失 (ai /j)显然，与行为 ai 相关的总的损失为)()/()/()/()/()/(11jcjjjicjjjiiPXPaXPaXaR27Applied Pattern Recognition CSE616最小风险（损失）的Bayes决策风险函数（损失函数）上式称为作出决策ai 的风险函数，简记为：cjjjiiXPaXaR1)/()/()/(cjXPXRcjjjii,.,2 , 1)/()(128Applied Pattern Recognition CSE616最小风险

13、（损失）的Bayes决策决策过程当待识样本 X 到来时，将其判为各类所带来的风险分别为R1(X)， R2(X) ， ， Rc(X) 则基于最小风险的Bayes决策准则为： 类则判其中或若ijjijiji：CjPXPXRXRXR , 2 , 1,)()/(min)(:)(min)(:29Applied Pattern Recognition CSE616最小风险（损失）的Bayes决策问题：如何合理、科学、准确地定义ij ?带有主观因素30Applied Pattern Recognition CSE616最小风险（损失）的Bayes决策特殊情况：两类问题 则基于最小风险（损失）的Bayes决策

14、为： 若R1(X) R2(X)，则 判 X 1 类)()/()()/()()()/()()/()(222211212221211111PXPPXPXRPXPPXPXR31Applied Pattern Recognition CSE616最小风险（损失）的Bayes决策特殊情况：两类问题上述决策等价于：对待识样本x若：，则判 x1 类 aPPXPXP)()()()()/()/(111212221221似然比似然比32Applied Pattern Recognition CSE616最小风险（损失）的Bayes决策33Applied Pattern Recognition CSE616最小风险

15、（损失）的Bayes决策特殊情况：两类问题 若： 12 -22 = 21 -11，即对称损失，则最小风险Bayes决策与最小错误概率Bayes决策是等价的。 34Applied Pattern Recognition CSE616最小风险（损失）的Bayes决策例： 1(乙肝) 2(健康) P(1)=0.05 P(2)=0.95 P(x/1) =0.5 P(x/2) =0.2 11 = 22 =0， 12 = 1，21 =10 试分别用最小风险和最小错误概率Bayes决策对模式X分类35Applied Pattern Recognition CSE616最小风险（损失）的Bayes决策解：最小

16、错误概率Bayes决策 P(x/1) P(1)=0.050.5=0.025 P(x/2) P(2)=0.20.95=0.19 可见： P(x/1) P(1） gj(x) j i则判待识样本 x 属于 i类42Applied Pattern Recognition CSE616分类器、判别函数与判别界对最小错误概率Bayes决策 gi(x) = P( i / x) 或 gi(x) = P(x / i) P( i) gi(x) = ln P(x / i) + ln P( i) 对最小风险Bayes决策 gi(x) = - R(i / x)43Applied Pattern Recognition

17、CSE616分类器、判别函数与判别界基于判别函数的分类器基于判别函数的分类器44Applied Pattern Recognition CSE616分类器、判别函数与判别界上述判别函数将特征空间划分为c 个判别区域 R1 , R2 , , Rc 各个判别区域满足： 如果 gi(x) gj(x) j i 则 x 位于判别区域 Ri45Applied Pattern Recognition CSE616分类器、判别函数与判别界R1R2R3R4g1(X)g4(X)g3(X)g2(X)46Applied Pattern Recognition CSE616分类器、判别函数与判别界两类情况分类器仅需考虑

18、两个判别函数g1(x)和 g2 (x) 定义：g(x) g1(x) g2(x)= P(x / 1) P( 1) - P(x / 2) P( 2 ) 基于判别函数的决策为： 如果 g(x) 0，则 x 属于 1 类; 若 g(x) 0， 则 x 属于 2 类 47Applied Pattern Recognition CSE616分类器、判别函数与判别界两类情况g(X)0g(X)048Applied Pattern Recognition CSE616正态分布条件下的Bayes决策 一维正态分布 均值： 方差： 一维正态分布可以简写为： 221exp 21)(xxPdxxxpxE)(dxxpxx

19、E)()()(222),()(2Nxp49Applied Pattern Recognition CSE616正态分布条件下的Bayes决策一维正态分布的统计特性 95%的样本落在 2 范围内99%的样本落在 3 范围内越小，样本分布越集中，反之越发散1)(dxxp50Applied Pattern Recognition CSE616正态分布条件下的Bayes决策一维正态分布一维正态分布51Applied Pattern Recognition CSE616正态分布条件下的Bayes决策多维正态分布 设 d 维特征向量 则 d 维正态分布定义为：简记为：TdxxxX,21)()(21exp)

20、2(1)(1212XXXpTd),()(NXp52Applied Pattern Recognition CSE616正态分布条件下的Bayes决策多维正态分布其中： 称为均值向量，反映了样本在d维特征空间的重心位置。 21XEd53Applied Pattern Recognition CSE616正态分布条件下的Bayes决策多维正态分布 i 反映了样本在特征空间第 i 个方向的重心位置iiiiidxxpxxE)(diiidxdxdxdxdxXpxp1121)()(边缘概率分布边缘概率分布54Applied Pattern Recognition CSE616正态分布条件下的Bayes决策

21、多维正态分布 称为协方差矩阵。)(222212222222121212211TddddddXXE55Applied Pattern Recognition CSE616正态分布条件下的Bayes决策jijijjiijjiiijdxdxxxpxxxxE),()()(2多维正态分布 当i=j时， ij反映样本在d维特征空间各方向的发散程度；当ij时， ij反映各特征间的统计相关性。 56Applied Pattern Recognition CSE616正态分布条件下的Bayes决策设各类样本的类概率密度均满足正态分布，即根据最小错误概率Bayes决策准则有：若判别函数 则判 x i )()(21

22、exp)2(1)/(1212iiTiidiXXXp)()/(max)()/()(jjiiipXppXpXg57Applied Pattern Recognition CSE616正态分布条件下的Bayes决策 为了分析方便，现取判别函数的自然对数（单调增函数），即令： 下面分三种情况进行讨论)(ln)()(21ln212ln2)(ln)/(ln)()/(ln)(1iiiTiiiiiiipXXdpXppXpXg58Applied Pattern Recognition CSE616正态分布条件下的Bayes决策情况一各类协方差矩阵相同， i j 各特征统计独立，即：， ij且，i=j 即02ij

23、22ij22200000059Applied Pattern Recognition CSE616正态分布条件下的Bayes决策情况一此时，且其中：I2I211100010001I单位矩阵单位矩阵60Applied Pattern Recognition CSE616正态分布条件下的Bayes决策情况一则判别函数：此时的Bayes决策等价为：若要将待识样本X进行分类，则只需计算X到各类样本均值向量i 的欧氏距离，再将X归类到距离最近的类别，此时的分类器称为最小距离分类器。)(ln2)(ln2)()()(222iiiiTiipXpXXXg欧氏距离欧氏距离61Applied Pattern Rec

24、ognition CSE616正态分布条件下的Bayes决策情况一均值向量均值向量 均值向量均值向量 2 待识样本待识样本 最小距离分类器最小距离分类器62Applied Pattern Recognition CSE616正态分布条件下的Bayes决策022 )(ln)2(21 )(ln2)()()(iTiiiTiTiTiiTiiXpXXXpXXXg情况一由于：XXTiTi21与类别与类别无关，无关，可不考可不考虑虑0i63Applied Pattern Recognition CSE616正态分布条件下的Bayes决策情况一故：称gi(x)为线性判别函数，相应的分类器为线性分类器。0)(i

25、TiiXXg64Applied Pattern Recognition CSE616正态分布条件下的Bayes决策情况一)()(jipp65Applied Pattern Recognition CSE616情况一)()(jipp66Applied Pattern Recognition CSE616正态分布条件下的Bayes决策情况二各类方差相同，即 则 其中 称为样本X与正态分布模式类的马氏距离（Mahalanobis距离）。 当待识别的样本X到来时，分别计算样本X与各个模式类的马氏距离，并将X分类到马氏距离最近的模式类中。 ji)(ln)()(21)(1iiTiipXXXg)()(1iTiXX67Applied Pattern Recognition CSE616正态分布条件下的Bayes决策情况二可以证明，此时判别函数仍满足线性关系，即：分类器仍为线性分类器0)(iTiiXxg68Applied Pattern Recognition CSE616正态分布条件下的Bayes决策情况三各类协方差矩阵各不相同，即：分类器为非线性分类器（二次型分类器）01)(ln)()(21ln21)(iTiiTiiiTiiiXXAXpXXXg69Applied Pattern Re