模式识别-第二章 - 贝叶斯决策理论

第三讲贝叶斯决策理论参考书：中文教材：第二章p9-34，p42-432011-2012学年第二学期2第二章贝叶斯决策理论2.1引言2.2贝叶斯决策理论2.3最小错误率分类2.4最小风险决策2.5分类器、判别函数及决策面2.6正态密度2.7正态分布的判别函数2.8错误率与积分第三讲第四讲3知识点4学习目标是模式识别的重要理论基础，它用概率论的概念分析造成错分类和识别错误的根源，并说明与哪些量有关系。在这个基础上指出了什么条件下能使错误率最小。有时不同的错误分类造成的损失会不相同，因此如果错分类不可避免，那么有没有可能对危害大的错分类实行控制。将分类与计算某种函数联系起来，并在此基础上定义了一些术语，如判别函数、决策面(分界面)，决策域等，要正确掌握其含义。设计一个分类器的最基本方法——设计准则函数，并使所设计的分类器达到准则函数的极值，即最优解，要理解这一最基本的做法。5引言模式识别是一种分类问题，即根据识别对象所呈现的观察值，将其分到某个类别中去。统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器的设计起指导作用。贝叶斯决策理论是统计模式识别中的一个基本方法，

6引言统计模式识别中的一个基本方法基本思想：基于概率和决策代价进行分类决策基本假设问题可以用概率的形式来描述所有相关概率值已知7引言假设一个待识别的物理对象用其d个属性观察值描述，称之为d个特征，这组成一个d维的特征向量;而这d维待征所有可能的取值范围则组成了一个d维的特征空间。假设苹果的直径尺寸限定在7厘米到15厘米之间，它们的重量在3两到8两之间变化。如果直径长度x用厘米为单位，重量y以两为单位。那么，由x值从7到15，y值从3到8包围的二维空间就是对苹果进行度量的特征空间。8引言问题：已知总共有c类物体，各类在这d维特征空间的统计分布?具体说来是各类别ωi=1,2,…,c的先验概率P(ωi)及类条件概率密度函数p(x|ωi)已知的条件下，如何对某一样本按其特征向量进行分类的问题。观察到的某一样本的特征向量为X，而在c类中又有不止一类可能呈现这一X值，这种可能性可用P(ωi|X)表示。如何作出合理的判决就是贝叶斯决策理论所要讨论的问题。9引言在给出抽象的推导之前，我们首先从具体例子入手，仍以鱼的分类为例传送带上出现哪种鱼是随机的，在两类的假设下，则要么是鲈鱼，要么是马哈鱼引入符号ω来表示类别：ω=ω1鲈鱼ω=ω2

马哈鱼ω是随机变量10引言如果实际捕到的鲈鱼和马哈鱼的数量相等，则下次在传送带上出现鲈鱼和马哈鱼的可能性也相等更一般，引入先验概率P(ω)来表达这种可能性：P(ω1)——鲈鱼的先验概率P(ω2)——马哈鱼的先验概率

11引言

先验概率反映了在实际的鱼没有出现之前，我们所拥有的对于可能出现哪种鱼的先验知识。比如，我们可以根据季节的不同或捕鱼地点的不同对此做出判断。12引言如果仅有两种鱼，则P(ω1)＋P(ω2)＝1考虑仅用先验概率决策的话，会得到什么样的决策规则？13引言仅用先验概率的决策规则：Decideω1ifP(ω1)>P(ω2)

Otherwisedecideω214引言判决结果的好坏取决于先验概率值：如果P(ω1)》P(ω2),如果P(ω1)=P(ω2),如何改进？则判为ω1将会在多数情况下是对的；则只有50％的正确率。15引言可以利用观察到的信息来改进类条件概率密度函数我们采用光泽度指标x来改善决策规则。不同的鱼具有不同的光泽度，将其表示成概率形式的变量：x是一个连续随机变量，其分布取决于类别的状态，则可以表示为p(x/ω).这就是“类条件概率密度”函数，即类别为ω时x

的概率密度函数。16引言P(x|1)与P(x|2)的不同就表达了鲈鱼与马哈鱼光泽度的差异：17引言假定我们知道了P(j)和P(x/j)，j＝1，2进一步假定通过观察和测量，我们得到了某条鱼的光泽度为x

此观察结果将如何影响我们对类别的判断？18引言

某个模式属于类别j

并具有特征值x的联合概率密度可以写成两种形式：

p(j,x)=P(j|x)p(x)=p(x|j

)P(j).19引言整理可得贝叶斯公式这就是我们问题的答案！其中，在两类情况下：20引言后验概率通过观察x的值，我们可以将先验概率P(j)转换为后验概率P(j|x)——假定特征值x

已知的条件下类别是j的概率。21引言似然函数（likelihood）

称p(x|j)为j

关于x的似然函数，在其他条件相等的情况下，p(x|j)越大，j就越有可能是真实的类别。22引言

注意后验概率主要由先验概率和似然函数的乘积所决定，p(x)可看成仅仅是一个比例因子，其作用是保证各类的后验概率总和为一，从而满足概率条件。23引言假设有某个观测值x，若

x使得P(1|x)>P(2|x)，则我们自然会做出真实类别是1的判决若x使得P(2|x)>P(1|x)，则我们更倾向于选择2

据此规则进行一次判决的错误概率：

显然，对于某个给定的x，采用上述规则可以使错误概率最小。问题是，这一规则能够使得平均错误概率最小吗？引言平均错误概率：如果对于每个x我们都能保证P(error|x)尽量小，则上述积分值也必然最小因此可得贝叶斯决策规则：2425引言贝叶斯决策规则：Decide1ifP(1|x)>P(2|x)Otherwisedecide226引言这种规则强调了后验概率的重要性27引言式中p(x)仅为一比例因子，略去后，得到如下完全等价的判决规则：Decide1ifp(x|1)P(1)>p(x|2)P(2)Otherwisedecide228引言考察一些特殊情况以获得对问题更为深入的了解如果对某个x有p(x|1)＝p(x|2)，表明本次观测没有获得新信息，判决完全取决于先验概率如果P(1)＝P(2)，表明两类等可能出现，判决完全取决于似然函数p(x|j)通常，上述两个因子对于判决都很重要，贝叶斯决策规则将两者结合起来以获得最小的错误概率29举例地震预报是比较困难的一个课题，可以根据地震与生物异常反应之间的联系来进行研究。根据历史记录的统计，地震前一周内出现生物异常反应的概率为50％，而一周内没有发生地震但也出现了生物异常反应的概率为10％。假设某一个地区属于地震高发区，发生地震的概率为20％。问：如果某日观察到明显的生物异常反应现象，是否应当预报一周内将发生地震？30举例把地震是否发生设成两个类别：发生地震为ω1，不发生地震为ω2；则两个类别出现的先验概率

P(ω1)=0.2,P(ω2)=1－0.2=0.8；设地震前一周是否出现生物异常反应这一事件设为x，当x＝1时表示出现了，x＝0时表示没出现；则根据历史记录统计可得；p(x＝1|ω1)＝0.5，p(x＝1|ω2)＝0.131举例某日观察到明显的生物异常反应现象，此时可以得到将发生地震的概率为：P(ω1|x＝1)=（P(ω1)×p(x＝1|ω1))/(P(ω1)×p(x＝1|ω1)＋P(ω2)×p(x＝1|ω2))=(0.2×0.5)/(0.2×0.5+0.8*0.1)＝5/9而不发生地震的概率为：p(ω2|x＝1)=（P(ω2)×p(x＝1|ω2)）/（P(ω1)×p(x＝1|ω1)＋P(ω2)×p(x＝1|ω2)）＝（0.8×0.1）/（0.2×0.5+0.8*0.1）＝4/932常用的决策规则不同的决策规则反映了分类器设计者的不同考虑，对决策结果有不同的影响。其中最有代表性的是基于最小错误率的贝叶斯决策与基于最小风险的贝叶斯决策。基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策在限定一类错误率条件下使另一类错误率为最小的两类别决策（自学）判别函数、决策面与分类器设计33基于最小错误率的贝叶斯决策一般说来，c类不同的物体应该具有各不相同的属性，在d维特征空间，各自有不同的分布。当某一特征向量值X只为某一类物体所特有，即对其作出决策是容易的，也不会出什么差错。问题在于出现模棱两可的情况。此时，任何决策都存在判错的可能性。使错误率为最小的决策方法：基于最小错误率的贝叶斯决策理论34最小错误率分类分类问题中，行动i

通常可以解释为判定类别为i，如果采取了行动i

而真实类别是j，则当i＝j

时分类正确；否则，分类错误。要避免错误发生，我们自然要寻找一种使得错误率最小的规则。定义“0－1”损失函数（或称对称损失函数）：该损失函数为正确判决赋0，错误判决赋1，故所有误判代价相等。35最小错误率分类与0－1损失函数对应的风险就是平均错误率：根据贝叶斯决策规则，应该选择最小化条件风险的行动，在0－1损失函数的条件下，就是选择最大化后验概率的行动，其对应的错误率最小。36最小错误率分类最小错误率贝叶斯决策规则：37最小错误率分类说明癌细胞的识别：假设每个要识别的细胞已作过预处理，并抽取出了d个特征描述量，用一个d维的特征向量X表示，识别的目的是要依据该X向量将细胞划分为正常细胞或者异常细胞。这里我们用ω１表示是正常细胞，而ω２则属于异常细胞。类别的状态是一个随机变量，而某种状态出现的概率是可以估计的。先验概率P(ω1)及P(ω2)，P(ω1)>P(ω2)；属性x的概率密度函数P(x|ω1)和P(x|ω2)，38最小错误率分类说明细胞作病理分析，抽取到的d维观测向量。简化下，设d=1，且这两类的类条件概率密度函数分布已知，如图所示。P(x|ω1)是正常细胞的属性分布，P(x|ω2)是异常细胞的属性分布，当观测向量为X值时，它属于各类的概率又是多少呢?后验概率P(ωi|X)39最小错误率分类说明将上图表示的类条件概率用式(2-1)换算成如下图所示的后验概率分布。可以看出，在X值小时，细胞被判为正常是比较合理的，判断错误的可能性小。基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的。40最小错误率分类说明(1)如果,则(2-2)(2)如用先验概率及类条件概率密度函数表示，则有：(3)以比值的方式表示，(4)(2-4)式还可改写成为对数形式，若41举例假设在某地区切片细胞中正常(ω1)和异常(ω２)两类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。现有一待识别细胞呈现出状态x，由其类条件概率密度分布曲线查得p(x|ω1)=0.2，p(x|ω２)=0.4，试对细胞x进行分类。解：利用贝叶斯公式，分别计算出状态为x时ω1与ω２的后验概率

42举例根据贝叶斯决策(2-2)则有P(ω1|x)＝0.818＞P(ω２|x)＝0.0182

因此判定该细胞为正常细胞比较合理。请同学们用公式(2-3)与(2-5)计算，检查一下结果是否一样？说明：从这个例子可以看出，尽管类别ω２呈现出状态x的条件概率要高于ω1类呈现此状态的概率，但是考虑到P(ω1)远大于P(ω２)，因此状态x属于类别ω1的可能性远比属于类别ω２的可能性大。将该细胞判为正常在统计的意义上讲出错率要小得多。43最小错误率的贝叶斯决策对基于最小错误率的贝叶斯决策来说，以后验概率值的大小作判据是最基本的方法，而其它形式的作用都基本相同，但使用时更方便些。以上讨论的是在两类情况下基于最小错误概率的贝叶斯决策规则，下面需证明按这种规则进行分类确实使错误率为最小（以一维情况来证明，其结果并不难推广到多维的情况）。

44证明：错误概率最小由于统计判别方法是基于统计参数作出决策，因此错误率也只能从平均的意义上讲，表示为在观测值可能取值的整个范围内错识率的均值。在连续条件下，平均错误率，以P(e)表示，应有

45证明：错误概率最小在两类别问题中，按(2-2)式给出的决策规则，当P(w2|x)＞p(w1|x)时决策为w2。显然这个决策意味着，对观测值x有P(w1|x)概率的错误率。例如在上例中所作的w1决策，实际上包含有P(w2|x)=0.182的错误概率。在两类别的情况下，可以将p(e|x)表示成当

46证明：错误概率最小如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。另一个区R2中的x,条件错误概率为p(w1|x)。因此平均错误率P(e)可表示成

47证明：错误概率最小由于在R1区内任一个x值都有P(w2|x)＜P(w1|x)，同样在R2区内任一个x值都有P(w1|x)＜P(w2|x)错误率在每个x值处都取小者，因而平均错误率P(e)也必然达到最小，这就证明了按(2-2)式作出的决策，其平均错误率为最小。

48证明：错误概率最小由图表示了在某种概率分布下R1与R2区的分布情况，该图分别画出p(x｜ω1)P(ω1)及p(x｜ω2)P(ω2)的分布情况，由于P(e)也可以(2-8)式写成因此错误率为图中两个划线部分之和，显而易见只有这种划分才能使对应的错误率区域面积为最小。

49证明：错误概率最小以上讨论的是两类别问题情况，在C类别情况下，很容易写成相应的最小错误率贝叶斯决策规则也可将其写成用先验概率与类条件概率密度相联系的形式，得：如果

50证明：错误概率最小至于计算多类别决策过程中的错误率，需把特征空间分割成R1，R2，…，Rc个区域，在每个区域Ri统计将所有其它类错误划为该区域对应的i类的概率，则每个区域共有c-1项错误率，总共有c(c-1)计算项，计算是很繁琐的。为此，可以改成计算平均正确分类概率P(c)即由于上式中只有c项，计算要简单得多。然后通过式子P(e)=1-P(c)，就可计算出平均错误率。

51举例应用贝叶斯决策的肤色提取1．先在一副训练图象中手工描绘出肤色区域，

2．然后统计每种颜色点在肤色区域中出现的次数和在区域外出现的次数的比值，作为这种颜色是肤色的概率

3．这样就得到了一张查找表，表中的每个元素是这个点是肤色的概率。我们就得到了一个点是不是肤色的概率分布。以上的“颜色训练结果窗口”就是这样一张表的直观显示。实际表格是三维的(HSI颜色空间，32×32×8)把这个条形区域分成八块以后，每一块是个32×32的正方形，表示HS空间下的概率分布，颜色越亮，说明这种颜色是肤色的概率越大。

4．再加上域值限制之后，认为只有概率大于一定域值的才是肤色

这样，对图中任意一点，查找表中对应的概率，就可以很快的知道它是不是肤色了。

52贝叶斯理论总结153贝叶斯理论总结254贝叶斯理论总结355贝叶斯理论总结4TheBayesianclassifierisoptimalwithrespecttominimizingtheclassificationerrorprobability.56贝叶斯理论总结5.57贝叶斯理论总结6.58证明：错误概率最小在C类别情况下，很容易写成相应的最小错误率贝叶斯决策规则也可将其写成用先验概率与类条件概率密度相联系的形式，得：如果

59证明：错误概率最小至于计算多类别决策过程中的错误率，需把特征空间分割成R1，R2，…，Rc个区域，在每个区域Ri统计将所有其它类错误划为该区域对应的i类的概率，则每个区域共有c-1项错误率，总共有c(c-1)计算项，计算是很繁琐的。为此，可以改成计算平均正确分类概率P(c)即由于上式中只有c项，计算要简单得多。然后通过式子P(e)=1-P(c)，就可计算出平均错误率。

60最小风险决策使错误率最小并不一定是一个普遍适用的最佳选择；根据不同性质的错误会引起不同程度的损失，这一考虑出发，我们宁肯扩大一些总的错误率，但也要使总的损失减少。——风险。在作出决策时，要考虑所承担的风险。--------基于最小风险的贝叶斯决策规则。61最小风险决策在分类时所作的判决(称之为决策)单纯取决于观测值X对各类(也称自然状态)的后验概率中之最大值，因而也就无法估计作出错误决策所带来的损失。为此不妨将作出判决的依据从单纯考虑后验概率最大值，改为对该观测值X条件下各状态后验概率求加权和的方式，表示成

62最小风险决策我们见到一个病理切片X，要确定其中有没有癌细胞(用ω1表示正常，ω2表示异常)，则P(ω1|X)与P(ω2|X)分别表示了两种可能性的大小。如果X确实是癌细胞(ω2)，但被判作正常(ω1)，则会有损失，这种损失用表示，X确实是正常(ω1)，却被判定为异常(ω2)，则损失表示成，另外为了使式子写的更方便，我们也可以定义与，是指正确判断也可有损失。那么把X判作ω1引进的损失应该与以及都有关，哪一个占主要成分，则取决于P(ω1|X)与P(ω2|X)。因此变成了一个加权和

63最小风险决策-概念(1)自然状态与状态空间。其中自然状态是指待识别对象的类别，而状态空间Ω则是由所有自然状态所组成的空间，Ω={ω1，ω2，…，ωc}

(2)决策与决策空间。在决策论中，对分类问题所作的判决，称之为决策，由所有决策组成的空间称为决策空间。决策不仅包括根据观测值将样本划归哪一类别(状态)，还可包括其它决策，如“拒绝”等，因此决策空间内决策总数a可以不等于类别数c,表示成

64最小风险决策-概念(3)损失函数λ(αi|ωj)(或写成λ(αi,ωj))。这就是前面我们引用过的。它明确表示对自然状态ωj，作出决策αi时所造成的损失。

(4)观测值X条件下的期望损失R(αi|X),

,i=1,2,…,a

(2-14)

Ri称为条件风险。最小风险贝叶斯决策规则可写成如

,则α=αk

65最小风险决策-概念引入一个期望风险R它表示对所有X取值所作的决策α(X)所带来的平均风险。与上一节证明基于最小错误概率的贝叶斯决策方法相类似，当所采取的每一个决策都使其条件风险最小，则对所有的X所作的决策，其期望风险也必然最小。

66最小风险决策一般损失函数可由决策表给出：自然状态12…j…c1(1,1)(1,2)…(1,j)…(1,c)2(1,1)(2,2)…(2,j)…(2,c)…………………i(i,1)(i,2)…(i,j)…(i,c)…………………a(a,1)(a,2)…(a,j)…(a,c)损失决策状态67最小风险决策-步骤计算后验概率。在已知P(ωi)，P(X|ωi)，i=1,…，c及给出待识别的X的情况下，计算后验概率：计算风险：利用计算出的后验概率及决策表，计算出采取αi,i=1,…，a的条件风险决策：得到的a个条件风险值R(αi|X),i=1,…，a进行比较，找出使条件风险最小的决策αk，即则αk就是最小风险贝叶斯决策。

，i=1,…,a68最小风险决策例题：假设在某个局部地区细胞识别中正常和异常两类的先验概率分别为0.9和0.1，现有一待识别的细胞，其观察值为x，从类条件概率密度分布曲线上查得试用最小错误率分类器对该细胞进行分类。69最小风险决策解：利用贝叶斯公式，分别计算两类后验概率70最小风险决策根据贝叶斯决策规则，因为

P(1|x)＝0.818>P(2|x)＝0.182所以，将x归类于正常状态。71最小风险决策在上述条件的基础上，利用下面的决策表，按最小风险贝叶斯决策进行分类。

保守态度（延误病情损失严重）1210621072最小风险决策解：由以上计算结果知后验概率为：

P(1|x)＝0.818

，P(2|x)＝0.182再计算条件风险：73最小风险决策改变决策表激进态度（误判有病损失严重）1210125074最小风险决策解：75分析-两种决策方法之间的关系设损失函数为假定对C类只有C个决策，即不考虑“拒绝”等其它情况，公式表明，当作出正确决策(即i=j)时没有损失，而对于任何错误决策，其损失均为1。这样定义的损失函数称为0—1损失函数。76分析-两种决策方法之间的关系条件风险为也恰恰是将X判为ωi时的错误概率。因此基于最小风险的贝叶斯决策结果，在0—1损失函数情况下，也就是基于最小错误概率的贝叶斯决策结果。由此可见，最小错误率贝叶斯决策就是在0—1损失函数条件下的最小风险贝叶斯决策。换句话说，前者是后者的特例。

实际上

，因此，当

最大时

最小。77分析-两种决策方法之间的关系如果我们只考虑两类别问题，并只有一维特征向量的情况，我们可以画出一张下图，用来表示最小风险贝叶斯决策方法的分类结果。78贝叶斯决策理论将上述思想形式化，在以下四个方面进行扩展：使用多种特征——标量变向量类别数大于两个——处理多类问题不仅仅只判断类别，还可以有其他行动——拒识引入更一般的损失函数来代替错误概率——处理错误代价不相等的情况79贝叶斯决策理论令{1,2,…,c}

为c个类别的有限集合令{1,2,…,a}

为a种可能采取的行动的有限集合令(i|j)为损失函数，表示类别是j

时采取行动i所招致的损失令x为特征向量，它是一个d维随机变量令p(x|j)为类条件概率密度函数令P(j)为先验概率80贝叶斯决策理论后验概率可由贝叶斯公式计算得到其中：81贝叶斯决策理论假定我们观测到某个特定的模式x并将采取行动i

，如果真实的类别为j,则由定义知我们将有损失(i|j).由于P(j|x)

代表类别是j

的概率，因此与行动i相关联的损失为：82贝叶斯决策理论用决策论的术语来表达，一个预期的损失称为风险R(i|x)称为条件风险(conditionalrisk)我们可以选择使条件风险最小化的行动来使预期的损失最小化下面来说明贝叶斯决策是一种最优的决策方式83贝叶斯决策理论一般的判决规则是一个函数，它告诉我们对于每次观测应该采取哪个行动对于每个x，决策函数确定了a个值中的某一个总体风险R是与某一给定判决规则相关联的预期损失由于是与行动相关联的条件损失，又因为行动是由决策规则指定的，因此，总风险可以表示为显然，如果对于每个x我们都选择使得最小，则总风险将被最小化84贝叶斯决策理论贝叶斯决策规则：为使总风险最小，对i=1,…,a

计算条件风险并采取使R(i|x)最小的行动i

最小化的总风险称为贝叶斯风险，记为R*，是能够获得的最优结果85贝叶斯决策理论两类问题1

:deciding12

:deciding2ij

=(i

|

j)为真实类别为j却误判为i时所引起的损失则条件风险:

R(1|x)=11P(1|x)+12P(2|x)R(2|x)=21P(1|x)+22P(2|x)86贝叶斯决策理论其他表述最小风险决策的方式用后验概率：

Decide1if(21-11)P(1|x)>(12-22)P(2|x)；Otherwise2

用先验概率和条件密度

Decide1if(21-11)p(x|1)P(1)>(12-22)p(x|2)P(2)；Otherwise2用“似然比”：在合理假设21>11的条件下，

Decide1if；Otherwise2p(x|1)/p(x|2)称为似然比（

likelihoodratio）87在限定一类错误率条件下使另一类错误率为最小的两类别决策最小错误率或最小风险决策方法都是在先验概率已知的条件下进行的，先验概率的数值对决策有很密切的关系。然而有时会遇到先验概率不知道，或先验概率发生变化的情况。在这种情况下，如果仍按某一组先验概率值P(ωi)作决策，则很可能使实际的决策效果有较大的错误率或较大风险。那末能否在这种情况下，找到一种合适的分类器设计，使其最大可能的风险为最小。换句话说，如果先验概率值在较大范围内变化，就可能产生的最大风险而言是最小的。而这一节讲的是哪一种办法，即不考虑先验概率，而只要求限定某一种错误率条件下，使另一类错误率最小。88分类器、判别函数与决策面在两类别问题中，按最小错误率作决策时，决策规则的一种形式是则相应的判别函数就是gi(X)＝P(ωi|X),i=1,2而决策面方程则可写成g1(X)＝g2(X)此时决策规则也可以写成用判别函数表示的形式

如果gi(X)＞gj(X)i,j=1,2且i≠j

则X∈ωi，否则

否则89分类器、判别函数与决策面至于多类别情况，则对应于一种决策规则要定义一组判别函数gi(X)，i=1,2,…，c而决策规则可表示成

如果，则将X归于ωi类多类别情况下的决策面方程比两类问题复杂，并且只