贝叶斯决策理论第二章

贝叶斯决策理论第二章第二章

贝叶斯决策理论

§2.1基于最小错误率的贝叶斯判别法§2.2基于贝叶斯公式的几种判别规则§2.3正态分布模式的统计决策§2.4概率密度函数的估计§2.5贝叶斯分类器的错误概率2第二章

贝叶斯决策理论

模式识别的分类问题就是根据待识客体的特征向量值及其它约束条件将其分到各个类别中去。贝叶斯决策理论是处理模式分类问题的基本理论之一。贝叶斯分类器在统计模式识别中被称为最优分类器。贝叶斯分类器分类器必须满足下列两个先决条件：1，要决策分类的类别数是一定的；2，各类别总体的概率分布是已知的。3§2.1

基于最小错误率的贝叶斯判别法

Bayes分类器—最优分类器、最佳分类器一、两类问题例如：细胞识别问题

ω1正常细胞，ω2异常细胞某地区，经大量统计获先验概率P(ω1),P(ω2)

若取该地区某人细胞x属何种细胞，只能由先验概率决定。4对x再观察：有细胞光密度特征,其类条件概率密度:P(x/ωί)ί=1,2,…。如图所示通过对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别。利用贝叶斯公式：5设N个样本分为两类ω1，ω2。每个样本抽出n个特征，

x=（x1，

x2，

x3，…，

xn）T

1、判别函数：若已知先验概率P(ω1),P(ω2)，类条件概率密度P(x/ω1)，

P(x/ω2)。则可得贝叶斯判别函数四种形式：62、决策规则：7

3、决策面方程：g(x)=0

x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面。例：某地区细胞识别；P(ω1)=0.9，P(ω2)=0.1未知细胞x，先从类条件概率密度分布曲线上查到：解：该细胞属于正常细胞还是异常细胞，先计算后验概率：P(x/ω1)=0.2，

P(x/ω2)=0.48g(x)阈值单元4、分类器设计：9二、多类情况：ωί=(ω1,ω2,…,ωm)，x=(x1,x2,…,xn)

1.判别函数：M类有M个判别函数g1(x),g2(x),…,gm(x).每个判别函数有上面的四种形式。

2.决策规则：另一种形式：3、决策面方程：10g1(x)Maxg(x)g2(x)gn(x)4、分类器设计：贝叶斯公式可以有几种形式的判别法则，针对具体问题可以选取合适的形式。不管选取何种形式，其基本思想均是要求判别归属时依概率最大作出决策，这样的结果就是分类的错误率最小。贝叶斯分类器遵循最小错误贝斯决策规则

11很明显，各类别在多维特征空间中为决策面或界面所分割。这些决策面是特征空间中的超曲面。相邻的两个类别在决策面上的判别函数值是相等的。如果ωi和ωj是相邻的，则分割它们的决策面就应为di(x)=dj(x)或di(x)-dj(x)=0对于两类问题，决策面方程：P(x|ω1)P(ω1)-P(x|ω2)P(ω2)=012§2.2基于贝叶斯公式的几种判别规则一、基于最小风险的贝叶斯决策在某些情况下，引入风险的概念，以求风险最小的决策则更为合理。例如对癌细胞的识别，要判断某人是正常(ω1)还是患者(ω2),在判断中可能出现以下情况：判对(正常→正常)λ11；判错(正常→异常)λ21；判对(异常→异常)λ22；判错(异常→正常)λ12。风险的概念比错误率似乎更恰当。识别的正确与否，直接关系到病人的身体甚至生命。风险的概念常与损失相联系，损失则用损失函数表示。131.损失函数：损失函数公式：意义：表示当处于状态时且采取决策所带来的损失。损失函数λii=λ(αi/ωi)表示模式X本来属于ωi类而错判为ωi所受损失。因为这是正确判决，故损失最小。损失函数λij=λ(αi/ωj)表示模式X本来属于ωj类错判为ωi所受损失。因为这是错误判决，故损失最大。14

状态损失决策ω1

ω2

…

ωj

…

ωm

α1

…

…

α2…

…

…

…

αi…

…

…

…

αα…

…

表示：在决策论中，常以决策表表示各种情况下的决策损失。152.风险R（期望损失）：

对未知x采取判决行动α(x)所付出的代价（损耗）行动αi：表示把模式x判决为ωi类的一次动作。条件风险：

将模式x判属某类所造成的损失的条件数学期望。

已知先验概率P(ωj)及类条件概率密度P(x|ωj)，

j=1,2,…m。根据贝叶斯公式，后验概率为其中

当引入“损失”的概念，考虑错判所造成的损失时，就不能只根据后验概率的大小来作决策，而必须考虑所采取的决策是否使损失最小。16对于给定的x，如果采取决策，从决策表可见，对应于决策，可以在m个,j=1,2,…m当中任取一个，其相应概率为P(ωj|x)。因此在采取决策情况下的条件期望损失即条件风险为：条件风险R(αi|x)只反映对某一x的取值采取决策αi所带来的风险。可以用来判别分类。17期望风险R式中dx是特征空间的体积元，积分在整个特征空间进行。（在整个特征空间中定义期望风险）。期望风险R反映对整个特征空间所有x的取值采取相应的决策α(x)所带来的平均风险。对于x的不同观察值，采取决策αi时，其条件风险的大小是不同的。所以，究竟采取哪一种决策将随x的取值而定。决策α可以看成随机向量x的函数，记为α(x)。184.最小风险贝叶斯决策思想：分类识别决策时，根据类的概率和概率密度，考虑误判的损失代价。决策应是统计意义上使由于误判而蒙受的损失最小。如果在采取每一个决策或行动时，都使其条件风险最小，则对所有的x作出决策时，其期望风险也必然最小。（条件平均损失最小的判决也必然使总的平均损失最小。）195.最小风险贝叶斯决策规则如果：

206.判决实施步骤：（1）在已知P(ωj),P(x|ωj),j=1,2,…m，并给出待识别的x的情况下，根据贝叶斯公式计算出后验概率：

j=1,2,…m（2）利用计算出的后验概率及决策表，计算出采取αi(i=1,2,…α)的条件风险。

（3）按确定αk

--最小风险贝叶斯决策

21最小风险贝叶斯决策除了要有符合实际情况的先验概率P(ωj)及类条件概率密度P(x|ωj)外，还必须要有合适的损失函数

。实际工作中要列出合适的决策表很不容易，往往要根据所研究的具体问题，分析错误决策造成损失的严重程度来确定。227.错误率最小的贝叶斯决策规则与风险最小的贝叶斯决策规则的联系在采用0-1损失函数时，最小风险贝叶斯决策就等价于最小错误率贝叶斯决策。

0-1损失函数

对于正确决策（即i=j），=0，就是说没有损失；而对于任何错误决策，其损失均为123二类问题：把x归于ω1时风险：把x归于ω2时风险：2425二、聂曼-皮尔逊决策法（N-P判决）

1.问题的提出：(1)某些二类判决问题，某一种错误较另一种错误更为重要—危害更为严重。(2)先验概率未知。2.基本思想：严格限制较重要的一类错误概率，在令其等于某常数的约束下使另一类误判概率最小。26例如在癌细胞识别中，我们已经认识到把异常误判为正常的损失更为严重，常常要求这种误判为错误率P2(e)很小，即P2(e)=是一个很小的常数，在这种条件下再要求P1(e)即把正常误判为异常的错误率尽可能地小。所以这样的决策可看成是在P2(e)=0条件下，求P1(e)极小值的条件极值问题。273.决策规则

按Lagrange乘子法建立如下数学模型：r=P1(e)+(P2(e)-0)R1是类别ω1的区域，R2是类别ω2的区域，而R1+R2=Rs，Rs为整个特征空间。也就是说，决策作出之后，整个特征空间分割成不相交的两个区域R1和R2，若样本x落入R1，就判定属于ω1类，反之则属于ω2类。根据类条件概率密度的性质，有：

28由此式分别对x和求导，令

有满足的最佳值和满足的边界面就能使r极小。29N-P决策规则

如果：则：N-P决策规则归结为找阈值。304.最小错误率贝叶斯决策规则与N-P决策聂曼——皮尔逊决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，所不同的只是最小错误率决策所用的阈值是先验概率之比P(ω2)/P(ω1)，而聂曼——皮尔逊决策所用的阈值则是Lagrange乘子。31例：两类的模式分布为二维正态协方差矩阵为单位矩阵∑1=∑2=I，设ε2＝0.09求聂曼皮尔逊准则.解：3233所以此时聂曼——皮尔逊分类器的分界线为：由图可知为保证ε2足够小，边界应向ω1一侧靠，则ε1↑λ与ε2的关系表如右：λ421½¼ε20.040.090.160.250.3834三、最小最大决策

如果对给定的x，其P(ωi)不变，按照贝叶斯决策规则，可以使错误率最小或风险最小。但如果P(ωi)是可变的，或事先对先验概率毫无所知，若再按某个固定的P(ωi)条件下的决策规则来进行决策就往往得不到最小错误率或最小风险。

最小最大决策讨论在P(ωi)变化时如何使最大可能风险最小。35二类问题:假定损失函数—当时，决策为的损失，—当时，决策为的损失，则为时决策和的损失。通常作出错误决策总是比作出正确决策所带来的损失要大，即再假定两类区域Ω1和Ω2已确定，则风险R与先验概率P(ω1)关系:36先验概率P(ω1)与风险R间的变化关系如下：37风险值在（a,a+b）的范围内变化，其最大风险为a+b。

38这样，就得出最小风险与先验概率的关系曲线，如图所示：39上式证明，所选的判别边界，使两类的错误概率相等：这时可使最大可能的风险为最小，这时先验概率变化，其风险不变40迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。假设对样品进行第i次观察获取一序列特征为：X=(x1,x2,…,xi)T则对于ω1，ω2两类问题,若X∈ω1，则判决完毕若X∈ω2，则判决完毕若X不属ω1也不属ω2