模式识别决策方法

模式识别决策方法第三章:Bayes决策方法第2页,共75页，星期六，2024年，5月Bayes决策方法原理根据Bayes决策理论，由先验知识来推断后验概率保证错误概率最小或风险最小第3页,共75页，星期六，2024年，5月Bayes决策方法先验知识先验概率P(ωi

)类概率密度P(X/ωi)

第4页,共75页，星期六，2024年，5月Bayes决策方法根据考虑问题的角度Bayes决策法最小错误概率的Bayes决策法最小风险的Bayes决策法第5页,共75页，星期六，2024年，5月最小错误概率的Bayes决策一维二类情况设两类模式分别

1和

2，其类概率密度分别为P(x/

1)和P(x/

2),先验概率为P(

1)和P(

2)P(x/

1)P(x/

2)

x

第6页,共75页，星期六，2024年，5月最小错误概率的Bayes决策一维二类情况显然：由Bayes公式（联合概率密度知）：第7页,共75页，星期六，2024年，5月一维二类情况则后验概率同理可得其中最小错误概率的Bayes决策第8页,共75页，星期六，2024年，5月最小错误概率的Bayes决策一维二类情况合理的决策为：对待识样本x若P(

1/x)>P(

2/x)，则判x∈

1类若P(

2/x)>P(

1/x)，则判x∈

２类第9页,共75页，星期六，2024年，5月最小错误概率的Bayes决策一维二类情况上述决策等价于：对待识样本x若P(x/

1)P(

1)>P(x/

2)P(

２)，则判x∈

1类若P(x/

2)P(

2)>P(x/

1)P(

1)，则判x∈

２类即由先验知识推断后验概率第10页,共75页，星期六，2024年，5月最小错误概率的Bayes决策一维二类情况或：，则判x∈

1类上述分类准则称为Bayes决策准则似然比第11页,共75页，星期六，2024年，5月最小错误概率的Bayes决策特殊情况下，若P(

1)=P(

２)，则分类决策完全由类概率密度函数决定。即：

若P(x/

1)>P(x/

2)，则判x∈

1类若P(x/

2)>P(x/

1)，则判x∈

２类第12页,共75页，星期六，2024年，5月最小错误概率的Bayes决策以鱼自动分类为例，假设仅选取鱼的长度作为特征，则两类鱼的类概率密度函数P(x/

1)和P(x/

2)如下：第13页,共75页，星期六，2024年，5月最小错误概率的Bayes决策类概率密度来源来统计直方图鲈鱼鲑鱼第14页,共75页，星期六，2024年，5月最小错误概率的Bayes决策两条曲线描述了两类鱼的长度区别概率密度函数已归一化，因此每条曲线下的面积为１，即：第15页,共75页，星期六，2024年，5月最小错误概率的Bayes决策若先验概率P(

1)=2/3，P(

２)=1/3，则其后验概率P(

1/x)和

P(

2/x)如下图所示特征值x=14的模式如何分类？0.920.08第16页,共75页，星期六，2024年，5月最小错误概率的Bayes决策错误概率最小？错误概率P(x/

1)P(

1)P(x/

2)P(

2

)

x

R1R2第17页,共75页，星期六，2024年，5月最小错误概率的Bayes决策错误概率最小？无论判别从哪个方向调整，均导致错误概率的增加！P(x/

1)P(

1)P(x/

2)P(

2

)

x

R1R2第18页,共75页，星期六，2024年，5月最小错误概率的Bayes决策多类多维情况

设Ω={

1，

2，﹒﹒﹒，ωc}是C个类别状态的有限集合，X=[x1，x2，﹒﹒﹒，xd]T是d维特征向量，

P(x/

i)

为第i类的类概率密度函数，P(

i

)

为第i类的先验概率，则有：其中第19页,共75页，星期六，2024年，5月最小错误概率的Bayes决策多类多维情况Bayes决策准则为：

第20页,共75页，星期六，2024年，5月最小错误概率的Bayes决策举例设某地区细胞识别中正常(

1)和异常(

2)两类的先验概率分别为：

P(

1)=0.9P(

2)=0.1

且知

1和

2两类的类概率密度函数为P(x/

1)和P(x/

2)

现有一待识细胞其特征值为x，从概率密度函数曲线查得：

P(x/

1)=0.2P(x/

2)=0.4试用Bayes决策准则对待识样本进行分类。第21页,共75页，星期六，2024年，5月最小错误概率的Bayes决策解：P(x/

1)P(

1)=0.2×0.9=0.18P(x/

2)P(

2)=0.1×0.4=0.04可见：

P(x/

1)P(

1>P(x/

2)P(

2)由Bayes决策准则得：

x∈

1类，为正常细胞第22页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策损失的概念基于最小错误概率的Bayes决策，仅考虑如何保证错误概率最小，而未考虑决策所带来的损失。例如：自动灭火系统，乙肝诊断，鱼的分类等，则应考虑错判造成的损失。可利用决策论的理论和方法来解决上述问题。第23页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策损失的概念设Ω={

1，

2，﹒﹒﹒，ωc}表示c个有限的类别状态的集合，A={a1，a2，﹒﹒﹒，ak}表示k个有限的决策（行为）的集合则定义为模式自然状态为ωj时，采取决策ai所造成的损失第24页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策损失的概念例如，对于细胞正常或异常的分类问题，可得如下损失表

1（正常）

2（异常）a1（正常）

11=0

12=10a2（异常）

21=2

22=0自然状态损失决策第25页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策风险函数（损失函数）设P(

j)是自然状态为

j的先验概率，X为d维特征向量，则由Bayes决策理论知，后验概率：由于每一类后验概率P(X)均相同，可将其视为一标量因子第26页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策风险函数（损失函数）假定我们观测某个特定模式X并且采取行为ai，如果真实的类别状态为

j，通过定义我们将有损失

(ai/

j)显然，与行为ai相关的总的损失为第27页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策风险函数（损失函数）上式称为作出决策ai的风险函数，简记为：第28页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策决策过程当待识样本X到来时，将其判为各类所带来的风险分别为R1(X)，R2(X)，﹒﹒﹒，Rc(X)

则基于最小风险的Bayes决策准则为：

第29页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策问题：如何合理、科学、准确地定义

ij?带有主观因素第30页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策特殊情况：两类问题

则基于最小风险（损失）的Bayes决策为：若R1(X)

<R2(X)，则判X∈

1类第31页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策特殊情况：两类问题上述决策等价于：对待识样本x若：，则判

x∈

1类

似然比第32页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策第33页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策特殊情况：两类问题若：

12-

22=

21-

11，即对称损失，则最小风险Bayes决策与最小错误概率Bayes决策是等价的。第34页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策例：

1(乙肝)

2(健康)

P(

1)=0.05P(

2)=0.95P(x/

1)=0.5P(x/

2)=0.2

11

=

22=0，

12=1，

21=10

试分别用最小风险和最小错误概率Bayes决策对模式X分类第35页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策解：最小错误概率Bayes决策

P(x/

1)P(

1)=0.05×0.5=0.025P(x/

2)P(

2)=0.2×0.95=0.19可见：

P(x/

1)P(

1）<P(x/

2)P(

2)由Bayes决策准则得：x∈

2

类，为健康第36页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策解：最小风险Bayes决策

似然比：第37页,共75页，星期六，2024年，5月最小风险（损失）的Bayes决策解：最小风险Bayes决策可见：根据最小风险（损失）的Bayes决策准则：

x∈

1

类，为乙肝第38页,共75页，星期六，2024年，5月（0-1）损失条件下的最小风险Bayes决策最小风险Bayes决策若定义：

ij=0i=j1i=j

（0-1）损失第39页,共75页，星期六，2024年，5月（0-1）损失条件下的最小风险Bayes决策则最小风险Bayes决策等价于：可见，min{Ri(X)

}等价于max{Ri(X)

}，即（0-1）损失条件下，最小风险Bayes决策等价于最小错误概率的Bayes决策。第40页,共75页，星期六，2024年，5月何种准则更具一般意义？第41页,共75页，星期六，2024年，5月分类器、判别函数与判别界Bayes分类器等价于：

定义一组判别函数gi(x),i=1,…,c

若：gi(x)>gj(x)

j

i则判待识样本x属于

i类第42页,共75页，星期六，2024年，5月分类器、判别函数与判别界对最小错误概率Bayes决策

gi(x)=P(

i/x)

或

gi(x)=P(x/

i)P(

i)

gi(x)=lnP(x/

i)+lnP(

i)

对最小风险Bayes决策

gi(x)=-R(

i/x)第43页,共75页，星期六，2024年，5月分类器、判别函数与判别界基于判别函数的分类器第44页,共75页，星期六，2024年，5月分类器、判别函数与判别界上述判别函数将特征空间划分为c个判别区域

R1,R2,…,Rc

各个判别区域满足：如果

gi(x)>gj(x)

j

i

则

x位于判别区域Ri

第45页,共75页，星期六，2024年，5月分类器、判别函数与判别界R1R2R3R4g1(X)g4(X)g3(X)g2(X)第46页,共75页，星期六，2024年，5月分类器、判别函数与判别界两类情况分类器仅需考虑两个判别函数g1(x)和g2(x)

定义：g(x)g1(x)–g2(x)=P(x/

1)P(

1)-P(x/

2)P(

2)基于判别函数的决策为：

如果

g(x)>0，则

x属于

1类;若g(x)<0，则x属于

2类

第47页,共75页，星期六，2024年，5月分类器、判别函数与判别界两类情况g(X)<0g(X)<0g(X)>0第48页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策一维正态分布均值：方差：一维正态分布可以简写为：第49页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策一维正态分布的统计特性

95%的样本落在μ±2σ范围内99%的样本落在μ±3σ范围内σ越小，样本分布越集中，反之越发散第50页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策一维正态分布第51页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策多维正态分布

设d维特征向量则d维正态分布定义为：简记为：第52页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策多维正态分布其中：

μ称为均值向量，反映了样本在d维特征空间的重心位置。

第53页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策多维正态分布

μi

反映了样本在特征空间第i个方向的重心位置边缘概率分布第54页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策多维正态分布

∑称为协方差矩阵。第55页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策多维正态分布当i=j时，σij反映样本在d维特征空间各方向的发散程度；当i≠j时，σij反映各特征间的统计相关性。

第56页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策 设各类样本的类概率密度均满足正态分布，即

根据最小错误概率Bayes决策准则有：若判别函数则判

x∈

i

第57页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策为了分析方便，现取判别函数的自然对数（单调增函数），即令：下面分三种情况进行讨论第58页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策情况一各类协方差矩阵相同，∑i

＝∑j

＝∑各特征统计独立，即：，i≠j且，i=j即

第59页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策情况一此时，，且其中：单位矩阵第60页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策情况一则判别函数：此时的Bayes决策等价为：若要将待识样本X进行分类，则只需计算X到各类样本均值向量μi的欧氏距离，再将X归类到距离最近的类别，此时的分类器称为最小距离分类器。欧氏距离第61页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策情况一均值向量μ１

均值向量μ2

待识样本Ｘ

最小距离分类器第62页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策情况一由于：与类别无关，可不考虑第63页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策情况一故：

称gi(x)为线性判别函数，相应的分类器为线性分类器。第64页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策情况一第65页,共75页，星期六，2024年，5月情况一第66页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策情况二各类方差相同，即则其中称为样本X与正态分布模式类的马氏距离（Mahalanobis距离）。当待识别的样本X到来时，分别计算样本X与各个模式类的马氏距离，并将X分类到马氏距离最近的模式类中。第67页,共75页，星期六，2024年，5月正态分布条件下的Bayes决策情况二可以证明，此时判别函数仍满足线性关系，