Bayes决策方法(ppt 76页).ppt

,模式识别PatternClassification,第三章:Bayes决策方法,AppliedPatternRecognitionCSE616,3,Bayes决策方法,原理根据Bayes决策理论，由先验知识来推断后验概率保证错误概率最小或风险最小,AppliedPatternRecognitionCSE616,4,Bayes决策方法,先验知识先验概率P(i)类概率密度P(X/i),AppliedPatternRecognitionCSE616,5,Bayes决策方法,根据考虑问题的角度,AppliedPatternRecognitionCSE616,6,最小错误概率的Bayes决策,一维二类情况设两类模式分别1和2，其类概率密度分别为P(x/1)和P(x/2),先验概率为P(1)和P(2),AppliedPatternRecognitionCSE616,7,最小错误概率的Bayes决策,一维二类情况显然：由Bayes公式（联合概率密度知）：,AppliedPatternRecognitionCSE616,8,一维二类情况则后验概率同理可得其中,最小错误概率的Bayes决策,AppliedPatternRecognitionCSE616,9,最小错误概率的Bayes决策,一维二类情况合理的决策为：对待识样本x若P(1/x)P(2/x)，则判x1类若P(2/x)P(1/x)，则判x类,AppliedPatternRecognitionCSE616,10,最小错误概率的Bayes决策,一维二类情况上述决策等价于：对待识样本x若P(x/1)P(1)P(x/2)P()，则判x1类若P(x/2)P(2)P(x/1)P(1)，则判x类即由先验知识推断后验概率,AppliedPatternRecognitionCSE616,11,最小错误概率的Bayes决策,一维二类情况或：，则判x1类上述分类准则称为Bayes决策准则,似然比,AppliedPatternRecognitionCSE616,12,最小错误概率的Bayes决策,特殊情况下，若P(1)=P()，则分类决策完全由类概率密度函数决定。即：若P(x/1)P(x/2)，则判x1类若P(x/2)P(x/1)，则判x类,AppliedPatternRecognitionCSE616,13,最小错误概率的Bayes决策,以鱼自动分类为例，假设仅选取鱼的长度作为特征，则两类鱼的类概率密度函数P(x/1)和P(x/2)如下：,AppliedPatternRecognitionCSE616,14,最小错误概率的Bayes决策,类概率密度来源来统计直方图,鲈鱼,鲑鱼,AppliedPatternRecognitionCSE616,15,最小错误概率的Bayes决策,两条曲线描述了两类鱼的长度区别概率密度函数已归一化，因此每条曲线下的面积为，即：,AppliedPatternRecognitionCSE616,16,最小错误概率的Bayes决策,若先验概率P(1)=2/3，P()=1/3，则其后验概率P(1/x)和P(2/x)如下图所示,特征值x=14的模式如何分类？,0.92,0.08,AppliedPatternRecognitionCSE616,17,最小错误概率的Bayes决策,错误概率最小？错误概率,AppliedPatternRecognitionCSE616,18,最小错误概率的Bayes决策,错误概率最小？无论判别从哪个方向调整，均导致错误概率的增加！,AppliedPatternRecognitionCSE616,19,最小错误概率的Bayes决策,多类多维情况设=1，2，c是C个类别状态的有限集合，X=x1，x2，xdT是d维特征向量，P(x/i)为第i类的类概率密度函数，P(i)为第i类的先验概率，则有：其中,AppliedPatternRecognitionCSE616,20,最小错误概率的Bayes决策,多类多维情况Bayes决策准则为：,AppliedPatternRecognitionCSE616,21,最小错误概率的Bayes决策,举例设某地区细胞识别中正常(1)和异常(2)两类的先验概率分别为：P(1)=0.9P(2)=0.1且知1和2两类的类概率密度函数为P(x/1)和P(x/2)现有一待识细胞其特征值为x，从概率密度函数曲线查得：P(x/1)=0.2P(x/2)=0.4试用Bayes决策准则对待识样本进行分类。,AppliedPatternRecognitionCSE616,22,最小错误概率的Bayes决策,解：P(x/1)P(1)=0.20.9=0.18P(x/2)P(2)=0.10.4=0.04可见：P(x/1)P(1P(x/2)P(2)由Bayes决策准则得：x1类，为正常细胞,AppliedPatternRecognitionCSE616,23,最小风险（损失）的Bayes决策,损失的概念基于最小错误概率的Bayes决策，仅考虑如何保证错误概率最小，而未考虑决策所带来的损失。例如：自动灭火系统，乙肝诊断，鱼的分类等，则应考虑错判造成的损失。可利用决策论的理论和方法来解决上述问题。,AppliedPatternRecognitionCSE616,24,最小风险（损失）的Bayes决策,损失的概念设=1，2，c表示c个有限的类别状态的集合，A=a1，a2，ak表示k个有限的决策（行为）的集合则定义为模式自然状态为j时，采取决策ai所造成的损失,AppliedPatternRecognitionCSE616,25,最小风险（损失）的Bayes决策,损失的概念例如，对于细胞正常或异常的分类问题，可得如下损失表,自然状态,损失,决策,AppliedPatternRecognitionCSE616,26,最小风险（损失）的Bayes决策,风险函数（损失函数）设P(j)是自然状态为j的先验概率，X为d维特征向量，则由Bayes决策理论知，后验概率：由于每一类后验概率P(X)均相同，可将其视为一标量因子,AppliedPatternRecognitionCSE616,27,最小风险（损失）的Bayes决策,风险函数（损失函数）假定我们观测某个特定模式X并且采取行为ai，如果真实的类别状态为j，通过定义我们将有损失(ai/j)显然，与行为ai相关的总的损失为,AppliedPatternRecognitionCSE616,28,最小风险（损失）的Bayes决策,风险函数（损失函数）上式称为作出决策ai的风险函数，简记为：,AppliedPatternRecognitionCSE616,29,最小风险（损失）的Bayes决策,决策过程当待识样本X到来时，将其判为各类所带来的风险分别为R1(X)，R2(X)，Rc(X)则基于最小风险的Bayes决策准则为：,AppliedPatternRecognitionCSE616,30,最小风险（损失）的Bayes决策,问题：如何合理、科学、准确地定义ij?带有主观因素,AppliedPatternRecognitionCSE616,31,最小风险（损失）的Bayes决策,特殊情况：两类问题则基于最小风险（损失）的Bayes决策为：若R1(X)gj(x)ji则x位于判别区域Ri,AppliedPatternRecognitionCSE616,46,分类器、判别函数与判别界,AppliedPatternRecognitionCSE616,47,分类器、判别函数与判别界,两类情况分类器仅需考虑两个判别函数g1(x)和g2(x)定义：g(x)g1(x)g2(x)=P(x/1)P(1)-P(x/2)P(2)基于判别函数的决策为：如果g(x)0，则x属于1类;若g(x)0，则x属于2类,AppliedPatternRecognitionCSE616,48,分类器、判别函数与判别界,两类情况,AppliedPatternRecognitionCSE616,49,正态分布条件下的Bayes决策,一维正态分布均值：方差：一维正态分布可以简写为：,AppliedPatternRecognitionCSE616,50,正态分布条件下的Bayes决策,一维正态分布的统计特性95%的样本落在2范围内99%的样本落在3范围内越小，样本分布越集中，反之越发散,AppliedPatternRecognitionCSE616,51,正态分布条件下的Bayes决策,一维正态分布,AppliedPatternRecognitionCSE616,52,正态分布条件下的Bayes决策,多维正态分布设d维特征向量则d维正态分布定义为：简记为：,AppliedPatternRecognitionCSE616,53,正态分布条件下的Bayes决策,多维正态分布其中：称为均值向量，反映了样本在d维特征空间的重心位置。,AppliedPatternRecognitionCSE616,54,正态分布条件下的Bayes决策,多维正态分布i反映了样本在特征空间第i个方向的重心位置,边缘概率分布,AppliedPatternRecognitionCSE616,55,正态分布条件下的Bayes决策,多维正态分布称为协方差矩阵。,AppliedPatternRecognitionCSE616,56,正态分布条件下的Bayes决策,多维正态分布当i=j时，ij反映样本在d维特征空间各方向的发散程度；当ij时，ij反映各特征间的统计相关性。,AppliedPatternRecognitionCSE616,57,正态分布条件下的Bayes决策,设各类样本的类概率密度均满足正态分布，即根据最小错误概率Bayes决策准则有：若判别函数则判xi,AppliedPatternRecognitionCSE616,58,正态分布条件下的Bayes决策,为了分析方便，现取判别函数的自然对数（单调增函数），即令：下面分三种情况进行讨论,AppliedPatternRecognitionCSE616,59,正态分布条件下的Bayes决策,情况一各类协方差矩阵相同，ij各特征统计独立，即：，ij且，i=j即,AppliedPatternRecognitionCSE616,60,正态分布条件下的Bayes决策,情况一此时，且其中：,单位矩阵,AppliedPatternRecognitionCSE616,61,正态分布条件下的Bayes决策,情况一则判别函数：此时的Bayes决策等价为：若要将待识样本X进行分类，则只需计算X到各类样本均值向量i的欧氏距离，再将X归类到距离最近的类别，此时的分类器称为最小距离分类器。,欧氏距离,AppliedPatternRecognitionCSE616,62,正态分布条件下的Bayes决策,情况一,最小距离分类器,AppliedPatternRecognitionCSE616,63,正态分布条件下的Bayes决策,情况一由于：,与类别无关，可不考虑,AppliedPatternRecognitionCSE616,64,正态分布条件下的Bayes决策,情况一故：称gi(x)为线性判别函数，相应的分类器为线性分类器。,AppliedPatternRecognitionCSE616,65,正态分布条件下的Bayes决策,情况一,AppliedPatternRecognitionCSE616,66,情况一,AppliedPatternRecognitionCSE616,67,正态分布条件下的Bayes决策,情况二各类方差相同，即则其中称为样本X与正态分布模式类的马氏距离（Mahalanobis距离）。当待识别的样本X到来时，分别计算样本X与各个模式类的马氏距离，并将X分类到马氏距离最近的模式类中。,AppliedPatternRecognitionCSE616,68,正态分布条件下的Bayes决策,情况二可以证明，此时判别函数仍满足线性关系，即：分类器仍为线性分类器,AppliedPatternRecognitionCSE616,69,正态分布条件下的Bayes决策,情况三各类协方差矩阵各不相同，即：分类器为非线性分类器（二次型分类器）,AppliedPatternRecognitionCSE616,70,影响模式识别的关键因素,模式的紧致性问题若将模式类视为集合，则集合中的点可分为两类：内点和临界点内点：与该点相邻的点（距离最近的点）仍然属于该点所在的集合临界点：与该点相邻的点属于另外的集合（模式类）。,AppliedPatternRecognitionCSE616,71,影响模式识别的关键因素,模式的紧致性问题若将模式类视为集合，则集合中的点可分为两类：内点和临界点内点：与该点相邻的点（距离最近的点）仍然属于该点所在的集合临界点：与该点相邻的点属于另外的集合（模式类）。,AppliedPatternRecognitionCSE616,72,影响模式识别的关键因素,模式的紧致性问题,无临界点,临界点较少,临界点多得无法进行分类,AppliedPatternRecognitionCSE616,73,影响模式识别的关键因素,模式的紧致性问题紧致集：指满足下列条件的模式类临界点的数量与总的样本点数相比很少每个内点对都有足够大的邻域，使得该邻域内的点都在同一集合假若每一模式类都满足紧致集的假设，则模式识别并不存在多大困难，但对于许多识别问题，该假设并不成立。,AppliedPattern