模式识别-第二章 - 贝叶斯决策理论2

1、参考书：参考书：中文教材：第二章中文教材：第二章 p9-34，p42-432011-2012学年第二学期学年第二学期第二章 贝叶斯决策理论2第二章第二章 贝叶斯决策理论贝叶斯决策理论n 2.1 引言引言n 2.2 贝叶斯决策理论贝叶斯决策理论n 2.3 最小错误率分类最小错误率分类n 2.4 最小风险决策最小风险决策n 2.5 分类器、判别函数及决策面分类器、判别函数及决策面n 2.6 正态密度正态密度n 2.7 正态分布的判别函数正态分布的判别函数n 2.8 错误率与积分错误率与积分第三讲第三讲第四讲第四讲基本模式识别过程基本模式识别过程n 上一过程的数学表达：上一过程的数学表达：特征提取决

2、策理论(判别准则) 根据决策理论计算理论结果，再用判别准则得到识别或分类结果。Object(n个样本)每个样本有d个特征c个类别12,nXx xx12,iiiidxxxx,1,2,iic被观测对象特征信息识别分类样本空间事件 A划分 Bi4模式识别Pattern Recognition Ch. 2 分类器-基于Bayes决策理论 贝叶斯决策理论 例05.00.10 21)()( )1(exp(1)( )exp(1)( 212221PPxxpxxp21 ) 1(exp()exp( : minimumfor 02200 xxxxPxe212)21 ( ) 1(exp2)(exp :0220nxxx

3、xThen the threshold value is:Threshold for minimum r0 x)()|()()|()()|()()|(222211212221211111PxpPxplPxpPxpl)()|()()|(2211PxpPxp5模式识别Pattern Recognition Ch. 2 分类器-基于Bayes决策理论 贝叶斯决策理论 例2-1Thus moves to the left of (WHY?)0 x021x的图例图1-23-2Consider the reverse situationwhen the moves to the right of ?0 x

4、021x第二章 贝叶斯决策理论6知识点知识点7小结小结n (1)分类器设计时使用什么原则是关键分类器设计时使用什么原则是关键 - 影响影响到分类器的效果。原则包括：到分类器的效果。原则包括：错分率最小的原理。后验概率基于最小风险的贝叶斯决策的原理。n (2)“风险风险”与与“损失损失”风险系数损失：对某个样本作第i个决策的风险 (i|j)= (i,j)8小结小结n 分类所用的计算式：比较所计算数值谁大谁小；分类所用的计算式：比较所计算数值谁大谁小；称为判别函数称为判别函数gi(X)。自变量是样本X；如果 ，则称特征空间的这一点X是第i类的决策域。由gi(X)占主导地位的区域称为第i类的决策域，

5、我们将它表示成Ri如果第i类决策域Ri与第j类决策域相邻，则它们之间有边界。在边界上有gi(X)=gj(X),该式是一个方程式，称为决策面方程。9学习目标学习目标n 结合一种比较典型的概率分布：正态分布，进一步结合一种比较典型的概率分布：正态分布，进一步基于最小错误贝叶斯基于最小错误贝叶斯决策分析分类器的设计。决策分析分类器的设计。什么叫正态分布，或高斯分布，是哪一种概率定义的？定义高斯分布的表达式：均值/协方差矩阵。将正态分布与基于最小错误率的贝叶斯决策结合高斯分布是指数函数，因此计算时常用对数使计算简化不同分类器的定义正态分布正态分布下下的的Bayes决策决策n 贝叶斯公式中贝叶斯公式中类

6、条件概率类条件概率和和先验概率先验概率未知时需未知时需要进行概率密度函数要进行概率密度函数(probability density function, pdf)的的估计估计。n 什么是正态分布？为何要用正态分布？什么是正态分布？为何要用正态分布？ 11正态分布正态分布n 在模式识别及其它信息处理应用系统中，正态分布在模式识别及其它信息处理应用系统中，正态分布假设是对各种随机变量使用得最普遍的假设假设是对各种随机变量使用得最普遍的假设n 正态分布在数学上比较简便。数学的简便性便于人们对正态分布在数学上比较简便。数学的简便性便于人们对统计识别方法进行数学分析。在模式识别技术的研究中统计识别方法进行

7、数学分析。在模式识别技术的研究中，用正态分布模型抽取设计样本集与测试样本集在数学，用正态分布模型抽取设计样本集与测试样本集在数学上实现起来也比较方便。上实现起来也比较方便。n 物理上的合理性，在许多实际应用场合，如果同一类样物理上的合理性，在许多实际应用场合，如果同一类样本在特征空间内的确较集中地分布在其类均值的附近，本在特征空间内的确较集中地分布在其类均值的附近，远离均值处分布较少，那么一般情况下以正态分布模型远离均值处分布较少，那么一般情况下以正态分布模型近似往往是比较合理的。近似往往是比较合理的。第二章 贝叶斯决策理论13正态分布概率密度函数的正态分布概率密度函数的定义与性质定义与性质n

8、 一、单变量正态分布一、单变量正态分布n 二、多元正态分布二、多元正态分布1.多元正态分布的概率密度函数多元正态分布的概率密度函数2.多元正态分布的性质多元正态分布的性质 单变量正态分布单变量正态分布n 单变量正态分布单变量正态分布(Normal Distribution),即高斯分即高斯分布布(Gauss Distribution) 正态分布的正态分布的pdf:221exp21)(xxp其中， ：x的期望(均值)， E x222 E xE x：标准差， ：x的方差，单变量正态分布单变量正态分布n 单变量正态分布的形状完全由单变量正态分布的形状完全由 和和 来确定：来确定：22( ,)N P(

9、x)x小大P(x)x12相同1 0.95 P(x)x22 正态分布的样本主要集中分布在其均值附近，其分散程度可用标准差来衡量，愈大分散程度也越大。从正态分布的总体中抽取样本，约有95%的样本都落在区间(2，+2)内。 ),()(2Nxp第二章 贝叶斯决策理论16正正 态态 密密 度度221exp 21)(xxP17正正 态态 密密 度度 讨论讨论n 正态分布是指一个随机实数度量值在整个实数域上正态分布是指一个随机实数度量值在整个实数域上的分布规律。因此它属于概率密度函数类，不是先的分布规律。因此它属于概率密度函数类，不是先验概率验概率P(i)和后验概率和后验概率P(i|X)，而是，而是p(x|

10、i)。n 通用公式，通用公式，n 具体化后的公式：其中具体化后的公式：其中i是对是对的具体化。的具体化。221exp 21)(xxP221exp 21)|(iiixxP18正正 态态 密密 度度 讨论讨论n 请思考一下，正态分布请思考一下，正态分布(又称高斯分布又称高斯分布)以以x为横轴，为横轴，y为纵轴画出来是什么样子？有没有最高点？最高为纵轴画出来是什么样子？有没有最高点？最高点的点的x坐标是什么？坐标是什么？的大小对你所画的图有什么影的大小对你所画的图有什么影响？如果有两种高斯分布响？如果有两种高斯分布1=2，12，你能将它，你能将它们画在一起吗？两者有什么不同？们画在一起吗？两者有什么

11、不同？n Matlab实例实例-正态分布正态分布多元正态分布多元正态分布多变量正态分布的多变量正态分布的pdf:式中： 均值向量， ； 协方差矩阵， 为 的行列式。1212, ;,()() TdTdTxxxxExx E x|112211( )exp22TdP xxx1dd1dd与单变量中 相对应，变量间互不相关时 是对角阵：221222d 2x2121xpexp)(20正正 态态 密密 度度参数的计算：参数的计算： 是向量是向量x的期望的期望 ， Ex=1，2，dT 是矩阵是矩阵(x- )(x- )t 的期望，的期望， =E(x- ) (x- )t 若若xi是是x的第的第i个分量，个分量， i

12、是的是的 第第i个分量，个分量， ij2是是 的第的第i，j个元素，则：个元素，则：jijijjiijjiiijiiiiidxdxxxpxxxxEdxxpxxE),()()()(221正正 态态 密密 度度n 协方差矩阵总是对称非负定阵，且可以表示为协方差矩阵总是对称非负定阵，且可以表示为 其对角线上的元素是其对角线上的元素是xi的方差，非对角线上的元素是的方差，非对角线上的元素是xi和和xj的的协方差。如果各分量独立，则非对角线元素为协方差。如果各分量独立，则非对角线元素为0，协方差矩，协方差矩阵就成为对角矩阵。阵就成为对角矩阵。222212222222121212211dddddd第二章

13、贝叶斯决策理论22正正 态态 密密 度度n 如果是一个三维向量，它的协方差矩阵是几乘几的如果是一个三维向量，它的协方差矩阵是几乘几的矩阵？每个元素又对应什么含义？矩阵？每个元素又对应什么含义？n 是个是个33矩阵，矩阵，n 协方差矩阵并不只对正态分布有用，它是多元随机协方差矩阵并不只对正态分布有用，它是多元随机变量中一个重要的数学统计表示方法，它描述了一变量中一个重要的数学统计表示方法，它描述了一个随机变量样本集中各个分量之间的相关性。个随机变量样本集中各个分量之间的相关性。第二章 贝叶斯决策理论23正正 态态 密密 度度n 协方差的性质协方差的性质l它是一个对称矩阵，如果它的第i行第j列元素

14、表示成 ，则应有 。这就是说与第j行第i列的元素是相同的，这就是对称性。l由于它的主对角元素都是各分量的方差，因此一般情况下都是大于零的值。因此协方差矩是正定的，这一点也是十分有用的。第二章 贝叶斯决策理论多元正态分布多元正态分布多元正态分布与单变量正态分布在形式上尽管不同多元正态分布与单变量正态分布在形式上尽管不同，但有很多相似之处，实际上单变量正态分布就是，但有很多相似之处，实际上单变量正态分布就是维数为维数为1的多元分布。的多元分布。当当d=1时，时，只是一个只是一个11的矩阵，也就是只有的矩阵，也就是只有1个个元素的矩阵，退化成一个数，元素的矩阵，退化成一个数，|1/2也就是标准差也就

15、是标准差，-1也就是也就是-2，而，而(x)T(x)也变成也变成(x-)2。11/2/211( )exp()()2(2 )tdPxx x221exp 21)(xxP第二章 贝叶斯决策理论多元正态分布多元正态分布 多元正态分布要比单变量正态分布复杂得多。多元正态分布要比单变量正态分布复杂得多。 并且多元正态分布具有许多重要的特性。并且多元正态分布具有许多重要的特性。 多元正态分布的概率密度函数中的元，即特征向量的分多元正态分布的概率密度函数中的元，即特征向量的分量数，也就是维数量数，也就是维数。 为了分析方便我们着重讨论二维向量。为了分析方便我们着重讨论二维向量。 二维随机向量，其中每一个分量都

16、是随机变量，服从二维随机向量，其中每一个分量都是随机变量，服从正态分布。但是一个二维随机向量不仅要求考虑每个分正态分布。但是一个二维随机向量不仅要求考虑每个分量单独的分布，还要考虑两个随机变量之间的关系。量单独的分布，还要考虑两个随机变量之间的关系。第二章 贝叶斯决策理论两个多元正态分布例子两个多元正态分布例子两个二元正态分布的各个分量是相同的，即它们的期望1和2，方差1和2都相同，但这两个特征向量在空间的分布却不相同。第二章 贝叶斯决策理论 对右图来说，对右图来说，x1和和x2有很大的相关性，而对左图来说，随有很大的相关性，而对左图来说，随机变量机变量x1与与x2之间的相关性很小。这可以从两

17、者的区别看之间的相关性很小。这可以从两者的区别看出来。出来。 对于右图可以看出一个随机变量的对于右图可以看出一个随机变量的x1分量较小时，另一分分量较小时，另一分量量x2也必然较小。而当随机变量的也必然较小。而当随机变量的x1较大时，则其相应的较大时，则其相应的x2分量也较大。换句话说，如果分量也较大。换句话说，如果x1分量小于其均值分量小于其均值1,则其相则其相应的分量应的分量x2也很可能小于它的均值也很可能小于它的均值2。 因此当因此当x1-10时，也常伴有时，也常伴有x2-22时，超二次曲面, ()iiiP多元正态分布下的最小错误率多元正态分布下的最小错误率Bayes分类器分类器1.1.

18、第一种情况：第一种情况：各特征统计独立，且同方差情况。这种情况下协方差矩阵是对角阵。零。，只有方差，协方差为即22112.0.0.:nniI 几何上，这种情况对应于样本落于相等大小的超球体聚类中，第i类的聚类以均值向量 为中心。i最小错误率最小错误率Bayes分类器分类器 iTiiiiiiiTiiiiiiiiiTiixxxPxPxxxginIIIPnxxxg222121221),(ln2)(ln21)(2ln2,1,)(lnln212ln221)(其中对分类无影响。无关。都与因为判别函数：di2| 欧氏距离为22i2x 最小距离分类器：未知x与i相减，找最近的i把x归类。v 其中： i0jTj

19、Mw10iTiiiiTi20ii2i0iTii2T2iTTTiTixwxwwxwxgP21w1wwxwP2xxgixxx2xxxxmax)()(ln,)( ,)(ln)(,判别规则：其中：线性判别函数简化可得：无关与因为二次项)()(ln)(210)(0)()(200jijijijijijiPPxWxxWxgxg其中决策面方程：21212211212212)()(ln)(21)(1)()()(对于二类情况xPPxxgxgxgTTT0)(iTiiwxwxg的联线。垂直于决策面同方向同相与，所以又因为垂直与，因此分界面点积为与因率面是一个圆形。协方差为零。所以等概因为HWWWH0 xxWbIa21

20、21ji02i)()(:)(,:)(界面。均值联线的垂直线作为对多类情况，用各类的。离开先验概率大的一类否则就是联线的中点。通过如果先验概率相等: )(),()(),()(: )(2121dHPPHPPc12WH时决策面)()(21PP124334H23H14H12H1121x2xHW20 x讨 论0)(0 xxWu当当P(i)= P(j)时，超平面通过时，超平面通过i与与j连线中点并与连线中点并与连线正交，如图所示。连线正交，如图所示。u当当P(i)= P(j)时，超平面通过时，超平面通过i与与j连线中点并与连线中点并与连线正交，如图所示。连线正交，如图所示。第二章 贝叶斯决策理论u当当P(

21、i)= P(j)时，超平面通过时，超平面通过i与与j连线中点并与连线正交，连线中点并与连线正交，如图所示。如图所示。如果两种分布的协方差矩阵相等并且与单位阵成比例，那么它们呈d维球状分布，其判决边界是一个d-1维归一化超平面，垂直于两个中心的连线。在这些一维、二维及三维的例子中，是假设在P(i)= P(j) 的情况下来显示p(x|i)和判决边界的。在三维情况下，一个栅格平面将R1和R2分开。第二章 贝叶斯决策理论w=i-jn 当当P(i)P(j)时，点时，点x0将远将远离可能的均值。离可能的均值。)()()(ln|22jijijiPPi+jLi I)(21jiMJjOPN)()()(ln|)(

22、21220jijijijiPPx第二章 贝叶斯决策理论一维、二维及三维例子一维、二维及三维例子 最优判决可简述为：将某特征向量x归类，可以通过测量每一x到c个均值向量中的每一个欧式距离，并将x归为离它最近的那一类中。最小距离分类器。第二章 贝叶斯决策理论75正态分布的判别函数正态分布的判别函数最小距离分类器最小距离分类器 若要对若要对x进行分类，只要计算进行分类，只要计算x到各类均值到各类均值 i的欧式距离平方的欧式距离平方|x- i|2，然后把，然后把x归于具有最小距离的类别。归于具有最小距离的类别。模板匹配模板匹配 如果如果每一个均值向量被看成是其所属类别的一个理想原型或每一个均值向量被看

23、成是其所属类别的一个理想原型或模板模板，则最小距离分类器本质上就是一种模板匹配技术。，则最小距离分类器本质上就是一种模板匹配技术。第二章 贝叶斯决策理论76正态分布的判别函数正态分布的判别函数最小距离分类器举例最小距离分类器举例 在农产品检测中，需要对大枣进行分级，根据大小将其分在农产品检测中，需要对大枣进行分级，根据大小将其分为大枣和小枣两个级别（类别）。现以直径和长度作为特为大枣和小枣两个级别（类别）。现以直径和长度作为特征，并获得如下训练样本：征，并获得如下训练样本：1类类 （小枣）：（小枣）：(2，2)t，(3，2)t，(3，4)t，(4，2)t；2类（大枣）：类（大枣）：(3，6)t

24、，(3，3)t，(4，3)t，(4，6)t。 今有某待识别样本，其直径和长度均为今有某待识别样本，其直径和长度均为1cm，即，即x = (1,1)t，请用最小距离法对其进行分类。，请用最小距离法对其进行分类。77正态分布的判别函数正态分布的判别函数解：解：1 先求两类样本的均值：先求两类样本的均值：12334 22425,3,442t 23344 63367 9,442 2t 第二章 贝叶斯决策理论78正态分布的判别函数正态分布的判别函数2 计算计算x与两类均值的距离与两类均值的距离 3 得出分类结果得出分类结果 因因D1 p(x|2) P(2)，则，则将将x划归为划归为R1是比较有利的，这样

25、可减小误差是比较有利的，这样可减小误差积分的大小，而这正是贝叶斯判决规则所得的积分的大小，而这正是贝叶斯判决规则所得的结论。结论。n 在多类情况下，出错的方式比正确的方式多，在多类情况下，出错的方式比正确的方式多，因而计算正确分类的概率相对较简单，显然因而计算正确分类的概率相对较简单，显然ciiiciiiiciiidPpPPPcorrectP1111)()|()()|(),()(xxxx(71)第二章 贝叶斯决策理论正态密度的误差上界正态密度的误差上界n 贝叶斯判决规则确保了最低的误差概率，并且贝叶斯判决规则确保了最低的误差概率，并且知道如何计算判决边界。然而，这些结论并没知道如何计算判决边界

26、。然而，这些结论并没有告诉我们实际的误差概率是多少。高斯情况有告诉我们实际的误差概率是多少。高斯情况下的整个误差率计算过程相当复杂，尤其是高下的整个误差率计算过程相当复杂，尤其是高维情况，这是因为式维情况，这是因为式(71)的积分范围中的判决的积分范围中的判决区域不连续。但是，两类情况下式区域不连续。但是，两类情况下式(5)的一般误的一般误差积分公式可近似的给出一个误差率的上界差积分公式可近似的给出一个误差率的上界(upper bounds)。 第二章 贝叶斯决策理论123正态分布的判别函数正态分布的判别函数最小距离分类器与线性分类器都是线性分类器，最小距离分最小距离分类器与线性分类器都是线性

27、分类器，最小距离分类器是线性分类器的一个特例。类器是线性分类器的一个特例。最小距离分类器在正态分布情况下，是按超球体分布以及先最小距离分类器在正态分布情况下，是按超球体分布以及先验概率相等的前提下，才体现最小错误率的。验概率相等的前提下，才体现最小错误率的。最小距离分类器的思想在分类器设计中是一种较常用的方法最小距离分类器的思想在分类器设计中是一种较常用的方法。n 正态分布的协方差矩阵为单位矩阵：概率密度点轨迹对应正态分布的协方差矩阵为单位矩阵：概率密度点轨迹对应于欧氏距离为常数；于欧氏距离为常数；n 先验概率要相等先验概率要相等第二章 贝叶斯决策理论124总结总结使用什么样的决策原则我们可以

28、做到错误率最小呢？使用什么样的决策原则我们可以做到错误率最小呢？这个条件是要知道一个样本这个条件是要知道一个样本X分属不同类别的可能性分属不同类别的可能性，表示成，表示成P(i|X)，然后根据后验概率最大的类来分，然后根据后验概率最大的类来分类。后验概率要通过类。后验概率要通过Bayes公式从先验概率与类分布公式从先验概率与类分布函数来计算。但是函数来计算。但是Bayes决策太原则了，使用的前提决策太原则了，使用的前提是知道特征空间中样本各个值的后验概率。但是我们是知道特征空间中样本各个值的后验概率。但是我们在实际设计分类器算法只能依据一个训练样本集提供在实际设计分类器算法只能依据一个训练样本

29、集提供的数据。的数据。第二章 贝叶斯决策理论125总结总结错分类最小并不一定是一个识别系统最重要的指标错分类最小并不一定是一个识别系统最重要的指标对语音识别、文字识别来说可能这是最重要的指标，对语音识别、文字识别来说可能这是最重要的指标，但对医疗诊断、地震、天气预报等还要考虑错分类的但对医疗诊断、地震、天气预报等还要考虑错分类的不同后果，因此引入了风险，损失这些概念，以便在不同后果，因此引入了风险，损失这些概念，以便在决策时兼顾不同后果的影响。在实际问题中计算损失决策时兼顾不同后果的影响。在实际问题中计算损失与风险是复杂的，在使用数学式子计算时，往往用赋与风险是复杂的，在使用数学式子计算时，往往用赋于不同权值来表示，这大概是一种常用的方法。于不同权值来表示，这大概是一种常用的方法。第二章 贝叶斯决策理论126总结总结各类样本近似于正态分布时，可以算出使错误率最小各类样本近似于正态分布时，可以算出使错误率最小或风险最小的分界面，及相应的分界面方程。因此或风险最小的分界面，