第二章贝叶斯决策理论

1、,2.1 Bayes决策的基本概念 2.2 基于最小错误率的Bayes决策 2.3 基于最小风险的Bayes决策 2.4 Bayes决策比较 2.5 基于二值数据的Bayes分类实现 2.6 基于最小错误率的Bayes分类实现 2.7 基于最小风险的Bayes分类实现 2.8 本章小结 2.9 课后作业,第二章 贝叶斯决策理论,第二章 内容纲要,02,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,03,2.1.1 Bayes决策所讨论的问题,第二章 贝叶斯决策理论,04,（1）当分类器的设计完成后，对待测样品进行分类，一定能正确分类吗？ （2）如果有错分类情况发生，是在何种情况下出

2、现的？错分类的可能性会有多大？,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,05,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,06,例：某制药厂生产的药品检验识别,目的：说明Bayes决策所要解决的问题！,如图4-1所示，正常药品“，异常药品”-”。识别的目的是要依据X向量将药品划分为两类。,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,07,对于图4-1来说，可以用一直线作为分界线，这条直线是关于X的线性方程，称为线性分类器。,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,08,问题在于出现模棱两可的情况，如图4-2所示。,2.1 Baye

3、s决策的基本概念,第二章 贝叶斯决策理论,09,此时，任何决策都存在判错的可能性。 即所观察到的某一样品的特征向量X，在M类中又有不止一类可能呈现这一X值，无论直线参数如何设计，总会有错分类发生。,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,10,如果以错分类最小为原则分类，则图中A直线可能是最佳的分界线，它使错分类的样品数量为最小。,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,11,如果将一个“样品错分为”“类所造成的损失要比将”“分成”“类严重。 偏向使对”“类样品的错分类进一步减少，可以使总的损失最小，那么B直线就可能比A直线更适合作为分界线。,2.1 Bay

4、es决策的基本概念,第二章 贝叶斯决策理论,12,分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数。 不同准则函数的最优解对应不同的学习结果，得到性能不同的分类器。,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,13,错分类往往难以避免，这种可能性可用 表示。 如何做出合理的判决就是Bayes决策所要讨论的问题。 其中最有代表性的是:,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,14,基于错误率的Bayes决策,基于最小风险的Bayes决策,1）基于最小错误率的Bayes决策 指出了机器自动识别出现错分类的条件； 错分类的可能性如何计算； 如何实

5、现使错分类出现可能性最小。,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,15,2）基于最小错误风险的Bayes决策 引入了“风险”与“损失”概念，希望做到使风险最小，减小危害大的错分类情况。,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,16,从图42可见，错分类有不同情况，两种错误造成的损失不一样，不同的错误分类造成的损失会不相同，后一种错误更可怕，因此就要考虑减小因错分类的危害损失。,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,17,2.1.2 Bayes公式,第二章 贝叶斯决策理论,18,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,对

6、于待测样品，Bayes公式可以计算出该样品分属各类别的概率，叫做后验概率。 看X属于哪个类的可能性最大，就把X归于可能性最大的那个类，后验概率作为识别对象归属的依据。,19,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,Bayes公式如下：,Bayes公式体现了先验概率、类概率密度函数、后验概率三者之间的关系。,20,先验概率,类条件概率密度函数,后验概率,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,1、先验概率,先验概率,针对M个事件出现的可能性而言，,不考虑其他任何条件。,21,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,1、举例说明：什么是先验概率

7、 ？,，异常药品数为,由统计资料表明总药品数为n，,其中正常药品数为,则,先验概率!,显然在一般情况下正常药品占比例大，即,22,由先验概率所提供的信息太少！,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,类条件概率密度函数,是指在已知某类别的特征空间中，出现特征值X的 概率密度，,即第,类样品它的属性X是如何分布的。,23,2、类条件概率密度函数,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,假定只用某一个特征进行分类，即d1。 并已知这两类的类条件概率函数分布，如图43所示。,24,概率密度函数,是正常药品的属性分布，概率密度函数,是异常药品的属性分布。,2.1 B

8、ayes决策的基本概念,第二章 贝叶斯决策理论,如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。,也就确定了。,25,在工程上的许多问题中，统计数据往往满足正态分布规律。,正态分布简单，分析简单，参量少，是一种适宜的数学模型。,只要估计出这些参数，类条件概率密度函数,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,单变量正态分布概率密度函数为：,为数学期望（均值）,为方差：,26,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,多维正态概率密度函数为：,为,维特征向量；,为,

9、维均值向量；,为,维协方差矩阵；,是,的逆矩阵；,是,的行列式。,27,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,在大多数情况下，类条件概率密度函数可以采用多维变量的正态概率密度函数类模拟，即,28,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,3、后验概率,29,后验概率是指呈现状态X时，该样品分属各类别的概率，这个概率值可以作为识别对象归属的依据 。,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,由于属于不同类的待识别对象存在着呈现相同观察值 的可能，即所观察到的某一样品的特征向量为X，而 在M类中又有不止一类可能呈现这一X值，它属于各类 的概率又是

10、多少呢？,这种可能性可用,表示！,30,后验概率！,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,是表示在X出现条件下，样品为,类的概率。在这里要弄清楚条件概率这个概念。,31,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,4、,和,与,和,的区别,和,是在同一条件X下，比较,和,出现的概率。,32,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,如,则可以下结论，在X条件下，事件,出现的可能性大。,两类情况下，则有,33,如图44所示。,2.1 Bayes决策的基本概念,第二章 贝叶斯决策理论,与,两者之间没有联系，比较两者没有意义。,34,都是指各自条件下

11、出现X的可能性，,2.2 基于最小错误率的Bayes决策,第二章 贝叶斯决策理论,35,2.2 基于最小错误率的Bayes决策,第二章 贝叶斯决策理论,假定得到一个待识别量的特征X后，每个样品X有,个特征，即,通过样品库，计算先验概率,及类条件概率密度函数,，得到呈现状态X时，该样品分属各类别的概率，,36,显然这个概率值可以作为识别对象判属的依据。,2.2 基于最小错误率的Bayes决策,第二章 贝叶斯决策理论,基于最小错误概率的贝叶斯决策就是按后验概率的大小做判决的。这个规则又可以根据类别数目，写成不同的几种等价形式。,37,从后验概率分布图44可见，在X值小时，药品被 判为正常是比较合理

12、的，判断错误的可能性小。,第二章 贝叶斯决策理论,两类问题,若每个样品属于,，,类中的一类，已知两类的先验概率分别为,和,，两类的类条件概率密度分别为,和,则任给一X，判断X的类别。,38,2.2 基于最小错误率的Bayes决策,由Bayes公式可知：,由全概率公式可知：,其中M为类别。,第二章 贝叶斯决策理论,对于两类问题,所以用后验概率来判别为：,39,2.2 基于最小错误率的Bayes决策,第二章 贝叶斯决策理论,判别函数还有另外两种形式，即似然比形式：,其中，式中的,在统计学中称为似然比。,称为似然比阈值，其对数形式：,三种判别函数是一致的。也可以用后验概率来表示判别函数。,40,2.

13、2 基于最小错误率的Bayes决策,第二章 贝叶斯决策理论,判别函数的一般形式，如图45所示。,41,2.2 基于最小错误率的Bayes决策,2.多类问题,第二章 贝叶斯决策理论,若样品分为M类,各类的先验概率分别为,各类的类条件概率密度分别为,就有M个判别函数。,42,2.2 基于最小错误率的Bayes决策,2.多类问题,第二章 贝叶斯决策理论,在取得一个观察特征X之后，在特征X的条件下，看 哪个类的概率最大，应该把X归于概率最大的那个类。,43,2.2 基于最小错误率的Bayes决策,因此对于任一模式X，可以通过比较各个判别函数来确定X的类别。,其中，,把X代入M个判别函数中，看哪个判别函

14、数最大，就把X归于这一类。,第二章 贝叶斯决策理论,判别函数的对数形式为：,44,2.2 基于最小错误率的Bayes决策,其中，,第二章 贝叶斯决策理论,在大多数情况下，类条件概率密度可以采用多维变量 的正态概率密度函数来模拟。,45,2.2 基于最小错误率的Bayes决策,此时正态分布的Bayes分类器判别函数为：,第二章 贝叶斯决策理论,使用什么样的决策原则可以做到错误率最小呢？,然后根据后验概率最大的类来分类。,46,2.2 基于最小错误率的Bayes决策,这个条件是要知道一个样品X分属不同类别的可能性，表示成,后验概率要通过Bayes公式从先验概率与类分布函数来计算。,第二章 贝叶斯决

15、策理论,基于最小错误率的Bayes决策根据：,如果,则,注意：由于统计判别方法是基于统计参数做出决策，因此错误率 也只能从平均的意义上讲，表示为在观测值可能取值的整个范围 内错误率的均值。,47,2.2 基于最小错误率的Bayes决策,3.最小错误率证明,第二章 贝叶斯决策理论,为了直观，假设X只有一个特征，,，于是,，,都是一元函数。,将整个特征空间分为不相交的两个部分,和,当模式落在,内判它属于,类，,求分类器相当于求,和,的界线。,48,2.2 基于最小错误率的Bayes决策,第二章 贝叶斯决策理论,1) 第一类判错,如果X原属于,类，却落在,内，称为第一类判错。,49,2.2 基于最小

16、错误率的Bayes决策,错误率为：,第二章 贝叶斯决策理论,2) 第二类判错,如果X原属于,类，却落在,内，称为第二类判错。,50,2.2 基于最小错误率的Bayes决策,错误率为：,第二章 贝叶斯决策理论,平均错误率,可表示成：,因此，错误率为图中两个划线部分之和，如图46所示。,51,2.2 基于最小错误率的Bayes决策,第二章 贝叶斯决策理论,表明每个样品所属类别都使,这时总的错误率为最小。,52,2.2 基于最小错误率的Bayes决策,如果,则,Bayes决策公式！,为最大，,实际上使X判错的可能性达到最小，,按Bayes决策分类时，,2.3 基于最小风险的Bayes决策,第二章 贝

17、叶斯决策理论,53,第二章 贝叶斯决策理论,54,2.3 基于最小风险的Bayes决策,可见使错误率最小并不一定是最佳选择!,第二章 贝叶斯决策理论,实践中，从根据不同性质的错误会引起不同程度的损失考虑出发, 宁肯扩大一些总的错误率，但也要使总的损失减少。,55,2.3 基于最小风险的Bayes决策,这会引起一个与损失有关联的概率风险。在做出决策时，要 考虑所承担的风险。 基于最小风险的Bayes决策规则正是为了体现这一点而产生的!,这时直线B的划 分为最实用!,第二章 贝叶斯决策理论,将做出判决的依据，从单纯考虑后验概率最大值，改为对该观 测值X条件下各状态后验概率求加权和的方式：,其中，,

18、代表将X判为,类的决策；,表示观测样品X实属于,，由于采用,决策而被判为,时所造成的损失。,则表示了观测值X被判为,类时损失的均值。,56,2.3 基于最小风险的Bayes决策,第二章 贝叶斯决策理论,损失函数!,也可以定义,与,是指正确判断也可能有损失。,57,2.3 基于最小风险的Bayes决策,为了使式子书写更方便，,第二章 贝叶斯决策理论,把X判作,引进的损失应该与,以及,都有关，哪一个占主要成分，则取决于,与,。,因此变成了一个加权和。如表41所示。,58,2.3 基于最小风险的Bayes决策,第二章 贝叶斯决策理论,此时做出哪一种决策就要看是,小还是,小了，,这就是基于最小风险的B

19、ayes决策的基本出发点。,如果希望尽可能避免将某状态,错判为状态,，则可将相应的,值选择得大些，以表明损失的严重性。,加权和,用来衡量观测样品X被判为状态,所需承担的风险。,而究竟将X判为何类则应依据所有,中的最小值，即最小风险来决定。,59,2.3 基于最小风险的Bayes决策,第二章 贝叶斯决策理论,一般,为了避免将异常药品判为正常的严重损失，取,则会使,机会多 。根据Bayes最小风险分类法，,表明正常药品错判为异常的可能性大于异常药品错判为,正常的可能性，损失减少。,60,2.3 基于最小风险的Bayes决策,第二章 贝叶斯决策理论,一些确切的定义：, 自然状态与状态空间。,则是由所

20、有自然状态组成的空间，,。,而状态间,61,2.3 基于最小风险的Bayes决策,其中自然状态是指待识别对象的类别，,第二章 贝叶斯决策理论,决策与决策空间。 在决策论中，对分类问题所做的判决，称之为决策，由所 有决策组成的空间称为决策空间。 决策不仅包括根据观测值将样品归到哪一类别，还可包括 其他决策，如“拒绝”等，在不考虑“拒绝”情况下，决策空间 内决策总数等于类别数M，表示成,62,2.3 基于最小风险的Bayes决策,第二章 贝叶斯决策理论,损失函数,它明确表示本身属于自然状态,，做出决策,使其归属于,所造成的损失。,63,2.3 基于最小风险的Bayes决策,，,第二章 贝叶斯决策理

21、论,观测值X条件下的期望损失,，,也称为条件风险。,，,最小风险Bayes决策规则可写成：,这里计算的是最小值。,64,2.3 基于最小风险的Bayes决策,第二章 贝叶斯决策理论,对于实际问题，最小风险Bayes决策可按下列步骤进行。,已知,，,，,X的情况下，根据Bayes公式计算出后验概率：,65,2.3 基于最小风险的Bayes决策,及给出待识别,第二章 贝叶斯决策理论,利用计算出的后验概念及决策表，按下式计算出采取决策 。,的条件风险,，, 对中得到的M个条件风险值,，,进行比较，,找出使条件风险最小的决策,，则,就是最小风险Bayes决策。,就是待识别样品X的归类。,66,2.3

22、基于最小风险的Bayes决策,，,，,2.4 Bayes决策比较,第二章 贝叶斯决策理论,67,2.4 Bayes决策比较,第二章 贝叶斯决策理论,1、最小错误率与最小风险的Bayes决策比较,式中假定对M类只有M个决策，即不考虑“拒绝”等其他情况。,而对于任何错误决策，其损失均为1。,）时没有损失，,这样定义的损失函数称为01损失函数。,68,最小错误率与最小风险的Bayes决策之间的关系：,设损失函数为：,由式表明，当做出正确决策（即,第二章 贝叶斯决策理论,69,2.4 Bayes决策比较,在01损失函数情况下，基于最小风险的Bayes决策结果也就是基于最小错误概率的Bayes决策结果。

23、,第二章 贝叶斯决策理论,实际上，,也是将X判为,时的错误概率，,，因此当,最大时，基于最小错误概率,的Bayes决策结果将该样品判归为,类，而此时,风险也是最小的。因此它与基于最小错误率的Bayes决策的,70,2.4 Bayes决策比较,最小，,判据是一样的。,2.4 Bayes决策比较,第二章 贝叶斯决策理论,2、实例比较,71,某制药厂生产产品检测分两种情况：正常(,）和异常（,），,两类的先验概率分别为,，,。,现有一待测产品呈现出状态X，由类条件概率密度分布曲线查得,，,，,（1）试对该产品X按最小错误率的Bayes决策进行分类。,若在上述条件基础之上，已知,，,，,，,，,表示,

24、（3）对这两种分类结果进行比较。,的简写，（2）按最小风险Bayes决策进行分类。,第二章 贝叶斯决策理论,从上述讨论可以看出，正确制订损失函数值， 是基于最小风险的Bayes决策方法在实际应用 中的一个关键问题。 在实际中列出合适的决策表并不是一件容易的事， 需根据所研究的具体问题，分析错误决策造成损失 的严重程度。,72,2.4 Bayes决策比较,2.5 基于二值数据的Bayes分类实现,第二章 贝叶斯决策理论,73,2.5 基于二值数据的Bayes分类实现,第二章 贝叶斯决策理论,1、理论基础,74,所谓二值数据，即各样品的每一特征只取数值“1”或“0”。,第二章 贝叶斯决策理论,2、

25、实现步骤,75,1）计算先验概率；,2）计算类条件概率；,3）应用Bayes公式求后验概率；,4）后验概率的最大值的类别（09）就是手写数字的所属类别。,2.5 基于二值数据的Bayes分类实现,2.6 基于最小错误率的Bayes分类实现,第二章 贝叶斯决策理论,76,第二章 贝叶斯决策理论,1、理论总结,77,错误率最小的Bayes分类器设计思想是寻找一种划分方式，使 “错判”率最小。,1）两类问题,2）多类问题,2.6 基于最小错误率的Bayes分类实现,第二章 贝叶斯决策理论,2、实现步骤,78,1）求出每一类手写数字样品的均值,2）求每一类的协方差矩阵,3）计算出每一类的协方差矩阵的逆

26、矩阵以及协方差矩阵的行列式,4）求出每一类的先验概率,5）将各个数值代入判别函数,6）判别函数最大值所对应类别就是手写数字的类别,2.6 基于最小错误率的Bayes分类实现,2.7 基于最小风险的Bayes分类实现,第二章 贝叶斯决策理论,79,第二章 贝叶斯决策理论,80,2.7 基于最小风险的Bayes分类实现,待测样品,第二章 贝叶斯决策理论,1、实现步骤,81,1）求出每一类手写数字样品的均值,2）求每一类的协方差矩阵,3）计算出每一类的协方差矩阵的逆矩阵以及协方差矩阵的行列式,4）求出每一类的先验概率,5）计算后验概率,6）定义损失数组为loss1010,7）计算每一类的损失riski,8）找出最小损失所对应的类，该类即是待测样品所属的类别。,2.7 基于最小风险的Bayes分类实现,第二章 贝叶斯决策理论,82,6）定义损失数组为loss1010,2.7 基于最小风险的Bayes分类实现,第二章 贝叶斯决策理论,83,7）计算每一类的损失riski,2.7 基于最小风险的Bayes分类实现,第二章 贝叶斯决策理论,2、效果图,84,2.7 基于最小风险的