第二章贝叶斯决策理论2014

1、 内容纲要 研究目的和意义研究目的和意义14251 130011 0010 1010 1101 0001 0100 1011第二章贝叶斯决策理论01 内容纲要 研究目的和意义研究目的和意义2 2.1 分类器设计（以统计概率为基础） 2.2 Bayes决策的讨论/基本概念 2.3 基于最小错误率的Bayes决策 2.4 基于最小风险的Bayes决策 2.5 Bayes决策比较 2.6 Bayes分类实现 2.7 两类错误率与ROC曲线 2.8 本章小结第二章 贝叶斯决策理论第二章 内容纲要 内容纲要 研究目的和意义研究目的和意义31.5 模式识别系统第一章 绪论计算机分类识别计算机分析 内容纲要

2、 研究目的和意义研究目的和意义41.5 模式识别系统第一章 绪论一个典型的模式识别系统（监督模式识别） 一个典型的模式识别系统一般由数据获取，预处理，特征提取选择、分类决策及分类器设计五部分组成。 分类器设计在训练过程中完成，利用样本进行训练，确定分类器的具体参数。而分类决策在识别过程中起作用，对待识别的样本进行分类决策。 内容纲要 研究目的和意义研究目的和意义52.1 分类器设计（以特征值的统计概率为基础）第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义6 2.基于数据的方法 基本思想：确定了描述样本所采用的特征之后，收集一定数量的已知样本，用这些样本作训练集来训练一定的模式识

3、别机器，使之在训练后能够对未知样本进行分类。（主要的方法，基础是统计模式识别。）1.3 模式识别的主要方法第一章 绪论 内容纲要 研究目的和意义研究目的和意义7 （1）由于样本的统计变化的原因，以“特征值的统计概率为基础”开始。 （2）基本思路基本思路：设计分类器，将未知类型的样本分类到最可能的类别中！ （3）需要定义，什么是“最可能”？2.1.1 基本思路第二章 贝叶斯决策理论？X？X 内容纲要 研究目的和意义研究目的和意义8第二章 贝叶斯决策理论“可能性” “概率” )|(BAP“条件概率”？ 如何计算？ 贝叶斯规则（公式）！ 2.1.1 基本思路 内容纲要 研究目的和意义研究目的和意义9

4、2.1.2 Bayes公式第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义102.1.2 Bayes公式第二章 贝叶斯决策理论Bayes公式如下：njjjiiiPXPPXPXP1)()|()()|()|(Bayes公式体现了先验概率、类概率密度函数、后验概率三者之间的关系。)(iP)|(iXP先验概率类条件概率密度函数后验概率)|(XPi 内容纲要 研究目的和意义研究目的和意义11第二章 贝叶斯决策理论贝叶斯准则 内容纲要 研究目的和意义研究目的和意义12第二章 贝叶斯决策理论对于待测样品，Bayes公式可以计算出该样品分属各类别的概率，叫做后验概率。看X属于哪个类的可能性最大，

5、就把X归于可能性最大的那个类，后验概率作为识别对象归属的依据。 基本的贝叶斯决策思路！2.1.2 Bayes公式 内容纲要 研究目的和意义研究目的和意义132.2 Bayes决策的讨论第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义142.2.1 Bayes决策所讨论的问题第二章 贝叶斯决策理论分类问题解决了吗？ 内容纲要 研究目的和意义研究目的和意义152.2 Bayes决策的讨论第二章 贝叶斯决策理论例：某制药厂生产的药品检验识别目的：说明Bayes决策所要解决的问题！如图所示，正常药品“，异常药品”-”。识别的目的是要依据X向量将药品划分为两类。 内容纲要 研究目的和意义研

6、究目的和意义16 对于图来说，可以用一直线作为分界线，这条直线是关于X的线性方程，称为线性分类器线性分类器。2.2 Bayes决策的讨论第二章 贝叶斯决策理论Feature Space 内容纲要 研究目的和意义研究目的和意义17 问题在于出现模棱两可的情况，如图问题在于出现模棱两可的情况，如图4-24-2所示。所示。2.2 Bayes决策的讨论第二章 贝叶斯决策理论1.1.此时，任何决策此时，任何决策都存在判错的可能都存在判错的可能性。性。2.2.所观察到的某一所观察到的某一样品的特征向量样品的特征向量X X，在在M M类中又有不止一类中又有不止一类可能呈现这一类可能呈现这一X X值，值，无论

7、直线参数如何无论直线参数如何设计，总会有错分设计，总会有错分类发生。类发生。 内容纲要 研究目的和意义研究目的和意义18 （1）按什么规则设计分类器（完成分类）？ （2）当分类器的设计完成后，对待测样品进行分类，一定能正确分类吗？ （3）如果有错分类情况发生，是在何种情况下出现的？错分类的可能性会有多大？2.2.1 Bayes决策所讨论的问题第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义19 如果以错分类最小为原则分类，则图中A直线可能是最佳的分界线，它使错分类的样品数量为最小。2.2 Bayes决策的讨论第二章 贝叶斯决策理论选A，将“”误为“+”，错分3个样本选B，将“+”

8、误为“”，错分4个样本 内容纲要 研究目的和意义研究目的和意义20 如果将一个“样品错分为”“类所造成的损失要比将”“分成”“类严重。 偏向使对”“类样品的错分类进一步减少，可以使总的损失最小，那么B直线就可能比A直线更适合作为分界线。2.2 Bayes决策的讨论第二章 贝叶斯决策理论将“”误为“+”，将“+”误为“”+ 内容纲要 研究目的和意义研究目的和意义21 分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数。 不同准则函数的最优解对应不同的学习结果，得到性能不同的分类器。2.2 Bayes决策的讨论第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义22

9、（1）按什么规则设计分类器（完成分类）？ （2）当分类器的设计完成后，对待测样品进行分类，一定能正确分类吗？ （3）如果有错分类情况发生，是在何种情况下出现的？错分类的可能性会有多大？2.2.1 Bayes决策所讨论的问题第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义23 错分类往往难以避免，这种可能性可用 表示。2.2 Bayes决策的讨论第二章 贝叶斯决策理论)|(XPi 内容纲要 研究目的和意义研究目的和意义24 错分类往往难以避免，这种可能性可用 表示。 如何做出合理的判决就是Bayes决策所要讨论的问题。2.2 Bayes决策的讨论第二章 贝叶斯决策理论)|(XPi

10、内容纲要 研究目的和意义研究目的和意义25 错分类往往难以避免。 如何做出合理的判决就是Bayes决策所要讨论的问题。 其中最有代表性的是:2.2 Bayes决策的基本概念第二章 贝叶斯决策理论基于错误率的Bayes决策基于最小风险的Bayes决策 内容纲要 研究目的和意义研究目的和意义261）基于最小错误率的Bayes决策 指出了机器自动识别出现错分类的条件； 错分类的可能性如何计算； 如何实现使错分类出现可能性最小。2.2 Bayes决策的基本概念第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义27 如果将一个“样品错分为”“类所造成的损失要比将”“分成”“类严重。 偏向使对

11、”“类样品的错分类进一步减少，可以使总的损失最小，那么B直线就可能比A直线更适合作为分界线。2.2 Bayes决策的讨论第二章 贝叶斯决策理论将“”误为“+”，将“+”误为“”+ 内容纲要 研究目的和意义研究目的和意义282）基于最小错误风险的Bayes决策 在最小错误率的决策基础上，引入了“风险”与“损失”概念，希望做到使风险最小，减小危害大的错分类情况。 2.2 Bayes决策的讨论第二章 贝叶斯决策理论本页图片来自百度搜索引擎 内容纲要 研究目的和意义研究目的和意义29 从图42可见，错分类有不同情况，两种错误造成的损失不一样，不同的错误分类造成的损失会不相同，后一种错误更可怕，因此就要

12、考虑减小因错分类的危害损失。2.2 Bayes决策的讨论第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义302.2.2 Bayes公式第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义312.2 Bayes决策的基本概念第二章 贝叶斯决策理论对于待测样品，Bayes公式可以计算出该样品分属各类别的概率，叫做后验概率。看X属于哪个类的可能性最大，就把X归于可能性最大的那个类，后验概率作为识别对象归属的依据。 内容纲要 研究目的和意义研究目的和意义322.2 Bayes决策的基本概念第二章 贝叶斯决策理论Bayes公式如下：njjjiiiPXPPXPXP1)()|()()

13、|()|(Bayes公式体现了先验概率、类概率密度函数、后验概率三者之间的关系。)(iP)|(iXP先验概率类条件概率密度函数后验概率)|(XPi 内容纲要 研究目的和意义研究目的和意义332.2 Bayes决策的基本概念第二章 贝叶斯决策理论)(iP)(iP1、先验概率先验概率针对M个事件出现的可能性而言，不考虑其他任何条件。 内容纲要 研究目的和意义研究目的和意义342.2 Bayes决策的基本概念第二章 贝叶斯决策理论)(iP1n2n1、举例说明：什么是先验概率 ？，异常药品数为由统计资料表明总药品数为n，其中正常药品数为则 nnP11)(nnP22)(先验概率! 显然在一般情况下正常药

14、品占比例大，即)()(21PP由先验概率所提供的信息太少！ 内容纲要 研究目的和意义研究目的和意义352.2 Bayes决策的基本概念第二章 贝叶斯决策理论)|(iXP类条件概率密度函数 )|(iXP是指在已知某类别的特征空间中，出现特征值X的概率密度， i即第 类样品它的属性X是如何分布的。 2、类条件概率密度函数 内容纲要 研究目的和意义研究目的和意义362.2 Bayes决策的基本概念第二章 贝叶斯决策理论假定只用某一个特征进行分类，即d1。并已知这两类的类条件概率函数分布，如图43所示。 概率密度函数 )|(1XP是正常药品的属性分布，概率密度函数 )|(2XP是异常药品的属性分布。

15、内容纲要 研究目的和意义研究目的和意义372.2 Bayes决策的基本概念第二章 贝叶斯决策理论如果采用正态密度函数作为类条件概率密度的函数形式，则函数内的参数（如期望和方差）是未知的，那么问题就变成了如何利用大量样品对这些参数进行估计。)|(iXP也就确定了。 在工程上的许多问题中，统计数据往往满足正态分布规律。正态分布简单，分析简单，参量少，是一种适宜的数学模型。只要估计出这些参数，类条件概率密度函数 内容纲要 研究目的和意义研究目的和意义382.2 Bayes决策的基本概念第二章 贝叶斯决策理论单变量正态分布概率密度函数为：)(21exp21)(2xxP为数学期望（均值） dxxxPxE

16、)()(2为方差： dxxPxxE)()()(222 内容纲要 研究目的和意义研究目的和意义392.2 Bayes决策的基本概念第二章 贝叶斯决策理论多维正态概率密度函数为：)()(21exp|)2(1)(12/12/XSXSXPTN),.,(21NxxxX 为 N维特征向量； 为 N),.,(21N)(TXXES维均值向量； 为 N维协方差矩阵； 1S是 S的逆矩阵； | S是 S的行列式。 内容纲要 研究目的和意义研究目的和意义402.2 Bayes决策的基本概念第二章 贝叶斯决策理论在大多数情况下，类条件概率密度函数可以采用多维变量的正态概率密度函数类模拟，即|ln212ln2)()(2

17、1)()(21exp|)2(1ln)|(112/12/iiiTiiiTiiNiSNXSXXSXSXP 内容纲要 研究目的和意义研究目的和意义412.2 Bayes决策的基本概念第二章 贝叶斯决策理论3、后验概率 后验概率是指呈现状态X时，该样品分属各类别的概率，这个概率值可以作为识别对象归属的依据 。 内容纲要 研究目的和意义研究目的和意义422.2 Bayes决策的基本概念第二章 贝叶斯决策理论由于属于不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的某一样品的特征向量为X，而在M类中又有不止一类可能呈现这一X值，它属于各类的概率又是多少呢？ 这种可能性可用 )|(XPi表示！ 后验

18、概率！ 内容纲要 研究目的和意义研究目的和意义432.2 Bayes决策的基本概念第二章 贝叶斯决策理论njjjiiiiPXPPXPXP1)()|()()|()|()|(XPi是表示在X出现条件下，样品为 i类的概率。在这里要弄清楚条件概率这个概念。 内容纲要 研究目的和意义研究目的和意义442.2 Bayes决策的基本概念第二章 贝叶斯决策理论4、 )|(1XP和 )|(2XP与 )|(1XP和 )|(2XP的区别 )|(1XP和 )|(2XP是在同一条件X下，比较 1和 2出现的概率。 内容纲要 研究目的和意义研究目的和意义452.2 Bayes决策的基本概念第二章 贝叶斯决策理论 如 )

19、|()|(21XPXP则可以下结论，在X条件下，事件 1出现的可能性大。两类情况下，则有 1)|()|(21XPXP如图44所示。 内容纲要 研究目的和意义研究目的和意义462.2 Bayes决策的基本概念第二章 贝叶斯决策理论 )|(1XP与 )|(2XP两者之间没有联系，比较两者没有意义。 都是指各自条件下出现X的可能性， 内容纲要 研究目的和意义研究目的和意义472.3 基于最小错误率的Bayes决策 第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义482.3 基于最小错误率的Bayes决策第二章 贝叶斯决策理论假定得到一个待识别量的特征X后，每个样品X有 N个特征，即 T

20、NxxxX),.,(21 通过样品库，计算先验概率 )(iP及类条件概率密度函数 )|(iXP，得到呈现状态X时，该样品分属各类别的概率， 显然这个概率值可以作为识别对象判属的依据。 内容纲要 研究目的和意义研究目的和意义492.3 基于最小错误率的Bayes决策第二章 贝叶斯决策理论基于最小错误概率的贝叶斯决策就是按后验概率的大小做判决的。这个规则又可以根据类别数目，写成不同的几种等价形式。 从后验概率分布图44可见，在X值小时，药品被判为正常是比较合理的，判断错误的可能性小。 内容纲要 研究目的和意义研究目的和意义50第二章 贝叶斯决策理论两类问题若每个样品属于 1， 2类中的一类，已知两

21、类的先验概率分别为 )(1P和 )(2P，两类的类条件概率密度分别为 )|(1XP和 )|(2XP则任给一X，判断X的类别。 2.3 基于最小错误率的Bayes决策由Bayes公式可知：)(/ )()|()|(XPPXPXPjjj由全概率公式可知：MjjjPXPXP1)()|()(其中M为类别。 内容纲要 研究目的和意义研究目的和意义51第二章 贝叶斯决策理论对于两类问题)()|()()|()(2211PXPPXPXP所以用后验概率来判别为：2121)|()|(XXPXP2.3 基于最小错误率的Bayes决策 内容纲要 研究目的和意义研究目的和意义52第二章 贝叶斯决策理论判别函数还有另外两种

22、形式，即似然比形式： 211221)()()|()|()(XPPXPXPxl其中，式中的 )(xl在统计学中称为似然比。 )()(12PP称为似然比阈值，其对数形式： 212112)(/ )(ln)|(ln)|(lnXPPXPXP三种判别函数是一致的。也可以用后验概率来表示判别函数。2.3 基于最小错误率的Bayes决策 内容纲要 研究目的和意义研究目的和意义53第二章 贝叶斯决策理论判别函数的一般形式，如图45所示。2.3 基于最小错误率的Bayes决策2.多类问题 内容纲要 研究目的和意义研究目的和意义54第二章 贝叶斯决策理论若样品分为M类 M,.,21各类的先验概率分别为 )(1P)(

23、2P )(MP各类的类条件概率密度分别为 )|(1XP)|(2XP )|(MXP就有M个判别函数。 2.3 基于最小错误率的Bayes决策2.多类问题 内容纲要 研究目的和意义研究目的和意义55第二章 贝叶斯决策理论在取得一个观察特征X之后，在特征X的条件下，看哪个类的概率最大，应该把X归于概率最大的那个类。2.3 基于最小错误率的Bayes决策因此对于任一模式X，可以通过比较各个判别函数来确定X的类别。ijjMjiiXXPPXPP)|()()|()(max1其中， Mi,.,2 , 1 把X代入M个判别函数中，看哪个判别函数最大，就把X归于这一类。 内容纲要 研究目的和意义研究目的和意义56

24、第二章 贝叶斯决策理论判别函数的对数形式为：ijjMjiiXXPPXPP)|(ln)(lnmax)|(ln)(ln12.3 基于最小错误率的Bayes决策其中， Mi,.,2 , 1 内容纲要 研究目的和意义研究目的和意义57第二章 贝叶斯决策理论在大多数情况下，类条件概率密度可以采用多维变量的正态概率密度函数来模拟。)(ln|ln212ln2)()(21)()()(21exp|)2(1ln)()|()(112/12/iiiiTiiiiTiiNiiiPSNXSXPXSXSPxPxh2.3 基于最小错误率的Bayes决策此时正态分布的Bayes分类器判别函数为： 内容纲要 研究目的和意义研究目的

25、和意义58第二章 贝叶斯决策理论使用什么样的决策原则可以做到错误率最小呢？)|(XPi然后根据后验概率最大的类来分类。2.3 基于最小错误率的Bayes决策这个条件是要知道一个样品X分属不同类别的可能性，表示成后验概率要通过Bayes公式从先验概率与类分布函数来计算。 直观的想法！确认是最明智的选择吗？ 内容纲要 研究目的和意义研究目的和意义59第二章 贝叶斯决策理论基于最小错误率的Bayes决策根据：如果 )|(max)|(2, 1XPXPjji则 iX注意：由于统计判别方法是基于统计参数做出决策，因此错误率也只能从平均的意义上讲，表示为在观测值可能取值的整个范围内错误率的均值。2.3 基于

26、最小错误率的Bayes决策3.最小错误率证明 内容纲要 研究目的和意义研究目的和意义60第二章 贝叶斯决策理论为了直观，假设X只有一个特征， 1N，于是 )|(1XP， )|(2XP都是一元函数。 将整个特征空间分为不相交的两个部分 1R和 2R当模式落在 1R内判它属于 1类， 求分类器相当于求 1R和 2R的界线。 2.3 基于最小错误率的Bayes决策1R2R12Feature SpaceFeature Space！ 内容纲要 研究目的和意义研究目的和意义61第二章 贝叶斯决策理论1) 第一类判错 如果X原属于 1类，却落在 2R内，称为第一类判错。2)|()|()(1121RdXXPR

27、XPeP2.3 基于最小错误率的Bayes决策错误率为：1R2R12XX 内容纲要 研究目的和意义研究目的和意义62第二章 贝叶斯决策理论2) 第二类判错如果X原属于 2类，却落在 1R内，称为第二类判错。12122( )(|)(|)RP eP XRP XdX2.3 基于最小错误率的Bayes决策错误率为：1R2R12XX 内容纲要 研究目的和意义研究目的和意义63第二章 贝叶斯决策理论平均错误率 )(eP可表示成： 12)()|()()|()(2211RRdXpXPdXpXPeP因此，错误率为图中两个划线部分之和，如图46所示。2.3 基于最小错误率的Bayes决策 内容纲要 研究目的和意义

28、研究目的和意义64第二章 贝叶斯决策理论表明每个样品所属类别都使 )|(XPi这时总的错误率为最小。12)()|()()|(2211RRdXpXPdXpXP2.3 基于最小错误率的Bayes决策如果 )|(max)|(2, 1XPXPjji则 iXBayes决策公式！为最大，实际上使X判错的可能性达到最小，按Bayes决策分类时， 内容纲要 研究目的和意义研究目的和意义652.4 基于最小风险的Bayes决策 第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义66第二章 贝叶斯决策理论2.4 基于最小风险的Bayes决策可见使错误率最小并不一定是最佳选择! 内容纲要 研究目的和意义

29、研究目的和意义67第二章 贝叶斯决策理论实践中，从根据不同性质的错误会引起不同程度的损失考虑出发,宁肯扩大一些总的错误率，但也要使总的损失减少。2.4 基于最小风险的Bayes决策这会引起一个与损失有关联的概率风险。在做出决策时，要考虑所承担的风险。基于最小风险的Bayes决策规则正是为了体现这一点而产生的! 这时直线B的划分为最实用! 内容纲要 研究目的和意义研究目的和意义68第二章 贝叶斯决策理论将做出判决的依据，从单纯考虑后验概率最大值，改为对该观测值X条件下各状态后验概率求加权和的方式： MjjiiXPjXR1)|(),()(其中， i代表将X判为 i类的决策； ),(ji表示观测样品

30、X实属于 j，由于采用 i决策而被判为 i时所造成的损失。 iR则表示了观测值X被判为 i类时损失的均值。 2.4 基于最小风险的Bayes决策 内容纲要 研究目的和意义研究目的和意义69第二章 贝叶斯决策理论损失函数! )2 ,(1) 1 ,(2也可以定义 ) 1 ,(1与 )2 ,(2是指正确判断也可能有损失。 2.4 基于最小风险的Bayes决策为了使式子书写更方便， 内容纲要 研究目的和意义研究目的和意义70第二章 贝叶斯决策理论把X判作 1引进的损失应该与 )2 ,(1以及 ) 1 ,(2都有关，哪一个占主要成分，则取决于 )|(1XP与 )|(2XP。 因此变成了一个加权和。如表4

31、1所示。2.4 基于最小风险的Bayes决策 内容纲要 研究目的和意义研究目的和意义71第二章 贝叶斯决策理论此时做出哪一种决策就要看是 )(1XR小还是 )(2XR小了， 这就是基于最小风险的Bayes决策的基本出发点。 如果希望尽可能避免将某状态 j错判为状态 i，则可将相应的 ),(ji值选择得大些，以表明损失的严重性。 加权和 iR用来衡量观测样品X被判为状态 i所需承担的风险。 而究竟将X判为何类则应依据所有 ),.,1(MiRi中的最小值，即最小风险来决定。 2.4 基于最小风险的Bayes决策 内容纲要 研究目的和意义研究目的和意义72第二章 贝叶斯决策理论一般 0)2 ,()

32、1 ,(21 为了避免将异常药品判为正常的严重损失，取 ) 1 ,()2 ,(21则会使 )()(12XRXR机会多 。根据Bayes最小风险分类法，表明正常药品错判为异常的可能性大于异常药品错判为正常的可能性，损失减少。2.4 基于最小风险的Bayes决策 内容纲要 研究目的和意义研究目的和意义73第二章 贝叶斯决策理论一些确切的定义： 自然状态与状态空间。则是由所有自然状态组成的空间， M,.,21。 而状态间2.4 基于最小风险的Bayes决策其中自然状态是指待识别对象的类别， 内容纲要 研究目的和意义研究目的和意义74第二章 贝叶斯决策理论决策与决策空间。在决策论中，对分类问题所做的判

33、决，称之为决策，由所有决策组成的空间称为决策空间。决策不仅包括根据观测值将样品归到哪一类别，还可包括其他决策，如“拒绝”等，在不考虑“拒绝”情况下，决策空间内决策总数等于类别数M，表示成 MA,.,212.4 基于最小风险的Bayes决策 内容纲要 研究目的和意义研究目的和意义75第二章 贝叶斯决策理论损失函数 ),(ji它明确表示本身属于自然状态 j，做出决策 i使其归属于 i所造成的损失。 2.4 基于最小风险的Bayes决策， 内容纲要 研究目的和意义研究目的和意义76第二章 贝叶斯决策理论观测值X条件下的期望损失 )|(XRi， iR也称为条件风险。 MjjiiXPjXR1)|(),(

34、)|(Mi,.,2 , 1，最小风险Bayes决策规则可写成：)|(min)|(,.2, 1XRXRiMik这里计算的是最小值。2.4 基于最小风险的Bayes决策 内容纲要 研究目的和意义研究目的和意义77第二章 贝叶斯决策理论对于实际问题，最小风险Bayes决策可按下列步骤进行。 已知 )(iP)|(iXPMi,.,2 , 1， X的情况下，根据Bayes公式计算出后验概率：MjjjiiiPXPPXPXP1)()|()()|()|(Mj,.,2 , 1 2.4 基于最小风险的Bayes决策及给出待识别 内容纲要 研究目的和意义研究目的和意义78第二章 贝叶斯决策理论利用计算出的后验概念及决

35、策表，按下式计算出采取决策 。iMi,.,2 , 1 的条件风险MjjiiXPjXR1)|(),()|(Mi,.,2 , 1， 对中得到的M个条件风险值 )|(XRiMi,.,2 , 1， 进行比较， 找出使条件风险最小的决策 k，则 k就是最小风险Bayes决策。 k就是待识别样品X的归类。2.4 基于最小风险的Bayes决策MjjiiXPjXR1)|(),()|(Mi,.,2 , 1，i， 内容纲要 研究目的和意义研究目的和意义792.5 Bayes决策比较 第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义802.5 Bayes决策比较第二章 贝叶斯决策理论1、最小错误率与最

36、小风险的Bayes决策比较Mjijijiji,.,2 , 1, 1, 0),(式中假定对M类只有M个决策，即不考虑“拒绝”等其他情况。ji 而对于任何错误决策，其损失均为1。 ）时没有损失，这样定义的损失函数称为01损失函数。最小错误率与最小风险的Bayes决策之间的关系：设损失函数为：由式表明，当做出正确决策（即 内容纲要 研究目的和意义研究目的和意义81第二章 贝叶斯决策理论2.5 Bayes决策比较在01损失函数情况下，基于最小风险的Bayes决策结果也就是基于最小错误概率的Bayes决策结果。 内容纲要 研究目的和意义研究目的和意义82第二章 贝叶斯决策理论实际上， MijjjXP,

37、1)|(也是将X判为 i时的错误概率， )|(1)|(, 1XPXPiMijjj，因此当 )|(XPi最大时，基于最小错误概率的Bayes决策结果将该样品判归为 i类，而此时 )(XRi风险也是最小的。因此它与基于最小错误率的Bayes决策的2.5 Bayes决策比较最小，判据是一样的。 内容纲要 研究目的和意义研究目的和意义832.5 Bayes决策比较第二章 贝叶斯决策理论2、实例比较某制药厂生产产品检测分两种情况：正常( 1）和异常（ 2）， 两类的先验概率分别为 95. 0)(1P05. 0)(2P，。 现有一待测产品呈现出状态X，由类条件概率密度分布曲线查得 3 . 0)|(1XP5

38、 . 0)|(2XP， （1）试对该产品X按最小错误率的Bayes决策进行分类。 若在上述条件基础之上，已知 0111512121022， 11表示 ),(11（3）对这两种分类结果进行比较。 的简写，（2）按最小风险Bayes决策进行分类。 内容纲要 研究目的和意义研究目的和意义84第二章 贝叶斯决策理论 从上述讨论可以看出，正确制订损失函数值，是基于最小风险的Bayes决策方法在实际应用中的一个关键问题。 在实际中列出合适的决策表并不是一件容易的事，需根据所研究的具体问题，分析错误决策造成损失的严重程度。2.5 Bayes决策比较 内容纲要 研究目的和意义研究目的和意义852.6 Baye

39、s分类实现 第二章 贝叶斯决策理论链接 Practices and Questions 内容纲要 研究目的和意义研究目的和意义862.6 Bayes分类实现 第二章 贝叶斯决策理论链接 Practices and Questions 内容纲要 研究目的和意义研究目的和意义872.6.1 基于二值数据的Bayes分类实现 第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义882.6.1 基于二值数据的Bayes分类实现第二章 贝叶斯决策理论1、理论基础所谓二值数据，即各样品的每一特征只取数值“1”或“0”。 内容纲要 研究目的和意义研究目的和意义89第二章 贝叶斯决策理论2、实现步骤

40、1）计算先验概率；2）计算类条件概率（直接从定义出发）；3）应用Bayes公式求后验概率；4）后验概率的最大值的类别（09）就是手写数字的所属类别。2.6.1 基于二值数据的Bayes分类实现 内容纲要 研究目的和意义研究目的和意义902.6.2 基于最小错误率的Bayes分类实现 第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义91第二章 贝叶斯决策理论1、理论总结 错误率最小的Bayes分类器设计思想是寻找一种划分方式，使“错判”率最小。1） 两类问题2）多类问题2.6.2 基于最小错误率的Bayes分类实现 内容纲要 研究目的和意义研究目的和意义92第二章 贝叶斯决策理论2

41、、实现步骤1）求出每一类手写数字样品的均值2）求每一类的协方差矩阵3）计算出每一类的协方差矩阵的逆矩阵以及协方差矩阵的行列式4）求出每一类的先验概率5）将各个数值代入判别函数6）判别函数最大值所对应类别就是手写数字的类别2.6.2 基于最小错误率的Bayes分类实现这里，类条件概率密度函数怎么定？ 内容纲要 研究目的和意义研究目的和意义932.6.3 基于最小风险的Bayes分类实现 第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义94第二章 贝叶斯决策理论2.6.3 基于最小风险的Bayes分类实现待测样品 内容纲要 研究目的和意义研究目的和意义95第二章 贝叶斯决策理论1、实

42、现步骤1）求出每一类手写数字样品的均值2）求每一类的协方差矩阵3）计算出每一类的协方差矩阵的逆矩阵以及协方差矩阵的行列式4）求出每一类的先验概率5）计算后验概率6）定义损失数组为loss10107）计算每一类的损失riski8）找出最小损失所对应的类，该类即是待测样品所属的类别。2.6.3 基于最小风险的Bayes分类实现 内容纲要 研究目的和意义研究目的和意义96第二章 贝叶斯决策理论6）定义损失数组为loss10102.6.3 基于最小风险的Bayes分类实现 内容纲要 研究目的和意义研究目的和意义97第二章 贝叶斯决策理论7）计算每一类的损失riski2.6.3 基于最小风险的Bayes

43、分类实现 内容纲要 研究目的和意义研究目的和意义98第二章 贝叶斯决策理论2、效果图2.6.3 基于最小风险的Bayes分类实现 内容纲要 研究目的和意义研究目的和意义992.7 两类错误率与ROC曲线第二章 贝叶斯决策理论 内容纲要 研究目的和意义研究目的和意义1001.4 模式识别系统第一章 绪论一个典型的模式识别系统（监督模式识别） 一个典型的模式识别系统一般由数据获取，预处理，特征提取选择、分类决策及分类器设计五部分组成。 分类器设计在训练过程中完成，利用样本进行训练，确定分类器的具体参数。而分类决策在识别过程中起作用，对待识别的样本进行分类决策。 内容纲要 研究目的和意义研究目的和意

44、义101阳性：表示某一症状存在，或者检测到某一指标 的异常 阴性：表示所考查的症状不存在或者所监测的指标没有异常。 内容纲要 研究目的和意义研究目的和意义102真阳性和真阴性：正确的分类假阳性率（false positive rate）表示假阳性样本占总阴性样本的比例。 假阴性率（false negative rate）表示假阴性样本占总阳性样本的比例。 假阳性和假阴性：错误的分类!对应的两类错误率对应的两类错误率：假阳性率、假阴性率 内容纲要 研究目的和意义研究目的和意义103 Sn 敏感性敏感性 Sp 特异性特异性 Tp是真阳性样本的个数；Tn为真阴性样本的个数； Fn是假阴性样本的个数；

45、Fp是假阳性样本的个数。pnnpnppnFTTSFTTS评价一种检测方法的效果，常用两个概念：灵敏度（敏感性）和特异度评价一种检测方法的效果，常用两个概念：灵敏度（敏感性）和特异度Sn表示真正的阳性样本中有多少比例表示真正的阳性样本中有多少比例能被正确检测出来。表示研究方法把能被正确检测出来。表示研究方法把阳性样本正确识别出来的能力。阳性样本正确识别出来的能力。Sp表示真正的阴性样本中有多少比例表示真正的阴性样本中有多少比例没有被误判。表示研究方法把阴性样没有被误判。表示研究方法把阴性样本正确识别出来的能力。本正确识别出来的能力。 内容纲要 研究目的和意义研究目的和意义104诊断试验的敏感性和

46、特异性 任何一个诊断试验在准确性方面都有二个基本特性：敏感性(sensitivity)和特异性(specificity)。 敏感性：指在金标准诊断的病例组内，由诊断试验检出阳性数的比例，余下的即为假阴性(false negative)患者，或称为漏诊(missed diagnosis)患者，假阴性率又称为漏诊率。 敏感性和假阴性率互补：敏感性1-假阴性率。 特异性：指在金标准确诊为无该病的对照组内，由诊断试验检出阴性结果人数的比例，余下的即为假阳性(false positive)患者，或称为误诊(misdiagnosis)患者，假阳性率又称为误诊率。 特异性和假阳性率互补：特异性1-假阳性率。

47、 内容纲要 研究目的和意义研究目的和意义105 敏感性高的试验适用于： 疾病漏诊可能造成严重后果者 同时有几个诊断假设时，为了排除某病的诊断 用于筛检无症状的病人而该病的发病率又比较低 当试验结果呈阴性时，敏感性高的试验临床价值较大 特异性高的试验适用于： 凡阳性结果会导致病人精神和肉体上严重危害时 要肯定诊断时 当试验结果呈阳性时，特异性高的试验临床价值较大敏感性和特异性作用 内容纲要 研究目的和意义研究目的和意义106 对于一个实用程序，既要求有较高的敏感性，也要求有较高的特异性。 如果敏感性很高，但特异性比较低，则在实际应用中会产生高比率的假阳性； 相反，如果特异性很高，而敏感性比较低，

48、则会产生高比率的假阴性。 对于敏感性和特异性需要进行权衡，给出综合评价指标。 敏感性和特异性的权衡 内容纲要 研究目的和意义研究目的和意义107对应的两类错误率对应的两类错误率：假阳性率、假阴性率 假阳性率（统计学中，第一类错误， ）表示假阳性样本占总阴性样本的比例。真实的阴性样本被错误判断为阳性的比例。 1Sp （特异性） 假阴性率（统计学中，第二类错误， ）表示假阴性样本占总阳性样本的比例。真实的阳性样本被错误判断为阴性的比例。1Sn （灵敏性） 内容纲要 研究目的和意义研究目的和意义108Sensitivity=TP/(TP+FN)Specificity=TN/(TN+FP)False negat