第3章 Bayes决策理论.ppt

1、最小风险的Bayes决策,让错误率最小的Bayes决策是重要的 但，错误率最小的Bayes决策是否最佳？ 正常细胞误判为癌细胞 癌细胞误判为正常细胞 不同性质的错误会引起不同程度的损失（后果） 评价决策的优劣：总损失比总错误率更恰当,最小风险的Bayes决策就是把各种分类错误而引起的损失考虑进去的Bayes决策法则,风险的表示,例： 病理切片X，要确定其中有没有癌细胞 (用1表示正常，2表示异常) P(1|X)与P(2|X)分别表示了两种可能性的大小 若X为正常细胞，判断为2，损失为21 若X为癌细胞，判断为1，损失为12 X判断为1，其风险 R1(X)= 12 P(2|X) X判断为2，其风

2、险 R2(X)= 21 P(1|X),损失和误判概率的加权和可以有效的表示决策风险,决策空间的相关符号,观察向量,状态空间,决策空间,损失函数,期望损失（条件风险）,（A）,最小风险的Bayes决策规则,最小风险的Bayes决策规则：使期望损失 最小的决策状态 即为最小风险的Bayes决策,定义期望风险：,最小风险的Bayes决策使平均风险最小！,期望风险R反映对整个特征 空间上所有的X的取值采用 相应的决策(x)所带来的 平均风险,最小风险的Bayes决策规则步骤,（1）在已知P(j)，P(X|j)，j=1,，c及给出待识别的X的情况下，根据贝叶斯公式计算出后验概率：,（2）利用计算出的后验

3、概率及决策表，计算出采取i,i=1,，a的条件风险,（3）对(2)中得到的a个条件风险值R(i|X),i=1,，a进行比较，找出使条件风险最小的决策k，则k就是最小风险贝叶斯决策,例,在例1条件的基础上，并且已知11=0,(11表示(1,1)的简写)，12=6,21=1，22=0，按最小风险贝叶斯决策进行分类。,P(1)0.9, P(2)0.1 p(X|1)0.2, p(X|2)0.4,计算后验概率： P(1|X)0.818, P(2|X)0.182,计算条件风险：,找最小的条件风险：,最小风险的Bayes决策为2！,决策规则的进一步探讨,二类问题的决策规则：,另一种决策规则：,先验概率的决策

4、规则：,似然比,最小错误决策和最小风险决策,二类问题中，若 ，则两种判决方式等价,多类问题中，若,则有,所有错误代价相同！,两种判决方式等价！,0-1损失函数,3.3 Bayes分类器和判别函数,决策面：划分决策域的边界面 决策面方程：决策面的数学解析形式 判别函数：表达决策规则的函数,维特征空间,个决策域,分类器设计：利用决策规则对观察向量 X 进行分类,决策面方程和判别函数由相应的决策规则所决定！,判别函数和决策面方程,类的情况下， 对应的判别函数为,若,则 属于第 类,分割它们的决策面方程应满足：,对于多类：通常定义一组判别函数,最小错误概率决策,判别函数的不同形式：,最小风险决策,判别

5、函数,判别函数不唯一，更一般地， （其中 为 单调增函数）均可作为判别函数,Bayes分类器,决策界,同一决策规则下判别函数形式可以不同，但决策界相同！,决策界,同一决策规则下判别函数形式可以不同，但决策界相同！,二类分类器,例,有一家医院为了研究癌症的诊断，对一大批人作了一次普查，给每人打了试验针，然后进行统计，得到统计数字： （1）这批人中，每1000人有5个癌症病人； （2）这批人中，每100个正常人有1人对试验的反应为阳性； （3）这批人中，每100个癌症病人有95人对试验的反应为阳性。,假如正常人用 表示，癌症病人用 表示。以试验结果作为特征，特征值为阳或阴。根据统计数字，得到如下概

6、率：,现在有一某甲，试验结果为阳性，按最小错误率贝叶斯决策规则，问诊断结果是什么？,后验概率：,判决比较,判断正常概率,风险评估,假设11=0，12=3, 21=1，22=0，按最小风险贝叶斯决策为某甲诊断：,由于R1(X)R2(X)即决策为2的条件风险小于决策为1的条件风险，因此诊断某甲为癌症病人。,采用最小风险贝叶斯决策，各种损失的确定是关键,问题：11=0，12=2,21=1，22=0，按最小风险贝叶斯决策的诊断又如何呢？,分别写出两种情况的决策面方程,1. 2.,决策面方程 g(x)= 0,前面介绍了在一般的概率统计分布情况下的统计决策理论，这一节我们要讨论最常用的正态分布情况 在模式

7、识别中，正态分布假设是对各种随机变量使用得最普遍的假设 这主要有两方面的原因： 1）正态分布在数学上比较简便 2）正态分布在物理上的合理性,正态分布的Bayes决策法则,数学上简便性 正态分布是数学上最简单的一种分布。它的一些特殊情况揭示了统计判别方法中许多重要的性质 在模式识别技术的研究中，需要用训练样本集来设计分类器，还需用测试样本集来检验分类器的分类效果，并对不同的分类器的性能进行比较 用正态分布模型描述训练样本集与测试样本集在数学上实现起来也比较方便,物理上的合理性 如果同一类样本在特征空间内的确较集中地分布在其类均值的附近，远离均值处分布较少，那么一般情况下以正态分布模型近似往往是比

8、较合理的 人们也往往因数学分析复杂程度考虑而不得不采用这种模型，当然使用时应注意结果是否合理或关注其可接受的程度,单变量正态分布,单变量正态分布概率密度函数定义为：,单变量正态分布概率密度函数p(x)完全可由与2两个参数确定，记作 N(，2),正态分布描述了一个随机实变量在整个实数域上的分布规律 因此它属于概率密度函数类，不是我们所讨论的先验概率P(j)，也不是后验概率P(j|X)，而是p(x|j),正态分布的样本主要集中分布在其均值附近，其分散程度可用标准差来衡量，愈大分散程度也越大。从正态分布的总体中抽取样本，约有95%的样本都落在区间 内，而且其峰值为,多元是指样本以多个变量来描述，或具

9、有多个属性，一般用d维特征向量表示，Xx1，xdT。d维特征向量的正态分布用下式表示,多维（元）正态分布：,其中是X的均值向量，也是d维，EX1，2，dT 是dd维协方差矩阵，而1是的逆矩阵，|是的行列式,因为参数与对分布具有决定性，记作p(X)N(，),一个向量或矩阵的期望是由其元素的期望组成的,协方差矩阵有两个特性： 是一个对称矩阵：多维正态密度由 个参数决定 是正定的：主对角元素都是各分量的方差，一般情况下都是大于零的值,如果协方差矩阵中的所有非对角线元素均为零，则P(X)就变成X的各分量的单变量正态密度的乘积,图示为一个二维正态密度的示意图，如果把等概率密度点画出来，它们就是一族同心的

10、椭圆,参数 和 对分布具有决定性： 从正态总体中抽取的样本落在一个密集区域里 这个区域的中心由均值向量决定 区域的形状由协方差矩阵决定 等密度点的轨迹为一超椭球面（可证明） 且超椭球面的主轴方向由 的特征向量决定，主轴的长度与相应的特征值成正比,多元正态分布性质,把这个超椭球的中心平移到坐标原点，超椭球的方程变为 设X在超椭球上，X到超椭球中心的距离为 求超椭球主轴的问题是一个求条件极值的问题，构造Lagrange函数： 可得超椭球主轴的必要条件：,多元正态分布性质,为向量X到均值向量 的Mahalanobis 距离(马哈诺比斯，马氏距）的平方 等概率密度点的轨迹是一个到均值向量 的Mahal

11、anobis距离为 常数的超椭球,记,3.不相关 独立,多元正态分布下的最小错误率贝叶斯决策及其判别函数和决策面,对于最小错误率的贝叶斯决策，其 类的判别函数为：,由于对数函数是单值单调递增函数，并根据正态分布密度函数的特点，显然式中取自然对数更便于分析，于是 类的判别函数可以表示为：,由于判决是比较 和 的大小，去掉与类别无关的项不 会影响分类判别的结果，故可简化为,三种不同情况的探讨：,1. 第一种情况：,各类分布的协方差矩阵相同，而且各特征统计独立且有相同的方差 ，这时，协方差矩阵是对角阵，对角线元素均为,代入判别函数,得新判别函数为： 为欧氏距离：,如果c个类的先验概率 都相同，式中

12、项可忽略 这时最小错误概率的Bayes决策法则可叙述为：若要对模式X分类，只要测量出从待分类模式向量X到每一类均值向量 的欧氏距离 ，然后把X归到距离最近的那个均值向量所属的类别即可 如果c个类的先验概率不相等，则表明距离的平方 必须用方差 规范化后减去 再用以分类 在实际应用时，可以不计算欧氏距离：把 展开后，可得判别函数：,决策面由线性方程 决定，即 式中：,该方程式确定了通过并正交于向量W的超平面。如图所示是一个二维二类模式的例子。如果 ，则点 就离开先验概率大的那个类的均值向量而朝先验概率较小的那类方向移动,决策规则为,此时判别函数变为： 1）若各类的先验概率相等，则 也可以忽略，这时

13、决策法则可以这样描述： 对一个模式分类，计算它与每一类均值向量间的Mahalanobis距离平方 ，而后把它分到与之最近的均值向量所属的类别中去即可 2）如果各类的先验概率不同，则决策应有利于先验概率较大的那一类 把 展开，忽略无关项，判别函数变成：,2.第二种情况：,式中：,1）如果各类的先验概率相等，则这个决策面同均值向量连线的交点在连线的中点 2）若各类的先验概率不相等，则决策界面就离开先验概率较大的那个类的均值向量而朝先验概率较小的那类方向移动,因为线性判别函数，所以决策面仍是一个超平面，决策面仍然满足方程,式中：,这是一般的情况，各类的协方差矩阵是不相同的，判别函 数有如下形式： 式

14、中 这时决策面是超二次曲面,如果两类 和 相邻，则决策面 为,3.第三种情况： 任意,决策面式超二次曲面，随着 变化呈现不同 的超二次曲面：超球面、超抛物面、超双曲面等,离散情况的贝叶斯决策,以上几节所讨论的特征向量 可以是d维特征空间中的任一点，即为连续的随机向量。但在许多的模式识别问题中，特征向量 是一个离散型随机向量，仅可取 个离散值 中的一个。此时，我们仍可以利用贝叶斯公式计算,式中,1）最小错误率的贝叶斯决策法则仍为： 如果 对于一切 成立，则决策,2）最小风险的Bayes决策法则仍是： 如果 ，则对应的决策,可以看出，贝叶斯决策规则仍然不变：,对于二类分类问题，通常采用下述形式的判别函数：,下面考虑一个两类模式的分类问题。设特征向量 ，它的各个分量是0或者1的二值特征，并且各特征相互独立，并令：,以一种特别分类模型来说明。这类模型中，对模式的每一维特征需要给出一个“是”与“否”的答案，“是”表示该模式具有对应特征，其值就为1，否则不具有对应特征，其值就为0,因为模式中各特征相互独立，所以可以把条件概率 写成 的分量的