模式识别-3-贝叶斯决策理论.ppt

1、第三章 贝叶斯决策理论,基础知识 贝叶斯决策分类 正态分布决策理论 几种常用决策规则 基于最小风险的贝叶斯决策 聂曼皮尔逊决策 最小最大决策 序贯分类 关于分类器的错误率分析 贝叶斯决策分类算法的实例,3-1 基础知识,贝叶斯决策理论是统计模式识别中的基本理论之一，用其进行分类时要求： 各类别总体的概率分布是已知的； 要决策分类的类别数是一定的。 说明：若要研究的分类问题有c个类别，各类别状态用 表示，对应于各个类别的先验概率为 ，类的条件密度函数为 。 对于 称为d维随机特征向量，通过对被识别对象的多次观察和测量（即采样过程）得到；并将其作为某一个判决规则的输入，按此规则来对样本进行分类。,

2、确定性特征向量与随机特征向量 确定性特征向量 在获取模式的观测值时，有些事物具有确定的因果关系，即在一定条件下，存在必然会发生或必然不发生的确定性，这样获得的特征向量称为确定性特征向量。 例如识别一块模板是不是直角三角形，只要凭“三条直线边闭合连线和一个直角”这个特征，测量它是否有三条直线边的闭合连线并有一个直角，就完全可以确定它是不是直角三角形。 这种现象是确定性的现象，比如上一讲的线性模式判别就是基于这种现象进行的。,高性价比安卓智能手机排行榜_热门促销智能手机推荐 ,随机特征向量 在现实世界中，对于许多客观现象的发生，就每一次观察和测量来说，即使在基本条件保持不变的情况下也具有不确定性。

3、 只有在大量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性。 此时，特征向量不再是一个确定的向量，而是一个随机向量。 因此，只能利用模式集的统计特性来分类，以使分类器发生错误的概率最小。,样本概率、先验概率、条件概率与后验概率 若模式空间样本为x，分为类别 ，则有： 样本概率：模式空间的样本x是通过多次观察得到的，样本点的出现具有随机性，P(x)表示样本x出现的概率，也就是在全体样本中出现的概率。 先验概率：对于多类问题，类别状态 出现的概率，称为先验概率 条件概率： 在类别 中，样本x出现的概率，称为条件概率 后验概率：对于样本x，其来自于类别 的概率，称为后验概

4、率,对x再观察：有细胞光密度特征 ,有类条件概率密度: P(x/i) i=1,2,，如右上图所示。 利用贝叶斯公式 ：,3-2 贝叶斯决策分类器最优分类、最佳分类 一、两类问题 例如：某地区，细胞识别问题：1正常细胞， 2异常细胞。经大量统计获得先验概率为： P(1)，P(2)。若取该地区某人细胞x属何种 细胞 ，只能由先验概率决定。,设N个样本分为两类1，2。每个样本抽出n个特征， x =（x1， x2， x3， xn）T,通过对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别 。,1. 判别函数： 若已知先验概率P(1),P(2)，类条件概率密度P(x/ 1

5、)， P(x/ 2)。 则可得贝叶斯判别函数四种形式 ：,判别函数：,2.决策规则：,3. 决策面方程： x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面。 例：某地区细胞识别； P(1)=0.9， P(2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到： 解：该细胞属于正常细胞还是异常细胞，先计算后验概率：,P(x/ 1)=0.2， P(x/ 2)=0.4,4. 分类器设计：,说明：所定义的决策规则实际上是使对每个样本的分类错误取小，即使分类的平均错误率P(e)达到最小。因此，贝叶斯决策分类器具有最小错误率，称为贝叶斯意义下的最优

6、分类。,二、多类情况：i=(1,2,m)，x=(x1,x2,xn) 1.判别函数：M类有M个判别函数g1(x), g2(x), gM(x).每个判别函数有上面的四种形式。 2.决策规则：,另一种形式：,3.决策面方程： 4.分类器设计：,一、正态分布判别函数 1、为什么采用正态分布： a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(, ) 只有均值和方差两个参数。 2、单变量正态分布：,3-3 正态分布决策理论,3、（多变量）多维正态分布 （1）函数形式：,(2)、性质： 、与对分布起决定作用P(x)=N(, ), 由n个分量组成，由n(n+1)/2元素组成。多维正态分布由

7、n+n(n+1)/2个参数组成。 、等密度点的轨迹是一个超椭球面。区域中心由决定，区域形状由决定。 、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。 、边缘分布与条件分布的正态性。 、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。 、线性组合的正态性。,判别函数：类条件概率密度用正态来表示：,决策面方程：,二、最小错误率(Bayes)分类器： 从最小错误率这个角度来分析Bayes 分类器 1. 第一种情况：各个特征统计独立，且同方差情况。,判别函数：,最小距离分类器：未知样本x与i相减，找最近的i把x归类,如果M类先验概率相等：,讨论：,对于

8、未知样本x，把x与各类均值相减，把x归于最近一类，即为最小距离分类器。,2. 第二种情况：i 相等，即各类协方差相等。几何上看，相当于各类样本集中于以均值点为中心的同大小和形状的超椭球内。,讨论：针对1，2二类情况，如图：,3. 第三种情况(一般情况)：i为任意，各类协方差矩阵不等，二次项xT i x与i有关，所以判别函数为二次型函数。,讨论：在给定的三个条件下，不同的决策面只是由于方差项的差异而引起的，图中用等概率轮廓线表征相应类别的方差。对于(a)图， 的方差比 小，因此来自 的样本更加可能在该类的均值附近找到，且由于圆的对称性，决策面是包围 的一个圆；若把 轴伸展，图(b)的决策面就伸展

9、为一个椭圆；若两类的条件概率在 方向上具有相同的方差，但在 方向上 的方差比 的方差大，此时 值达的样本可能来自类 ，且决策面为图(c)的抛物线；若对 在 方向上加大其方差，其决策面为图(d)的双曲线；如果两类的条件概率方差表现出特殊的对称性，则决策面退化为图(e)的直线对。,假定要判断某人是正常(1)还是肺病患者(2),于是在判断中可能出现以下情况： 第一类，判对(正常正常) 11 ；第二类，判错(正常肺病) 21 ； 第三类，判对(肺病肺病) 22；第四类，判错(肺病正常) 12 。 不仅要求仅可能作出正确的判断，还要考虑错误判断的风险 在判断时，除了能做出“是” i类或“不是” i类的决

10、策以外，还可以做出“拒识”的动作。为了更好地研究最小风险分类器，我们先说明几个概念： 行动(或决策)i：表示把模式x判决为i类的一次动作。 损耗函数ii=(i/i)表示模式样本X本来属于i类而判决为i类所受损失。因为这是正确判决，故损失最小。,3-4 基于最小风险贝叶斯决策,在整个特征空间中定义期望风险，期望风险：,损耗函数ij=(i/j)表示模式样本X本来属于j类错判为i所受损失。因为这是错误判决，故损失最大。 风险R（期望损失）：对未知x采取一个判决行动(x)所付出的代价（损耗） 条件风险（也叫条件期望损失）：,条件风险只反映对某x取值的决策行动i所带来的风险。期望风险则反映在整个特征空间

11、不同的x取值的决策行动所带来的平均风险。,最小风险Bayes决策规则：,二类问题：把x归于1时风险： 把x归于2时风险：,注：在0-1损失函数条件下，最小风险贝叶斯决策就是最小错误率的贝叶斯决策。,3-5聂曼-皮尔逊决策：在一类错误率固定使另一类错误率最小的判别准则,注：可以看出聂曼-皮尔逊决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，不同地是最小错误决策阈值为先验概率之比，而聂曼-皮尔逊决策阈值则是Lagrange乘子。,例：两类的模式分布为二维正态 , 协方差矩阵为单位矩阵1=2=I，设20.09。求聂 曼-皮尔逊准则. 解：,所以此时聂曼皮尔逊分类器的分界线为：,由图可知：为保

12、证2足够小，边界应向1一侧靠，则1,与2的关系表如右：,前边的讨论都是假定先验概率不变，现在讨论在P(i)变化时如何使最大可能的风险最小，先验概率P(1)与风险R间的变化关系如下：,3-6 最大最小判别准则,因此，风险值的变化范围为：（a, a+b）；显然，此时的最大风险为：a+b。,如果对先验概率 取若干个不同的值（在0，1区间内），分别按最小风险贝叶斯决策确定其相应的决策域，从而计算其相应的最小风险，这样，就得出最小贝叶斯风险R与先验概率的关系曲线。,最小贝叶斯风险与先验概率的关系曲线图，如下图所示： 讨论：,上式证明：所选的判别边界，使两类的错误概率相等：,此时可使最大可能的风险为最小，

13、且先验概率变化时，风险不变,结论：在作最小风险贝叶斯决策时，若考虑 有可能改变或对先验概率毫无所知的情况，则应选择使最小贝叶斯风险 为最大值时的 来设计分类器，则能保证在不管 如何变化时，使最大风险将为最小，因此将此决策称为最大最小决策。,特别情况：（ 的选择）,迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。 假设对样品进行第 i 次观察获取一序列特征为：X=(x1,x2,xi)T 则对于1，2两类问题, 若X 1，则判决完毕 若X 2 ，则判决完毕 若X不属1也不属2 ，则不能判决，进行第

14、i+1次观察，得X=(x1,x2,xi,x i+1)T ，再重复上面的判决，直到所有的样品分类完毕为止。 这样做的好处是使那些在二类边界附近的样本不会因某种偶然的微小变化而误判，当然这是以多次观察为代价的。,3-7 序贯分类,由最小错误概率的Bayes 判决，对于两类问题，似然比为：,现在来确定阈值A、B的值。 因为,序贯分类决策规则：,上下门限A、B是由设计给定的错误概率P1(e), P2(e)来确定的，Wald 已证明：观察次数不会很大，它收敛的很快。,1、一般错误率分析：,3-8 关于分类器的错误率分析,2、正态分布最小错误率(在正态分布情况下求最小错误率),假定各类样本服从正态分布：

15、1.输入类数M；特征数n，待分样本数m. 2.输入训练样本数N和训练集资料矩阵X(Nn)。并计算有关参数。 3.计算矩阵y中各类的后验概率。 4.若按最小错误率原则分类，则可根据 3 的结果判定y中各类样本的类别。 5.若按最小风险原则分类，则输入各值，并计算y中各样本属于各类时的风险并判定各样本类别。,3-9 贝叶斯分类算法及实例分析,例1、有训练集资料矩阵如下表所示，现已知，N=9、N1=5、N2=4、n=2、M=2，试问，X=(0,0)T应属于哪一类？ 解1、假定二类协方差 矩阵不等（12） 则均值:,解2、假定两类协方差矩阵相等=1+2,解1、假定三类协方差不等；,例2：有训练集资料矩阵如下表所示，现已知， N=9、N1=N2=3、n=2、M=