第3章Bayes决策理论ppt课件

1、第三章 Bayes决策实际 最小错误概率的Bayes决策 最小风险的Bayes决策 Neyman-Pearson决策 Bayes分类器和判别函数 正态分布时的Bayes决策法那么.引言方式特征的不确定性 进展方式识别，首先要提取和选择方式特征，使这些特征组成的特征向量能很好地代表这个事物。但是，在实践问题中，由于技术或经济上的缘由，使得提取和选择的特征不一定能准确地描画这个方式。 比如， 特征选择的不适宜，特征的数量不当，特征丈量的不准确，等等，使方式具有不确定性。 因此，我们该当把方式向量看成随机变量。 处置随机变量用什么方法呢？ 概率论与数理统计 .1.概率 频率：假设在 n次反复实验中，

2、事件A发生了 次，那么称比值 是事件A在这n次实验中发生的频率。记作 概率：在一样条件下反复进展同一实验，假设随着实验次数n的添加，事件A的频率 仅在某个数 附近有微小变化，那么称 是事件A的概论，实践上， 是不容易得到的，常用n较大时的频率作为A的概率 .2. 条件概率 设A，B是实验E的两个事件，那么称 为在事件B发生条件下事件A的条件概率。3. Bayes公式含义：假设 是某个过程的n个事件，是各事件出现的概率，称为先验概率。假设这个过程得到一个结果B，由于B的出现，而对各事件 的概率要做出重新认识。.3.1 最小错误概率的Bayes决策1.用先验概率决策 假设某个工厂消费两种尺寸和外形

3、都一样的螺钉,一种是铁的,一种是铜的,两种产品混在一同,要求对它们进展自动分类。 设 铁的类别形状用 表示； 铜的类别形状用 表示； 由于事先类别形状是不确定的，所以 是随机变量。假设铁螺钉有7万个，铜螺钉有3万个，那么铁螺钉出现的概率 ，铜螺钉出现的概率. 假设用概率 和 来决策，规那么为： 假设 那么螺钉 假设 那么螺钉 由于 ，所以 螺钉 。 一切螺钉都分到铁螺钉这一类，决策错误概率为0.3。 用先验概率决策存在的问题？ 与待识别对象的特征没有建立联络，没有利用待识别对象本身的信息. 2.用后验概率决策 先用一个方式特征 来分类，假设这个特征对分类是有效的，那么 的概率分布就与类别形状

4、是有联络的。 例如：铜螺钉和铁螺钉的外表亮度是不同的，以亮度作为特征 ，亮度用“亮度计来丈量，每个螺钉的亮度在亮度计上可以在一定范围内延续取值。由于每个螺钉的亮度能够是不同的，所以 是一个延续的随机变量。. 对 的概率分布记为 对 的概率分布记为 那么 和 的差别 反映了 和 的类别形状的差别 反映了两类方式的差别。X有对属于铜螺钉的分布，也有对属于铁螺钉的分布.假设曾经知道了 ， ， ， 如何求利用Bayes公式：式中Bayes公式阐明,可以经过特征的察看值 ，把先验概率 转化为后验概率 。 . 图3.1表示了当(a)所示时，后验概率 随亮度的变化情况。 因此，可以用后验概率进展决策。.决策

5、规那么： 假设 ，那么决策 ； 假设 ，那么决策 ； 这个决策规那么被称为最小错误概率的Bayes决策。为什么说这个决策规那么具有最小错误概率呢？ .3. 最小错误概率的解释 在用上述规那么决策时,有两种能够发生的错误分类 将真实属于 分到 将真实属于 分到 察看到的x值不同,那么后验概率就不同,从而分类错误概率也不同,所以分类错误概率 是随机变量x的函数. 也是随机变量.对于察看到的大量x,对它们作出分类决策的平均错误率 该当是 的数学期望. 由概率论可知,假设知延续随机变量x的概率密度函数 , 可以计算出 的数学期望假设对于每次察看到的特征值x, 尽能够小的话,那么上式的积分也必定是尽能够

6、小的. 假设H为两类的分界面,相应于 和 , 将x轴分为两个区域 , 在发生分类错误时,总的错误概率为：. 所以总的错误概率是两种分类错误概率的加权和。. 由于 和 是恣意取的，所以错误概率不一定是最小的。当把决策面 左移时，我们可以减小代表误分类的三角形区域 的面积，从而减小分类错误概率。 假设选取决策面H使得： 那么可消除面积A，从而得到最小的分类错误概率。 这正是上述决策规那么得到的结果。. 假设对于某个x ，有那么把x 分到R2中可以使得x对积分 奉献增大，而对积分 的奉献减小，相当于使H左移。 .证明： 假设R1是 类的决策域，R2是 类的决策域，对X分类，这时有两种能够发生的分类错

7、误： X的真实形状是 ，却分到 R1 ， X的真实形状是 ，却分到 R2 ， 错误率： 由Bayes公式有：. 那么 在整个特征空间，有所以， 当 时，把x分到R1，添加积分值，可以使错误率减小。 .同理可得： 当 时，把x分到R2，可以使错误率减小。. 对于普通情况，即方式向量是 维向量，要求在 类方式情况下进展决策时，最小错误概率的Bayes决策法那么可表达为： 设 是个 类别形状的有限集合，特征向量 是 维随机向量， 是方式向量 在 形状下的条件概率密度， 是 的先验概率，那么根据Bayes法那么,后验概率 就是 式中, 这时决策与上述二类一维方式类似： 假设 对于一切 成立，那么决策

8、。.3.2 最小风险的Bayes决策1 决策错误的损失与风险 对于两类别决策，存在两种能够的分类错误： 1把真实形状为 的方式分到 类； 2把真实形状为 的方式分到 类。 显然，由于分类错误，其结果都会带来损失，但是对于有的问题来说损失是不同的。 .比如，以癌变细胞的分类辨以为例，把正常细胞识别成癌变细胞 给正常人带来精神负担；把癌变细胞识别成正常细胞 使早期患者失去治疗时机，延误治疗，缩短生命。因此，在决策时就要把由分类错误而引起的损失思索进去。 . 普通情况，设 是 个能够的决策集合 是 个自然形状集合 表示当自然形状为 时，采取决策 所呵斥的损失。 决策表 损失的数值普通由专家根据阅历给

9、出。 . 2. 最小风险的Bayes决策设 是X在自然形状为 下的条件概率， 是自然形状为 的先验概率，那么由Bayes公式可求得后验概率 X. 由Bayes公式，后验概率是： 式中 假定察看到一个 ，同时决议采取决策 ，假设真正的形状为 ，就会导致产生损失 。 由于 是自然形状为 的概率，所以与采取的决策 有关的损失的数学期望就是： . 是一个平均损失，称为条件风险。每当察看到一个X时，我们总可以选取使条件风险极小的决策。假设选取的决策使得平均损失对每一个详细的X都能尽能够小，那么总风险也会到达极小。最小风险的Bayes决策规那么： 为了使风险最小，应对于 计算条件风险 并选择决策，使得 最

10、小。. 对于二类问题， 相当于决策“真正形状为 ，而 相当于决策“真正形状为 。记 为当真正形状为 而把 误作真正形状时所遭到的损失。有.这时最小风险的Bayes决策法那么就是：假设 ，那么断定 为真正的形状；否那么 为真正的形状。或：假设 ，那么断定 为真正的形状；否那么 为真正的形状。上式与最小错误概率的Bayes决策比较，有何不同？ 在后验概率上分别乘以一个损失差作为比例因子。. 最小风险的Bayes决策和最小错误概率的Bayes决策的关系： (1)在二类问题中，假设有 即所谓对称损失函数的情况，二者一致。 (2)普通的多类问题中，在0-1损失函数的情况时，即 提示：问题的普通性和特殊性

11、。.条件风险为： 使 极小，即使 极大。 两种决策的结果一样 正确时的条件概率.3.3 Neyman-Pearson决策 对于两类别决策，存在两种能够的分类错误： 1把真实形状为 的方式分到 类； 2把真实形状为 的方式分到 类。两种错误的概率分别为：决策应该使 都为最小。如何做？ . Neyman-Pearson决策所要处理的问题： 对于二类方式识别问题，坚持一种错误概率为常数 ，例如 ，而使另一种错误概率 到达极小。 这个问题可以看成在 条件下求 的极小值问题。 用什么方法呢？ . 采用Lagrange乘数法，约束条件为 ， 构造Lagrange函数： 我们的目的就是使 到达极小。即 mi

12、n.对于二类问题，有所以， .要使 极小，对于X，假设被积函数将X分到R1，来减少假设 ，将X分到R2，来减小 。这样，可以写出决策规那么： 假设 ，那么 假设 ，那么如何求 ？.将决策规那么写成： 假设 那么 假设 那么 可以看出， 是两种决策的边境。也就是选择R1和R2的边境，使得L极小。. 到达极小值的必要条件是：由此得 或这是未知数 的方程， 就是分界的阈值。可以用其他数学方法求得。.3.6 正态分布时的Bayes决策法那么单变量正态密度函数 它的均值为： 方差为：.单变量正态密度可由两个参数，即均值 和方差 完全决议，记为 。它表示 是服从均值为 ，方差为 的正态分布的随机变量。正态

13、分布的样本集中在均值附近，其分散的程度正比于方差的平方根 ，即规范差。从正态总体中抽取的样本中有95.44%落在区间 中。.多维正态密度函数为：其中 是 维列向量， 是 维均值向量， 是 协方差矩阵，它的均值向量为协方差矩阵为： 是 的逆矩阵， 是 的行列式。. 图3.8所示为一个二维正态密度的表示图，假设把等概率密度点画出来，它们就是一簇同心的椭圆。 从正态总体中抽取的样本落在一个密集的区域，区域中心由均值向量决议，外形由协方差矩阵决议。. 用判别函数可以得到最小错误概率的分类。当概率密度函数 为正态时，对上式取自然对数，那么下面对该式在下述三种不同情况下进展讨论：.1.第一种情况： 这种情

14、况下，每类的协方差矩阵都相等，而且类内各特征分两间相互独立，具有一样的方差，协方差矩阵是对角矩阵，对角线元素都是 。 . 几何上这相当于样本落在同样大小的一些超圆球族内。第 i 类样本的超圆球族是以均值 为中心的。图3.8和3.9的长短轴相等方式 这时： 判别函数可以写成： 是欧氏间隔. 假设 个类的先验概率 都一样： 这时最小错误概率的Bayes决策法那么是：假设要对方式 分类，只需计算出从待分类方式向量 到每一类均值向量 的欧氏间隔 ，然后把 归到间隔最近的那个均值向量所属的类别。 这种分类器称为最小间隔分类器 - 模板匹配技术 假设 个类的先验概率不一样： 这时对间隔的平方 必需用方差

15、规范化后减去 再用以分类。所以，假设待分类的方式向量 同两类均值向量的欧氏间隔相等的话，最小错误概率的Bayes决策是把这个方式归到先验概率较大的那一类。. 在实践运用中，不用计算欧氏间隔， 把 展开后，判别函数式就变成 式中 与方式类别无关，可以忽略，可得判别函数： 式中 , 决策面由线性方程 所决议。. 在这个详细情况下，决策面可化为： 其中 这个方程确定了经过 并正交于向量 的超平面。由于 ，所以划分 和 的超平面正交于均值向量之间的联线。. 图(3.11)是一个二维二类方式的例子。假设 ，那么点 就分开先验概率较大的那个类的均值向量而朝先验概率较小的那类方向挪动。但假设方差 ，那么先验概率对决策面位置的影响比较小。. 2.第二种情况： 各类的协方差矩阵相等，这种情况下的判别函数为：假设各类的先验概率相等，决策法那么为只计算它与每一类均值向量间的Mahalanobis间隔平方 而后把它分到与之最近的均值向量所属的类别中去。假设各类的先验概率不同时，那么决策应有利于先验概率较大的那一类。. 把 展开后， 与类别 无关，判别函数变成： 式中 假设 和 相邻，它们之间的决策面应满足： 式中. 图3.12表示二维二类方式情况下的决策界面。假设各类的先验概率相等，那么这个决策面同均值向量联线的交点在联线的中点。假设各类的先验概率不相等，