第2章Bayes决策理论ppt课件

1、第2章 Bayes决策实际 2.1 最小错误概率的Bayes决策 2.2最小风险的Bayes决策 2.3Neyman-Pearson决策2.4 最小最大决策2.5Bayes分类器和判别函数2.6 正态分布时的Bayes决策法那么2.7离散情况的Bayes决策.实践上由于实验的样本是从总体中随机抽取的，不能保证用过去的抽取的样本训练得到的分类边境对新的方式样本也能较好地分类。因此，思索样本不确定性的方式识别方法是非常重要 的。另外，还有特征选择不完善所引起的不确定性，方式数据采集和预处置和特征抽取过程中干扰和噪声引起的不确定性。综上，我们引出统计决策的方法。 前往本章首页.对方式 识别的主要统计

2、方法是Bayes决策实际，它是用概率论的方法研讨决策问题，要求1各类别先验概率以及条件概率密度均为知 ，即各类别总体的概率分布是知的；2 要决策分类的类别是一定的；前往本章首页.2.1 最小错误概率的Bayes决策在方式识别问题中，感兴趣的往往是尽量减小分类错误的概率。为此，我们可以建立一个能得到最小错误率的决策方法。看一个简单的例子。假设某工厂消费两种大小，外形都一样的螺丝钉，一种是铜的，一种是铁的。两种产品混在一同，要求对它们自动分类。分两种情况讨论：1先验概率知；2先验概率和条件概率密度函数均知。前往本章首页.先验概率知铁螺丝出现的概率铜螺丝出现的概率它们反映了我们在下一个样品出现前对它

3、的类别能够性的先验知识，称这种先于事件的概率为先验概率。合理的决策规那么：决策错误的概率：前往本章首页先验概率和条件概率密度函数均知铁螺丝出现的概率铜螺丝出现的概率铁螺丝出现的概率铜螺丝出现的概率 螺丝背光源照射后反射光的亮度特征求取后验概率：前往本章首页对待分类方式的特征我们得到一个察看值 ， 合理的决策规那么：决策错误的条件概率随机变量 的函数：方式特征 是一个随机变量，在运用Bayes法那么时，每当察看到一个方式时，得到特征 ，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。假设察看到大量的方式，对它们作出决策的平均错误概率 应是 的数学期望。前往本章首页平均错误概率从式可知

4、，假设对每次察看到的特征值 ， 是尽能够小的话，那么上式的积分必定是尽能够小的这就证明了最小错误率的Bayes决策法那么。下面从实际上给予证明。以两类方式为例。前往本章首页前往本章首页前往本章首页结 束放映3.2 最小风险的Bayes决策在上一节我们引见了最小错误率的Bayes决策，并且证明了运用这种决策法那么时，平均错误概率是最小的。但实践上有时需求思索一个比错误率更为广泛的概念风险，举例阐明。毋庸置疑，任何风险都会带来一定损失。看一个普通的决策表。前往本章首页.前往本章首页前往本章首页察看或丈量到的 d 维方式特征向量；形状或方式类空间决策空间 损失函数，表示真实形状为 而所采取的决策为

5、时所带来的某种损失。根据Bayes公式，后验概率为：前往本章首页对于刚刚的决策表思索如下的一个条件期望损失，即给定 ，我们采取决策 情况下的条件期望损失条件风险 ：采取那种决策呢？ 最小风险Bayes决策规那么：前往本章首页 综上，可知该规那么的进展步骤为：1根据知，计算出后验概率；2利用计算出的后验概率及决策表专家根据阅历确定，计算条件风险3最小风险决策前往本章首页这样按最小风险的Bayes决策规那么，采取的决策将随 的取值而定，引入函数 ，表示对 的决策。对整个特征空间上一切 的取值采取相应的决策 所带来的平均风险显然，我们对延续的随机方式向量按最小风险Bayes决策规那么采取的一系列决策

6、行动可以使平均风险最小。到此为止，我们曾经分析了两种分别使错误率和风险到达最小的Bayes决策规那么，下面分析一下两种决策规那么的关系。前往本章首页两类情况下的最小风险Bayes决策.前往本章首页在两类问题中，假设有 ，决策规那么变为这时最小风险的Bayes决策和最小错误率的Bayes决策规那么是一致的。.前往本章首页普通的多类问题中，设损失函数为0-1损失函数.前往本章首页.3.3 NeymanPearson决策NeymanPearson决策即限定一类错误率条件下使另一类错误率为最小的两类别决策。前往本章首页前往本章首页用Lagrange乘子法建立其数学模型前往本章首页前往本章首页前往本章首

7、页获得极小值的边境条件与最小错误率的Bayes决策的比较3.4 最小最大决策有时我们必需设计在整个先验概率范围上都能很好的进展操作的分类器。比如，在我们的有些分类问题中能够想象虽然方式的有些物理属性恒定不变，然而先验概率能够变化范围很大，并且以一种不确定的 方式出现。或者，我们希望在先验概率不知道的情况下运用此分类器，那么一种合理的设计分类器的方法就是使先验概率取任何一种值时所引起的总风险的最坏的情况尽能够小，也就是说，最小化最大能够的总风险。以二类方式识别问题为例，进展讨论。 前往本章首页.前往本章首页以两类情况下的最小风险Bayes决策为例进展讨论总风险公式.前往本章首页假定决策域曾经确定

8、，我们以 表示分类器判为 时的特征空间中的区域，同样有 和 ，于是总风险用条件风险的方式表示为.前往本章首页.前往本章首页一旦 和 确定，风险 就是先验概率 的线性函数，可表示为决策阀值.前往本章首页一旦 和 确定，风险 就是先验概率 的线性函数，可表示为决策阀值 .前往本章首页.前往本章首页前往本章首页综上所述，可以得出：在作最小风险Bayes决策时，假设思索 有能够改动或对先验概率毫无所知，那么应选择使最小Bayes风险 为最大值时的 来设计分类器，它相对于其它的 为最大，但能保证在不论 如何变化时，使最大风险将为最小，我们称其为最小最大决策。其义务就是寻觅使Bayes风险为最大时的决策域

9、 和 ，它对应于下式然后确定3.5 Bayes分类器和判别函数前往本章首页前面我们引见了四种决策规那么，这里结合第二章中引见的判别函数和决策面的概念来设计分类器。对于n 维空间中的 c 个方式类别各给出一个由 n 个特征组成的单值函数，这叫做判别函数。在 c 类的情况下，我们共有 c个判别函数，记为判别函数的性质假设一个方式 X 属于第 i 类，那么有而假设这个方式在第 i 类和第 j 类的分界面上，那么有前往本章首页1 多类情况最小错误率的Bayes决策规那么：可设判别函数为：.前往本章首页最小风险的Bayes决策规那么，可设判别函数为决策面方程分类器框图.前往本章首页前往本章首页.前往本章

10、首页2 两类情况可设判别函数为：可将其恣意分类，或回绝3.6 正态分布时的Bayes决策法那么前往本章首页在前面我们提到设计Bayes分类器的两个先决知条件：1先验概率 ；2条件概率密度函数 。先验概率的估计并不困难，关键是条件概率密度函数。这里我们以正态分布概率密度函数为主进展讨论，由于 在实践问题中，大量的随机变量都服从或近似地服从正态分布； 即使统计总体不服从正态分布，但是它的许多重要的样本特征能够是渐进正态分布的； 正态分布分析起来比较方便。前往本章首页正态分布概率密度函数的定义及性质1单变量正态分布单变量正态分布概率密度函数 ，有两个参数 和 完全决议，常简记为 。期望方差.前往本章

11、首页2多维变量正态分布均值向量协方差矩阵.前往本章首页多维变量正态分布密度函数的性质1多维变量正态分布密度函数由均值向量 和协方差矩阵 完全确定，包含的参数个数为 。 2等密度点的轨迹为一超椭球面，且它的主轴方向由 阵的特征向量所确定，主轴的长度与相应的协方差矩阵 的本征值成正比。.前往本章首页前往本章首页设 在超椭球上， 到超椭球中心的间隔为 ，求主轴长度即是求其条件极值，构造Lagrange函数.前往本章首页所以，第 i 个主轴的长度与 的第 i 个特征值的平方根成正比，如下图。定义 为向量 到均值向量 的马氏间隔。等概率密度点的轨迹是一个到均值向量 的马氏间隔为常数的超球体。3 不相关性

12、等价于独立性。4边缘分布和条件分布的正态性。5线性变换的正态性。6线性组合的正态性。.前往本章首页多维变量正态概率型下的最小错误率Bayes判别函数和决策面.前往本章首页下面根据上式对以下三种情况进展讨论。决策面方程.前往本章首页1 ，即每类的协方差矩阵都相等，而且类内各特征间相互独立，具有相等的方差 假设先验概率不等，那么平方间隔欧氏间隔必需经过方差进展归一化，并经过添加 进展修正。.前往本章首页 假设先验概率相等称其为最小间隔分类器。对以上两类情况进展化简.前往本章首页下面来看线性分类器的决策面方程.前往本章首页对其，我们用一个二维二类方式例子，设先验概率相等，从几何上表示其关系不相等的情

13、况请参照教材P32前往本章首页2 ，即各类的协方差矩阵都相等假设先验概率相等，只需计算 到各类的均值点 的马氏间隔平方，然后把 归于 间隔平方最小的类别。.前往本章首页对以上两类情况进展化简.前往本章首页决策面方程前往本章首页对其，我们用一个二维二类方式例子，设先验概率相等，从几何上表示其关系前往本章首页2各类的协方差矩阵不相等.前往本章首页3.7 离散情况的Bayes决策前往本章首页前面我们我们引见都是延续情况的Bayes决策实际，这里我们看一下的离散情况。设 是离散型随机变量，从而Bayes决策法那么就是：这时Bayes决策规那么依然不变，最小错误概率的Bayes决策法那么仍为：前往本章首页最小风险的Bayes决策法那么仍为：这里着重讨论最小错误率的Bayes决策法那么。等价的判别函数有以下几种方式：对二类方式的分类问题，判别函数可采用以下的方式：前往本章首页设方式特征向量为且各特征相互独立。并令：前往本章首页从而似然比：将其改写为线性判别函数的方式：前往本章首页式中：可将其恣意分类，或回绝课后习题一前往本章首页设五维空间的线性方程为试求出其权向量与样本向量点积的表达式 中的 ， 以及增广权向量与增广样本向量方式 中的 与 。上式是一个五维空间的超平面，求