统计决策方法教学参考.ppt

1、,第二章 统计决策方法,计算机与通信工程学院,计算机与通信工程学院,模式识别,课前思考,机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？,2020/7/22,学习指南,本章要说明分类识别中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？怎样才能使错分类最少？ 不同的错分类造成的危害是不同的，有的错分类种类造成的危害更大，因此控制这种错分类则是更重要的。为此引入了一种“风险”与“损失”概念，希望做到使风险最小。要着重理解“

2、风险”与“损失”的概念，以及在引入“风险”概念后的处理方法。,2020/7/22,理解本章的关键 要正确理解先验概率，类概率密度函数，后验概率这三种概率 对这三种概率的定义，相互关系要搞得清清楚楚 Bayes公式正是体现这三者关系的式子，要透彻掌握。,2020/7/22,统计决策理论 是模式分类问题的基本理论之一 贝叶斯决策理论 是统计决策理论中的一个基本方法,最小风险贝叶斯决策,2,聂曼-皮尔逊判决,3,最小错误率贝叶斯决策,1,第二章 统计决策理论,6,2020/7/22,正态分布决策理论,4,7,2020/7/22,模式识别系统的基本构成,分类决策：把样本分到哪一类最合理,样本空间到决策

3、空间的一个映射,采用不同的标准会得到不同意义下的“最优”的决策,最小错误率贝叶斯决策,8,2020/7/22,基于最小错误率的贝叶斯决策,基本思想 使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策,例子：挑选西瓜,10,2020/7/22,贝叶斯公式,先验,似然,后验,11,2020/7/22,当敲击声音为清脆时, 该西瓜是好瓜的概率,挑选西瓜,这种决策信息没有意义,如何根据敲声挑选出好的西瓜？,根据贝叶斯公式,只根据先验知识挑选西瓜,12,2020/7/22,如果有：,则为好瓜，反之亦然,分母相同，实际只需要比较分子,这种根据后验概率进行决策的方法称为最小错误率贝叶斯决策,13,2

4、020/7/22,判别函数的几种等价形式,2020/7/22,等价,决策规则：,讨论,类条件概率密度函数直接用来分类是否合理？,2020/7/22,具有一定的合理性,不满足最小错误率要求,但是没有考虑先验概率,类条件概率和后验概率区别？ 后验概率: P(1|x)和P(|x) 同一条件x下，比较1与2出现的概率 两类1和2，则有P(1|x)+P(2|x)=1 如P(1|x) P(2|x)则可以下结论，在x条件下，事件1出现的可能性大 类条件概率: P(x|1)和P(x|2) 是在不同条件下讨论的问题 即使只有两类1与2，P(x|1)+P(x|1)1 P(x|1)与P(x|2)两者没有联系,问题,

5、问题,为什么先验概率和类条件概率密度函数可以作为已知，而后验概率需要通过计算获得？ 计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可搜集到大量样本 对某一特定事件要搜集大量样本是不太容易 只能借助Bayes公式来计算得到,2020/7/22,错误率分析,对待分类模式的特征我们得到一个观察值 x ， 合理的决策规则：,决策错误的条件概率（随机变量x 的函数）：,18,2020/7/22,平均错误率,(连续情况),(离散情况),19,2020/7/22,如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。 另一个区R2中的x,条件错

6、误概率为p(w1|x),因此平均错误率P(e)可表示成,2020/7/22,优点：,癌细胞筛查：是癌细胞但是判断为正常细胞的风险应该比正常细胞判断为癌细胞的风险大得多,只是在最小错误率下的最优,21,2020/7/22,缺点：,基于后验概率决策的贝叶斯分类器具有最小错误率,小结,22,2020/7/22,基本思想,使错误率最小并不一定是一个普遍适用的最佳选择。 例如：癌细胞分类，两种错误的代价(损失)不同 两种错误: 癌细胞正常细胞 正常细胞癌细胞 宁可扩大一些总的错误率，但也要使总的损失减少。 引进一个与损失有关联的，更为广泛的概念风险。 在作出决策时，要考虑所承担的风险。,2020/7/2

7、2,相关概率,损耗函数ii=(i/i)表示模式样本X本来属于i类而判决为i类所受损失。 损耗函数ij=(i/j)表示模式样本X本来属于j类错判为i所受损失 风险R（期望损失）：对未知x采取一个判决行动(x)所付出的代价（损耗） 条件风险（也叫条件期望损失） 在整个特征空间中定义期望风险，期望风险,2020/7/22,最小风险贝叶斯决策,2020/7/22,决策规则：,最小风险 VS 最小错误率,2020/7/22,二类问题：把x归于1时风险： 把x归于2时风险：,27,2020/7/22,聂曼皮尔逊准则,聂曼皮尔逊准则是在取某类错误率为常数时，另一类错误率尽可能小。例如：,2020/7/22,

8、两类错误率,Lagrange乘子法将有约束极值问题问题转化为,2020/7/22,注：可以看出聂曼-皮尔逊决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，不同地是最小错误决策阈值为先验概率之比，而聂曼-皮尔逊决策阈值则是Lagrange乘子。,2020/7/22,优点：,32,2020/7/22,缺点： 必须知道类条件概率（似然）,可以设计理论上最优分类器,小结,33,2020/7/22,本节和前三节的关系,前三节: 基本概念 阶段性的总结 本节: 概念具体化 结合一种比较典型的概率分布来进一步分析基于最小错误贝叶斯决策分类器的种种情况,本节重点,什么叫正态分布 高斯分布的表达式 如何

9、将正态分布与基于最小错误率的贝叶斯决策结合起来 如何简化方式表示正态分布,研究正态分布的原因 数学上比较简单 N(, ) 只有均值和方差两个参数 物理上的合理性,单变量正态分布,单变量正态分布概率密度函数定义为,思考:正态分布，或高斯分布是先验概率P(i)，还是分布P(X|i),还是后验概率P(i|X)？ 不是我们所讨论的先验概率P(i)，也不是后验概率P(i|X)，而是p(x|i)。,2020/7/22,（多变量）多维正态分布,2020/7/22,2020/7/22,性质,、与对分布起决定作用P(x)=N(, ), 由n个分量组成，由n(n+1)/2元素组成。多维正态分布由n+n(n+1)/

10、2个参数组成。 、等密度点的轨迹是一个超椭球面。区域中心由决定，区域形状由决定。 、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。 、边缘分布与条件分布的正态性。 、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。 、线性组合的正态性。,2020/7/22,正态分布时最小错误率贝叶斯决策,2020/7/22,判别函数：类条件概率密度用正态来表示：,决策面方程：,第一种情况,各个特征统计独立，且同方差情况,2020/7/22,判别函数：,2020/7/22,如果M类先验概率相等：,最小距离分类器 未知样本x与i相减，找最近的i把x归类,2020/

11、7/22,讨论,对于未知样本x，把x与各类均值相减，把x归于最近一类，即为最小距离分类器。,i 相等，即各类协方差相等。几何上看，相当于各类样本集中于以均值点为中心的同大小和形状的超椭球内。,第二种情况,讨论：针对1，2二类情况，如图：,i为任意，各类协方差矩阵不等，二次项xT i x与i有关，所以判别函数为二次型函数。,第三种情况(一般情况),讨论,对于(a)图， 的方差比 小，因此来自 的样本更加可能在该类的均值附近找到，且由于圆的对称性，决策面是包围 的一个圆,若把 轴伸展，图(b)的决策面就伸展为一个椭圆,讨论,若两类的条件概率在 方向上具有相同的方差，但在 方向上 的方差比 的方差大，此时 值大的样本可能来自类 ，且决策面为图(c)的抛物线,若对