第2章统计决策方法.ppt

第二章统计决策方法 计算机与通信工程学院 计算机与通信工程学院 模式识别 课前思考 机器自动识别分类 能不能避免错分类 怎样才能减少错误 不同错误造成的损失一样吗 先验概率 后验概率 概率密度函数 什么是贝叶斯公式 正态分布 期望值 方差 正态分布为什么是最重要的分布之一 2019 12 23 学习指南 本章要说明分类识别中为什么会有错分类 在何种情况下会出现错分类 错分类的可能性会有多大 怎样才能使错分类最少 不同的错分类造成的危害是不同的 有的错分类种类造成的危害更大 因此控制这种错分类则是更重要的 为此引入了一种 风险 与 损失 概念 希望做到使风险最小 要着重理解 风险 与 损失 的概念 以及在引入 风险 概念后的处理方法 2019 12 23 理解本章的关键要正确理解先验概率 类概率密度函数 后验概率这三种概率对这三种概率的定义 相互关系要搞得清清楚楚Bayes公式正是体现这三者关系的式子 要透彻掌握 2019 12 23 统计决策理论是模式分类问题的基本理论之一贝叶斯决策理论是统计决策理论中的一个基本方法 最小风险贝叶斯决策 2 聂曼 皮尔逊判决 3 最小错误率贝叶斯决策 1 第二章统计决策理论 6 2019 12 23 正态分布决策理论 4 7 2019 12 23 模式识别系统的基本构成 分类决策 把样本分到哪一类最合理 样本空间到决策空间的一个映射 采用不同的标准会得到不同意义下的 最优 的决策 最小错误率贝叶斯决策 8 2019 12 23 基于最小错误率的贝叶斯决策 基本思想使错误率为最小的分类规则称之为基于最小错误率的贝叶斯决策 例子 挑选西瓜 10 2019 12 23 贝叶斯公式 先验 似然 后验 11 2019 12 23 当敲击声音为清脆时 该西瓜是好瓜的概率 挑选西瓜 这种决策信息没有意义 如何根据敲声挑选出好的西瓜 根据贝叶斯公式 只根据先验知识挑选西瓜 12 2019 12 23 如果有 则为好瓜 反之亦然 分母相同 实际只需要比较分子 这种根据后验概率进行决策的方法称为最小错误率贝叶斯决策 13 2019 12 23 判别函数的几种等价形式 2019 12 23 等价 决策规则 讨论 类条件概率密度函数直接用来分类是否合理 2019 12 23 具有一定的合理性 不满足最小错误率要求 但是没有考虑先验概率 类条件概率和后验概率区别 后验概率 P 1 x 和P x 同一条件x下 比较 1与 2出现的概率两类 1和 2 则有P 1 x P 2 x 1如P 1 x P 2 x 则可以下结论 在x条件下 事件 1出现的可能性大类条件概率 P x 1 和P x 2 是在不同条件下讨论的问题即使只有两类 1与 2 P x 1 P x 1 1P x 1 与P x 2 两者没有联系 问题 问题 为什么先验概率和类条件概率密度函数可以作为已知 而后验概率需要通过计算获得 计算概率都要拥有大量数据估计先验概率与类条件概率密度函数时都可搜集到大量样本对某一特定事件要搜集大量样本是不太容易只能借助Bayes公式来计算得到 2019 12 23 错误率分析 对待分类模式的特征我们得到一个观察值x 合理的决策规则 决策错误的条件概率 随机变量x的函数 18 2019 12 23 平均错误率 连续情况 离散情况 19 2019 12 23 如果我们把作出w1决策的所有观测值区域称为R1 则在R1区内的每个x值 条件错误概率为p w2 x 另一个区R2中的x 条件错误概率为p w1 x 因此平均错误率P e 可表示成 2019 12 23 优点 癌细胞筛查 是癌细胞但是判断为正常细胞的风险应该比正常细胞判断为癌细胞的风险大得多 只是在最小错误率下的最优 21 2019 12 23 缺点 基于后验概率决策的贝叶斯分类器具有最小错误率 小结 22 2019 12 23 基本思想 使错误率最小并不一定是一个普遍适用的最佳选择 例如 癌细胞分类 两种错误的代价 损失 不同两种错误 癌细胞 正常细胞正常细胞 癌细胞宁可扩大一些总的错误率 但也要使总的损失减少 引进一个与损失有关联的 更为广泛的概念 风险 在作出决策时 要考虑所承担的风险 2019 12 23 相关概率 损耗函数 ii i i 表示模式样本X本来属于 i类而判决为 i类所受损失 损耗函数 ij i j 表示模式样本X本来属于 j类错判为 i所受损失风险R 期望损失 对未知x采取一个判决行动 x 所付出的代价 损耗 条件风险 也叫条件期望损失 在整个特征空间中定义期望风险 期望风险 2019 12 23 最小风险贝叶斯决策 2019 12 23 决策规则 最小风险VS最小错误率 2019 12 23 二类问题 把x归于 1时风险 把x归于 2时风险 27 2019 12 23 聂曼 皮尔逊准则 聂曼 皮尔逊准则是在取某类错误率为常数时 另一类错误率尽可能小 例如 2019 12 23 两类错误率 Lagrange乘子法将有约束极值问题问题转化为 2019 12 23 注 可以看出聂曼 皮尔逊决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的 不同地是最小错误决策阈值为先验概率之比 而聂曼 皮尔逊决策阈值则是Lagrange乘子 2019 12 23 优点 32 2019 12 23 缺点 必须知道类条件概率 似然 可以设计理论上最优分类器 小结 33 2019 12 23 本节和前三节的关系 前三节 基本概念阶段性的总结本节 概念具体化结合一种比较典型的概率分布来进一步分析基于最小错误贝叶斯决策分类器的种种情况 本节重点 什么叫正态分布高斯分布的表达式如何将正态分布与基于最小错误率的贝叶斯决策结合起来如何简化方式表示正态分布 研究正态分布的原因数学上比较简单N 只有均值和方差两个参数物理上的合理性 单变量正态分布 单变量正态分布概率密度函数定义为 思考 正态分布 或高斯分布是先验概率P i 还是分布P X i 还是后验概率P i X 不是我们所讨论的先验概率P i 也不是后验概率P i X 而是p x i 2019 12 23 多变量 多维正态分布 2019 12 23 2019 12 23 性质 与 对分布起决定作用P x N 由n个分量组成 由n n 1 2元素组成 多维正态分布由n n n 1 2个参数组成 等密度点的轨迹是一个超椭球面 区域中心由 决定 区域形状由 决定 不相关性等价于独立性 若xi与xj互不相关 则xi与xj一定独立 边缘分布与条件分布的正态性 线性变换的正态性Y AX A为线性变换矩阵 若X为正态分布 则Y也是正态分布 线性组合的正态性 2019 12 23 正态分布时最小错误率贝叶斯决策 2019 12 23 判别函数 类条件概率密度用正态来表示 决策面方程 第一种情况 各个特征统计独立 且同方差情况 2019 12 23 判别函数 2019 12 23 如果M类先验概率相等 最小距离分类器未知样本x与 i相减 找最近的 i把x归类 2019 12 23 讨论 对于未知样本x 把x与各类均值相减 把x归于最近一类 即为最小距离分类器 i 相等 即各类协方差相等 几何上看 相当于各类样本集中于以均值点为中心的同大小和形状的超椭球内 第二种情况 讨论 针对 1 2二类情况 如图 i为任意 各类协方差矩阵不等 二次项xT ix与i有关 所以判别函数为二次型函数 第三种情况 一般情况 讨论 对于 a 图 的方差比小 因此来自的样本更加可能在该类的均值附近找到 且由于圆的对称性 决策面是包围的一个圆 若把轴伸展 图 b 的决策面就伸展为一个椭圆 讨论 若两类的条件概率在方向上具有相同的方差 但在方向上的方差比的方差大 此时值大的样本可能来自类 且决策面为图 c 的抛物线 若