最小风险的Bayes决策(ppt 48页).ppt

1 最小风险的Bayes决策 让错误率最小的Bayes决策是重要的但 错误率最小的Bayes决策是否最佳 正常细胞误判为癌细胞癌细胞误判为正常细胞不同性质的错误会引起不同程度的损失 后果 评价决策的优劣 总损失比总错误率更恰当 最小风险的Bayes决策就是把各种分类错误而引起的损失考虑进去的Bayes决策法则 2 风险的表示 例 病理切片X 要确定其中有没有癌细胞 用 1表示正常 2表示异常 P 1 X 与P 2 X 分别表示了两种可能性的大小若X为正常细胞 判断为 2 损失为 21若X为癌细胞 判断为 1 损失为 12X判断为 1 其风险R1 X 12P 2 X X判断为 2 其风险R2 X 21P 1 X 损失和误判概率的加权和可以有效的表示决策风险 3 决策空间的相关符号 观察向量 状态空间 决策空间 损失函数 期望损失 条件风险 A 4 最小风险的Bayes决策规则 最小风险的Bayes决策规则 使期望损失最小的决策状态即为最小风险的Bayes决策 定义期望风险 最小风险的Bayes决策使平均风险最小 期望风险R反映对整个特征空间上所有的X的取值采用相应的决策 x 所带来的平均风险 5 最小风险的Bayes决策规则步骤 1 在已知P j P X j j 1 c及给出待识别的X的情况下 根据贝叶斯公式计算出后验概率 2 利用计算出的后验概率及决策表 计算出采取 i i 1 a的条件风险 3 对 2 中得到的a个条件风险值R i X i 1 a进行比较 找出使条件风险最小的决策 k 则 k就是最小风险贝叶斯决策 6 例 在例1条件的基础上 并且已知 11 0 11表示 1 1 的简写 12 6 21 1 22 0 按最小风险贝叶斯决策进行分类 P 1 0 9 P 2 0 1p X 1 0 2 p X 2 0 4 7 计算后验概率 P 1 X 0 818 P 2 X 0 182 计算条件风险 找最小的条件风险 最小风险的Bayes决策为 2 8 决策规则的进一步探讨 二类问题的决策规则 另一种决策规则 先验概率的决策规则 似然比 9 最小错误决策和最小风险决策 二类问题中 若 则两种判决方式等价 多类问题中 若 则有 所有错误代价相同 两种判决方式等价 0 1 损失函数 10 3 3Bayes分类器和判别函数 决策面 划分决策域的边界面决策面方程 决策面的数学解析形式判别函数 表达决策规则的函数 维特征空间 个决策域 分类器设计 利用决策规则对观察向量X进行分类 决策面方程和判别函数由相应的决策规则所决定 11 判别函数和决策面方程 类的情况下 对应的判别函数为 若 则属于第类 分割它们的决策面方程应满足 对于多类 通常定义一组判别函数 12 最小错误概率决策 判别函数的不同形式 13 最小风险决策 判别函数 判别函数不唯一 更一般地 其中为单调增函数 均可作为判别函数 14 Bayes分类器 15 决策界 同一决策规则下判别函数形式可以不同 但决策界相同 16 决策界 同一决策规则下判别函数形式可以不同 但决策界相同 17 二类分类器 18 例 有一家医院为了研究癌症的诊断 对一大批人作了一次普查 给每人打了试验针 然后进行统计 得到统计数字 1 这批人中 每1000人有5个癌症病人 2 这批人中 每100个正常人有1人对试验的反应为阳性 3 这批人中 每100个癌症病人有95人对试验的反应为阳性 假如正常人用表示 癌症病人用表示 以试验结果作为特征 特征值为阳或阴 根据统计数字 得到如下概率 现在有一某甲 试验结果为阳性 按最小错误率贝叶斯决策规则 问诊断结果是什么 19 后验概率 判决比较 判断正常概率 20 风险评估 假设 11 0 12 3 21 1 22 0 按最小风险贝叶斯决策为某甲诊断 由于R1 X R2 X 即决策为 2的条件风险小于决策为 1的条件风险 因此诊断某甲为癌症病人 采用最小风险贝叶斯决策 各种损失的确定是关键 问题 11 0 12 2 21 1 22 0 按最小风险贝叶斯决策的诊断又如何呢 21 分别写出两种情况的决策面方程 1 2 决策面方程g x 0 22 前面介绍了在一般的概率统计分布情况下的统计决策理论 这一节我们要讨论最常用的正态分布情况在模式识别中 正态分布假设是对各种随机变量使用得最普遍的假设这主要有两方面的原因 1 正态分布在数学上比较简便2 正态分布在物理上的合理性 正态分布的Bayes决策法则 23 数学上简便性正态分布是数学上最简单的一种分布 它的一些特殊情况揭示了统计判别方法中许多重要的性质在模式识别技术的研究中 需要用训练样本集来设计分类器 还需用测试样本集来检验分类器的分类效果 并对不同的分类器的性能进行比较用正态分布模型描述训练样本集与测试样本集在数学上实现起来也比较方便 24 物理上的合理性如果同一类样本在特征空间内的确较集中地分布在其类均值的附近 远离均值处分布较少 那么一般情况下以正态分布模型近似往往是比较合理的人们也往往因数学分析复杂程度考虑而不得不采用这种模型 当然使用时应注意结果是否合理或关注其可接受的程度 25 单变量正态分布 单变量正态分布概率密度函数定义为 单变量正态分布概率密度函数p x 完全可由 与 2两个参数确定 记作N 2 26 正态分布描述了一个随机实变量在整个实数域上的分布规律因此它属于概率密度函数类 不是我们所讨论的先验概率P j 也不是后验概率P j X 而是p x j 正态分布的样本主要集中分布在其均值附近 其分散程度可用标准差来衡量 愈大分散程度也越大 从正态分布的总体中抽取样本 约有95 的样本都落在区间内 而且其峰值为 27 多元是指样本以多个变量来描述 或具有多个属性 一般用d维特征向量表示 X x1 xd T d维特征向量的正态分布用下式表示 多维 元 正态分布 其中 是X的均值向量 也是d维 E X 1 2 d T 是d d维协方差矩阵 而 1是 的逆矩阵 是 的行列式 因为参数 与 对分布具有决定性 记作p X N 28 一个向量或矩阵的期望是由其元素的期望组成的 协方差矩阵有两个特性 是一个对称矩阵 多维正态密度由个参数决定是正定的 主对角元素都是各分量的方差 一般情况下都是大于零的值 如果协方差矩阵中的所有非对角线元素均为零 则P X 就变成X的各分量的单变量正态密度的乘积 29 图示为一个二维正态密度的示意图 如果把等概率密度点画出来 它们就是一族同心的椭圆 30 参数和对分布具有决定性 从正态总体中抽取的样本落在一个密集区域里这个区域的中心由均值向量决定区域的形状由协方差矩阵决定等密度点的轨迹为一超椭球面 可证明 且超椭球面的主轴方向由的特征向量决定 主轴的长度与相应的特征值成正比 多元正态分布性质 31 把这个超椭球的中心平移到坐标原点 超椭球的方程变为设X在超椭球上 X到超椭球中心的距离为求超椭球主轴的问题是一个求条件极值的问题 构造Lagrange函数 可得超椭球主轴的必要条件 多元正态分布性质 32 为向量X到均值向量的Mahalanobis距离 马哈诺比斯 马氏距 的平方等概率密度点的轨迹是一个到均值向量的Mahalanobis距离为常数的超椭球 记 33 3 不相关 独立 34 多元正态分布下的最小错误率贝叶斯决策及其判别函数和决策面 对于最小错误率的贝叶斯决策 其类的判别函数为 由于对数函数是单值单调递增函数 并根据正态分布密度函数的特点 显然式中取自然对数更便于分析 于是类的判别函数可以表示为 由于判决是比较和的大小 去掉与类别无关的项不会影响分类判别的结果 故可简化为 35 三种不同情况的探讨 1 第一种情况 各类分布的协方差矩阵相同 而且各特征统计独立且有相同的方差 这时 协方差矩阵是对角阵 对角线元素均为 代入判别函数 得新判别函数为 为欧氏距离 36 如果c个类的先验概率都相同 式中项可忽略这时最小错误概率的Bayes决策法则可叙述为 若要对模式X分类 只要测量出从待分类模式向量X到每一类均值向量的欧氏距离 然后把X归到距离最近的那个均值向量所属的类别即可如果c个类的先验概率不相等 则表明距离的平方必须用方差规范化后减去再用以分类在实际应用时 可以不计算欧氏距离 把展开后 可得判别函数 37 决策面由线性方程决定 即式中 该方程式确定了通过并正交于向量W的超平面 如图所示是一个二维二类模式的例子 如果 则点就离开先验概率大的那个类的均值向量而朝先验概率较小的那类方向移动 决策规则为 38 此时判别函数变为 1 若各类的先验概率相等 则也可以忽略 这时决策法则可以这样描述 对一个模式分类 计算它与每一类均值向量间的Mahalanobis距离平方 而后把它分到与之最近的均值向量所属的类别中去即可2 如果各类的先验概率不同 则决策应有利于先验概率较大的那一类把展开 忽略无关项 判别函数变成 2 第二种情况 式中 39 1 如果各类的先验概率相等 则这个决策面同均值向量连线的交点在连线的中点2 若各类的先验概率不相等 则决策界面就离开先验概率较大的那个类的均值向量而朝先验概率较小的那类方向移动 因为线性判别函数 所以决策面仍是一个超平面 决策面仍然满足方程 式中 40 这是一般的情况 各类的协方差矩阵是不相同的 判别函数有如下形式 式中这时决策面是超二次曲面 如果两类和相邻 则决策面为 3 第三种情况 任意 41 决策面式超二次曲面 随着变化呈现不同的超二次曲面 超球面 超抛物面 超双曲面等 42 离散情况的贝叶斯决策 以上几节所讨论的特征向量可以是d维特征空间中的任一点 即为连续的随机向量 但在许多的模式识别问题中 特征向量是一个离散型随机向量 仅可取个离散值中的一个 此时 我们仍可以利用贝叶斯公式计算 式中 43 1 最小错误率的贝叶斯决策法则仍为 如果对于一切成立 则决策 2 最小风险的Bayes决策法则仍是 如果 则对应的决策 可以看出 贝叶斯决策规则仍然不变 44 对于二类分类问题 通常采用下述形式的判别函数 下面考虑一个两类模式的分类问题 设特征向量 它的各个分量是0或者1的二值特征 并且各特征相互独立 并令 以一种特别分类模型来说明 这类模型中 对模式的每一维特征需要给出一个 是 与 否 的答案 是 表示该模式具有对应特征 其值就为1 否则不具有对应特征 其值就为0 45 因为模式中各特征