第2章贝叶斯决策理论.ppt

第2章贝叶斯决策理论Chapter2 Bayesiandecisiontheory 本章主要内容 2 1基于最小错误率的贝叶斯决策 2 3正态分布时的贝叶斯统计决策 2 2基于最小风险的贝叶斯决策 2 4分类器的错误率问题 重点 重点 了解 熟悉 2 1基于最小错误率的贝叶斯决策 2 1 1预备知识 用向量来表示模式 1 2 3 4 5 转化成列向量 0 1 0 1 0 0 0 1 2 3 35 34 33 0 1 0 0 1 1 1 模式 一些供比对用的 标准 的样本 特征提取 35 模式 1 的图片 高维积分 已知模式 样本 一维积分 高维积分 二重积分 若 推广 2 1 1预备知识 续 贝叶斯公式 贝叶斯公式的另一种形式 2 1 1预备知识 续 由贝叶斯公式衍生出贝叶斯决策 贝叶斯估计 贝叶斯学习等诸多理论体系 进而形成一个贝叶斯学派 贝叶斯公式 1763年提出 贝叶斯公式由于其权威性 一致性和典雅性而被列入最优美的数学公式之一 贝叶斯公式的两个创新点 1 用概率表示所有形式的不确定性 2 例如天气预报时 今天下雨的概率是85 比直接预测 今天下雨 要更科学 引入了 先验 与 后验 的概念 先验与后验 2 1 1预备知识 续 贝叶斯公式 例 利用贝叶斯公式求的最大值 先验 后验 先验概率 是指根据历史资料或主观判断所确定的事件发生的概率 该类概率没有经过实验证实 属检验前的概率 争议点 后验概率 进行实验后 事件发生的概率 贝叶斯公式在推理中融入了先验 即融入了对事物既有的一些认识 2 1 1预备知识 续 条件概率密度 若有两个随机变量X和Y 它们的联合概率密度为 变量X和Y各自的边缘概率密度为和 则在条件 Y y下 X的条件概率密度为 2 1 1预备知识 续 分类错误率 分类错误率 被错分的样本数 样本总数 分类方案一 分类方案二 在分类中 希望分类错误率尽可能地小 2 1 2最小错误率贝叶斯决策的前提 1 要决策分类的类别数是一定的 前提 2 每一类出现的 先验概率 已知 类 类 即 已知 3 每一类的 类条件概率密度 已知 即 已知 待解决的分类问题 与 类 类 待解决的分类问题 2 1 3最小错误率贝叶斯决策规则 决策规则 样本只有两类时 如果 如果 则 则 先验概率已知 类条件概率密度已知 可能属于类也可能属于类 2 1 4最小错误率贝叶斯决策规则应用实例 例 细胞识别 假设在某个局部地区细胞识别中 正常 和异常 两类的先验概率分别为正常状态 P 0 9 异常状态 P 0 1 现有一待识别的细胞 其观察值为 从类条件概率密度分布曲线上查得P x 0 2 P x 0 4 试对该细胞x进行分类 解 利用贝叶斯公式 分别计算出及的后验概率 P x P x 1 P x 0 182 类 类 2 1 4最小错误率贝叶斯决策规则应用实例 续 类条件概率密度 已知 后验概率密度 待求 类 类 根据上图决策 2 1 4最小错误率贝叶斯决策规则应用实例 续 为什么类条件概率密度是已知的 类条件概率密度 是指系统位于某种类型条件下 模式样本的概率密度函数 一般而言 同一类事物的某个属性都有一定的变化范围 在这个变化范围内的分布密度可用一种函数形式表示 类 类 例如对于细胞识别而言 假设是血红素浓度 则表示正常血细胞的血红素浓度的分布情况 该分布可以事先测定 因此是已知的 正常血细胞 异常血细胞 2 1 4最小错误率贝叶斯决策规则应用实例 续 为什么先验概率是已知的 例如在某个局部地区 比如一个县 细胞识别中 要根据血红素浓度的测量值判定其为正常血细胞或者是异常血细胞 例如白血病血细胞 类 类 正常血细胞 异常血细胞 该县正常人的比例 该县白血病患者的比例 上述比例关系可根据往年病历资料统计大致得到 因此可以看作是已知的 上述比例关系尽管可能是近似的 但对决策准确程度的影响并不是直接的 这也是贝叶斯决策的一个优点 2 1 5决策规则使错误率最小的理论证明 前面给出了最小错误率贝叶斯决策规则 但尚未证明按这种决策规则进行分类确实能使分类错误概率最小 下面以一维情况完成证明 其结果不难推广到多维 平均错误率 是的期望 的概率密度 对进行分类 决策 时的错误 决策规则 两类时 如果 如果 则 则 2 6 2 1 5决策规则确实使错误率最小的理论证明 续 决策错误率在每个x值处都取小者 因而平均错误率P e 也必然达到最小 2 1 6最小错误率贝叶斯决策规则向多类的推广 决策规则 样本只有两类时 如果 如果 则 则 决策规则 样本有多类时 类 类 类 类 类 如果 对于一切成立 则 2 2基于最小风险的贝叶斯决策 2 2 1为什么要引入基于风险的决策 基于最小错误率的贝叶斯决策 错误率 如果 如果 则 则 误判为 误判为 错误率 错误率 基于最小错误率的贝叶斯决策只关注错误率 并不关注因误判而带来的风险 但在实际应用中考虑风险是很重要的 例 细胞识别 类 类 正常血细胞 异常血细胞 把正常血细胞误判为异常血细胞会给人带来不必要的痛苦 但若将异常血细胞误判为正常血细胞 则会使病人因失去及早治疗的机会而遭受极大的损失 风险 的适用范围比错误率更广泛 它引入了 损失 的概念 即考虑了因误判而带来的损失 2 2 1为什么要引入基于风险的决策 续 基于最小风险的贝叶斯决策 风险 本来 误判为 误判为 错误率 错误率 本来 造成的损失 造成的损失 把模式判决为类的一次决策 模式属于类 现却将之判决为类而带来的损失 2 2 2一般决策表与条件风险 把模式判决为类的一次决策 模式属于类 现却将之判决为类而带来的损失 状态空间 决策空间 一般决策表 2 2 2一般决策表与条件风险 续 条件风险 模式属于类 现却将之判决为类而带来的损失 模式属于类的概率 可能性 例 计算条件风险 正常类 异常类 正常 异常 已知 所以 这意味着 把异常类血细胞判别为正常类细胞所冒风险太大 所以宁肯将之判别为异常类血细胞 2 15 2 2 3基于最小风险的贝叶斯决策应用实例 例 细胞识别 假设在某个局部地区细胞识别中 正常 和异常 两类的先验概率分别为正常状态 P 0 9 异常状态 P 0 1 现有一待识别的细胞 其观察值为 从类条件概率密度分布曲线上查得P x 0 2 P x 0 4 且因误判而带来的风险如下页表所表示 试对该细胞x进行分类 解 1 利用贝叶斯公式 分别计算出及的后验概率 P x P x 1 P x 0 182 类 类 若贝叶斯决策 2 2 3基于最小风险的贝叶斯决策应用实例 续 正常类 异常类 正常 异常 2 计算条件风险 3 基于最小风险进行决策 将判决为第类的风险 将判决为第类的风险 模式属于类的概率 可能性 所以 两类决策结果正好相反 这是因为影响决策结果的因素又多了一个 损失 由于两类错误决策所造成的损失相差很悬殊 因此 损失 在这里起了主导作用 2 2 4基于最小风险的贝叶斯决策规则与决策步骤 决策步骤 决策规则 根据贝叶斯公式计算 计算条件风险 决策 在实践中如何给出决策表 2 2 4基于最小风险的贝叶斯决策规则与决策步骤 续 正常类 异常类 正常 异常 在实践中要列出合适的决策表很不容易 往往要根据所研究的具体问题 分析错误决策造成损失的严重程度 与有关专家共同商讨来确定 教材P15 即需要具体问题具体分析 2 2 5最小错误率与最小风险贝叶斯决策的联系 正常类 异常类 正常 异常 若采用0 1损失函数 例 两类样本的分类 根据条件风险公式 则两类决策的风险为 因此两种决策规则等价 理论推导见教材P16 将判决为第类的风险 将判决为第类的错误率 2 3正态分布时的贝叶斯统计决策 2 3 1预备知识 1 一元正态分布 正态分布的样本主要集中分布在其均值附近 其分散程度可用标准差来衡量 标准差愈大分散程度也越大 从正态分布的总体中抽取样本 约有95 的样本都落在区间内 2 3 1预备知识 续 2 多元正态分布 左图的投影 多元正态分布 协方差矩阵 均值向量 2 3 1预备知识 续 3 多元正态分布的协方差矩阵 区域中心由均值决定 区域形状由协方差矩阵决定 且主轴方向是协方差矩阵的特征向量方向 2 3 2贝叶斯统计决策的决策面与判别函数 例如 最小错误率贝叶斯决策规则 两类情形 如果 如果 则 则 类 类 根据决策规则只能确定样本属于哪一类 而现在欲求决策面 分类面 若位于决策面上 应该有 决策面方程 判别函数 类 类 决策面 如果按某种决策规则将空间分成若干个决策域 则将决策域的边界称为决策面 判别函数 用于表达决策规则的函数 例如 决策面方程 决策面在数学上的解析表示 例如 判别函数的判别功能示意图 2 3 2贝叶斯统计决策的决策面与判别函数 续 为一维时 决策面为一点 为二维时 决策面为曲线 为三维时 决策面为曲面 大于三维时 决策面为超曲面 决策面方程的形态 为二维时 为一维时 为三维时 2 3 2贝叶斯统计决策的决策面与判别函数 续 2 3 3正态概型下的最小错误率贝叶斯决策的判别函数 1 最小错误率贝叶斯决策 的判别函数与决策面的推广 两类情形 取对数前后 所求决策面不变 推广至多类 2 3 3正态概型下最小错误率贝叶斯决策的判别函数 续 决策面 判别函数 2 如果类条件概率密度服从正态分布 则判别函数 决策面 3 为什么假设类条件概率密度服从正态分布 2 3 3正态概型下最小错误率贝叶斯决策的判别函数 续 数学上简便性 除了一些极其简单与不甚实用的统计分布模型外 正态分布可说是数学上最简便的一种 正态分布有许多良好的性质 便于对统计决策方法进行分析 物理上的合理性 在许多实际应用场合 如果同一类样本在特征空间内的确较集中地分布在其类均值的附近 远离均值处分布较少 那么一般情况下以正态分布模型近似往往是比较合理的 人们也往往因数学分析复杂程度考虑而不得不采用这种模型 当然使用时应注意结果是否合理或关注其可接受的程度 2 3 4正态概型下最小错误率贝叶斯决策的讨论 判别函数 决策面 以上决策面表达式很复杂 因此讨论以下两种特殊情形 类条件概率密度 1 2 2 3 4正态概型下最小错误率贝叶斯决策的讨论 续 第一种情形 判别函数 决策面 判别函数 决策面 2 3 4正态概型下最小错误率贝叶斯决策的讨论 续 1 若 判别函数 决策面 决策面 2 3 4正态概型下最小错误率贝叶斯决策的讨论 续 2 若 判别函数 决策面 展开并忽略与i无关的项 具体过程见教材P31 判别函数 决策面 其中 2 3 4正态概型下最小错误率贝叶斯决策的讨论 续 决策面离开先验概率大的那个类的均值向量而朝先验概率较小的那类方向移动 判别函数 决策面 其中 第二种情形 2 3 4正态概型下最小错误率贝叶斯决策的讨论 续 判别函数 决策面 具体推导过程见教材P33 决策面 其中 判别函数 2 3 4正态概型下最小错误率贝叶斯决策的讨论 续 决策面 其中 判别函数 则 决策面过点 但不与方向正交 2 4分类器的错误率问题 2 4 1对分类错误率的直观认识 分类错误率 被错分的样本数 样本总数 分类方案一 分类方案二 在分类中 希望分类错误率尽可能地小 以上是最简单的情形 全体样本已知 但在很多情形下 如只知部分样本 或只知样本的分布 分类错误率并不容易计算 分类错误率是衡量分类性能好坏的标尺 2 4 2分类错误率的三种计算方式 1 在一些特殊情形下按理论公式计算 平均错误率 是的期望 的概率密度 对进行分类 决策 时的错误 决策规则 两类时 如果 如果 则 则 2 6 例 基于最小错误率的贝叶斯决策 前面讲过 2 计算分类错误率的上界 错误率的理论计算一般相当困难 当不能从理论上直接计算时 往往去寻找它的上界 教材第38页介绍了Chernoff上界 很复杂 第六章将推导近邻法错误率的上界 2 4 2分类错误率的三种计算方式 续 3 利用样本集进行实验估计 教材上没有 2 4 2分类错误率的三种计算方式 续 学习样本集与测试样本集 分类方案 测试样本集 学习样本集 2 4 2分类错误率的三种计算方式 续 留一法 leaveoneout LOO 从N个样本中取1个样本 将剩下的N 1个样本作为学习样本集 设计分类方案 再把原取出的样本放回去 又取出另一个样本 将剩下的N 1个样本作为学习样本集 设计新分类方案 直至重复N次 交叉验证法 crossvalidation CV 是留一法的推广 每次取出多个样本而不是一个样本 2 4 2分类错误率的三种计算方式 续 用留一法估计错误率 在子集上训练 然后对样本进行测试 若测