贝叶斯决策理论5456525.ppt

2 1Bayes决策的基本概念2 2基于最小错误率的Bayes决策2 3基于最小风险的Bayes决策2 4Bayes决策比较2 5基于二值数据的Bayes分类实现2 6基于最小错误率的Bayes分类实现2 7基于最小风险的Bayes分类实现2 8本章小结2 9课后作业 第二章贝叶斯决策理论 第二章内容纲要 02 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 03 2 1 1Bayes决策所讨论的问题 第二章贝叶斯决策理论 04 1 当分类器的设计完成后 对待测样品进行分类 一定能正确分类吗 2 如果有错分类情况发生 是在何种情况下出现的 错分类的可能性会有多大 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 05 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 06 例 某制药厂生产的药品检验识别 目的 说明Bayes决策所要解决的问题 如图4 1所示 正常药品 异常药品 识别的目的是要依据X向量将药品划分为两类 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 07 对于图4 1来说 可以用一直线作为分界线 这条直线是关于X的线性方程 称为线性分类器 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 08 问题在于出现模棱两可的情况 如图4 2所示 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 09 此时 任何决策都存在判错的可能性 即所观察到的某一样品的特征向量X 在M类中又有不止一类可能呈现这一X值 无论直线参数如何设计 总会有错分类发生 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 10 如果以错分类最小为原则分类 则图中A直线可能是最佳的分界线 它使错分类的样品数量为最小 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 11 如果将一个 样品错分为 类所造成的损失要比将 分成 类严重 偏向使对 类样品的错分类进一步减少 可以使总的损失最小 那么B直线就可能比A直线更适合作为分界线 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 12 分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准则函数 不同准则函数的最优解对应不同的学习结果 得到性能不同的分类器 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 13 错分类往往难以避免 这种可能性可用表示 如何做出合理的判决就是Bayes决策所要讨论的问题 其中最有代表性的是 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 14 基于错误率的Bayes决策 基于最小风险的Bayes决策 1 基于最小错误率的Bayes决策指出了机器自动识别出现错分类的条件 错分类的可能性如何计算 如何实现使错分类出现可能性最小 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 15 2 基于最小错误风险的Bayes决策引入了 风险 与 损失 概念 希望做到使风险最小 减小危害大的错分类情况 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 16 从图4 2可见 错分类有不同情况 两种错误造成的损失不一样 不同的错误分类造成的损失会不相同 后一种错误更可怕 因此就要考虑减小因错分类的危害损失 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 17 2 1 2Bayes公式 第二章贝叶斯决策理论 18 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 对于待测样品 Bayes公式可以计算出该样品分属各类别的概率 叫做后验概率 看X属于哪个类的可能性最大 就把X归于可能性最大的那个类 后验概率作为识别对象归属的依据 19 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 Bayes公式如下 Bayes公式体现了先验概率 类概率密度函数 后验概率三者之间的关系 20 先验概率 类条件概率密度函数 后验概率 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 1 先验概率 先验概率 针对M个事件出现的可能性而言 不考虑其他任何条件 21 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 1 举例说明 什么是先验概率 异常药品数为 由统计资料表明总药品数为n 其中正常药品数为 则 先验概率 显然在一般情况下正常药品占比例大 即 22 由先验概率所提供的信息太少 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 类条件概率密度函数 是指在已知某类别的特征空间中 出现特征值X的概率密度 即第 类样品它的属性X是如何分布的 23 2 类条件概率密度函数 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 假定只用某一个特征进行分类 即d 1 并已知这两类的类条件概率函数分布 如图4 3所示 24 概率密度函数 是正常药品的属性分布 概率密度函数 是异常药品的属性分布 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 如果采用正态密度函数作为类条件概率密度的函数形式 则函数内的参数 如期望和方差 是未知的 那么问题就变成了如何利用大量样品对这些参数进行估计 也就确定了 25 在工程上的许多问题中 统计数据往往满足正态分布规律 正态分布简单 分析简单 参量少 是一种适宜的数学模型 只要估计出这些参数 类条件概率密度函数 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 单变量正态分布概率密度函数为 为数学期望 均值 为方差 26 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 多维正态概率密度函数为 为 维特征向量 为 维均值向量 为 维协方差矩阵 是 的逆矩阵 是 的行列式 27 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 在大多数情况下 类条件概率密度函数可以采用多维变量的正态概率密度函数类模拟 即 28 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 3 后验概率 29 后验概率是指呈现状态X时 该样品分属各类别的概率 这个概率值可以作为识别对象归属的依据 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 由于属于不同类的待识别对象存在着呈现相同观察值的可能 即所观察到的某一样品的特征向量为X 而在M类中又有不止一类可能呈现这一X值 它属于各类的概率又是多少呢 这种可能性可用 表示 30 后验概率 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 是表示在X出现条件下 样品为 类的概率 在这里要弄清楚条件概率这个概念 31 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 4 和 与 和 的区别 和 是在同一条件X下 比较 和 出现的概率 32 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 如 则可以下结论 在X条件下 事件 出现的可能性大 两类情况下 则有 33 如图4 4所示 2 1Bayes决策的基本概念 第二章贝叶斯决策理论 与 两者之间没有联系 比较两者没有意义 34 都是指各自条件下出现X的可能性 2 2基于最小错误率的Bayes决策 第二章贝叶斯决策理论 35 2 2基于最小错误率的Bayes决策 第二章贝叶斯决策理论 假定得到一个待识别量的特征X后 每个样品X有 个特征 即 通过样品库 计算先验概率 及类条件概率密度函数 得到呈现状态X时 该样品分属各类别的概率 36 显然这个概率值可以作为识别对象判属的依据 2 2基于最小错误率的Bayes决策 第二章贝叶斯决策理论 基于最小错误概率的贝叶斯决策就是按后验概率的大小做判决的 这个规则又可以根据类别数目 写成不同的几种等价形式 37 从后验概率分布图4 4可见 在X值小时 药品被判为正常是比较合理的 判断错误的可能性小 第二章贝叶斯决策理论 两类问题 若每个样品属于 类中的一类 已知两类的先验概率分别为 和 两类的类条件概率密度分别为 和 则任给一X 判断X的类别 38 2 2基于最小错误率的Bayes决策 由Bayes公式可知 由全概率公式可知 其中M为类别 第二章贝叶斯决策理论 对于两类问题 所以用后验概率来判别为 39 2 2基于最小错误率的Bayes决策 第二章贝叶斯决策理论 判别函数还有另外两种形式 即似然比形式 其中 式中的 在统计学中称为似然比 称为似然比阈值 其对数形式 三种判别函数是一致的 也可以用后验概率来表示判别函数 40 2 2基于最小错误率的Bayes决策 第二章贝叶斯决策理论 判别函数的一般形式 如图4 5所示 41 2 2基于最小错误率的Bayes决策 2 多类问题 第二章贝叶斯决策理论 若样品分为M类 各类的先验概率分别为 各类的类条件概率密度分别为 就有M个判别函数 42 2 2基于最小错误率的Bayes决策 2 多类问题 第二章贝叶斯决策理论 在取得一个观察特征X之后 在特征X的条件下 看哪个类的概率最大 应该把X归于概率最大的那个类 43 2 2基于最小错误率的Bayes决策 因此对于任一模式X 可以通过比较各个判别函数来确定X的类别 其中 把X代入M个判别函数中 看哪个判别函数最大 就把X归于这一类 第二章贝叶斯决策理论 判别函数的对数形式为 44 2 2基于最小错误率的Bayes决策 其中 第二章贝叶斯决策理论 在大多数情况下 类条件概率密度可以采用多维变量的正态概率密度函数来模拟 45 2 2基于最小错误率的Bayes决策 此时正态分布的Bayes分类器判别函数为 第二章贝叶斯决策理论 使用什么样的决策原则可以做到错误率最小呢 然后根据后验概率最大的类来分类 46 2 2基于最小错误率的Bayes决策 这个条件是要知道一个样品X分属不同类别的可能性 表示成 后验概率要通过Bayes公式从先验概率与类分布函数来计算 第二章贝叶斯决策理论 基于最小错误率的Bayes决策根据 如果 则 注意 由于统计判别方法是基于统计参数做出决策 因此错误率也只能从平均的意义上讲 表示为在观测值可能取值的整个范围内错误率的均值 47 2 2基于最小错误率的Bayes决策 3 最小错误率证明 第二章贝叶斯决策理论 为了直观 假设X只有一个特征 于是 都是一元函数 将整个特征空间分为不相交的两个部分 和 当模式落在 内判它属于 类 求分类器相当于求 和 的界线 48 2 2基于最小错误率的Bayes决策 第二章贝叶斯决策理论 1 第一类判错 如果X原属于 类 却落在 内 称为第一类判错 49 2 2基于最小错误率的Bayes决策 错误率为 第二章贝叶斯决策理论 2 第二类判错 如果X原属于 类 却落在 内 称为第二类判错 50 2 2基于最小错误率的Bayes决策 错误率为 第二章贝叶斯决策理论 平均错误率 可表示成 因此 错误率为图中两个划线部分之和 如图4 6所示 51 2 2基于最小错误率的Bayes决策 第二章贝叶斯决策理论 表明每个样品所属类别都使 这时总的错误率为最小 52 2 2基于最小错误率的Bayes决策 如果 则 Bayes决策公式 为最大 实际上使X判错的可能性达到最小 按Bayes决策分类时 2 3基于最小风险的Bayes决策 第二章贝叶斯决策理论 53 第二章贝叶斯决策理论 54 2 3基于最小风险的Bayes决策 可见使错误率最小并不一定是最佳选择 第二章贝叶斯决策理论 实践中 从根据不同性质的错误会引起不同程度的损失考虑出发 宁肯扩大一些总的错误率 但也要使总的损失减少 55 2 3基于最小风险的Bayes决策 这会引起一个与损失有关联的概率 风险 在做出决策时 要考虑所承担的风险 基于最小风险的Bayes决策规则正是为了体现这一点而产生的 这时直线B的划分为最实用 第二章贝叶斯决策理论 将做出判决的依据 从单纯考虑后验概率最大值 改为对该观测值X条件下各状态后验概率求加权和的方式 其中 代表将X判为 类的决策 表示观测样品X实属于 由于采用 决策而被判为 时所造成的损失 则表示了观测值X被判为 类时损失的均值 56 2 3基于最小风险的Bayes决策 第二章贝叶斯决策理论 损失函数 也可以定义 与 是指正确判断也可能有损失 57 2 3基于最小风险的Bayes决策 为了使式子书写更方便 第二章贝叶斯决策理论 把X判作 引进的损失应该与 以及 都有关 哪一个占主要成分 则取决于 与 因此变成了一个加权和 如表4 1所示 58 2 3基于最小风险的Bayes决策 第二章贝叶斯决策理论 此时做出哪一种决策就要看是 小还是 小了 这就是基于最小风险的Bayes决策的基本出发点 如果希望尽可能避免将某状态 错判为状态 则可将相应的 值选择得大些 以表明损失的严重性 加权和 用来衡量观测样品X被判为状态 所需承担的风险 而究竟将X判为何类则应依据所有 中的最小值 即最小风险来决定 59 2 3基于最小风险的Bayes决策 第二章贝叶斯决策理论 一般 为了避免将异常药品判为正常的严重损失 取 则会使 机会多 根据Bayes最小风险分类法 表明正常药品错判为异常的可能性大于异常药品错判为 正常的可能性 损失减少 60 2 3基于最小风险的Bayes决策 第二章贝叶斯决策理论 一些确切的定义 自然状态与状态空间 则是由所有自然状态组成的空间 而状态间 61 2 3基于最小风险的Bayes决策 其中自然状态是指待识别对象的类别 第二章贝叶斯决策理论 决策与决策空间 在决策论中 对分类问题所做的判决 称之为决策 由所有决策组成的空间称为决策空间 决策不仅包括根据观测值将样品归到哪一类别 还可包括其他决策 如 拒绝 等 在不考虑 拒绝 情况下 决策空间内决策总数等于类别数M 表示成 62 2 3基于最小风险的Bayes决策 第二章贝叶斯决策理论 损失函数 它明确表示本身属于自然状态 做出决策 使其归属于 所造成的损失 63 2 3基于最小风险的Bayes决策 第二章贝叶斯决策理论 观测值X条件下的期望损失 也称为条件风险 最小风险Bayes决策规则可写成 这里计算的是最小值 64 2 3基于最小风险的Bayes决策 第二章贝叶斯决策理论 对于实际问题 最小风险Bayes决策可按下列步骤进行 已知 X的情况下 根据Bayes公式计算出后验概率 65 2 3基于最小风险的Bayes决策 及给出待识别 第二章贝叶斯决策理论 利用计算出的后验概念及决策表 按下式计算出采取决策 的条件风险 对 中得到的M个条件风险值 进行比较 找出使条件风险最小的决策 则 就是最小风险Bayes决策 就是待识别样品X的归类 66 2 3基于最小风险的Bayes决策 2 4Bayes决策比较 第二章贝叶斯决策理论 67 2 4Bayes决策比较 第二章贝叶斯决策理论 1 最小错误率与最小风险的Bayes决策比较 式中假定对M类只有M个决策 即不考虑 拒绝 等其他情况 而对于任何错误决策 其损失均为1 时没有损失 这样定义的损失函数称为0 1损失函数 68 最小错误率与最小风险的Bayes决策之间的关系 设损失函数为 由式表明 当做出正确决策 即 第二章贝叶斯决策理论 69 2 4Bayes决策比较 在0 1损失函数情况下 基于最小风险的Bayes决策结果也就是基于最小错误概率的Bayes决策结果 第二章贝叶斯决策理论 实际上 也是将X判为 时的错误概率 因此当 最大时 基于最小错误概率 的Bayes决策结果将该样品判归为 类 而此时 风险也是最小的 因此它与基于最小错误率的Bayes决策的 70 2 4Bayes决策比较 最小 判据是一样的 2 4Bayes决策比较 第二章贝叶斯决策理论 2 实例比较 71 某制药厂生产产品检测分两种情况 正常 和异常 两类的先验概率分别为 现有一待测产品呈现出状态X 由类条件概率密度分布曲线查得 1 试对该产品X按最小错误率的Bayes决策进行分类 若在上述条件基础之上 已知 表示 3 对这两种分类结果进行比较 的简写 2 按最小风险Bayes决策进行分类 第二章贝叶斯决策理论 从上述讨论可以看出 正确制订损失函数值 是基于最小风险的Bayes决策方法在实际应用中的一个关键问题 在实际中列出合适的决策表并不是一件容易的事 需根据所研究的具体问题 分析错误决策造成损失的严重程度 72 2 4Bayes决策比较 2 5基于二值数据的Bayes分类实现 第二章贝叶斯决策理论 73 2 5基于二值数据的Bayes分类实现 第二章贝叶斯决策理论 1 理论基础 74 所谓二值数据 即各样品的每一特征只取数值 1 或 0 第二章贝叶斯决策理论 2 实现步骤 75 1 计算先验概率 2 计算类条件概率 3 应用Bayes公式求后验概率 4 后验概率的最大值的类别 0 9 就是手写数字的所属类别 2 5基于二值数据的Bayes分类实现 2 6基于最小错误率的Bayes分类实现 第二章贝叶斯决策理论 76 第二章贝叶斯决策理论 1 理论总结 77 错误率最小的Bayes分类器设计思想是寻找一种划分方式 使 错判 率最小 1 两类问题 2 多类问题 2 6基于最小错误率的Bayes分类实现 第二章贝叶斯决策理论 2 实现步骤 78 1 求出每一类手写数字样品的均值 2 求每一类的协方差矩阵 3 计算出每一类的协方差矩阵的逆矩阵以及协方差矩阵的行列式 4 求出每一类的先验概率 5 将各个数值代入判别函数 6 判别函数最大值所对应类别就是手写数字的类别 2 6基于最小错误率的Bayes分类实现 2 7基于最小风险的Bayes分类实现 第二章贝叶斯决策理论 79 第二章贝叶斯决策理论 80 2 7基于最小风险的Bayes分类实现 待测样品 第二章贝叶斯决策理论 1 实现步骤 81 1 求出每一类手写数字样品的均值 2 求每一类的协方差矩阵 3 计算出每一类的协方差矩阵的逆矩阵以及协方差矩阵的行列式 4 求出每一类的先验概率 5 计算后验概率 6 定义损失数组为loss 10 10 7 计算每一类的损失risk i 8 找出最小损失所对应的类 该类即是待测样品所属的类别 2 7基于最小风险的Bayes分类实现 第二章贝叶斯决策理论 82 6 定义损失数组为loss 10 10 2 7基于最小风险的Bayes分类实现 第二章贝叶斯决策理论 83 7 计算每一类的损失risk i 2 7基于最小风险的Bayes分类实现 第二章贝叶斯决策理论 2 效果图 84 2 7基于最小风险的Bayes分类