张素文-第4章统计决策方法.ppt

第四章统计决策方法 4 1引言 4 2最小错误率贝叶斯决策 4 3最小风险贝叶斯决策 4 4正态分布模式的贝叶斯决策 4 5聂曼 皮尔逊判别 4 6按后验概率密度分类的势函数方法 第四章统计决策方法 一 复习 其他书的分法 4 1引言 获取模式的观察值时 有二种情况 1 确定性事件 事物间有确定的因果关系 前两章内容 2 随机事件 事物间没有确定的因果关系 观察到的特征具有统计特性 是一个随机向量 只能利用模式集的统计特性来分类 以使分类器发生分类错误的概率最小 二 两类研究对象 三 概率知识 1 概率 定义 设 是随机试验的基本空间 所有可能的实验结果或基本事件的全体构成的集合 也称样本空间 A为随机事件 P A 为定义在所有随机事件组成的集合上的实函数 若P A 满足 c 对于两两互斥的事件有 a 对任一事件A有 0 P A 1 b P 1 事件的全体 a 不可能事件V的概率为零 即P V 0 则称函数P A 为事件A的概率 概率的性质 定义 设A B是两个随机事件 且P B 0 则称 为事件B发生的条件下事件A发生的条件概率 2 条件概率 5 1 1 a 概率乘法公式 如果P B 0 则联合概率P AB P B P A B P A P B A P BA 5 1 2 c 贝叶斯公式 在全概率公式的条件下 若P B 0 则将 5 1 2 5 1 3 式代入 5 1 1 式中 有 5 1 4 条件概率的三个重要公式 则对任一事件B有 5 1 3 b 全概率公式 设事件A1 A2 An两两互斥 且 设样本的特征向量X是随机向量 则相关概率有三种 后验概率P i X 相对于先验概率而言 指收到数据X 一批样本点 后 根据这批样本提供的信息统计出的 i类出现的概率 即 X属于 i类的概率 3 模式识别中的三个概率 先验概率P i 根据以前的知识和经验得出的 i类样本出现的概率 与现在无关 条件概率P X i 已知的属于 i类的样本 发生事件X的概率 例对一批得病患者进行一项化验 结果为阳性的概率为95 1代表得病人群 则 今后的分类中用到类概率密度p X i i类的条件概率密度函数 通常也称为 i的似然函数 P 2 X 表示试验呈阳性的人中 显示可能有病 实际没有病的人的概率 这两个值可以通过大量的统计得到 若用某种方法检测是否得有某病 假设X表示 试验反应呈阳性 则 P X 2 表示最终确诊为无病的人群中 做该试验时反应呈阳性 显示可能有病 的概率 值低 高 值低 高 P X 1 表示最终确诊为有病的人群中 做该试验时反应也呈阳性 显示可能有病 的概率 P 1 X 表示试验呈阳性的人中 显示可能有病 实际确实有病的人的概率 三者关系 根据 5 1 4 贝叶斯公式有 5 1 5 5 1 4 全概率密度公式 分类规则 有M类模式 5 2 1 4 2最小错误率贝叶斯决策 分析 讨论模式集的分类 目的是确定X属于那一类 所以要看X来自哪类的概率大 在下列三种概率中 先验概率P i 类 条件 概率密度p X i 后验概率P i X 采用哪种概率进行分类最合理 一 决策规则 后验概率P i X 虽然后验概率P i X 可以提供有效的分类信息 但先验概率P i 和类概率密度函数p X i 从统计资料中容易获得 故用Bayes公式 将后验概率转化为类概率密度函数和先验概率的表示 由 可知 分母与i无关 即与分类无关 故分类规则又可表示为 5 2 2 5 2 1 5 2 2 均称为 最小错误率Bayes规则 5 2 1 例子 癌症普查 1癌症患者 11268 2正常者 2242282总人数 n 2253550对每一类的概率做一个估计 先验概率 对人们测量细胞的特征向量代表的某个人属于第i类的后验概率 决策规律 例子 癌症普查 续1 若已知两类特征向量分布的类条件概率密度函数贝叶斯公式 全概率公式 例子 癌症普查 续2 将P i x 代入判别式 判别规则可表示为 或改写为 l12称为似然比 likelihoodratio 12称为似然比的判决阀值 例子 癌症普查 续3 概念和符号 总概率 后验概率 类概密 表示在类 i条件下的概率密度 即类 i模式x的概率分布密度 先验概率 表示类 i出现的先验概率 简称类 i的概率 例 对一批人进行癌症普查 1 患癌症者 2 正常人 模式特征x x 化验结果 x 1 阳性 x 0 阴性 已知 统计结果 先验概率 P 1 0 005P 2 1 P 1 0 995条件概率 p x 阳 1 0 95p x 阴 1 0 05p x 阳 2 0 01求 呈阳性反映的人是否患癌症 解 利用Bayes公式 因为 P 2 x 阳 1 P 1 x 阳 1 0 323 0 677P 1 x 阳 P 2 x 阳 故判决 x 阳 2 即正常 写成似然比形式 现有一待诊人员 血液观察值为X 从类条件概率密度发布曲线得 例 假定某地区乙肝患者和健康人的先验概率分别为 试对X进行分类 解 例1 解 利用贝叶斯公式 分别计算出 的后验概率 二 错误率分析 两类问题判别决规则 用后验概率密度表示为 用先验概率和类概率密度函数表示为 或 判别界面为 对两类问题 上式中的P e X 为 即分类中可能会发生两种错误 假设R1为 1类的判决区 R2为 2类的判决区 则两种错误为 将来自 1类的模式错分到R2中去 将来自 2类的模式错分到R1中去 总的错误为两种错误之和 1 两类问题错误率 一维模式情况图示 在最小错误Bayes规则中 判决界面为两曲线的交点处 即 可以看出这个误差是所有误差中最小的 图中三角形的面积减小到0 但总错误概率不可能为零 最小风险贝叶斯决策基本思想 以各种错误分类所造成的平均风险最小为规则 进行分类决策 4 3最小风险贝叶斯决策 一 风险 概念 1 自动灭火系统 2 疾病诊断 不同的错判造成的损失不同 损失又称为风险 考虑到对于某一类的错误判决要比对于另一类的更为关键 据此把最小错误率的贝叶斯判决做一些修改 提出了 条件平均风险 rj X 的概念 对M类问题 如果观察样本被判定属于 j类 则条件平均风险指 将某一X判为属于 j类时造成的平均损失 也称条件平均损失 二 条件平均风险与平均风险 L2c 2 c L21 2 1 2 L12 1 2 L11 1 1 1 2 1 类型风险判别 二 风险矩阵为 L1j 1 j L1c 1 c i a Li1 i I La1 a I La2 a 2 Laj a j j c Lac a c Li2 i 2 Lic i c Lij i j L22 2 2 L2j 2 j 用先验概率和条件概率的形式 p X 对所有类别一样 故不提供分类信息 如果对每个X都按条件平均风险最小决策 则平均风险也最小 总的条件平均风险通常称为 平均风险 或 平均损失 1 多类情况 设有M类 对于任一X对应M个条件平均风险ri X i 1 2 M 基本判决规则 三 最小平均风险贝叶斯决策 2 两类情况 对样本X 当X被判为 1类时 当X被判为 2类时 由 式 为阈值 判别步骤 类概率密度函数p X i 也称 i的似然函数 例在例1的基础上利用决策表 下列 按最小风险进行分类决策表 解 计算和得 例 某地乙肝患者与健康人的先验概率分别为 某患者的观察结果用模式向量X表示 由类概率密度曲线查得 损失函数分别为L11 0 L12 10 L22 0 L21 1 按最小风险贝叶斯决策分类 即被诊断为乙肝患者 损失函数为特殊情况 三 0 1 损失最小风险贝叶斯决策 1 多类情况 0 1 情况下 对X被判为时 一般形式 可改写成 判决规则 定义判决函数等价形式 则判决规则等价形式为 是 最小错误Bayes决策 书43页 4 3 式 2 两类情况 书43页 4 3 式 或从 式导出似然比形式 其中 判决规则 4 4正态分布模式的贝叶斯决策 一 预备知识复习 二次型中的矩阵A是一个对称矩阵 即 含义 是一个二次齐次多项式 2 正定二次型 对于 即X分量不全为零 总有 则称此二些型是正定的 而其对应的矩阵称为正定矩阵 3 单变量 一维 的正态随机向量 密度函数表示为 曲线如图示 1 0 5 0 1 1 2 4 一维正态曲线的性质 2 曲线关于直线x 对称 3 当x 时 曲线位于最高点 4 当x 时 曲线上升 当x 时 曲线下降 并且当曲线向左 右两边无限延伸时 以x轴为渐近线 向它无限靠近 1 曲线在x轴的上方 与x轴不相交 5 一定时 曲线的形状由 确定 越大 曲线越 矮胖 表示总体的分布越分散 越小 曲线越 瘦高 表示总体的分布越集中 6 3 规则 即 绝大部分样本都落在了均值 附近 3 的范围内 因此正态密度曲线完全可由均值和方差来确定 常简记为 p x 左图为某大学男大学生的身高数据 红线是拟合的密度曲线 可见 其身高应服从正态分布 总之 正态分布 高斯分布 广泛存在于自然 生产及科学技术的许多领域之中 对许多实际情况都是一种合适的模型 并且具有良好的特征 所以受到很大重视 5 多变量 n维 正态随机向量 密度函数与单变量类似 表示为 式中 C 协方差矩阵C的行列式 多维正态密度函数完全由它的均值M和协方差矩阵C所确定 简记为 p X N M C 为对称正定矩阵 以二维正态密度函数作图 a b 所示 等高线 等密度线 投影到x1ox2面上为椭圆 从原点O到点M的向量为均值M 圆心为M 椭圆的形状由协方差矩阵C决定 对许多实际的数据集 正态分布通常是合理的近似 正态分布概率模型特点 1 物理上的合理性 2 数学上的简单性 前面介绍的Bayes方法事先必须求出p X i p i 而当p X i 呈正态分布时 只需要知道M和C矩阵即可 二 正态分布模式的Bayes决策 1 多类情况 具有M种模式类别的多变量正态密度函数为 5 4 1 式中 每一类模式的分布密度都完全被其均值向量Mi和协方差矩阵Ci所规定 其定义为 协方差矩阵Ci是对称的正定矩阵 它决定样本分布的形状 中心由均值向量M决定 在最小错误率Bayes决策中 类别 i的判别函数可写为 对正态密度函数 为了方便 取对数后有 5 4 2 对数是单调递增函数 故取对数后仍有相对应的分类性能 去掉与i无关的项 不影响分类 简化为 将 5 4 1 代入 5 4 2 式 di X 为超二次曲面 可见对正态分布模式的Bayes分类器 两类模式之间用一个二次判别界面分开 就可以求得最优的分类效果 5 4 3 判决规则同前 2 两类问题 当C1 C2时 判别界面是X的二次型方程决定的超曲面 如图 a 所示 当 图 a 当C1 C2 C时 由 5 4 3 式 由此导出判别界面为 为X的线性函数 是一超平面 当为二维时 判别界面为一直线 如图 b 所示 5 4 4 两类相同 抵消 展开相同 合并 图 c 图 b 5 4 4 例 设在三维特征空间里 分别在两个类型中获得4个样本 位于一个单位立方体的顶点上 设两类为正态分布 其均值向量和协方差矩阵可用下式估计 5 4 5 5 4 5 式中 Ni为类别 i中模式的数目 xij代表在第i类中的第j个模式 两类的先验概率 试确定两类之间的判别界面 解 经计算有 因协方差矩阵相等 故 5 4 4 为其判别式 由于 5 4 4 图中画出判别平面的一部分 三 分类器的错误概率 评价一种判别规则的性能 需要计算错分的概率 两类问题中 可能会发生两种错误 1 将来自 1类的模式错分到R2中去 2 将来自 2类的模式错分到R1中去 总的错误定义为这两种错误的先验概率加权和 即 总错误概率 一维模式下的情况如下图示 只有符合贝叶斯判别准则 即判别阈值满足 的条件 分类错误概率才能最小 但总错误概率不可能为零 考虑总错误概率是必要的 只使一个样品的错误概率最小是没有意义的 因为这时另一类的错误概率可能很大 4 5聂曼 皮尔逊 Neyman Person 判别 Neyman Person判决思想 适用于p i 难以确定时 基本思想 限制一个错误概率 追求另一个最小 二类问题 二类问题的最小错误率Bayes决策中的总错误 P1 e 1类模式被错分到 2类区域时 引起的错误概率 P2 e 2类模式被错分到 1类区域时 引起的错误概率 Neyman Person准则出发点 在取P2 e 等于常数的条件下 使P1 e 为最小 以此来确定阀值 此时准则含义 在虚警概率P2 e 是一个可以承受的常数值的条件下 使漏报概率为最小 X为一维情况的概率密度曲线 使总错误率最小 最小错误率Bayes决策 使风险 错误引起的损失 最小 最小平均风险Bayes决策 0 1 损失最小风险Bayes决策 限制一个错误概率 追求另一个最小 Neyman Person判别 分析 研究算法的三种思路 二 判别式推导 在求P1 e 为最小时 需要构造一个函数 待定常数 P2 e 常数 求P1 e 最小 即是求Q最小 5 5 1 要使Q最小 积分项至少应为负值 即在R1区域内 至少应保证 即 5 5 2 同理由 5 5 1 式有 即确R2定范围的准则是 从 5 5 2 5 5 3 式可得判别式为 判别别界面为 5 5 5 5 5 4 从 5 5 4 式可看出 p X 1 p X 2 是已知的 Neyman Pers