5. 贝叶斯分类.ppt

数据挖掘 朴素贝叶斯分类 王成 副教授 华侨大学计算机科学与技术学院 1 概率论基本知识 确定事件 概念是确定的 发生也是确定的 随机事件 概念是确定的 发生是不确定的 模糊事件 概念本身就不确定 随机变量 随机变量 随机事件的数量表示 离散随机变量 取值为离散的随机变量 连续随机变量 取值为连续的随机变量 频率和概率 概率的频率学派解释 频率 试验在相同的条件下重复N次 其中M次事件A发生 则A发生的频率为 fN A M N 概率 当N很大时 频率会趋向一个稳定值 称为A的概率 联合概率和条件概率 联合概率 设A B是两个随机事件 A和B同时发生的概率称为联合概率 记为 P AB 条件概率 在B事件发生的条件下 A事件发生的概率称为条件概率 记为 P A B 乘法定理 P A B P AB P B 概率密度函数 概率分布函数 设X为连续型随机变量 定义分布函数 F x P X x 概率密度函数 给定X是随机变量 如果存在一个非负函数f x 使得对任意实数a b a b 有P a X b f x dx 积分下限是a 上限是b 则称f x 为X的概率密度函数 贝叶斯公式 证 P A 通常在试验之前已知 因此习惯上称为先验概率 P A B 反映了B发生之后 事件A发生的可能性大小 通常称之为后验概率 贝叶斯公式 先验概率P cj 联合概率P xcj 后验概率P cj x 先验概率P cj P cj 代表还没有训练数据前 cj拥有的初始概率 P cj 常被称为cj的先验概率 priorprobability 它反映了我们所拥有的关于cj是正确分类机会的背景知识 它应该是独立于样本的 如果没有这一先验知识 那么可以简单地将每一候选类别赋予相同的先验概率 不过通常我们可以用样例中属于cj的样例数 cj 比上总样例数 D 来近似 即 后验概率P cj x 即给定数据样本x时cj成立的概率 而这正是我们所感兴趣的 P cj x 被称为C的后验概率 posteriorprobability 因为它反映了在看到数据样本x后cj成立的置信度 贝叶斯 贝叶斯 ThomasBayes 1701 1761 英国牧师 业余数学家 生活在18世纪的贝叶斯生前是位受人尊敬英格兰长老会牧师 为了证明上帝的存在 他发明了概率统计学原理 遗憾的是 他的这一美好愿望至死也未能实现 贝叶斯在数学方面主要研究概率论 他首先将归纳推理法用于概率论基础理论 并创立了贝叶斯统计理论 对于统计决策函数 统计推断 统计的估算等做出了贡献 1763年发表了这方面的论著 对于现代概率论和数理统计都有很重要的作用 贝叶斯的另一著作 机会的学说概论 发表于1758年 贝叶斯所采用的许多术语被沿用至今 贝叶斯思想和方法对概率统计的发展产生了深远的影响 今天 贝叶斯思想和方法在许多领域都获得了广泛的应用 条件概率 在实际问题中 往往会遇到求在事件B已经发生的条件下 事件A的概率这时由于附加了条件 它与事件A的概率P A 的意义是不同的我们把这种概率记为P A B 条件概率 考虑一个医疗诊断问题 有两种可能的假设 1 病人有癌症 2 病人无癌症 样本数据来自某化验测试 它也有两种可能的结果 阳性和阴性 假设我们已经有先验知识 1 在所有人口中只有0 008的人患癌症 2 此外 化验测试对有癌症的患者有98 的可能返回阳性结果 对无癌症患者有97 的可能返回阴性结果 条件概率 上面的数据可以用以下概率式子表示 P cancer 0 008P 无cancer 1 P cancer 1 0 008 0 992P 阳性 cancer 0 98P 阴性 cancer 1 P 阳性 cancer 1 0 98 0 02P 阴性 无cancer 0 97P 阳性 无cancer 1 P 阴性 无cancer 1 0 97 0 03假设现在有一个新病人 化验测试结果为阳性 是否将病人断定为有癌症呢 在这里 Y cancer 无cancer 共两个类别 这个新病人是一个样本 他有一个属性阳性 可以令x 阳性 条件概率 我们可以来计算各个类别的后验概率 P cancer阳性 P 阳性 cancer p cancer 0 98 0 008 0 0078P 无cancer阳性 P 阳性 无cancer p 无cancer 0 03 0 992 0 0298P 阳性 P cancer阳性 P 无cancer阳性 0 0078 0 0298P cancer 阳性 P cancer阳性 P 阳性 0 0078 0 0078 0 0298 0 207P 无cancer 阳性 1 P 癌症 阳性 1 0 207 0 793 贝叶斯分类 贝叶斯分类是统计学方法 他们可以预测类成员关系的可能性 如给定样本属于一个特定类的概率贝叶斯分类主要是基于贝叶斯定理 通过计算给定样本属于一个特定类的概率来对给定样本进行分类由于概率统计与数据挖掘天然的联系 数据挖掘兴起后 贝叶斯成为引人注目的热点 贝叶斯分类 贝叶斯分类基本思路 假设有两种类别C1和C2 给定实例X 要求得到X所属的类别是C1还是C2 计算P C1 X 和P C2 X 如果P C1 X P C2 X 则实例X属于C1 否则属于C2 简单的说 就是去计算在X出现的情况下 X属于哪种类别的概率更高 如何计算P Ci X 朴素贝叶斯分类 NaiveBayes 假设有n个类别C1 C2 Cn 给定一个实例的特征向量w 则此实例属于类Ci的概率为 P Ci 的计算 将训练样本中属于类Ci的实例数量除以训练样本数量即P Ci 例如动物图片识别中 假设有100个训练实例 其中有15张为猫 则P 猫 15 100 0 15 P w 的计算 因为利用贝叶斯进行分类时 我们只要比较概率的大小即可 而P w 对于所有的类别都是一样的 因此无须计算 朴素贝叶斯分类 NaiveBayes 假设有n个类别C1 C2 Cn 给定一个实例的特征向量w 则此实例属于类Ci的概率为 P w Ci 的计算 w是特征向量 若将其展开 则可将P w Ci 写作P w0 w1 w2 wn Ci 朴素贝叶斯假设实例的各个属性互相独立 互不影响 因此 上式等价于P w0 Ci P w1 Ci P w2 Ci P wn Ci 朴素贝叶斯分类 NaiveBayes 假设有n个类别C1 C2 Cn 给定一个实例的特征向量w 则此实例属于类Ci的概率为 P w Ci 的计算 P w Ci P w0 Ci P w1 Ci P w2 Ci P wn Ci 假设一个实例的特征向量为 有四条腿 会飞 即w0 有四条腿 w1为会飞 共有三个类别分别是鸟 狗 鱼 则P w0 C0 P 有四条腿 鸟 训练样本中有四条腿的鸟 实例 的数量 除以样本中鸟 实例 的数量P w1 C0 P 会飞 鸟 训练样本中会飞的鸟 实例 的数量 除以样本中鸟 实例 的数量P w0 w1 C0 P w0 C0 P w1 C0 P 有四条腿 会飞 鸟 P 有四条腿 鸟 P 会飞 鸟 朴素贝叶斯 NaiveBayes 朴素贝叶斯假设所有属性之间都是互相独立的 这也正是算法名称中 朴素 naive 一词的由来但现实中属性之间往往存在依赖 但有意思的是 即使是在朴素贝叶斯算法的独立性假设明显不成立的情况下 它也仍然能得到非常好的分类结果 C4 5 k Means SVM Apriori EM PageRank AdaBoost kNN Na veBayes CART 十大数据挖掘算法之一 朴素贝叶斯分类举例 共14个训练实例 共两个类别 会买电脑 和不会买电脑 每个训练实例有4个属性 待分类实例 年龄 30 收入中等 是学生 信用一般 他会买电脑吗 朴素贝叶斯分类举例 计算P Ci 本例中C0为未买电脑 C1为买了电脑 P 未买电脑 P 买了电脑 5 14 0 357 9 14 0 643 P w 不用算 朴素贝叶斯分类举例 计算P w 未买电脑 w 年龄 30 收入中等 是学生 信用一般 P w Ci P w0 Ci P w1 Ci P w2 Ci P w3 Ci P 年龄 30 未买电脑 3 5 0 600 P 收入中等 未买电脑 2 5 0 400 P 是学生 未买电脑 1 5 0 200 P 信用一般 未买电脑 2 5 0 400 P w 未买电脑 P w C0 P C0 P w 未买电脑 P 未买电脑 0 019 0 357 0 007 0 6 0 4 0 2 0 4 0 019 朴素贝叶斯分类举例 计算P w 买了电脑 w 年龄 30 收入中等 是学生 信用一般 P w Ci P w0 Ci P w1 Ci P w2 Ci P w3 Ci P 年龄 30 买了电脑 2 9 0 222 P 收入中等 买了电脑 4 9 0 444 P 是学生 买了电脑 6 9 0 667 P 信用一般 买了电脑 6 9 0 667 P w 买了电脑 P w C1 P C1 P w 买了电脑 P 买了电脑 0 044 0 643 0 028 0 222 0 444 0 667 0 667 0 044 朴素贝叶斯分类举例 P w C0 P C0 P w 未买电脑 P 未买电脑 0 019 0 357 0 007 P w C1 P C1 P w 买了电脑 P 买了电脑 0 044 0 643 0 028 P 不买电脑 w P C0 w P w C0 P C0 P w 0 007 P w P 会买电脑 w P C1 w P w C1 P C1 P w 0 028 P w w 年龄 30 收入中等 是学生 信用一般 问题1 零概率问题 计算P w 未买电脑 w 年龄 30 收入中等 是学生 信用一般 P 年龄 30 未买电脑 3 5 0 600 P 收入中等 未买电脑 2 5 0 400 P 是学生 未买电脑 0 5 0 P 信用一般 未买电脑 2 5 0 400 P w 未买电脑 P w C0 P C0 P w 未买电脑 P 未买电脑 0 0 6 0 4 0 0 4 0 问题1 零概率问题的解决方案 拉普拉斯校准 校准前 概率可能为0 校准后 概率接近原概率 但不会变成0 其中N为属性值个数 问题1 零概率问题的解决方案 拉普拉斯校准 计算P w 未买电脑 w 年龄 30 收入中等 是学生 信用一般 P 年龄 30 未买电脑 3 5 0 600 P 收入中等 未买电脑 2 5 0 400 P 是学生 未买电脑 0 5 0 P 信用一般 未买电脑 2 5 0 400 P 年龄 30 未买电脑 3 1 5 4 0 444 P 收入中等 未买电脑 2 1 5 4 0 333 P 是学生 未买电脑 0 1 5 4 0 222 P 信用一般 未买电脑 2 1 5 4 0 333 拉普拉斯校准 问题2 溢出问题 P w Ci P w0 Ci P w1 Ci P w2 Ci P w3 Ci 等式右边分子中各概率的值可能很小 而很小的数再相乘可能会导致浮点数溢出 对等式右边的分子求对数 进而将概率相乘转换为相加 注 log a b log a log b 你这样乱改公式 贝叶斯知道吗 问题2 溢出问题 如果不指明底数 我们默认底数为2 y log x 为增函数若P a P b 则log P a log P b 朴素贝叶斯算法是通过比较待分类实例属于各个类别的概率的大小来实现分类的 因此只要公式能体现出概率的大小关系即可 无需计算出准确的条件概率 问题3 决策风险问题 不同的决策规则反映了分类器设计者的不同考虑 对决策结果有不同的影响 其中最有代表性的是 基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策 问题3 决策风险问题 基于最小错误率的贝叶斯决策 分类器中为什么会有错分类 在何种情况下会出现错分类 错分类的可能性会有多大 当某一特征向量X只为某一类物体所特有 即对其作出决策是容易的 也不会出什么差错 问题在于出现模凌两可的情况 此时 任何决策都存在判错的可能性 条件概率 P 是条件概率的通用符号 P wk X 是表示在X出现条件下 样本为wk类的概率 基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的 1 后验概率 如果则 问题3 决策风险问题 基于最小错误率的贝叶斯决策 2 如果则 3 似然比 如果则否则 问题3 决策风险问题 基于最小错误率的贝叶斯决策 如果则否则 4 似然比写成相应的负对数形式 例题1 假设在某地区切片细胞中正常 w1 和异常 w2 两类的先验概率分别为p w1 0 9 p w2 0 1 现有一待识别细胞呈现出状态x 由其类条件概率密度分布曲线查得p x w1 0 2 p x w2 0 4 试对细胞x进行分类 例题1解答 利用贝叶斯公式 分别计算出状态为x时w1与w2的后验概率 问题3 决策风险问题 基于最小错误率的贝叶斯决策的证明 平均错误率 在观测值可能取值的整个范围内错误率的均值 两类判别情况 当p w2 x p w1 x 时决策为w2 对观测值x有p w1 x 概率的错误率R1 做出w1决策的所有观测值区域 条件错误概率为p w2 x R2 条件错误概率为p w1 x 因此平均错误率p e 可表示成 在R1内任一个x值都有p w2 x p w1 x 在R2区内任一个x值都有p w1 x p w2 x 错误率在每个x值处都取小者 因而平均错误率p e 也必然达到最小 这就证明了按 2 2 式作出的决策 其平均错误率为最小 p e 也可以 2 8 式写成 错误率为图中两个划线部分之和 对应的错误率区域面积为最小 2 2基于最小风险