十大经典算法朴素贝叶斯讲解PPT课件.ppt

朴素贝叶斯算法Na veBayes 知识回顾 贝叶斯知识 1 样本空间的划分 2 全概率公式 全概率公式 图示 证明 化整为零各个击破 说明全概率公式的主要用途在于它可以将一个复杂事件的概率计算问题 分解为若干个简单事件的概率计算问题 最后应用概率的可加性求出最终结果 称此为贝叶斯公式 3 贝叶斯公式 证明 条件概率的概念 乘法定理 由以往的数据分析得到的概率 叫做先验概率 而在得到信息之后再重新加以修正的概率叫做后验概率 先验概率与后验概率 简单的说 贝叶斯定理是基于假设的先验概率 给定假设下观察到不同数据的概率 提供了一种计算后验概率的方法 在人工智能领域 贝叶斯方法是一种非常具有代表性的不确定性知识表示和推理方法 贝叶斯理论 贝叶斯定理 P A 是A的先验概率或边缘概率 之所以称为 先验 是因为它不考虑任何B方面的因素 P A B 是已知B发生后A的条件概率 也由于得自B的取值而被称作A的后验概率 P B A 是已知A发生后B的条件概率 也由于得自A的取值而被称作B的后验概率 P B 是B的先验概率或边缘概率 也作标准化常量 normalizedconstant 贝叶斯定理 关于贝叶斯分类 对于贝叶斯网络分类器 若某一待分类的样本D 其分类特征值为 则样本D属于类别yi的概率P C yi X1 x1 X2 x2 Xn xn i 1 2 m 应满足下式 而由贝叶斯公式 其中 P C ci 可由领域专家的经验得到 而P X x C ci 和P X x 的计算则较困难 朴素贝叶斯算法原理 朴素贝叶斯算法原理 朴素贝叶斯算法原理 朴素贝叶斯算法原理 朴素贝叶斯算法原理 贝叶斯算法处理流程 贝叶斯算法的处理流程 第一阶段 准备阶段 该阶段为朴素贝叶斯分类做必要的准备 主要是依据具体情况确定特征属性 并且对特征属性进行适当划分 然后就是对一部分待分类项进行人工划分 以确定训练样本 这一阶段的输入是所有的待分类项 输出时特征属性和训练样本 分类器的质量很大程度上依赖于特征属性及其划分以及训练样本的质量 贝叶斯算法处理流程 第二阶段 分类器训练阶段 主要工作是计算每个类别在训练样本中出现频率以及每个特征属性划分对每个类别的条件概率估计 输入是特征属性和训练样本 输出是分类器 第三阶段 应用阶段 这个阶段的任务是使用分类器对待分类项进行分类 其输入是分类器和待分类项 输出是待分类项与类别的映射关系 购买电脑实例 购买电脑实例 购买电脑实例 2 计算每个特征属性对于每个类别的条件概率 P age 30 buys computer yes 2 9 0 222P income medium buys computer yes 4 9 0 444P student yes buys computer yes 6 9 0 667P credit rating fair buys computer yes 6 9 0 667P age 30 buys computer no 3 5 0 600P income medium buys computer no 2 5 0 400P student yes buys computer no 1 5 0 2P credit rating fair buys computer no 2 5 0 400 购买电脑实例 购买电脑实例 P X buys computer no P buys computer no 0 019 0 357 0 007因此 对于样本X 朴素贝叶斯分类预测buys computer yes 特别要注意的是 朴素贝叶斯的核心在于它假设向量的所有分量之间是独立的 总结 朴素贝叶斯算法的优点 a 算法逻辑简单 易于实现 b 分类过程中时空开销小 c 算法稳定 对于不同的数据特点其分类性能差别不大 健壮性比较好 总结 那么 贝叶斯分类法的效率如何呢 该分类法与决策树和神经网络分类法的各种比较试验表明 在某些领域 贝叶斯分类法足以与它们相媲美 理论上讲 与其他所有分类算法相比 贝叶斯分类具有最小的错误率 然而 实践中并非总是如此 这是因为对其使用的假定 如类条件独立性 的不正确性 以及缺乏可用的概率数据造成的 贝叶斯分类法还可以用来为不直接使用贝叶斯定理的其他分类法提供理论判定 例如 在某些假定下 可以证明 与朴素贝叶斯分类法一样 许多神经网络和曲线拟合算法输出的最大的后验假定 对比决策树分类 整棵决策树就对应着一组析取表达式规则 总结 扩展 扩展 对于第二个问题 朴素贝叶斯算法是在假定各个特征属性相互独立的情况下提出来 这在现实生活中是很难实现的 所以针对这个问题人们做了大量工作解决这个缺点 1 如果特征属性之间是有联系的 并且是一个有向无环图 可以采用另一个相关的贝叶斯分类算法 贝叶斯网络 在此不再介绍 2 除了贝叶斯网络还有kononenko提出的semi na vebayesian算法 称为半朴素贝叶斯算法 扩展 该算法就是将特征相关的属性分成一组 然后假设不同组中的属性是相互独立的 同一组中的属性是相互关联的 3 还有一种具有树结