朴素贝叶斯算法

1、朴素贝叶斯算法,Naive Bayes,算法流程图,朴素贝叶斯算法原理,01,贝叶斯定理 朴素贝叶斯算法流程,02,购买电脑实例,03,朴素贝叶斯算法存在的问题及应用,04,Table of Contents,内容大纲,朴素贝叶斯算法原理,朴素贝叶斯算法是分类算法中的一种。朴素贝叶斯的思想基础是这样的：对于给定的待分类项 ， 求解在此项出现的条件下各个类别 出现的概率，哪个 最大。就把此待分类项归于哪个类别。 通俗来说，就好比你在街上看到一个黑人，我问你你猜这个人哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择

2、条件概率最大的类别，这就是朴素贝叶斯的思想基础。,条件概率： 表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为： 为了得出 ，我们不加证明的给出贝叶斯定理。,贝叶斯分类的基础贝叶斯定理,先验概率和后验概率,先验概率：由以往的数据分析得到的概率。 后验概率：得到信息之后再重新加以修正的概率。,朴素贝叶斯算法流程,1.设 为一个待分类项，而每个 为 的一个特征属性。且特征属性之间相互独立（此处是朴素贝叶斯的假设）。 2.设 为一个类别集合。 3.计算 。 4.如果 则 。,接下来，由于假设各个特征属性都是条件独立的，那么根据贝叶斯定理有如下推导，因为

3、分母对于所有类别为常数，因此将分子最大化即可。 即：,朴素贝叶斯分类例子,数据样本用属性age, income, student 和credit rating 描述。类别属性buys computer 具有两个不同值（即yes, no）。设 对应于类buys computer = “yes”，而 对应于类buys computer = “no”。 我们分类的未知样本为： X = (age = 30, income =medium, student = yes, credit _ rating = fair).,1.我们需要最大化P(X | )P( )，i = 1,2。 每个类的先验概率P( )

4、可以根据训练样本计算： P(buys_computer = yes) = 9/14 = 0.643 P(buys_computer = no) = 5/14 = 0.357,2.计算后验概率P(X | )， i = 1,2（假设属性独立）,P(age = “30” | buys_computer = “yes”) =0.222 P(age = “30” | buys_computer = “no”) =0.600 P(income =“medium” |buys_computer =“yes”) =0.444 P(income = “medium” | buys_computer =“no”)

5、 = 0.400 P(student = “yes” | buys_computer =“ yes”) =0.667 P(student = “yes” | buys_computer =“no”) =0.200 P(credit_rating = “fair” |buys_computer = “yes”) = 0.667 P(credit_rating = “fair” |buys_computer = “no”) = 0.400 P(X | buys_computer = “yes”) = 0.2220.4440.6670.667 = 0.044 P(X | buys_computer

6、= “no”) = 0.6000.4000.2000.400 = 0.019,3. 对每个类 ，计算P(X | )P( ) P(X | buys_computer = “yes”) P(buys_computer = “yes”) = 0.0440.643 = 0.028 P(X | buys_computer = “no”) P(buys_computer = “no”) = 0.0190.357 = 0.007 因此，对于样本X，朴素贝叶斯分类预测buys_computer =” yes”。,朴素贝叶斯算法存在的问题及应用,朴素贝叶斯分类器(Naive Bayes Classifier,或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实