朴素贝叶斯分类

1、朴素贝叶斯Naive Bayes重庆大学软件信息服务工程实验室余俊良条件概率1 定义若仪 是全集，A、B是其中的事件（子集）,P表示事件发生的概率，则-1 =Z为事件B发生后A发生的概率。乘法定理设 P(A) > 0,则有 P(AB) = P(B A)P(A) = P(A B)P(B).设A B.C为事件且P(AB) > 0,则有P(ABC) = P(A)P(BA)P(CAB).注：当P(AB)不容易直接求得时，可考虑利用V与 P0/Q的乘积或砒与P(A/B)的乘积间接求得。乘法定理的推广推广设为个事ft n > 2,且户（£&4一1）> °

2、，则有p（a1a2.aj = p（a1）p（a2|a1）p（a3|a1a2）P（An|A1A2-An 1）、全概率公式1 集合（样本空间）的划分定义设0为试验E的样本空间也 为E的一组事件，若1° BjBj = 0, i, j = 1,2, , h;2° B,UB2U-UB/;=Q,则称坊,也为样本空间Q的一个划分2.全概率公式定义设C为试验E的样本空间,A为E的事件, 妨,Q场为。的一个划分,且P(BJ > 0 (21,2,加,则P(A) = P(A 丨 B)P(5) + P(A i B2)P(B2)+ - + P(ABn)P(BJn= P(B)P(ABi)i=全概

3、率公式证明 4 = AQ = 4n(qUB2U 色)二 AB1LW2U=> P(A) = P(BJP(A 丨 BJ + P(B2)P(A I 场)+ +P(Bn)P(AIBn)图示说明 全概率公式的主要用途在于它可以将一个复杂事 件的概率计算问题，分解为若干个简单事件的概率计算问 题，最后应用概率的可加性求出最终结果.例1有一批同一型号的产品，已知其中由一厂生产的占 30%,二厂生产的占50%,三厂生产的占20%又知这三个 厂的产品次品率分别为2%, 1% 1%问从这批产品中任取一 件是次品的概率是多少解 设事件月为“任取一件为次品”，事件Bj为任取一件为了厂的产品',i = 1

4、,2,3.B UB2 UB3=Q, BiBj = 0, ij = 1,2,3.由全概率公式得F二只引卩创血+卩厲屮+卩厲円冲鸟），P(B1) = 0.3, P(B2) = 0.5, P(B3) = 0.2,P(A|Bi)= 0.02, P(AB2) = 0.01, P(AB3) = 0.01,故 P(A) = P(B1)P(A|B1)+P(B2)P(A|B2)+P(B3)P(A|B3)=0.02x0.3 + 0.01x0.5 + 0.01x0.2 = 0.013.贝叶斯公式定义 设0为试验E的样本空间A为E的事件, Bpd，$为G的一个划分，且P(A) > 0, P(BJ>0(心1

5、,2,加，则P(即 A)=心 1,2，山£p(AB,P(Bj)>1Bayes公式的意义假设导致事件A发生的“原因”有Bj （匸12小）个。 它们互不相容。现已知事件A确已经发生了，若要估计它是由“原 因” B所导致的概率，则可用Bayes公式求出.即可从结果分析原因.证明P(BA) =P(AIBJP(BJP(A) P(BJP(ABJn2P(B7.)P(AIBy) j=l乘法定理:设 P(A) > 0,则有 P(AB) = P(B A)P(A) = P(A| B)P(B).P(A) = P(3 )P(AIBJ + P(B2)P(A I 耳)+ +P(Bn)P(ABn)例2贝

6、叶斯公式的应用某电子设备制造厂所用的元件是由三家元件制造厂提供的根据 以往的记录有 以下的数据:元件制造厂次品率提供元件的份额10.020.1520.010.8030.030.05设这三家工厂的产品在仓库中是均匀混合的，且 无区别的标志.(1)在仓库中随机地取一只元件，求它是次品的 概率；（2）在仓库中随机地取一只元件，若已知取到的是 次品，为分析此次品出自何厂,求此次品出由 三家工厂生产的概率分别是多少.解设力表示”取到的是一只次品，比（7 = 1,2,3 表示所取到的产品是由第/家工厂提供时.则 B、, B2, B3是样本空间G的一个划分且 P（BJ = 0.15,P（B2） = 0.80

7、,P（B3） = 0.05,P(ABX) = 0.02, P(AB2) = 0.01, P(A|B3) = 0.03.(1)由全概率公式得P(A) = P(AB1)P(B1) + P(AB2)P(B2) + P(AB3)P(B3)=0.0125.由贝叶斯公式得P(B2A) =P(B3A) =砂|场)陀2)P(A)0.64,P(A)0.12.故这只次品来自第2家工厂的可能性最大先验概率与后验概率由以往的数据分析得到的概率，叫做先验概率.而在得到信息之后再重新加以修正的概率叫做后验概率.贝叶斯分类贝叶斯分类器是一个统计分类器。它们能够预测类别所属的 概率，女口：一个数据对象属于某个类别的概率。贝叶

8、斯分类 器是基于贝叶斯定理而构造出来的。对分类方法进行比较的有关研究结果表明：简单贝叶斯分类 器（称为基本贝叶斯分类器）在分类性能上与决策树和神经 网络都是可比的。在处理大规模数据库时，贝叶斯分类器已表现出较高的分类 准确性和运算性能。定义：设x是类标号未知的数据样本。设H为某种假定，如 数据样本X属于某特定的类C。对于分类问题，我们希望确 定P(H|X),即给定观测数据样本X,假定H成立的概率。贝 叶斯定理给出了如下计算P(H|X)的简单有效的方法：P(HX) =P(XP(H)是先验概率,或称H的先验概率。P(X|H)代表假设H成 立的情况下，观察到X的概率。P(H|X)是后验概率，或称条件

9、X下H的后验概率。先验概率泛指一类事物发生的概率，通常根据历史资料或主观判断，未经实验证实所确定的概率。而后验概率涉及的是某个特定条件下一个具体的事物 发生的概率例如：P（X1 ）=0.9:细胞为正常细胞的概率0.9 （先验概率）P（x2）=0.1:细胞为异常细胞的概率0.1 （先验概率）对某个具体的对象y, P（xl |y）:表示y的细胞正常的概率 是0.82 （后验概率）P（x2|y）:表示y的细胞异常的概率是0.18 （后验概率）26朴素贝叶斯分类朴素贝叶斯分类的工作过程如下：（1）每个数据样本用一个/7维特征向量后马，电， 兀表示，分别描述对a个属性月” A2, 、观样本的a个度量。假

10、定有加个类G，G"给定一个未知的数据样 本x（即没有类标号）,分类器将预测&属于具有最高后验 概率（条件x下）的类。也就是说，朴素贝叶斯分类将未 知的样本分配给类G （i</</77）当且仅当pqx）> p（c.x）, 对任意的尸j 2、，叫j* 这样，最大化pqx）o其 pqx）最大的类g称为最大后验假定。根据贝叶斯定理gix)=p(xicjp(g)PW（3）由于对于所有类为常数，只需要4X|g）*hg） 最大即可。如果G类的先验概率未知，则通常假定这些类是等概 率的，即玖c）=p（c沪二玖因此问题就转换为 对ixq的最大化（rxig）常被称为给定g时数据

11、x 的似然度，而使p（xq）最大的假设g称为最大似然假 设）。否则，需要最大化4£G）*RG）。注意，类的 先验概率可以用p（q）二“ s计算，其中斥是类G中的训练 样本数，而S是训练样本总数。 (4)给定具有许多属性的数据集，计算ixq)的开销可能非 常大。为降低计算PXQ的开销，可以做类条件独立的朴 素假定。P(AB) = P(A)P(B)给定样本的类标号，假定属性值相互条件独立，即在属性 间，不存在依赖关系。这样nP(XCi) = YPkCi)联合概率分布k=29朴素贝叶斯分类 (5)对未知样本X分类，也就是对每个类计算P(X| Q*P(Qo样本顽指派到类q 当且仅当P(qx)

12、> p(q|JO, *换言之，磁指派到其P(X|q*p(q最大的类。30“打网球”的决定No.天气气温湿度风类别No.天气气温湿度风类别1晴热高无N8晴适中高无N2晴热高有N9晴冷正常无P3多云热高无P10雨适中正常无P4雨适中高无P11晴适中正常有P5雨冷正常无P12多云适中高有P6雨冷正常有N13多云热正常无P7多云冷正常有P14雨适中高有N实例No.天气气温湿度风类别1睛热高无N2晴热高有N3多云热高无P4雨适中高无P5雨冷正常无P6雨冷正常有N7多云冷正常有PNo.天气气温湿度风类别8晴适中高无N9晴冷正常无P1()雨适中正常无P11晴适中正常有P12多云适中高有P13多云热正常

13、无P14雨适中高有N统计结果天气温度湿度有风打网球PNPNPNPNPN晴2/93/5热2/92/5高3/94/5否6/92/59/145/14云4/90/5暖4/92/5正常6/91/5是3/93/5雨3/92/5凉3/91/5统计结果天气E1温度E2湿度E3有风E4打网球PNPNPNPNPN晴2/93/5执 八、2/92/5高3/94/5否6/92/59/145/14云4/90/5暖4/92/5正常6/91/5是3/93/5雨3/92/5凉3/91/5对下面的情况做出决策:天气温度湿度有风打网球晴凉高疋?统计结果天气E1温度E2湿度E3有风E4打网球DPNPNPNPNPN晴2/93/5热2/

14、92/5高3/94/5否6/92/59/145/14云4/90/5暖4/92/5正常6/91/5是3/93/5雨3/92/5凉3/91/5对下面的情况做出决策:决策：P(D = noE)>P(D = yes IE)?贝叶斯公式：P(D I E)=P(DE) _ P(E 丨 D)P(D)P(E)二 P(E)E为第二个表中的 取值、分别计算 D=yes/no的概率天气温度湿度有风打网球晴凉是?模型： E=ECE2CE3CEa统计结果对下面的情况做出决策:天气温度湿度有风打网球晴凉髙是?P(D I E)=P(DE)P(E)P(E I D)P(D)P(E)Pyes IE)=P(DE)P(E)P(

15、ED)P(D)P(yes I E)=2 3 3 3 9xxxX9 9 9 9 14P(E)0.0053P(E)天气El温度E2湿度E3有风E4打网球DPNPNPNPNPN晴2/93/5热2/92/5高3/94/5否6/92/59/145/14云4/90/5暖4/92/5正常6/91/5是3/93/5雨3/92/5凉3/91/5P( E, n E2 n E? c E41 yes)P(yes)P(E)PE I yes)PE21 yes)PE, I yes)PEA I yesPyes)P(E)2 3 3 39已经计算出：9 X9X9X9XH = 0.0053P(E)P(E)3 14 35同理可计算：

16、P(WOIE)=5X5X5X5X14 =0.0206P(E)P(E)利用公式：P(yes 1 E) + Pno 1E) = 1最后得到：Pyes IE) = 20.5% P(no IE) = 79.5%决策:Pyes IE) < P(no IE) 不去打球天气E1温度E2湿度E3有风E4打网球DPNPNNPNPN晴2/93/5热2/92/5高3/95/5否6/92/59/145/14云4/90/5暖4/92/5正常6/90/5是3/93/5雨3/92/5凉3/91/5对下面的情况做出决策:天气温度湿度有风打网球云凉正常是?利用朴素贝叶斯对文档分类为了对文档进行分类，首先我们需要把文档进行

17、向 量化，而组成这个向量的分量，通常是一个文档集 合中重要的关键词。Bag of words,也叫做“词袋”,在信息检索中， Bag of words model假定对于一个文本，忽略其词序 和语法，句法，将其仅仅看做是一个词集合，或者 说是词的一个组合，文本中每个词的岀现都是独立 的，不依赖于其他词是否岀现，或者说当这篇文章 的作者在任意一个位置选择一个词汇都不受前面句 子的影响而独立选择的。将多个文档转换成一个词袋矩阵后，即可通过朴素 贝叶斯方法对文档进行分类。扩展：使用0,1方式表达的词袋模型虽然简单，但 它并不能表达出不同词语的重要性，因此在 信息检索领域，TF-IDF模型更常用。TF

18、（定义）关键词在该文档中出现的次数除以该文档的总字数。 我们把这个商称为“关键词的频率”，或者单文本 词频term frequency, TF）对关键词的次数进行归一化，以防止它偏向长的文 件。（同一个词语在长文件里可能会比短文件有更高 的词频，而不管该词语重要与否。）TF （举例）短语“原子能的应用”可以分成三个关键词：原子 能、的、应用 在某个一共有J000词的文档中，其中"原子能”、“的”和“应用”分别出现了2次、35次和5次,那 么它们的词频就分别是0.002、0.035和0.005。我们 将这三个数相加，其和0.042就是相应文档和查询“原子能的应用”的"单文本词

19、频”TF（概括），度量文档和查询的相关性，有一个简单的方就是直接使用各个关键词在文档中岀现的总词具体地讲，如果一个查询包含N个关键词W7, %，w”，它们在一个特定文档中的词频分别 是：TF,TF2，.,TFn。那么，这个查询和该文档 的相关性就:TF.+TF2+. . . +TFno由上例可知:词"的”占了总词频的80%以上，而它对确定文档的主题 几乎没有用处这种词叫“停止词”，也就是说，在度量相关性时不应考虑它 们的频率忽略这些停止词后，上述文档和查询的相关性就变成了0.007,其中“原子能”贡献了0.002,0.005“应用”贡献了在汉语中，“应用”是个很通用的词，而'

20、'原子能”是 个很专业的词，后者在相关性排名中比前者重要。因此, 我们需要给汉语中的每一个词给一个权重。权重（设定条件）这个权重的设定必须满足下面两个条件：一个词预测主题的能力越强，权重就越大，反之, 权重就越小。在文档中看到“原子能”这个词， 或多或少地能了解文档的主题。而看到“应用” 一词，则对主题基本上还是一无所知。因此，“原子能“的权重就应该比“应用”大 停止词的权重应该是零。权重（概括）很容易发现，如果一个关键词只在很少的文档中出 现，通过它就容易锁定搜索目标，它的权重也就应 该大。反之，如果一个词在大量文档中出现，看到 它仍然不很清楚要找什么内容，因此它的权重就应 该小概括地讲，假定一个关键词W在Dw个文档中出现过, 那么0”越大，W的权重越小，反之亦然IDF（逆向文件频率）A在言息检索中，使用最多的权重是"逆齐本频率 指数"（Inverse document frequency 缩写为ZDF）, 它的公式为bg（D/Dw）其中。是全部文档数。A比如，假定中文文档数是D二10亿，停止词“的” 在所有的文档中都出现，即Dw二10亿，那么它的 IDF=log （70亿/"亿）=log =0A假如专用词“原子能”在200万个文档中岀现，即 Dv =200万，则它的权重IDF=log （50