贝叶斯推断及其互联网应用(一)：定理简介.docx

作者：阮一峰日期：2011年8月25日一年前的这个时候，我正在翻译Paul Graham的黑客与画家。那本书的第八章，写了一个非常具体的技术问题-如何使用贝叶斯推断过滤垃圾邮件（英文版）。我没完全看懂那一章。当时是硬着头皮，按照字面意思把它译出来的。虽然译文质量还可以，但是心里很不舒服，下决心一定要搞懂它。一年过去了，我读了一些概率论文献，逐渐发现贝叶斯推断并不难。原理的部分相当容易理解，不需要用到高等数学。下面就是我的学习笔记。需要声明的是，我并不是这方面的专家，数学其实是我的弱项。欢迎大家提出宝贵意见，让我们共同学习和提高。=贝叶斯推断及其互联网应用作者：阮一峰一、什么是贝叶斯推断贝叶斯推断（Bayesian inference）是一种统计学方法，用来估计统计量的某种性质。它是贝叶斯定理（Bayes theorem）的应用。英国数学家托马斯贝叶斯（Thomas Bayes）在1763年发表的一篇论文中，首先提出了这个定理。贝叶斯推断与其他统计学推断方法截然不同。它建立在主观判断的基础上，也就是说，你可以不需要客观证据，先估计一个值，然后根据实际结果不断修正。正是因为它的主观性太强，曾经遭到许多统计学家的诟病。贝叶斯推断需要大量的计算，因此历史上很长一段时间，无法得到广泛应用。只有计算机诞生以后，它才获得真正的重视。人们发现，许多统计量是无法事先进行客观判断的，而互联网时代出现的大型数据集，再加上高速运算能力，为验证这些统计量提供了方便，也为应用贝叶斯推断创造了条件，它的威力正在日益显现。二、贝叶斯定理要理解贝叶斯推断，必须先理解贝叶斯定理。后者实际上就是计算条件概率的公式。所谓条件概率（Conditional probability），就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。根据文氏图，可以很清楚地看到在事件B发生的情况下，事件A发生的概率就是P(AB)除以P(B)。因此，同理可得，所以，即这就是条件概率的计算公式。三、全概率公式由于后面要用到，所以除了条件概率以外，这里还要推导全概率公式。假定样本空间S，是两个事件A与A的和。上图中，红色部分是事件A，绿色部分是事件A，它们共同构成了样本空间S。在这种情况下，事件B可以划分成两个部分。即在上一节的推导当中，我们已知所以，这就是全概率公式。它的含义是，如果A和A构成样本空间的一个划分，那么事件B的概率，就等于A和A的概率分别乘以B对这两个事件的条件概率之和。将这个公式代入上一节的条件概率公式，就得到了条件概率的另一种写法：四、贝叶斯推断的含义对条件概率公式进行变形，可以得到如下形式：我们把P(A)称为先验概率（Prior probability），即在B事件发生之前，我们对A事件概率的一个判断。P(A|B)称为后验概率（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。P(B|A)/P(B)称为可能性函数（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。所以，条件概率可以理解成下面的式子：后验概率先验概率 调整因子这就是贝叶斯推断的含义。我们先预估一个先验概率，然后加入实验结果，看这个实验到底是增强还是削弱了先验概率，由此得到更接近事实的后验概率。在这里，如果可能性函数P(B|A)/P(B)1，意味着先验概率被增强，事件A的发生的可能性变大；如果可能性函数=1，意味着B事件无助于判断事件A的可能性；如果可能性函数 P(A)如果对最初的信念坚信不疑，对新证据的准确性我有多大的信心？- P(B|A)如果对最初的信念摇摆不定，对新证据的准确性我有多大的信心？- P(B)Bayesian Inference:P(A|B)=P(A)*P(B|A)/P(B)该文揭示了公式中每一项的现实含义。谢谢分享，我一直在想公式里的每一项有什么直接朴素的内涵，这三个问题回答了我的疑问。2011年8月28日 23:54|档案|引用Chuan说：请问有什么即有趣，又实用的概率论方面的书吗？2011年8月29日 14:31|档案|引用Michael.Z说：越来越多的邮件采取图片和附件的方式发送垃圾邮件。这方面的鉴别方法又是如何的？2011年8月29日 16:43|档案|引用宁静致远说：在华尔街的高频交易系统，70%的股票交易由计算机算法完成，而算法并不总是很可靠。2010年5月算法曾引起股市在短时间内崩盘，它在20分钟内抛出了价值26亿美元的股票，导致其它高频交易算法跟随，引发金融市场混乱。这种算法的推广的结果是，下个5000天会产生60亿个相当于人脑一样复杂的机器在互联网上.2011年8月29日 17:04|档案|引用mw3000说：Bill:谢谢你的解释.2011年8月29日 19:54|档案|引用I believe I can fly说：不是很明白：P(S)=p(E1)/(P(E1)+P(E2)求解释2011年9月 1日 21:10|档案|引用Jin说：引用Bill的发言：整个过程讲的很清晰，谢谢阮大哥分享，不过，推导中有两个地方我不太明白：1. P(E1)=P(S|W1)*P(S|W2)*P(S) (why?)2. P=P(E1)/(P(E1)+P(E2) 像楼上Allen说的，直觉是P(E1)+P(E2)=1感觉推导跳过了几步：P(S|W1 W2) = P(W1 W2|S)P(S) / (P(W1 W2|S)P(S) + P(W1 W2|S)P(S)W1,W2独立：P(W1 W2) = P(W1)P(W2), P(W1 W2|S) = P(W1|S)P(W2|S) (？)上式 = P(W1|S)P(W2|S)P(S) / (P(W1|S)P(W2|S)P(S) + P(W1|S)P(W2|S)P(S)应用Bayesian 原理，将 P(Wi|S) 用 P(S|Wi) 表示：上式 = (P(S|W1)P(S|W2)P(S) * P(W1)P(W2) / P(S)2) / (P(S|W1)P(S|W2)P(S) * P(W1)P(W2) / P(S)2) + (P(S|W1)P(S|W2)P(S) * P(W1)P(W2) / P(S)2)在 P(S) = P(S) = 50% 的条件下：上式 = P(S|W1)P(S|W2) / (P(S|W1)P(S|W2) + P(S|W1)P(S|W2)= P1P2 / (P1P2 + (1-P1)(1-P2);2011年9月 7日 15:26|档案|引用fly说：根据 Jin 的方法，得到的结果是p(S|W1W2) = P(S)P1P2/(P(S)P1P2 + P(S)(1-P1)(1-P2)我觉得Jin是正确的。2011年9月16日 00:13|档案|引用ttldreams说：现在垃圾留言的干扰符号/文字/异形字越来越多，变种也很多，这种算法奏效吗2011年9月18日 18:08|档案|引用C楠R诺说：实在很佩服作者！您的文章给了我学习很大的帮助！非常感谢。2011年9月24日 19:29|档案|引用rrandom说：最近在看斯坦福的在线课程..对比着这篇文章.收获蛮大.2011年11月19日 21:12|档案|引用fafa说：学习了 不过后面的联合概率部分有点懵2011年11月30日 11:30|档案|引用liput说：非常感谢你的文章，看了受益匪浅！2012年2月15日 10:56|档案|引用Quady说：又由于在W1和W2已经发生的情况下，垃圾邮件的概率等于下面的式子：P=P(E1)/(P(E1)+P(E2)我来尝试解释一下，呵呵在上面已经说明了，E1是在W1和W2同时出现的情况下垃圾邮件的事件，E2是W1