全概率公式贝叶斯公式推导过程资料

全概率公式、贝叶斯公式推导过程资料

1、条件概率

所有贝叶斯统计的方法都基于贝叶斯定理，如果有条件概率

的学习基础，意识到这一点很自然。因此我们会从概率、条

件概率开始，然后到贝叶斯定理，最后讨论贝叶斯统计的内

容。

概率表示为0和1之间的数字（包括。和1）,含义是某一

事件或者预测行为的可信程度,1值表示“事件为真”的情形肯

定发生，或表述为预测成真；而0值则表示“事件为真”这一

情形为假。

其他中间值表示确定性的程度。例如，0.5通常也会写成50%,

意味着一个预测结果发生和不发生有同等可能性。例如，在

一个掷硬币事件中，人像面（正面）朝上的概率就非常接近

50%0

条件概率是带有某些（前提条件）背景约束下的概率问题。

例如，我想了解一下张三离职的可能性。根据人力资源部的

数据，每年离职率未5%o假设随机挑选一个人，那么其在

明年离职的概率大约是5%。

但就具体个例而言，“张三”可不是那个被随意选中的员工。

心理学家们已经明确了多种影响离职的风险因素，根据这些

因素张三的风险则有可能高于或低于平均值。

“张三”这个被选中的人，男，45岁，最近经常迟到，有与招

聘网站接触的行为，这些因素增加了张三离职的可能性；然

而，经常加班、工作更努力这些因素则降低了离职的可能性。

综合考虑上面这些条件，张三离职的风险约为60%,高

于公司平均水平。这个值就是一个条件概率，因为它是基于

一系列前提因素的，这些因素构成了张三离职的“条件”。

通常条件概率的记号是p(A|B)，表示在给定B条件下A事件

发生的概率。在这个例子中，A表示张三离职的概率，而B

表示了上面所罗列的条件。

2、联合概率

联合概率：是指两个事件同时发生的概率。p(A和B)

是A和B事件的发生都为真的概率。

p(A和B)=p(A)p(B)

提醒：表达式并非总是成立。

例如，如果我投掷两个硬币，A表示第一枚硬币正面朝

上,B表示第二枚硬币正面朝上，那么p(4)=p(B)=0.5,同样

的p(A和B尸p(A)p(B)=0.25。但是上面公式仅在A和B都是

独立事件的情况下才成立。即：已知A事件的结果并不影响

或改变B事件发生的概率。或更正式表示为，p(B|A)=p(B)。

再考虑另一个事件之间并不独立的例子。假设A表示张三离

职的事件，B表示张三浏览招聘网站等的事件。如果我已经

知道张三浏览招聘网站等的事件，则张三离职的事件概率会

增大(与仅仅单独考虑张三离职的概率相比较)，所以

p(B|A)>p(B)o

通常意义下，联合概率表述为p(AandB)=p(A)p(B|A)

对于任何A、B事件，如果任意一天下雨的机会是0.5，连续

两天就不会是0.25,而是可能更高一点。

3、贝叶斯定理的推导过程

P(AandB尸P(A)XP(B|A)(乘法定理)

者个公式指，事件A和事件B同时发生的概率，等于事

件A发生的概率乘以事件A发生的前提下事件B发生的概

率。这个公式就是贝叶斯定理的由来。

、P(AAB)

P^zA41\B)=—---

1、上图直观结论：尸(8)

2、等式两边交叉相乘：

P(AnB)=P(A|B)P(B)

3、替换联合概率等式

F(A|B)F(B)=P(B|A)P(A)

4、两边同时除以P(B)：0网

即：已知：P(AandB)=P(A)XP(B|A)P(BandA)=P(B)x

P(A|B)P(AandB)=P(BandA)

因此：P(B)xP(A|B)=P(A)xP(B|A)

两边同时除以P(B)后即得到贝叶斯定理，如下所示：

'17P(8)

我们可以这样理解贝叶斯定理：在只知道P(A|B)的情况下,

计算P(B|A)反之亦然:在只知道P(A)的情况下，计算P(A|B)。

又根据LawofTotalProbability:

P⑻=PQ1)*P(8⑷+P(8|A)*P(4)

注：尸(力)表示事件A不发生的概率

这个可以用probabilitytree来帮助理解一下：

因此，贝叶斯定理可以扩展为：

P(4)*P(B⑷

P(川B)=

P(A)*P(8⑷+P(8|A)*P(4)

我们还可以尝试从假设(hypothesis)和数据(data)的

角度看待贝叶斯定理。如果用D表示收集的数据，H表示你

的初始假设，贝叶斯定理可以被理解为求解P(H|D),即在给

定数据D的前提下，初始假设成立的概率，用公式表示为：

P(D|H)P(H)

P(H|D)=

~~P(D)~~

其中：

P(H)指在收集数据前假设发生的概率，称为先验概率；

P(H|D)是待求解的概率指在收集数据后假设发生的概率，

称为后验概率；P(D|H)是给定假设下，数据发生的概率，称

为似然度；P(D)指在任何假设下，数据发生的概率，称为标

准化常量。

这一思想已经离机器学习和预测分析不远了。在很多案

例中，当我们做预测分析时，指的正是根据已有数据预测未

来。用术语表示，假设H是待预测的结果，P(H|D)可以理解

为：在给定数据的前提下，假设H发生的概率是多少？

通常情况下，当我们需要依据数据和概率快速做出决策

时，贝叶斯定理就能派上用场。大部分推荐引擎，比如Netflix,

都或多或少地使用了贝叶斯定理。我们很容易就能想通其中

的道理。

在简化的场景中，假设Netflix只有10种类型影片可供

选择。如果没有任何用户数据，用户喜欢喜剧类型影片的概

率是l/10o

当用户给喜剧电影5星评价后(满分5星)，请问Netflix

猜测用户喜欢另一部喜剧电影的概率是多少？显然这个概

率将比随机猜测概率10%高。

4、巧克力和水果糖问题

通过一个被称为“巧克力和水果糖问题”的例子来理解贝叶斯

定理。

有两个一模一样的碗，1号碗里有30个巧克力和10个水果

糖，2号碗里有20个巧克力和20个水果糖。

2020

1号腕

然后把碗盖住。随机选择一个碗，从里面摸出一个巧克

力。问题：这颗巧克力来自1号碗的概率是多少？

这就是一个条件概率问题；我们希望得到概率p(碗1］巧克力)，

但怎样进行计算并非显而易见。问题如果换成在碗1中水果

糖的概率则简单得多。

p(水果糖I碗1)=3/4

不巧的是，p(A|B)并不和p(B|A)相同，但有方法从一个

计算出另一个：贝叶斯定理。

117P网

取出是巧克力后，

来自1号碗的的概率

(后验概率)

P(A1|B)=P(A1)

来自1号碗的概率

(先验解)

1)求先验概率由于两个碗是一样的，所以在得到新信

息(取出是巧克力之前)，这两个碗被选中的概率相同，因

此P(A1)=P(A2)=O.5,(其中A1表示来自1号碗,A2表示来自

2号碗)这个概率就是“先验概率”，即没有做实验之前，来自

一号碗、二号碗的概率都是0.5。

2)求可能性函数P(B|A1)/P(B)O其中,P(B|A1)表示从

一号碗中(A1)取出巧克力(B)的概率。因为1号碗里有30个

水果糖和10个巧克力，所以

P(B|A1)=3O/(3O+10)=75%

现在只有求出P(B)就可以得到答案。根据全概率公式，可以

求得P(B)如下图：

统计概率思4

从1号碗中

取到巧克力

的概率

30

30+10

P(B)=tP(B|A1)P(A1)+P(A2)

从2号碗中

取到巧克力

的概率

20

20+20

图中P(B|A1)是1号碗中巧克力的概率，我们根据前面

的已知条件，很容易求出。同样的，P(B|A2)是2号碗中巧克

力的概率，也很容易求出(图中已给出)。而P(Al)=P(A2)=0.5

将这些数值带入公式中就是小学生也可以算出来的事情了。

最后P(B)-62.5%

所以，可能性函数P(A1|B)/P(B)=75%/62.5%=1.2。可能

性函数＞1,表示新信息B对事情A1的可能性增强了。

3)代入贝叶斯公式求后验概率将上述计算结果，带入贝叶

斯定理，即可算出P(Al|B)=60%o

这个例子中我们需要关注的是约束条件：抓出的是巧克力。

如果没有这个约束条件在，来自一号碗这件事的概率就是50%

了,因为巧克力的分布不均把概率从50%提升到60%。

A来自1号碗B取出是巧克力

取出是巧克力后，

来自1号碗的的概率

（后验概率）

60%

t

P(A1|B)=P(A1)

来自1号碗的

（先验解）

50%

全概率公式贝叶斯公式

全概率公式和贝叶斯公式是概率论中的两个重要公式,

它们可以帮助我们在不完全信息的情况下，推断出一些事件

发生的概率。这些事件可能与生活、学习、工作等方面有关，

因此，了解这两个公式的含义和应用场景，对我们有很大的

帮助。

01.全概率公式

概念：

全概率公式是用来求一个事件发生的总概率的，它的基

本思想是：将一个复杂的事件分解为若干个互不相容且完备

的子事件，然后分别求出每个子事件发生的概率，再乘以该

子事件下复杂事件发生的条件概率，最后将所有结果相加,

就得到了复杂事件发生的总概率。全概率公式的一般形式如

下：

♦

P(4)=WP(W(他)

i=1

其中，A是要求的复杂事件，Bi是互不相容且完备的子

事件，也就是说，Bi中任意两个不会同时发生，而且它们中

至少有一个一定会发生。P(Bi)是子事件发生的概率,P(A|Bi)

是在子事件发生的条件下，复杂事件发生的条件概率。

举个例子：

假设你要去参加一场考试，你想知道你能否及格。这就

是一个复杂事件，因为你能否及格可能取决于很多因素，比

如你平时学习的情况、考试难度、考试时间等等。为了简化

问题，假设只有两个因素影响你能否及格：你平时学习的情

况和考试难度。

把你平时学习的情况分为三种：好、中、差；把考试难

度分为两种：高、低。

那么，可以把你能否及格这个复杂事件分解为六个互不

相容且完备的子事件：你平时学习好且考试难度高、你平时

学习好且考试难度低、你平时学习中等且考试难度高、你平

时学习中等且考试难度低、你平时学习差且考试难度高、你

平时学习差且考试难度低。

我们用A表示你能够及格这个复杂事件，用Bi表示第i

个子事件(i=l……6),那么根据全概率公式，我们可以得

到：

P(A)=P(瓦)P(川瓦)+P(B2)P(A\B2)+-+P(BJP(川久)

如果知道了每个子事件发生的概率和每个条件概率(比

如通过调查或者统计)，那么就可以计算出你能够及格这个

复杂事件发生的总概率了。

综上所述，全概率公式为我们提供了一个有效的工具,

用于处理复杂事件的概率计算问题。这个公式在实际问题中

具有广泛的应用，可以帮助我们计算复杂事件的概率，从而

做出合理的决策。它与贝叶斯公式之间又有什么样的关联与

区别呢？接下来，让我们一起了解贝叶斯公式吧。

02.贝叶斯公式

概念：

贝叶斯公式是用来求一个事件的条件概率的，它的基本

思想是：利用已知的结果，反推出原因的可能性。贝叶斯公

式可以看作是全概率公式的逆向应用，它的一般形式如下：

D/D"、—P(4B)P(BJ_PG4同)P(Bj)

5j-PG4)回)P⑸)

其中，A是已知的结果，Bi是可能的原因，P(Bi)是原因

发生的概率，也叫做先验概率，P(A|Bi)是在原因发生的条件

下，结果发生的条件概率，P(A)是结果发生的总概率，也可

以用全概率公式求出，P（B|Ai）是在结果已知的条件下，原因

发生的条件概率，也叫做后验概率。

举个例子：

假设你有一个朋友小明，他有时候会迟到。你想知道他

迟到的原因。你知道他迟到可能有三种原因：睡过头、堵车、

赖床。

你还知道他睡过头、堵车、赖床的概率分别是0.2、0.3、

0.5（这些就是先验概率）。

你还知道他在睡过头、堵车、赖床的情况下，迟到的概

率分别是0.8、0.6、0.4（这些就是条件概率）。

那么，如果你知道他今天迟到了（这就是已知的结果），

你可以用贝叶斯公式来求出他迟到的原因是睡过头、堵车、

赖床的概率分别是多少（这些就是后验概率）。

我们用A表示他迟到这个结果，用Bi表示第i个原因

（i=l,2,3）,那么根据贝叶斯公式，我们可以得到：

P⑷4)P(8i)0.8X0.2

P(Bi|4)=力0.296

PQ4)0.8X0.2+0.6X0.3+0.4X0.5