贝叶斯公式算法

1、2021/3/111 第七节第七节 贝叶斯公式贝叶斯公式 2021/3/112 全概率公式和贝叶斯公式主要用于全概率公式和贝叶斯公式主要用于 计算比较复杂事件的概率计算比较复杂事件的概率, 它们实质上它们实质上 是加法公式和乘法公式的综合运用是加法公式和乘法公式的综合运用. 综合运用综合运用 加法公式加法公式 P(A+B)=P(A)+P(B) A、B互斥互斥 乘法公式乘法公式 P(AB)= P(A)P(B|A) P(A)0 2021/3/113 例例1 有三个箱子，分别编号为有三个箱子，分别编号为1,2,3，1号箱装号箱装 有有1个红球个红球4个白球，个白球，2号箱装有号箱装有2红红3白球，白

2、球，3 号箱装有号箱装有3红球红球. 某人从三箱中任取一箱，从某人从三箱中任取一箱，从 中任意摸出一球，求取得红球的概率中任意摸出一球，求取得红球的概率. 解：记解：记 Ai=球取自球取自i号箱号箱, i=1,2,3; B =取得红球取得红球 即即 B= A1B+A2B+A3B， 且且 A1B、A2B、A3B两两互斥两两互斥 B发生总是伴随着发生总是伴随着A1，A2，A3 之一同时发生，之一同时发生， P(B)=P( A1B)+P(A2B)+P(A3B) 运用加法公式得 123 2021/3/114 将此例中所用的方法推广到一般的情形，就将此例中所用的方法推广到一般的情形，就 得到在概率计算中

3、常用的得到在概率计算中常用的全概率公式全概率公式. 对求和中的每一项 运用乘法公式得 P(B)=P( A1B)+P(A2B)+P(A3B) 3 1i ii ABPAPBP)()()( 代入数据计算得：代入数据计算得：P(B)=8/15 2021/3/115 设设A 1,A2,An是两两互斥的事件，且 是两两互斥的事件，且 P(Ai)0， i =1,2,n, 另有一事件另有一事件B, 它总是与它总是与 A1, A2, ,An之一同时发生，则之一同时发生，则 n i ii ABPAPBP 1 )()()( 全概率公式全概率公式: 2021/3/116 设设S为随机试验的样本空间，为随机试验的样本空

4、间，A1,A2,An是是 两两互斥的事件，且有两两互斥的事件，且有P(Ai)0，i =1,2,n, n i ii ABPAPBP 1 )()()( 全概率公式全概率公式: 称满足上述条件的称满足上述条件的A1,A2,An为为完备事件组完备事件组. , 1 SA n i i 则对任一事件则对任一事件B，有，有 在一些教科书中，常将全概率公式叙述为：在一些教科书中，常将全概率公式叙述为： 2021/3/117 在较复杂情况下直接计算在较复杂情况下直接计算P(B)不易不易,但但B总是总是 伴随着某个伴随着某个Ai出现，适当地去构造这一组出现，适当地去构造这一组Ai 往往可以简化计算往往可以简化计算.

5、 n i ii ABPAPBP 1 )()()( 全概率公式的来由全概率公式的来由, 不难由上式看出不难由上式看出: “全全”部概率部概率P(B)被分解成了许多部分之和被分解成了许多部分之和. 它的理论和实用意义在于它的理论和实用意义在于: 2021/3/118 某一事件某一事件B的发生有各种可能的原因的发生有各种可能的原因 (i=1,2,n)，如果，如果B是由原因是由原因Ai所引起，则所引起，则 B发生的概率是发生的概率是 每一原因都可能导致每一原因都可能导致B发生，故发生，故 B发生的概率是各原因引起发生的概率是各原因引起B发生概发生概 率的总和，即率的总和，即全概率公式全概率公式. P(

6、BAi)=P(Ai)P(B |Ai) 全概率公式全概率公式.我们还可以从另一个角度去理解我们还可以从另一个角度去理解 2021/3/119 由此可以形象地把全概率公式看成为由此可以形象地把全概率公式看成为 “由原因推结果由原因推结果”，每个原因对结果的发，每个原因对结果的发 生有一定的生有一定的“作用作用”，即结果发生的可能，即结果发生的可能 性与各种原因的性与各种原因的“作用作用”大小有关大小有关. 全概全概 率公式表达了它们之间的关系率公式表达了它们之间的关系 . A1 A2 A3 A4 A5 A6 A7 A8 B 诸诸Ai是原因是原因 B是结果是结果 2021/3/1110 例3：某地成

7、年人体重某地成年人体重肥胖者肥胖者(A1)占占0.1，中等，中等 者者(A2)占占0.82，瘦小者，瘦小者(A3)占占0.08，又肥胖者、，又肥胖者、 中等者、瘦小者患高血压病的概率分别为中等者、瘦小者患高血压病的概率分别为0.2， 0.1，0.05.求该地成年人患高血压的概率。求该地成年人患高血压的概率。 2021/3/1111 解：令解：令B某人患高血压（显然某人患高血压（显然B 是一复杂事件），是一复杂事件），A 某人体重的特征 某人体重的特征 （、），显然它们构成（、），显然它们构成 一完备事件组，且事件一完备事件组，且事件B只能与其中之一事只能与其中之一事 件同时发生。故用全概率公式

8、计算。件同时发生。故用全概率公式计算。 P(B)=0.10.2+0.820.1+0.080.05=0.106 P(B)= P( A1) P(B|A1)+ P( A2) P(B|A2)+ P( A3) P(B|A3) 2021/3/1112 该球取自哪号箱的可能该球取自哪号箱的可能 性最大性最大? 实际中还有下面一类问题，是实际中还有下面一类问题，是 “已知结果求原因已知结果求原因” 这一类问题在实际中更为常见，它所求这一类问题在实际中更为常见，它所求 的是条件概率，是已知某结果发生条件下，的是条件概率，是已知某结果发生条件下， 求各原因发生可能性大小求各原因发生可能性大小. 某人从任一箱中任意

9、某人从任一箱中任意 摸出一球，摸出一球，发现是红球发现是红球,求求 该球是取自该球是取自1号箱的概率号箱的概率. 123 1红红4白白 或者问或者问: 2021/3/1113 n j jjiii ABPAPABPAPBAP 1 )()()()()|( 该公式于该公式于1763年由贝叶斯年由贝叶斯(Bayes)给出给出. 它它 是在观察到事件是在观察到事件B已发生的条件下，寻找导已发生的条件下，寻找导 致致B发生的每个原因的概率发生的每个原因的概率. 贝叶斯公式贝叶斯公式： 设设A 1,A2,An是两两互斥的事件，且 是两两互斥的事件，且 P(Ai)0，i=1,2,n, 另有一事件另有一事件B，

10、它总是与，它总是与 A1,A2,An 之一同时发生，则之一同时发生，则 ni, 21 2021/3/1114 直观地将直观地将Ai 看成是导致随机事件看成是导致随机事件B发生的各发生的各 种可能的原因，则种可能的原因，则P(Ai)可以理解为随机事件可以理解为随机事件 Ai发生的发生的先验概率先验概率(a priori probability).如果如果 我们知道随机事件我们知道随机事件B发生这个新信息，则它可发生这个新信息，则它可 以用于对事件以用于对事件Ai发生的概率进行重新的估计发生的概率进行重新的估计. 事件事件P(Ai|B)就是知道了新信息就是知道了新信息“A发生发生”后对后对 于概率

11、的重新认识，称为随机事件于概率的重新认识，称为随机事件Ai的的后验概后验概 率率(a posteriori probability). n j jjiii ABPAPABPAPBAP 1 )()()()()|( 贝叶斯公式贝叶斯公式： 2021/3/1115 贝叶斯公式在实际中有很多应用，它贝叶斯公式在实际中有很多应用，它 可以帮助人们确定某结果（事件可以帮助人们确定某结果（事件 B）发生）发生 的最可能原因的最可能原因. “Thomas Bayes，一位伟，一位伟 大的数学大师，他的理论照大的数学大师，他的理论照 亮了今天的计算领域，和他亮了今天的计算领域，和他 的同事们不同：他认为上帝的同

12、事们不同：他认为上帝 的存在可以通过方程式证明，的存在可以通过方程式证明， 他最重要的作品被别人发行，他最重要的作品被别人发行， 而他已经去世而他已经去世241年年 了了”。 2021/3/1116 例例 1 一个有一个有5个选择的考题，其中只有一个个选择的考题，其中只有一个 选择正确的选择正确的.假定应考人知道正确答案的概假定应考人知道正确答案的概 率为率为p.如果他最后选对了，问他确实知道答如果他最后选对了，问他确实知道答 案的概率是多少案的概率是多少? 求解如下求解如下: 设设 A=知道答案知道答案， B=选则正确选则正确，由题意可知：，由题意可知： 1 (|),(|)1,()( ) 5

13、 P B AP B AP ABP Ap 由全概率公式由全概率公式: ( )(|) ( )(|) ( )P BP B A P AP B A P A 141 (1) 55 p pp 2021/3/1117 得到得到: ()5 (|) ( )41 P ABp P A B P Bp 例如，若例如，若 1 2 p 则则 5 (|) 6 P A B 这说明老师们依据试卷成绩来衡量学这说明老师们依据试卷成绩来衡量学 生平时的学习状况还是有科学依据的生平时的学习状况还是有科学依据的. 2021/3/1118 例例 2 某一地区患有癌症的人占某一地区患有癌症的人占0.005，患者，患者 对一种试验反应是阳性的概

14、率为对一种试验反应是阳性的概率为0.95，正常，正常 人对这种试验反应是阳性的概率为人对这种试验反应是阳性的概率为0.04，现，现 抽查了一个人，试验反应是阳性，问此人是抽查了一个人，试验反应是阳性，问此人是 癌症患者的概率有多大癌症患者的概率有多大? 则则 表示表示“抽查的人不患癌症抽查的人不患癌症”. C C C 已知已知 P(C)=0.005,P( )=0.995, P(A|C)=0.95, P(A| )=0.04 求解如下求解如下:设设 C=抽查的人患有癌症抽查的人患有癌症， A=试验结果是阳性试验结果是阳性， 求求P(C|A). 2021/3/1119 现在来分析一下结果的意义现在来

15、分析一下结果的意义. 由由贝叶斯公式贝叶斯公式，可得，可得 )|()()|()( )|()( )|( CAPCPCAPCP CAPCP ACP 代入数据计算得代入数据计算得: P(CA)= 0.1066 2. 检出阳性是否一定患有癌症检出阳性是否一定患有癌症? 1. 这种试验对于诊断一个人是否患有癌症这种试验对于诊断一个人是否患有癌症 有无意义？有无意义？ 2021/3/1120 如果不做试验如果不做试验,抽查一人抽查一人,他是患者的概率他是患者的概率 P(C)=0.005 患者阳性反应的概率是患者阳性反应的概率是0.95，若试验后得阳性，若试验后得阳性 反应，则根据试验得来的信息，此人是患者

16、的反应，则根据试验得来的信息，此人是患者的 概率为概率为 P(CA)= 0.1066 说明这种试验对于诊断一个人是否患说明这种试验对于诊断一个人是否患 有癌症有意义有癌症有意义. 从从0.005增加到增加到0.1066,将近增加约将近增加约21倍倍. 1. 这种试验对于诊断一个人是否患有癌症这种试验对于诊断一个人是否患有癌症 有无意义？有无意义？ 2021/3/1121 2. 检出阳性是否一定患有癌症检出阳性是否一定患有癌症? 试验结果为阳性试验结果为阳性,此人确患癌症的概率为此人确患癌症的概率为 P(CA)=0.1066 即使你检出阳性，尚可不必过早下结论即使你检出阳性，尚可不必过早下结论

17、你有癌症，这种可能性只有你有癌症，这种可能性只有10.66% (平均来平均来 说，说，1000个人中大约只有个人中大约只有107人确患癌症人确患癌症)， 此时医生常要通过再试验来确认此时医生常要通过再试验来确认. 2021/3/1122 例3：某地成年人体重某地成年人体重肥胖者肥胖者(A1)占占0.1，中等，中等 者者(A2)占占0.82，瘦小者，瘦小者(A3)占占0.08，又肥胖者、，又肥胖者、 中等者、瘦小者患高血压病的概率分别为中等者、瘦小者患高血压病的概率分别为0.2， 0.1，0.05. 若已知某人患高血压病，他最可能若已知某人患高血压病，他最可能 属于哪种体型属于哪种体型。 202

18、1/3/1123 解：令解：令B某人患高血压（显然某人患高血压（显然B 是一复杂事件），是一复杂事件），A 某人体重的特征 某人体重的特征 （、），显然它们构成（、），显然它们构成 一完备事件组，且事件一完备事件组，且事件B只能与其中之一事只能与其中之一事 件同时发生。故用全概率公式计算。件同时发生。故用全概率公式计算。 P(B)=0.10.2+0.820.1+0.080.05=0.106 P(B)= P( A1) P(B|A1)+ P( A2) P(B|A2)+ P( A3) P(B|A3) 2021/3/1124 11 1 23 2 33 3 () (/)0.1 0.2 (/)0.189

19、( )0.106 () (/)0.82 0.1 (/)0.774 ( )0.106 () (/)0.08 0.05 (/)0.038 ( )0.106 P A P B A P AB P B P A P B A P AB P B P A P B A P AB P B 2021/3/1125 这一讲我们介绍了这一讲我们介绍了 贝叶斯公式贝叶斯公式 值得一提的是，后来的学者依据贝叶斯公值得一提的是，后来的学者依据贝叶斯公 式的思想发展了一整套统计推断方法，叫式的思想发展了一整套统计推断方法，叫 作作“贝叶斯统计贝叶斯统计”. 可见贝叶斯公式的影可见贝叶斯公式的影 响响 . 2021/3/1126 定义：定义：在相同条件下进行在相同条件下进行次重复试验次重复试验， 如果各次试验结果的出现互不影响如果各次试验结果的出现互不影响(独立独立)，则，则 称这种试验为称这种试验为重独立重复试验。重独立重复试验。 (2), ( ),( )1 n AA P Ap P A n pq (1)试验在相同条件下独立重