贝叶斯公式算法

1、第七节第七节 贝叶斯公式贝叶斯公式 全概率公式和贝叶斯公式主要用于全概率公式和贝叶斯公式主要用于计算比较复杂事件的概率计算比较复杂事件的概率, 它们实质上它们实质上是加法公式和乘法公式的综合运用是加法公式和乘法公式的综合运用. 综合运用综合运用加法公式加法公式P(A+B)=P(A)+P(B)A、B互斥互斥乘法公式乘法公式P(AB)= P(A)P(B|A)P(A)0例例1 有三个箱子，分别编号为有三个箱子，分别编号为1,2,3，1号箱装号箱装有有1个红球个红球4个白球，个白球，2号箱装有号箱装有2红红3白球，白球，3号箱装有号箱装有3红球红球. 某人从三箱中任取一箱，从某人从三箱中任取一箱，从中

2、任意摸出一球，求取得红球的概率中任意摸出一球，求取得红球的概率.解：记解：记 Ai=球取自球取自i号箱号箱, i=1,2,3; B =取得红球取得红球即即 B= A1B+A2B+A3B， 且且 A1B、A2B、A3B两两互斥两两互斥B发生总是伴随着发生总是伴随着A1，A2，A3 之一同时发生，之一同时发生，P(B)=P( A1B)+P(A2B)+P(A3B)运用加法公式得123将此例中所用的方法推广到一般的情形，就将此例中所用的方法推广到一般的情形，就得到在概率计算中常用的得到在概率计算中常用的全概率公式全概率公式.对求和中的每一项运用乘法公式得P(B)=P( A1B)+P(A2B)+P(A3

3、B)31iiiABPAPBP)()()(代入数据计算得：代入数据计算得：P(B)=8/15 设设A1,A2,An是两两互斥的事件，且是两两互斥的事件，且P(Ai)0， i =1,2,n, 另有一事件另有一事件B, 它总是与它总是与A1, A2, ,An之一同时发生，则之一同时发生，则 niiiABPAPBP1)()()(全概率公式全概率公式: 设设S为随机试验的样本空间，为随机试验的样本空间，A1,A2,An是是两两互斥的事件，且有两两互斥的事件，且有P(Ai)0，i =1,2,n, niiiABPAPBP1)()()(全概率公式全概率公式:称满足上述条件的称满足上述条件的A1,A2,An为为

4、完备事件组完备事件组.,1SAnii则对任一事件则对任一事件B，有，有在一些教科书中，常将全概率公式叙述为：在一些教科书中，常将全概率公式叙述为：在较复杂情况下直接计算在较复杂情况下直接计算P(B)不易不易,但但B总是总是伴随着某个伴随着某个Ai出现，适当地去构造这一组出现，适当地去构造这一组Ai往往可以简化计算往往可以简化计算.niiiABPAPBP1)()()(全概率公式的来由全概率公式的来由, 不难由上式看出不难由上式看出:“全全”部概率部概率P(B)被分解成了许多部分之和被分解成了许多部分之和.它的理论和实用意义在于它的理论和实用意义在于: 某一事件某一事件B的发生有各种可能的原因的发

5、生有各种可能的原因(i=1,2,n)，如果，如果B是由原因是由原因Ai所引起，则所引起，则B发生的概率是发生的概率是 每一原因都可能导致每一原因都可能导致B发生，故发生，故B发生的概率是各原因引起发生的概率是各原因引起B发生概发生概率的总和，即率的总和，即全概率公式全概率公式.P(BAi)=P(Ai)P(B |Ai)全概率公式全概率公式.我们还可以从另一个角度去理解我们还可以从另一个角度去理解 由此可以形象地把全概率公式看成为由此可以形象地把全概率公式看成为“由原因推结果由原因推结果”，每个原因对结果的发，每个原因对结果的发生有一定的生有一定的“作用作用”，即结果发生的可能，即结果发生的可能性

6、与各种原因的性与各种原因的“作用作用”大小有关大小有关. 全概全概率公式表达了它们之间的关系率公式表达了它们之间的关系 .A1A2A3A4A5A6A7A8B诸诸Ai是原因是原因B是结果是结果 例3：某地成年人体重某地成年人体重肥胖者肥胖者(A1)占占0.1，中等，中等者者(A2)占占0.82，瘦小者，瘦小者(A3)占占0.08，又肥胖者、，又肥胖者、中等者、瘦小者患高血压病的概率分别为中等者、瘦小者患高血压病的概率分别为0.2，0.1，0.05.求该地成年人患高血压的概率。求该地成年人患高血压的概率。 解：令解：令B某人患高血压（显然某人患高血压（显然B 是一复杂事件），是一复杂事件），A某人

7、体重的特征某人体重的特征（、），显然它们构成（、），显然它们构成 一完备事件组，且事件一完备事件组，且事件B只能与其中之一事只能与其中之一事 件同时发生。故用全概率公式计算。件同时发生。故用全概率公式计算。P(B)=0.10.2+0.820.1+0.080.05=0.106P(B)= P( A1) P(B|A1)+ P( A2) P(B|A2)+ P( A3) P(B|A3)该球取自哪号箱的可能该球取自哪号箱的可能性最大性最大?实际中还有下面一类问题，是实际中还有下面一类问题，是“已知结果求原因已知结果求原因” 这一类问题在实际中更为常见，它所求这一类问题在实际中更为常见，它所求的是条件概率，

8、是已知某结果发生条件下，的是条件概率，是已知某结果发生条件下，求各原因发生可能性大小求各原因发生可能性大小. 某人从任一箱中任意某人从任一箱中任意摸出一球，摸出一球，发现是红球发现是红球,求求该球是取自该球是取自1号箱的概率号箱的概率.1231红红4白白或者问或者问:njjjiiiABPAPABPAPBAP1)()()()()|( 该公式于该公式于1763年由贝叶斯年由贝叶斯(Bayes)给出给出. 它它是在观察到事件是在观察到事件B已发生的条件下，寻找导已发生的条件下，寻找导致致B发生的每个原因的概率发生的每个原因的概率.贝叶斯公式贝叶斯公式： 设设A1,A2,An是两两互斥的事件，且是两两

9、互斥的事件，且P(Ai)0，i=1,2,n, 另有一事件另有一事件B，它总是与，它总是与A1,A2,An 之一同时发生，则之一同时发生，则 ni, 21 直观地将直观地将Ai 看成是导致随机事件看成是导致随机事件B发生的各发生的各种可能的原因，则种可能的原因，则P(Ai)可以理解为随机事件可以理解为随机事件Ai发生的发生的先验概率先验概率(a priori probability).如果如果我们知道随机事件我们知道随机事件B发生这个新信息，则它可发生这个新信息，则它可以用于对事件以用于对事件Ai发生的概率进行重新的估计发生的概率进行重新的估计.事件事件P(Ai|B)就是知道了新信息就是知道了新

10、信息“A发生发生”后对后对于概率的重新认识，称为随机事件于概率的重新认识，称为随机事件Ai的的后验概后验概率率(a posteriori probability).njjjiiiABPAPABPAPBAP1)()()()()|(贝叶斯公式贝叶斯公式： 贝叶斯公式在实际中有很多应用，它贝叶斯公式在实际中有很多应用，它可以帮助人们确定某结果（事件可以帮助人们确定某结果（事件 B）发生）发生的最可能原因的最可能原因. “Thomas Bayes，一位伟，一位伟大的数学大师，他的理论照大的数学大师，他的理论照亮了今天的计算领域，和他亮了今天的计算领域，和他的同事们不同：他认为上帝的同事们不同：他认为上

11、帝的存在可以通过方程式证明，的存在可以通过方程式证明，他最重要的作品被别人发行，他最重要的作品被别人发行，而他已经去世而他已经去世241年年 了了”。 例例 1 一个有一个有5个选择的考题，其中只有一个个选择的考题，其中只有一个选择正确的选择正确的.假定应考人知道正确答案的概假定应考人知道正确答案的概率为率为p.如果他最后选对了，问他确实知道答如果他最后选对了，问他确实知道答案的概率是多少案的概率是多少?求解如下求解如下:设设 A=知道答案知道答案，B=选则正确选则正确，由题意可知：，由题意可知：1(|),(|)1,()( )5P B AP B AP ABP Ap由全概率公式由全概率公式:(

12、)(|) ( )(|) ( )P BP B A P AP B A P A141(1)55ppp得到得到:()5(|)( )41P ABpP A BP Bp例如，若例如，若12p则则5(|)6P A B 这说明老师们依据试卷成绩来衡量学这说明老师们依据试卷成绩来衡量学生平时的学习状况还是有科学依据的生平时的学习状况还是有科学依据的. 例例 2 某一地区患有癌症的人占某一地区患有癌症的人占0.005，患者，患者对一种试验反应是阳性的概率为对一种试验反应是阳性的概率为0.95，正常，正常人对这种试验反应是阳性的概率为人对这种试验反应是阳性的概率为0.04，现，现抽查了一个人，试验反应是阳性，问此人是

13、抽查了一个人，试验反应是阳性，问此人是癌症患者的概率有多大癌症患者的概率有多大?则则 表示表示“抽查的人不患癌症抽查的人不患癌症”. CCC已知已知 P(C)=0.005,P( )=0.995, P(A|C)=0.95, P(A| )=0.04求解如下求解如下:设设 C=抽查的人患有癌症抽查的人患有癌症， A=试验结果是阳性试验结果是阳性， 求求P(C|A).现在来分析一下结果的意义现在来分析一下结果的意义.由由贝叶斯公式贝叶斯公式，可得，可得 )|()()|()()|()()|(CAPCPCAPCPCAPCPACP代入数据计算得代入数据计算得: P(CA)= 0.1066 2. 检出阳性是否

14、一定患有癌症检出阳性是否一定患有癌症? 1. 这种试验对于诊断一个人是否患有癌症这种试验对于诊断一个人是否患有癌症 有无意义？有无意义？如果不做试验如果不做试验,抽查一人抽查一人,他是患者的概率他是患者的概率 P(C)=0.005 患者阳性反应的概率是患者阳性反应的概率是0.95，若试验后得阳性，若试验后得阳性反应，则根据试验得来的信息，此人是患者的反应，则根据试验得来的信息，此人是患者的概率为概率为 P(CA)= 0.1066 说明这种试验对于诊断一个人是否患说明这种试验对于诊断一个人是否患有癌症有意义有癌症有意义.从从0.005增加到增加到0.1066,将近增加约将近增加约21倍倍.1.

15、这种试验对于诊断一个人是否患有癌症这种试验对于诊断一个人是否患有癌症 有无意义？有无意义？2. 检出阳性是否一定患有癌症检出阳性是否一定患有癌症? 试验结果为阳性试验结果为阳性,此人确患癌症的概率为此人确患癌症的概率为 P(CA)=0.1066 即使你检出阳性，尚可不必过早下结论即使你检出阳性，尚可不必过早下结论你有癌症，这种可能性只有你有癌症，这种可能性只有10.66% (平均来平均来说，说，1000个人中大约只有个人中大约只有107人确患癌症人确患癌症)，此时医生常要通过再试验来确认此时医生常要通过再试验来确认. 例3：某地成年人体重某地成年人体重肥胖者肥胖者(A1)占占0.1，中等，中等

16、者者(A2)占占0.82，瘦小者，瘦小者(A3)占占0.08，又肥胖者、，又肥胖者、中等者、瘦小者患高血压病的概率分别为中等者、瘦小者患高血压病的概率分别为0.2，0.1，0.05. 若已知某人患高血压病，他最可能若已知某人患高血压病，他最可能属于哪种体型属于哪种体型。 解：令解：令B某人患高血压（显然某人患高血压（显然B 是一复杂事件），是一复杂事件），A某人体重的特征某人体重的特征（、），显然它们构成（、），显然它们构成 一完备事件组，且事件一完备事件组，且事件B只能与其中之一事只能与其中之一事 件同时发生。故用全概率公式计算。件同时发生。故用全概率公式计算。P(B)=0.10.2+0.8

17、20.1+0.080.05=0.106P(B)= P( A1) P(B|A1)+ P( A2) P(B|A2)+ P( A3) P(B|A3)111232333() (/)0.1 0.2(/)0.189( )0.106() (/)0.82 0.1(/)0.774( )0.106() (/)0.08 0.05(/)0.038( )0.106P A P B AP ABP BP A P B AP ABP BP A P B AP ABP B这一讲我们介绍了这一讲我们介绍了贝叶斯公式贝叶斯公式值得一提的是，后来的学者依据贝叶斯公值得一提的是，后来的学者依据贝叶斯公式的思想发展了一整套统计推断方法，叫式的

18、思想发展了一整套统计推断方法，叫作作“贝叶斯统计贝叶斯统计”. 可见贝叶斯公式的影可见贝叶斯公式的影响响 .定义：定义：在相同条件下进行在相同条件下进行次重复试验次重复试验，如果各次试验结果的出现互不影响如果各次试验结果的出现互不影响(独立独立)，则，则称这种试验为称这种试验为重独立重复试验。重独立重复试验。(2), ( ), ( )1nAAP Ap P Anpq (1)试验在相同条件下独立重复地进行 次；每次试验只有两个可能结果在独立重复试验中，它具有如下特征：这， 和重贝类试努且验称为里概型.( )(1),0,1,:2,kkn knnP kC ppkAknn定理在 重贝努里试验中事件 恰好发生 次的概率为例：例：据报道，有的人对某药有据报道，有的人对某药有胃肠道反应。为考察某厂的产品质量，胃肠道反应。为考察某厂的产品质量，现选名患者服用此药，现选名患者服用此药，试求下列事件的概率。试求下列事件的概率。（）有人有反应；（）