贝叶斯推断课件

1、-14-贝叶斯推断1 贝叶斯判别和推断袁克虹-14-贝叶斯推断21. 笔试：笔试：4月月14日日 随堂考试随堂考试2. 大作业：大作业：4.13日全部交完；日全部交完； 考试安排考试安排-14-贝叶斯推断31. 贝叶斯推断方法贝叶斯推断方法2. 贝叶斯决策方法贝叶斯决策方法 贝叶斯估计贝叶斯估计-14-贝叶斯推断412001212,1, ,1,2, ;2,.nijnnEB BBEB Bi jnBBBB BB 定义设为试验 的样本空间为的一组事件 若则称为样本空间的一个划分1. 样本空间的划分样本空间的划分1B2B3BnB1nB二、全概率公式二、全概率公式-14-贝叶斯推断52. 全概率公全概率

2、公式式全概率公式全概率公式1211221,()0(1,2, ),( )(|) ()(|) ()(|) ()( ) (|)ninnniiEAEB BBP BinP AP A B P BP A B P BP A BP BP B P A B定义 设为试验 的样本空间为 的事件为的一个划分 且则全概率公式全概率公式-14-贝叶斯推断6全概率公式的主要用途在于它可以将一个复杂事全概率公式的主要用途在于它可以将一个复杂事件的概率计算问题件的概率计算问题,分解为若干个简单事件的概率分解为若干个简单事件的概率计算问题计算问题,最后应用概率的最后应用概率的可加性可加性求出最终结果求出最终结果.A1B2B3B1n

3、BnB说明说明-14-贝叶斯推断7有一批同一型号的产品有一批同一型号的产品,已知其中由一厂生产的占已知其中由一厂生产的占 30% , 二厂生产的占二厂生产的占 50% , 三厂生产的占三厂生产的占 20%, 又又知这三个厂的产品次品率分别为知这三个厂的产品次品率分别为2% , 1%, 1%,问从问从这批产品中任取一件是次品的概率是多少这批产品中任取一件是次品的概率是多少?设事件设事件 A 为为“任取一件为次品任取一件为次品”,. 3 , 2 , 1, iiBi厂的产品厂的产品任取一件为任取一件为为为事件事件123,BBB 解解. 3 , 2 , 1, jiBBji例例1-14-贝叶斯推断8由全

4、概率公式得由全概率公式得, 2 . 0)(, 5 . 0)(, 3 . 0)(321 BPBPBP112233( )() ()() ()() ().P AP B P ABP B P ABP B P AB.013. 02 . 001. 05 . 001. 03 . 002. 0 ,01. 0)(,01. 0)(,02. 0)(321 BAPBAPBAP112233( )() ()() ()() ()P AP B P ABP B P ABP B P AB故故30%20%50%2%1%1%AB1B2B3-14-贝叶斯推断9称此为称此为贝叶斯公式贝叶斯公式. 3. 贝叶斯公式贝叶斯公式121,( )0

5、,()0(1,2, ),(/) ()(|),1,2, .(|) ()niiiinjjjEAEB BBP AP BinP A B P BP BAinP A BP B定义设为试验 的样本空间为 的事件为的一个划分 且则贝叶斯公式贝叶斯公式-14-贝叶斯推断10Bayes公式的意义公式的意义 Bayes公式，其意义是：假设导致事公式，其意义是：假设导致事件件A发生的发生的“原因原因”有有Bi(i=1,2,n)个。个。它们互不相容。它们互不相容。 现已知事件现已知事件A确已经发生确已经发生了，若要估计了，若要估计它是由它是由“原因原因”Bi所导致的概率，则所导致的概率，则可用可用Bayes公式求出公式

6、求出.即可即可从结果分析从结果分析原因原因.-14-贝叶斯推断11例例2 2 贝叶斯公式的应用贝叶斯公式的应用.:10.020.1520.010.8030.030.05,.某电子设备制造厂所用的元件是由三家元件制造厂提供的根据以往的记录有以下的数据元件制造厂次品率提供元件的份额设这三家工厂的产品在仓库中是均匀混合的 且无区别的标志-14-贝叶斯推断12,.在仓库中随机地取一只元件 若已知取到的是次品 为分析此次品出自何厂 求此次品出由三家工厂生产的概率分别是多少解解,取取到到的的是是一一只只次次品品表表示示设设 A.家工厂提供的家工厂提供的所取到的产品是由第所取到的产品是由第表示表示i)3 ,

7、 2 , 1( iBi,的的一一个个划划分分是是样样本本空空间间则则321BBB,05. 0)(,80. 0)(,15. 0)(321 BPBPBP且且-14-贝叶斯推断13.03. 0)(,01. 0)(,02. 0)(321 BAPBAPBAP(1) 由由全概率公式得全概率公式得)()()()()()()(332211BPBAPBPBAPBPBAPAP .0125. 0 (2) 由由贝叶斯公式得贝叶斯公式得)()()()(111APBPBAPABP 0125. 015. 002. 0 .24. 0 -14-贝叶斯推断14,64. 0)()()()(222 APBPBAPABP.12. 0)

8、()()()(333 APBPBAPABP.2 家家工工厂厂的的可可能能性性最最大大故故这这只只次次品品来来自自第第-14-贝叶斯推断15贝叶斯决策的概念和步骤贝叶斯决策的概念和步骤 概念：利用贝叶斯定理求得后验概率，据以进行决策的方法，称为贝叶斯决策方法。 先验概率的概念：根据历史资料或主观判断，未经实验证实所确定的概率。-14-贝叶斯推断16 已具备先验概率的情况下，贝叶斯已具备先验概率的情况下，贝叶斯决策过程的步骤为：决策过程的步骤为： （1）进行预后验分析，决定是否值得搜集补充资料以及从补充资料可能得到的结果和如何决定最优对策。 （2）搜集补充资料，取得条件概率，包括历史概率和逻辑概率

9、，对历史概率要加以检验，辨明其是否适合计算后验概率。 （3）用概率的乘法定理计算联合概率，用概率的加法定理计算边际概率,用贝叶斯定理计算后验概率。 （4）用后验概率进行决策分析。-14-贝叶斯推断17 贝叶斯决策的优点及其局限性- 优点：优点： （1）贝叶斯决策能对信息的价值或是否需要采集新的信息做出科学的判断。（2）它能对调查结果的可能性加以数量化的评价，而不是像一般的决策方法那样，对调查结果或者是完全相信，或者是完全不相信。（3）如果说任何调查结果都不可能完全准确，先验知识或主观概率也不是完全可以相信的，那么贝叶斯决策则巧妙地将这两种信息有机地结合起来了。（4）它可以在决策过程中根据具体情

10、况下不断地使用，使决策逐步完善和更加科学。-14-贝叶斯推断18（1）它需要的数据多，分析计算比较复杂， 特别在解决复杂问题时，这个矛盾就更为突出。（ 2 ） 有 些 数 据 必 须 使 用 主 观 概 率 ， 有 些 人 不太相信，这也妨碍了贝叶斯决策方法的推广使用。回总目录回本章目录 贝叶斯决策的优点及其局限性-局限性-14-贝叶斯推断19 为了提高某产品的质量，企业决策人考虑增加投资来改进生产设备，预计需投资90万元。但从投资效果看，下属部门有两种意见：一是认为改进设备后高质量产品可占90%；二是认为改进设备后高质量产品可占70%。根据经验决策人认为第一种意见可信度有40%，第二种意见可

11、信度有60%。为慎重起见，决策人先做了个小规模试验：试制了5个产品，结果全是高质量产品。问现在决策人对两种意见的可信程度有没有变化？例例3 3-14-贝叶斯推断20回总目录回本章目录51521122(/)(0.9)0.590(/)(0.7)0.168( )(/) ( )(/) ()0.590 0.40.168 0.60.337P AP AP AP APP AP此问题中，决策人根据经验对两种意见的看法属于先验信息，在决策人试验之后，就需要利用贝叶斯公式，结合试验结果进行后验分析了。首先计算得到：-14-贝叶斯推断21然后用贝叶斯公式计算 和 的后验概率，1212(/),(/):PAPA 可以看到

12、，试验后决策人对两种意见的可信程度变为了0.7和0.3。这就是贝叶斯决策的后验概率。 111222(/)(/) ( ) /( )0.236/0.337=0.700,(/)(/) () /( )=0.101/0.337=0.300PAP APP APAP APP A1222-14-贝叶斯推断22EX1 设是一批产品的不合格率，已知它不是0.1就是0.2，且其先验分布为 （0.1）=0.7,（0.2）=0.3假如从这批产品中随机取8个进行检查，发现有2个不合格，求的后验分布。解：3 . 07 . 02 . 01 . 0)1 ()2(6228PCXP458. 0542. 02 . 01 . 02PX

13、 例例4 4-14-贝叶斯推断23542. 07 . 03 . 09 . 01 . 08 . 02 . 011) 2 . 0() 2 . 02() 1 . 0() 1 . 02() 1 . 0() 1 . 02() 21 . 0(62286228CCPXPPXPPXPXP458. 0)21 . 0(1)22 . 0(XPXP-14-贝叶斯推断24“抽检3个产品全部不合格”与抽检“10个产品全部不合格”也是有差别的。在实际中，人们经常选用后验期望估计作为贝叶斯估计。-14-贝叶斯推断25第二节第二节 贝叶斯决策方法贝叶斯决策方法一、决策的基本概念一、决策的基本概念 决策就是对一件事要作决定.它与

14、推断的差别在于是否涉及后果.统计学家在作推断时是按统计理论进行的,很少考虑结论在使用后的损失.可决策者在使用推断结果时必需与得失联系在一起,能带来利润的就会用,使他遭受损失的就不会被采用,度量得失的尺度就是损失函数.它是著名的统计学家A.Wald(1902-1950)在40年代引入的一个概念.从实际归纳出损失函数是决策的关键. 贝叶斯决策:把损失函数加入贝叶斯推断就形成贝叶斯决策论,损失函数被称为贝叶斯统计中的第四种信息.-14-贝叶斯推断26例1 设甲乙二人进行一种游戏,甲手中有三张牌,分别标以 .乙手中也有三张牌, 分别标以 .游戏的规则是双方各自独立地出牌,按下表计算甲的得分与乙的得分.

15、321,321,aaa甲的得分矩阵甲的得分矩阵(乙的失分矩阵乙的失分矩阵) 3-2014-3-4-12-14-贝叶斯推断27这是一个典型的双人博弈(赌博)问题.不少实际问题可归结为双人博弈问题.把上例中的乙方改为自然或社会,就形成人与自然(或社会)的博弈问题.例2 某农作物有两个品种:产量高但抗旱能力弱的品种 和抗旱能力强但产量低的品种 .在明年雨量不知的情况下,农民应选播哪个品种可使每亩平均收益最大?这是人与自然界的博弈.以明年60mm雨量为界来区分雨量充足 和雨量不充足 .写出收益矩阵(单位:元)1a2a121a2a12 1000200-200400-14-贝叶斯推断28例3一位投资者有一

16、笔资金要投资.有以下几个投资向供他选择:购买股票,根据市场情况,可净赚5000元,但也可能亏损10000元;:存入银行,不管市场情况如何总可净赚1000元.1a2a这位投资者在与金融市场博弈.未来的金融市场也有二种情况:看涨 与看跌 .可写出投资者的收益矩阵121a2a12 50001000-100001000-14-贝叶斯推断29二、决策的三要素 1. 状态集 ,其中每个元素 表示自然界(或社会)可能出现的一种状态,所有可能状态的全体组成状态集. 2. 行动集 ,其中a表示人对自然界可能采取的一个行动.一般行动集有两个以上的行动供选择.若有两个行动无论对自然界的哪一个状态出现, 总比 收益高

17、,则 就没有存在的必要,可把它从行动集中去掉,使留在行动集中的行动总有可取之处.a1a2a2a-14-贝叶斯推断303.收益函数 .函数值 表示当自然界处于状态 ,而人们选取行动 时所得到的收益大小. ),(aQijjiQaQ),(ija收益函数的值可正可负，其正表示赢利，负表示亏损，单位常用货币单位。收益函数的建立不是件容易的事，要对所研究的问题有全面的了解才能建立起来。收益矩阵nmnnmmQQQQQQQQQQ212222111211-14-贝叶斯推断31三、损失函数1.从收益到损失从收益到损失为了以后的统一处理，在决策中常用一个更为有效的概念：损失函数。在状态集和行动集都为有限时用损失矩阵。 这里的损失函数不是负的收益，也不是亏损。例如，某商店一个月的经营收益为-1000元，即亏1000元。这是对成本而言。我们不称为损