2011-14-贝叶斯推断.ppt

1 贝叶斯判别和推断 袁克虹 2 1. 笔试：4月14日 随堂考试 2. 大作业：4.13日全部交完； 考试安排 3 1. 贝叶斯推断方法 2. 贝叶斯决策方法 贝叶斯估计 4 1. 样本空间的划分 二、全概率公式 5 2. 全概率公式 全概率公式 全概率公式 6 全概率公式的主要用途在于它可以将一个复杂事 件的概率计算问题,分解为若干个简单事件的概率 计算问题,最后应用概率的可加性求出最终结果. 说明 7 有一批同一型号的产品,已知其中由一厂生产的占 30% , 二厂生产的占 50% , 三厂生产的占 20%, 又 知这三个厂的产品次品率分别为2% , 1%, 1%,问从 这批产品中任取一件是次品的概率是多少? 设事件 A 为“任取一件为次品”,解 例1 8 由全概率公式得 30% 20% 50% 2% 1% 1% A B1 B2 B3 9 称此为贝叶斯公式. 3. 贝叶斯公式 贝叶斯公式 10 Bayes公式的意义 Bayes公式，其意义是：假设导致事 件A发生的“原因”有Bi(i=1,2,n)个。 它们互不相容。 现已知事件A确已经发生了，若要估计 它是由“原因”Bi所导致的概率，则可 用Bayes公式求出.即可从结果分析原 因. 11 例2 贝叶斯公式的应用 12 解 13 (1) 由全概率公式得 (2) 由贝叶斯公式得 14 15 贝叶斯决策的概念和步骤 概念：利用贝叶斯定理求得后验概率，据以 进行决策的方法，称为贝叶斯决策方法。 先验概率的概念：根据历史资料或主观判断 ，未经实验证实所确定的概率。 16 已具备先验概率的情况下，贝叶斯 决策过程的步骤为： （1）进行预后验分析，决定是否值得搜集补充 资料以及从补充资料可能得到的结果和如 何决定最优对策。 （2）搜集补充资料，取得条件概率，包括历史 概率和逻辑概率，对历史概率要加以检验 ，辨明其是否适合计算后验概率。 （3）用概率的乘法定理计算联合概率，用概率 的加法定理计算边际概率,用贝叶斯定理 计算后验概率。 （4）用后验概率进行决策分析。 17 贝叶斯决策的优点及其局限性- 优点 ： （1）贝叶斯决策能对信息的价值或是否需要采集新 的信息做出科学的判断。 （2）它能对调查结果的可能性加以数量化的评价， 而不是像一般的决策方法那样，对调查结果或者是完 全相信，或者是完全不相信。 （3）如果说任何调查结果都不可能完全准确，先验 知识或主观概率也不是完全可以相信的，那么贝叶斯 决策则巧妙地将这两种信息有机地结合起来了。 （4）它可以在决策过程中根据具体情况下不断地使 用，使决策逐步完善和更加科学。 18 （1）它需要的数据多，分析计算比较复杂， 特别在解决复杂问题时，这个矛盾就更为突出。 （2）有些数据必须使用主观概率，有些人 不太相信，这也妨碍了贝叶斯决策方法的推广使 用。 回总目录回本章目录 贝叶斯决策的优点及其局限性-局限性 19 为了提高某产品的质量，企业决策人考虑增加投资 来改进生产设备，预计需投资90万元。但从投资效果 看，下属部门有两种意见：一是认为改进设备后高质 量产品可占90%；二是认为改进设备后高质量产品可 占70%。根据经验决策人认为第一种意见可信度有 40%，第二种意见可信度有60%。为慎重起见，决策 人先做了个小规模试验：试制了5个产品，结果全是 高质量产品。问现在决策人对两种意见的可信程度有 没有变化？ 例3 20 回总目录回本章目录 此问题中，决策人根据经验对两种意见的看法 属于先验信息，在决策人试验之后，就需要利 用贝叶斯公式，结合试验结果进行后验分析了 。 首先计算得到： 21 然后用贝叶斯公式计算 和 的后验概率 ， 可以看到，试验后决策人对两种意见的可信程 度变为了0.7和0.3。这就是贝叶斯决策的后验概 率。 22 EX1 设是一批产品的不合格率，已知它不是0.1就 是0.2，且其先验分布为 （0.1）=0.7,（0.2）=0.3 假如从这批产品中随机取8个进行检查，发现有2个 不合格，求的后验分布。 解 ： 例4 23 24 “抽检3个产品全部不合格”与抽检“10个产品全部不合 格”也是有差别的。在实际中，人们经常选用后验期望 估计作为贝叶斯估计。 25 第二节 贝叶斯决策方法 一、决策的基本概念 决策就是对一件事要作决定.它与推断的差别在于是否涉及 后果.统计学家在作推断时是按统计理论进行的,很少考虑结论 在使用后的损失.可决策者在使用推断结果时必需与得失联系在 一起,能带来利润的就会用,使他遭受损失的就不会被采用,度量 得失的尺度就是损失函数.它是著名的统计学家A.Wald(1902- 1950)在40年代引入的一个概念.从实际归纳出损失函数是决策 的关键. 贝叶斯决策:把损失函数加入贝叶斯推断就形成贝叶斯 决策论,损失函数被称为贝叶斯统计中的第四种信息. 26 例1 设甲乙二人进行一种游戏,甲手中有三张牌,分别标以 .乙手中也有三张牌, 分别标以 .游戏的规则是双 方各自独立地出牌,按下表计算甲的得分与乙的得分. 甲的得分矩阵(乙的失分矩阵) 3-20 14-3 -4-12 27 这是一个典型的双人博弈(赌博)问题.不少实际问题可归结为 双人博弈问题.把上例中的乙方改为自然或社会,就形成人与 自然(或社会)的博弈问题. 例2 某农作物有两个品种:产量高但抗旱能力弱的品种 和抗 旱能力强但产量低的品种 .在明年雨量不知的情况下,农民 应选播哪个品种可使每亩平均收益最大?这是人与自然界的 博弈.以明年60mm雨量为界来区分雨量充足 和雨量不充足 .写出收益矩阵(单位:元) 1000200 -200400 28 例3一位投资者有一笔资金要投资.有以下几个投资向供他选择: :购买股票,根据市场情况,可净赚5000元,但也可能亏损 10000元; :存入银行,不管市场情况如何总可净赚1000元. 这位投资者在与金融市场博弈.未来的金融市场也有二种情 况:看涨 与看跌 .可写出投资者的收益矩阵 50001000 -100001000 29 二、决策的三要素 1. 状态集 ,其中每个元素 表示自然界(或社 会)可能出现的一种状态,所有可能状态的全体组成状态集. 2. 行动集 ,其中a表示人对自然界可能采取的一个行 动. 一般行动集有两个以上的行动供选择.若有两个行动无论对自 然界的哪一个状态出现, 总比 收益高,则 就没有存在 的必要,可把它从行动集中去掉,使留在行动集中的行动总有 可取之处. 30 3.收益函数 .函数值 表示当自然界处于 状态 ,而人们选取行动 时所得到的收益大小. 收益函数的值可正可负，其正表示赢利，负表示亏损，单位 常用货币单位。收益函数的建立不是件容易的事，要对所研 究的问题有全面的了解才能建立起来。收益矩阵 31 三、损失函数 1.从收益到损失 为了以后的统一处理，在决策中常用一个更为有效的概念： 损失函数。在状态集和行动集都为有限时用损失矩阵。 这里的损失函数不是负的收益，也不是亏损。例如，某商店 一个月的经营收益为-1000元，即亏1000元。这是对成本而言 。我们不称为损失，而称其为亏损。我们讲的损失是指“该赚 而没有赚到的钱”，例如该商店本可以赚2000元，但由于某种 原因亏了1000元，那我们说