贝叶斯分析PPT课件

1、贝叶斯分析第七章第七章 贝叶斯分析贝叶斯分析风险型决策问题的决策准则风险型决策问题的决策准则损失函数、风险函数和贝叶斯风险损失函数、风险函数和贝叶斯风险贝叶斯定理贝叶斯定理贝叶斯分析贝叶斯分析 贝叶斯分析风险型决策问题的决策准则风险型决策问题的决策准则 最大可能值准则最大可能值准则先看发生概率最大，再看损失值最小；效用则反之。如P73例1 贝叶斯准则贝叶斯准则后果的期望效用最大；或损失的期望效用最小。贝叶斯分析风险型决策问题的决策准则风险型决策问题的决策准则 E-V准则准则 优势原则与随机性决策准则优势原则与随机性决策准则（1）当概率不能确定时采用；（2）优势原则：见课本75页例题（3）随机策

2、略：删除最劣方案贝叶斯分析损失函数、风险函数和损失函数、风险函数和贝叶斯风险贝叶斯风险贝叶斯分析损失函数、风险函数和贝叶斯风险损失函数、风险函数和贝叶斯风险 损失函数记作l(, a)，它表示一决策问题当状态为，决策人的行动为a时，所产生的后果使决策人遭受的损失。由于损失函数可能为负值，因此它也能反映决策人获得的收益。后果的效用越大，损失越小。故用效用函数去定义损失函数的一种简单办法，是令 l(, a) = - u(, a)为了使损失函数非负，可以定义为 由于损失函数经过任何正线性变换仍然是同一优先关系的效用函数，因此以上两种形式的损失函数都会得到同样的分析结果。 贝叶斯分析 给定的，观察的结果

3、（信息）X是一随机变量，用F(x)记X的条件分布函数，用f(x)记X的条件密度函数，用 记随机变量的样本空间。决策规则决策规则 就是由所有可能信息值的集合到所有可能行动的集合的一个映射。换句话说，决策规则是这样一个规则，按照这个规则，对于每一个信息值X均有唯一确定的可行行动a= (x)与之对应。 设给定一个决策规则(x)，在任一状态下，当信息值X确定后，它所对应的行动(x)也就确定了，从而(x)的损失值为l(, (x) )，它也是一随机变量。当给定，l(, (x) )对X的期望值称为风险函数，并记为并记为R( , )，R( , ) = E x l( , (x) ) 贝叶斯分析若X为离散随机变量

4、，则 由于决策认事先不知道真实状态，他只能对随机状态的先验密度()作出主观估计。所以进行决策分析时，还需要将损失函数R(, (x) )对取期望值，即 贝叶斯分析如为连续随机变量，则 如为离散随机变量，则 贝叶斯分析 r( , )称为决策规则称为决策规则 相对于相对于 的的贝叶斯风险贝叶斯风险。 对于固定的决策规则(x)，其贝叶斯风险为一常数，它反映出利用这一决策规则决策的平均损失。 三种标准的三种标准的“损失函数损失函数”：（1）平方损失： 更一般的平方损失是加权平方损失，其形式是 贝叶斯分析 线性损失线性损失 “0-1”损失损失 贝叶斯分析例例. 有两类盒子：甲类盒子只有一个，其中装有80个

5、红球，20个白球；乙类盒子共有三个，每个盒子均装有20个红球，80个白球。四个盒子外表一样，内容不知。今从中任取一盒，请你猜它是哪类的。如果猜中，付你1元钱；如果未猜中，不付你钱。那么你怎样猜法？如果从这个盒子中任意抽取N个球（回置地），让你观察，你如何根据这N个球的性质来选择自己的行动？当容量为1或2的抽样时，求各决策规则的风险函数和贝叶斯风险，并分别指出最佳决策规则。解：解：令表示所取出的这个盒子中红球所占的比例。显然，只能取两个值：若这个盒子是甲类的， = 1= 0.8；若这个盒子是乙类的， = 1= 0.2。用a1、a2分别表示猜这个盒子是甲类的和猜它是乙类的这两个行动方案。显然收益矩

6、阵如表5. 1所示。 贝叶斯分析表5. 1 猜盒问题的收益矩阵 1 2 1/4 3/4 a1 10 a2 01假设N=1，即从你猜的那个盒子中取出1个球来观察。规定：对于红球，x=1；对于白球，x=0，其抽样分布如表5.2 所示： 贝叶斯分析表5. 2 N=1时猜盒问题的抽样分布矩阵 P() P(x=0/)P(x=1/) 11/4 0.20.8 23/4 0.8 0.2贝叶斯分析P(x=0/)表示从甲类盒子中抽取1球是白球的概率，显然它等于0.2 。对另外三个概率可作类似理解。利用先验分布和抽样分布计算后验分布：P(x=0)=0.21/4+0.83/4=0.65P(1/x=0)=0.05/0.

7、65=1/13P(2/x=0)=0.60/0.65=12/13P(x=1)=0.81/4+0.23/4=0.35P(1/x=1)=0.2/0.35=4/7P(2/x=1)=0.15/0.35=3/7 贝叶斯分析表5. 3 N=1时猜盒问题的后验分布矩阵 XP(x) P(1/x)P(2/x) 00.65 1/1312/13 10.35 4/7 3/7贝叶斯分析样本容量N=2时， 表5. 4 N=2时猜盒问题的抽样分布矩阵 P() P(x=0/)P(x=1/) P(x=2/) 11/4 0.040.320.64 23/4 0.64 0.32 0.04贝叶斯分析表5.5 N=2时猜盒问题的后验分布矩

8、阵 XP(x) P(1/x)P(2/x) 00.49 1/4948/49 10.32 1/4 3/4 20.19 16/19 3/19贝叶斯分析本例中，如果样本容量为1，由于所有可能的抽样结果有2个，可行行动也有2个，故决策规则共有22 = 4个： 1(x)=a1 2(x)= 3(x)= 4(x)=a2如果样本容量为2，那么抽样结果有3种可能，可行行动海时2个，因此决策规则共有23=8个。一般地，对于有S个可行行动的决策问题，若补充信息值有n个，则决策规则共有Sn个。时当时当1x0 x21aa时当时当1x0 x12aa贝叶斯分析对于决策法则1(x)，无论是x=0或x=1，都有l(1, 1(x)

9、 = l(1, a1) = 0l(2, 1(x) = l(2, a1) =1于是 R(1, 1(x) = l(1, 1(x) = 0R(2, 1(x) = l(1, 1(x) =1即1(x)的风险函数为其贝叶斯风险：r(, 1) = R(1, 1)P(1)+ R(2, 1)P(2) = 0.75 xE1xE2时当时当21110),(R贝叶斯分析对于决策规则2(x)，l(1, 2(0) = l(1, a1) = 0l(1, 1(1) = l(1, a2) = 1于是 R(1, 2(x) = R(1, 2(0)P(x=0/1)+ R(1, 2(1)P(x=1/1)= 10.8+00.2=0.8 同

10、样地， l(2, 2(0) = l(2, a1) = 1 l(2, 2(1) = l(2, a2) = 0 R(2, 2(x) = R(2, 2(0)P(x=0/2)+ R(2, 2(1)P(x=1/2)= 10.8+00.2=0.8因此，2(x)的风险函数为R(, 2) =0.8其贝叶斯风险为r(, 2)=0.8类似地，可以求出3和 4的贝叶斯风险分别为r(, 3)=0.2，r(, 4)=0.25最佳决策规则为3 贝叶斯分析贝叶斯定理贝叶斯定理贝叶斯分析贝叶斯定理贝叶斯定理贝叶斯定理贝叶斯定理 ：令A1, A2, , An 为事件空间的某个划分，即 = 且 对于j l，AjAl = 。令B是

11、概率非零的任意事件，即P(B)0 ，则有P(AlB) = 贝叶斯定理给出了先验分布和后验分布之间的关系。 jnjA1njjjllAPABPAPABP1)()()()(贝叶斯分析 给定x后的后验分布（或简称为后验）由(x)表示，正如符号所表示的，它定义为给定样本观测值x后的条件分布。注意， 和X的联合密度是 h(x, ) = ( )f(x ) “后验分布”这个名称预示着(x)的作用，正如先验分布反映先于试验的对的信念。后验分布把的先验信念与含于样本x内关于的信息结合起来得出对的最后信念的合成图像。 设状态的先验密度为()，贝叶斯定理指出，由观察X所确定的后验密度是(x)是 贝叶斯分析 上式中的f

12、(x)称为似然函数，m(x)称为预测密度。当为连续变量时，当为离散变量时， 贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析随机决策规则随机决策规则 有时需要以一种随机的方式采取行动，这类情况在有一个聪明的对手参与时尤为常见。例如硬币博弈。例例3.3（硬币博弈）你和你的对手同时亮出一枚硬币，若两枚硬币（硬币博弈）你和你的对手同时亮出一枚硬币，若两枚硬币都是正面或都是反面，你赢对手都是正面或都是反面，你赢对手1美元，否则你输对手美元，否则你输对手1美元。美元。你可采取的行为是你可采取的行为是a1选正面，或选正面，或a2选反面。而初始状态可能为选反面。而初始状态可能为 1对手的硬币为正

13、面，及对手的硬币为正面，及 2对手的硬币为反面。对手的硬币为反面。 a1和a2都是容许行为。如果这个博弈进行多次，显然若总采取a1或总是采取a2都是不明智的，因为对手将很快会掌握你的策略，从而决定出一个他稳操胜券的行为。同样地，对a1和a2任何有规律的选取方式也都会被聪明的对手识破，从而他会采取使他获胜的策略。所以避免这种根本性失败的唯一方法，是按随机的 贝叶斯分析方式选取a1和a2 。 定义定义 对每一观察x，一个随机化决策规则*(x, )是行动集合 上的一个概率分布。它可解释为，若x为观察值，则*(x, A) (A是的一个子集)为A内的一个行动被选中的概率。 贝叶斯分析 关于随机化决策规则

14、的用途作一些讨论。先介绍一个记述随机化应用的颇为幽默的报告（引自Williams(1954)），即“Blotto上校问题”。它涉及一次军事战役，有趣的是，在Blotto上校征求下一步该如何行动的意见时，他的参谋（一个有丰富统计学知识的人）回答说： “用眼睛盯着地图框上的那只蚂蚁，当他爬到油斑点时，看一下你的手表秒针。如果秒针指在6秒或少于6秒时，应把你的军队平均布置在受威胁的各点上；如果秒针指在6秒和30秒之间，把整个后备军开赴达那（Dana）；如果秒针指在30-54秒之间，把后备军开赴哈瑞（Harry）；如果秒针指在54-60秒之间，则重新注视另一只蚂蚁。” 这个例子使随机化看起来很愚蠢。但

15、用于上述情况，它可能是很有道理的。Blotto上校的军事敌方可能是非常聪明的对手，那么最好的办法就是随机选择一个行为，所叙述的蚂蚁爬到油斑的随机化方案可以认为是一个聪明的方法。贝叶斯分析定义定义 决策规则1是比决策规则2 R-优的，如果满足R(, 1) R(, 2)对所有的成立，而且存在一些使以上不等式严格成立。若R(, 1)= R(, 2)对所有成立，则称决策规则1与2是R-等价的。定义定义 若不存在比 R-优的决策规则，则称决策规则是容许的。若存在比 R-优的决策规则，则称决策规则是非容许的。 实际上，决策分析的目的是选择一种决策规则使它按某种意义最优。在随机决策分析中，最广泛使用的决策原

16、则是贝叶斯贝叶斯原则原则，此外还有极小化极大原则极小化极大原则和不变性原则不变性原则等。决策原则决策原则贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析的正规型和扩展型贝叶斯分析的正规型和扩展型 利用先验分布或后验分布求出贝叶斯风险r(, ) ，然后选择一决策规则，使r(, )为极小。这中分析方法称为贝叶斯分析的正规型。 但是，用分析的正规型解题，计算非常困难。注意到r(, )的展开式，只要被积函数l(, (x)是有下界的并且概率测度是有限的，则由Fubini定理，积分次序就可以交换。改变积分次序后，得 贝叶斯分析使上式为极小，必须对每个x ，选择，使积分 （4

17、.56）为极小。如果将x识别为决策行动a，并对上式乘以(m(x)-1， m(x)是预测分布，则 （4.57） 其中(x)是的后验密度。如果对于每个给定的x，选择一行动a使（4.56）式极小，它也必然会使（4.57）式的后验期望损失为极小。因此： 贝叶斯分析结论：结论：如对于每个x选择一行动a使后验期望损失为极小，或等价地使 （4.58）为极小，就能得到贝叶斯行动a和对应的贝叶斯规则x。这个规则称为形式贝叶斯规则，相应的行动称为形式贝叶斯行动。由（4.57）或（4.58）式去寻求形式贝叶斯规则，称为贝叶斯分析的扩展型。贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分

18、析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析 进行实验在经济上是否合算，如果通过实验收集新信息虽能降低期望损失，但所增加的收入若不能支付实验费用，则得不偿失。因此需要计算由实验获得的信息能使期望损失的值降低多少。（一）完全信息期望值和抽样信息期望值（一）完全信息期望值和抽样信息期望值 决策人根据完全信息取采取行动，必然能使他的损失为极小。在这种理想情况下的期望损失是信息的价值信息的价值贝叶斯分析它表明先根据给定的状态去选择行动a，使损失l(, a)为极小，然后再按照的先验密度去取损失函数的期望值。 它是对未来状态完全掌握，或说

19、得到了对未来状态有百分之百的准确度的信息（又叫完全信息）时的最大（小）盈利（费用），是一个理论上（或称理想的，实际上难于达到）的最佳值（因为实际上是很难获得对未来不确定状态的完全信息的）。 如果决策人事先并不知道状态的值，他只能根据期望的损失去选择最好的行动，即选择一行动使期望损失为极小。因此，在没有完全信息时的期望损失是贝叶斯分析 EVPI（ expected value of perfect information ）体现了由于信息不准（不完全）而取期望之最优法决策造成的盈利（费用）的减少（增大），此即是由获得完全信息时可避免的损失，故定义为完全信息价值（期望金额）。它亦等于最小的期望机会

20、损失总额值。期望机会损失达到这个总额值的方案，就是最优方案。 如果EVPI的值很小，甚至低于实验费用，则实验不宜进行。采用完全信息期望值取计算的一个主要优点是EVPI容易计算。但由于是极限值，所以偏大。如果采用抽样信息去计算贝叶斯风险，贝叶斯分析能定义另一个量抽样信息期望值EVSI (expected value of sample information)，它表示极小贝叶斯风险和极小期望损失之差，即一般EVSI的值要比EVPI的值小。贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析贝叶斯分析作业：一个药物公司要决定是否将一种新的止痛药投放市场。影响这一决定的有许多因素，其中有两个是这样的：一个是在服此药的人中将证明此药有效的人数所占的比例（1）；另一个是在市场占领中此药将会占的比例（2）。其最终目的是决定：是否将此药投放市场；投放多少；价格如何等等。 过去类似的新药介绍到市场的情形给2提供了大量的先验信息。比如说，过去类似新药占领市场率为1/10到1/5，而且在1/10到1/5之间的任何值式