第三章_贝叶斯估计

1、1第三章第三章 贝叶斯估计贝叶斯估计3.1贝叶斯推断方法贝叶斯推断方法一一 、统计推断中可用的三种信息、统计推断中可用的三种信息 美籍波兰统计学家耐美籍波兰统计学家耐(E.L.Lehmann18941981)高度概括了在统计推断中可用的三种信息：高度概括了在统计推断中可用的三种信息： 1总体信息，即总体分布或所属分布族给我们总体信息，即总体分布或所属分布族给我们的信息。譬如的信息。譬如“总体是指数分布总体是指数分布”或或“总体是正总体是正态分布态分布”在统计推断中都发挥重要作用，只要有在统计推断中都发挥重要作用，只要有总体信息，就要想方设法在统计推断中使用。总体信息，就要想方设法在统计推断中使

2、用。2样本信息，即样本提供我们的信息，这是任样本信息，即样本提供我们的信息，这是任一种统计推断中都需要。一种统计推断中都需要。23先验信息，即在抽样之前有关统计推断的一些先验信息，即在抽样之前有关统计推断的一些信息。譬如，在估计某产品的不合格率时，假如工信息。譬如，在估计某产品的不合格率时，假如工厂保存了过去抽检这种产品质量的资料，这些资料厂保存了过去抽检这种产品质量的资料，这些资料（包括历史数据）有时估计该产品的不合格率是有（包括历史数据）有时估计该产品的不合格率是有好处的。这些资料所提供的信息就是一种先验信息。好处的。这些资料所提供的信息就是一种先验信息。又如某工程师根据自己多年积累的经验

3、对正在设计又如某工程师根据自己多年积累的经验对正在设计的某种彩电的平均寿命所提供的估计也是一种先验的某种彩电的平均寿命所提供的估计也是一种先验信息。由于这种信息是在信息。由于这种信息是在“试验之前试验之前”就已有的，就已有的，故称为先验信息。故称为先验信息。以前所讨论的点估计只使用前两种信息，没有使用以前所讨论的点估计只使用前两种信息，没有使用先验信息。假如能把收集到的先验信息也利用起来，先验信息。假如能把收集到的先验信息也利用起来，那对我们进行统计推断是有好处的。只用前两种信那对我们进行统计推断是有好处的。只用前两种信息的统计学称为经典统计学，三种信息都用的统计息的统计学称为经典统计学，三种

4、信息都用的统计学称为贝叶斯统计学。本节将简要介绍贝叶斯统计学称为贝叶斯统计学。本节将简要介绍贝叶斯统计学中的点估计方法。学中的点估计方法。3二、贝叶斯公式的密度函数形式二、贝叶斯公式的密度函数形式贝叶斯统计学的基础是著名的贝叶斯公式，它是英国贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（学者贝叶斯（T.R.Bayes17021761）在他死后二年发在他死后二年发表的一篇论文论归纳推理的一种方法中提出的。表的一篇论文论归纳推理的一种方法中提出的。经过二百年的研究与应用，贝叶斯的统计思想得到很经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，形成一个统计学派大的发展，形成一个统计

5、学派贝叶斯学派。为了纪贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志念他，英国历史最悠久的统计杂志Biometrika在在1958年又全文刊登贝叶斯的这篇论文。年又全文刊登贝叶斯的这篇论文。初等概率论中的贝叶斯公式是用事件的概率形式给初等概率论中的贝叶斯公式是用事件的概率形式给出的。可在贝叶斯统计学中应用更多的是贝叶斯公出的。可在贝叶斯统计学中应用更多的是贝叶斯公式的密度函数形式。下面结合贝叶斯统计学的基本式的密度函数形式。下面结合贝叶斯统计学的基本观点来引出其密度函数形式。贝叶斯统计学的基本观点来引出其密度函数形式。贝叶斯统计学的基本观点可以用下面三个观点归纳出来。观点可以用下面三个观点归

6、纳出来。4假设假设 随机变量随机变量X有一个密度函数有一个密度函数p（x；），），其中其中是一个参数，不同的是一个参数，不同的对应不同的密度函数，对应不同的密度函数，故从贝叶斯观点看，故从贝叶斯观点看，p（x；）在给定在给定后是个条后是个条件密度函数，因此记为件密度函数，因此记为p（x）更恰当一些。这更恰当一些。这个条件密度能提供我们的有关的个条件密度能提供我们的有关的信息就是总体信息就是总体信息。信息。假设假设 当给定当给定后，从总体后，从总体p（x）中随机抽取一中随机抽取一个样本个样本X1，Xn，该样本中含有该样本中含有的有关信息。这的有关信息。这种信息就是样本信息。种信息就是样本信息。假

7、设假设 我们对参数我们对参数已经积累了很多资料，经过分析、已经积累了很多资料，经过分析、整理和加工，可以获得一些有关整理和加工，可以获得一些有关的有用信息，这种信的有用信息，这种信息就是先验信息。参数息就是先验信息。参数不是永远固定在一个值上，而不是永远固定在一个值上，而是一个事先不能确定的量。是一个事先不能确定的量。5从贝叶斯观点来看，未知参数从贝叶斯观点来看，未知参数是一个随机变量。描是一个随机变量。描述这个随机变量的分布可从先验信息中归纳出来，这述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用个分布称为先验分布，其密度函数用（）表示。表示。1 先验分布先验分

8、布定义定义3.1 将总体中的未知参数将总体中的未知参数看成一取值于看成一取值于的随机变量，它有一概率分布，记为的随机变量，它有一概率分布，记为（），），称为称为参数参数的先验分布。的先验分布。2 后验分布后验分布在贝叶斯统计学中，把以上的三种信息归纳起来的在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本最好形式是在总体分布基础上获得的样本X1，Xn，和参数的联合密度函数和参数的联合密度函数 6)(),(),(11nnxxpxxp在这个联合密度函数中。当样本在这个联合密度函数中。当样本 给定之后，给定之后，未知的仅是参数未知的仅是参数了，我们关心的是样本给定后，了

9、，我们关心的是样本给定后，的条的条件密度函数，依据密度的计算公式，容易获得这个条件件密度函数，依据密度的计算公式，容易获得这个条件密度函数密度函数nXX,1dxxpxxpxxpxxpxxnnnnn)(),()(),(),(),(),(11111这就是贝叶斯公式的密度函数形式，这就是贝叶斯公式的密度函数形式，称为称为的的后验密度函数后验密度函数，或，或后验分布后验分布。而。而 ),(1nxx dxxpxxpnn)(),(),(117是样本的边际分布，或称样本是样本的边际分布，或称样本 的无条的无条件分布，它的积分区域就是参数件分布，它的积分区域就是参数的取值范围，随的取值范围，随具体情况而定。具

10、体情况而定。nXX,1前面的分析总结如下：人们根据先验信息对参数前面的分析总结如下：人们根据先验信息对参数已有一个认识，这个认识就是先验分布已有一个认识，这个认识就是先验分布（）。）。通过试验，获得样本。从而对通过试验，获得样本。从而对的先验分布进行调的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布的结果就是后验分布 。后验分布是。后验分布是三种信息的综合。获得后验分布使人们对三种信息的综合。获得后验分布使人们对的认识的认识又前进一步，可看出，获得样本的的效果是把又前进一步，可看出，获得样本的的效果是把我们我们对对的认识

11、由的认识由（）调整到调整到 。所以。所以对对的统计推断就应建立在后验分布的统计推断就应建立在后验分布 的基础上。的基础上。),(1nxx ),(1nxx ),(1nxx 8例例1 设事件设事件A的概率为的概率为 ，即，即 。为了估。为了估计计 而作而作n次独立观察，其中事件次独立观察，其中事件A出现次数为出现次数为X，则有则有X服从二项分布服从二项分布 即即( )P A),(nb., 1 , 0,)1 ()(nxCxXPxnxxn如果此时我们对事件如果此时我们对事件A的发生没有任何了解，对的发生没有任何了解，对 的大小也没有任何信息。在这种情况下，贝叶斯建议的大小也没有任何信息。在这种情况下，

12、贝叶斯建议用区间（用区间（0，1）上的均匀分布作为的先验分布。因为）上的均匀分布作为的先验分布。因为它在（它在（0，1）上每一点都是机会均等的。这个建议被）上每一点都是机会均等的。这个建议被后人称为贝叶斯假设。后人称为贝叶斯假设。 others, 010 , 1)(9此式在定义域上与二项分布有区别。再计算此式在定义域上与二项分布有区别。再计算X的的边际密度为边际密度为10 , 1 , 0,)1 (,nxCxpxnxxn样本样本X与参数的联合分布为与参数的联合分布为nxnxnxCdxpxpxn, 1 , 0,)2() 1() 1(),()(1010 ,)1 () 1() 1()2()(xnxxn

13、xnx) 1, 1(xnxBeX即即10拉普拉斯计算过这个概率拉普拉斯计算过这个概率,研究男婴的诞生比例是研究男婴的诞生比例是否大于否大于0.5?如抽了如抽了251527个男婴个男婴,女婴女婴241945个个贝叶斯统计学首先要想方设法先去寻求贝叶斯统计学首先要想方设法先去寻求的先验分布。的先验分布。先验分布的确定大致可分以下几步：先验分布的确定大致可分以下几步：第一步，选一个适应面较广的分布族作先验分布族，第一步，选一个适应面较广的分布族作先验分布族，使它在数学处理上方便一些，这里我们选用使它在数学处理上方便一些，这里我们选用分布族分布族0, 0, 10 ,)1 ()()()()(11baba

14、baba11注：注： 作为作为的先验分布族是恰当的，从以下几方面考虑：的先验分布族是恰当的，从以下几方面考虑：1 参数参数是废品率，它仅在（是废品率，它仅在（0，1）上取值。因此，必）上取值。因此，必需用区间（需用区间（0，1）上的一个分布去拟合先验信息。）上的一个分布去拟合先验信息。分布正是这样一个分布。分布正是这样一个分布。0, 0,)()()(),(0, 0,)1 (),(!) 1(, 0,)(101101qpbaqpqpBqpdxxxqpBnnsdxexsqpxs2 分布含有两个参数分布含有两个参数a与与b，不同的不同的a与与b就对应不同就对应不同的先验分布，因此这种分布的适应面较大。

15、的先验分布，因此这种分布的适应面较大。123 样本样本X的分布为二项分布的分布为二项分布b（n，）时，假如时，假如的先的先验分布为验分布为分布，则用贝叶斯估计算得的后验分布仍分布，则用贝叶斯估计算得的后验分布仍然是然是分布，只是其中的参数不同。这样的先验分布分布，只是其中的参数不同。这样的先验分布（分布）称为参数分布）称为参数的共轭先验分布。选择共轭先验的共轭先验分布。选择共轭先验分布在处理数学问题上带来不少方便。分布在处理数学问题上带来不少方便。4 国内外不少人使用国内外不少人使用分布获得成功。分布获得成功。第二步，根据先验信息在先验分布族中选一个分布作第二步，根据先验信息在先验分布族中选一

16、个分布作为先验分布，使它与先验信息符合较好。利用为先验分布，使它与先验信息符合较好。利用的先验的先验信息去确定信息去确定分布中的两个参数分布中的两个参数a与与b。从文献来看，确从文献来看，确定定a与与b的方法很多。例如，如果能从先验信息中较为的方法很多。例如，如果能从先验信息中较为准确地算得准确地算得先验平均和先验方差，则可令其分别等于先验平均和先验方差，则可令其分别等于分布的期望与方差最后解出分布的期望与方差最后解出a与与b。1322) 1()(Sbabaabbaa)1 ()1 (22abSa如果从先验信息获得如果从先验信息获得则可解得则可解得a=3，b=12这意味着这意味着的先验分布是参数

17、的先验分布是参数a=3，b=12的的分布。分布。假如我们能从先验信息中较为准确地把握假如我们能从先验信息中较为准确地把握的两个的两个分位数，如确定分位数，如确定确定的确定的10分位数分位数0。1和和50的中的中位数位数0。5，那可以通过如下两个方程来确定那可以通过如下两个方程来确定a与与b。01. 0, 2 . 02S14.5.0)(,1.0)(5.01.000dd假如的信息较为丰富，譬如对此产品经常进行抽样假如的信息较为丰富，譬如对此产品经常进行抽样检查，每次都对废品率作出一个估计，把这些估计检查，每次都对废品率作出一个估计，把这些估计值看作的一些观察值，再经过整理，可用一个分布值看作的一些

18、观察值，再经过整理，可用一个分布去拟合它。去拟合它。假如关于的信息较少，甚至没有什么有用的先验假如关于的信息较少，甚至没有什么有用的先验信息，那可以用区间（信息，那可以用区间（0，1）上的均匀分布）上的均匀分布（a=b=1情况）。用均匀分布意味着我们对的各种情况）。用均匀分布意味着我们对的各种取值是取值是“同等对待的同等对待的”，是，是“机会均等的机会均等的”。15贝叶斯本人认为，当你对参数贝叶斯本人认为，当你对参数的认识除了在有限区的认识除了在有限区间（间（c，d）之外，其它毫无所知时，就可用区间（之外，其它毫无所知时，就可用区间（c，d）上的均匀分布作为上的均匀分布作为的先验分布。这个看法

19、被后的先验分布。这个看法被后人称之为人称之为“贝叶斯假设贝叶斯假设”。确定了先验分布后，就可计算出后验分布，过程如确定了先验分布后，就可计算出后验分布，过程如下：下：11( , )() ( )()(1)( ) ( )a xb n xp xp Xxnabxab x=0，1，n，01于是于是X的边际分布为的边际分布为 ., 1 , 0,)()()()()()(),()(10nxxnnbaxnbxababadxpxp16最后在给出最后在给出X=x的条件下，的条件下，的后验密度为的后验密度为10,)1 ()()()()(),()(11xxnbxanbaxpxpxxnbxa显然这个后验分布仍然是显然这个

20、后验分布仍然是分布，它的两个参数分别分布，它的两个参数分别是是a+x和和b+n-x。我们选后验期望作为的贝叶斯估计，我们选后验期望作为的贝叶斯估计，则则的贝叶斯估计为的贝叶斯估计为 nbaxadxB10)(与前面的极大似然估计是不同的。与前面的极大似然估计是不同的。 baaXEbaX)(),(17如果用（如果用（0，1）上的均匀作为）上的均匀作为的先验分布，则的先验分布，则的贝叶斯估计为的贝叶斯估计为 21nxB计算如下：计算如下： 10 ., 1 , 0,)1 ()()(),(nxCxXpxpxnxxn10 ,)1 () 1() 1()2()(),()()2() 1() 1()1 ()(10

21、 xxnxnxpxpxnxnxCdCxpxnxxnxnxxn后验分布为后验分布为 ) 1, 1(xnx18三、三、 常用的一些共轭先验分布常用的一些共轭先验分布对于一些常用的指数分布族，如果仅对其中的参数对于一些常用的指数分布族，如果仅对其中的参数感感兴趣，下表列出了它们的共轭先验分布及后验期望。兴趣，下表列出了它们的共轭先验分布及后验期望。分 布共 轭 先 验 分 布后 验 分 布 正态分布正态分布二项分布 分布 Poisson分布 分布（a，b）),(2N2222x),(pnb),(baaxabn)(1bxa),(2N19EX1 EX1 设设是一批产品的不合格率，已知它不是是一批产品的不合

22、格率，已知它不是0.10.1就是就是0.20.2，且其先验分布为，且其先验分布为（0.10.1）=0.7,=0.7,（0.20.2）=0.3=0.3假如从这批产品中随机取假如从这批产品中随机取8 8个进行检查，发现有个进行检查，发现有2 2个不合个不合格，求格，求的后验分布。的后验分布。解：解：3 . 07 . 02 . 01 . 0)1 ()2(6228PCXP542. 07 . 03 . 09 . 01 . 08 . 02 . 011)2 . 0()2 . 02() 1 . 0() 1 . 02() 1 . 0() 1 . 02()21 . 0(62286228CCPXPPXPPXPXP4

23、58. 0)21 . 0(1)22 . 0(XPXP458. 0542. 02 . 01 . 02PX 20EX2 设一卷磁带上的缺陷数服从泊松分设一卷磁带上的缺陷数服从泊松分布布P（）其中其中可取可取1.0和和1.5中的一个中的一个,又设又设的先验分布为的先验分布为 （1.0）=0.4 （1.5）=0.6假如检查一卷磁带发现了假如检查一卷磁带发现了3个缺陷，求个缺陷，求的的后验分布。后验分布。21四、贝叶斯推断（估计）四、贝叶斯推断（估计）条件方法条件方法由于未知参数的后验分布是集三种信息（总体、样由于未知参数的后验分布是集三种信息（总体、样本和先验）于一身，它包含了所有可供利用的信息。本和

24、先验）于一身，它包含了所有可供利用的信息。故有关的参数估计和假设检验等统计推断都按一定故有关的参数估计和假设检验等统计推断都按一定方式从后验分布提取信息，其提取方法与经典统计方式从后验分布提取信息，其提取方法与经典统计推断相比要简单明确得多。基于后验分布的统计推推断相比要简单明确得多。基于后验分布的统计推断就意味着只考虑已出现的数据（样本观察值）而断就意味着只考虑已出现的数据（样本观察值）而认为未出现的数据与推断无关，这一重要的观点被认为未出现的数据与推断无关，这一重要的观点被称为称为“条件观点条件观点”，基于这种观点提出的统计方法，基于这种观点提出的统计方法被称为条件方法。被称为条件方法。2

25、2例如经典统计学认为参数的无偏估计应满足：例如经典统计学认为参数的无偏估计应满足：其中平均是对样本空间中所有可能出现的样本而求的，其中平均是对样本空间中所有可能出现的样本而求的，可实际中样本空间中绝大多数样本尚未出现过，而多可实际中样本空间中绝大多数样本尚未出现过，而多数从未出现的样本也要参与平均是实际工作者难以理数从未出现的样本也要参与平均是实际工作者难以理解的。故在贝叶斯推断中不用无偏性，而条件方法是解的。故在贝叶斯推断中不用无偏性，而条件方法是容易被实际工作者理解和接受容易被实际工作者理解和接受的。23估计估计1.1.贝叶斯估计贝叶斯估计 定义定义3.2 使后验密度使后验密度 达到最大的

26、值达到最大的值 称为称为最大后验估计；后验分布的中位数最大后验估计；后验分布的中位数 称为后验称为后验中位数估计；后验分布的期望值中位数估计；后验分布的期望值 称为称为 的后验的后验期望值估计，这三个估计都称为贝叶斯估计，记期望值估计，这三个估计都称为贝叶斯估计，记为为 。)( xMDMeEB),(pnB),(Be,),(xnxBenxnxEMD,21例例1 为估计不合格率为估计不合格率 ，今从一批产品中随机抽取，今从一批产品中随机抽取n件，其中不合格品数件，其中不合格品数X服从服从 ，一般选取，一般选取 为为 的先验分布，设的先验分布，设 已知，由共轭先验分布可已知，由共轭先验分布可知，知，

27、 的后验分布为的后验分布为可计算得：可计算得： 24选用贝叶斯假设选用贝叶斯假设 ，则，则 121,nxnxEMD第一、在二项分布时，第一、在二项分布时， 的最大后验估计就是经典的最大后验估计就是经典统计中的极大似然估计，即统计中的极大似然估计，即 的极大似然估计就是的极大似然估计就是取特定的先验分布下的贝叶斯估计。取特定的先验分布下的贝叶斯估计。第二、第二、 的后验期望值估计的后验期望值估计 要比最大后验估要比最大后验估计计 更合适一些。更合适一些。 EMD第三、第三、 的后验期望值估计要比最大后验估计更合适一的后验期望值估计要比最大后验估计更合适一些。些。 表表2.1列出四个实验结果列出四

28、个实验结果,在试验在试验1与试验与试验2中中,“抽抽检检3个产品没有一件不合格个产品没有一件不合格”与抽检与抽检10个产品没有一件个产品没有一件是不合格是不合格”这两件事在人们心目中留下的印象是不同这两件事在人们心目中留下的印象是不同的。后者的质量要比前者的质量更信得过。的。后者的质量要比前者的质量更信得过。25试验号试验号样本量样本量n不合格不合格数数x13000.200210000.08333310.8004101010.91721nxEnxMD表表3.1 不合格率不合格率 的二种贝叶斯估计的比较的二种贝叶斯估计的比较26在试验在试验3和试验和试验4中，中，“抽检抽检3个产品全部不合格个产

29、品全部不合格”与与抽检抽检“10个产品全部不合格个产品全部不合格”也是有差别的。在实也是有差别的。在实际中，人们经常选用后验期望估计作为贝叶斯估计。际中，人们经常选用后验期望估计作为贝叶斯估计。2.2.贝叶斯估计的误差贝叶斯估计的误差 设设 是是 的一个贝叶斯估计，在样本给定后，的一个贝叶斯估计，在样本给定后， 是一是一个数，在综合各种信息后，个数，在综合各种信息后， 是按是按 取值，所以取值，所以评价一个贝叶斯估计的误差的最好而又简单的方式是评价一个贝叶斯估计的误差的最好而又简单的方式是用用对对 的后验均方差或平方根来度量，定义如下：的后验均方差或平方根来度量，定义如下：)(x2)()(xE

30、xMSE称为称为 的后验均方差的后验均方差,而其平方根称为后验标准差而其平方根称为后验标准差.)(x定义定义3.2 设参数设参数的后验分布为的后验分布为 ,贝叶斯估计为贝叶斯估计为 ,则则 的后验期望的后验期望 27当当 时时,则则,称为后验均方差称为后验均方差.后验均方差与后验方差有如下关系后验均方差与后验方差有如下关系: )(xEE)()()(2xVarExMSEExE222)()()()()()(EEExxxVarEExMSE这表明这表明,当当 时时,可使后验均方差达到最小可使后验均方差达到最小,实际中常取后验均值作为实际中常取后验均值作为 的贝叶斯估计值的贝叶斯估计值.E28例例2 设

31、一批产品的不合格率为设一批产品的不合格率为 ,检查是一个一个进行检查是一个一个进行,直到发现第一个不合格品为止直到发现第一个不合格品为止,若若X为发现第一个不合为发现第一个不合格品时已检查的产品数格品时已检查的产品数,则则X服从几何分布服从几何分布,其分布列为其分布列为, 2 , 1,)1 ()(1xxXPx3 , 2 , 1,31)4(iiP2)41 (431)4, 3(iiiXP设设 的先验分布为的先验分布为 , 如今只获得如今只获得一个样本观察值一个样本观察值x=3,求求 的最大后验估计的最大后验估计,后验期望后验期望估计估计,并计算它的误差并计算它的误差.故联合分布为故联合分布为 X=

32、3的无条件概率为的无条件概率为(利用全概率公式利用全概率公式)29485)41(43)42(42)43(4131)3(222XP3 , 2 , 1,)41 (54)3()4, 3()34(2iiiXPiXPXiP故故或或 41 42 43 )34(XiP 209 208 203 可看出可看出, 的最大后验估计的最大后验估计 41MD4017)3(XEE160051)4017(8017)()()(222xExExVar的后验方差为的后验方差为161)401741 (160051)()()(22ExVarxMSEMD303.区间估计区间估计(可信区间可信区间) 对于区间估计问题对于区间估计问题,贝

33、叶斯方法具有处理方便和含义清贝叶斯方法具有处理方便和含义清晰的优点晰的优点,而经典方法求置信区间常受到批评而经典方法求置信区间常受到批评.定义定义3.3 参数参数 的后验分布为的后验分布为 ,对给定的样对给定的样本本 和概率和概率 ,若存在这样的二个统计若存在这样的二个统计量量 与与 ,使得使得)( xx) 10(1)(xLL)(xUU1)(xPUL则称区间则称区间 为参数的可信水平为为参数的可信水平为 贝叶斯贝叶斯可信区间可信区间,或简称为或简称为 的的 可信区间可信区间.而满足而满足,UL11311)(xPL的的 称为称为 的的 (单侧单侧)可信下限可信下限. L11)(xPU满足满足 的

34、的 称称 为为 的的 (单侧单侧)可信上限可信上限.U1这里的可信水平和可信区间与经典统计中的置信水这里的可信水平和可信区间与经典统计中的置信水平与置信区间虽是同类的概念平与置信区间虽是同类的概念,但两者还是有本质的但两者还是有本质的差别差别,主要表现在下面二点主要表现在下面二点:1. 在条件方法下在条件方法下,对给定的样本对给定的样本 和可信水平和可信水平 ,通过后验分布可求得具体的可信区间通过后验分布可求得具体的可信区间,譬如譬如, 的可信的可信水平为水平为0.9的可信区间是的可信区间是 ,这时我们可以写出这时我们可以写出x19 . 0)6 . 25 . 1 (xP6 . 2 , 5 .

35、1 32 2.在经典统计中寻求置信区间有时是困难的在经典统计中寻求置信区间有时是困难的,因为它因为它要设法构造一个枢轴量要设法构造一个枢轴量,使它的分布不含未知参数使它的分布不含未知参数,这是一项技术性很强的工作这是一项技术性很强的工作.相比之下可信区间只要相比之下可信区间只要利用后验分布利用后验分布,不需要再去寻求另外的分布不需要再去寻求另外的分布, 可信区可信区间的寻求要简单得多间的寻求要简单得多.例例3 设设 是来自正态总体是来自正态总体 的一的一个样本观察值个样本观察值,其中其中 已知已知,若正态均值的先验分布若正态均值的先验分布取为取为 ,其中其中 与与 已知已知,则可求得则可求得

36、的后的后验分布为验分布为 ,由此获得由此获得 的的 可信区间可信区间nxxx,21),(2N2),(2N),(211N11)(21112111P33EX1 设随机变量设随机变量X的密度函数为的密度函数为(1)假如假如的先验分布为的先验分布为U(0,1),求求的后验分布的后验分布.(2)假如假如的先验分布为的先验分布为求求的后验分布及后验期望估计的后验分布及后验期望估计10 ,2)(2xxxp10 ,3)(21ln, 1,)1 ()() 1 (2xxxxxxxE21, 1,)1 (1)()2(xxxxE343、2贝叶斯决策方法贝叶斯决策方法决策就是对一件事作决定。它与推断的差别在于是决策就是对一

37、件事作决定。它与推断的差别在于是否涉及后果。统计学家在作推断时是按统计理论进否涉及后果。统计学家在作推断时是按统计理论进行的，但很少考虑结论在使用后的损失。可决策者行的，但很少考虑结论在使用后的损失。可决策者在使用推断时必需与得失联系在一起，能带来利润在使用推断时必需与得失联系在一起，能带来利润的就会使用，使他遭受损失的就不会采用，度量得的就会使用，使他遭受损失的就不会采用，度量得失的尺度就是损失函数。它是著名的统计学家失的尺度就是损失函数。它是著名的统计学家A.Wald（19021950）在）在40年代引入的一个概念。年代引入的一个概念。从实际归纳出损失函数是决策的关键。从实际归纳出损失函数

38、是决策的关键。贝叶斯决策：把损失函数加入贝叶斯推断就形成贝叶斯决策：把损失函数加入贝叶斯推断就形成贝叶斯决策论，损失函数被称为贝叶斯统计中的第贝叶斯决策论，损失函数被称为贝叶斯统计中的第四种信息。四种信息。35一、决策的基本概念一、决策的基本概念321,321,aaa 32 0 1 4341 2例例1 设甲乙二人进行一种游戏，甲手中有三张牌，设甲乙二人进行一种游戏，甲手中有三张牌，分别标以分别标以 。乙手中也有三张牌，分别标。乙手中也有三张牌，分别标以以 。游戏的规则是双方各自独立的出牌，。游戏的规则是双方各自独立的出牌，按下表计算甲的得分与乙的得分。按下表计算甲的得分与乙的得分。321aaa

39、32136这是一个典型的双人博弈（赌博）问题。不少实际问这是一个典型的双人博弈（赌博）问题。不少实际问题可归纳为双人博弈问题。把上例中的乙方改为自然题可归纳为双人博弈问题。把上例中的乙方改为自然或社会，就形成人与自然（或社会）的博弈问题。或社会，就形成人与自然（或社会）的博弈问题。例例2 农作物有两个品种：产量高但抗旱能力弱的农作物有两个品种：产量高但抗旱能力弱的品种品种 和抗旱能力强但产量低的品种和抗旱能力强但产量低的品种 。在明年雨量不知的情况下，农民应该选播哪个品在明年雨量不知的情况下，农民应该选播哪个品种可使每亩平均收益最大？这是人与自然界的博种可使每亩平均收益最大？这是人与自然界的博

40、弈。以明年弈。以明年60mm雨量为界来区分雨量充足雨量为界来区分雨量充足 和雨量不充足和雨量不充足 。写出收益矩阵（单位：元）。写出收益矩阵（单位：元）121221aa21aa100020010040037例例3 一位投资者有一笔资金要投资，有以下几个一位投资者有一笔资金要投资，有以下几个投资供他选择：投资供他选择：购买股票，根据市场情况，可净赚购买股票，根据市场情况，可净赚5000元，元，但可但可 能使他亏损能使他亏损10000元元存入银行，不管市场情况如何总可净赚存入银行，不管市场情况如何总可净赚1000元元:21aa212121aa这位投资者在金融市场博弈。未来的金融市场也有两这位投资者

41、在金融市场博弈。未来的金融市场也有两种情况：看涨种情况：看涨 与看跌与看跌 可写出投资者的收益矩阵可写出投资者的收益矩阵50001000-100001000投资者将依据收益矩阵决投资者将依据收益矩阵决定他的资金投向何方定他的资金投向何方这种人与自然（或社会）这种人与自然（或社会）的博弈问题称为决策问题的博弈问题称为决策问题38二、决策的三要素二、决策的三要素1a aA1 状态集状态集 ，其中每个元素，其中每个元素 表示自然表示自然界（或社会）可能出现的一种状态，所有可能状界（或社会）可能出现的一种状态，所有可能状态的全体组成状态集。态的全体组成状态集。2 行动集行动集 ，其中，其中a表示人对自

42、然界可能表示人对自然界可能采取的一个行动采取的一个行动一般行动集有两个以上的行动可供选择。若有两一般行动集有两个以上的行动可供选择。若有两个行动无论对自然界的哪一个状态出现，个行动无论对自然界的哪一个状态出现， 总总比比 收益高，则收益高，则 就没有存在的必要，可把就没有存在的必要，可把它从行动集中去掉，使留在行动集中的行动总有它从行动集中去掉，使留在行动集中的行动总有可取之处。可取之处。22aa 393 收益函数收益函数 ，函数值，函数值 表示表示当自然界处于状态当自然界处于状态 ，而人们选取行动，而人们选取行动 时所时所得到的收益大小。得到的收益大小。收益函数的值可正可负，若正表示盈利，负

43、表示亏收益函数的值可正可负，若正表示盈利，负表示亏损，单位常用货币单位，收益函数的建立不是件容损，单位常用货币单位，收益函数的建立不是件容易的事，要对所研究的问题有全面的了解才能建立易的事，要对所研究的问题有全面的了解才能建立起来。收益矩阵起来。收益矩阵aQ,ijanmnnmmQQQQQQQQQQ212222111211,ijijQaQ40三、损失函数三、损失函数1、从收益到损失、从收益到损失为了统一处理，在决策中常用一个更为有效的概念：损为了统一处理，在决策中常用一个更为有效的概念：损失函数。在状态集和行动集都为有限时用损失矩阵。失函数。在状态集和行动集都为有限时用损失矩阵。这里的损失函数不

44、是负的收益，也不是亏损。例如，这里的损失函数不是负的收益，也不是亏损。例如，某商店一个月的经营收益为某商店一个月的经营收益为1000元，即亏元，即亏1000元。元。这是对成本而言。我们不能称为损失，而称其为亏损。这是对成本而言。我们不能称为损失，而称其为亏损。我们讲的损失是指我们讲的损失是指“该赚而没有赚到的钱该赚而没有赚到的钱”，例如该，例如该店本可以赚店本可以赚2000元，当由于某种原因亏了元，当由于某种原因亏了1000元，那元，那我们说该店损失了我们说该店损失了3000元。用这种观点认识损失对提元。用这种观点认识损失对提高决策意识是有好处的。高决策意识是有好处的。按上述观点从收益函数可以

45、很容易获得损失函数。按上述观点从收益函数可以很容易获得损失函数。41例例4 某公司购进某种货物可分大批某公司购进某种货物可分大批、中批和小批中批和小批三种行动，记为三种行动，记为 ，未来市场需求量，未来市场需求量可分为高可分为高、中中、低三种状态，记为低三种状态，记为 ，三个行动在不同的市场的利润如下三个行动在不同的市场的利润如下这是一个收益矩阵，我们把它改写为损失矩阵如下：这是一个收益矩阵，我们把它改写为损失矩阵如下：321,aaa18 . 07 . 22432610Q321,0481023.71.80L321,aaa422、损失函数、损失函数aQaQaLAa,max aLaA,构成决策问题的三要素：构成决策问题的三要素：由收益函数容易获得损失函数由收益函数容易获得损失函数例例5 某公司购进一批货物投放市场，若购进数量某公司购进一批货物投放市场，若购进数量a低低于市场需求量于市场需求量 ，每吨可赚，每吨可赚15万元。若购进数量超万元。若购进数量超过市场需求量过市场需求量 ，超过部分每吨反要亏损，超过部分每吨反