贝叶斯估计-文档资料

1、1贝贝 叶叶 斯斯 统统 计计(Bayesian Statistics)2（Bayes，Thomas）(17021761) 贝叶斯是英国数学家贝叶斯是英国数学家.1702年生于伦敦；年生于伦敦；1761年年4月月17日日卒于坦布里奇韦尔斯卒于坦布里奇韦尔斯. 贝叶斯是一位自学成才的数学家贝叶斯是一位自学成才的数学家.曾助理宗教事务，后来曾助理宗教事务，后来长期担任坦布里奇韦尔斯地方教堂的牧师长期担任坦布里奇韦尔斯地方教堂的牧师.1742年，贝叶斯被年，贝叶斯被选为英国皇家学会会员选为英国皇家学会会员. 如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶如今在概率、数理统计学中以贝叶斯姓氏命名的有

2、贝叶斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶斯估计量、贝叶斯方法、贝叶斯统计等等叶斯估计量、贝叶斯方法、贝叶斯统计等等. 3贝叶斯方法(Bayesian approach ) 贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计问题的方法(Samuel Kotz和吴喜之,2000)。 贝叶斯推断的基本方法是将关于未知参数的先验信息与样本信息综合，再根据贝叶斯定理，得出后验信息，然后根据后验信息去推断未知参数(茆诗松和王静龙等,1998年)。 “贝叶斯提出了一种归纳推理的理论(贝叶斯定理)，以后被一些统计学者发展为一种

3、系统的统计推断方法，称为贝叶斯方法.”摘自中国大百科全书（数学卷）4 统计学有两个主要学派:频率学派与贝叶斯学派.它们之间有异同,贝叶斯统计是在与经典统计的争论中发展起来,主要的争论有:1.未知参数可否作为随机变量?2.事件的概率是否一定的频率解释?3.概率是否可用经验来确定?.1.1 先介绍三种信息的概念经典统计学派规定统计推断使用两种信息: 总体信息总体信息 样本信息样本信息 而而贝叶斯学派认为是三种信息: 总体信息总体信息 样本信息样本信息 先验信息先验信息第一章先验分布与后验分布5 总体信息总体信息 即总体分布或总体所属分布族给我们的信息。譬如，“总体是正态分布”就给我们带来很多信息：

4、他的密度函数是一条钟形曲线；他的一切一阶距都存在；有关正态变量（服从正态分布随机变量）的一些事件的概率可以计算；由正态分布可以导出分布，分布和分布等重要分布，还有许多成熟的点估计、区间估计和假设检验方法可供我们选用。总体信息是很重要的信息，为了获得此信息，往往耗资巨大。 6 样本信息样本信息 从总体中抽取的样本给我们提供的信息从总体中抽取的样本给我们提供的信息。 这是最“新鲜”的信息，并且愈多愈好。人们希望对样本的加工和处理对总体的某些特征作出较为精确的统计推断。没有样本就没有统计学可言。这是大家都理解的事实。 7 样本信息样本信息 基于上述两种信息进行的统计推断称为经典统计学，基于上述两种信

5、息进行的统计推断称为经典统计学，它的基本观点是把数据（样本）看成是具有一定概率它的基本观点是把数据（样本）看成是具有一定概率分布的总体，所研究的对象是这个总体而不局限于数分布的总体，所研究的对象是这个总体而不局限于数据本身。这方面最早的工作是高斯据本身。这方面最早的工作是高斯(Gauss,C.F.17771855）和勒让德）和勒让德（Legendre,A.M.17521833）的误差分析，正态分）的误差分析，正态分布和最小二乘法。从十九世纪末到二十世纪上半叶，布和最小二乘法。从十九世纪末到二十世纪上半叶，经皮尔逊（经皮尔逊（Pearson,K.18571936）、费歇）、费歇（Fisher,R

6、.A.18901962）奈曼（）奈曼（Neyman.J.）等）等人的杰出工作创立了经典统计学。随着经典统计学的人的杰出工作创立了经典统计学。随着经典统计学的持续发展与广泛的应用，它本身的缺陷也逐渐暴露出持续发展与广泛的应用，它本身的缺陷也逐渐暴露出来了。来了。8先验信息先验信息 即在抽样之前有关统计问题的一些信息，一般说来，先验信息主要来源于经验和历史资料。 例1：有一英国妇女，对奶茶能辨别出先倒进茶还是先倒进奶，做十次试验她都正确说出。 . 5 . 0,0009766. 05 . 0)10(, 5 . 0:010100是经验在起作用可见应拒绝小概率事件这是几乎不可能发生的那么十次猜中的概率为

7、每次成功概率若PHPPH 某学生第一次第一次看到他的数学老师,即有反应:老师30岁到40之间,极可能35岁左右(左右可理解为正负3岁,极可能可理解为90%的可能).P(32X38)=0.909三种信息三种信息 基于上述三种信息（总体信息、样本信息和先验信息）进行的统计推断被称为贝叶斯统计学。它与经典统计学的主要差别在于是否利用先验信息。贝叶斯统计学派把任意一个未知参数都看成贝叶斯统计学派把任意一个未知参数都看成随机变量，应用一个概率分布去描述它的未知状况，该分布称为随机变量，应用一个概率分布去描述它的未知状况，该分布称为先验分布。先验分布。 ., ,0,.,2 , 1,)()(,:2免检产品使

8、用单位就可以确认为的不合格率分布一致取几件产品与历史资料可见假定以后每天都抽信得过产品该产品为那么附近部分在若这个分布的概率绝大先验分布一个分布对过去的不合格率构造根据历史资料以估计不合格率品工厂每天都抽取几件产的确定免检产品例niniPi10 后 验 信 息 统 计 推 断 贝 叶 斯 定 理 先 验 信 息 样 本 信 息 信息处理信息处理11 设自然状态设自然状态 有有k种，种， 1， 2， k，P（ i）表示自然状态）表示自然状态 i发生的先验概率分布，发生的先验概率分布， P（x i）表示在状态）表示在状态 i条件，事件为条件，事件为x的概的概率。率。 P（ i x ）为）为 i发生

9、的后验概率。发生的后验概率。全概率公式：全概率公式：P（x）为）为x在各种状态下可能出现在各种状态下可能出现的概率综合值。的概率综合值。KiiiiiiKiiiPxPPxPxPPxPxP11)()|()()|()|()(Bayes)()|()(：后验概率公式公式全概率公式：从概率论的从概率论的Bayes公式谈起公式谈起 注注:把事件把事件 i，x看为随机变量看为随机变量,上公式则为上公式则为Bayes后验分布后验分布12 1.2贝叶斯公式的密度函数形式 13 1.2贝叶斯公式的密度函数形式 141.2贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式151.2贝叶斯公式的密度函数形式贝叶斯公式的密

10、度函数形式161.2贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式后验分布是三种信息的综合后验分布是三种信息的综合,先验分布反应人们在抽样前先验分布反应人们在抽样前对参数的认识对参数的认识,后后验分布反应人们在抽样后对参数的认识验分布反应人们在抽样后对参数的认识Bayes统计推断原则统计推断原则:对参数 所作任何推断(参数估计,假设检验等)都必须建立在后验分布基础上.171.2贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式例例:为了提高某产品质量为了提高某产品质量,公司经理考虑投资公司经理考虑投资100万改进设万改进设备备,下属部门提出两种实施意见下属部门提出两种实施意见:意见1:改进生产

11、设备后,高质量产品占高质量产品占90%意见2:改进生产设备后,高质量产品占高质量产品占70%但经理根据以往两部门建议情况认为但经理根据以往两部门建议情况认为.意见意见1的可信度只的可信度只有有40%,而意见案而意见案2的可信度只有的可信度只有60%,6 . 0)(, 4 . 0)(:21即经理主观概率,5,全是高质量产品个产品试产经理作小型试验得事件为保险A168. 07 . 0)(,590. 09 . 0)(,5251ApAp而337. 0)()()()()(,2211ApApAp由全概率公式181.2贝叶斯公式的密度函数形式贝叶斯公式的密度函数形式3 . 0 , 7 . 06 . 0 ,

12、4 . 0,21调整为从的可信程度对经理即经过试验A9,10,个全是高质量产品有个产品试产件经理又作小型试验得事为保险B121. 0) 3 . 0()7 . 0(10)(,387. 0) 1 . 0()9 . 0(10)(,9291BpBp而300. 0)(/ )()()(700. 0)(/ )()()(,221111ApApAApApABayes公式由117. 0)(,883. 0)(307. 0)(3 . 0)(,7 . 0)(,2121BBBp此时.,883. 0%)90(,1可投资了已上升到的概率高质量产品占经过二次试验对经理看到19 贝塔分布贝塔分布(beta distributio

13、n) 20信息验前分布信息验前分布101( )0 其它场合10 ,.,1 , 0,)1 ()()(),(nxxnxfxhXxnx的联合分布是与参数样本此式在定义域上与二项分布有差别。再计算的边缘分布此式在定义域上与二项分布有差别。再计算的边缘分布21 信息验前分布信息验前分布1100(1) (1)( )( , )(1)(2)xn xnnxnxm xh xddxxn 最后可得的后验分布(1) 1(1) 1( , )(2)( | )(1),01( )(1) (1)xn xh xnxm xxnx 22 信息验前分信息验前分布布例 Laplace在1786年研究了巴黎的男婴出生的比率,他希望检验男婴出

14、生的概率 是否大于0.5.为此,他收集到17451770年在巴黎出生的婴儿数据.其中,男婴251527个,女婴241945个,他选用U(0,1)作为 的先验分布,则 的后验分布服从 分布:493472241945251527,251527,)241946,251528() 1, 1(nxBexnxBe其中010145. 1)1 () 1() 1()2(5 . 0425 . 00函数SASxnxdxnxnxp推断推断:男婴出生的概率大于男婴出生的概率大于0.55097. 0493472251527nx23 先验分布的选取 有信息的： 已知分布类型、参数等 无信息的： 最大熵、共轭分布、Bayes

15、假设 基于经验的： 利用样本确定先验分布 24 验前信息处理验前信息处理-无信息验前分布无信息验前分布., ,在实践中也有重要意义统计中的理论问题是如何确定验前分布没有验前信息Bayes0)(),(cBayesBayes即均匀分布假设遵循同等无知原则假设.5 . 0,).(提供信息概率的先验显然是没有每一假设都给以对如检验两个简单假设时偏爱任何值都没有的它对的信息但不包含无信息先是指一个先验.,:且不满足变换不变性无法定义一个均匀分布为无穷区间若注25 位置与尺度问题的无信息验前位置与尺度问题的无信息验前).(,),(:布如方差已知时的正态分称为位置参数位置参数族这类密度组成的概率密度具有形式

16、设总体位置参数密度xfX.),(),().(,的统计结构相同问题问题和因此的密度为则得也移到一个量则得到移动一个量设想要YXyfYCCCXYCX. 1)(,)0()(,).()(),()()(),()(),(),(*所以为常数则有取则同时有的验前密度为的验前密度为设cccccddYX.,:布假设作为无信息验前分其验前分布可用为位置参数时若注Bayes26 位置与尺度问题的无信息验前位置与尺度问题的无信息验前), 0(.(,),(1:2NxfX如称为尺度参数尺度参数族这类密度组成的概率密度具有形式设总体尺度参数密度.),(),().(1,),0(,问题的统计结构相同问题与因此函数为的密度则类似地

17、定义即改变比例设想要YXyfYcccXYX.)(,),1 (1)(,).(1)(),(1)(),()(),(),(1*则取则有取则同时有的验前密度为的验前密度为设ccccccccYX27 位置与尺度问题的无信息验前例位置与尺度问题的无信息验前例.,)(exp)(),;(1的无信息验前与试求分布参数密度函数例xxxfWeibull则有令为尺度参数为位置参数取),ln(),ln(,1xw ,exp1),;(wweewf11*21*1)(),(),(,)(,)()(,为相应的无信息验前分布则由随机变量函数知dd),(.(,),(1:2NxfX如尺度参数称为位置尺度参数族位置这类密度组成的概率密度具有

18、形式设总体尺度参数密度位置,1),(,11故其的联合分布为相互独立和设28 Jeffreys验前例验前例.),(,),(),.,(2221验前的试求的一组样本是来自正态分布设JeffreysNxxxXnnixieXl1221ln)(:2数写出样本的对数拟然函;200)()()()(),(:22222222nnlElElElEIFisher信息阵其niixnl122)(21ln)2ln(21),(.2),(:),( ,22nJeffreys验前为的所以42),(detnI;),(,;)(,2)(,; 1)(: ,)(,:1122独立和当已知当已知当注nInI29 Jeffreys验前验前:,),

19、.,(,)(),.,(2121其步骤如下的验前分布信息阵的平方根作为用无验前信息可用时在这里的一个样本是来自密度函数设FisherJeffreysxfxxxXpn; )(ln)(:. 11niixfXl数写出样本的对数拟然函.,:可根据具体问题选用的无验前密度不唯一一般地注;)(:. 22jixlEI求样本的信息阵;)(:) 1(22lEIpx时在单参数.)(det)(:. 321I的无信息验其密度为30 含部分信息的最大熵验前含部分信息的最大熵验前.)(,)()(ln)()()(ln)(,:000的熵为称记上的一个概率密度为分布且存在不变无信息验前为连续参数集如果定义HdEH:,)(表示为的

20、验前密度作为最大值时的则在上述约束下使熵取mkdggEkkk,.,2 , 1,)()()(:式给出如果部分验前信息由下dggmkkkmkkk)(exp)()(exp)()(101031 含部分信息的最大熵验前含部分信息的最大熵验前.)()(ln)()(ln)(,:1的熵为称记上的一个概率密度为为离散参数集如果定义HEHmiii:,)(表示为的验前密度作为最大值时的则在上述约束下使熵取mkggEkmiiikk,.,2 , 1,)()()(:1式给出如果部分验前信息由下nimkkkmkkkgg111)(exp)(exp)(32 含部分信息的最大熵验前例含部分信息的最大熵验前例1:, 5)(,)(,

21、.,2 , 1 , 011则最大熵先验分布为设Eg)(1 (11)()exp(exp)(1111011eeeeppppxxpxfepx)1 (,)1 ()()1 ()(),(, 1)(1其均值的负二项分布服从且61)( 5)1 (5)(1 ()(111111eeeeeE)61(65)61)(611 ()(33 含部分信息的最大熵验前例含部分信息的最大熵验前例2:,)()(,)(, 1)(,222211201则最大熵先验分布为已知和方差先验分布均值布为则自然的无信息先验分为一位置参数设ggRd )(exp)(exp)(221221222122221)2()(上式中4)2(22112212d)4e

22、xp()2(exp)4exp()2(exp)(221122122211221234 含部分信息的最大熵验前例含部分信息的最大熵验前例2),()(2N为22121,0)2(exp)2(exp)2(exp)(221222122212BdAAdBdg)2(exp)()(221211dBdg)2(exp)()()(2212222235 利用边缘分布确定验前利用边缘分布确定验前:,),(),.,(,)(),.,(2121联合分布为于是其密度为这里的一个样本是来自密度函数设XxfxxxXpn;)()(),(xfxh:),(),(:的边缘分布为则每个若iiiiixxiidfxiid离散形连续形的预测分布的边

23、际密度为)()()()()()()()()(xfdxfFdxfxmxmXX)()()(00iiiiFdxfxm: )(.,.,021现以连续形为例作计算这个结论可直接算出一个随机样本可看成取自 mxxxp36 利用边缘分布确定验前利用边缘分布确定验前.),(),(),.,(0021获得的前提看作可把再由此估计来估计这样可以用数据XxmXXXXndxfxm)()()(dxfpipiiii110)()( piiidxf10)()(piixm10)(.)() (,2为最大拟然先验分布则称满足是一类先验分布族设定义法确定先验分布用xmSUPxmML37 利用边缘分布确定验前利用边缘分布确定验前),()

24、(),()(),(2222fifNxmNNX则边缘分布时条件分布为在给定设于是其中),()(,220fiNxm)(2)(exp)(21)(22212122fipifxxmpiixmXm10)()(由)(2)(exp)(22212222fpiipfx)(2)(exp)(2)(exp)(22222212222ffpiipfxppxxp38 利用边缘分布确定验前利用边缘分布确定验前达最大可使如何不论知由)(,)(2)(exp2222xmxxf求其最大值则可故只需令)(2exp)(2)(2222222fpfps)(2)(exp)(2exp)(2)(222222222ffpfxppsxmpiipiipx

25、xsxpx1221)(,1取0)(2)(2)(ln22222222ffpspdd取222fS得为最大点时若注意到22222:ffSS为最大点则取时而若00222222ffSS., 0max,1,),(2222122fpiiMLSxpN其中39 利用矩方法确定先验分布利用矩方法确定先验分布)()()(,)(,)()()(22222mffmfmmmffEEExmXxfX则并假设它们都存在的期望与方差的边缘密度分别表示和的期望与方差关于密度分别表示和设.:;),()(:)2()(:;,)(:) 1 (1222222为先验方差其中则无关的常数与若其中则若推论fmffmfE40 利用矩方法确定先验分布利

26、用矩方法确定先验分布)2 , 1 ()(2, 113)( 11)(, 1, 1) 1 ,(, 3; 1:22222222NNXfmfmffmm则常数利用推论知由已知解., 31, 3, 1),(),1 ,(122试确定其先验分布和即方差为的均值为主观经验预测为的先验分布类设例mmXNNX.:;),()(:)2()(:;,)(:) 1 (1222222为先验方差其中则无关的常数与若其中则若推论fmffmfE41 利用矩方法确定先验分布利用矩方法确定先验分布., 0, 1,;:22222222222000根据条件密度来确定利用推论已知解ffffmmmmsMaxsxsx.,)(11,.,212220

27、2100试确定其先验分布和分别为的矩估计和的样本为取自设例niimmnxxnsxmXXX.:;),()(:)2()(:;,)(:) 1 (1222222为先验方差其中则无关的常数与若其中则若推论fmffmfE42贝叶斯公式分析基础贝叶斯公式分析基础后先验分布后先验分布:指在给定指在给定X=x下下,参数参数 的条件分布的条件分布(X, )的联合分布记为:( | ) x ( , )h x( , )( | ) ( )h xx m x 其中( )m x是的边缘密度函数.dxfxm)()()( 上两公式用来对作出推断条件分布0)(,)()()()(),()(xmxmxfxmxhX43贝叶斯公式分析基础贝

28、叶斯公式分析基础)()(21exp)2()()(),(22221xxfxh).(,),()(,),(.,.,222221xNNiidXXXn试确定均已知已知设则均已知已知由于解,),()(,),(.:2222NN由完全平方得)()(21121)()(212222222222222xxx2222221)(令为找到xm)(21)(21)(12122222222222xxx)(21)(2212222222xx)(2)()(121222222xx44贝叶斯公式分析基础贝叶斯公式分析基础)(2)(exp)(121exp)2()()(),(2222221xxxfxh因此及)1),()(,)( ,()(22

29、xNxNxm于是)()(1)(,22222222222xxxxx其中)(121exp)2()(),()(22221xxmxhx)(2)(exp)()2(),()(222121xdxhxm45100)(225)100(21exp)2502()()(),(221xxfxh).(),225,100()(),100,(xNNX试确定设一智商测试结果,225,100),225,100()(,100)100,(.:22NN由于解)325(2)100(exp)150()225001002252()(2121xxm)325(2)(exp)32521()(2xxm)325,100(),()(22NNxm即)10

30、0225100(325225002250032521exp)222500325()(221xx23.69)139400(21exp23.6921)(2xx)23.69,139400()1),()(xNxNx即)23.69,39.110()115(N若46 1.3共轭分布法后验分布和先验分布是同一个类型后验分布和先验分布是同一个类型 47后验分布和先验分布是同一个类型后验分布和先验分布是同一个类型 1.3共轭分布法定义：定义：设是总体分布中的参数（或参数向量），是的先验密度函数，假如由抽样信息算得的后验密度函数与有相同的密度函数形式，则称是的（自然）共轭先验分布。 应该着重指出，共轭先验分布是对

31、某一分布中的参数而言的。如正态均值、正态方差、泊松均值等。离开指定参数及其所在的分布去谈论共轭先验分布是没有意义的。48正态均值（方差已知）的共轭先验分布是正态分布正态均值（方差已知）的共轭先验分布是正态分布 49若再记22220222210111,niiACxn正态均值（方差已知）的共轭先验分布是正态分布正态均值（方差已知）的共轭先验分布是正态分布 50正态均值（方差已知）的共轭先验分布是正态分布正态均值（方差已知）的共轭先验分布是正态分布 51 1.3共轭分布法 52)(),()(),(xbanBx试确定设例.)()().()(),()(的核称为则记若xfxgxgxfxkgxf 1.3共轭

32、分布法11)1 ()(,)1 ()(:baxnxxL核为拟然函数与先验密度的解xnxbaxLx)1 ()1 ()()()(:11则其先验密度的核为)1 ()1 (11分布的核此为xnxbnxa.),(),(,),()(的共轭先验分布是故nBbaxbnxax53).(),()(),(.,.,21xpiidxxxn试确定设例 1.3共轭分布法).exp()()exp()()(:11a有先验密度为解)(exp)()()(:1nxfxt则其先验密度的核为的共轭分布是即故)(),(),()(1Pnxaxniiniintniixxtxxxnxxfi1211,!.!)exp()exp(!)(:其拟然函数为5

33、4 1.3常用共轭先验分布常用共轭先验分布55 1.3共轭先验分布的优点共轭先验分布的优点 56 第二章贝叶斯推断(Bayesian Inference) 未知参数 的后验分布 是集中三种信息（总体，样本和先验）于一身，它包含了的所有可供利用的信息，所以有关的点估计，区间估计和假设检验等统计推断都按一定方式取信息，其提取方法与经典统计推断相比要简明明确得多。( | )x 条件方法条件方法：基于后验分布的统计推断就意味着只考虑已出现的数据（样本观察值），而认为未出现的数据与推断无关，这一重要的观点被称为“条件观点”，基于这种观点提出的统计推断方法称为条件方法。 2.1条件方法条件方法：57 案例

34、案例582.2贝叶斯估计(ayesian Estimation) 59为则其后验分布的先验分布为取解)(),(:2XN 2.2 Bayes点估计例点估计例222200222222000Bxx1222(/)( / )exp2/B AxAA 22220222210111,niiACxn其贝叶斯估计 为：60.,),()(),(EMDbanBx后验均值估计的最大后验估计试求设例 Bayes估计11)1 ()()()(:xbxaxLx其先验密度的核为解令无关与其中.c.,),()(,)1()(,),(2和故其期望是而其后验分布为和方差是的期望因banxaxbnxaxbabaabbaabacxaxxbn

35、)1ln(ln) 1()(ln101) 1() 1()(lnxbnxax2) 1(nbaxaMD.) 1 , 1 ()1 , 0(nxUMD时即当先验分布取.21) 1 , 1 ()1 , 0(nxUE时即当先验分布取) 1()()(2banbanxbnaxs61.,),(),(,EMDBenbXXn后验均值估计的最大后验估计试求作为先验分布常取贝塔分布服从二项分布其中不合格数件今从一批产品随机抽取为估计不合格率例 Bayes估计),(:xnxBe的后验分布为由上例知解.,),()(,)1()(,),(2nxxnxBexbabaabbaabaBeE故其期望是而其后验分布为和方差是的期望因2)

36、1(21),(nxbaabaBeMD的众数为62.,),()(),(EMDPx后验均值估计的最大后验估计试求设例 Bayes估计)(exp)(exp)(:111nnxxnaxanii其先验密度的核为解令无关与其中.c.)(,),(2nxnaE期望后验故其和方差为的期望因cnxnaxln)(ln) 1()(ln0)() 1()(lnnxnaxnxnaMD) 1(.)0 , 1 ()1 , 0(即为最大拟然估计时即当先验分布取xUMD.1)0 , 1 ()1 , 0(nxUE时即当先验分布取.nxns其后验标准差为63.),(,),(.,.,0021估计的试求为向量为已知其中BayesNPNiid

37、xxxn:其先验密度的核为)()(21exp)(:,.,:11221iTniinnxxXfxxx的联合密度解 由于正态分布的对称三种贝叶斯估计重合由于正态分布的对称三种贝叶斯估计重合. Bayes估计例估计例)()(21exp)(0100120iTniinxx)()(21)()(21exp)(1101001iTniiiTniixxxxX:其后验密度的核为64).,()(,nnPNX即有 Bayes估计例估计例)22(21exp)(111010 xnnXTTTT:),.,(,100211上式可写为有关可能与无关常数因子与下在忽略常数因子的情况记nniixxxxnx)()()(,110101011

38、10nxnnnn其中)()(21exp1nnTn)(2)(21exp110110 xnnTTnEMD)()(10101110 xnn)det()det(:1110nn广义方差65 Bayesian分析在医学检验的应用例分析在医学检验的应用例., .0 ,121没病表示有病表示表示验血呈阴性表示验血呈阳性设XX.95. 0)(,05. 0)(. 3 . 00(, 7 . 01(. 2 . 00(, 8 . 01(212211求后验分布有先验信息又已知XfXfXfXf离散形连续形的边际密度为)()()()()(xfdxfxmX66 Bayesian分析在医学检验的应用例分析在医学检验的应用例.%3

39、 .12,675. 0)0(325. 0) 1 (:的机会是有病的也仅有即使结果为阳性注意到与阴性的比例为化验结果预测为阳性和注mm325. 095. 03 . 005. 08 . 0)()1 ()()1 () 1 (2211ffm21877. 0325. 095. 03 . 0123. 0325. 005. 08 . 0) 1 ()()1 () 1(若若mfX675. 095. 07 . 005. 02 . 0)()0()()0()2(2211ffm219852. 0675. 095. 07 . 00148. 0675. 005. 02 . 0)0()()0()0(若若mfX67 2.2.2

40、贝叶斯估计的误差贝叶斯估计的误差 设设 是是 的一个贝叶斯估计，在样本给定后，的一个贝叶斯估计，在样本给定后， 是是一个数，在综合各种信息后，一个数，在综合各种信息后， 是按是按 取值，所以取值，所以评定一个贝叶斯估计的误差的最好而又简单的方式是评定一个贝叶斯估计的误差的最好而又简单的方式是用用 对对 的后验均方差或平方根来度量，具体定义的后验均方差或平方根来度量，具体定义如下：如下： 设参数设参数 的后验分布的后验分布 ，贝叶斯估计为，贝叶斯估计为 ，则则 的后验期望的后验期望 称为称为 后验均方差，而其平方根后验均方差，而其平方根 称为的后称为的后验标准误，其中符号验标准误，其中符号 表示

41、用条件分布表示用条件分布 求期望求期望当 为 的后验期望 时，则( | )x ( | )x ()|2( | )()xMSExE12( | )MSEx|xE(|)x ( | )EEx|2( | )()( | )xEMSExEVarx称为后验方差，其平方根12( | )Varx称为后验标准差。68 2.2.2后验方差与均方差后验方差与均方差69 Bayes估计的误差例估计的误差例 例例 设一批产品的不合格率为，检查是一个接一个地进设一批产品的不合格率为，检查是一个接一个地进行，直到出现不合格品为止，若表示第一发现不合格行，直到出现不合格品为止，若表示第一发现不合格品的已检查的产品数，显然服从几何分

42、布，即品的已检查的产品数，显然服从几何分布，即,.2 , 1,)1 ()(1xxXpx70 2.3区间估计区间估计(Interval Estimation) 71 先验可信区间先验可信区间72贝叶斯可信水平和可信区间与经典统 计中的置信水平和置信区间 的区别 73 2在经典统计中寻求置信区间有时是困难的，因为他要构造一个轴变量（含有被估参数的随机变量），使它的分布不含有未知参数，这是一项技术性很强的工作，不熟悉“抽样分布”是很难完成的，可寻求可信区间只要利用后验分布，不需要再去寻求另外的分布，二种方法相比较，可信区间的寻求要简单的多。 可信区间可信区间 74 可信区间可信区间75 案例案例76

43、 假设检验（假设检验（Hypothesis Test） 77信息检验处理信息检验处理78 贝叶斯统计和经典统计的比较l 是否利用先验信息l 对概率的不同解释 频率学派坚持概率的频率解释，并在这个基础上去理解一切统计推断的结论； 与此相反，贝叶斯学派赞成主观概率，概率是认识主体对事件出现可能性大小的相信程度它不依赖事件能否重复。 l 具体统计理念的差异 统计学奠基人费歇尔把统计学的任务概括为三个问题：选定模型,、确定统计量和决定统计量的分布。 贝叶斯学派认为：先验分布反映了试验前对总体参数分布的认识，在获得样本信息后，对这个认识有了改变，其结果就反映在后验分布中，即后验分布综合了先验分布和样本的

44、信息。 79经典统计学派对贝叶斯统计的批评贝叶斯方法受到了经典统计学派中一些人的批评,批评的理由主要集中在以下三点： (1) 贝叶斯方法具有很强的主观性而研究的问题需要更客观的工具。经典统计学是“客观的”, 因此符合科学的要求。而贝叶斯统计学是“主观的”，因而(至多)只对个人决策有用。 (2)应用的局限性,特别是贝叶斯方法有许多封闭型的分析解法,不能广泛地使用。 (3)先验分布的误用。 80 对以上这些批评,贝叶斯学派的回答如下：81 贝叶斯估计的一般步骤贝叶斯估计的一般步骤 82 验前信息处理验前信息处理83二项分布参数的估计二项分布参数的估计 84 验前信息处理验前信息处理85 86一线性模型参数Bayes估计的概念设TPXXXX),.,(21Y为响应变量。现设样本向量)()2()1(nXXX，取自P元总体的样本。十十. 线性模型参数得线性模型参数得Bayes估计估计线性模型：enppnnDeCoveEeXY)(0)(2111TnyyY),(1为可控向量，).(), 0(的先验分布为已知eDNe87二线性模型参数Bayes估计的概念)()(:100XYDXXDXDBayeseTTX估计为的则参数十十. 线性模型参数的线性模型参数的Bayes估计估