最小方差无偏估计UMVUEppt课件

1、 第六章 第三节最小方差无偏估计 一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式优良的无偏估计都是充分统计量的函数优良的无偏估计都是充分统计量的函数. .将之应用在参数估计中可得将之应用在参数估计中可得:( ),( ( )()EYVarYVar X其中等号成立的充要条件为其中等号成立的充要条件为X与与 (Y)几乎处处相等几乎处处相等.定理定理1:设设X和和Y是两个是两个r.v.,EX=,VarX0,令令( )(|)yE X Yy则有则有1(,)nTT xx1( ,),|),nxxET令(则是样本是样本, 是是的充分统计量的充分统计量,1,nxx定理定

2、理2: 设总体的概率函数为设总体的概率函数为p(x;), VarVar也是 的无偏估计,且对对的任一无偏估计的任一无偏估计 一、Rao-Blackwell 定理注注:定理定理2表明表明: 若无偏估计不是充分统计量的函数若无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可得一个新的无则将之对充分统计量求条件期望可得一个新的无偏估计偏估计,且它为充分统计量的函数且方差会减小且它为充分统计量的函数且方差会减小. 即即, 考虑点估计只需在充分统计量的函数中进行考虑点估计只需在充分统计量的函数中进行, 这就是这就是 充分性原则充分性原则.11(|),niitETttx( )=其中令令=p2 ,

3、 那么那么1211,11 ,0,xxelse为为的无偏估计的无偏估计.因为因为 是充分统计量是充分统计量 ,由定理由定理2, 从而可令从而可令1niiTx可得可得(1)( )(1)t ttn n=故故 为为的无偏估计的无偏估计.且且1( )()VarVar例例1.1.设设1(,)nxx为来自为来自b(1,p) 的样本的样本, 求求p2的的U.E()xTnx或为为p 的充分统计量的充分统计量解：前已求过解：前已求过:进一步改进：进一步改进：1(|)( ),ETT=(1)(1)T Tn n=二、最小方差无偏估计定义定义:,( )( ),.VarVarUMVUE设 是 的一个无偏估计量 若对于 的任

4、一方差存在的无偏估计量 都有则称 是的一致最小方差无偏估计 记为注：注： 一致最小方差无偏估计是一种最优估计一致最小方差无偏估计是一种最优估计.由定理由定理2, 只要它存在只要它存在.它一定是充分统计量的函数它一定是充分统计量的函数.一般地一般地,若依赖若依赖于充分统计量的无偏估计只有一个于充分统计量的无偏估计只有一个,它一定是它一定是UMVUE.Problem： 无偏估计的方差是否可以任意小无偏估计的方差是否可以任意小? ? 如果不能任意小如果不能任意小, ,那么它的下界是什么那么它的下界是什么? ?( , )0,Cov 1(,)nxx是总体是总体X的样本的样本,1,nxx定理定理3: (U

5、MVUE准则准则) 设设如果对任一个满足如果对任一个满足 Var是是的任一无偏估计的任一无偏估计,11( ,)0( ,),nnExxxx的都有.UMVUE则 是 的例例2: 2: 设设1,nxx为来自为来自Exp(1/) 的样本的样本,那么那么1niiTx为为 的充分统计量的充分统计量,证明证明:为为的的UMVUE.Txn反之亦成立.2ln( ; )(4)()xpE存在1 1、 FisherFisher信息量的定义信息量的定义. .(2) |( ; )0;Sx p x支撑与 无关( ;)(3)( ;)( ;)p xp xp xdxdx存 在 且 对中 一 切有三、罗三、罗- -克拉美克拉美Cr

6、amerRao CramerRao ）不等式）不等式(1)(1)是实数轴上的一个开区间是实数轴上的一个开区间; ; 设总体设总体X X 的概率函数为的概率函数为p(x;p(x; ), ), ,且满足且满足条件条件: :2ln( ; )( )()defp xIE Fi则称sh 为总体er分布的信息量.正则条件 (1)I() (1)I()越大越大, ,总体分布中包含未知参数的信息越多。总体分布中包含未知参数的信息越多。( ; ),0,1,2.!xp xexx 例例3:3:设总体为设总体为PoissonPoisson分布，即分布，即1( ).I则 注：注：1( ; )exp,0,0.xp xx 例例

7、4: 4: 设总体为指数分布设总体为指数分布Exp(1/)Exp(1/)，即，即21( ).I则 (2) I()的另一表达式的另一表达式为为2222ln ( ; )( ; )( )(),(p xp xIE存在,满足正则条件)注：注：常见分布的信息量常见分布的信息量 I()公式公式 两点分布X b(1,p)1()(1),0,1xxP Xxppx1()(1)I ppp泊松分布泊松分布( ),0.XP ( ),XExp 指数分布( ,1),XN正态分布正态分布2( ,),XN 1( )I2( )I( )1I2(0,),XN241()2I22410102(,)I 设总体设总体X X 的概率函数为的概率

8、函数为p(x ;p(x ; ), ), , 满足上面满足上面定义中的条件；定义中的条件；x1,.,xn x1,.,xn 是来自总体是来自总体X X的一个样本的一个样本, , T(x1,.,xn )T(x1,.,xn )是是g(g( ) )的一个无偏估计的一个无偏估计. .且对中一切有( )( )gg存在,2、定理、定理4 (Cramer-Rao不等式不等式):1211( )(,)(; )nninigT xxxp xdxdx的微分可在积分号下进行，即的微分可在积分号下进行，即121111211(;)ln(;)( )(,)(,)(;)nnniinniiniingT xxxdxdxpT xxxdxd

9、xp xxp x则有则有 特别地对特别地对的无偏估计有的无偏估计有2( )( )( )gVar TnI1( )( )Var TnI上述不等式的右端称为上述不等式的右端称为C-R下界下界, I() 为为Fisher信息量信息量.注注:(1) 定理对离散型总体也适用定理对离散型总体也适用.只需改积分号为求和只需改积分号为求和号。号。 (2) 在定理在定理4条件下条件下, 若若g( ) 的无偏估计量的无偏估计量T 的方的方差差VarT达到下界达到下界, 则则T必为必为g( ) 的最小方差无偏估计的最小方差无偏估计. 但但是它不一定存在是它不一定存在, 也就是说也就是说, C-R不等式有时给出不等式有

10、时给出的下界过小的下界过小.(3) 当等号成立时当等号成立时, T 为达到方差下界的无偏估计为达到方差下界的无偏估计, 此时称此时称T 为为g()的有效估计。的有效估计。 有效估计一定是有效估计一定是UMVUE.（反之不真）（反之不真）3. 有效估计定义定义:,设是的 任 一 无 偏 估 计 量 称1()().()defnIeVar为 估 计 量效 率的0( )1e:显然 的任一无偏估计量 的效率满足注定义定义:( )1,.e如果 的无偏估计量 的效率则为 的有效估计称lim ( )1.ne如果则称 为 的渐近有效估计注注:,.,.如果 是 的有效估计 则它也是一致最小方差无偏估计反之 却不一

11、定成立(1),( )( );TE Tg验证 是g(的无偏估计 即(2);VarT计算2(3)( );( ):( ; )ln( ; );ln( ; ):;ln( ; ):( )( );IIIXp xp xp xIIp xIIIIEI计算而计算又可分为下面几个步骤对总体 的密度函数或分布列函数求对数求利用或其等价公式计算2( )(4):;( )gnI求方差下界综上综上, 求证求证T是是g( )的有效估计的步骤为的有效估计的步骤为:2( )( )gVarTnI比较与例例5. 5. 设总体设总体 XExp(1/),XExp(1/),密度函数为密度函数为10,( ; )00 xexp xx),(21nx

12、xx为为 X 的一个样本值的一个样本值.求求 的最大似然估计量的最大似然估计量, 并判断它是否为达到方并判断它是否为达到方差下界的无偏估计差下界的无偏估计,即有效估计即有效估计.0为参数为参数解解: 由似然函数由似然函数niixneL11)(niixnL1ln)(ln21)(lnddniixnL0令11niix xn经检验知经检验知 的最大似然估计为的最大似然估计为11niixxn所以它是所以它是 的无偏估计量的无偏估计量,且且2( )Varn而而ln( , )ln,xp x 故故 是达到方差下界的无偏估计是达到方差下界的无偏估计.x2221ln( , )dxp xd 2221( )ln(,

13、)XIEp XE2121( )nIn( )Var xE12 (, ),1:.nXb N p x xxXpxpN设总体为总体 的一个样本试证是例的有效估计6(1)( ; )defxxNxNXP XxC ppP x p总体 的分证布:为明ln( ; )lnln()ln(1)xNP x pCxpNxp22ln(; ),( )1dP X pXNXI pEEdppp所以222221()(1)(1)Var XE XNppppp22(1)(1)(1)NppNpppp11( )()()E pEXE XNN又1()NpE XpNN211( )()( )Var pVarxVar xNN21()(1)Var Xpp

14、nNnN所以1( )( )Var pnI p1 ppxN即是 的有效估计.C-R下界为下界为1(1)( )ppnI pnN12( ,)( )(0),:nx xxPx 是例7的一个样本证明是 的有效估计,.( ):)xExEXxU EVar XVar xnn因为证明是样本均值 故是 的:( ; )!xXP Xxep xx总体 的分布律为ln( ; )lnln !p xxx2222ln(; )()1( )1dp XXE XIEEd1,( )nIn故1, ( ),( )Var xnI可见.,x所以 是 的有效估计例例8. 设设x1 ,.xn 为取自总体为正态分布为取自总体为正态分布N(,2)的样本的

15、样本, 验证验证 因而因而, 是是的有效估计的有效估计.x解：已证过解：已证过 为为U.E, 下求下求的的C-R下界下界,由于由于2221,2,22xlnp xln 22221( , )2xp xe 2224211XX 21nn 2VarXVarVar xnnx而而的的C-R下界为下界为是是 的有效估计的有效估计因而因而2,dlnp xxdx2212222( ,)2xp xe22221()( ,)(2)22xlnp xln 22224( ,)1()22lnp xx 2224622( ,)()1()2lnp xx 22464641()11()222XVarX 4212()nn因而因而:解解: 由

16、于由于 所以所以2的的C-R下界为下界为: 例例9.(接前例接前例)设设x1 ,.xn 取自正态分布总体取自正态分布总体N(,2) ,若若未知，讨论未知，讨论2的无偏估计的无偏估计是否为有效估计是否为有效估计. 222111niiSxxn2211()1niiSxxn由于由于 2221(1)nSn 其期望为其期望为n-1 , 方差为方差为2(n-1）所以所以 22S即即不是不是22的有效估计，但为的有效估计，但为22的渐近有效估计的渐近有效估计. .4212nn224222111Var Snnn,而而2的的C-R下界为下界为 注注1: 由由P308第四题知第四题知 其方差大于其方差大于C-R下界

17、下界, 即有时即有时C-R下界过小下界过小.22S是是22的的UMVUE.UMVUE.2:若若已知已知,2422121()12( ),.niniiixnVarxnn 211niixn 此时此时 为为2的有效估计的有效估计.注注3对于对于 的的C-R下界为下界为: 22()g222242()1/(2 )/22gnnn 当已知当已知=0时时,易证易证的无偏估计为的无偏估计为21( /2)12(1)/2)niinnxnn可证可证, 这是这是的的UMVUE,其方差大于其方差大于C-R下界下界.因此所有因此所有的无偏估计的方差都大于其的无偏估计的方差都大于其C-R下界下界,即即C-R下界过小下界过小.(P