最小方差无偏估计UMVUE.ppt

第六章 第三节 最小方差无偏估计,一、Rao-Blackwell定理,二、最小方差无偏估计,三、 Cramer-Rao不等式,优良的无偏估计都是充分统计量的函数.,将之应用在参数估计中可得:,一、Rao-Blackwell 定理,注:定理2表明: 若无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函数且方差会减小. 即, 考虑点估计只需在充分统计量的函数中进行, 这就是 充分性原则.,令=p2 , 则,为的无偏估计.,因为 是充分统计量 ,由定理2, 从而可令,可得,故 为的无偏估计.且,进一步改进：,二、最小方差无偏估计,定义:,注：,一致最小方差无偏估计是一种最优估计.由定理2, 只要它存在.它一定是充分统计量的函数.一般地,若依赖于充分统计量的无偏估计只有一个,它一定是UMVUE.,Problem：,无偏估计的方差是否可以任意小? 如果不能任意小,那么它的下界是什么?,是总体X的样本,定理3: (UMVUE准则) 设,如果对任一个满足,是的任一无偏估计,反之亦成立.,1、 Fisher信息量的定义.,三、罗-克拉美（CramerRao ）不等式,(1)是实数轴上的一个开区间;,设总体X 的概率函数为p(x; ),且满足条件:,正则条件,(1)I()越大,总体分布中包含未知参数的信息越多。,例3:设总体为Poisson分布，即,注：,例4: 设总体为指数分布Exp(1/)，即,(2) I()的另一表达式为,注：,常见分布的信息量 I()公式,两点分布X b(1,p),泊松分布,指数分布,正态分布,设总体X 的概率函数为p(x ; ), 满足上面定义中的条件；x1,.,xn 是来自总体X的一个样本, T(x1,.,xn )是g( )的一个无偏估计.,2、定理4 (Cramer-Rao不等式):,的微分可在积分号下进行，即,则有 特别地对的无偏估计有,上述不等式的右端称为C-R下界, I() 为Fisher信息量.,注:,(1) 定理对离散型总体也适用.只需改积分号为求和号。,(2) 在定理4条件下, 若g( ) 的无偏估计量T 的方差VarT,达到下界, 则T必为g( ) 的最小方差无偏估计. 但是它不一定存在, 也就是说, C-R不等式有时给出的下界过小.,(3) 当等号成立时, T 为达到方差下界的无偏估计, 此时称T 为g()的有效估计。 有效估计一定是UMVUE.（反之不真）,3. 有效估计,定义:,定义:,注:,综上, 求证T是g()的有效估计的步骤为:,例5. 设总体 XExp(1/),密度函数为,为 X 的一个样本值.,求 的最大似然估计量, 并判断它是否为达到方差下界的无偏估计,即有效估计.,为参数,解: 由似然函数,经检验知 的最大似然估计为,所以它是 的无偏估计量,且,而,故 是达到方差下界的无偏估计.,所以,C-R下界为,例8. 设x1 ,.xn 为取自总体为正态分布N(,2)的样本, 验证,因此,是的有效估计.,解：已证过 为U.E, 下求的C-R下界,由于,而的C-R下界为,是的有效估计,因此,而2的C-R下界为,注3对于 的C-R下界为:,当已知=0时,易证的无偏估计为,可证, 这是的UMVUE,其方差大于C-R下界.因此所有的无偏估计的方差都大于其C-R下界,即C-R下界过小.(P307),4. 最大似然估计的渐近正态性,定理(略),在总体的分布满足一定条件(P307)的情