最小方差无偏估计

最小方差无偏估计第一页，共二十二页，编辑于2023年，星期三优良的无偏估计都是充分统计量的函数.将之应用在参数估计中可得:其中等号成立的充要条件为X与

(Y)几乎处处相等.定理1:设X和Y是两个r.v.,EX=μ,VarX>0,令则有是样本,是θ的充分统计量,定理2:设总体的概率函数为p(x;θ),对θ的任一无偏估计

一、Rao-Blackwell定理第二页，共二十二页，编辑于2023年，星期三注:定理2表明:若无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函数且方差会减小.

即,考虑点估计只需在充分统计量的函数中进行,这就是—

充分性原则.令θ=p2,则为θ的无偏估计.因为是充分统计量,由定理2,

从而可令可得故为θ的无偏估计.且例1.设为来自b(1,p)的样本,求p2的U.E为p的充分统计量解：前已求过:进一步改进：第三页，共二十二页，编辑于2023年，星期三二、最小方差无偏估计定义:注：

一致最小方差无偏估计是一种最优估计.由定理2,只要它存在.它一定是充分统计量的函数.一般地,若依赖于充分统计量的无偏估计只有一个,它一定是UMVUE.Problem：无偏估计的方差是否可以任意小?如果不能任意小,那么它的下界是什么?第四页，共二十二页，编辑于2023年，星期三是总体X的样本,定理3:(UMVUE准则)设如果对任一个满足是θ的任一无偏估计,例2:

设为来自Exp(1/θ)的样本,则为θ

的充分统计量,证明:为θ的UMVUE.反之亦成立.第五页，共二十二页，编辑于2023年，星期三1、Fisher信息量的定义.三、罗-克拉美（Cramer–Rao）不等式(1)是实数轴上的一个开区间;设总体X的概率函数为p(x;),,且满足条件:正则条件第六页，共二十二页，编辑于2023年，星期三(1)I(θ)越大,总体分布中包含未知参数的信息越多。

例3:设总体为Poisson分布，即注：

例4:设总体为指数分布Exp(1/θ)，即(2)I()的另一表达式为第七页，共二十二页，编辑于2023年，星期三注：常见分布的信息量I()公式

两点分布X~b(1,p)泊松分布

指数分布正态分布第八页，共二十二页，编辑于2023年，星期三设总体X的概率函数为p(x;),,满足上面定义中的条件；x1,….,xn是来自总体X的一个样本,T(x1,….,xn

)是g()的一个无偏估计.2、定理4(Cramer-Rao不等式):的微分可在积分号下进行，即则有特别地对θ的无偏估计有上述不等式的右端称为C-R下界,I()为Fisher信息量.第九页，共二十二页，编辑于2023年，星期三注:(1)定理对离散型总体也适用.只需改积分号为求和号。(2)在定理4条件下,若g()

的无偏估计量T的方差VarT达到下界,则T必为g()的最小方差无偏估计.但是它不一定存在,也就是说,C-R不等式有时给出的下界过小.(3)当等号成立时,T为达到方差下界的无偏估计,此时称T为g(θ)的有效估计。

有效估计一定是UMVUE.（反之不真）第十页，共二十二页，编辑于2023年，星期三3.有效估计定义:定义:注:第十一页，共二十二页，编辑于2023年，星期三综上,

求证T是g()的有效估计的步骤为:第十二页，共二十二页，编辑于2023年，星期三例5.设总体X~Exp(1/θ),密度函数为为X的一个样本值.求的最大似然估计量,并判断它是否为达到方差下界的无偏估计,即有效估计.为参数解:

由似然函数第十三页，共二十二页，编辑于2023年，星期三经检验知的最大似然估计为所以它是的无偏估计量,且而故是达到方差下界的无偏估计.第十四页，共二十二页，编辑于2023年，星期三第十五页，共二十二页，编辑于2023年，星期三所以C-R下界为第十六页，共二十二页，编辑于2023年，星期三第十七页，共二十二页，编辑于2023年，星期三例8.设x1,….xn为取自总体为正态分布N(μ,σ2)的样本,验证因此,是μ的有效估计.解：已证过为U.E,下求μ的C-R下界,由于而μ的C-R下界为是μ的有效估计因此第十八页，共二十二页，编辑于2023年，星期三

因此:解:由于

所以σ2的C-R下界为:例9.(接前例)设x1,….xn取自正态分布总体N(μ,σ2),若μ未知，讨论σ2的无偏估计是否为有效估计.第十九页，共二十二页，编辑于2023年，星期三由于其期望为n-1,方差为2(n-1）所以即不是σ2的有效估计，但为σ2的渐近有效估计.,而σ2的C-R下界为注1:由P308第四题知其方差大于C-R下界,即有时C-R下界过小.是σ2的UMVUE.2:若μ已知,此时为σ2的有效估计.第二十页，共二十二页，编辑于2023年，星期三注3对于的C-R下界为:当已知μ=0时,易证σ的无偏估计为可证,这是σ的UMVUE,其方差大于C-R下界.因此所有σ的无偏估计的方差都大于其C-R下界,即C-R下界过小.(P307)第二十一页，共二十二页，编辑于2023年，星期三4.最大似然估计的渐近正态性定理(略)在总体的分布满足一定条件(P307)的情况下,存在具有相合性和渐近正态性的最大似然估计,且即,最大似然估计通常是渐近正态的,且其渐近方差有一个统一的形式并主要依赖于Fishe