五、估计量的比较

1、五、 估计量的比较( )g g(|( )|)(|( )|),0,PggaPggaa 2.1.28 在一个估计问题中，对一个参数函数往往可以提出多个不同的估计量。这时就有一个如何评价其优劣的问题。直观上， 的一个理想的估计 ，它的分布应该集中在 的附近，且该估计要适应参数所有可能出现的情况。这样，若 比估计量 好，它应满足但上式不易满足和验证，为了处理方便改而要求 g( )g g22|( )|( )| ,EggEgg 该式称为均方误差准则。事实上，均方误差准则也是个很高的要求。这是因为该准则下最优的估计 应满足：22|( )|min|( )| ,gEggEgg 其中 为存在二阶矩的估计量全体。往

2、往 不存在，常用的解决办法是对 施加限制。在一个相对较小的类中寻求最优的估计。一个常用的限制就是无偏性。 g定义定义2.1.29 设 为参数函数 的估计量，若成立则称 为参数函数 的无偏估计(unbiased estimator)。若 不满足(2.1)式，则称 为有偏的(biased)，并将 g ( ),(2.1)E gg ( )g g( )g g g g ( ) ( )gbE gg称为估计量 的偏(bias)。由于估计量是随机变量，故评价它否合理，不能根据一次估计的结果，而应该根据多次反复使用这个统计量的“平均”效果来评价由此给出无偏估计的“频率解释”。假定在同一个模型（同样的总体分布与样本

3、容量）下，对同一个参数函数 用同一个无偏估计进行多次估计，记第m次估计为 ，由大数定律得也就是说，当反复使用该估计多次时，其偏差将能够正负抵消，从而没有系统的偏差。 g(),1,mgmM ( )g()11( )01limMmMmPggM无偏估计的例子例例 2.1.32 样本均值和 分别为总体均值和方差的无偏估计。注：注：样本方差 不是总体方差的无偏估计。这也是我们对样 本方差进行如此修正的原因。2nS2nS例例2.1.33 设样本 为取自指数分布总体的简单随机样本，总体分布的密度为 ，其中 未知参数。则样本均值 是 的无偏估计，但 不是 的无偏估计。注：注：此处可用逆Gamma分布的结论。)(

4、);(), 0(xIexfx1,nXXX1X1例例2.1.34 对于正态总体，由命题1.4.4和1.3.16可知( )22,11()2nnnnE Skknn其中可见 不是总体标准差的无偏估计 。 nS对无偏估计的三点说明：（1）无偏估计不一定存在 例：例：设容量为1的样本 ，其中n已知p为未知参数，考虑 ，则它不存在无偏估计。（2）无偏估计一般不唯一 书例2.1.34（3）无偏估计不一定是好估计 例：例：设是贝努里试验的成功概率 ， 表示首次成功发生之前的试验次数，则 服从几何分布，其概率函数为：( , )XB n p( )1/g pp) 1 , 0(pXX( ; )()(1) ,0,1,2x

5、f x pP Xxppx则可以求出参数 唯一的无偏估计为p显然，它是一个很差的估计。但是，要求估计具有无偏性确实可以排除一些不合理的估计。如常数往往就不是无偏估计。,2, 1,00, 1)(XXXT g g估计的效估计的效若无偏估计量 和 满足则称 比 有效(effective)，进一步，规定 为 关于 的相对效率(relative efficiency) ,Var gVar g g g ( ,) Var ge g gVar g g g若记 为参数函数 的无偏估计全体，则参数函数 可估等价于 非空。2.2 一致最小方差无偏估计一致最小方差无偏估计 gggUg2.2.2 定义定义 参数函数 ，若

6、它存在无偏估计，则称 为可估的(estimable).( )g( )ggU2.2.5 定义定义 若 为参数函数 的无偏估计，且对任一 都成立ggU( )g ,Var gVar g 则称 为参数函数 的一致最小方差无偏估计(Uniform Minimum Variance Unbiased Estimator)，简记为UMVUE。 g( )g注：注：UMVUE存在则a.s.唯一二、二、Cramer-Rao不等式（信息不等式）不等式（信息不等式）(1) 参数空间为开集(2) 分布的支撑与参数无关(3) 存在关于参数的偏导且求导和积分可以换序(4) 对数偏导存在二阶矩C-R不等式在样本分布族满足一定

7、的条件下给出了参数函数无偏估计的方差下界。满足此条件的样本分布族通常称为C-R正则族，即要求样本分布族满足：一维参数无偏估计的方差下界一维参数无偏估计的方差下界定理定理2.2.10 当样本分布族为C-R正则族时，可导的待估参数 的无偏估计的方差下界为)(g2)(2);(log(/)(nnXfEg( )2log(; )( )()nnXfXIE若记则有2inf ( ) /( )gXg UVar ggIC-R不等式与不等式与UMVUE的关系的关系首先，要注意C-R不等式的成立是有条件的。其次，对满足正则条件的分布族，如果存在一个无偏估计达到方差的下界则它一定是UMVUE。 2.2.11 定义定义 C

8、-R不等式中定义的 称为Fisher信息量(Fisher Information) 。通常表示样本中包含的信息量。 ( )XI注：i) 当样本量 n=1时，样本的Fisher信息量称为总体的Fisher信息量，常记 。对于简单随机样本，样本信息量是总体信息量的n倍。ii) C-R不等式表明，样本包含参数的信息越多，无偏估计的方差下界越小。iii) 充分统计量与样本包含参数的信息量相同。iv) 一定条件下，Fisher信息的另一表达式。( )I有关例子见 P79 2.2.14-2.2.15C-R下界达到的充要条件( ),Xpx( )g( )g2.2.16 命题命题 若分布族 为C-R正则族，参数

9、函数 不恒为常数，则存在 的无偏估计量 其方差达到C-R下界的充要条件是样本分布族可表为下列形式：( )( )exp ( ) ( ) ( ),2.2(16)pxCg x h x 且 ， 关于 为可微的，这时必有( ) ( )C1ln( )( ) ()( )dCgE g Xd ()g X注：注：由该命题表明满足2.2(16)规定的指数族分布，仅 存在达到C-R下界的无偏估计量。无偏估计量。 1ln( )( )dCd 有效估计2( )( , )1( ) ngegnIVar g g为估计量 的效率， 的估计称为有效(efficient)的。2.2.19 定义定义 对参数函数 的基于样本量n的样本的无

10、偏估计量 ，则称( )gng( , )1neg注：有效估计一定是UMVUE，但由命题2.2.16知有效估计并不多，故考虑较普遍的UMVUE。例 2.2.18三、三、UMVUE与充分完备统计量与充分完备统计量 ()|( )( ) ()|EXTth th TEXT ( ) ()|( ) ()|E g TXTg T EXT ()| ()E EXTEX2.2.20 关于条件期望的补充1、定义 2、性质(1) (2) 平滑公式(3) 若 为参数 的充分统计量，则()T X ()| ()|EXTEXT与 无关，可记为，故为统计量。点估计中的充分性原则点估计中的充分性原则2.2.21 定理定理(Rao-Bl

11、ackwell) 设 是参数函数 的无偏估计，统计量 是参数 的充分统计量，则 ( ) ()Var h TVarX ，,( ( )()1,P h TX ()T Xi) 是 的无偏估计ii) 且等式成立的充要条件是( )g()X( ) ()|h TEXT( )g注: (1) 该定理表明无偏估计关于充分统计量的条件期望总比该无偏估计更有效。 (2) 若参数存在充分统计量，则UMVUE只需在充分统计量统计量的函数构成的无偏估计类中去寻找。完备统计量2.2.24 定义定义 设 是一个参数分布族，假如对任一实函数 ，由 总可推出则称该分布族是完备的(complete)。( ; ):Ppx( )x( (

12、)0E ( ( )0)1P 若统计量 对应的可能分布族是完备的，则称该统计量称该统计量为完备统计量(complete statistics) 。()T X注：(1) 分布族完备性的定义类似于函数族完备性的定义。 (2) 样本分布族是完备的，则相应的统计量亦然；反之并不成立。 (3) 指数族在一定的条件下，其中统计量 为完备统计量。1( (),()kTT XTX:F1 性质(1)若统计量T(X)完备，则其函数S(X)=f(T(X)也完备(2) 对分布族 ，设该分布族中分布的支撑与参数无关， ，若分布族 完备，则分布族 也完备。1:F:F例2.2.25 二项分布族是完备的。例2.2.26 Gamm

13、a分布族是完备的。例2.2.27 正态分布族 是不完备的。但是，基于该总体的简单随机样本X的统计量 ，该分布族是完备族，从而统计量 为完备统计量。0: ), 0(2N2211(,)2 2nniinTXnT2.2.30 定理定理(Lehmann-Schffe) 若 i) 统计量 是参数 的充分完备统计量；ii) 为参数函数 的方差有限的无偏估计。则 为 的唯一的UMVUE。()X( )g()T X( ) ()|h TEXT( )g注：由该定理可知，如果存在参数的充分完备统计量，则可估参数函数的UMVUE可以如下得到：(1) 找充分完备统计量的函数使之为可估参数函数的无偏估计。(2) 对参数函数的一个无偏估计关于充分完备统计量求条件期望得UMVUE。例2.2.31：例2.2.32：Gamma分布位置参数已知时，刻度参数的UMVUE。例2.2.33：Poisson总体分布律的UMVUE。例2.2.34：正态总体标准差的UMVUE。 UMVUE的一个充要条件( ()Var T X 定理：(零无偏估计法 ) 设 是 的无偏估计， ，则 为参数函数 的UMVUE的充要条件是，对任一0的方差有限的无偏估计 有 。即 与所有的零无偏估计均不相关。见Ex2.