应用数理统计2.2 估计量的评判准则

1、1 22 估计量的评价准则估计量的评价准则 由例由例2.3和例和例2.10的结果看出，对均匀分布的结果看出，对均匀分布 总体参数的估计不一样，哪个好？总体参数的估计不一样，哪个好？ 例例2.12 若总体若总体X ( ), 则未知参数则未知参数 的矩估计量为的矩估计量为 , X n i i XX n 1 2 )( 1 或或 即使用同一方法得出的估计量也不同。即使用同一方法得出的估计量也不同。 i ni i ni XbXa 11 max ,min n i n i XX n Xb XX n Xa 1 2 1 2 )( 3 ,)( 3 2 2.2.1无偏性无偏性 定义定义2.1： 如果如果 ，则称估计

2、量为无偏估计量；，则称估计量为无偏估计量； 如果如果 记作记作 ，则称估计量为渐进无，则称估计量为渐进无 偏估计量。其中偏估计量。其中 称作偏差。称作偏差。 ) (E 0|),.,( (|lim 21 n n XXXE 0)(lim b n )(b X 2 S n i i XX n S n n S 1 222 * )( 1 1 1 可以验证可以验证 是总体均值的无偏估计是总体均值的无偏估计例例2.13； 但但 不是总体方差的无偏估计，是渐进无偏不是总体方差的无偏估计，是渐进无偏 的。的。 而而 是无偏的是无偏的例例2.14。 3 评述： 无偏的概率意义，即反复使用，整体平均下，估无偏的概率意义

3、，即反复使用，整体平均下，估 计准确。计准确。 其局限性，若仅有一次或导弹命中精度或系统误其局限性，若仅有一次或导弹命中精度或系统误 差等情形，就不能说明问题了。差等情形，就不能说明问题了。 设总体设总体X的数学期望的数学期望 与方差与方差 2存在存在, , X1, X2,.,Xn为总体为总体X 的样本的样本, , 证明：证明： n i ii Xc 1 2 nicc i n i i , 2 , 1, 0, 1 1 也是也是 的无偏估计量的无偏估计量; ; , ,其中其中 4 2.2.2 最小方差性和有效性最小方差性和有效性 定义定义2.2 如果如果 是是 的无偏估的无偏估 计量，且对于其任意无

4、偏估计量计量，且对于其任意无偏估计量 ，均有，均有， 对一切对一切 （参数空间），则称（参数空间），则称T为最小方差为最小方差 的无偏估计量（或最优无偏估计量）。的无偏估计量（或最优无偏估计量）。 ),.,( 21n XXXTT )(g T )()(TDTD 用用 估计估计时，仅具有无偏性是不够的我们时，仅具有无偏性是不够的我们 希望希望 的取值能集中于的取值能集中于附近附近, ,而且密集的程度而且密集的程度 越高越好方差是描述随机变量取值的集中程越高越好方差是描述随机变量取值的集中程 度的，度的，所以所以无偏估计无偏估计以方差小者为好以方差小者为好, 这就引进了有这就引进了有 效性这一效性这

5、一标准标准. . 5 设总体设总体X的数学期望的数学期望 , ,方差方差 2 2存在，存在，X1 1, ,X2 2是是X的样本，的样本， 证明估计证明估计 时时, , 211 2 1 2 1 XX 212 4 3 4 1 XX )()( 21 DD 由定义知由定义知 较较 有效有效 1 2 又因为又因为 2 21211 2 1 )( 4 1 )( 4 1 ) 2 1 2 1 ()()(XDXDXXDXDD 2 21212 8 5 )( 16 9 )( 16 1 ) 4 3 4 1 ()(XDXDXXDD 所以所以 均为均为 的无偏估计，的无偏估计， 21 ,因为因为 较较有效有效. . 6 在

6、实际应用中，找出最小方差的估计量不容易，在实际应用中，找出最小方差的估计量不容易， 若在一类分布和估计中找出所有无偏估计中方差若在一类分布和估计中找出所有无偏估计中方差 的一个下界，则当某一估计量达到或接近即认为的一个下界，则当某一估计量达到或接近即认为 可行了。可行了。 下方差下界存在？下方差下界存在？ 什么条件什么条件即有无下界即有无下界那么能够小到什么程度那么能够小到什么程度 量的方差越小越好，量的方差越小越好，我们自然希望无偏估计我们自然希望无偏估计 ? 劳不等式克拉美 一个方差下界的下面我们就来讨论建立 ,: ),;(, 21 为为已已知知常常数数其其中中的的母母体体的的一一个个子子

7、样样 为为取取自自具具有有概概率率函函数数设设 baba xfXXX n 的一的一是是又又且可设且可设)(),(., 21 gXXXTTba n 且满足正则条件个无偏估计, ;0);(:)1(无关无关与与集合集合 xfx dx xf dxxf xf g );( );( , );( )()2(且对一切且对一切存在存在与与 41-42 p 信息量Fisher n n i in nnn dXdXXfXXXT dXdXXfXfXXXTg 1 1 21 1121 );(),( );();(),()( )( )( )(: 2 nI g XTD 则有 )( 1 )(:,)( nI XTDg即为时特殊地，当

8、劳下界克拉美 21 ) ),(ln ()( Xf EI令 联合概率密度联合概率密度 nnn dXdXXfXfXXTXTEg 111 );();(),()()( : 由数学期望的定义 不等式不等式：主要应用：主要应用SchwarzCauchy 证明证明 DDEEE 2 )( ,)(),()( 21 的一个无偏估计是记 gXXXTXT n , );(ln);(ln 1 n i i Xfxf 记 ii ii dXXf XfXf E );( );(ln );(ln i i dX Xf );( 0 ii dXXf);( 1 n i i Xf EE 1 0) );(ln ( 则 );(ln );(ln )

9、( 1 n i i Xf D xf DD );(ln 1 Xf nD )(独立同分布独立同分布 ) );(ln () );(ln ( 2121 Xf E Xf En 0 );(ln i Xf E 21 ) );(ln ( Xf nE )()( nID ，得，得由由 DDEEE 2 )( )( )()( );(ln )( )( 2 2 nI gXT xf E D EEE D n i i Xf EE 1 0) );(ln ( 21 ) ),(ln ()( Xf EI令 dx xf XTg );( )()( 由于 dxxfXTXTEg);()()()( 0);( );( , 1);( dxxfdx

10、xf dxxf 则由于 )g(2)(-1)( dx xf gXTg );( )()()( )( )( )( )()( );(ln 2 2 nI g nI gXT xf E D :注注 . 1称为正规估计称为正规估计满足正则条件的估计量满足正则条件的估计量 类的方差下界类的方差下界 无偏估计无偏估计不等式的下界仅是正规不等式的下界仅是正规CramerRao . 2 方便，我们可以证明方便，我们可以证明为了计算信息量为了计算信息量)( I 信息量信息量Fisher. 32 1 ) ),(ln ()( Xf EI ) ),(ln ()( 2 1 2 Xf EI令令 )( )( 2 nI g D 13

11、 是是渐渐近近有有效效的的。则则称称是是有有效效的的；若若称称 时时，的的效效率率等等于于又又当当不不等等式式，显显然然由由的的效效率率 的的无无偏偏估估计计量量为为称称定定义义 TeT TeRC Tg nIXTD g e n n n n , 1lim 1).1( )( )()( )( 3 . 2 2 设总体设总体XN( , 2), , , 2均未知，又设均未知，又设X1, X2,.,Xn 为总体为总体X 的样本的样本, , 则则 的无偏估计的无偏估计 是有效的是有效的, 2 的无偏的无偏 估计估计 是渐近有效的。是渐近有效的。 X 2 * S 例例2.162.16 若总体若总体X ( ),

12、考虑未知参数考虑未知参数 的矩估计量为的矩估计量为 的有效性。的有效性。X 14 2.2.3 其它几个准则其它几个准则 （一）最小均方误差准则（一）最小均方误差准则 前述的最小方差性（有效性）只对无偏估计前述的最小方差性（有效性）只对无偏估计 而言，对有偏估计量无意义。而言，对有偏估计量无意义。 为使为使 与与 尽量接近，考虑尽量接近，考虑 称称均方误差均方误差 由由 得到的估计量称作得到的估计量称作最小均方误差估计量。最小均方误差估计量。 对于无偏估计，均方误差最小和方差最小是对于无偏估计，均方误差最小和方差最小是 一致的。一致的。 2 ) () ( EMse ) (min Mse 15 （

13、二）相合性（相合估计量）相合性（相合估计量） 定义定义2.4 设设 是是 的估计量的估计量， （即依概率收敛于即依概率收敛于）， 则称则称T是相合统计量是相合统计量。 ),.,( 21n XXXTT )(g 0| )(),.,(|lim, 0 21 gXXXTP n n 实际应用中，要求样本信息量（即实际应用中，要求样本信息量（即n）较大，）较大， 但给出了一种保证，即只要能够获取足够的信息，但给出了一种保证，即只要能够获取足够的信息， 就一定能得到足够精确的估计。就一定能得到足够精确的估计。 必必然然是是相相合合的的。是是有有效效的的，则则、若若 是是相相合合的的。时时，的的方方差差趋趋于于

14、当当 贝贝雪雪夫夫不不等等式式、对对于于无无偏偏估估计计，由由切切 TT TXXXT XXXTD gXXXTP n n n 2 0),( ),( | )(),(| 1 21 2 21 21 16 设总体设总体X 的数学期望的数学期望与方差与方差2 2存在，存在， 是是X的样本，证明用的样本，证明用 估计估计时，时，n 是是 一致估计量一致估计量 n XXX, 21 n i inn X n X 1 1 由大数定理可知，对于任意的由大数定理可知，对于任意的 ，有，有 所以所以 1)(lim in n XEXP 0 1lim n n P 由极大似然法得到的估计量，在一定条件下也具有一致性由极大似然法

15、得到的估计量，在一定条件下也具有一致性, , 这里就不再讨论了这里就不再讨论了 17 设正态总体设正态总体X 的数学期望的数学期望 与方差与方差 存在，存在， ( )( )是是X 的样本，试在形如的样本，试在形如S2 (0)的统计量中确定的统计量中确定 2 2的最小均方误差估计的最小均方误差估计. . 解解: : 2 n XXX, 21 2 222222 2 22222 2224 2 24 2 11 11 ( 12(1) 1 ESE S nn E S nn n D S n nn nn 2224 ,E SD S 2 n12(n1) nn 18 2 22224 2 12(1) 1 nn ES nn 要使上式最小，利用一元二次式知识可知：要使上式最小，利用一元