数理统计PPT(研究生)2-3

1、数数 理理 统统 计计Mathematical StatisticsMathematical Statistics2n 无偏性无偏性 n最小方差无偏性最小方差无偏性n相合性相合性3 从上节介绍的内容可以看出，从上节介绍的内容可以看出，对总体中同一参对总体中同一参数数 ，采用不同的点估计法求到的估计量，采用不同的点估计法求到的估计量 可能是一样可能是一样的，但多数情形是：的，但多数情形是：不同方法寻找的估计量是不同的。不同方法寻找的估计量是不同的。问题问题(1)(1)对于同一个参数究竟采用哪一个估计量对于同一个参数究竟采用哪一个估计量好好? ?(2)(2)评价估计量的标准是什么评价估计量的标准是

2、什么? ?例如对于总体例如对于总体 ，参数，参数 的矩估计和的矩估计和最大似然估计是不相同的。最大似然估计是不相同的。12,U 12, 4一、一、 无偏性无偏性 设总体分布含有未知参数设总体分布含有未知参数 ，设，设 是参是参数数 的一个估计量，在一次抽样中，其估计值与参数真的一个估计量，在一次抽样中，其估计值与参数真值之间存在着偏差值之间存在着偏差 ，这种偏差是随机的。因此评价，这种偏差是随机的。因此评价一个估计量是否合理，不能根据一次估计的好坏，而应一个估计量是否合理，不能根据一次估计的好坏，而应该根据多次反复使用这个统计量的该根据多次反复使用这个统计量的“平均平均”效果来评价。效果来评价

3、。 12(,)nXXX 5定义定义2.3.12.3.1 设设 是参数是参数 的一个估计的一个估计量，若对任意的量，若对任意的 ，有，有 ，则称，则称 是是参数参数 的的无偏估计量。无偏估计量。令令 ，称，称 是是 关于关于 的偏差，而无偏估计就是偏差为零的的偏差，而无偏估计就是偏差为零的估估 计。计。12(,)nXXX E nbE nb 如果如果 则称则称 是参数是参数 的的渐近无偏估计渐近无偏估计量量。 lim0,nnb 6例例2.3.12.3.1 设总体的数学期望和方差分别为设总体的数学期望和方差分别为 ， 2, 是总体是总体 的样本，则样本均值的样本，则样本均值 和方差和方差12,nXX

4、XXX2S分别是参数分别是参数 的无偏估计量。的无偏估计量。2, 解解 有时对总体的同一个参数可能有很多个无偏估有时对总体的同一个参数可能有很多个无偏估计量；有时找出的无偏估计量有明显的弊病。计量；有时找出的无偏估计量有明显的弊病。7 例如例如 是来自总体是来自总体 的样本。的样本。总体总体 的数学期望为的数学期望为 。定义参数定义参数 的估计量为的估计量为 ， ，可以验证，可以验证 ，这说明估计量，这说明估计量 是参数是参数 的无偏估计量。又如，总体的无偏估计量。又如，总体 是是来自总体来自总体 的样本，用的样本，用 作为作为 的估计，可以验的估计，可以验证该估计量证该估计量 是无偏的，即是

5、无偏的，即X 12,nXXXX 11niiic Xn 11niic E ( ),XP 12,nXXXX1( 2)X 3e 1( 2)X 1230( 2)( 2)!kXkkEeeeek 8二二 、最小方差无偏性、最小方差无偏性定义定义2.3.22.3.2 设设 和和 都是未知参数都是未知参数 的无偏估计，的无偏估计，并且满足并且满足12 ()(),DD 1 2 则称则称 较较 有效。有效。1 2 对任意的对任意的 ， 9例例2.3.22.3.2 设总体设总体 的数学期望为的数学期望为 是来是来自总体自总体 的样本，定义如下两个关于参数的样本，定义如下两个关于参数 的估量：的估量： ， 。问。问

6、和和 哪一个有效？哪一个有效？X123,XXX X 1123131555XXX 2123111333XXX 1 2 解解10一般地，一般地，如果对给定的样本如果对给定的样本 和可估函数和可估函数 （指（指 存在无偏估计），存在无偏估计）， 为为 的某个无偏估计，其的某个无偏估计，其方差比任何其他方差比任何其他 的无偏估计的方差都一致的小，则的无偏估计的方差都一致的小，则这个估计就称为这个估计就称为一致最小方差无偏估计，一致最小方差无偏估计，简称简称UMVUUMVU估计。估计。12,nXXX( )g ( )g ( )g ( )g T 仅对两个无偏估计量，通过比较它们的方差大小来判断仅对两个无偏估

7、计量，通过比较它们的方差大小来判断优劣。如果面对众多的无偏估计量，如何寻找它们的最优劣。如果面对众多的无偏估计量，如何寻找它们的最小方差？小方差？11 定义定义2.3.22.3.2 如果存在一个如果存在一个 的无偏估计量的无偏估计量 ，使得对，使得对 的任意无偏估计量的任意无偏估计量 ，有有 ，对一切，对一切 ，则称，则称 为为 的的UMVUUMVU估估计量。计量。( )g ( )g ( )g T 12,nTXXX TDTDT 12 定理定理2.3.1 (Cramer-Rao2.3.1 (Cramer-Rao不等式不等式) ) 设总体设总体 的概率的概率分布或密度函数为分布或密度函数为 ，其中

8、，其中 为未知参数，为未知参数， 为来自总体为来自总体 的样本，的样本， 为为 的无偏估计量，满足如下条件：的无偏估计量，满足如下条件：X( ; )f x 12,nXXXX 12,nT XXX( )g 1 1）集合集合 与参数与参数 无关；无关； ;( ; )0 x f x 13 2 2） 存在并且可以在存在并且可以在 的积分的积分号下对号下对 求偏导数求偏导数， 存在存在， ，则对任意则对任意 ， ( ; )f x ( ; )f xdx ( )g 2,0( )ln(; )DTIEf X 2( )( )gDTnI （2.3.12.3.1） 其中其中 称为方差下界（或称为称为方差下界（或称为C-

9、R下下界），界）， 称为称为Fisher信息量。信息量。 2( )( )defgLnI ( )I 14 另外另外还可以证明还可以证明Fisher信息量的另一种表达式信息量的另一种表达式 22( )ln(; )IEf X （ 2.3.22.3.2）特别地，特别地，由公式由公式（2.3.12.3.1）可得可得 当当 时时 ， ，对一切，对一切( )g 1( )DTnI （2.3.32.3.3）15注：注：按信息量的定义按信息量的定义 ,显然显然 与与 之间有区别，可证明它们之间有如下关系之间有区别，可证明它们之间有如下关系2( ( )ln(; )( )I gEf Xg ( )I ( ( )I g

10、22( ( )ln(; )ln(; )( )( )( )I gEf XEf Xggg 22211ln(; )( )( )( )Ef XIgg 因为因为所以公式（所以公式（2.3.4）成立。）成立。21( ( )( )( )I gIg （2.3.42.3.4）16例例2.3.32.3.3 设总体设总体 服从指数分布，其密度函数为服从指数分布，其密度函数为 为来自总体为来自总体 的样本，求参数的样本，求参数 的的C-RC-R 方差下界。方差下界。X1,0,( ; )(0)0,0 xexf xx 12,nXXXX 解解 我们通常将方差达到我们通常将方差达到C-RC-R下界的无偏估计称为有效下界的无偏

11、估计称为有效估计。估计。求解有效估计量有一种简单明了的方法。求解有效估计量有一种简单明了的方法。17 1 1） 为为 的有效估计量的的有效估计量的充要条件充要条件是是 可化为可化为 形式形式 ，即，即 12,nT XXX( )g 12ln ( ;,)nLX XX ( )( )cTg 1212ln ( ;,)( ),( )nnLXXXcT XXXg (2.3.5)(2.3.5)其中其中 与似然函数形式上完全一样，与似然函数形式上完全一样， 仅是仅是 的函数，并且的函数，并且 为为 的的无偏估计量无偏估计量.12( ;,)nLX XX ( )0c 12,nT XXX( )g 定理定理2.3.22.

12、3.2 在定理在定理2.3.12.3.1的条件下，则的条件下，则184 4） 的有效估计量一定是的有效估计量一定是 的惟一最大似的惟一最大似然估计量。然估计量。( )g ( )g 3 3） 的有效估计量是惟一的；的有效估计量是惟一的；( )g 与与 之间的关系之间的关系 （2.3.72.3.7）( )c DT( )( )gDTc 2 2） 与与 之间的关系之间的关系( )c ( )I ( )( )( )cgIn （2.3.62.3.6）19 例例2.3.42.3.4 继续例继续例2.3.32.3.3，总体，总体 的密度函数为的密度函数为 为来自总体为来自总体 的样本，求参数的样本，求参数 的有

13、的有 效估计量。效估计量。X1,0,( ; )(0)0,0 xexf xx 12,nXXXX 解解20 例例2.3.62.3.6 设总体设总体 为总体为总体 的样本，求参数的样本，求参数 的有效估计量。的有效估计量。212( ,),nXNXXX X2, 例例2.3.52.3.5 设总体设总体 为总体为总体 的样本，求参数的样本，求参数 的有效估计量。的有效估计量。12(1,),nXBpXXXpX解解解解21 对任何一个待估参数对任何一个待估参数 ，是否一定存在有效估计？，是否一定存在有效估计？ ( )g 不一定。不一定。对待估参数对待估参数 ，其，其UMVUUMVU估计可能存在，但估计可能存在

14、，但UMVUUMVU估计的方差不一定能达到估计的方差不一定能达到C-RC-R下界。判断待估参数下界。判断待估参数 的有效估计存在与否，主要由的有效估计存在与否，主要由 可否化为可否化为 的形式为依据。的形式为依据。( )g ( )g 12ln( ;,)nLXXX ( )( )cTg 22 注：注：对总体对总体 为来自总体为来自总体 的样本，参数的样本，参数 的的C-RC-R不等式不成立，原因是定理不等式不成立，原因是定理2.3.12.3.1的的条件条件1 1）不满足，因为集合）不满足，因为集合 与参数与参数 有关。有关。比比UMVUUMVU估计更广泛使用的概念是估计更广泛使用的概念是均方误差，

15、均方误差，定义如下：定义如下：120, ,nXUX XX ; ( ; ) 0;0 x f xxx X 2,MSEE 23 对一个估计量，它的对一个估计量，它的均方误差越小均方误差越小就说明估计的效果就说明估计的效果越好，反之，越好，反之，均方误差越大均方误差越大就说明估计的效果越差。就说明估计的效果越差。 为避免在求平均偏差时由于正负值相抵消的效应，采为避免在求平均偏差时由于正负值相抵消的效应，采用平方偏差，即用平方偏差，即 ，由此导出均方误差的概念。，由此导出均方误差的概念。 2 24 显然，显然，如果如果 是是 的无偏估计，则的无偏估计，则 即均方误差越小越好的准则即均方误差越小越好的准则

16、等价于等价于方差越小越好的准则，方差越小越好的准则，这时均方误差和最小方差的概念是一致的。这时均方误差和最小方差的概念是一致的。 ,MSED 可以证明可以证明 2,MSEDE 25则称估计量则称估计量 为待估参数为待估参数 的相合估计，又称一的相合估计，又称一致估计量。致估计量。三、三、 相合性相合性相合性是对一个估计量的相合性是对一个估计量的基本要求基本要求不具备相合性的估计量不具备相合性的估计量不予以考虑不予以考虑定义定义2.3.42.3.4 若对任意给定的若对任意给定的 ，满足，满足 0 lim0nnP （2.3.82.3.8） n 26 证证 由公式由公式（2.3.92.3.9），可以

17、推导公式（），可以推导公式（2.3.82.3.8）成立。成立。因为由切比雪夫不等式知因为由切比雪夫不等式知 定理定理2.3.32.3.3 设设 为未知参数为未知参数 的估计量，如果满足的估计量，如果满足 （2.3.92.3.9）则则 是是 的相合估计量。的相合估计量。 n n lim,lim0.nnnnED 222210()nnnnEPDEn 27 例例2.3.72.3.7 在例在例2.3.52.3.5中总体中总体 ，关于参数，关于参数 的的有效估计量是有效估计量是 ，并且，并且 ， ，所，所以，由公式以，由公式（2.3.92.3.9）知，知， 是参数是参数 的相合估计量。的相合估计量。pXE

18、Xp (1,)XBppX(1)0ppDXn 例例2.3.82.3.8 设总体设总体 为总体为总体 的样本，证明估计量的样本，证明估计量 是是 的相合的相合估计量。估计量。 212( ,),nXNXXX X22111()1niiSXXn 2 证证28 进一步研究相合性，可以细分为进一步研究相合性，可以细分为弱相合弱相合（依概率收（依概率收敛），敛），强相合强相合（以概率（以概率1收敛），收敛），矩相合矩相合（ 阶矩收敛），阶矩收敛），式（式（2.3.8）表示的就是弱相合，而式（）表示的就是弱相合，而式（2.3.9）描述的是矩）描述的是矩相合。强相合和矩相合可推出弱相合，反之则不成立。强相合。强相

19、合和矩相合可推出弱相合，反之则不成立。强相合与矩相合之间没有从属关系。相合与矩相合之间没有从属关系。2930证证 因为因为1111nniiiiEXEXEXnn 22221111()11nniiiiESEXXEXnXnn 22111niiEXnEXn 2222211nnnn 例例2.3.12.3.1 设总体的数学期望和方差分别为设总体的数学期望和方差分别为 ， 2, 是总体是总体 的样本，则样本均值的样本，则样本均值 和方差和方差12,nXXXXX2S分别是参数分别是参数 的无偏估计量。的无偏估计量。2, 31 解解 显然可验证显然可验证 和和 是参数是参数 的无偏估计。的无偏估计。 其次，计算

20、其次，计算 与与 的方差的方差 因为因为 ，所以，所以 比比 有效。有效。1 2 1 1 2 2 21191252525D 21125 2213D 231111325 例例2.3.22.3.2 设总体设总体 的数学期望为的数学期望为 是来是来自总体自总体 的样本，定义如下两个关于参数的样本，定义如下两个关于参数 的估量：的估量： ， 。问。问 和和 哪一个有效？哪一个有效？X123,XXX X 1123131555XXX 2123111333XXX 1 2 32解解 考虑考虑 的情形，的情形，0 x ln( ; )lnxf x 21ln( ; )dxf xd 222312ln( ; )dxf

21、xd 例例2.3.32.3.3 设总体设总体 服从指数分布，其密度函数为服从指数分布，其密度函数为 为来自总体为来自总体 的样本，求参数的样本，求参数 的的C-RC-R 方差下界。方差下界。X1,0,( ; )(0)0,0 xexf xx 12,nXXXX 33根据公式根据公式（2.3.22.3.2），），计算信息量计算信息量22232121( )ln(; )dExIEf Xd 由公式由公式（2.3.32.3.3），），关于关于 的的C-R方差下界为方差下界为 21( )nIn 另一方面，我们已经知道另一方面，我们已经知道 是是 的无偏估计，其的无偏估计，其方差为方差为 ，这说明，这说明 的方

22、差达到的方差达到C-R方差下界，则方差下界，则 是是 的的UMVU估计。估计。X 2n XX34 例例2.3.42.3.4 继续例继续例2.3.32.3.3，总体，总体 的密度函数为的密度函数为 为来自总体为来自总体 的样本，求参数的样本，求参数 的有的有 效估计量。效估计量。X1,0,( ; )(0)0,0 xexf xx 12,nXXXX 解解 因为似然函数因为似然函数 121111( ;,)(; )ixnxnnniniiLxxxf xee12ln ( ;,)lnnnxLxxxn 所以所以35由公式由公式（2.3.52.3.5）知，知， 的函数形式是的函数形式是 ，因此估计量，因此估计量

23、。又因为。又因为 ，所以，根据定，所以，根据定理理2.3.22.3.2知，知， 是是 的有效估计量。进一步地可确定的有效估计量。进一步地可确定 和和 ，因为，因为 ，所以，所以Tx 12,nT XXXX EX X2( ),nc ( )1g ( )I DT2( )( )1( )cgIn 2( )( )gDTcn 1222ln ( ;,)()nnnxnLxxxx 36 例例2.3.52.3.5 设总体设总体 为总体为总体 的样本，求参数的样本，求参数 的有效估计量。的有效估计量。12(1,),nXBpXXXp解解 因为因为11211( ;,)(; )(1)iinnxxniiiL p xxxf xppp 11(1)nniiiixnxpp 12ln ( ;,)ln(1)ln(1)nL p x xxnxpnxp 所以所以 12(1)ln ( ;,)1(1)ndnxnxnL p xxxxpdppppp 37( )(1)( )g pppDXc pn 由公由公式（式（2.3.52.3.5）知，因此估计量知，因此估计量 。又因为又因为 ，所以，所以 是是 的有效估计量，并且的有效估计量，并且 12,nT XXXX EXp Xp(