第二章参数估计

1、第二章参数估计1 Ch2 参数估计参数估计 2.1 参数估计参数估计(point estimation) 参数估计是数理统计的基本内容之一参数估计是数理统计的基本内容之一,几乎在有统几乎在有统 计问题的地方都要用到参数估计计问题的地方都要用到参数估计,实际的需要刺激实际的需要刺激 了人们去研究参数估计的理论与方法了人们去研究参数估计的理论与方法,因此参数估因此参数估 计内容是丰富多彩的计内容是丰富多彩的,本章介绍其基本部分本章介绍其基本部分. 我们知道任何一个仅依赖样本的函数即统计量均可我们知道任何一个仅依赖样本的函数即统计量均可 作为参数的估计量作为参数的估计量,换句话说换句话说,一个参数的

2、估计是可一个参数的估计是可 以随便给的以随便给的,所以根据统计思想建立各种点估计方法所以根据统计思想建立各种点估计方法 和评价点估计的好坏标准便是估计问题的研究中心和评价点估计的好坏标准便是估计问题的研究中心. 这里先介绍三个常用的标准这里先介绍三个常用的标准:无偏性、有效性和一致无偏性、有效性和一致 性性. 第二章参数估计2 定义定义2.1.1 设设 是是 的一个估计量的一个估计量, 若若 则称则称 是是的无偏估计的无偏估计. ),( 21n XXX )(E ),( 21n XXX 估计的无偏性是指在大量重复使用下估计的无偏性是指在大量重复使用下,其平均其平均 偏差偏差 这就是产生无偏性要求

3、的统计思想这就是产生无偏性要求的统计思想.但是在样但是在样 本的一次观察值下本的一次观察值下,估计值估计值 与与之间的偏差还之间的偏差还 是有的是有的,有时可能很大有时可能很大. 0)( E 第二章参数估计3 有效性有效性 ., ,2, 1),( 2 1 2 1 1 有效比则称成立使至少有一个若 的两个无偏估计分别是参数设 nDD iXX n ii 第二章参数估计4 定义定义2.1.2 设设 是是g()的一个估计量的一个估计量, 若对任意的若对任意的0,有有 则称则称 是是g()的一致估计的一致估计. ),( 21n XXXT ),( 21n XXXT 0)(),(lim 21 gXXXTP

4、n n 估计的一致性是对大样本提出的一种要求估计的一致性是对大样本提出的一种要求,只要样本容只要样本容 量充分大量充分大, 与与 g()将在概率意义下越来将在概率意义下越来 越靠近越靠近. ),( 21n XXXT 前面提到过，一个未知参数的估计原则上是可前面提到过，一个未知参数的估计原则上是可 以随意给出的，但是一个好的估计却是按照一以随意给出的，但是一个好的估计却是按照一 定的统计思想产生的估计方法有矩法，极大似定的统计思想产生的估计方法有矩法，极大似 然法，最小二乘法，贝叶斯方法等，这里先介然法，最小二乘法，贝叶斯方法等，这里先介 绍前两种方法其他方法将逐步介绍绍前两种方法其他方法将逐步

5、介绍. 第二章参数估计5 一、矩法一、矩法 (Methods of Moments) 矩法是一种古老的估计方法矩法是一种古老的估计方法,它是它是K.Pearson在十九世在十九世 纪末提出的纪末提出的.它是基于一种简单的它是基于一种简单的“替换替换”思想建立思想建立 起来的一种估计方法起来的一种估计方法. 格里纹科定理是格里纹科定理是1933年才提出年才提出 的的.但格里纹科定理把但格里纹科定理把K.Pearson的矩法思想提高到一的矩法思想提高到一 个 新 的 高 度个 新 的 高 度 , 之 所 以 能 达 到 这 种 高 度之 所 以 能 达 到 这 种 高 度 , 是 由 于是 由 于

6、 K.Pearson的原始想法中包含着很合理的核心的原始想法中包含着很合理的核心. 定理定理2.1.1 (格里纹科定理格里纹科定理) 对任意给定的自然数对任意给定的自然数n,设设 是取自总体分布函数是取自总体分布函数F(x)的一个样本的一个样本 观 察 值观 察 值 , 为 其 经 验 分 布 函 数为 其 经 验 分 布 函 数 , 记记 ,则有则有 n xxx, 21 )(xFn 1)0lim( n n DP )()(supxFxFD n x n 第二章参数估计6 格里纹科定理是产生矩法的思想基础格里纹科定理是产生矩法的思想基础.既然经验分布既然经验分布 函数与总体分布函数随函数与总体分布

7、函数随n增大愈来愈靠近增大愈来愈靠近,那么它们那么它们 的各种参数特征的各种参数特征,如各阶矩也应随着如各阶矩也应随着n增大愈来愈靠增大愈来愈靠 近近.而经验分布函数的各阶矩就是样本各阶矩的观察而经验分布函数的各阶矩就是样本各阶矩的观察 值值.因此因此,就可以用样本各阶矩去估计总体各阶矩就可以用样本各阶矩去估计总体各阶矩.按按 这种统计思想去获得未知参数估计量的方法称为矩这种统计思想去获得未知参数估计量的方法称为矩 法法,所得的估计量称为矩估计量所得的估计量称为矩估计量.譬如譬如: 总体总体k阶矩阶矩 的矩估计量是的矩估计量是 样本样本k阶矩阶矩 )( kk XE n i k ik X n A

8、 1 1 约定：若约定：若 是未知参数是未知参数 的矩估计，则的矩估计，则u( )的矩的矩 估计为估计为u( ), 第二章参数估计7 例例1：设：设X1， ， Xn为取自总体为取自总体B(m,p),的样本，的样本， 其中其中m已知，已知，0p1未知，求未知，求p的矩估计。的矩估计。 解解: E(X)=mp, )( 1 XE m p XEX估计用 X m p 1 为参数为参数p的矩估计的矩估计 第二章参数估计8 例例2、：设、：设X1， ， Xn为取自参数为为取自参数为 的指数分布的指数分布 总体的样本，求总体的样本，求 的矩估计。的矩估计。 X XEX XE XE x xe xf x 1 )(

9、 11 )( 00 0 );(: 估计用 答 第二章参数估计9 例例3、设总体、设总体X的概率密度为的概率密度为 X1， ， Xn为样本，求参数为样本，求参数 的矩估计。的矩估计。 x exf 2 1 )( 解解: 0 2 )( | dxe x XE x dxexdxe x XE xx 0 2 |2 2 1 2 )( dxexdex xx 00 2 2 x dex 0 2 dxe x 0 2 2 2 第二章参数估计10 2 1 2 1 XEX n n i i 估计用 2 )( 2 XE n X n i i 2 1 2 第二章参数估计11 例例4：设：设X1， ， Xn为取自为取自 总体总体的的

10、 样本，求参数样本，求参数 的矩估计。的矩估计。 ),( 2 N 2 , 解解: 222 )()()()(XEXEXDXE n i i XX n X 1 22 )( 1 2 1 2 1 ,XEX n XEX n i i 估计用估计用 2 1 2 1 2 1 )( 1 :XX n XX n n i i n i i 注 第二章参数估计12 1 5,( , ),. i i d MM n XXU a babab 例 、 设试求和 解解: 2 )( 12 1 )( 2 )(abXD ba XE )(3)( )(3)( XDXEb XDXEa n i i n i i XX n Xb XX n Xa 1 2

11、 1 2 )( 3 )( 3 2 1 2 1 ,XEX n XEX n i i 估计用估计用 第二章参数估计13 例(极大似然原理应用) 一袋中有一些黑球和白球,已知两种球数比为1:3,但不知黑球多还 是白球多,现有放回地从袋中摸3个球,发现其中有k个黑球,试判断黑 球的比例 是 还是 ? 解:X为随机变量, p 4 1 4 3 (3,)XBp ) 4 3 ,(kp 64 1 64 9 64 27 64 27 ) 4 1 ,(kp 64 27 64 27 64 9 64 1 0 1 2 3 由极大似然原理,当 1 01 4 3 23 4 Xorthenp Xorthen p X 第二章参数估计

12、14 二、极大似然估计二、极大似然估计( (Maximum Likelihood Estimators)Maximum Likelihood Estimators) 极大似然法是由德国数学家极大似然法是由德国数学家G.F.Gauss在在1821年提年提 出 的出 的 . 然 而 这 个 方 法 通 常 归 于 英 国 统 计 学 家然 而 这 个 方 法 通 常 归 于 英 国 统 计 学 家 R.A.Fisher,因为他在因为他在1912年里发现了这一方法年里发现了这一方法,并并 且首先研究了这种方法的性质且首先研究了这种方法的性质. 设总体的密度函数为设总体的密度函数为f(x,), 为待估

13、参数为待估参数,为参为参 数空间数空间.当给定样本观察值当给定样本观察值 后后,f(x,)可看可看 作作上的函数上的函数,假如对不同的假如对不同的 , 有有 ,那么该观察值那么该观察值x来来 比来自比来自 的可能性大的可能性大,所以在给定所以在给定x时时,f(x,)又可看作为参又可看作为参 数数对产生观察值对产生观察值“多大可能多大可能” 的一种度量的一种度量,同一函数同一函数 f(x,)有两个不同的看法有两个不同的看法, ),( 21n xxxx 21, ),( 1 xf ),( 2 xf ),(),( 21 xfxf 第二章参数估计15 定义定义2.1.3 设总体设总体X的密度函数为的密度

14、函数为f(x,), 样本样本 的 观 察 值 为的 观 察 值 为 , 其 联 合 密 度 函 数其 联 合 密 度 函 数 为为 , 记记 n XXX, 21 ,),( 1 i n i xfL ),( 1 i n i xf ),( 21n xxxx 称称 为似然函数为似然函数.而对似然函数而对似然函数 取对数取对数, 称称 为对数似然函数为对数似然函数. )(L )(L )(InL 显然在似然函数中显然在似然函数中,参数参数看作是变量看作是变量,而而x被看作被看作 是参量是参量,对数似然函数与似然函数一样对数似然函数与似然函数一样,都可看作都可看作 为为对产生给定对产生给定 x 有有“多大可

15、能多大可能”的一种度量的一种度量. 后一种看法很重要后一种看法很重要,它产生了似然函数概念它产生了似然函数概念,也是极也是极 大似然法产生的统计思想大似然法产生的统计思想. 第二章参数估计16 定义定义2.1.4 设设 是给定样本观察值是给定样本观察值 x 的似然函数的似然函数, 若存在若存在 ,使得使得 ,则称则称 是是 的极大似然估计的极大似然估计(值值).(MLE) )(L )(sup)( LL 寻求极大似然估计常常要用到微分法寻求极大似然估计常常要用到微分法,并且要验证并且要验证 0)( 2 2 L 0)(ln 2 2 L 这就要求这就要求 或或 二阶可微二阶可微,但这并不意但这并不意

16、 味着不可微的似然函数就不存在极大似然估计味着不可微的似然函数就不存在极大似然估计. )(L )(InL 第二章参数估计17 求极大似然估计的步骤求极大似然估计的步骤* 11 ,( ; ),(,) i i d MLEMLE nn XXf xXX 设试求 (1) 做似然函数做似然函数 n i in xfxxLL 1 1 );();,()( (2) 做对数似然函数做对数似然函数 n i in xfxxLL 1 1 );(ln);,()(ln 第二章参数估计18 0 )(ln d Ld (3) 列似然方程列似然方程, 令令 若该方程有解，则其解就是若该方程有解，则其解就是 )X,X( n1MLEML

17、E n i in iid n xpxxLL xpXX 1 1 1 );();,()( ,),;(, 则称设 似然函数似然函数.求极大似然估计的方法相同求极大似然估计的方法相同 注：注： 第二章参数估计19 例例1、设、设X1， ， Xn为取自参数为为取自参数为 的泊松分的泊松分 布布总体的样本，求总体的样本，求 的极大似然估计的极大似然估计 解解: n i i n x n i i x n i i x e e x xpL n i i i 1 11 ! ! );()( 1 n i i n i i xnxL 11 ) !ln(ln)(ln 令令 0 1)(ln 1 nx d Ld n i i n i

18、 i x n 1 1 n i i X n 1 1 故故 的极大似然估计为的极大似然估计为 第二章参数估计20 例例2 考虑一个具有标号为考虑一个具有标号为1,2,3的三种元素的总体的三种元素的总体, 其概率分别为其概率分别为:p(1,)= 2,p(2,)=2(1 ),p(3,)=(1)2,其中其中00为一给定实数。为一给定实数。 求求p=PX0未知，未知，求参数求参数 的极大似然估计。的极大似然估计。 解解: others nix xfL i n n i i 0 ,2, 1,0 1 );()( 1 第二章参数估计28 ln 1 ln)(lnnL n 令令 0 )(ln n d Ld无解无解!

19、others nix L i n 0 ,2, 1,0 1 )( 注意到注意到 为使为使L( )0, 必须必须 ,故故 的值域为的值域为 , ), 再由再由 关于关于 单减单减,故故 越小越小,L( )越大越大. 于是于是 L( )=maxL( ) n L 1 )( n MLEX n x0 n x n x 第二章参数估计29 2.22.2正态总体的区间估计正态总体的区间估计 一、概念一、概念 定义：设总体定义：设总体X的分布函数的分布函数F(x； )含有未知参含有未知参 数数 ，对于给定值，对于给定值 （0 1),若由若由样本样本X1, , Xn 确定确定的两个统计量的两个统计量 使使 则称随机

20、区间则称随机区间 为为 的的置信度为置信度为1的的置信区间置信区间 12 ， 12 1*P 12 () ， 1 1 2 和分别称为置信度为的置信下限和置信上限。 注：注：F(x; )也可换成概率密度或分布律。也可换成概率密度或分布律。 第二章参数估计30 二、单正态总体均值的置信区间二、单正态总体均值的置信区间 2 1 1 (), ,1 i i d n n XXN xx 设， ，给定， 由观测值，求出 的置信区间。 1、 2已知 1:bXaXP令 1aXbP 第二章参数估计31 /2 U /2 0U 1- X U(0,1)N n 1Pb nUa n 可取 22 b nUbU n 22 a nU

21、aU n 第二章参数估计32 (1-) )1( U U0 1- 的置信度为的置信度为1的置信区间为的置信区间为 /2/2 (,)XUXU nn 注：注： 的的1置置信信区间不唯一。区间不唯一。 (1) ,(,)XUXU nn 都是都是 的的1置性区间置性区间.但但 =1/2时区间长最短时区间长最短. 第二章参数估计33 求正态总体参数置信区间的解题步骤求正态总体参数置信区间的解题步骤 (1)根据实际问题构造样本的函数，要求仅含根据实际问题构造样本的函数，要求仅含 待估参数且分布已知待估参数且分布已知-枢轴量；枢轴量； (2)令令枢轴量落在由分位点确定枢轴量落在由分位点确定的区间里的概的区间里的

22、概 率为率为给定的置信度给定的置信度1，要求要求区间按几何对称或概区间按几何对称或概 率对称；率对称； (3)解不等式得随机的置信解不等式得随机的置信区间；区间； (4)由观测值及由观测值及 值查表计算得所求值查表计算得所求置信置信区间区间 。 第二章参数估计34 1 、设某种清漆的设某种清漆的9个样品，其干燥时间（以小时计）个样品，其干燥时间（以小时计） 6.0 5.7 5.8 .6.5 7.0 6.3 5.6 6.1 5.0 设干燥时间总体服从正态分布设干燥时间总体服从正态分布 ，求，求 的置的置 信水平为信水平为0.95的置信区间。的置信区间。 （1）若由以往经验知）若由以往经验知 （小

23、时）（小时） （2）若）若 为未知为未知 6 . o 2 ,N 2 、随机地取某种炮弹随机地取某种炮弹9发做实验，得炮口速度的发做实验，得炮口速度的 样本标准差样本标准差 ， 设炮口速度服从正态分布。设炮口速度服从正态分布。 求这种炮弹的炮口速度的标准差求这种炮弹的炮口速度的标准差 的置信水平的置信水平 为为0.95的置信区间。的置信区间。 sms11 第二章参数估计35 1 、（1）解解: 已知时已知时, 的置信度为的置信度为1的置信区间为的置信区间为 /2/2 (,)XUXU nn 这里这里 6 x 6 . 0 3 n 05. 0 20.025 1.96uu /2/2 (,)(5.608,

24、6.392)xuxu nn 第二章参数估计36 /2/2 ( (1) ,(1) SS XtnXtn nn 2、 2未知 的的11 置信区间为置信区间为 )1( / nt ns X T 由由 1)1( 2/ ，令 ntTP /2( 1)tn /2 0(1)tn 1- /2/2 (1)(1) 1P XtnSnXtnSn 即得即得 第二章参数估计37 1 、(2)解解: 未知时未知时, 的置信度为的置信度为1的置信区间为的置信区间为 /2/2 (1),(1) SS XtnXtn nn 这里这里 6 x 574. 0 s3 n 05. 0 /20.025 (1)(8)2.306tnt /2/2 (1)

25、,(1)(5.559, 6.441) ss xtnxtn nn 第二章参数估计38 二、单正态总体方差的置信区间二、单正态总体方差的置信区间 2 1 2 1 ()1 i i d n n XXN xx ， 设， ，给定置信度，由 观测值，推求 （或 ）的置信区间。 )1( 1)S-(n r.v 2 2 2 n 引引进进 22 1-/2/2 P(1)(1)1nn 令 22 2 22 /21/2 (n-1)S(n-1)S P1 (1)(1)nn 可得 第二章参数估计39 22 22 /21/2 (1)(1) (,) (1)(1) nSnS nn 2 2的置信度为的置信度为1的置信区间为的置信区间为

26、22 22 /21/2 (1)(1) , (1)(1) nSnS nn 的置信度为的置信度为1的置信区间为的置信区间为 第二章参数估计40 2 、 解解: 的置信度为的置信度为1的置信区间为的置信区间为 这里这里 121 2 s9 n05. 0 535.17)8(025. 0 2 180. 2)8(975. 0 2 22 22 /21/2 (1)(1) (, ) (1)(1) nsns nn ,的置信度为的置信度为95%的置信区间为的置信区间为 (7.43 , 21.1) 22 22 /21/2 (1)(1) , (1)(1) nSnS nn ) 180. 2 118 , 535.17 118

27、 ( 第二章参数估计41 三、双正态总体均值差的置信区间三、双正态总体均值差的置信区间 12 22 111122 12 ()() 1 i i di i d nn XXNYYN 设， ， ， 两样本独立。给定置信度，求的置信区间。 未未知知假假定定 22 2 2 1 )2( /1/1 )(X T 21 21 21 nnt nnS Y w 引引进进 1)2(TP 212/ nnt令 第二章参数估计42 21212/ /1/1)2( nnSnntYX w 其中其中 22 2 1122 12 (1)(1) 2 nSnS S nn 可解得可解得 1- 2 的置信区间的置信区间 第二章参数估计43 四、四

28、、双正态总体方差比的置信区间双正态总体方差比的置信区间 12 1 2 22 111122 1 22 112 X()(), 1; i i di i d nn n n XNYYN xx yy 设， ， ， 两样本独立。给定置信度，由观测值 ， ， ， ， ，求出的置信区间。 假定假定 1， 2未知 )1, 1( S S F 21 2 2 2 2 2 1 2 1 nnF 引进引进 1-/212/212 PF(1,1)(1,1)1nnFFnn 令 第二章参数估计44 22 12 2222 1212 /2121- /212 1 (,) (1,1F(1,1) SSSS Fnnnn 可解得的置信区间 ） 第

29、二章参数估计45 2.3 一致最小方差无偏估计一致最小方差无偏估计 一、一、 最小均方误差准则最小均方误差准则 我们在这里提出另一评价估计量好坏的标准我们在这里提出另一评价估计量好坏的标准最小最小 均方误差准则均方误差准则. 设有一个参数分布族设有一个参数分布族=p(x;):.g()是是 的函数的函数.假设假设( )是来自某总体是来自某总体p(x;) 的一个样本的一个样本,则可以构造许多的样本函数来作为则可以构造许多的样本函数来作为g() 的估计量的估计量.假如把假如把g()的一切可能的估计量组成的的一切可能的估计量组成的 类记为类记为 ,那么在估计类那么在估计类 中最好的估计量应中最好的估计

30、量应 是那个最靠近待估参数是那个最靠近待估参数g()真值的估计量真值的估计量.并且当并且当 总体参数总体参数变动时变动时,譬如变动到譬如变动到 ,那么最好估计那么最好估计 量也应最靠近量也应最靠近g( ). n XXX, 21 g g 第二章参数估计46 如何来评价一个估计量最靠近待估参数如何来评价一个估计量最靠近待估参数g()呢呢?由由 于估计量是一个随机变量于估计量是一个随机变量,因此因此,一个估计量的好坏一个估计量的好坏 不能由少数几个取值来判定不能由少数几个取值来判定,而应由长期使用结果而应由长期使用结果 估计量的分布估计量的分布(即抽样分布即抽样分布)来判断来判断.如果抽样分布的如果

31、抽样分布的 大部分质量密集在真值附近大部分质量密集在真值附近,那么该估计量就认为是那么该估计量就认为是 较好的较好的.这种密集程度可用均方误差来度量这种密集程度可用均方误差来度量.均方误均方误 差愈小差愈小,此种密集程度愈高此种密集程度愈高.这就是均方误差准则这就是均方误差准则. 定义定义2.2.1 设设 和和 都是估计类中都是估计类中 的的 两个估计量两个估计量.假如对一切假如对一切,有有 ) (Xg ) ( Xgg 22 )() ( )() (gXgEgXgE 则称在均方误差意义下则称在均方误差意义下 不优于不优于 .假如上式对假如上式对 一切可能的估计量一切可能的估计量 都成立都成立,则

32、则 称称 g()一一 致最小均方误差估计致最小均方误差估计. ) ( Xg ) (Xg ) ( Xg ) (Xg 第二章参数估计47 例例2.2.1 设 是取自正态总体N(,2)的一 个样本.我们知道估计量 是2的无偏估计 n XXX, 21 n i in XXS 1 2 1 1 2 )( 其均方误差为 ) 1/(2)()( 42222 nSDSE 现在来考虑形如c 的估计量,其中c为一实数.它的均方 误差为 2 S )1 ( )1 ()( )1 ()( )( 2 1 2 4 242222 2222 222 2 c cSEc cScE cSE n c 第二章参数估计48 令 ,它是c的函数,且

33、在 处得到最 小.所以,若令 , 则 不是 的无偏估计,而是有偏估计,并且. 2 1 2 )1 ()( 2 ccf n c 1 1 n n c n i in XX 1 2 1 1 2 )( 2 2 ) 1( 2 )()( 4 222222 n ESE 这表明：在均方误差准则下，有偏估计要优于无偏估计.应该注 意,估计量是否有偏是用其一阶矩来考察的,估计量是否密集在 待估参数周围是用其二阶矩来考察的.可见,无偏准则与均方误 差准则是从两个不同侧面去考察一个估计量的.当二者发生矛盾 时,应该更重视均方误差准则评价的结果 . 第二章参数估计49 可惜的是,一致最小均方误差估计常不存在.这是因为,若

34、是 g()的一致最小均方误差估计,那么,对任一个固定值0,作 一个估计量 ,这个估计量在 处的均方误差等 于零,从而达到最小,但在 处有较大的均方误差.如令 是g()的一致均方误差估计,故其在 处的均方误差也 应是零.此种 可以取中一点,所以作为g()一致最小均 方误差估计 的均方误差必须处处为零,即 ) (Xg )() ( 0 gXg 0 0 ) (Xg 0 0 ) (Xg 这意味着,无论取何值, 都必须要完美无缺地去估计 g().这在统计中是不可能办到的. , 0)() ( 2 gXgE ) (Xg 第二章参数估计50 在 中找不到一致最小均方误差估计，怎么办呢？通常的 想法是把估计类缩小

35、，譬如把估计类缩小到无偏估计类等 ，然后在缩小的估计类中寻找一致最小均方误差估计.譬如, 在无偏估计类中,估计量的均方误差就变为估计量的方差,寻 求一致最小均方误差估计,就变为寻找一致最小方差无偏估 计.下面深入讨论这个问题. g 第二章参数估计51 二、无偏估计类无偏估计类 参数g()一切可能的无偏估计组成的类称为无偏估计类.记为 . 但 可能是空的,因为存在这样的参数,它没有无偏估计. g U g U e.g.2.2.2 考察二项分布b(m,p):0p1,则不管样本容量n 多大参数 的无偏估计不存在.以n=1为例,证明这个结 论.反证.若 有无偏估计 ,则应有 p pg 1 )( p 1

36、)( Xg 10 ,)1 () ( 1 0 pppCxg p xmxx m m x 上式可化为p的m+1次多项式，它最多有m+1个实根，可 无偏性要求对（0，1）中任一个实数p上式都成立.这个矛 盾说明了 的无偏估计不存在. p 1 下面的讨论不考虑无偏估计不存在的参数,为此引进可估参数概念 第二章参数估计52 定义定义2.2.2 假如参数的无偏估计存在，则称此参 数为可估参数. 显然,可估参数的无偏估计类是非空的.若在此无偏估计类中只 有一个无偏估计量,那最小方差无偏估计就容易寻找,但是可估 参数的无偏估计类常常由不只一个无偏估计组成. e.g.2.2.3 设 是取自正态总体 的一个样本，

37、显然 是可估参数，因为 分别是它们的无偏估计. 另外,对任一固定实数a,正态分布函数值 也是 可估参数.譬如 n XXX, 21 ),( 2 N 2 , 2 ,SX )()( a aXP 就是P(X0不依赖于; 对密度函数p(x;)的积分与微分运算可以交换,对分布律而 言，无穷和与微分运算可以交换. 下列数学期望存在,且. 则称该分布族为C-R正则分布族,以上五条称为正则条件 I()称 为该分布族的费歇(Fisher)信息量. 2 );(ln)(0 XpEI 第二章参数估计56 e.g.2.3.1泊松分布是C-R正则分布族.因为正则条件的前三条是满 足的.在无穷和下求微分也是允许的.且 0);

38、ln( 1);(ln ) !ln(ln);(ln XE xp xxxp x 所以泊松分布族的Fisher信息量为 1 ) 1();(ln)( 2 X DXpEI 故泊松分布是C-R正则分布族. 第二章参数估计57 e.g.2.3.2 正态分布族N(,1):-是C-R正则分布族. 前三条显然是满足的.对正态分布来说,是允许积分号下求微 分的,因此第四条是满足的,又因为 1)();(ln 0);(ln );(ln )()2ln();(ln 22 2 2 1 2 1 XEXpE XpE xxp xxp 故条件也满足.所以该正态分布族是C-R正则分布族,其 Fisher量I()=1 例如均匀分布U(0

39、,)不是C-R正则分布族. 第二章参数估计58 二C-R不等式 定理定理2.3.1 设F=p(x;):是C-R正则分布族,可估参 数g()是上的可微函数,又设 是取自总体分布p(x;)F的一个样本,又设 是g()的 无偏估计,且满足条件:积分 可在积分号下对求导.则有 其中I（）为该分布族的Fisher信息量. ),( 21n XXXX ) ( Xg nnn dxdxxxpxxg 111 );,(), ( , )( )( ) ( 2 nI g XgD 第二章参数估计59 可以看到C-R不等式的右端与参数g()的变化率的平方 成正比,与总体所在分布族的Fisher信息量的n倍成反比 .当参数g(

40、)和总体分布族给定时,要构造一个方差无限 小的无偏估计,只有当样本容量n无限增大时才有可能,而 要做到这一点是不现实的.所以当样本容量给定n时, g( )的无偏估计的方差不可以任意小,它的下界是 .这个下界也称C-R下界,C-R不等式的意义就在此. )()( 2 nI g 第二章参数估计60 三 有效估计 定义定义2.3.2 设 是g()的无偏估计,比值 ) ( ( )()( 2 XgD nIg en 称为无偏估计的效率(显然 ),假如 ,则称 是g()的有效(无偏)估计.假如 ,则称 是g()的渐进有效(无偏)估计. 10 n e ) ( Xg 1lim n n e ) ( Xg 1 n e 我们当然希望使用有效估计，因为它是无偏估计类中最