第二章 参数估计.ppt

1、1,Ch2 参数估计,2.1 参数估计,参数估计是数理统计的基本内容之一,几乎在有统计问题的地方都要用到参数估计,实际的需要刺激了人们去研究参数估计的理论与方法,因此参数估计内容是丰富多彩的,本章介绍其基本部分.,我们知道任何一个仅依赖样本的函数即统计量均可作为参数的估计量,换句话说,一个参数的估计是可以随便给的,所以根据统计思想建立各种点估计方法和评价点估计的好坏标准便是估计问题的研究中心.这里先介绍两个常用的标准:无偏性和一致性.,2,定义2.1.1 设 是 的一个估计量,若 则称 是的无偏估计.,估计的无偏性是指在大量重复使用下,其平均偏差 这就是产生无偏性要求的统计思想.但是在样本的一

2、次观察值下,估计值 与之间的偏差还是有的,有时可能很大.,3,定义2.1.2 设 是g()的一个估计量,若对任意的0,有 则称 是g()的一致估计.,估计的一致性是对大样本提出的一种要求,只要样本容量充分大, 与 g()将在概率意义下越来越靠近.,前面提到过，一个未知参数的估计原则上是可以随意给出的，但是一个好的估计却是按照一定的统计思想产生的估计方法有矩法，极大似然法，最小二乘法，贝叶斯方法等，这里先介绍前两种方法其他方法将逐步介绍.,4,一、矩法 (Methods of Moments),矩法是一种古老的估计方法,它是K.Pearson在十九世纪末提出的.它是基于一种简单的“替换”思想建立

3、起来的一种估计方法. 格里纹科定理是1933年才提出的.但格里纹科定理把K.Pearson的矩法思想提高到一个新的高度,之所以能达到这种高度,是由于K.Pearson的原始想法中包含着很合理的核心.,定理2.1.1 (格里纹科定理) 对任意给定的自然数n,设 是取自总体分布函数F(x)的一个样本观察值, 为其经验分布函数 ,记 ,则有,5,格里纹科定理是产生矩法的思想基础.既然经验分布函数与总体分布函数随n增大愈来愈靠近,那么它们的各种参数特征,如各阶矩也应随着n增大愈来愈靠近.而经验分布函数的各阶矩就是样本各阶矩的观察值.因此,就可以用样本各阶矩去估计总体各阶矩.按这种统计思想去获得未知参数

4、估计量的方法称为矩法,所得的估计量称为矩估计量.譬如:,总体k阶矩 的矩估计量是 样本k阶矩,约定：若 是未知参数的矩估计，则u()的矩估计为u( ),6,例1：设X1， ， Xn为取自总体B(m,p),的样本，其中m已知，0p1未知，求p的矩估计。,解: E(X)=mp,为参数p的矩估计,7,例2、：设X1， ， Xn为取自参数为的指数分布总体的样本，求的矩估计。,8,例3、设总体X的概率密度为 X1， ， Xn为样本，求参数的矩估计。,解:,9,10,例4：设X1， ， Xn为取自 总体的样本，求参数 的矩估计。,解:,11,解:,12,例(极大似然原理应用) 一袋中有一些黑球和白球,已知

5、两种球数比为1:3,但不知黑球多还是白球多,现有放回地从袋中摸3个球,发现其中有k个黑球,试判断黑球的比例 是 还是 ? 解:X为随机变量,由极大似然原理,当,13,二、极大似然估计(Maximum Likelihood Estimators),极大似然法是由德国数学家G.F.Gauss在1821年提出的.然而这个方法通常归于英国统计学家R.A.Fisher,因为他在1912年里发现了这一方法,并且首先研究了这种方法的性质.,设总体的密度函数为f(x,), 为待估参数,为参数空间.当给定样本观察值 后,f(x,)可看作上的函数,假如对不同的 ,有 ,那么该观察值x来 比来自 的可能性大,所以在

6、给定x时,f(x,)又可看作为参数对产生观察值“多大可能” 的一种度量,同一函数f(x,)有两个不同的看法,14,定义2.1.3 设总体X的密度函数为f(x,), 样本 的观察值为 ,其联合密度函数为 ,记,称 为似然函数.而对似然函数 取对数,称 为对数似然函数.,显然在似然函数中,参数看作是变量,而 被看作是参量,对数似然函数与似然函数一样,都可看作为对产生给定 x 有“多大可能”的一种度量.,后一种看法很重要,它产生了似然函数概念,也是极大似然法产生的统计思想.,15,定义2.1.4 设 是给定样本观察值 x 的似然函数, 若存在 ,使得 ,则称 是 的极大似然估计(值).(MLE),寻

7、求极大似然估计常常要用到微分法,并且要验证,这就要求 或 二阶可微,但这并不意味着不可微的似然函数就不存在极大似然估计.,16,例1、设X1， ， Xn为取自参数为的泊松分布总体的样本，求的极大似然估计,解:,令,故的极大似然估计为,17,例2 考虑一个具有标号为1,2,3的三种元素的总体,其概率分别为:(1,)=2,p(2,)=2(1),p(3,)=(1)2,其中01如果我们观察三个个体的样本,得到 , 则它的似然函数为: L()=p(1,) p(2,) p(1,)=25(1),为了寻求的MLE,我们对对数似然函数求导,并令其为零,得到的方程称为似然方程,这个方程有唯一解 ,因为对一切(0,

8、1)有,18,所以 确使L()达到最大, 是的MLE.,再考虑一般情况,设n1,n2,n3分别表示样本观察值(x1,x2,xn)中等于1,2,3的数目,n= n1+n2+n3,这时似然函数为:,对数似然函数方程为:,其MLE为 ,因为容易验证,19,2.2正态总体的区间估计一、概念,定义：设总体X的分布函数F(x；)含有未知参数，对于给定值（0 1),若由样本X1, , Xn确定的两个统计量 使,则称随机区间 为的置信度为1的置信区间,注：F(x;)也可换成概率密度或分布律。,20,二、单正态总体均值的置信区间,1、2已知,21,1-,可取,22,(1-),1-,的置信度为1的置信区间为,注：

9、的1置信区间不唯一。,都是的1置性区间.但=1/2时区间长最短.,23,求正态总体参数置信区间的解题步骤 (1)根据实际问题构造样本的函数，要求仅含待估参数且分布已知-枢轴量； (2)令枢轴量落在由分位点确定的区间里的概率为给定的置信度1，要求区间按几何对称或概率对称； (3)解不等式得随机的置信区间； (4)由观测值及值查表计算得所求置信区间。,24,1 、设某种清漆的9个样品，其干燥时间（以小时计） 6.0 5.7 5.8 .6.5 7.0 6.3 5.6 6.1 5.0 设干燥时间总体服从正态分布 ，求 的置信水平为0.95的置信区间。 （1）若由以往经验知 （小时） （2）若 为未知,

10、2 、随机地取某种炮弹9发做实验，得炮口速度的 样本标准差 ， 设炮口速度服从正态分布。 求这种炮弹的炮口速度的标准差 的置信水平 为0.95的置信区间。,25,1 、（1）解:,已知时,的置信度为1的置信区间为,这里,26,2、2未知,m的1-a置信区间为,1-,即得,27,1 、(2)解:,未知时,的置信度为1的置信区间为,这里,28,二、单正态总体方差的置信区间,29,s2的置信度为1的置信区间为,s的置信度为1的置信区间为,30,2 、 解:,s的置信度为1的置信区间为,这里,s的置信度为95%的置信区间为,31,三、双正态总体均值差的置信区间,32,其中,可解得1- 2 的置信区间,

11、33,四、双正态总体方差比的置信区间,假定1，2未知,34,35,2.3 一致最小方差无偏估计,一、 最小均方误差准则,我们在这里提出另一评价估计量好坏的标准最小均方误差准则. 设有一个参数分布族=p(x;):.g()是的函数.假设( )是来自某总体p(x;)的一个样本,则可以构造许多的样本函数来作为g()的估计量.假如把g()的一切可能的估计量组成的类记为 ,那么在估计类 中最好的估计量应是那个最靠近待估参数g()真值的估计量.并且当总体参数变动时,譬如变动到 ,那么最好估计量也应最靠近g( ).,36,如何来评价一个估计量最靠近待估参数g()呢?由于估计量是一个随机变量,因此,一个估计量的

12、好坏不能由少数几个取值来判定,而应由长期使用结果估计量的分布(即抽样分布)来判断.如果抽样分布的大部分质量密集在真值附近,那么该估计量就认为是较好的.这种密集程度可用均方误差来度量.均方误差愈小,此种密集程度愈高.这就是均方误差准则.,定义2.2.1 设 和 都是估计类中 的两个估计量.假如对一切,有,则称在均方误差意义下 不优于 .假如上式对一切可能的估计量 都成立,则 称 g()一致最小均方差估计.,37,例2.2.1 设 是取自正态总体N(,2)的一个样本.我们知道估计量 是2的无偏估计,其均方误差为,现在来考虑形如c 的估计量,其中c为一实数.它的均方误差为,38,令 ,它是c的函数,

13、且在 处得到最小.所以,若令 , 则 不是 的无偏估计,而是有偏估计,并且.,这表明：在均方误差准则下，有偏估计要优于无偏估计.应该注意,估计量是否有偏是用其一阶矩来考察的,估计量是否密集在待估参数周围是用其二阶矩来考察的.可见,无偏准则与均方误差准则是从两个不同侧面去考察一个估计量的.当二者发生矛盾时,应该更重视均方误差准则评价的结果 .,39,可惜的是,一致最小均方误差估计常不存在.这是因为,若 是g()的一致最小均方误差估计,那么,对任一个固定值0,作一个估计量 ,这个估计量在 处的均方误差等于零,从而达到最小,但在 处有较大的均方误差.如令 是g()的一致均方误差估计,故其在 处的均方

14、误差也应是零.此种 可以取中一点,所以作为g()一致最小均方误差估计 的均方误差必须处处为零,即,这意味着,无论取何值, 都必须要完美无缺地去估计g().这在统计中是不可能办到的.,40,在 中找不到一致最小均方误差估计，怎么办呢？通常的 想法是把估计类缩小，譬如把估计类缩小到无偏估计类等 ，然后在缩小的估计类中寻找一致最小均方误差估计.譬如, 在无偏估计类中,估计量的均方误差就变为估计量的方差,寻 求一致最小均方误差估计,就变为寻找一致最小方差无偏估 计.下面深入讨论这个问题.,41,二、无偏估计类,参数g()一切可能的无偏估计组成的类称为无偏估计类.记为 . 但 可能是空的,因为存在这样的

15、参数,它没有无偏估计.,e.g.2.2.2 考察二项分布b(m,p):0p1,则不管样本容量n多大参数 的无偏估计不存在.以n=1为例,证明这个结论.反证.若 有无偏估计 ,则应有,上式可化为p的m+1次多项式，它最多有m+1个实根，可无偏性要求对（0，1）中任一个实数p上式都成立.这个矛盾说明了 的无偏估计不存在.,下面的讨论不考虑无偏估计不存在的参数,为此引进可估参数概念,42,定义2.2.2 假如参数的无偏估计存在，则称此参数为可估参数.,显然,可估参数的无偏估计类是非空的.若在此无偏估计类中只有一个无偏估计量,那最小方差无偏估计就容易寻找,但是可估参数的无偏估计类常常由不只一个无偏估计

16、组成.,e.g.2.2.3 设 是取自正态总体 的一个样本，显然 是可估参数，因为 分别是它们的无偏估计. 另外,对任一固定实数a,正态分布函数值 也是可估参数.譬如,就是P(Xa)的无偏估计.,43,三、一致最小方差无偏估计(UMVUE),1.概念:,定义2.2.3 设F=p(x;):是一个参数分布族.g()是上的一个可估参数,Ug是g()无偏估计类.假如 是这样的一个无偏估计,对一切 ,有,则称 是g()的一致最小方差无偏估计，记为UMVUE.,44,2.4克拉梅劳不等式 (CramrRao Inequality),一、C-R正则分布族与费歇信息量,瑞典统计学家克拉梅和印度统计学家劳(C.

17、R.Rao)分别在1945年和1946年对单参数正则分布族证明了一个重要不等式.这个不等式给出了可估参数g()的无偏估计的方差的下界,这个下界在评价一个无偏估计好坏上起着重要作用.下面我们来叙述这个不等式.,45,定义2.3.1 假如单参数密度函数(或单参数分布列)族 p(x;):具有如下五个条件: 参数空间是直线上的某个开区间;,导数 对一切都存在;,支撑x:p(x;)0不依赖于;,对密度函数p(x;)的积分与微分运算可以交换,对分布列而言，无穷和与微分运算可以交换. 下列数学期望存在,且. 则称该分布族为C-R正则分布族,以上五条称为正则条件 I()称为该分布族的费歇(Fisher)信息量

18、.,46,e.g.2.3.1泊松分布是C-R正则分布族.因为正则条件的前三条是满足的.在无穷和下求微分也是允许的.且,所以泊松分布族的Fisher信息量为,故泊松分布是C-R正则分布族.,47,e.g.2.3.2 正态分布族N(,1):-是C-R正则分布族.前三条显然是满足的.对正态分布来说,是允许积分号下求微分的,因此第四条是满足的,又因为,故条件也满足.所以该正态分布族是C-R正则分布族,其Fisher量I()=1 例如均匀分布U(0,)不是C-R正则分布族.,48,二C-R不等式,定理2.3.1 设F=p(x;):是C-R正则分布族,可估参数g()是上的可微函数,又设 是取自总体分布p(

19、x;)F的一个样本,又设 是g()的无偏估计,且满足条件:积分 可在积分号下对求导.则有 其中I（）为该分布族的Fisher信息量.,49,可以看到C-R不等式的右端与参数g()的变化率的平方 成正比,与总体所在分布族的Fisher信息量的n倍成反比 .当参数g()和总体分布族给定时,要构造一个方差无限 小的无偏估计,只有当样本容量n无限增大时才有可能,而 要做到这一点是不现实的.所以当样本容量给定n时, g( )的无偏估计的方差不可以任意小,它的下界是 .这个下界也称C-R下界,C-R不等式的意义就在此.,50,三 有效估计,定义2.3.2 设 是g()的无偏估计,比值,称为无偏估计的效率(显然 ),假如 ,则称 是g()的有效(无偏)估计.假如 ,