《概率论与数理统计教程-朱庆峰》第6章参数估计

第六章,参数估计,统计推断,第6.1节点估计方法,一、点估计问题的提法,二、估计量的求法,三、小结,一般常用表示参数，参数所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。参数估计的形式有两种：点估计与区间估计。,现从该总体中抽取样本,设有一个统计总体的分布函数F(x,)，,其中为未知参数.,一、点估计问题的提法,设总体的分布函数形式已知,但它的一个或多个参数为未知,借助于总体的一个样本来估计总体未知参数称为点估计问题.,在这里如何构造估计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：,其一是如何给出估计，即估计的方法问题；其二是如何对不同的估计进行评价，即估计的好坏判断标准。,二、估计量的求法,由于估计量是样本的函数,是随机变量,故对不同的样本值,得到的参数值往往不同,求估计量的问题是关键问题.,点估计的求法:(两种),矩估计法和最大似然估计法.,一、矩估计法,它是基于一种简单的“替换”思想建立起来的一种估计方法.,是英国统计学家K.皮尔逊最早提出的.,-求参数点估计的一种简便的常用方法,（1）基本思想,用相应的样本矩估计总体矩，用相应的样本矩的函数来估计总体矩的函数。,记总体k阶原点矩为,样本k阶原点矩为,这种求点估计的方法称作矩法；用矩法确定的估计量为矩估计量，相应的估计值为矩估计值。,记总体k阶中心矩为,样本k阶中心矩为,例1求正态总体N(,2)两个未知参数和2的矩估计量.,解：,解,例3,解方程组得到a,b的矩估计量分别为,解,解方程组得到矩估计量分别为,例4,上例表明:,总体均值与方差的矩估计量的表达式，不因不同的总体分布而异.,一般地:,矩法的优点是简单易行,缺点是，当总体类型已知时，没有充分利用分布提供的信息.一般场合下,矩估计量不具有唯一性.,练习设总体的分布密度为,为总体的样本,求参数的矩估计量.,解：由于只含有一个未知参数，一般只需求出便能得到的矩估计量，但是,即不含有,故不能由此得到的矩估计量.为此,求,故令,于是解得的矩估计量为,二、最大（极大）似然估计,最大似然法是在总体类型已知条件下使用的一种参数估计方法.,它首先是由德国数学家高斯在1821年提出的,然而，,Gauss,Fisher,这个方法常归功于英国统计学家费歇.,费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.,（1）基本思想-最大似然原理,最大似然估计的直观想法是：在试验中概率最大的事件最有可能出现。因此，一个试验如有若干个可能的结果，若在一次试验中，结果A出现，则一般认为A出现的概率最大.,定义6.1.1设总体的概率函数为P(x;)，是参数可能取值的参数空间，x1,x2,xn是样本，将样本的联合概率函数看成的函数，用L(;x1,x2,xn)表示，简记为L()，,称为样本的似然函数。,似然函数实质上是样本的分布律或分布密度。,如果某统计量满足则称是的极(最)大似然估计，简记为MLE（MaximumLikelihoodEstimate）。,人们通常更习惯于由对数似然函数lnL()出发寻找的极大似然估计。当L()是可微函数时，求导是求极大似然估计最常用的方法，对lnL()求导更加简单些。,(2)求最大似然估计量的一般步骤为：,（1）求似然函数,（2）一般地，求出,及似然方程,（3）解似然方程得到最大似然估计,解,似然函数,例1,这一估计与矩估计是相同的.,解,似然函数为,例2,它们与相应的矩估计相同.,解,例3,极大似然估计有一个简单而有用的性质：如果是的极大似然估计，则对任一函数g()，其极大似然估计为。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。,最大似然估计的两个重要性质,（1）不变性,例6.3.6设x1,x2,xn是来自正态总体N(,2)的样本，则和2的极大似然估计为，于是由不变性可得如下参数的极大似然估计，它们是:,标准差的MLE是,总体0.90分位数x0.90=+u0.90的MLE是，其中u0.90为标准正态分布的0.90分位数。,极大似然估计的重要性质（2）渐近正态性:,三、小结,两种求点估计的方法:,矩估计法,最大似然估计法,在统计问题中往往先使用最大似然估计法,在最大似然估计法使用不方便时,再用矩估计法.,1.无偏性,(2)无偏估计的实际意义:无系统偏差.,(1)无偏性是对估计量的一个基本而重要的要求.,6.2点估计的评价标准,如果估计,满足关系式,则称是的渐近无偏估计（量）。,一个估计量如果不是无偏估计量，就称这个估计量是有偏的，且称为估计量的偏差。,证明,例1,特别地:,例2,证明,(这种方法称为无偏修正).,见例6.1.2,证明,例3,证明,例4,由以上两例可知,同一个参数可以有多个不同的无偏估计量.,这些说明仅有无偏性要求是不够的。于是，人们又在无偏性的基础上增加了对方差的要求。若估计量的方差越小。表明该估计量的取值（即估计值）围绕着待估参数的波动就越小，也就是更为理想的估计量。为此，引入最小方差无偏估计-有效估计。,2.有效性,由于方差是随机变量取值与其数学期望的平均偏离程度,所以无偏估计以方差小者为好.,证明,例5(续例4),证明,练习(续例3)（课本例6.1.6）,定义6.2.1设为未知参数，是的一个估计量，n是样本容量，若对任何一个0，有则称为参数的相合估计。,3.相合性,若把依赖于样本量n的估计量看作一个随机变量序列,相合性就是依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。,相合性被认为是对估计的一个最基本要求,通常,不满足相合性要求的估计一般不予考虑。,在判断估计的相合性时下述两个定理非常有用。定理6.2.1设是的一个估计量，若则是的相合估计。,定理6.2.2若分别是1,k的相合估计，=g(1,k)是1,k的连续函数，则是的相合估计。,例6.2.5设x1,x2,xn是来自均匀总体U(0,)的样本，证明的极大似然估计是相合估计。证明：在例6.3.5中我们已经给出的极大似然估计是x(n)。由次序统计量的分布，我们知道x(n)的分布密度函数为p(y)=nyn-1/n,y,故有由定理6.2.1可知，x(n)是的相合估计。,由大数定律及定理6.2.2，我们可以看到：矩估计一般都具有相合性。比如：,样本均值是总体均值的相合估计；样本标准差是总体标准差的相合估计；样本k阶矩是总体k阶矩的相合估计；,4.均方误差,评价一个点估计的好坏一般可以用：点估计值与参数真值的距离平方的期望，这就是下式给出的均方误差均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。,注意到，因此(1)若是的无偏估计，则，这说明用方差考察无偏估计有效性是合理的。(2)当不是的无偏估计时，就要看其均方误差。下面的例子说明：在均方误差的含义下有些有偏估计优于无偏估计。,例6.4.1对均匀总体U(0,)，由的极大似然估计得到的无偏估计是，它的均方误差现我们考虑的形如的估计，其均方差为用求导的方法不难求出当时上述均方误差达到最小，且其均方误差所以在均方误差的标准下，有偏估计优于无偏估计。,定义6.4.2对参数估计问题，设是的一个无偏估计，如果对另外任意一个的无偏估计，在参数空间上都有则称是的一致最小方差无偏估计，简记为UMVUE。如果UMVUE存在，则它一定是充分统计量的函数。,6.4最小方差无偏估计,定理6.4.1设x=(x1,x2,xn)是来自某总体的一个样本，是的一个无偏估计，则是的UMVUE的充要条件是，对任意一个满足E(x)=0,Var(x)0与无关；(3)导数对一切都存在；(4)对P(x,)，积分与微分运算可交换次序；(5)期望存在；则称为总体分布的费希尔(Fisher)信息量。,费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I()有关。I()的种种性质显示，“I()越大”可被解释为总体分布中包含未知参数的信息越多。,例6.4.4设总体为泊松分布P()分布，则于是,例6.4.5设总体为指数分布，其密度函数为可以验证定义6.3.2的条件满足，且于是,定理6.4.3（Cramer-Rao不等式）设定义6.3.2的条件满足，x1,x2,xn是来自该总体的样本，T=T(x1,x2,xn)是g()的任一个无偏估计，存在，且对中一切，微分可在积分号下进行，则有,上式称为克拉美-罗（C-R）不等式;g()2/(nI()称为g()的无偏估计的方差的C-R下界，简称g()的C-R下界。特别，对的无偏估计,有;,如果等号成立，则称T=T(x1,xn)是g()的有效估计，有效估计一定是UMVUE。,例6.4.6设总体分布列为p(x,)=x(1-)1-x,x=0,1，它满足定义6.3.2的所有条件，可以算得该分布的费希尔信息量为，若x1,x2,xn是该总体的样本，则的C-R下界为(nI()-1=(1-)/n。因为是的无偏估计，且其方差等于(1-)/n，达到C-R下界，所以是的有效估计，它也是的UMVUE。,例6.4.7设总体为指数分布Exp(1/)，它满足定义6.3.2的所有条件，例6.3.4中已经算出该分布的费希尔信息量为I()=-2，若x1,x2,xn是样本，则的C-R下界为(nI()-1=2/n。而是的无偏估计，且其方差等于2/n，达到了C-R下界，所以，是的有效估计，它也是的UMVUE。,能达到C-R下界的无偏估计不多:例6.4.8设总体为N(0,2)，满足定义6.3.2的条件，且费希尔信息量为，令