应用统计学第二章参数估计

总体分布中常含有参数，一般常用表示参数，参数估计问题就是从样本出发构造一些统计量作为某些未知参数的估计量。通常都是对总体的期望和方差进行估计参数估计的形式有两种：点估计与区间估计。,第二章参数估计,设X1,X2,Xn是来自总体X的一个样本，我们用一个统计量作为的估计量，称为的点估计（量），简称估计。在这里如何构造统计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：,其一是如何给出估计，即估计的方法问题；其二是如何对不同的估计进行评价，即估计的好坏判断标准。,点估计的几种方法,一、矩估计用样本矩及其函数去替换相应的总体矩及其函数，步骤如下：,（）解m个方程组成的方程组，得,一般地，,为的估计量,譬如：,例.1对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下：29.827.628.327.930.128.729.928.027.928.728.427.229.528.528.030.029.129.829.626.9经计算有由此给出总体均值、方差的估计分别为:28.695,0.9185。矩估计的实质是用经验分布函数去替换总体分布。,例设总体的分布密度为,求参数的矩估计量,解：,例.设总体服从指数分布，由于EX=1/，即=1/EX，故的矩估计为另外，由于Var(X)=1/2，其反函数为因此，的矩法估计也可取为B2为样本方差。这说明矩估计是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。,例x1,x2,xn是来自(a,b)上的均匀分布U(a,b)的样本，a与b均是未知参数，这里k=2，由于不难推出由此即可得到a,b的矩估计：,（二）极(最)大似然估计,定义设总体的概率函数为f(x;)，x1,x2,xn是样本，将样本的联合概率函数看成的函数，用L(;x1,x2,xn)表示，简记为L()，称为样本的似然函数。,如果某统计量满足则称是的极(最)大似然估计，,人们通常更习惯于由对数似然函数lnL()出发寻找的极大似然估计。当L()是可微函数时，求导是求极大似然估计最常用的方法，对lnL()求导更加简单些。,具体步骤如下：,（）求似然函数,（）解似然方程,例设总体的分布密度为,来自总体的样本,求参数的极大似然估计,解：,例2设一个试验有三种可能结果，其发生概率分别为现做了n次试验，观测到三种结果发生的次数分别为n1,n2,n3(n1+n2+n3=n)，则似然函数为其对数似然函数为,将之关于求导，并令其为0得到似然方程解之，得由于所以是极大值点。,例3对正态总体N(,2)，=(,2)是二维参数，设有样本x1,x2,xn，则似然函数及其对数分别为,将lnL(,2)分别关于两个分量求偏导并令其为0,即得到似然方程组,解此方程组，可得的极大似然估计为将之代入，得出2的极大似然估计,虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。,例4设x1,x2,xn是来自均匀总体的样本，试求的极大似然估计。,解：,极大似然估计有一个简单而有用的性质：如果是的极大似然估计，则对任一函数g()，其极大似然估计为。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。,例设x1,x2,xn是来自正态总体N(,2)的样本，则和2的极大似然估计为，于是由不变性可得如下参数的极大似然估计，它们是:,标准差,概率的极大似然估计,（一）无偏性,定义设是的一个估计，若有则称是的无偏估计，否则称为有偏估计。,2.3点估计的评价标准,例对任一总体而言，样本均值是总体均值的无偏估计。样本方差B2不是总体方差2的无偏估计，对此，有如下两点说明：(1)当样本量趋于无穷时，有E(B2)2，我们称B2为2的渐近无偏估计。(2)若对B2作如下修正：，则s2是总体方差的无偏估计。,例设,为无偏估计,（二）有效性,定义设是的两个无偏估计，如果有，则称比有效。,例设X1,X2,Xn是取自某总体的样本，记总体均值为，总体方差为2，则,都是的无偏估计，但显然，只要n1，比有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。,Rao-Cramer不等式,设总体的分布密度为,关于参数可,微,并且积分和微分可交换顺序,集合,无偏估计量满足,其中,定义设为未知参数，是的一个估计量，n是样本容量，若对任何一个0，有则称为参数的一致估计。,(三)一致性(相合性),若把依赖于样本量n的估计量看作一个随机变量序列,相合性就是依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。,例1设,证:,例2,无偏,一致,优效估计量,课堂练习,求的极大似然估计量,它是否是无偏的,一致的估计量?,（四）均方误差,无偏估计不一定比有偏估计更优。评价一个点估计的好坏一般可以用：点估计值与参数真值的距离平方的期望，这就是下式给出的均方误差均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。,注意到，因此(1)若是的无偏估计，则，这说明用方差考察无偏估计有效性是合理的。(2)当不是的无偏估计时，就要看其均方误差。下面的例子说明：在均方误差的含义下有些有偏估计优于无偏估计。,例对均匀总体U(0,)，由的极大似然估计得到的无偏估计是，它的均方误差现我们考虑的形如的估计，其均方差为用求导的方法不难求出当时上述均方误差达到最小，且其均方误差所以在均方误差的标准下，有偏估计优于无偏估计。,（五）贝叶斯估计,1统计推断的基础,经典学派的观点：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。,（1）总体信息:总体分布提供的信息。（2）样本信息:抽取样本所得观测值提供的信息。（3）先验信息:人们在试验之前对要做的问题在经验上和资料上总是有所了解的，这些信息对统计推断是有益的。先验信息即是抽样（试验）之前有关统计问题的一些信息。一般说来，先验信息来源于经验和历史资料。先验信息在日常生活和工作中是很重要的。,基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。,贝叶斯学派的基本观点：任一未知量都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量新的分布后验分布；任何关于的统计推断都应该基于的后验分布进行。,2贝叶斯公式的密度函数形式,总体依赖于参数的概率函数在贝叶斯统计中记为P(x|)，它表示在随机变量取某个给定值时总体的条件概率函数；根据参数的先验信息可确定先验分布()；从贝叶斯观点看，样本x1,x2,xn的产生分两步进行:首先从先验分布()产生一个样本0，然后从P(x|0)中产生一组样本。这时样本的联合条件概率函数为，这个分布综合了总体信息和样本信息；,0是未知的，它是按先验分布()产生的。为把先验信息综合进去，不能只考虑0，对的其它值发生的可能性也要加以考虑，故要用()进行综合。这样一来，样本x1,xn和参数的联合分布为:h(x1,x2,xn,)=p(x1,x2,xn)()，这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；,在没有样本信息时，人们只能依据先验分布对作出推断。在有了样本观察值x1,x2,xn之后，则应依据h(x1,x2,xn,)对作出推断。由于h(x1,x2,xn,)=(x1,x2,xn)m(x1,x2,xn)，其中是x1,x2,xn的边际概率函数，它与无关，不含的任何信息。因此能用来对作出推断的仅是条件分布(x1,x2,xn)，它的计算公式是,这个条件分布称为的后验分布，它集中了总体、样本和先验中有关的一切信息。,后验分布(x1,x2,xn)的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布()作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。,3贝叶斯估计基于后验分布(x1,x2,xn)对所作的贝叶斯估计有多种，常用有如下三种：使用后验分布的密度函数最大值作为的点估计，称为最大后验估计；使用后验分布的中位数作为的点估计，称为后验中位数估计；使用后验分布的均值作为的点估计，称为后验期望估计。用得最多的是后验期望估计，它一般也简称为贝叶斯估计，记为。,例设某事件A在一次试验中发生的概率为，为估计，对试验进行了n次独立观测，其中事件A发生了X次，显然Xb(n,)，即假若我们在试验前对事件A没有什么了解，从而对其发生的概率也没有任何信息。在这种场合，贝叶斯本人建议采用“同等无知”的原则使用区间（0,1）上的均匀分布U(0,1)作为的先验分布，因为它取（0,1）上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。,由此即可利用贝叶斯公式求出的后验分布。具体如下：先写出X和的联合分布然后求X的边际分布最后求出的后验分布最后的结果说明XBe(x+1,n-x+1)，其后验期望估计为(6.4.4),某些场合，贝叶斯估计要比极大似然估计更合理一点。比如:“抽检3个全是合格品”与“抽检10个全是合格品”，后者的质量比前者更信得过。这种差别在不合格品率的极大似然估计中反映不出来（两者都为0），而用贝叶斯估计两者分别是0.2和0.083。由此可以看到，在这些极端情况下，贝叶斯估计比极大似然估计更符合人们的理念。,共轭先验分布,若后验分布(x)与()属于同一个分布族，则称该分布族是的共轭先验分布(族)。二项分布b(n,)中的成功概率的共轭先验分布是贝塔分布Be(a,b)；泊松分布P()中的均值的共轭先验分布是伽玛分布Ga(,)；在方差已知时，正态均值的共轭先验分布是正态分布N(,2);在均值已知时，正态方差2的共轭先验分布是倒伽玛分布IGa(,)。,2.4正态总体的区间估计,(一)区间估计的概念,设是总体的一个参数，X1,X2,Xn是来自该总体的样本，对给定的一个(01)，若有两个统计量和，使得,成立,则称随机区间()为的置信水平为1-的置信区间，或简称()是的1-置信区间.和分别称为的（双侧）置信下限和置信上限.,这里置信水平1-的含义是指在大量使用该置信区间时，至少有100(1-)%的区间含有。,单侧区间若对给定的(01)和参数，有，则称为的置信水平为1-的（单侧）置信下限。若对给定的(01)和参数，有,则称为的置信水平为1-的（单侧）置信上限。单侧置信限是置信区间的特殊情形。因此，寻求置信区间的方法可以用来寻找单侧置信限。,具体步骤如下:,(3)从(2)中反解出的值,得参数的区间(置信区间),(一)单正态总体均值的置信区间,一、已知时的置信区间(1)选取统计量,例1设总体,现从总体中抽取容,量为4的样本值分别为,1.23.40.65.6,若已知,求的置信度为99%的置信区间,解:(1)已知,选取,例2用天平秤某物体的重量9次，得平均值为（克），已知天平秤量结果为正态分布，其标准差为0.1克。试求该物体重量的0.95置信区间。解：此处1-=0.95，=0.05，查表知于是该物体重量的0.95置信区间为从而该物体重量的0.95置信区间为(15.3347,15.4653),例3设总体为正态分布N(,1)，为得到的置信水平为0.95的置信区间长度不超过1.2，样本容量应为多大？解：由题设条件知的0.95置信区间为其区间长度为，它仅依赖于样本容量n而与样本具体取值无关。现要求，立即有n(2/1.2)2u2/2.现1-=0.95，故u/2=1.96，从而n(5/3)21.962=10.6711。即样本容量至少为11时才能使得的置信水平为0.95的置信区间长度不超过1.2。,二、2未知时的置信区间,这时可用t统计量，因为，完全类似于上一小节，可得到的1-置信区间为此处是2的无偏估计。,例4在稳定生产的情况下,可认为某工厂生产的荧光灯管的使用小时数,观察20支灯管的使用时数,计算出,试对该种萤光灯管使用时数的数学期望作置信度为95%的区间估计,解:,例5假设轮胎的寿命服从正态分布。为估计某种轮胎的平均寿命，现随机地抽12只轮胎试用，测得它们的寿命（单位：万公里）如下：4.684.854.324.854.615.025.204.604.584.724.384.70解:(1)此处正态总体标准差未知，可选用,于是平均寿命的0.95置信区间为（单位：万公里）,在实际问题中，由于轮胎的寿命越长越好，因此可以只求平均寿命的置信下限，也即构造单边的置信下限。由于由不等式变形可知的1-置信下限为将t0.05(11)=1.7959代入计算可得平均寿命的0.95置信下限为4.5806（万公里）。,注意:当总体为非正态分布或总体分布未知时,如果n相当大,近似服从正态分布,三双正态总体均值差的区间估计,1、12和22已知时的两样本均值差的置信区间2、12,22未知时的两样本均值差的置信区间,(1)在大样本