概率论与数理统计第6章VIP

第六章参数估计,参数的点估计估计量的评选标准正态总体参数的区间估计,6.1点估计问题概述,来估计的值，称为参数的估计量。,称为参数的估计值。,在不致混淆的情况下，估计量、估计值统称点估计，简称为估计,记为.,一、点估计的概念,设X1,X2,Xn是取自总体X的一个样本,x1,x2,xn是相应的一个样本值.是总体分布中的未知参数,为估计未知参数,需构造一个适当的统计量,然后用其观察值,注:估计量是一个随机变量,是样本的函数，即是一个统计量,对不同的样本值,的估计值一般是不同的.,例1设X表示某种型号的电子元件的寿命(以小时计)，它服从指数分布：,试估计未知参数.,为未知参数,现得样本值为168,130,169,143,174,198,108,212,252,解由题意知,总体X的均值为,即,因此,用样本均值作为的估计量,由给定的样本值得,故与分别为的估计量与估计值.,二、评价估计量的标准,从例1可见,参数点估计的概念相当宽松,对同一参数,可用不同的方法来估计,因而得到不同的估计量,故有必要建立一些评价估计量好坏的标准,1.无偏性;2.有效性;3.相合性（一致性）.,需指出:评价一个估计量的好坏,不能仅仅依据一次试验的结果,而必须由多次试验结果来衡量.因为估计量是样本的函数,是随机变量.故由不同的观测结果,就会求得不同的参数估计值.因此一个好的估计,应在多次重复试验中体现出其优良性.,1、无偏性,定义1设是未知参数的估计量，如果,则称为的无偏估计量。,估计量是随机变量,对于不同的样本值会得到不同的估计值.一个自然的要求是希望估计值在未知参数真值的附近,不要偏高也不要偏低.由此引入无偏性标准.,注:无偏性是对估计量的一个常见而重要的要求,其实际意义是指估计量没有系统偏差，只有随机偏差.在科学技术中,称,为用估计而产生的系统误差.,对一般总体而言，我们有,定理1设X1,X2,Xn为取自总体X的样本,总体X的均值为,方差为.则(1)样本均值是的无偏估计量;(2)样本方差S2是的无偏估计量;(3)样本二阶中心矩是的有偏估计量;,注：如果是的无偏估计量，是的函数，未必能推出是的无偏估计量.,例2设总体，X1,X2,.,Xn是来自这一总体的样本.(1)证明是的无偏估计;,(2)求,证明,是的无偏估计.,且它们相互独立,故,例3设X1,Xn是总体的一个简单随机样本.求k,使,为的无偏估计.,解且它们相互独立,则,当i=j时,E(|Xi-Xj|)=0,所以,2、有效性,则称比有效。,对于参数的无偏估计量，其取值应在真值附近波动,希望它与真值之间的偏差越小越好。,定义2设和均为未知参数的无偏估计量，若,注:设X1,Xn是取自总体X的一个样本,是未知参数的一个估计量,若满足,则称为的最小方差无偏估计(也称最佳无偏估计).,例4设X1,X2,Xn为来自总体X的样本,均为总体均值的无偏估计量,问哪一个估计量有效?,例5设分别自总体和中抽取容量为n1,n2的两独立样本.其样本方差分别为S12,S22.试证,对于任意常数a,b(a+b=1),Z=aS12+bS22都是的无偏估计,并确定常数a,b使D(Z)达到最小.,解:由抽样分布定理得,且它们相互独立,所以,具有最小方差.,3、相合性（一致性）,在参数估计中，很容易想到，如果样本容量越大，样本所含的总体分布的信息越多。n越大，越能精确估计总体的未知参数。随着n的无限增大，一个好的估计量与被估参数的真值之间任意接近的可能性会越来越大，这就是所谓的相合性或一致性。定义3设,为未知参数的估计量，若对任意给定的正数,0，都有,即,以概率收敛于参数，则称,为参数的(弱)相合估计量。,例6设是总体X的样本均值，则作为总体期望E(X)的估计量时，是E(X)的一致估计量。,证明由大数定律可知，当n时,是E(X)的一致估计量。,6.2点估计的常用方法,一、矩估计法(简称“矩法”),矩估计法的基本思想是用样本矩估计总体矩.因为由大数定理知,当总体的k阶矩存在时,样本的k阶矩依概率收敛于总体的k阶矩.例如,可用样本均值作为总体均值E(X)的估计量,一般地,记,总体k阶矩,样本k阶矩,定义1用相应的样本矩去估计总体矩的方法就称为矩估计法.用矩估计法确定的估计量称为矩估计量.相应的估计值称为矩估计值.矩估计量与矩估计值统称为矩估计.,总体k阶中心矩,样本k阶中心矩,(1)求总体X的k阶矩E(Xk)=k，一般都是这k个未知参数的函数,记为,设总体X的分布函数F(x;1,2,k)中含有k个未知参数1,2,k，则,(2)从（*）中解得,(*),(3)再用的估计量Ai分别代替上式中的即可得的矩估计量:,注：求V1,Vk,类似于上述步骤，最后用B1,Bk代替V1,Vk求出矩估计.,例1设总体X的均值为，方差为20，均未知。X1,X2,Xn是来自X的样本，求和2的矩估计量。解,解得矩法估计量为,注：,由上例可知，总体均值和方差的矩估计与总体的分布无关。方差作为总体的二阶中心矩，它的矩估计为样本的二阶中心矩。不仅如此，只要总体的k阶中心矩存在，则它的矩估计就是样本的k阶中心矩:,例2设总体XP()，求的矩估计。解,例3设(X1,X2,Xn)来自X的一个样本，且,求a,b的矩估计。,解XU(a,b),解得矩估计为,样本的2阶中心矩,矩法估计的优点：计算简单；矩法估计的缺点：(1)矩法估计有时会得到不合理的解；(2)求矩法估计时，不同的做法会得到不同的解；(通常规定，在求矩法估计时，要尽量使用低阶矩)如例2中，不是用1阶矩，而是用2阶矩,(3)总体分布的矩不一定存在，所以矩法估计不一定有解。如,1、最大似然估计法的基本思想,一般说，事件A发生的概率与参数有关，取值不同，则P(A)也不同。因而应记事件A发生的概率为P(A|)。若A发生了，则认为此时的值应是在中使P(A|)达到最大的那一个。这就是最大似然思想。,二、最大似然估计法,最大似然估计法的思想:在已经得到实验结果的情况下,应该寻找使这个结果出现的可能性最大的那个作为的估计.,2、似然函数与最大似然估计,并称其为似然函数。,离散型总体的情形:设总体X的概率分布为,如果X1,X2,Xn是取自总体X的样本,样本的观察值为x1,x2,xn,则样本的联合分布律,对确定的样本观察值x1,x2,xn,它是未知参数的函数,记为,定义2若对任意给定的样本值x1,x2,xn,存在,连续型总体的情形:设总体X的概率密度为,为未知参数,此时定义似然函数,似然函数的值的大小意味着该样本值出现的可能性的大小,在已得到样本值x1,x2,xn的情况下,则应该选择使达到最大值的那个作为的估计.这种求点估计的方法称为最大似然估计法.,则称为的最大似然估计值.称相应的统计量为的最大似然估计量.它们统称为的最大似然估计(MLE).,3、求最大似然估计的一般方法,(1)写出似然函数,求未知参数的最大似然估计问题,归结为求似然函数的最大值点的问题.当似然函数关于未知参数可微时,可利用微分学中求最大值的方法求之.其主要步骤:,注：(i)当似然函数关于未知参数不可微时，只能按最大似然估计法的基本思想求出最大值点。(ii)上述方法易推广至多个未知参数的情形,(3)判断并求出最大值点,在最大值点的表达式中,用样本值代入就得参数的最大似然估计值.,注:因函数lnL是L的单调增加函数,且函数与函数有相同的极值点,故常转化为求函数的最大值点较方便.,例4(X1,X2,Xn)是来自总体XP()的样本，0未知，求的最大似然估计量。解总体X的分布律为,x=1,2,设x1,x2,xn为样本X1,X2,Xn的一个样本值，似然函数,对数似然函数,是的最大似然估计值,的最大似然估计量为,所以,例5设X1,X2,Xn是来自正态总体XN(,2)的一个样本，,2未知，求,2的最大似然估计。解设(x1,x2,xn)为样本(X1,X2,Xn)的一个样本观察值，则似然函数为,解得,所以,2的最大似然估计量分别为,思考：当已知时，,例6设XUa,b，a,b未知，X1,X2,Xn是总体X的一个样本，求a,b的最大似然估计。解X的密度函数为,设x1,x2,xn为样本X1,X2,Xn的一个观察值，则似然函数,axib，i=1,2,n,无法求出估计,设x1*=min(x1,x2,xn)，xn*=max(x1,x2,xn)，则a的取值范围ax1*，b的取值范围bxn*当a=x1*，b=xn*时，有,L(a,b)当a=x1*，b=xn*时取得最大值。所以,注：由似然方程解不出的似然估计时，可由定义通过分析直接推求。事实上,满足,极大似然估计具有下述性质：若是未知参数的极大似然估计，g()是的严格单调函数，则g()的极大似然估计为g(),补充练习1:设总体X的k阶矩存在，则不论X的分布如何，样本k阶原点矩是总体k阶原点矩k的无偏估计.,证明,设X的k阶矩k=E(Xk)，k1,(X1,X2,Xn)是来自总体X的一个样本，则,所以Ak是k的无偏估计.,2.设为的无偏估计量，若则为的一致估计量,证明,由切贝雪夫不等式可知,为的一致估计量。,3.设XN(,2)，其中,2未知，问,2的最大似然估计是否为,2的无偏估计？若不是，请修正使它成为无偏估计。,解设(X1,X2,Xn)是取自总体X的一个样本，由例6.6知,是的无偏估计,不是2的无偏估计，而,为2的无偏估计。,4.设X1,X2,Xn为取自U(0,)总体的样本，0未知，求参数的最大似然估计。,5.设总体XU1,，1，未知，(X1,X2,Xn)是总体X的一个样本，(1)求的矩估计和最大似然估计；(2)上述两个估计是否为无偏估计量，若不是，请修正为无偏估计量；(3)问在(2)中的两个无偏估计量哪一个更有效？,解X的密度函数,(1),的矩估计为,设(x1,x2,xn)为样本观察值，则似然函数,i=1,2,n,令xn*=max(x1,x2,xn)，则xn*,即的最大似然估计为,(2),是的无偏估计。,为求,先求Xn*的密度函数,显然，它不是的无偏估计，修正如下：令,则,是的无偏估计。,(3),当n1时，对任意1，,因此,比,更有效。,6.3置信区间,上一节中，我们讨论了参数的点估计，只要给定样本观察值，就能算出参数的估计值。但用点估计的方法得到的估计值不一定是参数的真值，即使与真值相等也无法肯定这种相等（因为总体参数本身是未知的），也就是说，由点估计得到的参数估计值没有给出它与真值之间的可靠程度，在实际应用中往往还需要知道参数的估计值落在其真值附近的一个范围。为此我们要求由样本构造一个以较大的概率包含真实参数的一个范围或区间，这种带有概率的区间称为置信区间，通过构造一个置信区间对未知参数进行估计的方法称为区间估计。它是由奈曼(Neymann)于1934年提出的。,定义1设为总体分布的未知参数,X1,X2,Xn是取自总体X的的一个样本,对给定的数(01)，若存在统计量,使得,注：1)置信区间是以统计量为端点的随机区间，对于给定的样本观察值(x1,x2,xn)，对应每个样本值都确定了一个置信区间,一、置信区间的概念,每个这样的区间可能包含真值，也可能不包含真值，但在多次观察或试验中，每一个样本皆得到一个置信区间，在这些区间中包含真值的频率接近于置信度(即概率)1-，即包含真值的区间占100(1-)%个，不包含的仅占100%个。,例1设(X1,X2,Xn)是取自总体XN(,2)的一个样本，其中2已知，未知。试求出的置信度为1-的置信区间。,解由于样本均值,是总体均值的无偏估计，且,故统计量,由标准正态分布的双侧分位数定义可知,即落在区间内的概率为1-。,此区间称为的置信度为1-的置信区间。,-u/2Ou/2x,(x),/2,/2,1-,二、寻求置信区间的方法,寻求置信区间的基本思想：在点估计的基础上，构造合适的含样本及待估参数的函数U，且已知U的分布，再针对给定的置信度导出置信区间。,一般步骤:,(1)选取未知参数的某个较优估计量.,(2)围绕构造一个依赖于样本与参数的函数,(3)对给定的置信水平,确定与,使,通常可选取满足的与,在常用分布情况下,这可由分位数表查得;,(4)对不等式作恒等变形化后为,则就是的置信度为的双侧置信区间。,三、0-1分布参数的置信区间,考虑(01)分布情形,设其总体X的分布率为,现求p的置信度为的置信区间.,已知(01)分布的均值和方差分别为,E(X)=p,D(X)=p(1-p).,设X1,X2,Xn是总体X的一个样本,由中心极限定理知,当n充分大时,近似服从N(0,1)分布,对给定的置信度,则有,经不等式变形得,解式中不等式得,于是(p1,p2)可作为p的置信度为的置信区间.,例2设抽自一大批产品的100个样品中,得一级品60个,求这批产品的一级品率p的置信水平为0.95的置信区间.,解一级品率p是0-1分布的参数，这里,于是p1=0.50,p2=0.69,故得p的一个置信水平为0.95的近似置信区间为(0.50,0.69).,解由,对于给定置信度，有,查表t0.05(4)=2.14,从而平均寿命的置信度为95%的单侧置信下限为,即该灯泡的平均寿命至少在1064.56h以上，可靠程度为95%.,例3从一批灯泡中随机地抽取5只作寿命试验,其寿命如下(单位:h)10501100112012501280已知这批灯泡寿命求平均寿命的置信度为95%的单侧置信下限.,四、单侧置信区间,有些实际问题中，我们关心的是未知参数“至少有多大”（如元件的寿命），或“不超过多大”（如不合格率），这就是单侧置信区间。,定义2设为总体分布的未知参数,X1,X2,Xn是取自总体X的一个样本,对给定的数,若存在统计量,满足,则称为的置信度为的单侧置信区间,称为的单侧置信下限。若存在统计量,称为的置信度为的单侧置信区间，称为的单侧置信上限。,求正态总体参数置信区间的解题步骤：(1)根据实际问题构造样本的函数，要求仅含待估参数且分布已知；(2)令该函数落在由分位点确定的区间里的概率为给定的置信度1，要求区间按几何对称或概率对称；(3)解不等式得随机的置信区间；(4)由观测值及值查表计算得所求置信区间。,6.4正态总体的置信区间,注：由于标准正态分布具有对称性，利用双侧分位数来计算未知参数的置信度为的置信区间，其区间长度在所有这类区间中是最短的。,一、单正态总体均值（方差已知）的置信区间(1),设总体其中2已知，为未知参数,X1,X2,Xn是取自总体X的一个样本.对给定的置信水平1-,由上节例1中已经得到的置信区间,则均值的置信度为1-的置信区间为,二、单正态总体均值（方差未知）的置信区间(2),设总体其中未知，X1,Xn是取自总体X的一个样本.,用2的无偏估计量S2代替2,构造统计量,对给定的置信度1-，由,例1已知某批灯泡的寿命X(单位:小时)N(,2)，现从这批灯泡中抽取10个，测得寿命分别为1050,1100,1080,1120,1200,1250,1040,1130,1300,1200若=0.05，求的置信区间(1)2=8，(2)未知。,解(1)由于2=8，由样本观察值计算得,n=10，=0.05,查标准正态分布表得,的置信度为0.95的置信区间为(1145.25，1148.75)。,(2)由于2未知，由样本观察值计算得,s=87.0568,n=10,=0.05，查t分布表得,的置信度为0.95的置信区间为(1084.72，1209.28)。,由2分布分位数定义可知,则2的置信度为1-的置信区间为,三、单正态总体方差的置信区间,设总体其中均值已知，X1,Xn是取自总体X的一个样本.求方差2的的置信度为的置信区间.,得,可得2的置信度为1-的置信区间为,设总体其中均值,2未知，X1,Xn是取自总体X的一个样本.求方差2的置信度为的置信区间.,对给定的置信水平,由,例2为测定某家具中的甲醛含量，取得4个独立的测量值的样本，并算得样本均值为8.