《概率与数理统计》第07章 - 参数估计

第七章参数估计引言第一节点估计第二节估计量的评选标准第三节区间估计第四节正态总体均值与方差的区间估计第五节单侧的置信区间习题编辑ppt

引言

总体样本统计量描述作出推断(统计推断)研究统计量的性质和评价一个统计推断的优良性，完全取决于其抽样分布的性质.随机抽样编辑ppt参数估计问题假设检验问题点估计区间估计统计推断编辑ppt

参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.参数估计估计废品率估计新生儿的体重估计湖中鱼数…估计降雨量在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数.编辑ppt这类问题称为参数估计.参数估计问题的一般提法X1,X2,…,Xn要依据该样本对参数作出估计,或估计的某个已知函数.现从该总体抽样，得样本设有一个统计总体,总体的分布函数为F(x,)，其中为未知参数(可以是向量).

编辑ppt假定身高服从正态分布。设这5个数是:1.651.671.681.781.69估计为1.68，这是点估计.这是区间估计.估计在区间[1.57,1.84]内，例如我们要估计某队男生的平均身高.现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值的估计.而全部信息就由这5个数组成.编辑ppt第一节

点估计编辑ppt一、点估计概念随机抽查100个婴儿,得100个体重数据10,7,6,6.5,5,5.2,

…呢?据此,我们应如何估计和而全部信息就由这100个数组成.引例:

已知某地区新生婴儿的体重,未知编辑ppt

为估计:我们需要构造出适当的样本的函数

T(X1,X2,…Xn)，每当有了样本，就代入该函数中算出一个值，用来作为的估计值.把样本值代入T(X1,X2,…Xn)中，估计值.T(X1,X2,…Xn)

称为参数的点估计量，得到的一个点编辑ppt我们知道,若,由大数定律,自然想到把样本体重的平均值作为总体平均体重的一个估计.样本体重的平均值则.用样本体重的均值估计.类似地，用样本体重的方差估计.编辑ppt编辑ppt二、寻求估计量的方法1.矩估计法2.最大似然估计法3.最小二乘法4.贝叶斯方法……我们主要介绍前面两种方法.编辑ppt1.矩估计法由辛钦大数定理,若总体的数学期望有限,则有其中为连续函数.编辑ppt这表明,当样本容量很大时,在统计上,可以用样本矩去估计总体矩.这一事实导出矩估计法.定义用样本原点矩估计相应的总体原点矩,又用样本原点矩的连续函数估计相应的总体原点矩的连续函数,这种参数点估计法称为矩估计法.理论依据:大数定律编辑ppt矩估计法的具体做法如下：设总体的分布函数中含有k个未知参数,那么它的前k阶矩,一般都是这k个参数的函数,记为：从这k个方程中解出编辑pptj=1,2,…,k那么用诸的估计量Ai分别代替上式中的诸,即可得诸的矩估计量：矩估计量的观察值称为矩估计值.编辑ppt解：例题:设总体X的均值和方差都存在,未知.是来自X的样本,试求的矩估计量.解得于是的矩估计量为编辑ppt

例:设总体X在[a,b]上服从均匀分布,a,b未知.是来自X的样本,试求a,b的矩估计量.解即编辑ppt解得于是a,b的矩估计量为样本矩总体矩编辑ppt求参数的矩估计.课堂练习：设总体X的概率密度为其中是未知参数,X1,X2,…,Xn是取自X的样本,编辑ppt解:解得的矩估计量为故编辑ppt

矩估计法的优点是简单易行,并不需要事先知道总体是什么分布.缺点是，当总体类型已知时，没有充分利用分布提供的信息.编辑ppt2.最大似然估计法总体类型已知条件下使用的一种参数估计方法.最大似然估计原理：当给定样本X1,X2,…Xn时，定义似然函数为：设X1,X2,…Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合分布律(离散型)为

f(x1,x2,…,xn;).f(x1,x2,…,xn;)这里x1,x2,…,xn是样本的观察值.编辑ppt似然函数：

最大似然估计法就是用使达到最大值的去估计.称为的最大似然估计值.看作参数的函数，它可作为将以多大可能产生样本值x1,x2,…,xn的一种度量.f(x1,x2,…,xn;)而相应的统计量称为的最大似然估计量.编辑ppt两点说明：1、求似然函数L()的最大值点，可以应用微积分中的技巧。由于ln(x)是x的增函数,lnL()与L()在的同一值处达到它的最大值，假定是一实数，且lnL()是的一个可微函数。通过求解方程：可以得到的最大似然估计.若是向量，上述方程必须用方程组代替.2、用上述求导方法求参数的最大似然估计有时行不通，这时要用最大似然原则来求.编辑ppt故似然函数为:例设X1,X2,…Xn是取自总体X~B(1,p)的一个样本，求参数p的最大似然估计量.解：X的分布律为编辑ppt对数似然函数为：编辑ppt对p求导并令其为0，=0得即为p的最大似然估计值.从而p的最大似然估计量为编辑ppt(4)在最大值点的表达式中,用样本值代入就得参数的最大似然估计值.求最大似然估计的一般步骤是：(1)由总体分布导出样本的联合分布律(或联合密度);(2)把样本联合分布律(或联合密度)中自变量看成已知常数,而把参数看作自变量,得到似然函数L();

(3)求似然函数L()的最大值点(常常转化为求lnL()的最大值点)，即

的最大似然估计;编辑ppt例:设总体X~N(),未知.是来自X的样本值,试求的最大似然估计量.似然函数为解：X的概率密度为编辑ppt于是令编辑ppt解得的最大似然估计量为编辑ppt例:设总体X在(a,b)上服从均匀分布,a,b未知,x1,x2,...,xn是一个样本值.试求a,b的最大似然估计量.由于ax1,x2,...,xnb等价于ax(1),x(n)b.似然函数解：记x(1)=min(x1,x2,...,xn),x(n)=max(x1,x2,...,xn).X的概率密度是编辑ppt于是对于满足条件ax(1),bx(n)的任意a,b有即L(a,b)在a=x(1),b=x(n)时取到最大值(x(n)-x(1))-1.故a,b的最大似然估计值为a,b的最大似然估计量为编辑ppt其中>0,解似然函数为对数似然函数为课堂练习:(1)设X1,X2,…Xn是取自总体X的一个样本求的最大似然估计值.编辑ppt求导并令其为0=0从中解得即为的最大似然估计值.对数似然函数为编辑ppt(2)设X1,X2,…Xn是取自总体X的一个样本其中>0,求的最大似然估计和矩估计.编辑ppt对数似然函数为i=1,2,…,n解：(a)最大似然估计。似然函数为编辑ppt>0(2)由(1)得=0(1)对分别求偏导并令其为0,对数似然函数为编辑ppt故使达到最大的为对取其它值时，且是的增函数最后得最大似然估计为编辑ppt（b）矩估计。由密度函数是具有均值为的指数分布即E(X-)=

D(X-)=

E(X)=

D(X)=故知所以编辑ppt解得的矩估计量为于是编辑ppt第二节

估计量的评选标准编辑ppt样本均值是否是的一个好的估计量？(2)怎样决定一个估计量是否比另一个估计量“好”？样本方差是否是的一个好的估计量？这就需要讨论以下几个问题:(1)我们希望一个“好的”估计量具有什么特性？(3)如何求得合理的估计量？X~N()编辑ppt

关于估计量的评选标准，我们必须强调指出：评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量.这是因为估计量是样本的函数,是随机变量.因此，由不同的观测结果，就会求得不同的参数估计值.因此一个好的估计，应在多次试验中体现出优良性.编辑ppt

常用的几条标准是：1．无偏性2．有效性3．相合性这里我们重点介绍前面两个标准.编辑ppt估计量是随机变量，对于不同的样本值会得到不同的估计值.我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值.这就引出无偏性这个标准.一、无偏性则称为的无偏估计.设是未知参数的估计量，若无偏性的实际意义是指没有系统误差.编辑ppt例1设总体X服从指数分布,其概率密度为为未知,X1,X2,…Xn是取自总体的一个样本,试证和都是参数的无偏估计量.编辑ppt证:所以是参数的无偏估计量.而具有概率密度故知即也是参数的无偏估计量.编辑ppt所以无偏估计以方差小者为好,这就引进了有效性这一概念.的大小来决定二者谁更优.和一个参数往往有不止一个无偏估计,若和都是参数的无偏估计量，我们可以比较由于编辑ppt二、有效性D()≤D()则称较有效.都是参数的无偏估计量，若对任意，设和且至少对于某个上式中的不等号成立，编辑ppt故较有效.例2(续例1)试证当n>1时的无偏估计量较有效.证故有而故有当n>1时,编辑ppt三、相合性任意，当时依概率收敛于,则称为的相合估计量.设是参数的估计量，若对于为的相合估计量对于任意,有编辑ppt由辛钦定理若总体的数学期望有限,则有其中为连续函数.编辑ppt故为的相合估计量.

若为连续函数,为的相合估计量.则有编辑ppt第三节

区间估计编辑ppt引言前面，我们讨论了参数点估计.它是用样本算得的一个值去估计未知参数.但是，点估计值仅仅是未知参数的一个近似值，它没有给出这个近似值的误差范围，使用起来把握不大.区间估计正好弥补了点估计的这个缺陷.编辑ppt我们希望确定一个区间，使我们能以比较高的可靠程度相信它包含真正的参数值.这里所说的“可靠程度”是用概率来度量的，称为置信度或置信水平.习惯上把置信水平记作，这里是一个很小的正数.编辑ppt置信水平的大小是根据实际需要选定的.置信水平为称区间为的置信区间.的例如，通常可取置信水平=0.95或0.9等.根据一个实际样本，由给定的置信水平，我小的区间，使们求出一个尽可能编辑ppt一、置信区间定义满足设是一个待估参数，给定X1,X2,…Xn确定的两个统计量则称区间是的置信水平（置信度)为

的置信区间.和分别称为置信下限和置信上限.若由样本编辑ppt1.要求以很大的可能被包含在区间内，就是说，概率要尽可能大.即要求估计尽量可靠.2.估计的精度要尽可能的高.如要求区间长度尽可能短，或能体现该要求的其它准则.目标：编辑ppt在求置信区间时，要查表求分位点.二、置信区间的求法设,对随机变量X，称满足的点为X的概率分布的上

分位点.定义编辑ppt标准正态分布的上分位点编辑ppt分布的上分位数自由度为n的编辑pptF分布的上分位数自由度为n1,n2的编辑ppt~N(0,1)求参数的置信度为的置信区间.例1设X1,…Xn是取自的样本，明确问题是求什么参数的置信区间?置信水平是多少？解寻找一个待估参数和统计量的函数，要求其分布为已知.有了分布，就可以求出取值于任意区间的概率.编辑ppt从中解得对给定的置信水平查正态分布表得使也可简记为于是所求的置信区间为0a/2za/2a/2-za/2编辑ppt如果取a=0.05,即1-a=0.95,又若s=1,n=16,查表得za/2=z0.025=1.96.于是得到一个置信水平为0.95的置信区间再者,若由一个观察值算得样本均值的观察值`x=5.20,则得到一个区间 (5.200.49),即(4.71,5.69)编辑ppt最后得到的区间(4.71,5.69)已经不是随机区间了,但我们仍称它为置信水平为0.95的置信区间.其含义是:若反复抽样多次,每个样本值(n=16)按(4.7)式确定一个区间,按上面的解释,在这么多的区间中,包含m的约占95%,不包含m的约仅占5%.现在抽样得到区间(4.71,5.69),则该区间属于那些包含m的区间的可信程度为95%,或"该区间包含m"这一陈述的可信度为95%.编辑ppt区间估计的图示q编辑ppt求置信区间的一般步骤:(1)寻求一个参数q和样本X1,X2,...,Xn的函数:W=W(X1,X2,...,Xn;q),使W的分布已知且不依赖参数q和其他未知参数。(称具有这种性质的W为枢轴量)(2)对于给定的置信水平1-a,定出两个常数a,b,使P{a<W(X1,X2,...,Xn;q)<b)=1-a;(3)从a<W(X1,X2,...,Xn;q)<b求得等价的不等式q<q<q,其中q=q(X1,X2,...,Xn),q=`q(X1,X2,...,Xn)都是统计量,则(q,`q)就是q的一个置信水平为1-a的置信区间.函数W(X1,X2,...,Xn;q)的构造,通常可以从q的点估计着手考虑.编辑ppt需要指出的是，给定样本，给定置信水平，置信区间也不是唯一的.对同一个参数，我们可以构造许多置信区间.例如，设X1,…,Xn是取自的样本，求参数的置信水平为的置~N(0,1)信区间.编辑ppt……通常取法我们总是希望置信区间尽可能短.在概率密度为单峰且对称的情形，当a=-b时求得的置信区间的长度为最短.编辑ppt即使在概率密度不对称的情形，如分布，F分布，习惯上仍取对称的分位点来确定置信区间.编辑ppt也就是说，要想得到的区间估计可靠度高，区间长度就长，估计的精度就差.这是一对矛盾.实用中一般在保证足够可靠的前提下，尽量使得区间的长度短一些.我们可以得到未知参数的的任何置信水平小于1的置信区间，并且置信水平越高，相应的置信区间平均长度越长.编辑ppt第四节

正态总体均值与方差的区间估计编辑ppt一、单个总体的情况并设为来自总体的样本,分别为样本均值和样本方差.均值的置信区间可得到的置信水平为的置信区间为编辑ppt可得到的置信水平为的置信区间为此分布不依赖于任何未知参数由或编辑ppt例1:有一大批糖果.现从中随机地取16袋,称得重量(以克计)如下:506508499503504510497512514505493496506502509496设袋装糖果的重量近似地服从正态分布,试求总体均值的置信水平0.95为的置信区间.解：于是得到的置信水平为的置信区间为编辑ppt方差的置信区间由可得到的置信水平为的置信区间为还可得到标准差的置信水平为的置信区间为编辑ppt由可得到的置信水平为的置信区间为编辑ppt例2:有一大批糖果.现从中随机地取16袋,称得重量(以克计)如下:506508499503504510497512514505493496506502509496设袋装糖果的重量近似地服从正态分布,试求总体标准差的置信水平为0.95的置信区间.编辑ppt于是得到的置信水平为的置信区间为解：编辑ppt二、两个总体的情况设已给定置信水平为,并设是来自第一个总体的样本,是来自第二个总体的样本,这两个样本相互独立.且设分别为第一、二个总体的样本均值,为第一、二个总体的样本方差.编辑ppt两个总体均值差的置信区间于是得到的置信水平为的置信区间为编辑ppt其中于是得到的置信水平为的置信区间为编辑ppt两个总体方差比的置信区间(未知)由可得到的置信水平为的置信区间为编辑ppt例3为比较I,Ⅱ两种型号步枪子弹的枪口速度,随机地取I型子弹10发,得到枪口速度的平均值为标准差随机地取Ⅱ型子弹20发,得到枪口速度的平均值为标准差假设两总体都可认为近似地服从正态分布.且生产过程可认为方差相等.求两总体均值差的置信水平为0.95的置信区间.编辑ppt解:依题意,可认为分别来自两总体的样本是相互独立的.又因为由假设两总体的方差相等,但数值未知,故两总体均值差的置信水平为的置信区间为其中编辑ppt这里故两总体均值差的置信水平为0.95的置信区间为即(3.07,4.93).编辑ppt例4研究由机器A和机器B生产的钢管的内径,随机地抽取机器A生产的钢管18只,测得样本方差随机地取机器B生产的钢管13只,测得样本方差设两样本相互独立,且设由机器A和机器B生产的钢管的内径分别服从正态分布这里(i=1,2)均未知.试求方差比的置信水平为0.90的置信区间.编辑ppt这里即(0.45,2.79).解故两总体方差比的置信水平为0.90的置信区间为编辑ppt第五节

单侧的置信区间编辑ppt前面讲述的置信区间中置信限都是双侧的，但对于有些实际问题，人们关心的只是参数在一个方向的界限.例如对于设备、元件的使用寿命来说，平均寿命过长没什么问题，过短就有问题了.这时,可将置信上限取为+∞，而只着眼于置信下限，这样求得的置信区间叫单侧置信区间.编辑ppt单侧置信区间和置信限的定义：设是一个待估参数，给定满足若由样本X1,X2,…Xn确定的统计量则称区间