教学材料《概率论》-第七章

第一节点估计所谓参数的点估计，是指把总体的未知参数估计为某个确定的量或者某个确定的值.具体从一个简单的实例来看.引例某地水稻面积为１００００亩，随机抽取４块稻田，亩产(单位:千克)分别为３００，３５０，４００，４５０，求该地平均亩产量及总产量的估计.设平均亩产量为μ，样本均值Ｘ＝３７５，平均亩产量估计＾μ＝Ｘ＝３７５，总产量的估计为１００００＾μ.设总体Ｘ的分布函数为Ｆ(ｘ，θ)，其中θ是未知参数或未知参数向量.Ｘ１，Ｘ２，，Ｘｎ是总体Ｘ的一个样本，ｘ１，ｘ２，，ｘｎ是相应的样本值.构造一个统计量θ＾(Ｘ１，Ｘ２，，Ｘｎ

)作为参数θ的估计，用它的观察值θ＾(ｘ１，ｘ２，，ｘｎ

)作为未知参数的估计值，称θ＾(Ｘ１，Ｘ２，，Ｘｎ

)为θ的估计量，称θ＾(ｘ１，ｘ２，，ｘｎ

)为θ的估计值.构造估计量θ＾(Ｘ１，Ｘ２，，Ｘｎ

)的方法很多，下面介绍两种常用的方法:矩估计法和极大似然估计法.下一页返回第一节点估计一、矩估计法矩估计法是一种古老、经典的参数估计方法，它是英国统计学家皮尔逊于１８９４年首创的，沿用至今.矩估计法的一般原则是:用样本矩估计总体矩，若估计结果不够良好，再做适当调整.设总体Ｘ的分布函数为Ｆ(ｘ，θ１，θ２，，θｋ

)，其中参数θ１，θ２，，θｋ均未知，Ｘ１，Ｘ２，，Ｘｎ是来自总体Ｘ的一个样本.假设总体Ｘ的前ｋ阶矩存在，则一般来说，它们是θ１，θ２，，θｋ的函数，即上一页下一页返回第一节点估计同时，样本ｋ阶原点由第五章大数定律知，样本矩依概率收敛于相应的总体矩μｌ＝Ｅ(Ｘｌ

)，我们就用样本矩作为相应总体矩的估计量，这种估计方法称为矩估计法.具体做法就是令从中求出方程组的解为称为参数的矩估计量，为参数θｌ(１≤ｌ≤ｋ)的矩估计值.上一页下一页返回第一节点估计【例７－１】设总体Ｘ~ｂ(１，ｐ)，其中ｐ为未知参数.又设Ｘ１，Ｘ２，，Ｘｎ是来自总体Ｘ的一个样本，求ｐ的矩估计量.【例７－２】设总体Ｘ服从[０，θ]上的均匀分布，其中θ>０为未知参数.又设Ｘ１，Ｘ２，，Ｘｎ是来自总体Ｘ的一个样本，求θ的矩估计量解上一页下一页返回第一节点估计【例７－３】设总体Ｘ的均值μ及方差σ２都存在，且有σ２

>０，但是μ与σ２均未知.又设Ｘ１，Ｘ２，，Ｘｎ是来自总体Ｘ的一个样本，试求μ，σ２的矩估计量.例７－３表明，总体均值和总体方差的矩估计量的表达式不因总体分布不同而异，即矩估计法中总体均值的估计量为样本均值，总体方差的估计量为样本方差.例如，总体Ｘ~Ｎ(μ，σ２)，参数μ与σ２均未知，即得μ，σ２的矩估计量分别为上一页下一页返回第一节点估计二、极大似然估计法极大似然估计法通常又称为最大似然估计法，其基本思想是在已经得到试验结果的情况下，取使这个结果出现的可能性达到最大的那个θ＾作为未知参数θ真值的估计.也就是说，当它作为参数θ的估计值时，使结果出现的可能性最大，即概率最大.(１)设总体Ｘ是离散型的，其分布律为Ｐ{Ｘ＝ｘ}＝ｐ(ｘ，θ)，其中θ为待估计的参数，假定ｘ１，ｘ２，，ｘｎ为样本Ｘ１，Ｘ２，，Ｘｎ的一组观测值.上一页下一页返回第一节点估计将看作参数θ的函数，记为Ｌ(θ)，即(２)设总体Ｘ是连续型的，其概率密度为ｆ(ｘ，θ)，其中θ为待估计的参数，则样本Ｘ１，Ｘ２，，Ｘｎ的概率密度为也将看作参数θ的函数，记为Ｌ(θ)，即由上述可知，不管是离散型的总体还是连续型的总体，只要知道了其分布律或概率密度，总可以得到一个关于参数θ的函数Ｌ(θ)，称之为似然函数.上一页下一页返回第一节点估计如前所言，极大似然估计的主要思想就是:如果随机抽得的样本观测值为ｘ１，ｘ２，，ｘｎ，则应该选取未知参数θ的值使得出现该样本的可能性最大，即使得似然函数Ｌ(θ)的值最大.也就是说，求参数θ的极大似然估计就转化为求似然函数Ｌ(θ)的极值点问题.Ｌ(θ)作为参数θ的函数，它在θ＾时最大，则称θ＾为θ的极大似然估计，即上述求极值的问题一般是通过求解下面的方程得到的:上一页下一页返回第一节点估计然而，Ｌ(θ)是ｎ个函数的连乘积，求导数比较复杂，而ｌｎＬ(θ)是Ｌ(θ)的单调增函数，ｌｎＬ(θ)与Ｌ(θ)在同一点处取得极值，于是求解方程(７－１)可以转化为求解方程当似然函数是参数向量θ１，θ２，，θｋ的函数时，求解方程(７－２)即转化为求解对数似然方程组上一页下一页返回第一节点估计【例７－４】设总体Ｘ~ｂ(１，ｐ)，Ｘ１，Ｘ２，，Ｘｎ是来自总体Ｘ的一个样本，求ｐ的极大似然估计量解Ｘ的分布律为上一页下一页返回第一节点估计【例７－５】设总体Ｘ~Ｎ(μ，σ２

)，Ｘ１，Ｘ２，，Ｘｎ是来自总体Ｘ的一个样本，求μ，σ２的极大似然估计量.解得＾μ＝Ｘ，σ＾２＝Ｂ２，与矩估计量的结果(例７－３)相同.上一页下一页返回第一节点估计【例７－６】设总体Ｘ服从[０，θ]上的均匀分布，Ｘ１，Ｘ２，，Ｘｎ是来自总体Ｘ的一个样本，求θ的极大似然估计量.因为０≤ｘｉ≤θ，ｉ＝１，２，，ｎ，所以θ∈[ｍａｘ１≤ｉ≤ｎ{ｘｉ}，＋)，从而参数θ的极大似然估计量{Ｘｉ}，这与矩估计量的结果(例７－２)不同.两种点估计方法中，矩估计法直观简单，无须知道总体的分布，但是矩估计法对样本容量有要求，而且有时矩估计量不唯一ꎻ极大似然估计法效果比较好，对样本容量无要求，但要知道总体分布，且计算较复杂.上一页返回第二节估计量的评价标准由前一节可知，对同一个未知参数用不同的估计方法求出的估计量可能不相同，原则上任何统计量都可以作为未知参数的估计量，我们自然会问，采用哪一个估计量效果要好?这就涉及评价估计量的标准问题.下面介绍三个常用的标准.一、无偏性一个好的估计量其不同的估计值应在未知参数真值的附近，由此引出无偏性标准.设Ｘ１，Ｘ２，，Ｘｎ是来自总体Ｘ的一个样本，θ是待估计的参数.定义７.１设θ＾为θ的一个估计量，若Ｅ(θ＾)＝θ，则称θ＾为θ的无偏估计量.估计量的无偏性是说，对于某些样本值，由这一估计量得到的估计值相对于真值来说有的偏大，有的则偏小，反复将这一估计量使用多次，就“平均”来说其偏差为零.下一页返回第二节估计量的评价标准在科学技术中，称Ｅ(θ＾)－θ为用θ＾估计θ时产生的系统误差，无偏估计的实际意义是指估计量没有系统误差，只可能有随机误差.【例７－７】设Ｘ１，Ｘ２，，Ｘｎ是来自总体Ｘ的样本，Ｅ(Ｘ)＝μ，则样本均值是μ的无偏估计量.

证【例７－８】设Ｘ１，Ｘ２，，Ｘｎ是来自总体Ｘ的一个样本，Ｅ(Ｘ)＝μ，Ｄ(Ｘ)＝σ２，问:样本方差及样本二阶中心距是否为总体方差σ２的无偏估计?上一页下一页返回第二节估计量的评价标准从【例７－７】、【例７－８】可以看出，样本均值是总体均值的无偏估计，样本方差是总体方差的无偏估计.但作为总体方差矩估计量和极大似然估计量的样本二阶中心矩Ｂ２不是总体方差的无偏估计.事实上，ｋ阶样本矩是ｋ阶总体矩的无偏估计.上一页下一页返回第二节估计量的评价标准一般来说，无偏估计量的函数并不是未知参数相应函数的无偏估计量.例如，样本方差Ｓ２是总体方差σ２的无偏估计量，但是样本标准差Ｓ不是总体标准差σ的无偏估计量.【例７－９】设总体Ｘ服从参数为θ的指数分布，其概率密度为其中，θ>０为未知，Ｘ１，Ｘ２，，Ｘｎ是来自总体Ｘ的一个样本，试证Ｘ１和Ｘ是θ的无偏估计量.证由于Ｅ(Ｘ１)＝Ｅ(Ｘ)＝Ｅ(Ｘ)＝θ，因此Ｘ１和Ｘ是θ的无偏估计量.由此可见，一个未知参数可以有不同的无偏估计量.事实上，【例７－９】中的Ｘ１，Ｘ２，，Ｘｎ的每一个都可以作为θ的无偏估计量.上一页下一页返回第二节估计量的评价标准二、有效性对于未知参数θ，现在来比较θ的两个无偏估计量θ＾１和θ＾２，如果在样本容量ｎ相同的情况下，θ＾１的观察值较θ＾２更密集在真值θ的附近，我们就认为θ＾１比θ＾２理想.由于方差是随机变量取值与其数学期望的偏离程度的度量，因此无偏估计以方差小者为好.这就引出了估计量的有效性这一概念.定义７.２设为θ的两个无偏估计量，若则称有效.【例７－１０】证明例７－９中两个无偏估计量Ｘ较Ｘ１有效.上一页下一页返回第二节估计量的评价标准三、一致性一个好的估计量应是无偏的，且是具有较小方差的.不过无偏性和有效性都是在样本容量ｎ固定的前提下提出的，我们自然希望当样本容量无限增大时，估计量能在某种意义上无限地接近于待估计参数的真值.由此引入一致性(相合性)标准.定义７.３设θ＾(Ｘ１，Ｘ２，，Ｘｎ)为未知参数θ的估计量，若当ｎ→＋时，θ＾(Ｘ１，Ｘ２，，Ｘｎ

)依概率收敛于θ，即对任意的ε>０，均有则称θ＾为参数θ的一致估计量.上一页下一页返回第二节估计量的评价标准【例７－１１】则样本方差与样本二阶中心矩都是σ２的一致估计量.

由辛钦大数定律知，样本均值Ｘ是总体均值μ的一致估计量.实际上，样本矩Ａｋ＝都是相应总体矩的一致估计量.进一步，若待估参数θ

其中ｇ为连续函数，则θ的矩估计量是ｇ的一致估计量.一致性是对一个估计量的基本要求，若估计量不是一致的，那么不论将样本容量ｎ取多大，都不能将θ估计得足够准确，这样的估计量就是不可取的.上一页返回第三节区间估计一、区间估计的概念第一节讨论了参数的点估计，但是对于一个未知量，人们在测量或计算时，并不仅限于得到参数的近似值，还需估计误差，即要求知道近似值的精确程度.因此，对于待估计参数θ，除了求出它的点估计θ＾外，我们还希望估计出一个范围，并希望知道这个范围包含参数θ真值的可信程度.这种形式的估计称为区间估计，这样的区间即所谓的置信区间.下面给出置信区间的定义.设θ＾为未知参数θ的估计量，其误差小于某个正数ε的概率为１－α(０<α<１)，即这表明，随机区间(θ＾－ε，θ＾＋ε)包含参数θ真值的概率(可信程度)为１－α，则这个区间(θ＾－ε，θ＾＋ε)称为置信区间，１－α称为置信水平.下一页返回第三节区间估计定义７.４设总体Ｘ的分布函数为Ｆ(ｘ，θ)，其中θ是未知参数.若对于给定的概率１－α(０<α<１)，存在两个统计量θ１＝θ１(Ｘ１，Ｘ２，

，Ｘｎ

)与θ２＝θ２(Ｘ１，Ｘ２，

，Ｘｎ

)，使得则随机区间(θ１，θ２)称为参数θ的置信水平为１－α的置信区间，θ１称为置信下限，θ２称为置信上限.置信区间的含义是，若反复抽样多次(各次的样本容量相等，均为ｎ)，每一组样本值确定一个区间(θ１，θ２)，每个这样的区间要么包含θ的真值，要么不包含θ的真值.按照伯努利大数定理，在这么多的区间中，包含θ真值的约占１００(１－α)％，不包含θ真值的约占１００α％.例如，若α＝００１，反复抽样１０００次，则得到的１０００个区间中，不包含θ真值的约为１０个.上一页下一页返回第三节区间估计置信区间的长度表示估计结果的精确性，而置信水平表示估计结果的可靠性.对于置信水平为１－α的置信区间(θ１，θ２)，一方面置信水平１－α越大，估计的可靠性越高ꎻ另一方面区间(θ１，θ２)的长度越小，估计的精确性越好.但这两方面通常是矛盾的，提高可靠性通常会使精确性下降，而提高精确性通常会使可靠性下降，所以要找两方面的平衡点.在实际应用中，往往先固定可靠度，再提高估计精确度.在学习区间估计方法之前，我们先回顾一下标准正态分布的上α分位点概念.设Ｘ~Ｎ(０，１)，若ｚα满足条件Ｐ{Ｘ>ｚα}＝α(０<α<１)，则称点ｚα为标准正态分布的上α分位点.例如求ｚ０.０１，按照上α分位点定义，我们有Ｐ{Ｘ>ｚ０.０１}＝０.０１，则Ｐ{Ｘ≤ｚ０.０１}＝０.９９，即Φ(ｚ０.０１)＝０.９９，查表可得ｚ０.０１＝２.３２７.上一页下一页返回第三节区间估计【例７－１２】设Ｘ~Ｎ(μ，σ２)，μ未知，σ２

已知，Ｘ１，Ｘ２，，Ｘｎ为来自总体Ｘ的一个样本，求μ的置信水平为１－α的置信区间.解如图７.１所示，由于，对于给定的α，由上α分位点定义查表可得上一页下一页返回第三节区间估计值得一提的是，置信水平为１－α的置信区间并不是唯一的.以上例来说，若给定α＝０.０５，有上一页下一页返回第三节区间估计是μ置信水平为０.９５的置信区间.将式(７－４)与式(７－５)对比，由式(７－４)确定的置信区间长度为很明显，由式(７－４)确定的置信区间长度要短.置信区间长度短表示估计的精确程度高，故由式(７－４)给出的区间较式(７－５)为优.易知，像标准正态分布那样的总体分布，其概率密度的图形是单峰且对称的，当固定样本容量为ｎ时，以形如式(７－４)那样的对称区间的区间长度最短，也就是在准确度一定的前提下此种区间形式精确程度最高，实际应用中我们自然选它.以下类同情况，不再做说明.上一页下一页返回第三节区间估计二、单个正态总体参数的区间估计１.正态总体均值μ的区间估计设总体Ｘ~Ｎ(μ，σ２)，Ｘ１，Ｘ２，，Ｘｎ为Ｘ的一个样本，Ｘ，Ｓ２分别是样本均值和样本方差.给定置信水平为１－α，下面分两种情况进行讨论.(１)σ２已知时，μ的置信区间:易知Ｘ是μ的无偏估计，且有枢轴量Ｘ－μσ/ｎ~Ｎ(０，１).上一页下一页返回第三节区间估计由标准正态分布的上α分位点的定义，有上一页下一页返回第三节区间估计【例７－１３】某车间生产滚珠，从中随机抽取１０个，测得滚珠的直径(单位:毫米)如下:若滚珠直径服从正态分布Ｎ(μ，σ２)，并且已知σ＝０.１６(毫米)，求滚珠直径均值μ的置信水平为０.９５的置信区间.解计算样本均值置信水平１－α＝０.９５，查表得ｚα/２＝ｚ０.０２５＝１.９６.由此得μ的置信水平为０.９５的置信区间为即上一页下一页返回第三节区间估计(２)σ２未知时，μ的置信区间:此时不能使用因为其中包含未知参数.考虑到Ｓ２是σ２的无偏估计，将上述区间中的σ换成我们已知枢轴如图７.２所示.上一页下一页返回第三节区间估计【例７－１４】在【例７－１３】中，若σ未知，求滚珠直径均值μ的置信水平为０.９５的置信区间.解计算样本均值ｘ＝１４.９２，样本标准差ｓ＝０.１９３ꎻ置信水平１－α＝０.９５，自由度ｎ－１＝１０－１＝９，查表得ｔα/２(ｎ－１)＝ｔ０.０２５(９)＝２.２６.由此得μ的置信水平为０.９５的置信区间为上一页下一页返回第三节区间估计需要说明的是，对比【例７－１３】和【例７－１４】中μ的置信区间，可以发现当σ２未知时，μ的置信区间长度要比σ２已知时的置信区间长度大，这表明当未知条件增多时，估计的精确度变差，这也符合我们的直观感觉.２.正态总体方差σ２的区间估计(１)如图７.３所示，μ未知时，σ２的置信区间:σ２的无偏估计为Ｓ２，且统计量选取分位点上一页下一页返回第三节区间估计于是得到方差σ２