概率统计简明教程 第七章 参数估计.doc

第七章 参数估计统计推断是数理统计的重要内容，它是指在总体的分布完全未知或形式已知而参数未知的情况下，通过抽取样本对总体的分布或性质作出推断.大致可以分为估计问题和假设检验问题两大类.本章重点介绍参数估计问题，即根据样本对总体分布中所包含的未知参数或总体的数字特征作出数值上的估计.主要内容包括：点估计和区间估计. 1 点估计概述1.1 点估计在许多实际问题中,可以认为总体分布的形式是已知的,它只依赖于一个或几个未知参数.如果能对分布中所含的参数作出推断,那么就可以确定总体分布.例如, 已知总体服从正态分布,未知,我们的目的是通过样本提供的信息对未知参数作出估计,也就是借助于样本对总体作出推断,这类问题就是参数估计问题.点估计问题的一般提法是:设总体的分布函数类型已知,为未知参数,它的可能取值范围是已知的,称为参数空间,即.这样,我们有一族分布函数.如果是正态分布的分布函数族,其中.设是的一个样本, 为相应的样本值.我们构造一个统计量,以的值作为参数的真实值的估计.习惯上,称为参数的估计量,称为的估计值为.在不致混淆的情况下, 估计量与估计值都简称为估计,简记为.容易看出,对于不同的样本值来说,由同一个估计量得出的估计值一般是不相同的.在几何上一个数值是数轴上的一个点,用的估计值作为的近似值就像用一个点来估计,故称为点估计.如果总体分布中含有个未知参数,则需要构造个统计量分别作为的估计量.例11 设总体服从参数为的泊松分布, 为未知参数,现有以下样本值3,4,1,5,6,3,8,7,2,0,1,5,7,9,8试求未知参数的估计值.解:由于,自然地想到用样本均值作为的估计量,利用样本值得.这样，我们获得了参数的估计量与估计值.在本例中，对于总体的一个样本，亦可以作为的估计量；同样地，和都应该可作为的估计量.这样，对于同一个参数，可以有许多不同的点估计；在这些估计中，我们自然地希望挑选一个最“优”的点估计.因此，有必要建立评价估计量优劣的标准.下面介绍几个常用的标准：无偏性、有效性和一致性.1.2 评价估计量的标准1. 无偏性 对于不同的样本值来说,由估计量得出的估计值一般是不相同的,这些估计只是在参数真实值的两旁随机地摆动.要确定估计量的好坏,要求某一次抽样所得的估计值等于参数的真实值是没有意义的,但我们希望,这是估计量所应该具有的一种良好性质,称之为无偏性，它是衡量一个估计量好坏的一个标准. 定义1.1 如果未知参数的估计量的数学期望存在,且对任意,都有 （1.1）则称是的无偏估计量.在科学技术中，称是以作为估计的系统误差. 无偏估计的实际意义就是无系统误差.例1.2 设是总体的一个样本, 总体的阶原点矩记为,样本原点阶矩记为,证明：是的无偏估计量. 证明: 是总体的一个样本,即与同分布,因此 .即 . 例1.3 设总体的均值和方差都存在,证明：未修正样本方差不是的无偏估计量.证明: 在第六章第二节中，我们证明了，因此，修正的样本方差是的无偏估计量，也就是说不是的无偏估计量. 我们以后一般取作为的估计量.例1.4 设总体,是的一个样本, 为样本方差,证明：是参数的无偏估计量.证明:易见, 因此，估计量是的无偏估计.2. 有效性 同一个参数可以有多个无偏估计量,那么用哪一个为好呢?设参数有两个无偏估计量和,在样本容量相同的情况下, 的观测值都集中在的真值附近,而的观测值较远离的真值,即的方差较的方差小,我们认为较好,由此有如下的定义:定义1.2 设和都是参数的无偏估计量,若对任意,都有 （1.2）且至少存在一个使得上式中的不等号成立,则称较有效.例1.5 设是总体的一个样本, 的均值 和方差都存在,且,记,.易见,.因此, 这些估计量都是的无偏估计量.由于 ,从而最有效.3.一致性无偏性和有效性都是在假设样本容量固定的条件下讨论的.由于估计量是样本的函数,它依赖样本容量,自然地,我们希望一个好的估计量,当越来越大时,它与参数的真值几乎一致,这就是估计量的一致性或称之为相合性.定义1.3 设为参数的一个估计量, 为样本容量,如果对任意，依概率收敛于,即对任意,有 (1.3)则称为参数的一致估计量.例1.6 设总体的均值和方差都存在,证明:样本均值是的一致估计量.证明:由切比雪夫大数定律可知,对任意,有 因此，是的一致估计量.例1.7 设总体,是总体的一个样本,证明: 样本方差是的一致估计量.证明:由于,有 ,因此, .由切比雪夫不等式可知,对任意,有.这样 ,即 , 是的一致估计量.2 矩估计与最大似然估计 本节我们介绍两种常用的构造估计量的方法,即矩估计法和最大似然估计法.2.1 矩估计法 许多总体的未知参数与总体矩之间存在着函数关系,如在泊松总体中,它的参数就是总体的一阶矩,又如在正态总体中.若总体矩存在,我们很自然地想到用样本矩来估计相应的总体矩,从而可以获得未知参数的估计量,这种方法称之为矩估计法.设是总体的一个样本,若是连续型随机变量,则其概率密度函数为;若是离散型随机变量,则其分布律为,.假设总体的阶原点矩存在,记,.由辛钦大数定律可知,依概率收敛于,即可以用样本矩替换同阶的总体矩,我们称之为替换原则.替换原则是矩估计法的思想实质,这种方法只需假设总体矩存在,无需知道总体的分布类型.由于依赖于参数,可设 将此方程组的解记为用替换,得到并把它们分别作为参数的估计量,称之为矩估计量, 矩估计量的观测值称为矩估计值. 例2.1 设总体的概率密度函数为求参数的矩估计量.解: ,解得 ,因此, 的矩估计量为 .如果我们获得一组样本观测值,其样本均值为,则参数的矩估计值为.例22 设总体的均值和方差都存在,且,又设是总体的一个样本,求和的矩估计量.解:注意到,由方程组解得,.因此,和的矩估计量分别为，.此例表明, 总体均值和方差的矩估计量分别是样本均值与样本的二阶中心矩,而不依赖总体的分布. 2.2 最大似然估计法由于矩估计法只需假设总体矩存在,没有充分利用总体分布提供的信息,为获得更理想的估计,需要引入最大似然估计法,它的一个直观想法是某个随机试验有若干个结果等,如果在一次试验中,出现结果,则认为事件发生的概率是最大的.例如,一只袋子里有黑白两种外形相同的球,这两种球的数量不详,只知道它们占总数的比例:一种球为10%,另一种球占90%.今从中任抽取一只球,取得白球,一种比较合理的想法是认为袋子里白球的数量较多, 占总数的90%，这就是最大似然估计法的基本思想.我们通过下面的例子说明最大似然估计法的原理.某工厂加工一批产品,现需要估计其不合格品率,今从中抽取一个容量为的样本值,令,总体的分布律为.取得样本获得观测值的概率为, .显然是的函数,记为,即.由于在一次取样中,样本值出现,我们认为概率是最大的,选取使得达到最大的作为参数的一个估计值,即.由微积分中求极大点的方法, 可从方程求出,又由于是的单调增函数,与在同一个处取极大值,也可从方程求出,，解得: .容易验证, 能使得达到最大,称之为参数的最大似然估计值,其对应的统计量称为参数的最大似然估计量.下面我们讨论最大似然估计法.设是取自总体的一个样本, 为样本值.如果总体是离散型的,其分布律为,为未知参数,. 样本的联合分布律为,容易看出,当样本值固定时上式是参数的函数,当取固定值时,上式是事件发生的概率,记 ， (2.1)并称为样本的似然函数.若样本值的函数满足 ， (2.2)则称为的最大似然估计值,其相应的统计量称为的最大似然估计量.如果总体是连续型的,的概率密度为,为未知参数,.随机点落在点的边长为的邻域内的概率近似为.我们寻找使达到最大的,但与它无关,故可取样本的似然函数为. (2.3)类似地, 若样本值的函数满足 则称为的最大似然估计值,其相应的统计量称为的最大似然估计量.获得样本的似然函数后,为求出未知参数的最大似然估计量,可以利用微积分中求函数极值的方法.假设或关于可微,由下面的似然方程，或对数似然方程，可求出最大似然估计. 例2.3 设总体求的最大似然估计量.解:似然函数为 , 对数似然函数为 , 令,求得的最大似然估计值为 , 最大似然估计量为 .例2.4 总体求的最大似然估计量.解: 总体的概率密度为.似然函数为 ,对数似然函数为，令,有，因此,的最大似然估计值为 ,最大似然估计量为.假设总体的分布中含有个未知参数,类似地,写出似然函数,求解方程组或可获得未知参数的最大似然估计.例2.5 总体求的最大似然估计量.解: 似然函数为 对数似然函数为分别求关于的偏导数,得以下对数似然方程组解上述方程组得的最大似然估计值分别为 ，因此的最大似然估计量分别为和.最大似然估计具有一个性质:如果为总体未知参数的最大似然估计,函数具有单值反函数,则为的最大似然估计.利用此性质,我们可获得例2.5中的最大似然估计量为.例2.6 设总体服从上的均匀分布,求的最大似然估计值.解:记.似然函数为 注意到对于有 .因此,取的最大似然估计值为.最后我们给出求最大似然估计的一般步骤(有时候它并不适用,如上例):1、写出似然函数,即由总体分布导出样本的联合分布律（或联合概率密度）；2、令或,求出驻点(常转化为求对数似然函数的驻点:令或)；3、求出最大值点；4、求得参数的最大似然估计. 3 区间估计参数的点估计实质是用一个估计值来估计未知参数的真值,但估计值只是的一个近似值,它本身既没有反映这种近似的精度又没有给出误差的范围,因此，在实际问题的应用中意义有限.例如在一大批产品中,任意取出60件产品,经检验有3件为次品,按点估计的方法,我们获得次品率的一个估计值为=0.05,但与次品率的真值是有误差的,这个误差有多大,点估计无法给予回答.我们希望给出一个区间,用它来估计次品率的真值,这样就产生了误差的大小及用区间估计次品率真值的可靠程度的问题.区间估计解决了上述问题,我们将介绍在区间估计理论中被广泛接受的置信区间.3.1 置信区间定义3.1设是取自总体的一个样本, 为总体分布中所含的未知参数, .对于给定的,若存在两个统计量和,使得 （3.1）则称随机区间是的置信水平为的置信区间,和分别称为的置信下限和置信上限. 定义3.1表明置信区间包含的真值的概率为,它的两个端点是只依赖的随机变量.设为一个样本值,我们获得一个普通的区间称之为置信区间的一个实现,在不致引起误解的情形下,也简称为置信区间.对于一个实现,只有两种可能, 它要么包含的真值,要么不包含的真值.在重复取样下(各次取样的样本容量均为),我们获得许多不同的实现,根据伯努利大数定律,这些不同的实现中大约有100()%的实现包含的真值,而有100%的实现不包含的真值.例3.1 已知某产品的重量(单位:克),其中,未知,现从中随机抽取9个样品,其平均重量为克,试求该产品的均值的置信水平为的置信区间.解:样本均值是未知参数的较优的点估计,同时有, 或 .因此,我们构造一个枢轴量,选取区间,使得，即 .这样我们得到的置信水平为的置信区间为.由,=,=1.96算得所以，的一个置信区间为.从此例可以看出, 寻求未知参数的置信区间的步骤为:(1) 选取的一个较优的点估计,一般是通过最大似然估计法获得.(2) 以为基础, 寻求未知参数的一个枢轴量,即且的分布已知.(3)对于给定的置信水平（与无关）,确定两个分位点,使得.可通过 确定.(4)求出的置信区间.3.2 单个正态总体均值与方差的置信区间以下我们将讨论正态总体的均值与方差的置信区间.设,是取自总体的一个样本.1. 参数的置信区间关于参数的置信区间,我们分方差已知和未知两种情形.(1) 方差已知的情形例3.1中,我们已经获得了在方差已知的条件下, 的置信区间为,简记为.(2) 方差未知的情形由于中含有未知参数,又是的无偏估计量,因此，选取随机变量作为枢轴量.由第六章定理4.1可知，对于给定的置信水平,有,即,因此,的置信水平为的置信区间为， （3.2）简记为. 例3.2 假设轮胎的寿命.为估计它的平均寿命，现随机抽取12只，测得它们的寿命为（单位：万千米）4.68 4.85 4.32 4.85 4.61 5.02 5.20 4.60 4.58 4.72 4.38 4.70求的置信水平为0.95的置信区间.解：, ,=,算得的置信水平为0.95的置信区间为. 2. 参数的置信区间(1) 均值已知的情形由于,即,所以 . 我们选取随机变量作为枢轴量, 对于给定的置信水平,有,即因此，的置信水平为的置信区间为. （3.3）我们也得到的置信水平为的置信区间为 . (3.4)(2) 均值未知的情形由于,选取随机变量作为枢轴量,类似地, 我们得到的置信水平为的置信区间为,即，和的置信水平为的置信区间为， (3.5)即.例3.3 在例3.2中，求的置信水平为0.95的置信区间.解：, ,=,算得的置信水平为0.95的置信区间为(0.03086,0.17728).3.3 两个正态总体均值差与方差比的置信区间设,从总体和中,分别独立地取出样本和,样本均值依次记为和,样本方差依次记为和. 1. 设和已知,求的置信区间 由第六章定理2.2可知.对于给定的置信水平,有 ，即因此,的置信水平为的置信区间为 . (3.6)例3.4 分别从,中独立地取出样本容量为16和24的两样本,已知,求的置信水平为的置信区间.解:, ,=,因此的置信水平为的置信区间为由此可以认为,在置信水平为的情形下.2. 设未知,求的置信区间记,由第六章定理4.2可知.以为枢轴量,类似地,我们得到的置信水平为的置信区间为 (3.7)例3.5 为了估计磷肥对某农作物增产的作用,现选用20块条件大致相同的地块进行对比试验.其中10块地施磷肥,另外10块地不施磷肥,得到单位面积的产量如下（单位：公斤）:施磷肥:620, 570, 650, 600, 630, 580, 570, 600, 600, 580;不施磷肥:560, 590, 560, 570, 580, 570, 600, 550, 570, 550.设施磷肥的地块的单位面积的产量,不施磷肥的地块的单位面积的产量,求的置信水平为的置信区间. 解:,=,.因此,的置信水平为的置信区间为 ，即我们可以认为磷肥对此农作物增产有作用.3. 设和已知,求的置信区间因为,且样本与样本独立,所以有,对于给定的置信水平,有 ，即因此,的置信水平为的置信区间为. (3.8)4.设和未知,求的置信区间由于,对于给定的置信水平,有 ，即,从而的置信水平为的置信区间为. (3.9)例3.6 某车间有甲,乙两台机床加工同类零件,假设此类零件直径服从正态分布.现分别从由甲机床和乙机床加工出的产品中取出5个和6个，进行检查,得其直径数据（单位：毫米）为甲: 5.06, 5.08, 5.03, 5.00, 5.07；乙: 4.98, 5.03, 4.97, 4.99, 5.02, 4.95；试求的置信水平为的置信区间.解: ,=,于,因此的置信水平为的置信区间为.3.4 单侧置信区间前面讨论的参数的置信区间是双侧置信区间,即有置信上限和置信下限.有时在一些实际问题中,我们只关心参数的上限或下限,因此有必要讨论参数的单侧置信区间.定义3.2设是取自总体的一个样本, 为总体分布中所含的未知参数, .对于给定的（）,若存在统计量或,使得 (3.10)或 (3.11)则称随机区间(或)是的置信水平为的单侧置信区间,称为的单侧置信下限(称为的单侧置信上限).求参数的单侧置信区间的方法与求的置信区间的方法是类似的,只需将步骤（3）中的改为或,其中,可通过 确定.详细的结果看表7.2. 例3.7 在例3.2中，求的置信水平为0.95的单侧置信下限.解:, ,=,算得的置信水平为0.95的单侧置信下限为 .表7.1 正态总体均值,方差的置信区间待估参数条件枢轴量置信区间一个正态总体已知未知已知未知两个正态总体-,已知-,未知但相等已知未知表7.2 正态总体均值,方差的单侧置信上、下限待估参数条件单侧置信下限单侧置信上限一个正态总体已知未知已知未知两个正态总体-,已知-，未知但相等已知未知习题七( A )1、设总体服从参数为和的二项分布，为取自的一个样本，试求参数的矩估计量与极大似然估计量.2,、设为取自总体的一个样本,的概率密度为其中参数，求的矩估计.3、设总体的一个样本, 的概率密度为 其中是未知参数，是已知常数,求的最大似然估计.4、设总体服从几何分布 试利用样本值,求参数的矩估计和最大似然估计. 5、设总体的概率密度为为未知参数, 为总体的一样本,求参数的最大似然估计.6、证明第5题中的最大似然估计量为的无偏估计量.7,、设总体的概率密度为,为未知参数, 为总体的一个样本,求参数的的矩估计量和最大似然估计量.8、设总体,已知,为未知参数, 为的一个样本, 求参数,使为的无偏估计.9、设是参数的无偏估计量,且有,试证不是的无偏估计量.10、设总体,是来自的样本,试证：估计量;都是的无偏估计,并指出它们中哪一个最有效.11,、设是总体的一个样本,证明：是的相合估计量.12、设总体的数学期望为,方差为,分别抽取容量为和的两个独立样本,分别为两样本均值,试证明:如果满足,则是的无偏估计量,并确定,使得最小.13、设是总体的一个样本, 的概率密度为,未知，已知,试求的置信水平为的置信区间.14、从大批彩色显像管中随机抽取100只,其平均寿命为10000小时,可以认为显像管的寿命服从正态分布.已知均方差小时,在置信水平0.95下求出这批显像管平均寿命的置信区间.15、设随机地调