第2.1节 点估计与优良性.ppt

第二章参数估计,第2.1节点估计与优良性,第2.2节点估计量的求法,第2.3节最小方差无偏估计与有效估计,第2.4节区间估计,第2.1节点估计与优良性,一点估计的概念,二无偏估计,三均方误差准则,四相合估计(一致估计),五渐近正态估计,一、点估计的概念,设总体X的分布函数形式已知,但它的一个或多个参数为未知,借助于总体X的一个样本来估计总体未知参数的值的问题称为点估计问题.,例1,解,用样本均值来估计总体的均值E(X),点估计问题的一般提法,解,例2,二、无偏性,无偏估计的实际意义:无系统误差.,定义2.1,证,例3,特别地:,不论总体X服从什么分布,只要它的数学期望存在,证,例4,(这种方法称为无偏化).,分析,例5,设总体X的方差D(X)存在，且D(X)0,(X1,X2,Xn)为来自总体X的样本，试选择适当的常数C，使得,为D(X)的无偏估计.,需选择C，使,而X1,X2,Xn相互独立，且与X同分布,解,依题意，要求：,注,一般地，一个参数的无偏估计量不唯一.,如：设样本(X1,X2,Xn)来自总体X，E(X)=,也均是的无偏估计.,问题：,对于同一个参数的多个无偏估计量，如何评价它们的优劣？,三、均方误差准则,换句话说，,的波动越小，即方差,越小越好.,定义2.2,利用上述定义，能否找到最优估计呢？一般答案是否定的.后面的内容进一步讨论。,1.均方误差,又因为,定义2.3,2.有效性,例6,来自总体X的样本，问：下列三个对的无偏估计量哪一个最有效？,解,定义2.4,注,最小方差无偏估计是一种最优估计.基于完备统计量的无偏估计一定是MVUE.后面的章节会给予说明此结果.,3.最小方差无偏估计,四、相和估计(一致估计),前面几个估计的评价标准主要讨论了估计的期望与方差的特性，下面这个标准将从估计的极限特性给予说明。,定义2.5,注,相和估计是对估计量的一个基本要求,1.相和估计的定义,2.相合估计的性质,定理2.2,证,定理得证.对于多元函数也有类似结论。,证,由大数定律知,例7,由大数定律知,由此例可以看出：用定义证明相当麻烦。,3.相和估计的判别法则,证,这是因为,定理得证,同样,五、渐近正态估计,定义2.6,注,1、由定义可知，只要n充分大，则估计量,定理2.3,渐近正态估计一定是相合估计,证,例8(p41例2.6),证,由中心极限定理可知,因而,第2.2节点估计量的求法,一、矩估计法,二、最大似然估计法,三、用次序统计量估计参数的方法,一、矩估计法,由于估计量是样本的函数,是随机变量,故对不同的样本值,得到的参数值往往不同,因此如何求得参数的估计量便是问题的关键所在.,常用构造估计量的方法:(三种),1.矩估计法2.最(极)大似然估计法.3.次序统计量估计法,1.矩估计法,基本思想：用样本矩估计总体矩.,理论依据:,或格列汶科定理,它是基于一种简单的“替换”思想建立起来的一种估计方法.,是英国统计学家K.皮尔逊最早提出的.,大数定律,记总体k阶原点矩为,样本k阶原点矩为,记总体k阶中心矩为,样本k阶中心矩为,用样本矩来估计总体矩,用样本矩的连续函数来估计总体矩的连续函数,这种估计法称为矩估计法.,矩估计法的具体步骤:,设总体X的分布函数为,m个待估参数(未知),为来自总体X的简单随机样本.,矩估计量的观察值称为矩估计值.,注,解,根据矩估计法,例1,解,例2,解方程组得到a,b的矩估计量分别为,解,解方程组得到矩估计量分别为,例3,上例表明:,总体均值与方差的矩估计量的表达式不因不同的总体分布而异.,一般地:,例4,设总体X的分布密度为,为来自总体X的样本.求参数,的矩估计量.,分析：,一般地，,只需要求：,的矩估计量.,不含有，,故不能由此得到的矩估计量.,解(方法1),要求：,的矩估计量,(方法2),要求：,的矩估计量：,注,此例表明：同一参数的矩估计量可不唯一.,例5(p43例2.9),解,建立方程,求解方程可得,矩法的优点：简单易行,并不需要事先知道总体是什么分布.,缺点：当总体类型已知时，没有充分利用分布提供的信息.一般场合下,矩估计量不具有唯一性.,其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性.,小结：,二、最大似然估计法,最大似然估计法是在总体类型已知条件下使用的一种参数估计方法.,它首先是由德国数学家高斯在1821年提出的,Gauss,Fisher,然而，这个方法常归功于英国统计学家Fisher.,Fisher在1921年重新发现了这一方法，并首先研究了这种方法的一些性质.,Fisher资料,先看一个简单例子：,一只野兔从前方窜过.,是谁打中的呢？,某位同学与一位猎人一起外出打猎.,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下.,1最大似然法的基本思想,你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.,这个例子所作的推断已经体现了最大似然法的基本思想.,设XB(1,p),p未知.设想我们事先知道p只有两种可能:,问:应如何估计p?,p=0.7或p=0.3,如今重复试验3次,得结果:0,0,0,由概率论的知识,3次试验中出现“1”的次数,(k=0,1,2,3),引例,(k=0,1,2,3),依题设，“重复试验3次,得结果:0,0,0”,应如何估计p?,p=0.7还是p=0.3？,2似然函数,最大似然估计法,似然函数的定义,3.求最大似然估计的步骤,最大似然估计法也适用于分布中含有多个未知参数的情况.此时只需令,对数似然方程组,对数似然方程,解,例6(p46例2.12),这一估计量与矩估计量是相同的.,解,X的似然函数为,例7(p47例2.13),它们与相应的矩估计量相同.,例8(p47例2.14),设总体X服从柯西分布，其分布密度为,解,由分布可知，其似然函数为,此方程只能求解其数值解，可以以样本中位数为初始值进行迭代。又因为此分布均值不存在，不可用矩估计.,解,例9(p48例2.15),4.最大似然估计的性质,定理2.4,此性质可以推广到总体分布中含有多个未知参数的情况.,例10(p48例2.16),解,定理2.5,证,由因子分解定理可知,注,该定理说明最大似然估计充分利用了样本中包含的参数的信息，因而是一种比较好的估计，通常情况下，最大似然估计不仅是相和估计，而且是渐近正态估计.,三、用次序统计量估计参数的方法,1.用样本中位数与样本极差估计参数,由1.4节可知，由于样本中位数与样本极差计算方便，因而通常情况下，可以用样本中位数估计总体期望，用样本极差估计总体的标准差。,定理2.6,因此,例10(p51例2.18),某维尼纶厂20天内生产正常，,随机的抽样得到20个纤度数值，等分成4组，每组5个数值，如下表：,假设纤度服从正态分布，试估计总体的标准差。,解,计算平均极差,显然两种估计结果极为接近，但极差形式简单.,第2.3节最小方差无偏估计和有效估计,一、最小方差无偏估计,二、有效估计,一、最小方差无偏估计,最小方差无偏估计在均方误差意义下达到最优，是一种最优估计.如何寻求此种估计，将变得非常有意义.,1最小方差无偏估计的判别法,定理2.7,证,注,此定理是最小方差无偏估计的判别法，但无法寻求最小方差无偏估计的存在性.,2由于L(X)的任意性，因而很难利用定理判别.,例1(p52例2.19),证,由此例可以看出，利用判别定理进行判别，非常复杂，况且也无法利用此定理去寻求MVUE.,充分完备统计量是解决上述困难的有力工具.,定理2.8,证明从略,定理2.9,注,由此定理可以看出，需求最小方差无偏估计，可以只在无偏的充分统计量中去发现，如果这样的无偏充分统计量唯一，则此统计量就是最小方差无偏估计。以下定理回答此问题.,证,以及,由此可得,又由于T是完备统计量，因而由定义1.6可知,注,最小方差无偏估计计算方法,例如,例2(p54例2.20),解,由例1.10可知,所以,例3(p54例2.21),解,首先寻求充分完备统计量，样本的联合分布为,利用完备分布族定义可以验证该分布族具有完备性.,又由于,所以,证(证明过程可以不讲）,由统计量T(X)的无偏性可知：,因而,又由于,因而,则有,改写上式为,由施瓦兹不等式可知,因而有,又因为,这是因为,则有,综上所述,例4(p55例2.22),解,解,例5(p56例2.23),其信息量的下界为,又因为,其信息量的下界为,3、有效估计,定义2.8,定义2.9,定义2.10,例6,证,有信息量计算公式可知：,例7(p58例2.24),证,定理2.11,证明从略。,解,例8(p59例2.25),第2.4节区间估计,一、区间估计的概念,二、正态总体数学期望的置信区间,三、正态总体方差的区间估计,四、两个正态总体均值差的区间估计,五、两个正态总体方差比的区间估计,六、单侧置信区间,七、非正态总体参数的区间估计,一、区间估计基本概念,1.问题的提出,点估计法：,不足之处：,例如,问：,区间估计解决了上述问题，从而克服了点估计的不足之处.,2.置信区间与置信度,定义2.11,关于定义的说明,若反复抽样多次(各次得到的样本容量相等,都是n),按贝努利大数定理,当抽样次数充分大时，在这些区间中包含真值的频率接近置信度1,即,例如,一旦有了样本，就把估计在区间,内.,这里有两个要求:,由定义可见，,对参数作区间估计，就是要设法找出两个只依赖于样本的界限(构造统计量),(X1,Xn),(X1,Xn),即要求估计尽量可靠.,可靠度与精度是一对矛盾，一般是在保证可靠度的条件下尽可能提高精度.,3.求置信区间的一般步骤(共3步),3求解不等式,二、正态总体数学期望的置信区间,4作等价变形,简写成,其置信区间的长度为,注,置信区间不唯一，但上述结论区间长度最小,例1,包糖机某日开工包了12包糖,称得重量(单位:克)分别为506,500,495,488,504,486,505,513,521,520,512,485.假设重量服从正态分布,解,附表2-1,附表2-2,查表得,4作等价变形,简写成,例2,解,有一大批糖果,现从中随机地取16袋,称得重量(克)如下:,设袋装糖果的重量服从正态分布,试求总体均值,附表3-1,就是说估计袋装糖果重量的均值在500.4克与507.1克之间,这个估计的可信程度为95%.,这个误差的可信度为95%.,例3,解,附表3-2,(续例1)如果只假设糖包的重量服从正态分布,三、正态总体方差的区间估计,推导过程如下:,根据第1章第三节定理1.12可知,进一步可得:,注意:在密度函数不对称时,习惯上仍取对称的分位点来确定置信区间(如图).,注此置信区间长度并非最短,例4,(续例2)求例2中总体标准差的置信度为0.95的置信区间.,解,代入公式得标准差的置信区间,附表4-1,附表4-2,四、两个正态总体均值差的区间估计,本章将讨论两个总体均值差和方差比的估计问题.,推导过程如下:,为比较,两种型号步枪子弹的枪口速度,随机地取型子弹10发,得到枪口速度的平均值为,随机,地取型子弹20发,得枪口速度平均值为,假设两总体都可认为近似地服从正态分布,且由生产过程可认为它们的方差相等,求两总体均值差,信区间.,解,由题意,两总体样本独立且方差相等(但未知),例5,五、两个正态总体方差比的区间估计,推导过程如下:,根据F分布的结构,知,例6(p69例2.30),为了考察温度对某物体断裂强,力的影响，在70度和80度分别重复做了8次试验，,测得的断裂强力的数据如下(单位Pa):,70度：20.5,18.8,19.8,21.5,19.5,21.0,21.2,80度：17.7,20.3,20.0,18.8,19.0,20.1,20.2,19.1,解,附表5-1,六、单侧置信区间,但在某些实际问题中,例如,对于设备、元件的寿命来说,平均寿命长是我们希望的,我们关心的是平均寿命的“下限”;与之相反,在考虑产品的废品率p时,我们常关心参数p的“上限”,这就引出了单侧置信区间的概念.,1.单侧置信区间的定义,2.正态总体均值与方差的单侧置信区间,注其他结果可以参见p70表2.3.,设从一批灯泡中,随机地取10只作寿命试验,测得样本寿命均值(以小时计)为1500h,样本的修正均方差为20h,设灯泡寿命服从正态分布,求灯泡寿命平均值的置信度为0.95的单侧置信下限.,解,例7(p71例2.31),解,例8(不讲)*,七、非正态总体参数的区间估计,1、利用渐近正态性取代精确分布,由于统计量的精确抽样分布很难计算，因而通常可以利用近似分布取代精确分布。,一般总体均值的置信区间：,首先回顾定理1.18,定理1.18,由定理可得：,由此可得总体期望置信度为1-置信区间为,这是因为,将这个结果代入置信区间公式即得参数p的置信区间,例9(p72例2.32),在试验的1000个电子元件中，共,1