第一节 参数估计的意义.ppt

参数估计,第一节参数估计的意义,一、参数估计的意义,参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者总体的某些数字特征.,参数估计的两个研究方向：,1.在已知总体分布类型的前提下，由样本信息估计出总体未知参数的近似值，从而近似估计总体分布.,一、参数估计的意义,2.有时关心的不是总体服从具体分布，而是关注总体的某些数字特征（如均值、方差等）,例如，灯泡厂生产过程中受到随机因素干扰，灯泡寿命不尽相同.为评价产品质量，自然提出如何估计这批灯泡的平均寿命（总体均值），以及寿命长短相差（总体方差）等问题.,有时还希望通过数据分析，以一定的可靠性来估计灯泡平均寿命介于某个范围或者不低于某个数值.,由于样本来自总体，它必然在一定程度上反映总体，因而在参数估计问题中，经常要用到样本的某个适当的函数来估计总体的参数.,二、参数估计的概念,二、参数估计的概念,参数估计问题：知道随机变量（总体）的分布类型，但确切的形式不知道，根据样本来估计总体的参数，这类问题称为参数估计(ParamentricEstimation).,参数估计,点估计,区间估计,二、参数估计的概念,（假定身高服从正态分布）,设这5个数是:1.651.671.681.781.69,例如我们要估计某队男生的平均身高.,现从该总体中选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值的估计，而全部信息就由这5个数组成.,参数估计,第二节参数的点估计,一、引言,1.顺序统计量估计法,2.矩估计法,3.极大似然估计,4.最小二乘法,点估计常用方法：,二、矩估计法,矩估计法是英国统计学家K.皮尔逊最早提出来的.由辛钦大数定律,二、矩估计法,这表明，当样本容量很大时，在统计上，可以用样本矩去估计总体矩.这一事实导出矩估计法.,理论依据:,大数定律,二、矩估计法,二、矩估计法,例1,解：由矩估计法可知,二、矩估计法,例2,解：,二、矩估计法,解：,例2,二、矩估计法,解：总体均值的估计值为,二、矩估计法,总体方差的估计值为,二、矩估计法,解：总体均值为,样本均值为,解:,由矩估计法,从中解得,三、矩估计法,练习1设总体X在a,b上服从均匀分布,a,b未知.是来自X的样本,试求a,b的矩估计量.,练习,练习,四、极大似然估计,极大似然估计法是在总体类型已知条件下使用的一种参数估计方法.,它首先是由德国数学家高斯在1821年提出的.,Gauss,Fisher,然而，这个方法常归功于英国统计学家费歇.,费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.,四、极大似然估计,例子：,1.老猎人和小猎人捕猎，各自向野兔射击一发子弹，兔子身上只有一个弹孔，一般情况下，我们总会认为，这是由老猎人射中的.,2.机器发生故障时，总是从易损部位开始检查；医院就医时，医生总是先检查病例，从曾经的患处入手诊断.,3.两个箱子各100个球，甲箱中99个白球1个红球，乙箱中1个白球99个红球，现任取一箱再任取一个球，发现是红球，一般估计此球来自乙箱.,四、极大似然估计,极大似然估计法的思想,极大似然估计法，是建立在最大似然原理的基础上的求点估计量的方法.最大似然原理的直观想法是：在试验中概率最大的事件最有可能出现.因此，一个试验如有若干个可能的结果A,B,C,若在一次试验中，结果A出现，则一般认为A出现的概率最大.,在已得试验结果的条件下，应该寻找使得该结果出现可能性最大的那个参数值作为真正参数的估计.,四、极大似然估计,极大似然估计定义：,当给定样本X1,X2,Xn时，定义似然函数为：,这里x1,x2,xn是样本的观察值.,设X1,X2,Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合分布律(离散型)为,四、极大似然估计,似然函数：,看作参数的函数，它可作为将以多大可能产生样本值x1,x2,xn的一种度量.,极大似然估计法就是用使达到最大值的去估计.即,四、极大似然估计,求极大似然估计量的一般步骤为：,（1）求似然函数,（4）最后得到极大似然估计量,四、极大似然估计,1.X为离散型,解：,例1,四、极大似然估计,这一估计量与矩估计量是相同的.,四、极大似然估计,四、极大似然估计,解：,四、极大似然估计,练习,四、极大似然估计,四、极大似然估计,四、极大似然估计,2.X为连续型,四、极大似然估计,例3设总体X服从指数分布，其分布密度为,解：,似然函数为,四、极大似然估计,取对数,似然方程为,四、极大似然估计,解：,例4设连续型总体X的概率密度为,似然函数为,四、极大似然估计,取对数,练习设X1,X2,Xn是取自总体X的一个样本,求的最大似然估计值.,其中0,四、极大似然估计,求导并令其为0,=0,从中解得,即为的最大似然估计值.,对数似然函数为,四、极大似然估计,四、极大似然估计,四、极大似然估计,解：总体X的分布密度为,构造似然函数,四、极大似然估计,练习,答案,五、评价估计量的标准,这就需要讨论以下问题:,(1)对于同一个参数究竟采用哪一个估计量好?,(2)评价估计量的标准是什么?,五、评价估计量的标准,常用的几条标准是：,1无偏性,2有效性,3一致性,这里我们重点介绍前面两个标准.,五、评价估计量的标准,1、无偏性,五、评价估计量的标准,五、评价估计量的标准,五、评价估计量的标准,五、评价估计量的标准,五、评价估计量的标准,判断下列估计量中哪些总体均值的无偏估计量,五、评价估计量的标准,所以无偏