参数点估计.ppt

1、,引言,上一讲，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，给出了几个重要的抽样分布定理. 它们是进一步学习统计推断的基础.,总体,样本,统计量,描述,作出推断,研究统计量的性质和评价一个统计推断的优良性，完全取决于其抽样分布的性质.,随机抽样,现在我们来介绍一类重要的统计推断问题,参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.,参数估计,估计废品率,估计新生儿的体重,估计湖中鱼数, ,估计降雨量,在参数估计问题中，假定总体分布 形式已知，未知的仅仅是一个或几个 参数.,这类问题称为参数估计.,参数估计问题的一般提法,

2、X1,X2,Xn,参数估计,点估计,区间估计,（假定身高服从正态分布 ）,设这5个数是:,1.65 1.67 1.68 1.78 1.69,估计 为1.68，,这是点估计.,这是区间估计.,假如我们要估计某队男生的平均身高.,现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值 的估计. 而全部信息就由这5个数组成 .,一、点估计概念及讨论的问题,例1 已知某地区新生婴儿的体重X,随机抽查100个婴儿,得100个体重数据,10,7,6,6.5,5,5.2, ,而全部信息就由这100个数组成.,把样本值代入T(X1,X2,Xn) 中，得到,的一个点估计值 .,请注意，

3、被估计的参数 是一个 未知常数，而估计量 T(X1,X2,Xn) 是一个随机变量，是样本的函数,当 样本取定后，它是个已知的数值,这 个数常称为 的估计值 .,使用什么样的统计量去估计 ？,可以用样本均值;,也可以用样本中位数;,还可以用别的统计量 .,问题是:,我们知道,服从正态分布,由大数定律,自然想到把样本体重的平均值作为总体平均体重的一个估计.,类似地，用样本体重的方差 .,用样本体重的均值,样本体重的平均值,样本均值是否是 的一个好的估计量？,(2) 怎样决定一个估计量是否比另一个估计 量“好”？,样本方差是否是 的一个好的估计量？,这就需要讨论以下几个问题:,(1) 我们希望一个“

4、好的”估计量具有什么 特性？,(3) 如何求得合理的估计量？,那么要问:,二、寻求估计量的方法,1. 矩估计法,2. 极大似然法,3. 最小二乘法,4. 贝叶斯方法,这里我们主要介绍前面两种方法 .,1. 矩估计法,其基本思想是用样本矩估计总体矩 .,理论依据:,或格列汶科定理（见教材177页）,它是基于一种简单的“替换”思想建立起来的一种估计方法 .,是英国统计学家K.皮尔逊最早提出的 .,大数定律,记总体k阶矩为,样本k阶矩为,用相应的样本矩去估计总体矩的估计方法 就称为矩估计法.,记总体k阶中心矩为,样本k阶中心矩为,i=1,2,k,从这k个方程中解出,j=1,2,k,那么用诸 的估计量

5、 Ai分别代替上式中的诸 , 即可得诸 的矩估计量 ：,j=1,2,k,例1 设 X1,X2,Xn 是取自总体 X B(1,p) 的一个样本, 求参数 p 矩估计.,解：,所以，P的矩估计,解:,由矩法,样本矩,总体矩,从中解得,数学期望 是一阶 原点矩,解:由密度函数知,具有均值为 的指数分布,故 E(X- )=,D(X- )=,用样本矩估计 总体矩,例4 设 X1,X2,Xn 是取自总体 X 的一个样本, 求 的矩估计. 解：X 的密度函数为 通过计算易得 用一阶和二阶样本矩分别替代E(X)和E(X2),例5 无论总体X 的分布是什么，只要二阶矩存在，则样本均值 和二阶样本中心矩 是总体均

6、值 和方差 的矩估计量. 解： 根据矩估计的思想 解得,例6 柯西(Cauchy)分布具有概率密度函数 显然它的各阶矩不存在，因此不能用矩估计法来估计未知参数 .,矩法的优点是简单易行,并不需要事先知道总体是什么分布 .,缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .,其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性 .,稍事休息,2. 极大似然法,是在总体类型已知条件下使用的一种参数估计方法 .,它首先是由德国数学家 高斯在1821年提出的 ,Gauss,Fisher,然而，这个方法常归功于 英国统计学家费歇 .

7、,费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 .,极大似然法的基本思想,先看一个简单例子：,一个箱子里放有黑白两种球共10只，只知道这两种球的数目之比为1：9，设黑球所占的比例为p, 显然P只可能取0.1和0.9这两个值.,现在采取有放回抽样的方法随机地摸了3只球，结果发现都是黑球. 问 p 的取值是多少？,由实际推断原理，自然会推测 p=0.9，即认为箱子内放有9只黑球与1只白球. 原因很简单, 因为当p=0.1时, 出现上述结果的概率为 . 而当p=0.9时, 出现上述结果的概率为 . 换句话说, p=0.9时, 对上述试验结果比较有利.,以上这种选择一个参数使

8、得实验结果具有最大概率的思想就是极大似然法的基本思想 .,对于离散型的总体X，设它的分布律为,其中 是待估计的参数. 是 X的一个样本, 则 联合概率函数为,对于给定的一组样本值 , 把,称为样本的似然函数.,对于连续型的总体X，设它的密度函数为, 对给定的一组样本值 ,称为样本的似然函数.,似然函数是待估参数 的函数.,把,根据经验, 概率大的事件比概率小的事件易于发生， 是一组样本值，它是已经发生的随机事件，可以认为取到这些值的概率比较大，即似然函数 L 的值比较大. 将使得 L 取到最大值的参数值 作为 的估计值，这就是最大似然估计法.,极大似然估计原理：,当给定样本X1,X2,Xn时，

9、定义似然函数为：,设X1,X2,Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合概率函数(离散型)为 f (X1,X2,Xn; ) .,似然函数：,极大似然估计法就是用使 达到最 大值的 去估计 .,称 为 的极大似然估计（MLE）.,看作参数 的函数，它可作为 将以多 大可能产生样本值X1,X2,Xn的一种度量 .,由微积分的知识，,必须满足下述方程组,由于 lnL 与 L 同时达到最大值，常用下述方程组来代替.,下面举例说明如何求最大似然估计量.,L(p)= f (x1,x2,xn; p ),例1 设X1,X2,Xn是取自总体 XB(1, p) 的一个样本，求参数 p 的极大似然

10、估计.,似然函数为:,解: X 的分布律可写为,对数似然函数为：,对p求导并令其为0，,=0,得,即为 p 的MLE .,解：似然函数为,对数似然函数为,例2 设X1,X2,Xn是取自总体X的一个样本,求 的极大似然估计.,其中 0,求导并令其为0,=0,从中解得,即为 的MLE .,对数似然函数为,例3 设 X1,X2,Xn 是取自总体 X 的一个样本, 求 的最大似然估计.,解：似然函数为,对对数似然函数求导得,解得,顺便得到 的最大似然估计为,需要注意的是并非每个MLE都可通过求导方法得到.,例4 设 X1,X2,Xn 是取自总体 X 的一个样本, 求 的最大似然估计. 解：X 的密度函

11、数为,似然函数为,但是，,与,均不可能等于零. 要求得,的最大似然估计，只,能回到似然函数的原始定义，即 , .,解：似然函数为,i=1,2,n,对数似然函数为,解：似然函数为,i=1,2,n,=0 (2),由(1)得,=0 (1),对 分别求偏导并令其为0,对数似然函数为,是,对,故使 达到最大的 即 的MLE，,于是,取其它值时，,即 为 的MLE .,且是 的增函数,由于,例5 同课本例 2.2.6 中的总体分布, 求 的最大似然估计. 解：似然方程为 这个方程只能求数值解.,极大似然估计的一个性质,可证明极大似然估计具有下述性质：,设 的函数g=g( )是 上的实值函数, 且有唯一反函

12、数 . 如果 是 的MLE，则 g( )也是g( )的极大似然估计.,例8 一罐中装有白球和黑球，有放回地抽取一个容量为n的样本，其中有 k 个白球，求罐中黑球与白球之比 R 的极大似然估计.,解: 设X1,X2,Xn为所取样本，,则X1,X2,Xn是取自B(1,p)的样本，p是每次抽取时取到白球的概率，p未知 .,先求p的MLE：,p的MLE为,在前面例4中,我们已求得,由前述极大似然估计的性质不难求得,的MLE是,二、估计量的优良性准则,在介绍估计量优良性的准则之前，我们必须强调指出：,评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量 .,这是因为估计量是样本的

13、函数，是随机变量 . 因此，由不同的观测结果，就会求得不同的参数估计值. 因此一个好的估计，应在多次试验中体现出优良性 .,常用的几条标准是：,1无偏性,2有效性,3相合性,这里我们重点介绍前面两个标准 .,估计量是随机变量，对于不同的样本值会得到不同的估计值 . 我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值. 这就导致无偏性这个标准 .,1无偏性,则称 为 的无偏估计 .,(1) 若,(2) 若,则称 为 的渐进,无偏估计.,例如，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在0的周围波动，对同一统计问题大量重复使用不会产生系统偏差

14、 .,无偏性是对估计量的一个常见而重要的要求 .,无偏性的实际意义是指没有系统性的偏差 .,定理2.3.1 样本均值 是总体均值的无偏估计，样 本方差 是总体方差的无偏估计. 证明：设总体的期望和方差分别为 和 . 由期望 的性质易知 ，故 是总体均值的无偏估计. 而 其中, 从而,所以无偏估计以方差小者为好, 这就引进了有效性这一概念 .,由于,2有效性,在数理统计中常用到最小方差无偏估计.,它的定义是:,（也称最佳无偏估计）,若 满足：,（1） ， 即 为 的无偏估计；,则称 为 的最小方差无偏估计.,要直接验证某个估计量是最小方差无偏估计量 是困难的. 若能求出无偏估计中方差的下界, 而

15、且又 能说明参数 的一切无偏估计中存在某个估计 的 方差能达到这个下界，那么 就是 的最小方差无 偏估计. 下面给出一个判别准则：,定理2.3.2 (Cramer-Rao不等式)设X1,X2,Xn是 从密度函数为 的总体抽取的样本, 是 的一个无偏估计, 若 集合 与 无关; 对 积分与微分可交换且 存在，即 (3),则有,其中,常称,为Fisher信息量. 特别当, 有,常用的另一个表达式,常称为C-R不等式.,例1 设 X1, X2, Xn 是取自总体 XB(1, p) 的一个样本，求参数 p 的无偏估计的方差下界.,解: X 的分布律可写为,因此,于是，p的任何一个无偏估计量,都满足不等

16、式,而 是p的无偏估计，且 , 因此 是p 的最小方差无偏估计量. 例2 设 X1,X2,Xn 是取自总体 X 的一个样本, 求 的无偏估计的方差下界. 解: (1) 写出密度函数 (2) 求密度函数对数、再求导 (3) 计算 (4) 代入C-R不等式求方差下界 最后寻找无偏估计中满足方差下界的估计量.,最小方差无偏估计量有时并不存在，这时,定义 2.3.4 称 为 的无偏估计量T 的效率. 当T的效率等于1时，称T是有效估计量. 若 ，称T是渐近的有效估计量. 例2续 的无偏估计量 的方差 ，而由 C-R不等式得到的下界为 ，故 的有效率,例3 泊松分布 的参数 的最大似然估计 是否为有效估

17、计？ 解：泊松分布的概率函数为 显然 是 的无偏估计. 从而 所以 是有效估计量，也是最小方差无偏估 计量.,2.3.3 其他准则,定义2.3.5 设 是参数 的一个估计，称 为 的均方误差. 对于 的任一估计量 , 若 称 为 的最小均方误差估计量. 例3 设 X1,X2,Xn 是取自总体 X 的一个样本, 试在形如 的统计量中确定 的最小均方误差估计 . 解：找使得 最小的 .,相合性,定义2.3.6 设 是 的一个估计量，如果对任给的 ，有 则称T是 的相合估计量.,2.4 贝叶斯估计,经典参数估计都是将未知参数 视为未知常数去估 计. 在贝叶斯估计法中, 将 视为服从某种概率分布的随机变量 . 是基于历史资料得到的，先于获得抽样数据前, 故称为先验分布. 从样本获得信息后，会对先验分布更新，更新后的分布称为后验分布，记为 . 有 为 的所有可能取值的集合. 后验分布的均值 可作为 的点估计.,(),例2.4.1 设 是取自总体 XB(1