概率论与数理统计 第六章 参数估计

1、第六章 参数估计,参数估计就是利用样本来估计总体分布中的未知参数.,6.1 点估计方法,一、参数的点估计,6.1.1 替换原理和矩法估计,点估计问题就是要根据总体X的子样,分别将它们作为未知参数,用以估计未,知参数的统计量通常称为估计量.,分别称为估计量的,或称为未知参数,未知参数估计量或估计值统称为,未知参数的估计.,替换原理常指如下两句话:,用子样矩去替换总体矩(原点矩或中心矩),用子样矩的函数去替换相应的总体矩的函数.,用子样的p分位数估计总体的p分位数,特别用子样中位 数估计总体中位数.,例6.1.1 对某型号的20辆汽车记录其每5L汽油的 行驶里程(公里),观测数据如下:,29.8

2、27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9,试求总体均值、方差和中位数的估计值.,具体做法是,二、矩估计法,以子样矩作为总体相应矩的估计量，从而求得未知参 数的方法，称为矩估计法，简称为矩法.,从上述方程组中解出,这就是矩估计量.,令总体的j阶的原点等于样本的j阶原点，得,例1,解： 设,注：,例2,解： 设,例3,解： 设,例4,解： 设,解： 设,解得,例5 已知总体,有密度函数,的矩估计量.,（1）求,（2）若3.5,4.2,5.3,4.4,3

3、.7,5.8,3.9,4.8是一组样本观测值,求,的矩估计量.,算,例6.1.2 设总体X服从参数 指数分布,求 的估计量.,例6.1.3,容量为5子样观测值,求a ,b的矩估计值.,算,例5,20%,80%,甲筐,80%,20%,乙筐,苹果,问这只苹果是从哪个筐里掉下来的？,答：从甲筐中，因为,三、极大似然估计法,极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，。结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率最大.,根据极大似然原理的直观想法，只需考虑在两个可能总体中发生了取得这个观测值,即比较概率的大小，取概率大的所对应的参数值作为估计值.更一般地，,的

4、可能取值不止两个时,定义1,定义2,求极大似然估计的方法,1. 设似然函数,的连续函数,且关于,各分量,解此方程即可.值得注意的是,由极值的必要条件知极大似 然估计一定是似然方程的解.但似然方程组的解未必是极 大似然估计,严格地讲,对似然方程组的解要经过验证才能 确定是否是极大似然估计.,的偏导数存在因为lnL与L的最大点相同,而lnL比L使用方便, 所以常常求lnL的最大点.,例6 设总体,服从指数分布,它的密度为,解: 设,为子样,的观测值.,当,时,有,求偏导，并令其等于零,解得,因此,的极大似然估计量是,则,例7 设,是来自总体,的一个子样,的极大似然估计量.,解: 设,为子样,的观测

5、值.,所以,似然函数为,取对数得,求偏导，并令其等于零,解得,因此,的极大似然估计量是,例6.1.6 设一个试验有三种可能结果,其发生的概率分别为,现做了n次试验,观测到三种可能结果发生的次数分别为,求偏导,解得,例8 设,是来自总体,的一个子样,的极大似然估计量.,解: 设,为子样,的观测值.,所以,似然函数为,取对数得,求偏导，并令其等于零,解得,因此,的极大似然估计量恰好是子样均值与子样,它们与矩法估计是一致的.,方差,即,例9,上的均匀分布,其中,为未知参数,设,试求,解: 总体,的密度函数是,设,为子样,的观测值.,所以,似然函数为,未知参数 的极大似然估计.,因此,例10 设总体,

6、服从,上的均匀分布,其中,为未知参数,设,试求未知,解: 总体,的密度函数是,设,为子样,的观测值.,所以,似然函数为,的极大似然估计.,参数,的极大似然估计.如,因此统计量若满足,所以当,时,似然函数的最大值都是1.,都可以作为,定理 设,的极大似然估计.,解: 设,为子样,的观测值.,例6.1.8 设总体,查正态分布可得,例11 设总体,具有密度函数,解: 设,为子样,的观测值.,所以,似然函数为,取对数得,求偏导，并令其等于零,这方程只能用数值解.因为这个分布分不存在数学期望,因 此不能用矩法估计 .,估计量与子样容量有关的,假设用,充分小的邻域内,于是就有了下面的一致(相合)性标准.,

7、定义2.4 设,6.2.1 相合性,6.2 点估计的评价标准,例6 设总体服从任何分布且方差存在,证明子样均值是总体期望的一致估计量.,证明:,由车贝晓夫不等式得,即,也就是说,的一致估计量.,定理6.2.1,定理6.2.2 设,例6.2.3 续例6.1.6,由大数定律及定理6.2.2知上述三个都是 的相合估计.,定义1,否则称为有偏估计.其偏度记为,如果,6.2.2 无偏性,例1 证明在6.1节中我们得到的均匀分布的参数 的矩估 计是无偏的,而极大似然估计是有偏.,证明: 因为 的矩估计为,所以,即,的无偏估计.,因为 的极大似然估计为,因此,的密度函数为,所以,即,不是 的无偏估计.,例6

8、.2.5 设总体,证明: 由定理5.3.1知:,其密度为,从而,由此,我们有,估计量的无偏性有两个含义,第一个含义是没有系统性 偏差,不论你用什么样的估计量去估计 , 总是时而（对某 些样本）偏低,时而（对另一些样本）偏高.无偏性表示,把这些正负偏差在概率上平均起来,其均值为0.比如用一把 秤去秤东西,误差来源有二:一是秤本身结构制作上的问题, 使它在秤东西时,倾向于给出偏高或偏低之值,这属于系统 误差.另一种是操作上和其它随机性原因,使秤出的结果有 误差,这属于随机误差.在此,无偏估计的要求相应于秤没有 系统误差,但随机误差总是存在的.因此无偏估计不等于在 任何时候都给出正确无误的估计.,另

9、一个含义是无偏性体现了一种频率思想,只有在大量重复下才有意义.,无偏性的缺点：,（1）没有不变性.,（2）有时根本不存在无偏估计，或因满足无偏性要求而 得到很不合理的估计.,例2,解：,即,上式是不可能成立的,也就是说，,的无偏估计不存,而且这是一个较好的估计.,求估计量不仅具有无偏性要求,而且具有最小方差.,定义2 设,6.2.3 有效性,的任一无偏估计的方差是否能无限小呢？我们可以,证明,在一定条件下有Cramer-Rao不等式,上式右边就是方差的下界,并简记为,例3 设,是从均匀分布总体,取出的子样,由例1知,因此,例4 设,是来自总体的一个样本,比较总体期望,的下列两个无偏估计的有效性

10、.,解: 显然,即当,时,有效.,例5 设,是来自正态总体 的一个样本,试证明,的无偏估计量,的有效估计.,证明,即,也就是说,达到了方差的下界.所以,的有效估计.,无偏性是估计的一个良好性质,对无偏估计我们可以通 过其方差进行有效性比较.然而不能由此认为:有偏估计一定 是不好的估计.,有时,有偏估计比无偏估计更优,这就涉及如何对有偏估 计进行评价.一般而言,在样本容量一定时,评价一个估计的好 坏使用的度量指标 总是点估计值,数，最常用的函数是距离的平方. 由于,该函数求数学期望.,定义6.2.4,6.2.4 均方误差,均方误差的性质:,证明:,例6.2.8 在例6.2.7中我们指出对均匀总体

11、,不难求得,如前所述,点估计是用一个点(数)去估计未知参数,顾名思 义,区间估计就是用一个区间去估计未知参数,即把未知参数值估计在某两个界限之间,例如一个人的年龄在30到35之间;但由于子样的随 机性,我们无法知道这个估计值与参数的真值是否有误差,若有,误差又在什么范围内.因而我们希望找出一个区间,使得参数落在该区间的概率可以计算,这样我们就能在一定的可靠程度下得出估计值可能的最大误差,这就是区间估计的思想.,6.5.1 区间估计的概念,6.5 区间估计,置信下限和置信上限.,定义6.5.2 沿用定义6.5.1的记号,如对给定的,在一些实际问题中,人们感兴趣的有时仅仅是未知参数 一个下限或一个

12、上限.譬如,对某种产品的平均寿命来说,我们希望它越大越好,因此人们关心的是置信下限,此下限标志了该产品的质量.它的一般定义如下.,类似地,对某些指标人们希望它越小越好.比如,某种药品的毒性.这就引出了置信上限的概念.,这个方法的基本想法,就是在参数的点估计的基础上,去找它的区间估计.由于点估计是最有可能接近真参数 的,能由子样决定的值,因此,围绕这个值的区间,包含真参数值的可能性也就要大一些.,例 设子样,因此得,6.5.2 枢轴量法,从以上的例子我们总结归纳得一般歩骤如下:,得G的分布不依赖于未知参数 .一般称具有这种性质的G为 枢轴量.,则有,这样得到的置信区间称为等尾置信区间.实用的置信

13、区间大 都是等尾置信区间.,解: 我们由上节知,由图可以看出,6.5.3 单个正态总体参数的区间估计,即,故置信度为,的等同置信区间是,单置侧信区间：若统计量,若统计量,例6.5.3 用天平称量某物体的质量9次,得平均值,已知天平称量结果为正态分布,其标准差为0.1g.试求该物体 质量的0.95置信区间.,解: 设天平称量结果记为X,例6.5.4 设总体,解: 由题意知,即,故置信度为,的置信区间是,例6.5.5 假设轮胎的寿命服从正态分布,为估计某种轮胎 的平均寿命,现随机抽取12只轮胎试用,测得它们的寿命(单 位:万公里)如下:,4.68 4.85 4.32 4.85 4.61 5.02

14、5.20 4.60 4.58 4.72 4.38 4.70,试求平均寿命的0.95置信区间.,解: 设轮胎的寿命记为X,过程,故置信度为,的置信区间是,三、方差的置信区间,例6.5.6 某厂生产的零件重量服从正态分布,现从该厂生产的零件中抽取9个,测得其质量为(单位:g),45.3 45.4 45.1 45.3 45.5 45.7 45.4 45.3 45.6,试求总体标准差的0.95置信区间.,解: 设零件重量记为X,过程,在样本容量充分大时,可以用渐近分布来构造置信区间.,我们用举例的形式来介绍构造置信区间.,6.5.4 大样本的置信区间,它的判别式为,故此一元二次函数是开口向上并与x轴有

15、两个交点的曲线, 记此两个交点,近似为,例6.5.7 对某事件 A作120次观察,A发生36次.试求事件A,发生的概率p的0.95的区间估计.,解: 由题意知,故所求的区间为0.218,0.382.,例6.5.8 某传媒公司欲调查电视台某综艺节目收视率p, 为使得p的,解: 这是关于二点分布比例的区间估计问题.,的区间估计,由第五章的结论知,6.5.5 两个正态总体下的区间估计,一、 两个总体均值差,故置信度为,的置信区间是,的置信区间是,故置信度为,记号同前,这样就构造了枢轴量.,4. 当m和n都很大时的近似置信区间,我们可以证明:,5. 一般情况下的近似置信区间,度为l的t 分布很接近,其中t由公式,决定,l一般不为整数,可以取与l最接近的整数代替之.于是,近似地有T t (l),从而可得,例6.5.9 为比较两个小麦品种的产量,选择18块条件相似 的试验田,采用相同的耕作方法做试验,结果播种甲品种的8 块试验田的单位产量和播种乙品种的10块试验田的单位面 积产量(单位:kg)分别为:,甲品种 628 583 510 554 612 523 530 615,乙品种 535 433 398 470 567 480 498 560 503 426,假定每个品种的单位面积产量均服从正态分布,试求这两 个品种的平均单位面积产量差的0.9