高等工程数学 第二讲 参数估计

1、总体总体 样本样本 统计量统计量 描述描述 作出推断作出推断 随机抽样随机抽样 第十三章第十三章 参数估计参数估计 参数估计问题是利用从总体抽样得到的信息来估计总参数估计问题是利用从总体抽样得到的信息来估计总 体的某些参数或者参数的函数体的某些参数或者参数的函数. 1.1 参数估计参数估计 在参数估计中，假定总体分布已知，未知的仅仅在参数估计中，假定总体分布已知，未知的仅仅 是一个或几个参数是一个或几个参数. 参数估计参数估计 点估计点估计 区间估计区间估计 13.1 求点估计量的方法求点估计量的方法 点估计的方法点估计的方法 矩估计法矩估计法 最大似然法最大似然法 参数估计参数估计是对已知是

2、对已知分布类型的总体分布类型的总体，利用样本利用样本对对 其未知参数作出估计其未知参数作出估计。 一、一、 矩法矩法 理论依据理论依据:大数定律大数定律 它是由简单它是由简单“替换替换”的思想建立起来的一种估计方的思想建立起来的一种估计方 法法 . 是英国统计学家是英国统计学家K.皮尔逊最早提出的皮尔逊最早提出的 . ()kkE XE X 总总体体 阶阶中中心心矩矩为为 1 1 () n k i i kXX n 样样本本 阶阶中中心心矩矩为为 用相应的样本矩去代替总体矩的估计方法就称为矩估计法用相应的样本矩去代替总体矩的估计方法就称为矩估计法. () k kE X记记总总体体 阶阶原原点点矩矩

3、为为 1 1 n k i i kX n 样样本本 阶阶原原点点矩矩为为 解解: dxxxXE ) 1()( 1 0 1 2 1 ) 1( 1 1 0 dxx 由矩估计法由矩估计法, 2 1 X 样本矩样本矩 总体矩总体矩 从中解得从中解得 , 1 12 X X 的矩估计的矩估计. 即为即为 数学期望数学期望 是一阶是一阶 原点矩原点矩 例例1 设总体设总体X的概率密度为的概率密度为(p24,ex2) 其它, 0 10,) 1( )( xx xf 是未知参数是未知参数, 其中其中1 X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计. 例例2 区间区间 0 , 上均匀分布

4、的矩估计上均匀分布的矩估计 设样本设样本X1，X2， ，Xn是来自在区间是来自在区间 0 , 上均匀分布的总体，上均匀分布的总体， 未知，求未知，求 的矩估计。的矩估计。 解：解： XAXE 1 )(,令令要要估估计计 的的矩矩法法估估计计量量为为，故故 2 2 1 )()( 0 X xdxdxxxfXE X2 注意：估计量是随机变注意：估计量是随机变 量而期望是数值量而期望是数值 其其它它,0 0 , 1 )( x xf 注意：样本矩是随机变量，而总体矩是数值注意：样本矩是随机变量，而总体矩是数值 要注意相应的字母大小写区分要注意相应的字母大小写区分 注：注： 1 运用矩估计的前提条件是总体

5、对应的各阶矩要存运用矩估计的前提条件是总体对应的各阶矩要存 在。在。 2 尽量用低阶样本矩去估计未知参数。尽量用低阶样本矩去估计未知参数。 二、二、 极大似然法极大似然法 它首先是由德国数学家高斯在它首先是由德国数学家高斯在1821年提出的年提出的 , Gauss Fisher 费歇尔费歇尔在在1922年重新发现了这一方法，并首先研究年重新发现了这一方法，并首先研究 了这种方法的一些性质了这种方法的一些性质 . 最大似然法的基本思想最大似然法的基本思想 先看一个简单例子先看一个简单例子 ： 一只野兔从前方窜过一只野兔从前方窜过 . 是谁打中的呢？是谁打中的呢？ 某位同学与一位猎人一起外某位同学

6、与一位猎人一起外 出打猎出打猎 . 如果要你推测，如果要你推测， 你会如何想呢你会如何想呢? 只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 . 你就会想，只发一枪便打中你就会想，只发一枪便打中, 猎人命中的概率猎人命中的概率 一般大于这位同学命中的概率一般大于这位同学命中的概率 . 看来这一枪是猎人看来这一枪是猎人 射中的射中的 . 这个例子所作的推断已经体现了极大似然法的这个例子所作的推断已经体现了极大似然法的 基本思想基本思想 . 例例 极大似然法极大似然法-简例简例 如果一个老兵和一个新兵同时打靶，但仅如果一个老兵和一个新兵同时打靶，但仅 有一人命中，问谁命中的可能性大？有一人命

7、中，问谁命中的可能性大？ (1) 老兵老兵 (2)新兵新兵 大家首先想到的是老兵，因为它更符合情理！大家首先想到的是老兵，因为它更符合情理！ 若袋中有黑白两种球若袋中有黑白两种球 ( 除颜色外别无差异除颜色外别无差异 ) , 且且 已知两种球数之比为已知两种球数之比为 1:3 ，现任取一球，发现是白，现任取一球，发现是白 色，问哪种颜色的球多一些？色，问哪种颜色的球多一些？ 显然，大家都会觉得白色的多一些。显然，大家都会觉得白色的多一些。 极大似然法的基本思想极大似然法的基本思想 选择一个参数使得实验结果具有最大概率的思想选择一个参数使得实验结果具有最大概率的思想 就是最大似然法的基本思想就是

8、最大似然法的基本思想 . 极大似然估计原理：极大似然估计原理： 当给定样本当给定样本x1,x2,xn时，定义时，定义似然函数似然函数为：为： 设设X1,X2,Xn是取自总体是取自总体X的一个样本，样本的一个样本，样本 的联合密度的联合密度(连续型连续型)或联合分布律或联合分布律(离散型离散型)为为 f (X1,X2,Xn; ) . n Lf xxx 12 ( )(,; ) 最大似然估计法就是用使最大似然估计法就是用使 达到最大值的达到最大值的 去估计去估计 . L( ) 称称 为为 的最大似然估计（的最大似然估计（MLE）. 求极大似然估计的一般步骤： 1. 写出似然函数： n i min x

9、pxxxL 1 2121 ),.,;();,.,( n i mi xpL 1 21 ),.,;(lnln ),.,2 , 1(0 ln mj L j m ,., 1 4. 解似然函数方程组得解似然函数方程组得 即为所求。即为所求。 2. 对似然函数取对数：对似然函数取对数： 3. 对对 j ( j=1,m )分别求偏导，并令其为分别求偏导，并令其为 0 得似得似 然方程然方程(组组)： 例例 指数分布的点估计指数分布的点估计 某电子管的使用寿命 X （单位：小时) (从 开始使用到首次失效为止）服从指数分布， 今取一组样本，数据如下，问如何估计？ 16295068100130140270280

10、 3404104505206201902108001100 )0( ,0 0, 1 );( 其其它它 xe xfX x 解：解： 可用两种方法估计：可用两种方法估计： 矩法估计矩法估计 和和 极大似然估计极大似然估计 （二）极大似然估 计 )(3185723 18 11 1 )( 1 0 小小时时 的的估估计计值值为为：代代入入具具体体数数值值可可得得 的的矩矩法法估估计计量量为为：则则可可得得令令 n i i x x n X X dxexXE 构造似然函数：构造似然函数： 其它其它0 , 1，0 );,.,( 1 1 1 nixe xxL i x n n n i i （一）矩法估计（一）矩法

11、估计 n i i xnL 1 1 lnln 求偏导：求偏导：0 1ln 1 2 n i i x n d Ld 令令 求解得：求解得：XX n n i i 1 1 )(3185723 18 11 1 小小时时 的的估估计计值值为为：代代入入具具体体数数值值可可得得 n i i x n 取对数：取对数： 时时当当nixi, 1，0 例 均匀分布的极大似然估计 设样本X1，X2， ，Xn是来自在区间 0 , 上均 匀分布的总体， 未知，求 的极大似然估计。 解解: else x xf ,0 0 , 1 )( 总总体体的的概概率率密密度度函函数数为为 else x xxL i n n ,0 0, 1

12、);,.,( 1 从从而而可可得得似似然然函函数数 注意：注意： 该似然函数不能该似然函数不能 用一般方法用一般方法-通通 过求导构造似然过求导构造似然 方程。方程。 尝试用其他方法尝试用其他方法 求解！求解！ else xx else x L i ni i ni n i n ,0 max,min0, 1 ,0 0, 1 11 max max 1 1 i ni i ni X x L 的的极极大大似似然然估估计计量量为为：故故 处处达达到到极极大大值值 在在如如图图所所示示，似似然然函函数数 从前例可以看到从前例可以看到, 对于同一个参数对于同一个参数, 用不同用不同 的估计方法求出的估计量可能

13、不相同的估计方法求出的估计量可能不相同, 而且而且, 很很 明显明显, 原则上任何统计量都可以作为未知参数的原则上任何统计量都可以作为未知参数的 估计量估计量. 问题问题 (1)对于同一个参数究竟采用哪一个估计量好对于同一个参数究竟采用哪一个估计量好? 评价估计量的标准是什么评价估计量的标准是什么? 下面介绍几个常用标准下面介绍几个常用标准. (2) 我们希望一个我们希望一个“好的好的”估计量具有什么特性？估计量具有什么特性？ (3) 怎样决定一个估计量是否比另一个估计量怎样决定一个估计量是否比另一个估计量“好好”？ 第二节第二节 估计量的评选标准估计量的评选标准 无偏性无偏性 有效性有效性

14、相合性相合性 估计量是随机变量，对于不同的样本值会得到估计量是随机变量，对于不同的样本值会得到 不同的估计值不同的估计值 . 我们希望估计值在未知参数真值附我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值近摆动，而它的期望值等于未知参数的真值. 这就这就 导致无偏性这个标准导致无偏性这个标准 . 一、无偏性一、无偏性 ) (E 则称则称 为为 的的无偏估计无偏估计 . ),( 1n XX 设设 是未知参数是未知参数 的估计量，若的估计量，若 12 , n XXXX设设是是总总体体 的的样样本本，则则 1 1 ; n i i XX n ( (1 1) )是是总总体体均均值值

15、 的的无无偏偏估估计计量量 222 1 1 (); 1 n i i SXX n ( (2 2) )是是总总体体方方差差的的无无偏偏估估计计量量 222 1 1 (); n i i SXX n 而而不不是是总总体体方方差差的的无无偏偏估估计计量量 ：下列估计量是否的无偏估计量？ 321 211 7 . 02 . 01 . 0. 4 . 3. 2. 1 XXX XXXX 由上例可见，一个参数的无偏估计可以有很多；由上例可见，一个参数的无偏估计可以有很多； 无偏估计只能保证无系统误差，无偏估计只能保证无系统误差， ；但；但 是却可能有极大的偏差。是却可能有极大的偏差。 因此因此一个优良的估计量，其方

16、差应该较小一个优良的估计量，其方差应该较小。 0) ( E 二、有效性二、有效性 D( ) D( ) 2 1 则称则称 较较 有效有效 . 2 1 都是参数都是参数 的无偏估计量，若对的无偏估计量，若对任意任意 ， ),( 11n XX ),( 122n XX 1 设设和和 且至少对于且至少对于某个某个 上式中的不等号成立，上式中的不等号成立， ：下列估计量哪一个更有效？ 321 211 7 . 02 . 01 . 0. 4 . 3. 2. 1 XXX XXXX 例例XXXX TXXXX TXXXX TXXXX 1234 11234 21234 31234 , 11 ()() 63 (234)

17、 5 () 4 设设是是来来自自均均值值为为 的的指指数数分分布布总总体体的的样样本本， 其其中中 未未知知，设设有有估估计计量量 T T T 123 (1), 指指出出中中哪哪些些是是 的的无无偏偏估估计计量量。 T T 13 1, 解解：（ ）是是 的的无无偏偏估估计计量量。 (2) 在在上上述述 的的无无偏偏估估计计量量中中指指出出哪哪一一个个更更有有效效。 D TDXXXX D XD X 11234 2 11 (2)() ()() 63 115 2 ()2 () 36918 D TDXXXX D X 31234 2 1 () () 4 11 4 () 164 D TD TTT 3131

18、 ()() 较较更更有有效效。 一般地，在一般地，在 的的无偏估计量无偏估计量 )1( 11 n i ii n i i CXC .最最有有效效中中，X 三、相合性三、相合性 任意任意 ，当，当 时时 依概率收敛依概率收敛 于于 , 则称则称 为为 的的相合估计量相合估计量. 设设 n 是参数是参数 的估计量，若对于的估计量，若对于 1 (,) n XX 1 (,) n XX 为为 的的相合估计量相合估计量 0 对于任意对于任意 , 有有 lim|1, n P 点估计的缺陷：点估计的缺陷： 由于样本是随机的，估计值可能非真值由于样本是随机的，估计值可能非真值-即便估即便估 计量是无偏有效估计量。

19、计量是无偏有效估计量。 即使估计值等于真实值，也无从肯定；若不等于即使估计值等于真实值，也无从肯定；若不等于 真实值，不知相差多少。真实值，不知相差多少。 改进：改进： 对于对于的估计，给定一个范围：的估计，给定一个范围： ，并满足，并满足: 21 , 应应尽尽可可能能大大 21 )1( P 应应尽尽可可能能小小 12 )2( 我们希望两者都能满足，但这二者是矛盾的！无法同我们希望两者都能满足，但这二者是矛盾的！无法同 时满足。时满足。 于是可以将上述两个要求改为：于是可以将上述两个要求改为： 在一定可靠程度下在一定可靠程度下 1)找出被估参数的可能取值范围找出被估参数的可能取值范围 譬如，在

20、估计湖中鱼数的问题中，若我们譬如，在估计湖中鱼数的问题中，若我们 根据一个实际样本，得到鱼数根据一个实际样本，得到鱼数 N 的极大似然估的极大似然估 计为计为1000条条. 若我们能给出一个区间，在此区间内我们若我们能给出一个区间，在此区间内我们 合理地相信合理地相信 N 的真值位于其中的真值位于其中. 这样对鱼数的这样对鱼数的 估计就有把握多了估计就有把握多了. 实际上，实际上，N的真值可能大于的真值可能大于1000条，也可条，也可 能小于能小于1000条条. 也就是说，我们希望确定一个区间，使我们能也就是说，我们希望确定一个区间，使我们能 以比较高的以比较高的可靠程度可靠程度相信它包含真参

21、数值相信它包含真参数值. 湖中鱼数的真值湖中鱼数的真值 这里所说的这里所说的“可靠程度可靠程度”是用概率来度量的是用概率来度量的 ， 称为称为置信度置信度或或置信水平置信水平. 习惯上把置信水平记作习惯上把置信水平记作 1 ，这里，这里 是一个是一个 很小的正数很小的正数. 第三节第三节 区间估计区间估计 置信区间定义置信区间定义 置信区间的求法置信区间的求法 单侧置信区间单侧置信区间 设总体的未知参数为设总体的未知参数为，由样本，由样本X1，Xn确定两个确定两个 统计量统计量 和和 ，对，对 于给定的实数于给定的实数 (0 1 )，满足，满足 ),.,( 111n XX ),.,( 122n

22、 XX 1 ),.,(),.,( 1211nn XXXXP 则称随机区间则称随机区间 为为的的置信度置信度为为1- 的的置信区间置信区间。 21 , 1- 又称又称置信系数置信系数或或置信概率置信概率 又称又称置信水平置信水平，通常取值为，通常取值为0.1，0.05等等等等。 12 和和分分别别称称为为置置信信下下限限和和置置信信上上限限。 两点要求两点要求 1 可靠性：可靠性： 2 精确性：精确性： 12 , 要要求求区区间间以以很很大大可可能能包包含含 ， 12 )P 就就是是说说，概概率率要要尽尽可可能能的的大大； 要求估计的精确度尽可能的高，要求估计的精确度尽可能的高， 这是一对矛盾这

23、是一对矛盾， 一般是在保证可靠度的条件下尽可能提高精确度一般是在保证可靠度的条件下尽可能提高精确度. 21 - 就就是是说说，区区间间长长度度要要尽尽可可能能的的短短。 正态分布中正态分布中的区间估计的区间估计 例例 设设XN(,2)， 2= 02 已知已知，求参数，求参数的置信度为的置信度为 1- 的置信区间。的置信区间。 分析分析: 1) 要估计参数，就涉及统计量；而要估计参数，就涉及统计量；而选取统计量选取统计量应根应根 据据优良性质准则优良性质准则来选。来选。 这里这里的优良估计是：的优良估计是： X 2）将）将统计量化为常用分布统计量化为常用分布，再通过，再通过临界值确定区间临界值确

24、定区间。 这里：这里： )1,0( 0 N n X 它是无偏、有它是无偏、有 效、相合估计效、相合估计 解：解： n i i X n X 1 1 是是的的优良估计优良估计，且，且 )1 ,0( 0 N n X U )(x 1 2/ u 2 2/1 u 2 1 221 uUuP 令令 由标准正态分布的对称性可知由标准正态分布的对称性可知 221 uu 从而，前式可化为：从而，前式可化为： 1 202 u n X uP 1 2 uUP 即即 1 2 0 2 0 u n Xu n XP 由此可得，由此可得， 的置信度为的置信度为1- 的置信区间为：的置信区间为： 从而从而 2 0 2 0 , u n

25、 Xu n X 特别，当特别，当0=1 ， =0.05 ，样本观测值为样本观测值为 ： 5.15.1 4.85.04.7 5.05.25.1 5.0 u /2= ， 的置信区间为：的置信区间为：1.96 4.35，5.65 寻找置信区间的寻找置信区间的(枢轴变量法枢轴变量法)： 选取待估参数选取待估参数 的的估计量估计量； 原则：优良性准则原则：优良性准则 常用：常用： 22 , SX 对对 查上侧分位数查上侧分位数； 1 221 wWwP 代换代换得到得到 区间区间 A，B 即为所求。即为所求。 1BAP 考察含有待估参数和估计量的统计量所服从的考察含有待估参数和估计量的统计量所服从的分分

26、布布 (不能含有其他未知参数不能含有其他未知参数)； 化至常用分布化至常用分布(主要是：正态、主要是：正态、 2 、t、F分布分布)； 相应的变换函数相应的变换函数 W 称为称为 可见，确定区间估计很关键的是要寻找一个可见，确定区间估计很关键的是要寻找一个 待估参数待估参数 和估计量和估计量T 的函数的函数U(T, ), 且且U(T, ) 的分布为已知的分布为已知, 不依赖于任何未知参数不依赖于任何未知参数 . 而这与总体分布有关，所以，而这与总体分布有关，所以，总体分布的形式是总体分布的形式是 否已知，是怎样的类型，至关重要否已知，是怎样的类型，至关重要. 单个正态总体的抽样单个正态总体的抽

27、样 方方差差，则则分分别别是是样样本本均均值值和和样样本本样样本本 的的是是正正态态总总体体设设 2 2 21 , ),(,., SX NXXXX n ;)1( 2 相相互互独独立立与与SX);1 ,0()2(N n X );1( 1 )3( 22 2 nS n )1()4( nt nS X *2*2 12 12 22 12 222 12 / (1)(1,1); / (2) , SS F nn 当时 12 12 12 *2*2 22 1122 12 ()() (2), 11 (1)(1) ,. 2 w www XY t nn S nn nSnS SSS nn 其中 双正态总体的抽样双正态总体的

28、抽样 12 12 ()() 11 XY U nn ),1 , 0( N 未知参数的替换未知参数的替换 例例 设设XN(,2)， 2 未知，求参数未知，求参数的置信度为的置信度为1- 的置信区间。的置信区间。 n i i X n X 1 1 是是的的优良估计优良估计 思考思考：是否仍选统计量：是否仍选统计量 )1 ,0( N n X U 分析：分析：1. 1 221 uUuP令令求得置信区间？求得置信区间？ 不可不可因为因为2 未知，故未知，故 U 不是统计量不是统计量 2.据抽样分布定理有：据抽样分布定理有： )1( / nt nS X T 得得 T 的置信区间：的置信区间： 1)1()1(

29、221 ntTntP 由分布的对称性，即由分布的对称性，即 可化为：可化为： ) 1() 1( 221 ntnt 1)1()1( 22 ntTntP 代换后可得代换后可得 的置信区间：的置信区间： )1(, )1( 22 nt n S Xnt n S X 2 0 2 0 , u n Xu n X 比较：比较： 2= 02 时，时， 的置信区间为的置信区间为 1 则则 的的置置信信区区间间为为： 一、正态总体均值的区间估计一、正态总体均值的区间估计 22 ( ,),XN 1 1) )若若已已知知, , 2 2 1(1),(1) SS XtnXtn nn 则则 的的置置信信区区间间为为： 22 (

30、 ,),XN 2 2) )若若未未知知, , , 22 u n Xu n X 22 X( ,)N 设设，且且 ，均均未未知知， 二二 正态总体方差的区间估计正态总体方差的区间估计 2 1 则则的的置置信信区区间间为为： 22 22 1 22 (1)(1) , (1)(1) nSnS nn 1 从从而而的的置置信信区区间间为为： 22 22 1 22 (1)(1) , (1)(1) nSnS nn 分析分析: 应选统计量为：应选统计量为： 当当未知时，要化至常用分布，由抽样分布定理可知：未知时，要化至常用分布，由抽样分布定理可知： 2 S *22 2 1 (1) n Sn 零件长度的方差零件长度

31、的方差 例例 从自动机床加工的同类零件中任取从自动机床加工的同类零件中任取16件测得长度件测得长度 值为值为(单位：单位：mm) 求求方差方差的估计值和置信区间的估计值和置信区间(=0.05)。 12.15 12.12 12.01 12.28 12.09 12.16 12.03 12.01 12.06 12.13 12.07 12.11 12.08 12.01 12.03 12.06 解：解： 设零件长度为设零件长度为X，可认为，可认为X服从正态分布，服从正态分布， 16 2 1 ()0.0761 i i xx 005. 0)( 15 1 16 1 22 i i xx 方方差差的的估估计计值值

32、为为故故 由于由于未知，未知， S2是是2的优良估计，相应的常用分布为：的优良估计，相应的常用分布为： )1( 1 2 2 2 2 n S n 相应的置信区间为：相应的置信区间为： )1( 2 21 2 )1( 2 2 2 2 2 2 2 )1( 2 21 )1( ,)1( 1)1( 1 nn n S n S n n S n P 查查 2分布表可得：分布表可得： )15()1( )15()1( 2 975.0 2 21 2 025.0 2 2 n n 262. 6 488.27 下面计算方差的置信区间：下面计算方差的置信区间： 2的置信度为的置信度为0.95的置信区间为：的置信区间为： 26.

33、6 0761.0 , 488.27 0761.0 012. 0,002768. 0即即 22 12 12 122 1()X Yu nn 则则的的置置信信区区间间为为： 三、三、 两个正态总体均值差的区间估计两个正态总体均值差的区间估计 222 1122 (,),(,),12 i XNYNi 1 1. .若若（， ）已已知知 222 12 X( ,),Y( ,),NN 2 2. .若若未未知知, , 12 12 ()() (0,1) 11 XY UN nn 12 12 12 *2*2 22 1122 12 ()() (2), 11 (1)(1) ,. 2 w www XY t nn S nn nSnS SSS nn 其中 1212 122 11 1(X Y) t (2)nnS nn 则则的的置置信信区区间间为为： 2 1 2 2 1 则则的的置置信信区区间间为为