第二章参数估计

1、第二章参数估计 第二章 参数估计 第二章参数估计 参数估参数估 计问题计问题 假设检假设检 验问题验问题 点点 估估 计计 区间估计区间估计 统计统计 推断推断 的基的基 本问本问 题题参数检验参数检验 非参数检验非参数检验 第二章参数估计 什么是参数估计？ 参数是刻画总体某方面概率特性的数量参数是刻画总体某方面概率特性的数量. . 当此数量未知时当此数量未知时, ,从总体抽出一个样本，从总体抽出一个样本， 用某种方法对这个未知参数进行估计就用某种方法对这个未知参数进行估计就 是参数估计是参数估计. . 例如，例如，X N ( , 2), 点估计点估计区间估计区间估计 若若 , 2未知未知,

2、通过构造样本的函数通过构造样本的函数, 给出给出 它们的估计值或取值范围就是参数估计它们的估计值或取值范围就是参数估计 的内容的内容. 第二章参数估计 参数估计的类型参数估计的类型 点估计点估计 估计未知参数的值估计未知参数的值 区间估计区间估计 估计未知参数的取值范围，估计未知参数的取值范围， 并使此范围包含未知参数并使此范围包含未知参数 真值的概率为给定的值真值的概率为给定的值. 第二章参数估计 2.1 点估计方法 点估计的思想方法 设总体X 的分布函数的形式已知, 但含有 一个或多个未知参数：1,2, ,k 设 X1, X2, Xn为总体的一个样本 构造 k 个统计量： ),( ),(

3、),( 21 212 211 nk n n XXX XXX XXX 随机变量 第二章参数估计 当测得样本值(x1, x2, xn)时,代入上述 统计量，即可得到 k 个数： ),( ),( ),( 21 212 211 nk n n xxx xxx xxx 数 值 称数 1 , k 为未知参数 1, , k 的估计值 如何构造统计量？如何构造统计量？ 如何评价估计量的好坏？如何评价估计量的好坏？ 对应统计量 为未知参数的估计量 1, , k 问问 题题 第二章参数估计 常用的点估计方法 q 频率替换法频率替换法 利用事件A 在 n 次试验中发生的频率 / A n n 作为事件A 发生的概率 p

4、 的估计量 P A n p n 第二章参数估计 例例1 1 设总体X N ( , 2 ), 在对其作28 次 独立观察中, 事件 “X 4” 出现了21 次, 试 用频率替换法求参数 的估计值. 第二章参数估计 方法方法 用样本 k 阶矩作为总体 k 阶矩的 估计量, 建立含有待估参数的方程, 从而解出待估参数 一般, 不论总体服从什么分布, 若总体期望 与方差 2 存在, 则它们的矩估计量分别为 1 1 , n i i XX n 222 1 1 () n in i XXS n q 矩法矩法 注意：不是 ! 2 S 第二章参数估计 事实上，按矩法原理，令 n i i X n X 1 1 )(

5、1 2 1 2 2 XEX n A n i i X 2 2 2 A 22 1 1 n i i XX n 22 1 1 () n in i XXS n 第二章参数估计 设待估计的参数为 k , 21 设总体的 k 阶矩存在，记为 12 ()( ,) k kk E X 样本 X1, X2, Xn 的 r 阶矩为 kr, 2 , 1 令 ),( 21kr n i r i X n 1 1 含未知参数 1,2, ,k 的方程组 1 1 n r ri i AX n 第二章参数估计 解方程组 , 得 k 个统计量： 112 12 (,) (,) n kn X XX X XX 未知参数 1, ,k 的矩估计量

6、 1112 12 ( , , , ) ( , , , ) n kkn x xx x xx 代入一组样本值得 k 个数: 未知参数 1, ,k 的矩估计值 第二章参数估计 例例2 2 设总体 X N ( , 2 ), X1, X2, Xn为 总体的样本, 求 , 2 的矩法估计量. 例例3 3 设总体 X Exp(), X1, X2, Xn为总 体的样本, 求 的矩法估计量. 问题： 的的矩估 计是否唯一？ 第二章参数估计 结论：矩估计可能不存在（如 Cauchy分布的参数的矩估计不存 在），即使存在也有可能不唯一 （如例3）。 第二章参数估计 例例4 4 设从某灯泡厂某天生产的灯泡中随机 抽取

7、10只灯泡，测得其寿命为(单位:小时) 1050, 1100, 1080, 1120, 1200 1250, 1040, 1130, 1300, 1200 试用矩法估计该厂这天生产的灯泡的平均 寿命及寿命分布的方差. 例例5 5 设总体 X U (a, b), a, b 未知, 求参数 a, b 的 矩法估计量. 第二章参数估计 q 极大似然估计法极大似然估计法 思想思想：实际推断原理（一次试验就出 现的事件有较大的概率） 例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球 现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球. 答

8、答: : 第一箱. . 问问: : 所取的球来自哪一箱的可能性大？ 第二章参数估计 例例6 6 设总体 X 服从0-1分布,且P (X = 1) = p, 用极大似然法求 p 的估计值. 解解总体 X 的概率分布为 1 , 0,)1 ()( 1 xppxXP xx 设 x1, x2, xn为总体样本X1, X2, Xn 的样本值, 则),( 2211nn xXxXxXP 11 (1):( ) nn ii ii xnx ppL p nix i , 2 , 1, 1 , 0 第二章参数估计 对于不同的 p , L (p)不同, 见下图 现经过一次试验， 0.20.40.60.81 p 0.002

9、0.004 0.006 0.008 0.01 Lp ),( 2211nn xXxXxX 发生了， 事件 则 p 的取值应使这个事件发生 的概率最大. p 第二章参数估计 在容许范围内选择 p ，使L(p)最大 注意到，ln L(p)是 L 的单调增函数,故若 某个p 使ln L(p)最大, 则这个p 必使L(p)最大。 0 1d dln 11 令 p xn p x p L n i i n i i xx n p n i i 1 1 0 )1 (d lnd 2 1 2 1 2 2 p xn p x p L n i i n i i 所以xp 为所求 p 的估计值. 第二章参数估计 ) ,( 21 n

10、 xxxL ),(),(),(max 21 n xfxfxf 称这样得到的 ),( 21n xxxg 为参数 的极大似然估计值极大似然估计值 称统计量 12 (,) n g XXX 为参数 的极大似然估计量极大似然估计量 选择适当的 = ,使 取最大值, 即L( ) 极大似然法的思想 其中f(x,)为总体的密度函数或分布律。 第二章参数估计 若 X 为离散型随机变量, 其分布律为 ,),()( 21 uuxxfxXP 则样本 X1, X2, Xn的联合分布为 ),( 2211nn xXxXxXP ),(),(),( 21 n xfxfxf 12 , , 1,2, , i xu u in )()

11、,( 21 LxxxL n 记为 或 称 L( ) 为样本的似然函数 第二章参数估计 若 X 连续, 令 f (x, )为X 的密度函数 n i i xfL 1 ),()( 则似然函数为 注注未知参数可以不止一个, 如1, k 设X 的密度(或分布)为 1 ( ,) k f x 则定义似然函数为 11 1 ( ,)( ,) n kik i Lf x ,1,2, i xin 1 ( , , ) k 11 ( ,; ,) nk L xx 第二章参数估计 若 11 ( , , ; , , ) nk Lxx 关于1, , k可微,则称 1212 ln ( ,; ,)0, nk r L x xx 为似然

12、方程组 kr, 2 , 1 若对于某组给定的样本值 x1, x2, xn， 参数 使似然函数取得最大值, 即 k , , 21 11 ( , ; ,) nk L xx ),;,(max 2121 ),( 21 kn xxxL k 则称 1 , k 为1, k 的极大似然估计值 第二章参数估计 显然， ),( 21nr xxxgkr, 2 , 1 称统计量 ),( 21nr XXXgkr, 2 , 1 为1, 2, k 的极大似然估计量 第二章参数估计 例例7 7 设总体 X N (, 2), x1, x2, xn 是 X 的样本值, 求 , 2 的极大似然估计. 解解),;,( 2 21 n

13、xxxL n i i x nn e 1 2 2 2 )( 2 2 2 )()2( 1 )ln( 2 )2ln( 22 )( ln 2 1 2 2 nnx L n i i 2 2 2 )( 1 2 1 i x n i e 第二章参数估计 xx n n i imle 1 1 22 1 1 () n mlei i xx n , 2 的极大似然估计量分别为 1 1 , n i i XX n 22 1 1 () n in i XXS n 似然似然 方程方程 组为组为 0)( 1 ln 1 2 n i i xL 0 )(2 )( )(2 1 ln )( 2 1 2 222 n xL n i i 第二章参数

14、估计 总结：极大似然估计方法 1） 写出似然函数 2）求出 k , , 21 , 使得 ) , , ;,( 2121kn xxxL ),;,(max 2121 ),( 21 kn xxxL k 11 ( ,;,) nk L xx 第二章参数估计 1212 ln ( ,;,)0 nk r L x xx kr, 2 , 1 可得未知参数的极大似然估计值 k , , 21 L是 的可微函数,解似然方程组 1, , k 若若 注：似然方程组法可能不适用, 此时需 用其它方法求极大似然估计值. 见下 例： 第二章参数估计 例例8 8 设 X U (a,b), x1, x2, xn 是 X 的一个 样本值

15、, 求 a , b 的极大似然估计值与极大 似然估计量. 解解 X 的密度函数为 1 , ( ; , ) 0, ax b f x a bb a 其它 似然函数为 12 , 1 , ( ,; , )()1,2, 0, i n n axb L x xx a bb ain 其它 第二章参数估计 似然函数只有当 a xi b, i = 1,2, n 时 才能获得最大值, 且 a 越大, b 越小, L 越大. 令xmin = min x1, x2, xn xmax = max x1, x2, xn 取 maxmin ,xbxa 则对满足 bxxa maxmin 的一切 a b , nn xxab)( 1 )( 1 minmax 都有 第二章参数估计 故 maxmin ,xbxa 是 a , b 的极大似然估计值. ,max ,min 21max 21min n n XXXX XXXX 分别是 a , b 的极大似然估计量. 问问 题题 1) 待估参数的极大似然估计是否一定存在待估参数的极大似然估计是否一定存在? 2) 若存在若存在, 是否惟一是否惟一? 第二章参数估计 设 X U ( a , a + ), x1, x2, xn 是 X的一个样本, 求 a 的极大似然估计值. 解解 由上例可知, 当 2 1 2 1