概率论chapter7-2

1、第七章第七章 参数估计参数估计1 点估计三、三、 极大似然法极大似然法例例1如果一个射手击中目标的概率可能是如果一个射手击中目标的概率可能是.54,158,51 p现在让他打三发子弹，在不同的命中目标的次数现在让他打三发子弹，在不同的命中目标的次数下，我们应该如何取下，我们应该如何取 p 的估计值的估计值? p解解：用用 X 表示命中目标的次数，表示命中目标的次数， 则则 X B(3, p),即即).;()1()33pxPppCxXPxxx 计算结果列表如下：计算结果列表如下：退 出前一页后一页目 录第七章 参数估计1 点估计x命中次数命中次数0123)51;(xP)158;(xP)54;(x

2、P3375172833751296337532433752733753433375117633751344337551233752733753243375129633751728),54; 0()158; 0()51; 0(PPP 因为因为这表明，这表明，.051的的概概率率最最大大数数为为使使得得打打三三发发子子弹弹命命中中次次 p由实际推断原理知，由实际推断原理知，.51 p此时应取此时应取例例1（续）（续）退 出前一页后一页目 录第七章 参数估计1 点估计x命中次数命中次数0123)51;(xP)158;(xP)54;(xP33751728337512963375324337527337

3、53433375117633751344337551233752733753243375129633751728因此，由上表可得下面的结论：因此，由上表可得下面的结论：打三发命中次数打三发命中次数 x=1 时，命中率时，命中率 p 的合理估计的合理估计;51 p打三发命中次数打三发命中次数 x=2 时，命中率时，命中率 p 的合理估计的合理估计;158 p打三发命中次数打三发命中次数 x=3 时，命中率时，命中率 p 的合理估计的合理估计.54 p例例1（续）（续）退 出前一页后一页目 录属属离离散散型型，其其分分布布律律若若总总体体X)1 niixp1);( ),;(xpxXP可可能能取取值

4、值的的范范围围。是是为为待待估估参参数数，的的形形式式为为已已知知， 的的联联合合分分布布律律：则则的的样样本本是是来来自自设设nnXXXXX,11第七章 参数估计1 点估计的概率，亦即的概率，亦即取取易知样本易知样本nnxxXX,11,11的的一一个个样样本本值值是是又又设设nnXXxx退 出前一页后一页目 录第七章 参数估计);,()(1 nxxLL .)(.称称为为样样本本的的似似然然函函数数的的函函数数它它是是 L使使得得：的的估估计计值值，即即取取，作作为为的的参参数数达达到到最最大大挑挑选选使使概概率率固固定定 );,(,11nnxxLxx极大似然法原理：极大似然法原理：1 点估计

5、发发生生的的概概率率为为：事事件件,11nnxXxX );,(max);,(11 nnxxLxxL );,(,11nnxxxx 有关，记为有关，记为与与.的的极极大大似似然然估估计计值值称称其其为为参参数数 ., );(1 niixp退 出前一页后一页目 录第七章 参数估计.)X,X(n的的极极大大似似然然估估计计量量称称为为参参数数 1的的方方法法称称为为极极大大似似然然法法这这种种求求未未知知参参数数 1 点估计.),;()2为为待待估估参参数数的的形形式式已已知知，属属连连续续型型，其其概概率率密密度度若若总总体体 xfX的的联联合合密密度度：则则nXX,1 niixf1);( 似似为为

6、：维维立立方方体体）内内的的概概率率近近的的别别为为的的邻邻域域（边边长长分分落落在在机机点点的的一一个个样样本本值值，则则随随是是相相应应设设ndxdxxxXXXXxxnnnnn,),(),(,11111 );(1iniidxxf ix)(ixf目 录退 出前一页后一页第七章 参数估计 应应当当选选取取使使得得的的前前提提下下，自自然然，在在得得到到观观测测值值nxxx21的估计值的估计值值作为未知参数值作为未知参数达到最大的达到最大的 );(1iniidxxf 大大样样本本观观测测值值的的可可能能性性最最定定的的那那个个等等于于这这个个值值时时，出出现现给给因因为为当当未未知知参参数数 而

7、变，故只需考虑：而变，故只需考虑：不随不随但但 iidx , );();,()(11 niinxfxxLL .)(L称称为为样样本本的的似似然然函函数数的的最最大大值值，这这里里 1 点估计退 出前一页后一页目 录第七章 参数估计);,(max);,( 11 nnxxLxxL 若若.)x,x(n的的极极大大似似然然估估计计值值为为则则称称 1.)X,X(n的的极极大大似似然然估估计计量量为为称称 1 );(),;(可由下式求得：可由下式求得：可微，故可微，故关于关于一般，一般， xfxp0)( ddL也也可可从从下下述述方方程程解解得得：大大似似然然估估计计的的极极处处取取到到极极值值，因因此

8、此在在同同一一与与又又因因 )(ln)(LL0)(ln Ldd1 点估计-对数似然方程对数似然方程-似然方程似然方程退 出前一页后一页目 录第七章 参数估计个参数，个参数，若总体的分布中包含多若总体的分布中包含多kiLi, 1, 0 即可令即可令.,kk的的极极大大似似然然估估计计值值个个方方程程组组求求得得解解 1.,k的的极极大大似似然然估估计计量量即即可可得得 1能能地地使使用用极极大大似似然然估估计计应应用用中中，我我们们应应当当尽尽可可计计优优于于矩矩估估计计，因因而而在在一一般般来来讲讲，极极大大似似然然估估1 点估计kiLi, 1, 0ln 或或-对数似然方程组对数似然方程组-似

9、然方程组似然方程组退 出前一页后一页目 录第七章 参数估计1 点估计极大似然法求估计量的步骤：极大似然法求估计量的步骤：(一般情况下一般情况下):)()1 L构造似然函数构造似然函数,()()(1 niixPL离散型）离散型） niixfL1;()()(连连续续型型） );(ln)2 L取对数：取对数：; 0ln)3 dLd令令.)4 的的极极大大似似然然估估计计量量解解似似然然方方程程得得说明：若似然方程（组）无解，或似然函数不可导，说明：若似然方程（组）无解，或似然函数不可导， 此法失效，改用其它方法此法失效，改用其它方法.退 出前一页后一页目 录第七章 参数估计的的一一个个样样本本，是是

10、来来自自设设XXXpBXn,);, 1(1试求参数试求参数 p 的极大似然估计量的极大似然估计量.解：解：; 1 , 0,)1(1 xppxXPxx故似然函数为故似然函数为 nixxiipppL11)1()()(lnpL而而例例21 点估计,)1(11 niiniixnxpp).1ln()(ln)(11pxnpxniinii 的的分分布布律律为为：是是一一个个样样本本值值设设X.x,xn1退 出前一页后一页目 录第七章 参数估计的的极极大大似似然然估估计计值值解解得得p的的极极大大似似然然估估计计量量为为p-它与矩估计量是相同的它与矩估计量是相同的.即即令令, 0)(ln pLdpd1 点估计

11、xxnpnii 11 XXnpnii 11 )1ln()(ln)()(ln11pxnpxpLniinii . 0111 pxnpxniinii例例2（续）（续）退 出前一页后一页目 录第七章 参数估计:似似然然函函数数为为 niinx1222221exp2 例例31 点估计的的一一个个样样本本值值，是是来来自自为为未未知知参参数数，已已知知，设设XxxNXn,);,(122 .2的的极极大大似似然然估估计计量量求求 解解： niixL1222)(21exp21)( Lln)ln(22 n niix122)(21 )2ln(2 n )(21exp21);(222 xxf的的概概率率密密度度为为：

12、X退 出前一页后一页目 录第七章 参数估计1 点估计 ，解此方程，得解此方程，得 niixn1221 的的极极大大似似然然估估计计量量为为因因此此 niiXn12221 ，令：令：0ln2 dLd得得似似然然方方程程例例3（续）（续） 02121242 niixn niixndLd12422212ln Lln)ln(22 n niix122)(21 )2ln(2 n 退 出前一页后一页目 录第七章 参数估计的的一一个个样样本本值值，是是来来自自为为未未知知参参数数，设设XxxNXn,);,(122 .,2的的极极大大似似然然估估计计量量求求 解解：)(21exp21),;(222 xxf似然函

13、数为：似然函数为： niixL1222)(21exp21),( Lln1 点估计例例4)ln(22 n niix122)(21 )2ln(2 n 2122)(22)2( niixne的的概概率率密密度度为为：X退 出前一页后一页目 录第七章 参数估计 0ln0ln2 LL令令, 11xxnnii 解得：解得：:,2的极大似然估计量为的极大似然估计量为故故 1 点估计)2ln(2ln nL )ln(22 n niix122)(21 即：即： .)(1 11221 niiniiXXnXXn 0)(1 12 niix0)(212-2142 niixn niixxn122)(1 例例4（续）（续）退

14、出前一页后一页目 录似似然然函函数数为为的的密密度度函函数数为为设设总总体体 X解：解： ,11 niinxL niixnL1ln1lnln ., 0, 10,1其它其它xxxf 的的极极大大似似然然估估计计的的一一个个样样本本试试求求是是从从该该总总体体抽抽取取，未未知知，其其中中 nXX11 例例5第七章 参数估计1 点估计退 出前一页后一页目 录得得似似然然方方程程为为 dLd ln，令：令：0ln dLd, 0ln1 niixn 解得解得,ln1 niixn 的的极极大大似似然然估估计计量量为为因因此此 .ln1 niiXn 例例5（续）（续）第七章 参数估计1 点估计 niixnL1

15、ln1lnln niixn1ln 退 出前一页后一页目 录第七章 参数估计是是一一个个样样本本值值，未未知知，设设nxxbabaUX,;,1.b,a的的极极大大似似然然估估计计量量求求：X 的概率密度为：的概率密度为： 其它其它 , 0;,1),;(bxaabbaxf1 点估计 nabbaL)(1, ),ln(,lnabnbaL nibxai，21 ;0,ln abnbaLa例例6分析：分析：似然函数为似然函数为 , 0,ln abnbaLb 但这不能说明不存在极但这不能说明不存在极大似然估计量，只是不能由似然方程组求解大似然估计量，只是不能由似然方程组求解.显然，似然方程组无解，显然，似然方

16、程组无解，退 出前一页后一页目 录第七章 参数估计1 点估计 其它其它 , 0;,)(1),()()1(bxxaabbaLnn解：解：有有的任意的任意对于满足对于满足babxxan,)()1( nnnxxabbaL)(1)(1),()1()( 例例6（续）（续）按按从从小小到到大大顺顺序序排排列列成成将将nxx,1,)()2()1(nxxx 则则退 出前一页后一页目 录第七章 参数估计时，时，在在即：即：)()1(,),(nxbxabaL 的的极极大大似似然然估估计计值值为为：故故ba,max,min)()1(inixxbxxa 的的极极大大似似然然估估计计量量为为：故故ba,.max,min

17、iiXbXa 1 点估计nnxx)()1()( 取最大值取最大值例例6（续）（续）退 出前一页后一页目 录第七章 参数估计设罐中装有设罐中装有 a 只黑球只黑球 b 只白球，则只白球，则.baR ., 1.0, 1niiiXi 次摸到白球次摸到白球，第，第次摸到黑球；次摸到黑球；第第设设,), 1(,1的样本的样本是总体是总体则则pbXXXn1 iXPp其中其中例例7 一个罐子里装有黑球和白球，有放回地抽取一个罐子里装有黑球和白球，有放回地抽取 n 个球，发现有个球，发现有 k 个黑球。试求罐子里黑球数与白球个黑球。试求罐子里黑球数与白球数之比数之比 R 的极大似然估计量的极大似然估计量.1

18、点估计baa .1RR 解：解：退 出前一页后一页目 录第七章 参数估计 niixpRL1)()(似然函数似然函数 nixxiiRRRR11)11()1(,)11()1(11 niiniixnxRRRR)11(ln)()1(lnln11RxnRRxLniinii 则则RRp 1 nixxiipp11)1(则则令令, 0ln dRLd011)()111(11 RxnRRxniinii niiniixnxR11解出解出.knk )1ln(ln1RRxnii )1ln()(1Rxnnii 退 出前一页后一页目 录第七章 参数估计的的极极大大似似然然估估计计；是是具具有有单单值值反反函函数数，的的函函

19、数数设设 ),( uu,)(12122的的极极大大似似然然估估计计是是例例： niiXXn)0( ,)(2222 uuuu 有有单单值值反反函函数数. )(1122的的极极大大似似然然估估计计是是故故 niiXXn1 点估计极大似然估计性质：极大似然估计性质：.)(u)(uu 的的极极大大似似然然估估计计是是则则 退 出前一页后一页目 录第七章 参数估计.05. 0,),(22的的极极大大似似然然估估计计量量的的点点未未知知，求求使使设设AAXPNX AXP ,645. 1 A查表有查表有.645. 1 A所以所以为为的极大似然估计量分别的极大似然估计量分别和和由前面知由前面知2 的的极极大大

20、似似然然估估计计量量为为所所以以A1 点估计例例805. 0)(1 A 645. 1 A.)(1645. 112 niiXXnX niiXXnX122)(1, 解：解：退 出前一页后一页目 录第七章第七章 参数估计参数估计2 估计量的的评选标准估计量的的评选标准无偏性无偏性有效性有效性一致性一致性退 出前一页后一页目 录第七章 参数估计2 估计标准 我们注意到，在上一节中对于同一个未知参我们注意到，在上一节中对于同一个未知参数，用不同方法可以得到不同的估计量数，用不同方法可以得到不同的估计量.究竟采究竟采用哪个为好呢？这就涉及到用什么标准来评价估用哪个为好呢？这就涉及到用什么标准来评价估计量的

21、问题计量的问题.我们介绍三个常用的标准：我们介绍三个常用的标准： 1）无偏性；）无偏性； 2）有效性；）有效性； 3）一致性）一致性.退 出前一页后一页目 录第七章 参数估计2 估计标准,),(1 EXXn且且的的数数学学期期望望存存在在，若若.的的无无偏偏估估计计量量是是则则称称 一、无偏性一、无偏性例例1的的样样本本，是是总总体体),(,21 NXXXn.,2均均未未知知 .的的无无偏偏估估计计量量是是所所以以 X .)(1121222的的无无偏偏估估计计量量是是所所以以 niiXXnS, XE因因为为,22 ES而而退 出前一页后一页目 录 niiXXnB1221考察考察由于由于 nii

22、XXnEBE1221 niiXXnnnE12111 21SEnn 21 nn 的的有有偏偏估估计计是是总总体体方方差差因因此此，21221 niiXXnB第七章 参数估计2 估计标准退 出前一页后一页目 录第七章 参数估计2 估计标准阶阶矩矩，并并设设存存在在设设总总体体mX,阶原点矩阶原点矩是样本的是样本的 k，kkEX nikikXnA11由由于于的的无无偏偏估估计计阶阶原原点点矩矩是是总总体体的的因因此此knikikkXnA 11 mk，21 mk，21 nikikXnEAE11 nikiXEn11 nikn11 k mk，21 例例2的的样样本本，又又设设是是总总体体 XXXn,1退

23、出前一页后一页目 录第七章 参数估计2 估计标准 一一个个样样本本是是从从该该总总体体中中抽抽取取的的为为未未知知参参数数，中中上上的的均均匀匀分分布布，其其，服服从从区区间间设设总总体体nXXX,001 由于由于.是是无无偏偏估估计计的的矩矩估估计计，并并验验证证是是否否求求 的无偏估计的无偏估计是未知参数是未知参数因此因此 X2 XEE2 XE2 .2X 的的矩矩估估计计量量为为得得 XE2 22 , 例例3解：解：,2 EX,2 X令令退 出前一页后一页目 录第七章 参数估计2 估计标准 个样本个样本是从该总体中抽取的一是从该总体中抽取的一为未知参数，为未知参数，已知，而已知，而，其中，

24、其中，设总体设总体nXXNX,0122 的的极极大大似似然然估估计计为为知知，未未知知参参数数例例则则由由2317 niiXn1221 且且它它们们独独立立，由由于于, 1,10niNXi 例例4 niiniiXX121221 n2 退 出前一页后一页目 录第七章 参数估计2 估计标准因此，因此， niiXnEE12222 niiXEn1222 22 nn 的无偏估计的无偏估计是总体方差是总体方差这表明，这表明，21221 niiXn例例4（续）（续）退 出前一页后一页目 录第七章 参数估计2 估计标准计计一一定定有有无无穷穷多多个个无无偏偏估估则则，与与有有两两个个不不同同的的无无偏偏估估计

25、计如如果果未未知知参参数数 21，数数这这是是因因为为，对对任任意意的的实实 211 的无偏估计的无偏估计一定是未知参数一定是未知参数 说明：说明：退 出前一页后一页目 录第七章 参数估计2 估计标准,),(),(122111的的无无偏偏估估计计量量都都是是，若若 nnXXXX .21有效有效较较则称则称 ),()(21 DD 且且二、有效性二、有效性 未知，未知，其中，其中，设总体设总体 2 NX个个样样本本是是从从该该总总体体中中抽抽取取的的一一321,XXX试试验验证证：;21103513211XXX ;12541313212XXX 3213216131XXX 计计中中，哪哪一一个个最最

26、有有效效？的的估估这这三三个个的的无无偏偏估估计计，并并指指出出在在都都是是未未知知参参数数 例例5212111)-()E-()( EED .1的的偏偏离离程程度度与与表表示示 退 出前一页后一页目 录解：解： 32112110351XXXEE 32121254131XXXEE 3213216131XXXEE 3212110351XEXEXE 由于由于 2110351 3211254131XEXEXE 1254131 321216131XEXEXE 216131例例5（续）（续）第七章 参数估计2 估计标准退 出前一页后一页目 录的无偏估计的无偏估计都是未知参数都是未知参数，这表明，这表明，

27、321 32112110351XXXDD 32121254131XXXDD 3213216131XXXDD 321411009251XDXDXD 22221800684411009251 3211442516191XDXDXD 222218006251442516191 3214136191XDXDXD 222218007004136191 第七章 参数估计2 估计标准例例5（续）（续）退 出前一页后一页目 录由于由于 ,312 DDD 最有效最有效，这三个估计量中这三个估计量中、所以在所以在2321 第七章 参数估计2 估计标准例例5（续）（续）退 出前一页后一页目 录存在二阶矩，并设存在二阶矩，并设设总体设总体 X， EX，2 DX, 0 ia, 2 , 1ni .11 niia且且方差最小方差最小的的估计中，估计中，的