参数估计极大似然法

1、极大似然估计法极大似然估计法 极大似然原理的直观想法是极大似然原理的直观想法是: :一个随机试一个随机试验如有若干个可能的结果验如有若干个可能的结果A,B,C,A,B,C,. .若在一次若在一次试验中试验中, ,结果结果A A出现出现, , 则一般认为则一般认为A A出现的概出现的概率最大率最大, ,也即试验条件对也即试验条件对A A出现有利出现有利. .或者说或者说在试验的很多可能条件中，认为应该是使事在试验的很多可能条件中，认为应该是使事件件A A发生的概率为最大的那种条件存在发生的概率为最大的那种条件存在. . 极大似然估计的基本思想极大似然估计的基本思想kkkppCkXP33)1 ()

2、(X0123P=1/4 时 PX=k27/6427/649/641/64P=3/4 时 PX=k1/649/6427/6427/54例：假若一个盒子里有许多白球和红球例：假若一个盒子里有许多白球和红球, ,而且已知而且已知它们的数目之比是它们的数目之比是3:1,3:1,但不知是白球多还是红球多但不知是白球多还是红球多. .设随机地在盒子中取一球为白球的概率是设随机地在盒子中取一球为白球的概率是p.p.如果有如果有放回地从盒子里取放回地从盒子里取3 3个球个球, ,那么白球数目那么白球数目X X服从二项服从二项分布分布如果样本中白球数为如果样本中白球数为0,0,则应估计则应估计p=1/4,p=1

3、/4,而不估计而不估计p=3/4.p=3/4.因为具有因为具有X=0X=0的样本来自的样本来自p=1/4p=1/4的总体的可的总体的可能性比来自能性比来自p=3/4p=3/4的总体的可能性要大的总体的可能性要大. .一般当一般当X=0,1X=0,1时时, ,应估计应估计p=1/4;p=1/4;而当而当X=2,3X=2,3时时, ,应估计应估计p=3/4.p=3/4.极大似然估计法的思想极大似然估计法的思想：设总体设总体X的密度函数为的密度函数为f(x, )， 为未知参数，则为未知参数，则样本（样本（X1,X2,Xn）的联合密度函数为）的联合密度函数为121( , )( , )nniif x x

4、xf x121( )( , )( , )nniiLf x xxf x令令 参数参数 的估计量的估计量 ，使得样本（，使得样本（X1,X2,Xn）落在观测）落在观测值值 的邻域内的概率的邻域内的概率L( )达到最大，即达到最大，即12( ,)nx xx1212( , )max ( , )nnL x xxL x xx则称则称 为参数为参数 的极大似然估计值。的极大似然估计值。 0)(Ldd令求极大似然估计的一般步骤归纳如下： ,.2 , 1 , 0,!kkekXPk),.,;()(21nxxxLLniniiixxnL11) !ln(ln)(ln 例例:设随机变量X服从泊松分布:其中0是一未知参数,

5、求的极大似然估计.解解 设(x1,x2,xn)是样本 (X1,X2,Xn)的一组观测值.于是似然函数两边取对数得)!(1exniixinniixexnii1101)(ln1niixndLd令0)(ln22xdLdx且X从而得出的极大似然估计量为 解这一方程得解解 总体X服从参数为的指数分布，则有 000);(xxexfx所以似然函数为 niixneL1)(取对数 niixnL1ln)(ln令 0)(ln1niixnLdd解得的极大似然估计值为 xxnnii11极大似然估计量为 XXnnii11)x(21exp)2(1)x,.,x,x;,(LLn1i2i22/n2n212例例:设(X1,X2,X

6、n)是来自正态总体N(,2)的一个样本,其中,2是未知参数,参数空间=- 0.求与2的极大似然估计.解解 正态分布的似 然函数为n1i2i22)x(21lnn2)2ln(2nLln两边取对数得由微积分知识易验证以上所求为与2的极大似然估计.niiniixnLxL12422120)(212ln0)(1ln分别求关于与2的偏导数,得似然方程组2n1ii2n1ii)xx(n1xxn1解这一方程组得0, 00,1);(其他xxpnixxxxLinn,.,2 , 1,0 ,1),.,;(21n,.,2 , 1i ,xmaxxx0ini1)n(imax1inixmax),.,(121ininXXXX例例:

7、设总体X具有均匀分布,其概率密度函数为求未知参数的极大似然估计.解解 设 (X1,X2,Xn)是来自总体X的一个样本.似然函数为 要使L(; x1,x2,xn)达到最大,就要使达到最小,由于所以的极大似然估计值为：参数的极大似然估计量为：例例 假设（假设（X1，X2，Xn）是取自正态总体）是取自正态总体N( , 2)的样本，求的样本，求 和和 2的极大似然估计量。的极大似然估计量。解解 构造似然函数构造似然函数 22()211( )2ixniLe取对数取对数 22()211ln ( )ln2ixniLe221()ln2ln2niix求偏导数，并令其为求偏导数，并令其为0 1221()2()( 1)ln02niniiixxL222221()ln11022niixL解得解得 11niixxn2211()niixxn所以所以， 2的极大似然估计量为的极大似然估计量为 11niiXXn2211()niiXXn与矩估计量与矩估计量 相同相同例例 设总体 X N (, 2), x1, x2, xn 是 X 的样本值, 求 , 2 的极大似然估计.解解),;,(221nxxxLniixnne1222)(222)()2(1)ln(2)2ln(22)(ln2122nnxLnii222)(121ixnie7