第六七章72最大似然估计n

1、第七章:参数估计7.17.27.37.4矩估计最大似然估计估计量的优良性准则正态总体的区间估计(一)*7.5*7.6正态总体的区间估计(二)非正态总体的区间估计§7.2最大似然估计是在总体类型已知条件下使用的一种参数估计方法 .它首先是由德国数学家在1821年提出的 ,Gauss然而，这个方法常归功于英计学家.在1922年重新发现了这一方法，并首先研究了这种方法的一些性质 .Fisher最大似然估计法的基本思想就最大似然原理.例1:设有一随机,已知它出现的概率p的可能值是0.01和0.99,若在一次试验中该为0.99为更合理.就出现了,这时我们估计p例2: 一个老猎人带领一个新手进山

2、打猎,遇见一只飞奔的兔子,他们各发一弹,野兔被打中了,但身上只有一个弹孔, 最可能是谁打中的呢?不用问,我们认为是老猎人打中的更合理.同样,查起.出故障,有经验的修理工首先从最易损的部件破案也是从最有嫌疑的开始查起.最大似然原理: 一次试验就出现的最大似然估计用途：根据从总体X中抽取的样本(X1,K, Xn) ，对总体分布中的未知参数q进行估计这里说的总体未知参数q通常指的是:有较大的概率。量：就是估计出概率函数中的参数q量：就是估计出概率密度中的q对离散型的随对连续型的随最大似然估计法的思想：对总体X已经取到一组样本的观测值 (选取这样的q,当它作为q的估计值时,使观察结果(出现的可能性最大

3、.n)n)也就是说选取这样的q,当它作为q的估计值时,(n)对应的似然函数最大。(n)对应的似然函数怎么求呢？即观察结果(n)出现的概率怎么求？通常把观察结果(n)出现的概率称为似然函数。若 ( ,Y) 是连续型随机向量 ，有 f(x, y) = fX (x) fY (y)Û 对任意 x, yR,与Y相互其中f(,y)是(,Y)的密度，fX (x)和fY(y)分别是X的边缘密度和Y的边缘密度 。若 (,Y)是离散型随量， 与Y相互Û 对(,Y) 所有可能取值 (xi, yj),有P(X =xi,Y = yj) = P(X =xi) P(Y = yj)若 (1,X2) 是连续

4、型随机向量 ，ÞX1与X2相互有 f( x1, x2 ) = fX (x1 ) fX (x2 )12对(X1,X2) 的取值 (x1 , x2),若 (X1,X2) 是离散型随机向量 ，Þ 对(1,1与X2相互2) 的取值 (1 ,2),有P( 2 = x2 ) = P(X1 = x1 ) × P( X2 = x2 )若 (X1,X2) 是连续型随机向量 ，Þ X1与X2相互有 f( x1, x2 ) = fX (x1 ) fX (x2 )12对(X1,X2) 的取值 (x1 , x2), 若 (1,X2) 是离散型随机向量 ，2 = x2 ) = P(

5、X1 = x1 ) × P( X2 = x2 ) P(若n为的连续型随量，Þ 对于(n)的取值n有,f(n) = f(xn)n若n为的离散型随量，Þ 对于n的取值n，有：P(2 =n) = P(X1 = x1) × P( X2 = x2 )P( Xn = xn)1与X2相互Þ 对(1,2) 的取值 (1 ,2), 有、似然函数的求法似然函数记为L(x1,xn;q)F(x;q)，概率密度为(1)连续型随量：它的分布函数为f(x;q)，其中 q为参数，可以是一个值，也一个向量.由于样本 (X1,K, Xn)的性,它的概率密度函数是n;q) = f(

6、x1;q) f(x2 ;q) f(xn;q)f(样本已取定观测值)nn;q)，则: L(x1,xn;q) = Õ f(xi;q)令：L(x1,xn;q) = f(i=1n), L(x1,xn;q)是参数 q,则 L(x1,xn;q)是多元函数,)(每取样本值(若q 是一个向量的函数,即观察结果(n)出现的概率怎么求？若对于P(n为n的取值的离散型随n，有：量，2 =n) =P(X1 =x1)×P( X2 =x2)P( Xn =xn(2)离散型随量：设总体X的概率函数为:P(X = xi) = p(xi;q)由于样本(X1 ,K, Xn)的(k = 1, 2,)性,它的=概率

7、函数是n;q) = Õ p(xi;q)i=1(样本已取定观测值)nL(x1, xn;q) = P(2这里L(x1,xn;q)也是样本的似然函数.2最大似然估计的定义定义：若似然函数L(x1 ,xn;q) 在q*处达到最大值，则称q*是q 的最大似然估计。(=q*(n)就得到一个q*，故注：取q*)n3最大似然估计的求法ln L 与 L同时达到最大值，故只需求ln L的最大值由于即可，这样往往给计算带来很多方便。若q = (q1 ,q2 ,qm) ，则q* 一定满足下列方程组¶ ln L = 0, ¶ ln L = 0(如果q不是多元函数,只需令:dln L = 0

8、)¶q1¶qmdq4.求最大似然估计的步骤(1) 求似然函数L(x1,xn;q)(2) 求ln L(3)求dln L(或:¶ ln L , ¶ ln L,)dq¶q¶q1m(4)求使dln L = 0(或:¶ ln L = 0, ¶ ln L = 0)的解q*.dq¶q1¶qm说明当q = q*时L(x,x ;q)达到最大，1n即样本观测值x1,xn出现的机会最大。实践中发现在相当广泛的情形下，似然方程的解就是最大似然估计量而有时要用微中最大值的方法来判断似然方程的解是否最大似然估计量有时只能用

9、近似计算的方法求解似然方程在个别情形下，似然函数的导数不存在，这时应采用其他方法求最大似然估计量简单复习一下对数的公式:(1) log mn= log m+ log n(2) log m = log m- log n(a> 0,a¹ 1;m> 0,n> 0) (a> 0,a¹ 1;m> 0,n> 0)(a> 0,a¹ 1;b> 0)n= mlogbm(3) logbaann= b(最常用:elnb = b)(a> 0,a¹ 1;b> 0)(a> 0,a¹ 1;b> 0)(4

10、) alogab(5) loga a = b(最常用:ln e= b)bb下面举例说明如何求最大似然估计服从泊松分布 P(l)，求参数l的P135例7.2.2：设总体最大似然估计。= lx解：由 X的概率分布函数为- lf ( x, lx = 0 , 1, 2 , ,)e,x!lxinnÕ= Õ f(xi,l)-l得l的似然函数 L(l)=ex !i=1i=1xiinålnnl, 设 å xi = a, Õ xi ! =ni=1b-l ×-le-l=e- nl=n!i= 1i= 1Õxi!ni= 11 lae- nl ,-

11、ln b + a ln l - nlL(l)=ln L(l) =baaadd- n =0，l =- n，ln L(l) =ln L(l) = 0，令dlldlln¶21n知 x 是 ln L(l)的唯一极大值点。l) = -å xi < 0,ln L(因¶l2l2i=1= 1n所以， 它又是最大值点，l*x = x ，l* = x ，ånii=1P134例7.2.1.已知X % N(m,s2 ), ()为X的一组样本nm和s2 的值。观察值，最大似然估计法估计n 1 2s2å2-(x -m-(xi-m 2) 1 2psn= Õi

12、 1 2psn() e解：似然函数为=i=12s2Lei=1n 1å2-(x -m- nln 2p - nlns2 -)1nnåi=1ln L=i-(x -m)22s= (2ps )22 e2i=1i2s222n= 1nì¶ln L =- 1 å2(xå(x - m) = 0-m) × (-1)s2ii2s2¶mïi=1i=1方法1:由íï¶ln L =n 1 2s4ìï nå i(x - m)2 = 0-2s2+ïî

13、82;s2i=1nåìnåìn1 å x - nm= 0(xi - m) = 0m*=x = xiïii=1ïnïi=1得到í 1i=1n解得：í即:ínnå(xi - m)ïå(xi - m) - n= 021 ï2ïs2*åi=1=(x - x)2ïs2îi=1ns=2ïîii=1nïîP134例7.2.1.已知X % N(m,s2 ), ()为X的一组样本n观察

14、值，用最大似然估计法估计 m和s2 的值。n 1 2s2å2-(x -m-(xi-m 2) 1 2psn= Õi 1 2psn() e解：似然函数为=i=12s2Lei=1n 1å2-(x -m- nln 2p - nlns2)1nnåi=1ln L=i-(x -m)22s= (2ps )22 e2i=1i2s222ì¶ln L = 1nå(x - m) = 0由ï方法2:¶ms2iïi=1í¶ln Lï ¶snn1= -s + s å(xi -

15、 m)2= 03îi=1ìn 1nåïm=x = x*i解得：ïi=1ní1 ïs2*å=(x - x)2ïîin=i1设总体X的概率密度为例2ì(a+1)xa,0 < x< 1其它a > -1其中f(x) = í0,î是未知参数,2,Xn是取自 的样本,求参数a的最大似然估计.1,nnn解: 似然函数为：L(a) = ÕÕÕi=1aaf (x ;a) =a + 1)x= (a + 1)=n(xiiii=1i=1nnn

16、ln(a + 1) + aå ln xi,令å ln xi =b, 则有：ln L(a) =i=1ln L(a) = nln(a + 1) + bai=1d(ln L(a) = n+ b,a + 1da令d(ln L(a) = 0， na + 1 = - n,b+ b = 0a + 1dana*= - 1从而。nå ln xii=1例3(辅导P144）：设总体X的概率分布为：其中q= 3,求参数，现抽得一个样本3q的矩估计与最大似然估计。解：先求矩估计值，由E(X) =1´q2+ 4 ´q(1-q) + 3´ (1-q)2 = 3 -

17、 2qq2令E(X) =+ 4q- 4q2 + 3 - 6q+3q21 (1+ 2 + 3) = 2.3+ x ) =231 。23 - 2q = 2,得到 q=X123pkq22q(1-q)(1-q)2例3(辅导P144）：设总体X的概率分布为：其中q= 3,求参数，现抽得一个样本3q的矩估计与最大似然估计。解：L(33;q) = P(2 =3;q) =Õi=1= 2q3(1-q)3.qqqqq × 2q(1 -q) × (1 -q)22p(x ;)=p(x ;) p(x ;) p(x ;)=i123ln L(q) = ln 2 + 3lnq+ 3ln(1-q)

18、1 =1dln L(q) = 3 -31 .2= 0,q=1-q,q*=q1-qq1-qdqX123pkq22q(1-q)(1-q)2P135例7.2.3 设x1, 2,数p的最大似然估计.n是取自总体 XB(1, p) 的一个样本，求参P(Xi = 0) =1- p,P( Xi =1) = p解：P( X= k) = pk (1 - p)1-k(k = 0,1),i(x = 0,1),(1 - p)1- xi所以：P(X = x) =pxiiiinnL(p)=ÕP(Xi= xi) = Õ pi=pni=1i=1nånåi=1nxin-= p(1 - p)åL(p)= p (1- p)n-aaxi = ai令:i=1i=1dln L( p) =11ln