矩法与极大似然法的合理性及比较分析

1、矩法与极大似然法的合理性及比较分析矩法与极大似然法的合理性及比较分析摘要：皮尔逊所引入的矩法是较早提出的求参数点估计的方法。我们从辛钦大数定律知 道，若总体E的数学期望E(E)有限，则样本的平均值&依概率收敛于E(E)。这就启示我 们想到，在利用样本所提供的信息来对总体E的分布函数中未知参数作估计时，可以用样 本矩作为总体矩的估计。费希尔引进的极大似然法，从理论观点来看，至今仍然是参数点估计中最重要的方法， 以后将会知道，这种估计方法，是利用总体E的分布函数F (x；)的表达式及样本所提供 的信息，建立未知参数6的估计量(&_,&,，,.)o极大似然法的想法同矩法一样也是直观的。今举一个通俗的

2、例子：有两位同学一起进行 实弹射击，两人共同射击一个目标，事先并不知道谁的技术较好，让每人各打一发，有一人 击中目标，那么认为击中目标的同学的技术比击不中的技术较好，显然是合理的。又举一例； 有一事件，我们知道它发生大概率p只可能是0.01或0.09，在一次观察中这事件发生了， 试问这事件发生的概率是什么？当然人们会认为它发生的概率是0.09而不是0.01。1、参数估计1.1、极大似然法一、基本概念：求未知参数点估计的一种重要方法。思路是设一随机试验已知有若干个结果 A，B，C，.，如果在一次试验中A发生了，则可认为当时的条件最有利于A 发生，故应如此选择分布的参数，使发生A的概率最大。对总体

3、参数的估计分两种一一点估计和区间估计。在点估计里，我们介绍 两种求估计量的方法：矩估计法和极大似然估计法。从矩估计法公式我们得到， 对正态总体N (四,。2)，未知参数四的矩估计,。2的矩估计为sn2；四,。2的极大似 然估计也分别为x和sn2.一般地，在相当多的情况下，矩估计与极大X，似然估 计是一致的，但也确有许多情形，矩估计法和极大似然估计法给出的估计是不同 的.谁优谁劣?我们可以用估计量的优劣标准进行评价.除此之外，亦可以根据问 题的实际意义进行判定.二、极大似然思想一般地说，事件A与参数9 0有关，9取值不同，则P(A)也不同.若A发生了，则认为此时的0值就是9的估计值.这就是极大似

4、然思想.看一例子：例1、设袋中装有许多 黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P .分析：易知P的值无非是1/4或3/4.为估计P的值，现从袋中有放回地任取3只球，用X表示其中的黑球数，则X b(3,P) .按极大似然估计思想，对P的取值进行估计.解：对P的不同取值，X取k = 0,1,2,3的概率可列表如下:X012327，.6427，9./,64,64.164P = 34/649/27/64,6427 / /64故根据极大似然思想即知：尸1*阵0,1：% k = 2,3 -在上面的例子中，P是分布中的参数，它只能取两个值：1/4或3/4,需要通过抽样

5、来决定 分布中参数究竟是1/4还是3/4.在给定了样本观测值后去计算该样本出现的概率，这一概 率依赖于P的值，为此需要用1/4. 3/4分别去计算此概率，在相对比较之下，哪个概率大， 则P就最象那个三、似然函数与极大似然估计若总体X的密度函数为p(x；。2,，0k)，其中。”，0k是未知参数，(XX2,X,)是来自总体X的样本，称!=1为。2,k的似然函数A fX A若有顶使得顼札，由，白1，瓦)=max 怂1,，,为，日1,，您)成立，则称楫=秘*瓦)为。j极大似然估计量j=1,2，,k).根据微积分中函数极值的原理，要求&使得上式成立，只要令如戏)U de其中 L( 9 )=L(x1,x2

6、,xn； 9 ).解之，所得解&为极大似然估计量，上式称为似然方程.又由于街与成二警泓的极值点相同，所以根据情况，也可以求出航(6) 口成的解作为极大似然估计量极大似然估计的不变性求未知参数0的某种函数g(6)的极大似然估计可用极大似然估计的不变原则，证 明从略.定理(不变原则)设&是6的极大似然估计，g(6)是6的连续函数，则g(6)的极大似然估计为g (6)四、求极大似然估计的一般步骤1、由总体分布导出样本的联合概率函数(或联合密度)；2、把样本联合概率函数(或联合密度)中自变量看成已知常数，而把参数6看作自变量，得到似然函数L(6)；3、求似然函数L(6)的最大值点(常转化为求对数似然函

7、数l(6 )的最大值 点)；4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值.下面通过例子来说明:例一:设总体X服从正态分布N(h。2)，试求U及。2的极大似然估计. 解：U,。的似然函数为K 1_(阿-卢帖1_疽玄忸-产户似然方程组为5 口口 (T 1=1解之得:因此工及勤分别是U及。2的极大似然估计.例二：设某元件失效时间服从参数为人的指数分布，其密度函数为f(X；人)=山-为,X 0，人未知.现从中抽取了 n个元件测得其失效时间为X ,X , ,X，试求人及平均寿命的极大似然估计.12 n分析：可先求人的极大似然估计，由于元件的平均寿命即为X的期望值，在 指数分布场合，有E

8、(X)=上，它是人的函数，故可用极大似然估计的不变原则， 求其极大似然估计., 解：(1)写出似然函数：L(k) = H人e-* =Mei=1(2)取对数得对数似然函数：l(X) = nlnX-XLxi i=1(3)将l (X)对人求导得似然方程为：峰忐-乙=0 i=1(4)解似然方程得：f = nLn x Xi i=1经验证，能使l(2达到最大，由于上述过程对一切样本观察值成立，故人1的极大似然估计为：x=1 ；X 根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：E(X) = 设母体E的概率函数为f(x, 015 设母体E的概率函数为f(x, 015 A, 0k), 其中SAS祝

9、 k个未知参数，J,A, En是取自这一母体的一个子样。设E的k阶矩vk = EG存在，则v.,j 动=0或三、矩法估计的具体步骤e = Ee1 AAA辰=明这样我们就得到含k个未知参数0 1, A, OTk个方程，解由这k个方程联列所构成的 方程组就可以得到theta1, A, 0k的一组解：0 =倨 A&)底=必A扁)AAAAAAAAA.=姒 1,A&)用(2)中的解，,来估计参数0 j就是矩法估计。一般我们考察叮:的情形。在数理统计学中，我们一般用I表示0的估计量。例三: 设总体X的概率密度为X1,，Xn为样本，求参数b的矩估计。I xl8 x 解：日三E (X) = j e 2bI x

10、l8a2 三 E(X2) = j 2_t8j-x 18b dx = jb=j 2 x 18b dx = jb=j 2 xeT08=2b j0 xxde厂o8 x=2_ j e - _ dx=2_ 2i=1i=1例五：已知大学生英语四级考试成绩CN(u, 02)，均值U ,方差。2均未知，笔1,A,En为取自母 体笔的一个子样，(x1, A, xn)是子样的一组观测值，求U与。2的矩法估计。n解：注意到有两个未知参数，由矩法估计知需两个方程，按照(1)式得方程组解这一方程组得U与。的矩法估计量从而U与。2的矩法估计值分别为分析：注意到我们这里求出U与。2的矩法估计并未用到母体&的分布。这样对虹。

11、2 作出了估计，也就对整个母体分布作出了推断，进而对大学生英语四级考试成绩&相关的其 它数字特征如标准分、标准差、偏态系数等作出了估计。四、矩法估计的优缺点矩法估计原理简单、使用方便，使用时可以不知母体的分布，而且具有一定的优良性质(如 矩估计为E；的一致最小方差无偏估计)，因此在实际问题，特别是在教育统计问题中被 广泛使用。但在寻找参数的矩法估计量时，对母体原点矩不存在的分布如柯西分布等不能用，另 一方面它只涉及母体的一些数字特征，并未用到母体的分布，因此矩法估计量实际上只集中了母体的部分信息，这样它在体现母体分布特征上往往性质较差，只有在样本容量n较大时， 才能保障它的优良性，因而理论上讲

12、，矩法估计是以大样本为应用对象的。2、两种方法比较分析归纳如下两种方法的归纳比较如下表：方法概率加哄fill 8:2顼无显式表达代A_r出尸工”估点九理式表达式AAE 5产E叩=rADuA. f。叩狷 JOB 663 JRAAA3AA /a阳w 0.607 927 nM0J39O1RA AGiv（ u*（5）A A_射（Wum 6调）r 0.257 019 flCov ti.p 0-3704 f naA解用敷值方法吹拉常数r-0.57722极大似然法给出了具有最小方差的参数M和。的渐近无偏估计量，尽管它需要复杂的计算， 随着计算机技术的迅速发展，极大似然估计量，随着计算机技术的迅速发展，极大似

13、然估 计量的计算不难在计算机上实现。而虽然渐近方差和渐进协方差较大，但概率加权矩法却给 出参数M和。的无偏估计量，表明了在估计能写出分布函数的反函数形式的分布参数时这 种方法非常有用具体的两种方法的比较如下：矩法估计量与极大似然估计量不一定相同；用矩法估计参数比较简单，但有信息量损失；极大似然估计法精度较高，但运算较复杂；不是所有极大似然估计法都需要建立似然方程下面通过举例来说明：一、两种方法估计量相同的情形:例：某电子管的使用寿命X （单位：小时）服从指数分布1 _工X : p（对）=e, x 0 （0 0）0 , other今取得一组样本Xk数据如下，问如何估计 ?162950681001

14、301402702803404104505206201902108001100分析可用两种方法：矩法估计和极大似然估计.1）矩法估计1 x 八. EX =j+8 x - ee dx = e o e令X =e则可得e的矩法估计量为：0 = X.代入具体数值可得e的估计值为:1 寸 x =_! 5723 幻 318（小时）.n i=12）极大似然估计1、构造似然函数当xi0, （i=1,2, .,n）时，似然函数为1_1工L（e）=计萨 _e=e- e e i=/i i=12、取对数In L = _n In e 一 ： x.i=13、建立似然方程1 n n 1 x.一 x.l（x1,.,n ； e

15、）=n 小甘=e_n e e 心 i=1eded ln L - n + 二 x = 0. e e 2 i=1 ided In L n 1 ”=k + kx = 0.dee e 2 i=1 4、求解极大似然估计值1 5= S X = x, ni=1 i5、的极大似然估计值=1 私 X = X, ni=1 i带入具体值得：0=-况 x-况 x = -5723 R 318（小时）.ni=1二、两种方法不同的情形例：设总体概率密度为p（ xp（ x，9）=（9 + 1）x9 , 0,0 x 1;其他.求参数0的极大似然估计，并用矩法估计0 .1）极大似然估计法1.构造似然函数0 x 1;其它r,m（9+ 1）n H 0 x 1;其它L（xL xn；9） = Ii=i i0,2.取对数：当 0 xi1, （i=1,2, .,n）时ln L = n ln（9 +1） +9 In xi i=13、建立似然方程d In Ld9n971+ S In x. = 0,i=14、求解极大似然估计值-1,5、极大似然估计量为-1. ln Xii = 12)矩估计法X+2 八0 9+2EX =j1 x(9 +1) xo dx = -一 (9 +1) 09+ 20 9+2令0+1 = X,可彳 19的矩法计量为 9+ 29 = M = 土 - 2参考文献：1、苏均和主编：概率论与数理统计，上海财经大学