矩法与极大似然法的合理性及比较分析.doc

精品文档矩法与极大似然法的合理性及比较分析矩法与极大似然法的合理性及比较分析摘要: 皮尔逊所引入的矩法是较早提出的求参数点估计的方法。我们从辛钦大数定律知道，若总体的数学期望E()有限，则样本的平均值依概率收敛于E（）。这就启示我们想到，在利用样本所提供的信息来对总体的分布函数中未知参数作估计时，可以用样本矩作为总体矩的估计。费希尔引进的极大似然法，从理论观点来看，至今仍然是参数点估计中最重要的方法，以后将会知道，这种估计方法，是利用总体的分布函数F（x；）的表达式及样本所提供的信息，建立未知参数的估计量（1，2，n）。极大似然法的想法同矩法一样也是直观的。今举一个通俗的例子：有两位同学一起进行实弹射击，两人共同射击一个目标，事先并不知道谁的技术较好，让每人各打一发，有一人击中目标，那么认为击中目标的同学的技术比击不中的技术较好，显然是合理的。又举一例；有一事件，我们知道它发生大概率p只可能是0.01或0.09，在一次观察中这事件发生了，试问这事件发生的概率是什么？当然人们会认为它发生的概率是0.09而不是0.01。1、 参数估计1.1、极大似然法一、基本概念：求未知参数点估计的一种重要方法。思路是设一随机试验已知有若干个结果，如果在一次试验中发生了，则可认为当时的条件最有利于发生，故应如此选择分布的参数，使发生的概率最大。 对总体参数的估计分两种点估计和区间估计。在点估计里，我们介绍两种求估计量的方法：矩估计法和极大似然估计法。从矩估计法公式我们得到,对正态总体N(, 2)，未知参数的矩估计,2的矩估计为sn2； , 2的极大似然估计也分别为x和sn2.一般地，在相当多的情况下，矩估计与极大X，似然估计是一致的，但也确有许多情形，矩估计法和极大似然估计法给出的估计是不同的.谁优谁劣?我们可以用估计量的优劣标准进行评价除此之外，亦可以根据问题的实际意义进行判定.二、极大似然思想 一般地说，事件与参数有关，取值不同，则也不同若发生了，则认为此时的值就是的估计值这就是极大似然思想看一例子：例、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率分析：易知的值无非是1/4或3/4为估计的值，现从袋中有放回地任取3只球，用表示其中的黑球数，则按极大似然估计思想，对的取值进行估计解：对的不同取值，取的概率可列表如下: 故根据极大似然思想即知：在上面的例子中，是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则就最象那个三、似然函数与极大似然估计若总体X的密度函数为p(x;1,2,k)，其中1,2,k是未知参数，(X1,X2,Xn)是来自总体X的样本，称为1,2,k的似然函数若有使得成立,则称为j极大似然估计量(j=1,2,k).根据微积分中函数极值的原理，要求使得上式成立，只要令其中L()=L(x1,x2,xn;).解之，所得解为极大似然估计量，上式称为似然方程.又由于与=的极值点相同,所以根据情况,也可以求出的解作为极大似然估计量极大似然估计的不变性求未知参数的某种函数的极大似然估计可用极大似然估计的不变原则，证明从略定理（不变原则）设是的极大似然估计，是的连续函数，则的极大似然估计为四、求极大似然估计的一般步骤1、由总体分布导出样本的联合概率函数（或联合密度）；2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数看作自变量，得到似然函数；3、求似然函数的最大值点（常转化为求对数似然函数的最大值点）；4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值下面通过例子来说明：例一：设总体X服从正态分布N(, 2)，试求及2的极大似然估计.解：,的似然函数为似然方程组为解之得:,.因此及分别是及2的极大似然估计.例二：设某元件失效时间服从参数为的指数分布，其密度函数为，未知现从中抽取了个元件测得其失效时间为，试求及平均寿命的极大似然估计分析：可先求的极大似然估计，由于元件的平均寿命即为的期望值，在指数分布场合，有，它是的函数，故可用极大似然估计的不变原则，求其极大似然估计解：（）写出似然函数：（）取对数得对数似然函数：（）将对求导得似然方程为：（）解似然方程得：经验证，能使达到最大，由于上述过程对一切样本观察值成立，故的极大似然估计为：；根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：1.2 矩法估计一、矩法估计的概念对于随机变量来说，矩是其最广泛，最常用的数字特征，母体的各阶矩一般与的分布中所含的未知参数有关，有的甚至就等于未知参数。由辛钦大数定律知，简单随机子样的子样原点矩依概率收敛到相应的母体原点矩Er,r= 1,2,。这就启发我们想到用子样矩替换母体矩（今后称之为替换原则），进而找出未知参数的估计，基于这种思想求估计量的方法称为矩法。用矩法求得的估计称为矩法估计，简称矩估计。它是由英国统计学家皮尔逊Pearson于1894年提出的。二、矩法估计的理论依据由辛钦大数定律知：即对，有或三、矩法估计的具体步骤设母体的概率函数为f(x,1,k),其中是k个未知参数，1,n是取自这一母体的一个子样。设的k阶矩vk=Ek存在，则vj,j0,（i=1,2, ,n) 时，似然函数为2、取对数3、建立似然方程4、求解极大似然估计值5、的极大似然估计值带入具体值得：=二、两种方法不同的情形例：设总体概率密度为求参数的极大似然估计, 并用矩法估计.1) 极大似然估计法1. 构造似然函数2. 取对数：当 0xi1, (i=1,2, ,n) 时3、建立似然方程4、求解极大似然估计值5、极大似然估计量为2) 矩估计法参考文献：1、苏均和主编：概率论与数理统计，上海财经大学出版社1999年1版2、茆诗松等编著：概率论与数理统计，中国统计出版社1999年1版3、魏振军编：概率论与数理统计三十三讲，中国统计出版社2000年1版4、唐生强主编：概率论与数理统计复习指导，科学出版社1999年1版5、中山大学，邓集贤：概率论及数量统计，高等教育出版社。第四版6、宋德敦;丁晶 概率权重矩法及其在P-分布中的应用期刊论文-水利学