最大似然估计的原理及其应用

1、最大似然估计的原理及其应用摘要：了解最大似然估计的原理，并通过其原理来解决生活中的某些概率与统计的问题。引言：似然函数&国，或岛）是。的函数，表示由参数。产生样本值了3,色舟第的“可能性，大小。将样本观察看成“结果”。是产生结果的“原因” ，侦;4, %, ,）则是度量产生该结果的各种 “原因”的机会。因此，。的一个合理的 估计应使这种机会（即瑚也）达到最大的那个值。关键词：似然函数，最大似然估计，最大似然估计值。（1）似然函数设描述总体的随机变量x的概率密度函数为了（皿岛岛），其中状2，.,。都是 总体的未知参数（若x是离散型的，则约定川&表示概率分布 血岛时，总体的样本x，x，x的测量值为

2、xi，七，七，也可以12n理解为是n维独立随机向量（x，x，x ）的一个测量值。即是说，对一维随机变量进行n次测量得到的n个测量1值可以看成是对n维独立的随机向量进行一次测量得到的 n个测量值。由于n维随机向量的联合概率密度为i=1H f (x ;6 ,6 ,.e )显然，对于样本的一个测量值，它是61，62，.，6k的函数，记为并称它为似然函数，简记为L。对于离散型随机变量。应该注意，似然函数与参数61，62，6k有关，对于给定的样本值，它是这些参数的函 数。（2）最大似然估计值设总体含未知参数61，6 2，6 k，对于给定的样本值如有i 12 ki 12 ki=1i=1Hf (x ;6，6

3、，.，6 ) Hf (x ;6，6 .6)甘土6，6，.，6山士左至粉6，6，6处朋甘 亦活 =6，6 .6山其中12 k为未知参数12 k可能取的某一组值，而12 k为6 666 666，6， 6，61，626k的一切其他可能取值，此时，我们可认为61，62，.，6k，比6 1，6 26 k作为6 66 6 666 66U ，U ，. . .，U 由4任 巾/ 上 曰 匚口口口 U，U ，.，U 下川 U ，U ，.，U rL_Lzg 不土 M -41 2 k的估值要好些。这是因为小寺式说明，1 2 k取1 2 k时得到样本 TOC o 1-5 h z X ，X，. . .，X /、,，r

4、、. I、，t t、I JM、n 6 ，6，. . .，6 r/_r z,.r f I、I ，一i , I r t r值1 2 n的可能性最大，这样的估计值就是1 2 k的最大似然估计值。因此，可6 666 6 6以有定义：如果似然函数L在61，62，.，6k分别取1，2，.，k时达到最大值，则称6 666 66，U ， ，U 八 m i=t U，U ，. ，U （ i=t r . t. k / t,、i /t-1 2 k分别是1 2 k的最大似然估计值。（3）求最大似然估计值的方法我们认为，如果在一次测量中一个事件出现了，那么就可以认为此事件出现的可能性最 大。在这里，3/%,七)作为n维随

5、机向量的一个测量值出现了，那么就认为只有似然 函数为最大才有可能。因为似然函数为最大，对应事件出现的可能性才最大。所以求似然函 数L的最大值问题也就是求总体的未知参数的最大似然估计值的问题了。A A A AA A在L关于Ai，A2,Ak可微时，要使L取最大值，Ai，A2,Ak必须满足方程组dL .- - - 0鸿如A A AA A A由此方程组解得A1，A2,Ak的值，即为最大似然估计值2,k。显然，最大似然估计 一一 一一 一一建 “、八；一 1 C 7,/士 I_. J.V. I . rt.l 曰 /士 X , X , . . . , x A，,八 ir |-、,、r . A (x , x

6、 ,., X ), J 1,2, . . . , k, 八 、r . f I值与样本测量值12n的取值有关，故可记为J 1 2 n并称为估值。由于似然函数式是多个因子的乘积，利用对数ln L进行计算比较方便，并且因为 lnX是x的单调上升函数，故L与ln L有相同的极大点，从而。近,%的最大似然估计 值还可由下列方程组(称为似然方程组)求得31nZ 一、=八如1些=0I I IainZ n=0 _/在实际问题中，常常由于似然函数很复杂，而无法由解方程组(4-7)求出最大 似然估计的解析表达式。只有利用适当的近似计算方法求似然方程组的近似解，或者利用计 算数学中寻求函数极值点的最优化技术，在计算

7、机上进行优选计算，搜索出使似然函数最大A A AAA AL-, 4、/士 U,U,U/心、r .4、”_ U,U,l/rr 曰 I . r / 一、I /士的参数值12k，作为参数1 2 k的最大似然估计值。最大似然估计法具有下述性质：个A,A ,.,Af (x;A ,A ,.,A )山添断白勺曰十们钦仕、+祐 深断右12 k为 12 k中参数的最大似然估计值，又函数u = u(A A A)u = u (A ,A ,. ,A )U u , ,1 2 k具有单值反函数，贝12 k 。因此，当已知ib= Yb2有单值反函数时，则有上式即是。的最大似然估计。最大似然估计的应用例 设有外形完全相同的两

8、个箱子,甲箱有99个白球1个黑球，乙箱有1个白球99个黑球.今 随机地抽取一箱，然后再从这箱中任取一球，结果发现是白球.问这个箱子是甲箱还是乙箱？ 分析我们这里做的是统计推断而不是逻辑推断。所谓统计推断，就是根据已知的部分数据 对总体的进行估计的一种推断方法。从部分推断总体，必然伴随着一定的犯错误的概率。因 此从逻辑上认起死理来，统计推断似乎因为不太严谨而被排斥在“科学推断”之外了。但是 在实际生活中，如果都要按照逻辑推断来思考，那么将会给你的生活带来很大的麻烦。比如 出门，则难免会有一定的概率出一定的意外，因此所谓“安全回家”在逻辑上便不再是绝对 可靠的，故而你只能选择闭门不出。现在的问题是

9、，仅仅从取出的球是白球这一点是无法从逻辑上严格加以判定该箱究竟是 甲箱还是乙箱的。但是如果现在一定要我们做出选择，那么我们只能这样来考虑：从箱中取 出的球是白球这一点来看，甲箱和乙箱哪个看上去更像是真正从中取球的箱子？我们这样来分析：如果该箱是甲箱，则取得白球的概率为0.99；如果该箱是乙箱,则取得 白球的概率0.01.因此，用“该箱是甲箱”来解释所取的球是白球这一事件更有说服力一些， 从而我们判定甲箱比乙箱更像一些。最后我们做出推断，这球是从甲箱取出的.其实，如果我们从“最大似然”的原文maximum likelihood来看，就会发现这个名称的 原始含义就是“看起来最像”的意思。“看起来最

10、像”，在很多情况下其实就是我们决策时的依据。一个总体往往都有若干个重要的参数。比如，对于正态总体来说，均值和方差就是两个 非常重要的参数。但是在很多情况下，这些参数往往是不知道的，这就需要我们利用抽样所 得的部分数据来做统计推断。假设我们现在获得了一组数据，记为x，我们需要做的是，利用x中所包含的信息来推 断总体中的未知参数值。显然，未知参数是有其取值的范围的，我们现在要做的是，在参数 可能的取值范围内寻找到一个“看起来最像”的那个值来作为未知参数的估计值。现在，假设有甲乙两支足球队要进行比赛，某老汉很认真地看了这两支足球队的相关资 料，并作了细致的分析，得出了甲队战胜乙队的概率为p。但是在第二天被朋友问及此事时， 该老汉一时犯昏把数字给记混了。他只知道甲队战胜乙队的概率p只可能取如下几个值0， 0.1，0.3, 0.5, 0.75, 0.9，但一点也记不清到底哪个数字才是真实的。也就是说，在这个时 候，这五个数字没有哪一个看上去更像是真实的p。于是他开始翻看随身携带的一些资料， 发现与这两支足球队有关的资料只有一条，这就是他们在