最大似然估计的原理及其应用

1、最大似然估计的原理及其应用摘要：了解最大似然估计的原理，并通过其原理来解决生活中的某些概率与统计的问题。引言：似然函数'''二是B的函数，表示由参数B产生样本值匚 的“可能性”大小。将样本观察看成“结果”，B是产生结果的“原因”则是度量产生该结果的各种“原因”的机会。因此，B的一个合理的估计应使这种机会(即丿厂心)达到最大的那个值。关键词：似然函数，最大似然估计，最大似然估计值。(1 )似然函数设描述总体的随机变量X的概率密度函数为'-，其中1，2, ，k都是总体的未知参数(若x是离散型的，则约定;：表示概率分布，总体的样本X 1,X 2,，X n的测量值为Xl

2、,x2, ,Xn，也可以 理解为是n维独立随机向量(X 1 , X 2,， X n)的一个测量值。即是说，对一维随机变 量进行n次测量得到的n个测量值可以看成是对n维独立的随机向量进行一次测量得到的 n个测量值。由于n维随机向量的联合概率密度为nf (Xi； 1, 2, k)i 1显然，对于样本的一个测量值，它是L1，2，k的函数，记为£(可,花，工”坯，乌, 乞)口/(心毎砥邑)并称它为似然函数，简记为L。对于离散型随机变量。应该注意，似然函数与参数1，2， ，k有关，对于给定的样本值，它是这些参数的函数。(2) 最大似然估计值设总体含未知参数 1, 2, ，k，对于给定的样本值。

3、如有nnf(x; ?, ? , ?) f(x； '1, '2'k)i 1i 1? ? ?其中1, 2,卞为未知参数1, 2, k可能取的某一组值，而 1 ,2k为1,2k的一切其他可能取值，此时，我们可认为? ?1, 2 ,?1, k，比 1 ,2k作为1, 2,k的估值要好些。这是因为不等式说明，1,2,? ? ?'k1 ,2, k时得到样本值 X1 , X2 ,Xn的可能性最大，这样的估计值就是仆2,k的最大似然估计值。因此，可以有定义:如果似然函数L在1, 2, k分别取? ?1 , 2,?,k时达到最大值，则称? ?1, 2,?k分别是 仆2, , k的

4、最大似然估计值。(3)求最大似然估计值的方法我们认为，如果在一次测量中一个事件出现了，那么就可以认为此事件出现的可能性最大。在这里，（Xl，X2, ,Xn）作为n维随机向量的一个测量值出现了，那么就认为只有似然 函数为最大才有可能。因为似然函数为最大，对应事件出现的可能性才最大。所以求似然函数L的最大值问题也就是求总体的未知参数的最大似然估计值的问题了。在L关于1, 2, k必须满足方程组1，2，k可微时，要使L取最大值,-_- = 0 ? ? ?由此方程组解得1，2， ，k的值，即为最大似然估计值'2， ，k。显然，最大似然估计值与样本测量值Xl，X2, ,Xn的取值有关，故可记为?

5、（Xl，X2, ,Xn）,j1,2,k,并称为估值。由于似然函数式是多个因子的乘积，利用对数ln L进行计算比较方便，并且因为lnX是x的单调上升函数，故L与 ln L有相同的极大点，从而1，2， ，k的最大似然估计值还可由下列方程组（称为似然方程组）求得ahi L 0=0 鸥 ?- Shi L=07在实际问题中，常常由于似然函数很复杂，而无法由解方程组（4- 7）求出最大似然估计的解析表达式。只有利用适当的近似计算方法求似然方程组的近似解，或者利用计算数学中寻求函数极值点的最优化技术， 在计算机上进行优选计算， 搜索出使似然函数最大? ? ?的参数值'1,k，作为参数1，2， ，k的

6、最大似然估计值。（4） 最大似然估计法具有下述性质：? ? ?若1, 2, , k为f（X; 1，2， , k）中参数的最大似然估计值，又函数.?. . （ ? ? ?）U U（ 1，2，k）具有单值反函数，则U U（ 1,2, k）。因此，当已知2有单值反函数时，则有? J ?2上式即是6的最大似然估计。（5）最大似然估计的应用例 设有外形完全相同的两个箱子 ，甲箱有99个白球1个黑球，乙箱有1个白球99个黑球.今 随机地抽取一箱，然后再从这箱中任取一球，结果发现是白球问这个箱子是甲箱还是乙箱 分析我们这里做的是统计推断而不是逻辑推断。所谓统计推断，就是根据已知的部分数据 对总体的进行估计的

7、一种推断方法。 从部分推断总体， 必然伴随着一定的犯错误的概率。 因 此从逻辑上认起死理来， 统计推断似乎因为不太严谨而被排斥在“科学推断”之外了。 但是 在实际生活中， 如果都要按照逻辑推断来思考， 那么将会给你的生活带来很大的麻烦。 比如 出门， 则难免会有一定的概率出一定的意外， 因此所谓“安全回家”在逻辑上便不再是绝对 可靠的，故而你只能选择闭门不出。现在的问题是， 仅仅从取出的球是白球这一点是无法从逻辑上严格加以判定该箱究竟是 甲箱还是乙箱的。 但是如果现在一定要我们做出选择， 那么我们只能这样来考虑： 从箱中取 出的球是白球这一点来看，甲箱和乙箱哪个看上去更像是真正从中取球的箱子我

8、们这样来分析：如果该箱是甲箱 ,则取得白球的概率为；如果该箱是乙箱,则取得白球的概率因此，用“该箱是甲箱”来解释所取的球是白球这一事件更有说服力一些，从而我 们判定甲箱比乙箱更像一些。最后我们做出推断,这球是从甲箱取出的 .其实，如果我们从“最大似然”的原文 maximum likelihood 来看，就会发现这个名称的 原始含义就是“看起来最像”的意思。“看起来最像” ，在很多情况下其实就是我们决策时的依据。一个总体往往都有若干个重要的参数。 比如， 对于正态总体来说， 均值和方差就是两个 非常重要的参数。 但是在很多情况下， 这些参数往往是不知道的， 这就需要我们利用抽样所 得的部分数据来

9、做统计推断。假设我们现在获得了一组数据，记为X,我们需要做的是，利用 x中所包含的信息来推断总体中的未知参数值。 显然， 未知参数是有其取值的范围的，我们现在要做的是，在参数 可能的取值范围内寻找到一个“看起来最像”的那个值来作为未知参数的估计值。现在, 假设有甲乙两支足球队要进行比赛, 某老汉很认真地看了这两支足球队的相关资 料，并作了细致的分析，得出了甲队战胜乙队的概率为 P。但是在第二天被朋友问及此事时， 该老汉一时犯昏把数字给记混了。他只知道甲队战胜乙队的概率p 只可能取如下几个值0 , , , , , ,但一点也记不清到底哪个数字才是真实的。也就是说,在这个时候,这五个数字没有哪一个看上去更像是真实的 P。于是他开始翻看随身携带的一些资料，发现与这两支足球 队有关的资料只有一条,这就是他们在某日的比赛中以平局收场。看完这条资料以