概率论与数理统计课件第七章最大似然估计

1、1,它首先是由德国数学家 在1821,Gauss,Fisher,然而，这个方法常归功于 英国统计学家(Fisher) .,在1922年重新发现了 这一方法，并首先研究了 这种方法的一些性质 .,7.2 最大似然估计,2,思想方法 一次试验就出现的事件 有较大的概率,7-17,3,最大似然法的基本思想,先看一个简单例子：,一只野兔从前方窜过 .,是谁打中的呢？,某位同学与一位猎人一起外出打猎 .,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下 .,4,因为只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 .,其数学模型为,令X为打一枪的中弹数，则XB

2、(1,p), p未知.设想事先知道p只有两种可能:,p=0.9 或 p=0.1,两人中有一人打枪, 估计这一枪是谁打的，即估计总体X的参数p的值,5,当兔子不中弹，即X =0发生了,现有样本观测值x =1, 什么样的参数使该样本值出现的可能性最大呢？,若p=0.9，则PX=1=0.9 若p=0.1，则PX=1=0.1,若p=0.9，则PX=0=0.1 若p=0.1，则PX=0=0.9,当兔子中弹，即X =1发生了,6,引例 设总体 X 服从0-1分布，且P (X = 1) = p, 用极大似然法求 p 的估计值。,解,X 的概率分布可以写成,设 X1, X2, Xn为总体 X 的样本,设 x1

3、, x2, xn为总体 X 的样本值,则,7,对于不同的 p ,L (p)不同，见右下图,现经过一次试验，,8,在容许的范围内选择 p ，使L(p)最大,注意到，ln L(p)是 L 的单调增函数，故若 某个p 使ln L(p)最大，则这个p 必使L(p)最大。,7-20,9,最大似然估计法的基本思想：根据样本观测值，选择参数p的估计 ，使得样本在该样本值附近出现的可能性最大,10,一 离散型随机变量的情况,最大似然估计的求法,11,12,13,定义2.1 设离散型随机变量X1,X2,.,Xn 有联合分布,其中 是未知参数，给定观测数据x1，x2，.，xn后，称 的函数,为基于x1，x2，.，

4、xn的似然函数(likelihood function)，称 的最大值点 为 的最大似然估计(maximum likelihood estimator缩写为MLE),其中 也可以是向量,14,二 连续型随机变量的情况,15,16,定义2.2 设随机向量X=(X1,X2,.,Xn ) 有联合密度,其中 是未知参数，给定X的观测值 x=(x1，x2，.，xn )后，称 的函数,为基于x=(x1，x2，.，xn )的似然函数(likelihood function)，称 的最大值点 为参数 的最大似然估计(MLE),其中 也可以是向量,17,若总体中包含多个未知参数,18,(4) 在最大值点的表达式

5、中, 用样本值代入 就得参数的极大似然估计值 .,求最大似然估计(MLE)的一般步骤是：,(1) 由总体分布导出样本的联合分布列 (或联合密度);,(2) 把样本联合分布列(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );,(3) 求似然函数 的最大值点(常转化为求对数似然函数 的最大值点) 即 的MLE;,19,未知参数的函数的最大似然估计,设总体X的分布类型已知, 其概率密度(或概率函数)为f(x;1, k), 未知参数的已知函数为g(1, k). 若,分别为1, k的最大似然估计, 则,为 g(1, k)的最大似然估计.,20,解：X的分布列为,例1设X

6、1,X2, Xn独立同分布，都服从Poisson分布 ，给定观测数据 x1,x2, xn，试求参数 的最大似然估计.,因此似然函数为,21,令,=0,对数似然函数为：,得 的最大似然估计为,22,例2设X1,X2, Xn是取自总体 XB(1, p) 的一个样本，求参数p的最大似然估计.,解：似然函数为:,对数似然函数为：,23,对p求导并令其为0，,=0,p的最大似然估计为,24,似然函数为：,25,对数似然函数为：,26,27,例4 X 服从指数分布,其密度函数为 x1，x2，xn 为观察值. 试用最大似然估计法估计,28,解：似然函数为,对数似然函数为,由,得 的最大似然估计为,29,解：

7、似然函数为,对数似然函数为,例5 设X1,X2,Xn是取自总体X的一个样本,求 的最大似然估计.,其中 0,30,求导并令其为0,=0,从中解得,即为 的MLE .,对数似然函数为,31,例6 设X1,X2, Xn是取自总体 XU(a, b) 的一个样本，求参数a, b的最大似然估计.,似然函数为,32,不能求解。,33,似然函数a 越大, b 越小, L 越大.,令,x(1) = min x1, x2, xn x(n) = max x1, x2, xn,34,故,是 a , b 的最大似然估计值.,取,35,例7 设总体X的概率分布为,其中0 1/2为未知参数。今对X进行 观测， 得如下样本

8、值 0，1，2，0，2，1 求 的最大似然估计。,36,从而对数似然函数为,解：似然函数为,令,得,37,三 估计量的评选标准,对于同一参数，用不同的估计方法求出的估计量可能不相同。,问题：采用哪一个估计量好?,X1, X2, Xn,为来自该总体的样本。,设总体X F(x, ), 其中 为未知参数。,为 的一个估计量。,38,估计量,而当样本(X1, , Xn)有观测值(y1, , yn)时，估计值为,是一个随机变量，当样本(X1, , Xn)有观测值(x1, , xn)时，估计值为,39,由不同的观测结果，就会求得不同的参数估计值. 因此评价一个估计量的好坏，不能仅仅依据一次试验的结果来判断

9、，而必须根据估计量的分布从整体上来做评价。,当样本值取不同的观测值时， 我们希望相应的估计值在未知参数真值附近摆动，而它的均值与未知参数的真值的偏差越小越好. 当这种偏差为0时，就导致无偏性这个标准 .,40,1无偏性,则称 为 的无偏估计 .,41,例1 样本均值 与样本方差S2 分别是 总体均值和总体方差2的无偏估计量.,证：,42,样本k阶矩为,例2 设总体X的k阶原点矩存在，记其为k， X1, X2, Xn为来自总体的样本，问,是否为总体k阶矩k的无偏估计.,解：由于,因此样本k阶矩是总体k阶矩的无偏估计,43,例3 设总体X N (， 2)，其中参数 ， 2未知，试用最大似然估计法求

10、， 2的估计量，并问是否是无偏估计？,44,45,解：,因为,设X的分布函数为,46,先求Z的分布函数,47,对其求导数得到Z的密度函数为：,即Z的分布函数,48,故,因此,nZ是 的无偏估计,49,例5 设X1, X2, Xn是来自总体X的样 本，且E(X)=。以下两个估计是否为 的无偏估计,（答：是）,（答：是）,50,无偏估计以方差小者为好, 这就引进了有效性这一概念 .,的大小来决定二者,和,一个参数往往有不止一个无偏估计, 若,和,都是参数 的无偏估计量，,比较,我们可以,谁更优 .,51,2有效性,且存在 的情形，则称 较 有效 。,52,例6 设X1, X2, Xn是来自总体X的样本，且E(X)=。以下两个估计谁更有效？,解：,53,3. 相合性(一致性) 设 为未知参数 的估计量，若对任意给定的 0，任意，都有,设总体的k 阶矩存在，则样本的k 阶矩是总体k 阶 矩的相合估计,即：当 时