概率论与数理统计课件：7-2 参数估计MLE

1、2. 极大似然法,它首先是由德国数学家高斯在1821年提出的,然而，这个方法常归功于英国统计学家费歇尔（Fisher）。,费歇尔在1922年重新提出了这一方法，并首先研究了这种方法的一些性质,是在总体类型已知条件下使用的一种参数估计方法.,极大似然法的基本思想,一只野兔从前方窜过，只听一声枪响，野兔应声倒下。,某位同学与一位猎人一起外出打猎。,如果要你推测，是谁打中的呢？,一般地，我们会有这样的想法：因为只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的.,其数学模型为,令X为打一枪的中弹数，则XB(1, p), p未知.设想我们事先知道p只有两种可能:,p=0

2、.9 或 p=0.1,两人中有一人打抢, 估计这一抢是谁打的，即估计总体X的参数p的值,（2）当兔子未中弹，即X =0发生了。这时，若p=0.9则PX=0=0.1; 若p=0.1，则PX=0=0.9,现有样本观测值 x =1, 什么样的参数使该样本值出现的可能性最大呢？,（1）当兔子中弹，即X =1发生了。这时，若p=0.9则PX=1=0.9; 若p=0.1，则PX=1=0.1,最大似然估计法的基本思想：根据样本观测值，选择参数p的取值，使得样本在该样本值附近出现的可能性最大。,最大似然估计的求法,(1)定义：设总体X的概率密度（或分布律）为 f(x; ) ， Rm，X1, ,Xn为来自总体

3、的 样本，则（X1,Xn）的密度函数（或分布律）为,若已知样本观测值(x1,xn)，则令,称其为样本值(x1,xn)的似然函数,注意：a、对于样本（X1,Xn）的密度函数（或分布律）,b. 当已得样本（X1,Xn）的观测值(x1,xn)，若,c. 若已知观测值(x1,xn)，那么哪一组参数最象是导致结果(x1, xn)发生的一组参数呢？,(2) 定义：如果似然函数,（3）最大似然估计的求法,求极大似然估计(MLE)的一般步骤是：,(1) 由总体分布导出样本的联合分布律(或联合密度),当总体为连续型随机变量时,当总体为离散型随机变量时,(3) 在最大值点的表达式中, 用样本值代入 就得参数的最大

4、似然估计值 .,(2) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE;,对似然函数两边同时取对数得到 对数似然函数ln L( ),对ln L( )关于参数求导数，若为 多个参数，分别求偏导数，并令导函数=0,解方程得到最大值点,(4) 未知参数的函数的最大似然估计,设总体X的分布类型已知,其概率密度（或概率函数）为f(x; ), 未知参数的已知函数为g( ).若 为 的最大似然估计, 则规定,为 g( )的最大似然估计.,例7.1.4 设x1, x2, xn是取自总体 XB(1, p) 的一个样本，求参数p的最大似然估计.,解：似然函数为:,对数似然

5、函数为：,对p求导并令其为0，,=0,得,即为 p 的MLE .,例7.1.5 一罐中装有白球和黑球，有放回地抽取一个容量为n的样本，其中有 k 个白球，求罐中黑球与白球之比 R 的极大似然估计.,解: 设X1,X2,Xn为所取样本，,则X1,X2,Xn是取自B(1, p)的样本，p是每次抽取时取到白球的概率，p未知 .,先求p的MLE：,在前面例7中, 我们已求得p的MLE为,由前述极大似然估计的性质不难求得,的MLE是,解：似然函数为,对数似然函数为,例7.1.6 设x1, x2,xn是取自总体X的一个样本,求 的极大似然估计.,其中 0,求导并令其为0,=0,从中解得,即为 的MLE .

6、,对数似然函数为,例7.1.7 设总体 X N (, 2), x1, x2, xn 是 X 的 一组样本值，求 , 2 的极大似然估计.,解：似然函数为：,两边同时取对数得对数似然方程, 2 的极大似然估计量分别为,求偏导数得似然方程组为,解方程：,例7.1.8 设X1,X2, Xn是取自总体 XU(a, b) 的一个样本，求参数a, b的矩估计和极大似然估计.,解：X 的密度函数为,似然函数为,似然函数只有当 a xi b, i = 1,2, n 时才能 获得最大值, 且 a 越大, b 越小, L 越大.,令,xmin = min x1, x2, xn xmax = max x1, x2, xn,取,故,是 a , b 的极大似然估计值.,分别是 a , b 的极大似然估计量.,例7.1.9 设总体X的概率分布为,其中0 1/2为未知参数。今对X进行观测， 得如下样本值 0，1，2