第7.2节-极大似然估计——概率论与数理统计李长青版课件

1、参数估计,第 七 章,第二节 极大似然估计,引例1 设有外形完全相同的两个箱子, 甲箱有99个,白球1个黑球, 乙箱有1个白球99个黑球. 今随机地抽取,一箱, 再从取出的一箱中抽取一球, 结果取得白球. 问,这球从哪一个箱子中取出?,极大似然原理,引例2 设某车间生产一批产品, 要估计这批产品的,不合格品率 p. 在此处我们用随机变量 X 来描述一件产,品是合格品或不是合格品.,表示这件产品是不,合格品,表示这件产品是合格品.,X 服从概率,分布,此处,为不合格品率.,随机地从中抽取一个容量为 n 的样本 X1, X2, Xn ,此样本取到观察值x1, x2, xn 的概率为,此样本取到观察

2、值x1, x2, xn 的概率为,上述概率显然是未知参数,p 的函数, 称作似然函数, 记作,因为一次抽样就得到了观察值 x1, x2, xn , 因此, 在一,次抽样中获得这一组特殊观察值的概率应最大, 即似然,函数L( p)应该达到最大值.,因此，取使L( p)达到最大值的 p 值作为未知参数,p 的估计是合理的.,所以, 问题转化为寻求函数 L(p),的最大值点.,但因L(p)与 lnL(p) 在同一点达到极大值, 故问题可,转化为求lnL(p)的极大值点 .,由于,令,由此得方程,解这方程得,可以验证，它使 L(p) 达到最大值.,-极大似然估计量,极大似然估计值,由此得,一般, 设

3、X 为离散型随机变量, 其分布律为,则样本 X1, X2, Xn的概率分布为,记,样本的似然函数.,称这样得到的,为参数 的极大似然估计值, 记作,称统计量,为参数 的极大似然估计量，记作,极大似然法的思想,选择适当的 = ,使L( ) 取最大值, 即,若 X 连续, 取 f (xi, )为Xi 的密度函数,似然函数为,注1,注2,未知参数可以不止一个, 如1, k .,设X 的密度(或分布)为,则定义似然函数为,若,关于1, , k可微,则称,为似然方程组.,若对于某组给定的样本值 x1, x2, xn，参数,使似然函数取得最大值, 即,显然，,称统计量,为1, 2,k 的极大似然估计量,是

4、,的函数，即,例1 设总体,是来自总体 X 的,样本, 求参数的最大似然估计.,解,设,是样本观察值,则似然函数为,对数似然函数为,令,由此解得,由此解得,又因为,由此得,最大似然估计值,最大似然估计量,例2 设总体 X 的概率分布为,值 3, 0, 3, 1, 3, 1, 2, 3求参数 的最大似然估计值.,解,对数似然函数为,令,解之得,又因,所以,均为,的极大值, 由,知,的最大似然估计值为,注意: 在上例中，若参数,则需比较,的最大似然估计值.,因为,故这时应取,作为 的最大似然估计值.,将函数值较大的对应的参数值作为,例3 设总体 X N (, 2), x1, x2, xn 是 X

5、的样本,值, 求 , 2 的极大似然估计.,解,似然函数为,对数似然函数为,似然方程组为,由此解得, 2 的极大似然估计量分别为,求极大似然估计的方法,1） 写出似然函数 L,可得未知参数的极大似然估计值,然后, 再求得极大似然估计量.,L是 的可微函数,解似然方程组,若,L不是 的可微函数, 需用其它,若,方法求极大似然估计值. 请看下例：,例4 设 X U (a,b), x1, x2, xn 是 X 的一个,解,X的密度函数为,似然函数为,样本值, 求 a , b 的极大似然估计值与极大似然,估计量.,似然函数只有当 a xi b, i = 1,2, n 时才能获得最,令,xmin = min x1, x2, xn,取,都有,大值, 且 a 越大, b 越小, L 越大.,xmax = max x1, x2, xn,故,是 a , b 的极大似然估计值.,分别是 a , b 的极大似然估计量.,极大似然估计的不变性,设 是 的极大似然估计值, u( ),( )是 的函数, 且有单值反函