应用数理统计Cha.ppt

浙江财经学院本科教学课程 应用数理统计应用数理统计 第三章 点估计（三） 3.1 预备 3.2 矩估计 3.3 极大似然估计 3.5 Cramer-Rao不等式 1 3.3 极大似然估计 思想方法思想方法：一次试验就出现的事件有较大的概率 例如例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球 现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球. 问: 所取的球来自哪一箱?答: 第一箱. 极大似然估计就是通过样本观察值 求得总体的 分布参数,使得 取值为 的概率最大. 2 n 似然函数 u 似然函数的定 义 3 ( (Likelihood function) ). 4 u 似然函数的定 义 5 XP (), 即 当样本X 为 ( x1, x2 , , xn )时，求样本的 似然函数. 例 解：解： 6 似然函数和概率函数是同一表达式,但含义不同. 注注 : : 概率函数概率函数:将 固定, 将其看成定义在样本空间 上的函数； 似然函数似然函数:将 x x 固定, 将其看成定义在参数空间 上的函数； 称 lnL( ) 为对数似然函数对数似然函数,记为 l ( ; ; x x ). 对数似然函数对数似然函数: : 7 n 引例 设罐子里装有黑球和红球，它们的比例是 1:3, 但不知道是黑球多还是红球多，则从中抽出一 球为黑球的概率 为 或 . 现从罐子里有放回地抽出 n 个球，试根据样本 数据，估计 的值为 ，还是 ？ 解：解：令Xi 表示第i 次抽球的结果，即 8 任务：任务： x0123 L( 1 1 ; x)27/64 27/649/641/64 L( 2 2 ; x)1/649/6427/6427/64 9 结论：结论： 10 n 问题 结论：结论： 若 这正是“极大似然”一词的由来. 11 如果某统计量 满足 则称 是 的极大似然估计极大似然估计 (Maximum Likelihood Estimate)，简记为MLEMLE。 称 lnL( ) 为对数似然函数对数似然函数,记为 l ( ; ; x x ). 由于很多分布族的p.d.f.中含有x的指数形式, 人们通常习惯于由对数似然函数lnL( )出发 寻找 的极大似然估计. 极大似然估计 n 定义 注注: : 12 当L( )是可微函数时，求导是求极大似然估计 最常用的方法. 因为L( )与lnL( )有相同的极 值点，一般对lnL( )求导更加简单些. n 极大似然估计的求 法 微分法；定义法. u 微分法 的解 . 13 u 定义法 当似然函数L( )有不连续点时，似然方程没有 意义，须从定义出发求极大似然估计. 如果 是 的极大似然估计，则对任一函数 g( )，其极大似然估计为 . n 性质 该性质称为极大似然估计的不变性不变性. 14 例 解：解：(1) 似然函数为 对数似然方程为 15 (2) 根据极大似然估计的不变性，有 例 解：解： (1) 似然函数为 对数似然函数为 16 对数似然方程为 (2) 根据极大似然估计的不变性，有 17 对正态总体N(, 2), =(, 2)是二维参 数，设有样本x1, x2 , , xn，求 的MLE. 例 解：解：似然函数与对数似然函数分别为 18 将 l(, 2) 分别关于两个分量求偏导并令其为 0, 即得到似然方程组 解此方程组，可得 与 2的MLE为 19 u虽然求导函数是求极大似然估计最常用 的方法，但并不是在所有场合求导都是 有效的。 设x1, x2 , , xn是来自均匀总体U(0, )的样本, 试求 的极大似然估计. 例 解：解： 似然函数为 要使L( )达到最大，要满足两个条件: (1)示性函数取值为1; (2) 1/ n 取到最大. 20 取到最小. 设x1, x2 , , xn是来自均匀总体U(0, )的样本, 试求 的极大似然估计. 例 解：解： 似然函数为 要使L( )达到最大，要满足两个条件: (1)示性函数取值为1;(2) 1/ n 取到最大. 21 (1) 标准差 ；(2) 概率 设x1 , x2 , , xn是来自正态总体N( ,