中南大学数理统计课件.ppt

第七章参数估计 总体是由总体分布来刻画的 总体分布类型的判断 在实际问题中 我们根据问题本身的专业知识或以往的经验或适当的统计方法 有时可以判断总体分布的类型 总体分布的未知参数的估计 总体分布的参数往往是未知的 需要通过样本来估计 通过样本来估计总体的参数 称为参数估计 它是统计推断的一种重要形式 本章讨论 参数估计的常用方法 估计的优良性准则 若干重要总体的参数估计问题 这类问题称为参数估计 参数估计问题的一般提法 X1 X2 Xn 参数估计 点估计 区间估计 一 点估计概念及讨论的问题 例1已知某地区新生婴儿的体重X 随机抽查100个婴儿得100个体重数据 得100个体重数据9 7 6 6 5 5 5 2 而全部信息就由这100个数组成 把样本值代入T X1 X2 Xn 中 得到 的一个点估计值 二 寻求估计量的方法 1 矩估计法 2 极大似然法 3 最小二乘法 4 贝叶斯方法 这里我们主要介绍前面两种方法 其基本思想是用样本矩估计总体矩 理论依据 矩是基于一种简单的 替换 思想建立起来的一种估计方法 是英国统计学家K 皮尔逊最早提出的 大数定律 1 矩估计 记总体k阶矩为 样本k阶矩为 用相应的样本矩去估计总体矩的估计方法就称为矩估计法 记总体k阶中心矩为 样本k阶中心矩为 设总体X的分布函数中含有k个未知参数 步骤一 我们把总体X的m阶原点矩E Xm 记为am m 1 2 k am 1 2 k m 1 2 k 方法 步骤二 算出m阶样本原点矩 步骤三 令am 1 2 k Am m 1 2 k 得关于 1 2 k的方程组 步骤四 解这个方程组 其解记为 它们就可以做为 1 2 k的估计 这样求出的估计叫做矩估计 解 由矩法 从中解得 解 由密度函数知 具有均值为的指数分布 故E X Var X 设总体的均值为 方差为 2 于是 由此列出方程组 例3求均值 方差 2的矩估计 均值 方差 2的矩估计是 例如求正态总体N 2 两个未知参数 和 2的矩估计为 总体均匀分布X U a b 求 两个参数a b的矩估计 解 又如 但是 由方程组求解出a b的矩估计 例4 设某电子元件的寿命 以小时计 T服从双参数的指数分布 其概率密度为 为未知参数 从这一批元件中随机地抽取n件进行寿命试验 得它们的失效时间依次为求 解 先求E T Var T 如下 即 参数的矩估计为 矩估计法优缺点 优点 1 不必知道总体的分布函数 2 直观简便 缺点 1 矩估计法有时会得到不合理的解 2 使用不同阶的矩 会得到不同的解 3 总体分布的原点矩不一定存在 2 极大似然法 是在总体类型已知条件下使用的一种参数估计方法 它首先是由德国数学家高斯在1821年提出的 Gauss Fisher 然而 这个方法常归功于英国统计学家费歇 费歇在1922年重新发现了这一方法 并首先研究了这种方法的一些性质 极大似然原理的直观想法 一个随机试验如有若干个可能的结果A B C 若在一次试验中 结果A出现 则一般认为试验条件对A出现有利 也即A出现的概率很大 如 有两位同学一起进行实弹射击 两人共同射击一个目标 事先不知道谁的技术好 让每人各打一发 有一人击中目标 那么认为击中的同学的技术比不击中的技术较好 通过一个例子来了解其思想 例如 一个盒子中有黑色和白色的球共四个 其中一种颜色的是三个 另外一种颜色的是一个 试通过试验估计两种球的比例 解 今用有放回抽取的方法从布袋中抽取n个球 其中黑球的个数记为 则服从二项分布 今就n 3的情形讨论如下 怎样通过子样的观察值也即x的取值来估计参数p呢 换句话说 在什么情形下取p 1 4 而在另外的情况下取p 3 4更为合理呢 为此 我们就p 1 4或p 3 4为参数值的二项分布计算到的概率列入下表 我们从对子样所下的定义知道 子样来自总体并很好的反映了总体的概率分布特征 因此 我们在对总体的分布函数的参数做估计时 应该从子样的观察值出发来考虑 在这个例子中 如果我们观察到的黑球个数x 0 由P 0 1 4 27 64及P 0 3 4 1 64知 显然P 0 1 4 P 0 3 4 这表明使x 0的子样从P 1 4为参数的 总体中抽取比从参数P 3 4的总体中抽取更有可能发生 因而取1 4作为p的估计比取3 4作为p的估计更为合理 类似地 当x 1时 取1 4作为p的估计比取3 4更为合理 而当x 2或3时 取3 4作为p的估计比取1 4更为合理 综上所述 确定参数的估计量为 也就是说 对于每个x值 选取使得 其中 是不同于的任一估计量 总体 密度函数 是子样 的观察值 极大似然法原理是选取使得子样落在观察值的邻域的概率达到最大的数值作为参数的估计值 极大似然估计原理 当给定样本X1 X2 Xn时 定义似然函数为 设X1 X2 Xn是取自总体X的一个样本 样本的联合密度 连续型 或联合概率函数 离散型 为f X1 X2 Xn 似然函数 极大似然估计法就是用使达到最大值的去估计 称为的极大似然估计 MLE 看作参数的函数 它可作为将以多大可能产生样本值X1 X2 Xn的一种度量 4 在最大值点的表达式中 用样本值代入就得参数的极大似然估计值 求极大似然估计 MLE 的一般步骤是 1 由总体分布导出样本的联合概率函数 或联合密度 2 把样本联合概率函数 或联合密度 中自变量看成已知常数 而把参数看作自变量 得到似然函数L 3 求似然函数L 的最大值点 常常转化为求lnL 的最大值点 即的MLE 两点说明 1 求似然函数L 的最大值点 可以应用微积分中的技巧 由于ln x 是x的增函数 lnL 与L 在的同一值处达到它的最大值 假定是一实数 且lnL 是的一个可微函数 通过求解所谓 似然方程 可以得到的MLE 若是向量 上述方程必须用似然方程组代替 2 用上述求导方法求参数的MLE有时行不通 这时要用极大似然原则来求 下面举例说明如何求极大似然估计 L p f X1 X2 Xn p 例1设X1 X2 Xn是取自总体X B 1 p 的一个样本 求参数p的极大似然估计 解 似然函数为 对数似然函数为 对p求导并令其为0 0 得 即为p的MLE 正态总体N 2 两个未知参数 和 2的极大似然估计 注 我们把 2看作一个参数 解 例2 似然方程组为 根据第一式 就得到 代入第二式 就得到 由上 似然方程组的解唯一 下面验证它是极大值点 是L 2 的最大值点 和 2的极大似然估计量是 总体泊松分布X P 求 参数 的极大似然估计 解 例3 似然方程为 是logL 的最大值点 的极大似然估计量是 总体均匀分布X U a b 求 两个参数a b的极大似然估计 解 例4 似然方程为 显然 从上式不可能解得a和b的极大似然估计量 现在 我们从似然函数的定义来确定a b的极大似然估计量 为使L a b 达到最大 b a应该尽量地小 但b又不能小于max x1 x2 xn 否则 L a b 0 类似地 a不能大过min x1 x2 xn 因此 a和b的极大似然估计为 解 似然函数为 对数似然函数为 例5设X1 X2 Xn是取自总体X的一个样本 求的极大似然估计 其中 0 似然方程为 解得的极大似然估计为 例