数理统计与随机过程4--参数估计.ppt

数理统计与随机过程 1 兰州大学信息科学与工程学院 主讲 路永刚E mail ylu 第七节参数估计 数理统计的任务 总体分布类型的判断 总体分布中未知参数的推断 参数估计与假设检验 参数估计问题的一般提法 设总体X的分布函数为F x 其中 为未知参数或参数向量 现从该总体中抽样 得到样本 X1 X2 Xn 依样本对参数 做出估计 或估计参数 的某个已知函数g 这类问题称为参数估计 参数估计包括 点估计和区间估计 称该计算值为u的一个点估计 为估计参数u 需要构造适当的统计量 X1 X2 Xn 一旦当有了样本 就将样本值代入到该统计量中 算出一个值 作为u的估计 点估计 寻求估计量的方法 1 矩估计法 2 极大似然法 3 最小二乘法 4 贝叶斯方法 其思想是 用同阶 同类的样本矩来估计总体矩 矩估计是基于 替换 思想建立起来的一种参数估计方法 最早由英国统计学家K 皮尔逊提出 7 1矩估计 矩估计就是用相应的样本矩去估计总体矩 设总体X的分布函数中含k个未知参数 步骤一 记总体X的m阶原点矩E Xm 为am m 1 2 k am 1 2 k m 1 2 k 一般地 am m 1 2 K 是总体分布中参数或参数向量 1 2 k 的函数 故 am m 1 2 k 应记成 矩估计步骤 步骤二 算出样本的m阶原点矩 步骤三 令 得到关于 1 2 k的方程组 L k 一般要求方程组 1 中有k个独立方程 步骤四 解方程组 1 并记其解为 这种参数估计法称为参数的矩估计法 简称矩法 解 先求总体的期望 例1 设总体X的概率密度为 由矩法 令 样本矩 总体矩 解得 为 的矩估计 解 先求总体的均值和2阶原点矩 例2 设X1 X2 Xn是取自总体X的简单样本 X有概率密度函数 2阶原点矩 用样本矩估计总体矩 求解得 列出方程组 例3 设总体X的均值为 方差为 2 求 和 2的矩估计 解 故 均值 方差 2的矩估计为 求解 得 如 正态总体N 2 中 和 2的矩估计为 例4 若总体X U a b 求a b的矩估计 解 列出方程组 样本矩 总体矩 解上述方程组 得到a b的矩估计 矩估计的优点是 简单易行 不需要事先知道总体是什么分布 缺点是 当总体的分布类型已知时 未充分利用分布所提供的信息 此外 一般情形下 矩估计不具有唯一性 如 泊松分布 E X Var X 所以分别利用E X 和Var X 会得到参数不同的估计值 讨论 使用矩估计法需要什么前提条件 7 2极大似然估计 极大似然估计法是在总体的分布类型已知前提下 使用的一种参数估计法 该方法首先由德国数学家高斯于1821年提出 其后英国统计学家费歇于1922年发现了这一方法 研究了方法的一些性质 并给出了求参数极大似然估计一般方法 极大似然估计原理 I 极大似然估计原理 设总体X的分布 连续型时为概率密度 离散型时为概率分布 为f x X1 X2 Xn是抽自总体X的简单样本 于是 样本的联合概率函数 连续型时为联合概率密度 离散型时为联合概率分布 为 被看作固定 但未知的参数 视为变量 将上式简记为L 即 称L 为 的似然函数 视为变量 视为固定值 似然函数 假定我们观测到一组样本X1 X2 Xn 要去估计未知参数 称为 的极大似然估计 MLE 一种直观的想法是 哪个参数 多个参数时是哪组参数 使得这组样本出现的可能性 概率 最大 就用那个参数 或哪组参数 作为参数的估计 这就是极大似然估计原理 即 如果 可能变化空间 称为参数空间 4 在最大值点的表达式中 代入样本值 就得参数 的极大似然估计 II 求极大似然估计 MLE 的一般步骤 由总体分布导出样本的联合概率函数 连续型时为联合概率密度 离散型时为联合概率分布 2 把样本的联合概率函数中的自变量看成已知常数 参数 看成自变量 得到似然函数L 3 求似然函数L 的最大值点 常常转化为求lnL 的最大值点 即 的MLE 两点说明 求似然函数L 的最大值点 可应用微积分中的技巧 由于ln x 是x的增函数 所以lnL 与L 在 的同一点处达到各自的最大值 假定 是一实数 lnL 是 的一个可微函数 通过求解似然方程 可以得到 的MLE 用上述方法求参数的极大似然估计有时行不通 这时要用极大似然原理来求 若 是向量 上述似然方程需用似然方程组 代替 极大似然估计示意图 H 样本集 极大似然估计示意图 D 样本集 l ln P 极大似然估计的对数似然方程 人们通常把叫做对数似然函数 III 下面举例说明如何求参数的MLE 例1 设X1 X2 Xn是取自总体X B 1 p 的一个样本 求参数p的极大似然估计 解 似然函数为 对数似然函数为 对p求导 并令其等于零 得 上式等价于 解上述方程 得 换成 换成 例2 求正态总体N 2 参数 和 2的极大似然估计 注 我们把 2看作一个参数 解 似然函数为 对数似然函数为 似然方程组为 由第一个方程 得到 代入第二方程 得到 此结果与矩估计相同 例3 设总体X服从泊松分布P 求参数 的极大似然估计 解 由X的概率分布函数为 得 的似然函数 似然方程为 对数似然函数为 其解为 换成 换成 得 的极大似然估计 例4 设X U a b 求a b的极大似然估计 解 因 所以 由上式看到 L a b 作为a和b的二元函数是不连续的 所以我们不能用似然方程组来求极大似然估计 而必须从极大似然估计的定义出发 求L a b 的最大值 为使L a b 达到最大 b a应该尽量地小 但b不能小于max x1 x2 xn 否则 L a b 0 类似地 a不能大于min x1 x2 xn 因此 a和b的极大似然估计为 此结果与矩估计结果不同 矩估计结果为 解 似然函数为 例5 设X1 X2 Xn是抽自总体X的一个样本 X有如下概率密度函数 其中 0为未知常数 求 的极大似然估计 也可写成 求导并令其导数等于零 得 解上述方程 得 离散情况举例