数理统计5.ppt

三 极大似然估计 一 参数估计问题 第三章 参数估计 四 估计的优良性与比较 五 区间估计 二 替换原则与矩法 3 1参数估计问题 参数估计是统计推断的基本问题之一 问题中 并不一定要求密度函数 而只要知道参数那么 在许多实际 分布就决定了 考察灯泡厂生产的灯泡质量 由于种种随机 易知灯泡使用寿命是随机变量 记为 且 引例1 因素的影响 知道了参数 2的值 那么寿命X的分布就完全 确定了 参数估计要解决问题 总体分布函数的形式为已知 需要确定未知参数 这类问题称为参数估计问题 只有当参数确定后 才能通过 概率密度函数计算概率 对于未知参数 如何应用样本 所提供的信息去对其一个或多个未知参数进行估计 对未知参数估计的两种方法 通过样本 1 点估计 2 区间估计 3 2替换原则与矩法 考虑简单随机样本的情形 设 的简单随机样本 参数 为来自总体分布 参数 在参数空间 的分布 对应 此时 参数 可用总体分布函数表示 例如 对泊松分布 对正态分布 等等 这里 分别为 内与总体 的 分布函数 由此可见 参数 的 泛函 若 是分布函数 是分布函数 的某种估计 很自然用 作为 的估计 这种方法叫做 替换原则 由定理2 5 2知 用简单随机样本 可以得到经验分布函数 它是总体分布 的一个优良估计 在 中用 代替 即可得到 的参数估计 由于当样本量增大时 无限接近 具有连续性 可以期望得到未知参数的合理估计 这种方法不仅 只要函数 可以用于参数的估计 也可以用于估计总体的其他 数字特征 3 2 1矩的估计 分布 的k阶原点矩定义为 用经验分布函数 代替其中的分布函数 得到 的估计 一般来说 用经验分布函数替换总体分布函数 等于 直接用样本矩替换相应的总体矩 即 3 2 2 矩估计法 建立的一种估计方法 基于 替换 思想 理论依据 这种估计量称为矩估计量 矩估计量的观察值称为矩估计值 例1设某炸药厂一天中发生着火现象的次数X服从 例2 解 由矩法 解得 解由密度函数知 具有均值为的指数分布 故E X D X 例5 的指标独立同分布 例6假定人群中某项健康指标有下列性质 1 服从均值为 的正态分布 2 无亲属关系的人 3 同一家庭兄弟 姊妹之间该项指标的协方差为 今随机抽取 100个家庭 每个家庭抽取两个子女测量该指标 得到 试估计 解分析 对于100个家庭来说该指标是独立的 但是对于同一个家庭的两个孩子来说该指标又是不独立的 所以有下面的表示 由前知 因此 联立两式解得 例7设 其中 是连续型分布 试估计总体分布的中位数 解由中位数的定义 满足 即X落到 左右两边的概率 均为0 5 对于经验分布而言 具有这个性质 的数是样本中位数 中位数 是函数 的极小点 用经验分布函数 代替积分中的 样本中位数 恰是函数 实上 当 时 对任何 关于 得到关于 的函数 的极小值点 事 有 从而 达到最小值当且仅当以上各式中所有等号 成立 这等价于 类似地 当 时 最小值点为 极大似然估计是在总体类型已知条件下使用的又一种参数估计方法 3 3极大似然估计 引例2袋中有红球和白球 红球与白球的比例 有两种可能 1比4或者是4比1 有放回随机抽 取10个球 其中红球数为7 问红球与白球的比 例是多少 解红球与白球的比例应该是4比1 原因如下 上述问题可以描述为 设袋中红球的比例为 已知 有放回抽取时 若得红球则 否则记 则 现观测10次 得 已知 问题是如何根据观测数据求 的估计 由 我们倾向于认为 否则 我们分别计算一下 在两个值下 上述检测结果 记为事件A 出现的概率 这表明 人们常把观测结果出现的可能性作为 依据 挑选样本观测值出现概率最大的参数值 作为参数的估计 再如 一只野兔从前方窜过 是谁打中的呢 某位同学与一位猎人一起外出打猎 如果要你推测 你会如何想呢 只听一声枪响 野兔应声倒下 你就会想 只发一枪便打中 猎人命中的概率一般大于这位同学命中的概率 看来这一枪是猎人射中的 这个例子所作的推断也体现了极大似然法的基本思想 以上这种选择一个参数使得试验结果具有最大概率的思想就是极大似然法的基本思想 极大似然估计法 4 在最大值点的表达式中 用样本值代入就得参数的极大似然估计值 1 由总体分布导出样本的联合分布律 或联合密度 2 把样本联合分布律 或联合密度 中自变量看成已知常数 而把参数看作自变量 得到似然函数L 3 求似然函数L 的最大值点 常常转化为求lnL 的最大值点 即的MLE 求极大似然估计 MLE 的一般步骤是 两点说明 2 用上述求导方法求参数的MLE有时行不通 这时要用极大似然原则来求 下面举例说明如何求极大似然估计 L p 设X1 X2 Xn是取自总体X b 1 p 的一个样本 求参数p的极大似然估计 解 似然函数为 例1 对数似然函数为 对p求导并令其为0 0 得 即为p的MLE 解 似然函数为 对数似然函数为 设X1 X2 Xn是取自总体X的一个样本 求的极大似然估计 其中 0 例2 求导并令其为0 0 从中解得 即为的MLE 对数似然函数为 似然函数为 它与矩估计量是相同的 极大似然估计不变性 解 似然函数为 i 1 2 n 例4 对数似然函数为 解 似然函数为 i 1 2 n 求导方法无法求参数的MLE 是 对 故使达到最大的即的MLE 取其它值时 且是的增函数 由于 这时要用极大似然原则来求 即为的MLE 例5设 求 的极大似然估计量 解 其中 其中 由于估计量作为样本的函数是一个随机变量 对于不同的样本值 估计值也不同 因此评价一个估计量的优劣就不能仅由一个观测值来确定 而要根据估计量的统计性质来评价 通常一个好的估计量其观测值应在待估计参数的真值附近波动 且波动的幅度越小越好 即要使估计量与待估计参数在某种统计意义下非常 接近 一 均方误差与相对有效性 二 无偏估计与一致最小方差无偏估计 三 相合估计 四 渐近正态性 3 6估计的优良性与比较 为参数 的估计 称 一 均方误差与相对有效性 定义3 6 1设 为样本 为 是参数函数 的均方误差 记为 叫做估计 其中 的偏差 定义3 6 2设 和 都是 的估计 若 对一切 都有 并且至少在 一个 处小于号成立 则称估计 比 有效 例题3 6 1设 独立同分布 比较参数 的矩估计和极大似然估计的有效性 而它的期望值等于未知参数的真值 则称为的无偏估计 二 无偏性与一致最小方差无偏估计 估计量是随机变量 对于不同的样本值会得到不同的 估计值 我们希望估计值在未知参数真值附近摆动 这个标准 这就导致无偏性 定义 例如设总体X的数学期望 存在 是X的样本 求证 均为 的无偏估计 为 2的无偏估计量 不是 2的无偏估计量 证 是 的无偏估计 用S2来估计 2有系统偏差 例2设 是总体 的样本 使 为 的无偏估计量 求 故当 时 例3设 是总体 对于任意常数 统计量 都是参数 的无偏估计量 证由于 的样本 证明 例 由大数定律知 一致性说明 对于大子样 由一次抽样得到的估计量的值可作 的近似值 都是一致估计 无偏估计的有效性 都是参数的无偏估计量 若有 定义3 则称较有效 例4设总体 的数学期望和方差都存在 是X的样本 证明统计量 都是总体均值 的无偏估计量 并确定哪个估计量更有效 解设 故 都是总体均值 的无偏估计量 又由于 估计量 更有效 下面讨论无偏估计方差的下界 达到这个下界的无偏估计 量称为优效估计量 最小方差无偏估计 定理 罗 克拉美不等式 条件见书80页 罗 克拉美不等式 右端为罗 克拉美下界 记为 类似 d r v 注 有时能找到无偏估计使它的方差达到这个下界 有时达不到 例题 试问 分别是 估计量的标准的总结 3 掌握求一致最小方差无偏估计的下界的方法步骤 求极大似然估计的一般步骤 写出