最小方差无偏估计UMVUE.ppt

第六章第三节最小方差无偏估计 一 Rao Blackwell定理 二 最小方差无偏估计 三 Cramer Rao不等式 优良的无偏估计都是充分统计量的函数 将之应用在参数估计中可得 一 Rao Blackwell定理 注 定理2表明 若无偏估计不是充分统计量的函数 则将之对充分统计量求条件期望可得一个新的无偏估计 且它为充分统计量的函数且方差会减小 即 考虑点估计只需在充分统计量的函数中进行 这就是 充分性原则 令 p2 则 为 的无偏估计 因为是充分统计量 由定理2 从而可令 可得 故为 的无偏估计 且 进一步改进 二 最小方差无偏估计 定义 注 一致最小方差无偏估计是一种最优估计 由定理2 只要它存在 它一定是充分统计量的函数 一般地 若依赖于充分统计量的无偏估计只有一个 它一定是UMVUE Problem 无偏估计的方差是否可以任意小 如果不能任意小 那么它的下界是什么 是总体X的样本 定理3 UMVUE准则 设 如果对任一个满足 是 的任一无偏估计 反之亦成立 1 Fisher信息量的定义 三 罗 克拉美 Cramer Rao 不等式 1 是实数轴上的一个开区间 设总体X的概率函数为p x 且满足条件 正则条件 1 I 越大 总体分布中包含未知参数的信息越多 例3 设总体为Poisson分布 即 注 例4 设总体为指数分布Exp 1 即 2 I 的另一表达式为 注 常见分布的信息量I 公式 两点分布X b 1 p 泊松分布 指数分布 正态分布 设总体X的概率函数为p x 满足上面定义中的条件 x1 xn是来自总体X的一个样本 T x1 xn 是g 的一个无偏估计 2 定理4 Cramer Rao不等式 的微分可在积分号下进行 即 则有特别地对 的无偏估计有 上述不等式的右端称为C R下界 I 为Fisher信息量 注 1 定理对离散型总体也适用 只需改积分号为求和号 2 在定理4条件下 若g 的无偏估计量T的方差VarT 达到下界 则T必为g 的最小方差无偏估计 但是它不一定存在 也就是说 C R不等式有时给出的下界过小 3 当等号成立时 T为达到方差下界的无偏估计 此时称T为g 的有效估计 有效估计一定是UMVUE 反之不真 3 有效估计 定义 定义 注 综上 求证T是g 的有效估计的步骤为 2020 3 17 13 可编辑 例5 设总体X Exp 1 密度函数为 为X的一个样本值 求 的最大似然估计量 并判断它是否为达到方差下界的无偏估计 即有效估计 为参数 解 由似然函数 经检验知 的最大似然估计为 所以它是 的无偏估计量 且 而 故是达到方差下界的无偏估计 所以 C R下界为 例8 设x1 xn为取自总体为正态分布N 2 的样本 验证 因此 是 的有效估计 解 已证过为U E 下求 的C R下界 由于 而 的C R下界为 是 的有效估计 因此 而 2的C R下界为 注3对于的C R下界为 当已知 0时 易证 的无偏估计为 可证 这是 的UMVUE 其方差大于C R下界 因此所有 的无偏估计的方差都大于其C R下界 即C R下界过小 P307 4 最大似然估计的渐近正态性 定理 略 在总体的分布满足一定条件 P307 的情况下 存在具有相合性和渐近正态性的最大似然估计 且 即 最大似然估计通常是