最小方差无偏估计.ppt

6 3最小方差无偏估计 6 3 1Rao Blackwell定理 定理6 3 1设X和Y是两个随机变量 EX Var X 0 定义则有其中等号成立的充要条件是X和几乎处处相等 以下定理说明 好的无偏估计都是充分统计量的函数 定理6 3 2设总体概率函数是p x x1 x2 xn是其样本 T T x1 x2 xn 是 的充分统计量 则对 的任一无偏估计 令 则也是 的无偏估计 且 定理6 3 2说明 如果无偏估计不是充分统计量的函数 则将之对充分统计量求条件期望可以得到一个新的无偏估计 该估计的方差比原来的估计的方差要小 从而降低了无偏估计的方差 换言之 考虑 的估计问题只需要在基于充分统计量的函数中进行即可 该说法对所有的统计推断问题都是正确的 这便是所谓的充分性原则 例6 3 1设x1 x2 xn是来自b 1 p 的样本 则是p的充分统计量 为估计 p2 可令由于 所以是 的无偏估计 这个只使用了两个观测值的估计并不好 下面我们用Rao Blackwell定理对之加以改进 求关于充分统计量的条件期望 得 6 3 2最小方差无偏估计 定义6 3 1对参数估计问题 设是 的一个无偏估计 如果对另外任意一个 的无偏估计 在参数空间 上都有则称是 的一致最小方差无偏估计 简记为UMVUE 如果UMVUE存在 则它一定是充分统计量的函数 定理6 3 3设x x1 x2 xn 是来自某总体的一个样本 是 的一个无偏估计 如果对任意一个满足E x 0的 x 都有则是 的UMVUE 关于UMVUE 有如下一个判断准则 例6 3 2设x1 x2 xn是来自指数分布Exp 1 的样本 则T x1 xn是 的充分统计量 而是 的无偏估计 设 x1 x2 xn 是0的任一无偏估计 则两端对 求导得这说明 从而由定理6 3 3 它是 的UMVUE 6 3 3Cramer Rao不等式 定义6 3 2设总体的概率函数P x 满足下列条件 1 参数空间 是直线上的一个开区间 2 支撑S x P x 0 与 无关 3 导数对一切 都存在 4 对P x 积分与微分运算可交换次序 5 期望存在 则称为总体分布的费希尔 Fisher 信息量 费希尔信息量是数理统计学中一个基本概念 很多的统计结果都与费希尔信息量有关 如极大似然估计的渐近方差 无偏估计的方差的下界等都与费希尔信息量I 有关 I 的种种性质显示 I 越大 可被解释为总体分布中包含未知参数 的信息越多 例6 3 3设总体为泊松分布P 分布 则于是 例6 3 4设总体为指数分布 其密度函数为可以验证定义6 3 2的条件满足 且于是 定理6 3 4 Cramer Rao不等式 设定义6 3 2的条件满足 x1 x2 xn是来自该总体的样本 T T x1 x2 xn 是g 的任一个无偏估计 存在 且对一切 微分可在积分号下进行 则有 上式称为克拉美 罗 C R 不等式 g 2 nI 称为g 的无偏估计的方差的C R下界 简称g 的C R下界 特别 对 的无偏估计 有 如果等号成立 则称T T x1 xn 是g 的有效估计 有效估计一定是UMVUE 例6 3 5设总体分布列为p x x 1 1 x x 0 1 它满足定义6 3 2的所有条件 可以算得该分布的费希尔信息量为 若x1 x2 xn是该总体的样本 则 的C R下界为 nI 1 1 n 因为是 的无偏估计 且其方差等于 1 n 达到C R下界 所以是 的有效估计 它也是 的UMVUE 例6 3 6设总体为指数分布Exp 1 它满足定义6 3 2的所有条件 例6 3 4中已经算出该分布的费希尔信息量为I 2 若x1 x2 xn是样本 则 的C R下界为 nI 1 2 n 而是 的无偏估计 且其方差等于 2 n 达到了C R下界 所以 是 的有效估计 它也是 的UMVUE 能达到C R下界的无偏估计不多 例6 3 7设总体为N 0 2 满足定义6 3 2的条件 且费希尔信息量为 令 则 的C R下界为 而 的UMVUE为其方差大于C R下界 这表明所有 的无偏估计的方差都大于其C R下界 费希尔信息量的主要作用体现在极大似然估计 定理6 3 5设总体X有密度函数p x 为非退化区间 假定 1 对任