小方差无偏估计.ppt

第六章 第三节 最小方差无偏估计 一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式 优良的无偏估计都是充分统计量的函数. 将之应用在参数估计中可得: 其中等号成立的充要条件为X与 (Y)几乎处处相等. 定理1:设X和Y是两个r.v.,EX=,VarX0,令 则有 是样本, 是的充分统计统计 量, 定理2: 设总体的概率函数为p(x;), 对的任一无偏估计计 一、Rao-Blackwell 定理 注:定理2表明: 若无偏估计不是充分统计量的函数,则将之对充分统 计量求条件期望可得一个新的无偏估计,且它为充分统计量的函数且 方差会减小. 即, 考虑点估计只需在充分统计量的函数 中进行, 这就是 充分性原则. 令=p2 , 则 为的无偏估计. 因为 是充分统计量 ,由定理2, 从而可令 可得 故 为的无偏估计.且 例1.设为来自b(1,p) 的样本, 求p2的U.E 为p 的充分统计量解：前已求过: 进一步改进： 二、最小方差无偏估计 定义: 注： 一致最小方差无偏估计是一种最优估计.由定理2, 只要它存在.它一定是充分统计量的函数.一般地,若依赖 于充分统计量的无偏估计只有一个,它一定是UMVUE. Problem： 无偏估计的方差是否可以任意小? 如果不能任意小, 那么它的下界是什么? 是总体X的样本, 定理3: (UMVUE准则) 设 如果对任一个满足 是的任一无偏估计计, 例2: 设为来自Exp(1/) 的样本,则 为 的充分统计量,证明: 为的UMVUE. 反之亦成立. 1、 Fisher信息量的定义. 三、罗-克拉美（CramerRao ）不等式 (1)是实数轴上的一个开区间; 设总体X 的概率函数为p(x; ),且满足条件: 正则条件 (1)I()越大,总体分布中包含未知参数的信息越多。 例3:设总体为Poisson分布，即 注： 例4: 设总体为指数分布Exp(1/)，即 (2) I()的另一表达式为 注：常见分布的信息量 I()公式 两点分布X b(1,p) 泊松分布 指数分布 正态分布 设总体X 的概率函数为p(x ; ), 满足上面定义中 的条件；x1,.,xn 是来自总体X的一个样本, T(x1,.,xn )是 g( )的一个无偏估计. 2、定理4 (Cramer-Rao不等式): 的微分可在积分号下进行，即 则有 特别地对的无偏估计有 上述不等式的右端称为C-R下界, I() 为Fisher信息量. 注: (1) 定理对离散型总体也适用.只需改积分号为求和号。 (2) 在定理4条件下, 若g( ) 的无偏估计量T 的方差VarT 达到下界, 则T必为g( ) 的最小方差无偏估计. 但 是它不一定存在, 也就是说, C-R不等式有时给出 的下界过小. (3) 当等号成立时, T 为达到方差下界的无偏估计, 此时称T 为g()的有效估计。 有效估计一定是 UMVUE.（反之不真） 3. 有效估计 定义: 定义: 注: 综上, 求证T是g()的有效估计的步骤为: 例5. 设总体 XExp(1/),密度函数为 为 X 的一个样本值. 求 的最大似然估计量, 并判断它是否为达到方 差下界的无偏估计,即有效估计. 为参数 解: 由似然函数 经检验知 的最大似然估计为 所以它是 的无偏估计量,且 而 故 是达到方差下界的无偏估计. 所以 C-R下界为 例8. 设x1 ,.xn 为取自总体为正态分布N(,2)的样本, 验证 因此, 是的有效估计. 解：已证过 为U.E, 下求的C-R下界,由于 而的C-R下界为 是的有效估计因此 因此: 解: 由于 所以2的C-R下界为: 例9.(接前例)设x1 ,.xn 取自正态分布总体N(,2) , 若未知，讨论2的无偏估计 是否为有效估计. 由于 其期望为n-1 , 方差为2(n-1） 所以 即 不是2的有效估计，但为2的渐近有效估计. ,而2的C-R下界为 注1: 由P308第四题知 其方差大于C-R下界, 即有时C-R下界过小. 是2的UMVUE. 2:若已知, 此时 为2的有效估计. 注3对于 的C-R下界为: 当已知=0时时,易证证的无偏估计为 可证, 这是的UMVUE,其方差大于C-R下界.因此所有 的无偏估计的方差都大于其C-R下界,即C-R下界过小 .(P307) 4. 最大似然估计的渐近正态性 定理(略) 在总体的分布满足一定条件(P307)的情况下,存在具有 相合性和渐近正态性的最大似然估计 , 且 即,最大似然估计通常是渐近正态的,且其渐近方差