7.2 估计量的评选标准、7.3 一致最小方差无偏估计（课件）- 《概率论与数理统计》同步教学（机工版第4版）

《概率论与数理统计》

7.2估计量的评选标准

一、无偏性

定义ˆˆ统计量满足ˆ称ˆ

n(X1,,Xn)En,n

^

ˆ

为的无偏估计limEn,称n

(UE.)n

为的渐近无偏估计（AUE）。

易见1n1n

E(X)E(Xi)EXiE(X),

ni1ni1

n

12n12

E[(XiX)].

ni1n

X为的UE.

n

2122

Sn(XiX)为的AUE.

ni1

注:UE一定是AUE,反之未必成立.

iid

例

1X1,,Xn~U(0,θ),考察的矩估计和极大

似然估计的无偏性.

解:的矩估计和极大似然估计分别为

ME2X,MLEX(n)

ˆ

E(ME)2E(X)的矩估计是无偏的.

记

ZMLEX(n)

n1

nz

n,0z

fZ(z)

0,其它

^nzn1n

EMLEzdz

0nn1

故的极大似然估计不是无偏的,而是渐近无偏

的.

n1

取X

n(n)

则为的无偏估计.

k

例2设总体X的k阶矩k=EX存在,又设

X1,X2,…,Xn是X的一个样本.

试证明：不论总体X服从什么分布，k阶样本

n

1k

矩mkXi是k阶总体矩的无偏估计.

ni1

证明n

1k

ˆkXimk

ni1

n

1k

E(mk)E[Xi]k

ni1

例3设总体X的数学期望E(X)=，

X1,X2…Xn是来自X的一个样本，试证明：

ˆa1X1a2X2anXn

是的无偏估计量，其中a1,a2,…,an为任意

常数，且满足

a1a2an1.

证明因为E(Xi)E(X),i1,2,,n

nnn

ˆ

E()E(aiXi)E(aiXi)aiEXi

i1i1i1

二、有效性

^^

设分别是参数的两个

ii(X1,,Xn),i1,2

^^^^

无偏估计,若D1D2,则称1比2有效.

^n1^

考察例1中ME与MLE的有效性

n

^n1^

已知ME与MLE都是的UE

n

^42422

DMED(2X)

nn123n

2

n1^n1

D(MLE)D(X(n))

nn

nzn1n

E(Z2)z2dz2

n

0n2

2

^2

n1n12nn12

D(MLE)2

nnn2n1n2n

^22n1^

DMED(MLE)

3n(n2)nn

例4设X1,X2分别为取自总体X的容量为n1,n2的两个

样本的样本均值，求证：对任意实数a>0,b>0,a+b=1

统计量aX1bX2都是E(X)的无偏估计，并求a,b使

所得统计量最有效

解:E(aX1bX2)aE(X1)bE(X2)E(X)

故对任意实数a>0,b>0,a+b=1,统计量aX1bX2

都是E(X)的无偏估计

22

22ab

D(aX1bX2)aD(X1)bD(X2)()D(X)

n1n2

a2(1a)2

记:h(a)()

n1n2

h(a)2a2(1a)

令()0

an1n2

n

a1

n1n2

nn

b112

n1n2n1n2

例5在例3中，证明X无偏估计较ˆ更有效.

证明由柯西一施瓦兹不等式

2n

nnn

22

aibiaibiai1

i1i1i1i1

nnnnn

22221

得1(a)1ana2

iiiai

i1i1i1i1i1n

nn

12

D(X)D(X)aiD(X)D(aiXi)D(ˆ)

ni1i1

正是由于这一原因，我们在实际问题中总是

乐意X用来作为数学期望E(X)=的估计.

三、相合性

ˆ

定义n(X1,X2,,Xn)为参数的估计量，0

ˆ则称之为参数的相合估计.

limPn1

n

iid

例6.设X，，XB(m,p),已知,,讨

1n~m0<p<1

论p的极大似然估计量的相合性。

1

解:pˆX.1p

MLEmXp

m

由辛钦大数定理,

n的极大似然估计

1pp

XXiE(X)mp

ni1量是相合估计.

四、最小均方误差估计

定义设参数的估计为ˆ称MSE(ˆ)E(ˆ)2

为ˆ的均方误差。

性质：MSE(ˆ)D(ˆ)(Eˆ)2

证明：

MSE(ˆ)E(ˆ)2

E(ˆEˆEˆ)2

E(ˆEˆ)2(Eˆ)2

设参数的估计中均方误差达到最小的估计为ˆ

称ˆ最小均方误差估计.

小结

无偏性

有效性

相合性

最小均方误差

7.3一致最小方差无偏估计（UMVUE）

一、概念

^^

设分别是参数的两个

ii(X1,,Xn),i1,2

^^^^

无偏估计,若D1D2,则称1比2有效.

ˆ

定义：设n为关于的UE，对另一个任意的无偏估计n

ˆ

DnDn

ˆ

称n为关于一致最小方差无偏估计（UMVUE）。

如何求UMVUE？

定理1（Rao-Blackwell)设X，Y为两个随机变量，

EX=，Var(X)>0,(y)E(X|Yy),则

E(Y),Var{(Y)}Var(X)

等号成立的充要条件为：P{X(Y)}1

X,(Y)几乎处处相等。

证明：(y)E(X|Yy)xp(x|y)dx

xp(x,y)dx

pY(y)

E(Y)(y)p(y)dyxp(x,y)dx

Y

EX

Var(X)E{X(Y)(Y)}2

E{X(Y)}2E{(Y)}22E{X(Y)}{(Y)}

E{X(Y)}2Var{(Y)}2E{X(Y)}{(Y)}

E{X(Y)}{(Y)}

(x(y))((y))p(x,y)dxdy

(x(y))((y))p(x|y)p(y)dxdy

Y

((y))p(y)(x(y))p(x|y)dxdy

Y

(x(y))p(x|y)dxxp(x|y)dx(y)0

Var(X)E{X(Y)}2Var{(Y)}

定理2为总体的简单随机样本，

为未知参数，

ˆ

T为充分统计量,n为关于的UE，

ˆ

令nE{n|T}则

ˆ

En,Var{n}Var{n}

定理2实际上是定理1的推论。

说明：如果充分统计量存在，则UMVUE是充分统

计量的函数；

定理3（UMVUE判别法）

ˆ

为总体的简单随机样本，n为关于的UE，

ˆ

n为UMVUE的充分必要条件是：

对任一满足E(X)0的(X),有

ˆˆ

En(X)0,i.e.Cov(n,(X))0

证明：

设n为关于任一的UE，则令

ˆ

(X)nn,E(X)0

ˆˆˆ2ˆ

En(nn)0EnE(nn)

ˆ22ˆ2ˆˆ

EnE(nn)DnCov(n,n)

22

ˆˆˆˆ

DnCov(n,n)DnDnDnDn

ˆ

n为UMVUE。

""ˆ

n为UMVUE，设t为一非随机数，则

ˆˆˆˆ

DnD(nt(X))Cov(nt(X),nt(X))

ˆˆˆ2

Cov(n,n)2tCov(n,(X))tCov((X),(X))

ˆˆ2

Dn2tEn(X)tD((X))

2ˆ

tD((X))2tEn(X)0

2

ˆˆ

4En(X)0En(X)0

二、Cramer-Rao不等式（C-R）

定义(C-R分布簇)设{p(x,),}为总体X的分布密度簇，

满足：

(1)参数集为直线上一开区间;(开集)

(2)支撑S{x:p(x,)0}与无关;

(3)p(x,)对一切存在;

(4)p(x,),积分与微分运算可交换次序,即

p(x,)dxp(x,)dx

2

(5)

Elogp(X,)存在;则称

2

I()Elogp(X,)

为总体的Fisher信息;

{p(x,),}满足上述条件,则称之为C-R分布簇

或正则分布簇.

例1设总体XN(,2),求I(),I(2)

11

llogp(X,)log22(X)2

222

l1l11

(X),(X)2

222224

11

I()E(X)2

42

2

21121

I()E(X)

222424

例2设总体XP(),求I()

X

llogeXloglogX!

X!

lX

1

X1

I()E{}2

性质:l()logp(X,),称

S()logp(X,)l()

为Score函数,则

(1)ES()0;

(2)I()E{S()}2Var{S()};

2

(3)

I()E2logp(x,)El

n

推论对数似然函数

l()logp(Xi,),

i1

S()l()

(1)ES()0;

(2)nI()E{S()}2Var{S()};

2

(3)

nI()E2logp(X,)El

定理4（C-R不等式）设总体分布为C-R分布簇,X1,

X2,,Xn为一组样本,T=T(X1,X2,,Xn)为g()的无

偏估计,g()连续可导,且

n