7.1点估计、7.2估计量的评选标准（课件）- 《概率论与数理统计（第3版）》同步教学（机工版）

第六章----第八章知识结构图

数理统计

抽样分布统计推断

常用的四个重参数估计正态总体假设检验

统计量要分布

均值的方差的

点估计区间估计

正态总体的检验检验

样本均值与

方差的分布

矩极大均值方差单个两个

估

(重要统计量似然的区的区总体总体

的分布)计估计间估间估

法法计计

第七章参数估计

总体

随机抽样

样本

作出推断

描述

统计量

研究统计量的性质和评价一个统计推断的

优良性，完全取决于其抽样分布的性质.

参数估计问题:利用从总体抽样得到的信息来

估计总体的某些参数或者参数

的某些函数.

例如：

估计新生儿的体重：

估在计参废数品估率计：问题中，假定总体分布形式

估计降雨量

已知，未知的仅仅是一个或几个参数.

估计湖中鱼数

……

参数估计问题的一般提法

设有一个总体X，总体的分布函数为F(x;)

其中为未知参数(可以是向量)。现从该

总体抽样，得样本：X1,X2,…,Xn

所研究的问题：要依据该样本对参数作出

估计，或估计的某个未知的函数g().

这类问题称为参数估计.

点估计

参数估计问题

参数估计

的分类

区间估计

例如现要估计某班男生的平均身高。假定身高服

从正态分布N(,0.12)

现从该总体选取容量为5的样本，所研究的

问题是要根据选出的样本（5个数）求出总体

均值的估计。

而全部信息就由这5个数组成。设这5个数

是：1.65，1.67，1.68，1.78，1.69

则估计为1.68-----这是点估计问题。

估计在区间[1.57,1.84]内----这是

区间估计问题

第一节点估计

解决问题：总体X的分布函数的形式已知，但

它的一个或多个参数未知，根据总体

X的一个样本来估计总体未知参数或

对总体未知参数作出一个估计。

一.估计量的定义

定义：设为总体X的分布函数F(x;)中的待估

计的参数,X1,X2,Xn是总体X的一个样本，

用X1,X2,Xn构成的一个统计量：

ˆˆ称为的估计量。

(X1,X2,Xn)

如果的一组样本值为：

X1,X2,Xnx1,x2xn

则ˆˆ为的估计值

(x1,x2,xn).

二.构造统计量的方法

1.矩估计法(数字特征法)

矩估计法是由统计学家卡.皮尔逊（K.Pearson）

在19世纪末引入的。

矩是描写随机变量最简单的数字特征，

由大数定律可知，在一定条件下可以用样本的矩

作为总体矩的估计.故得矩估计法的基本思想：

用样本的各阶矩来估计总体的各阶矩.

矩估计法的具体步骤

设总体的分布函数中含有

XF(x;1,2,,k)k

个未知参数，

1,2,k假定总体X的前k阶矩

i存在，

iE(X)i1,2,k.

则可通过下列步骤求未知参数的矩估计量:

(1)求总体X的前k阶矩

若总体X是离散型随机变量，其分布律为：

P(x;1,2,,k)则：

n

ii

E(X)xlP(1,2,,k),i1,2,,k

l1

若总体X是连续型随机变量，其密度函数为：

则：

f(x;1,2,,k)

ii

E(X)xf(x;1,2,,k)dxi1,2,,k

总之，i是参数的函数，

iE(X)1,2,,k

11(1,2,,k)

记为：22(1,2,,k)

()

kk(1,2,,k)

(2)由（*）式解出为：

1,2,,k

11(1,2,,k)

22(1,2,,k)

()

kk(1,2,,k)

n

1i

(3)用i的估计量MiXl分别代替（**）

nl1

中的则得的矩估计量ˆ

i,ii:

ˆˆ

ii(M1,M2,,Mk),i1,2,,k

注▲上述计算步骤对k阶中心矩也是成立的。

因为k阶中心矩总可以通过展开的方法

展开为不超过总体k阶原点矩的函数。

▲矩估计法的优缺点：

优点：矩估计法并不要求知道总体分布的具体

形式就能对总体的数字特征作出估计

缺点：矩估计法要求总体的矩存在，若总体的

矩不存在则矩估计法失效；

对某些总体的参数矩估计量不唯一，这

在应用时会带来不利；

矩估计法只是利用了矩的信息而没有充

分利用总体分布函数的信息;

对某些总体的参数矩估计量有时不合理.

例1.设总体X的均值为,方差为2都存在，且

2是总体的一个样本

0,X1,X2,XnX

(1).,2均未知,求:,2的矩估计量

(2).当总体(某种灯泡寿命)X~N(,2)，,

2未知，今取4只灯泡，测得其寿命（小

时）如下：

1502,1453,1367,1650（小时）

求：,2的矩估计值

解:(1).总体X的数学期望是X的一阶原点矩；

总体X的方差是X的二阶中心矩。

E(X)

E(X2)D(X)[E(X)]222

1n

E(X)X一阶样本原

i点矩

现令ni1

n

212二阶样本原

E(X)Xi

ni1点矩

1n

Xi

即ni1

n解之得:

2212

Xi

ni1

1n

Xi

ni1

解之得:n

2122

ˆXi(ˆ)

ni1

从而得,2的矩估计量为：

1n

XiX

ni1

nnn

2121212

ˆXi(Xi)(XiX)

ni1ni1ni1

结论：不论总体服从什么分布，总体均值

与方差的矩估计量的表达式是相同的

(2).X~N(,2)

1

X(1502145313671650)1493

4

n

12122

(XiX)[(15021493)(14531493)

ni14

(13671493)2(16501493)2]

10551

某种灯泡寿命的均值与方差的

矩估计值分布为:

ˆ1493,ˆ210551

例2.设X1,X2,…Xn是取自总体X的一个样本，

其概率密度为：

1

e(x)x

f(x)

0其它

其中,为未知参数，0

求：,的矩估计量.

解:由密度函数可知：

X具有均值为的指数分布，故有：

E(X),D(X)2

即：E(X),D(X)2

X

令：n

212

(XiX)

ni1

n

12

ˆX(XiX)

ni1

解得：用样本矩估计

n总体矩

ˆ12

(XiX)

ni1

ˆ,ˆ即为总体参数,的矩估计量

2.极大似然法

极大似然法是在总体类型已

知条件下使用的一种参数估

计方法。

它首先是由德国数学家高斯

Gauss

（Gauss）在1821年提出的。

然而，这个方法常归功于英国

统计学家费歇（Fisher），

费歇在1922年重新发现了这一

方法，并首先研究了这种方法

的一些性质。

Fisher

极大似然法的基本思想

引例

若某位同学与一位猎人一起

外出打猎。

一只野兔从前方窜过，只听

一声枪响，野兔应声倒下。

试推测：这是谁打中的呢？

因为只发一枪便打中，猎人

命中的概率一般大于这位同

学命中的概率。于是可推测

这一枪是猎人射中的.

注引例体现了极大似然法的基本思想：

当试验中得到一个结果时，应选择使得这个试验结

果出现的概率达到最大的这个值作为参数的估计值

(1).极大似然估计量的定义

定义设总体的概率密度函数为

:Xf(x,1,2,l)

或分布律为

P(x,1,2,l),其中：

为未知参数。又设

1,2,lx1,x2,xn

是相应于样本X1,X2,Xn的一组样本值。

n

作似然函数：或

Lf(xk,1,2,l)

k1

n

或

LP(xk,1,2,l)

k1

使得似然函数L达到极大值的ˆˆˆ

1,2,l

称为参数的极大似然估计值，记为：

1,2,l

ˆ记统计量：

i(x1,x2,xn)(它与样本值有关)，

ˆ为参数的极大似然估计量

i(X1,X2,Xn)i.

注▲似然函数是随机点落在

L(X1,X2,Xn)

点的邻域内的概率；

(x1,x2,xn)

或随机点

(X1,X2,Xn)边长分别为

取到x,x,x的概率。

12ndx1,dx2,dxn

▲似然函数是的函数。的n维立方体

Lk

(2).极大似然法的具体步骤

思路:

nn

或

现要求f(xk,1,2,l)P(xk,1,2,l)

k1k1

的最大值，即求取什么值时函数

1,2lL

达到最大。即其随机点落在

(X1,X2,Xn)

(x1,x2,xn)的邻域内的概率,或随机点

取到的概率最大。

(X1,X2,Xn)(x1,x2,xn)

从而此问题就转化为一般求函数的最大值问题

具体步骤

n

(1)作似然函数L()f(xk,)

nk1

或

L()P(xk,)

k1

(2)当似然函数可微且L()的最大值能在参数空间

lnL()

取得时，求方程组:0的解，

若解为ˆ，则ˆ为极大似然估计量（值）。

注

▲因为lnL()与L()有相同的最大值点，

而且对数函数是单调增的，求maxlnL()

比求maxL()方便，所以常取

似然函数为lnL()

▲按照求函数极值的方法，在求方程组：

lnL()的解后还应该用极值的

0

充分条件对解做进一步的判断；

但又由最值原理，如果最值存在，此方程组求得

的驻点即为所求的最值点。极大似然估计法一般

属于这种情况，所以可直接按步骤(2)求的其值。

▲当似然函数不可微或方程组无解时，则应根据

定义直接寻求能使L()达到最大值的解作为

极大似然估计量。

▲极大似然估计法适用于多个未知参数的情形。

例3.设X~N(,2),,2为未知参数，

是的一个样本值

x1,x2xnX.

2

求:,的极大似然估计量.

(x)2

212

解:X的密度函数为：f(x;,)e2

2

(x)2

作似然函数：ni

12

Le2

i12n

1

(x)2

12i

()ne2i1

2

为计算方便对L两边取对数得:

nn1n

22

lnLln(2)ln2(xi)

222i1

lnL1n

2[xin]0

令：i1

lnLn1n

2

2222(xi)0

22()i1

解得所求为:与矩估计法

1n所得的的结

ˆxiX论是一致的

ni1（见例1）

nn

21212

ˆ(xiˆ)(xiX)

ni1ni1

例设为参数都是未知的正态总体的

4.X1,X2Xn

一个样本

求:P(Xt)的极大似然估计

22未知

解:Xi~N(,),,

1n2

XXi~N(,)

ni1n

Xtt

P(Xt)P()()

nnn

由例3可知：的极大似然估计为

Xn

212

的极大似然估计为(XiX)

ni1

tX

P(Xt)的极大似然估计为：(n)

nˆ

其中12

:ˆ(XiX)

ni1

例5.设X1,X2,…Xn是取自总体X的一个样本，其

密度函数为：

x1,0x1

f(x)其中0

0,其它

求的极大似然估计.

解：作似然函数：

nn

1(0x1)

L()xn1i

i(xi)

i1i11in

则对数似然函数为：

n

lnL()nln(1)lnxi

i

对上式求导并令其为零，得：1

n

dlnL()n从中解得：

lnxi0,

di1

n

ˆ

nlnxi

i1

性质

(3).是的取

uu()是的函数，值范围

且具有单值反函数(u),又设ˆ是X的概率

密度函数f(x,)中参数的极大似然估计，

则uˆu(ˆ)是u()的极大似然估计。

证:ˆ是的极大似然估计

L(x,x,x,ˆ)maxL(x,x,x,)

12n12n

又uˆu(ˆ)ˆ(uˆ)

ˆ是的极大似然估计

L(x,x,x,ˆ)maxL(x,x,x,)

12n12n

uˆu(ˆ)ˆ(uˆ)

上式可写为:

L(x1,x2,xn,(uˆ))maxL(x1,x2,xn,(u))

u

即表明：

uˆuˆ()是u()的极大似然估计

注

此性质对总体X中含有多个未知参数时也成立.

第二节估计量的评选标准

一.无偏性

估计量是随机变量，对于不同的样本值会得到

不同的估计值。如果希望估计值在未知参数真值

附近摆动，而它的期望值等于未知参数的真值。

这就引出无偏性这个评选标准

定义：设ˆ是的估计量，若E()存在，且

对任意的有：

则称ˆ是的无偏估计量.

注无偏性的实际意义是指没有系统性的偏差。

它是用数学期望衡量其靠近真值的程度。

在科学技术中称E(ˆ)为以ˆ作为的

估计的系统误差。则无偏估计即无系统误差。

例如：

用样本均值作为总体均值的估计时，虽无

法说明一次估计所产生的偏差，但这种偏

差随机地在“0”的周围波动，则对同一统计

问题大量重复使用不会产生系统偏差。

例1.设总体X的均值,方差20都存在，若

，2均未知n

.212

ˆ1(XiX)

证明ˆ2的两个估计量ni1

:n

212

ˆ2(XiX)

n1i1

前者是有偏的，后者是无偏的。

n

证明212

:E(ˆ1)E((XiX))

ni1

nnn

12112

E[Xi2XXi(X)]

ni1ni1ni1

(X)2

1nn

22122

E[XiX]E(Xi)E(X)

ni1ni1

n

122

E(Xi)E(X)数学期望的性质

ni1

n

122

[D(Xi)E(Xi)]{D(X)[E(X)]}

ni1

2n1

(22)(2)22

nn

1n

22是有偏的

ˆ1(XiX).

ni1

n

又212

E(ˆ2)E((XiX))

n1i1

n

n12

E[(XiX)]

n1ni1

n

212

ˆ2(XiX)

n1i1

s2（样本方差）是无偏的。

结论:样本均值、样本方差作为总体均值、总体方

差的估计量是无偏的，它要比矩估计法，极

大似然估计法出来