工科数理统计-课件 3 参数估计

第3章

参数估计3.1参数的点估计3.2估计的优良标准3.3区间估计经典统计案例：费米问题参数的点估计，是指用一个具体数值作为参数的估计值.前面章节介绍了常见的统计量.这些统计量通常针对总体的某一特征进行构造，例如用样本均值估计总体均值、用样本方差估计总体方差、用经验分布函数估计总体分布函数等.大数定律保证了常见统计量中基于样本的指标依概率收敛到对应的总体指标.因此，可以通过构造合理的统计量，并利用其观测值来估计未知参数值.

定义的核心是构造统计量，由于构造统计量的理论基础不同，对于同一参数可能得到不同的估计量.点估计的方法有很多种，本教材仅介绍三种较为通用的方法：矩法估计、最大似然估计和贝叶斯估计.3.1参数的点估计3.1.1矩法估计矩法估计基于一种简单的“替换”思想，由英国统计学家K.皮尔逊最早提出.其基本思想是用样本矩估计总体矩，这里的矩既可以是原点矩也可以是中心矩，二者估计结果差距不大.当总体均值已知时，原点矩的效果优于中心矩，故下文统一使用原点矩.矩法估计的理论基础是辛钦大数定律.当总体的k

阶矩存在时，辛钦大数定律的结论可以直接扩展为由辛钦大数定律，我们用样本原点矩去估计总体原点矩，即令注意：上面等式不是相等的意思，等号右侧是等号左侧的估计值或估计量.一般情况下，EXk

是关于未知参数θ(可以为多维)的函数g(θ).k

的取值由小到大，所需列出的方程个数和θ

的维数相同.辛钦大数定律：设X1，X2，…，Xn

是一个独立同分布的随机变量序列，且EXn=μ，则有3.1.1矩法估计已知X

的密度函数为其中θ

是未知参数，X1，X2，…，Xn

是一组样本，求θ

的矩估计量.

即解得3.1.1矩法估计设总体X

的分布律为其中θ

是未知参数.取得一组样本值为x1=1，x2=2，x3=1，x4=3，x5=3，求θ的矩估计值.

即解得3.1.1矩法估计若x~U(-θ，θ)，样本：X1，X2，…，Xn，求未知参数θ

的矩估计量.解

由于EX=0，且EX

不是θ

的函数，因此令EX2=A2，即解得矩法估计的优点是理论简单，应用广泛，只要总体矩存在就可以求矩估计量.3.1.1矩法估计设X1，X2，…，Xn

是取自总体X

的样本，求EX

和DX

的矩估计量.解

令即解得不难发现，当总体分布未知时，总体均值和总体方差的矩估计量形式相同.这也体现出矩法估计对总体分布的依赖性较低，因而估计相对粗糙.其本质原因在于：这种估计方法只利用了总体矩的信息，而无须知道总体的分布信息.我们知道，总体的全部概率信息都包含在其分布之中，估计过程中利用的信息越充分，估计效果通常越好.3.1.2最大似然估计最大似然估计(又称极大似然估计)最早由J.C.F.高斯提出，后由英国统计学家费歇(R.A.Fisher)于1912年在一篇论文中重新阐述，并证明了该方法的若干优良性质，“极大似然估计”这一名称亦由费歇命名.例如，一个袋中装有m个红球和n

个白球，现在随机从袋中取出一球，如果m>n，显然取到红球的概率更大；反之，若一次试验取出的是红球，我们倾向于认为，袋中红球数量较多的可能性大.最大似然估计的思想：在一次抽样中，若某一组观测值出现，我们便认为这组值出现的可能性最大，即实验结果应是最有可能发生的结果.这一思想简单直观，很容易理解.最大似然估计的关键是建立一个似然函数，其函数值大小能够充分反映样本观测值出现的可能性.对于离散型总体，似然函数取样本值点的联合概率值；对于连续型总体，则取样本值点的联合密度函数值.(1)设总体X

的分布律为P(X=yi)=p(yi；θ)，其中θ

为未知参数，X1，X2，…，Xn

为一组样本，x1，x2，…，xn

为这组样本的一次观测值，令称

L(θ)为似然函数，该似然函数是关于未知参数θ

的函数.3.1.2最大似然估计(2)设总体X

的密度函数f(x；θ)，X1，X2，…，Xn

是一组样本，样本值为

x1，x2，…，xn，则似然函数为

求函数最大值的一般方法是：先求导数，找出极值点，再确定最大值点.但似然函数呈连乘形式，直接求导求解困难，故通常先取对数再求导.因对数函数是单调递增函数，故取对数后不会改变函数的最大值点.求最大似然估计的一般步骤如下：(1)建立似然函数(2)对似然函数取自然对数(3)求导并令导数等于零

3.1.2最大似然估计设总体X

的分布律为其中θ

是未知参数.取得一组样本值为求θ的最大似然估计值.解

3.1.2最大似然估计设总体X

服从几何分布G(p)，X1，X2，…，Xn

是取自X的一组样本，求未知参数p

的最大似然估计量.取对数求导，令导数等于0，即解解得3.1.2最大似然估计设总体X

服从几何分布G(p)，X1，X2，…，Xn

是取自X的一组样本，求未知参数p

的最大似然估计量.取对数求导，令导数等于0，即解解得上面列出的步骤仅是求最大似然估计的一般方法.求最大似然估计的本质是寻找最大值点.在某些问题中，上述步骤可能不完全需要，甚至无法实施，但这并不妨碍我们采用其他方法找到最大值点.3.1.2最大似然估计

直接求导即L(a，b)关于a

单调递增，关于b单调递减.因此，为使L(a，b)最大，应取a

尽可能大，b

尽可能小.但必须满足所有样本点位于区间[a，b]内，即a

≤x(1)

且x(n)

≤b，因此解3.1.2最大似然估计该例题的特点在于：随机变量的取值范围与参数有关，参数的取值直接受样本值的控制，似然函数导数不等于0，因此，参数的最大似然估计形式与样本的最大值或最小值有关.需要再次强调：最大似然估计的关键在于构建似然函数，似然函数值始终反映样本值出现的可能性.即使样本不是完全样本或并非来自同一总体，也并不妨碍获得参数的最大似然估计，这一点是矩法估计无法做到的.设总体X~e(λ)，样本为X1，X2，…，Xn，得到m

个确定的样本值

x1，x2，…，xm，其余n-m

个值在x0

处右删失，即xi>x0，i=m+1，…，n.求参数λ

的最大似然估计量.解

建立似然函数取对数求导，令导数等于0解得最大似然估计量为3.1.2最大似然估计设Yi~N(β0+β1xi，σ2)，在已知x1，x2，…，xn

下，给出一组实验结果y1，y2，…，yn，求β0，β1，σ2

的最大似然估计值.解

建立似然函数取对数求导，令导数等于0，即3.1.2最大似然估计解得最大似然估计中的“参数”是广义的，它不仅是指总体分布中的未知参数，也可以是与总体有关的概率或数字特征，本质上都是参数的函数.这种推广在实际问题中具有广泛应用.下面直接给出结论：

3.1.2最大似然估计总体X~e(λ)，样本X1，X2，…，Xn，求EX

的最大似然估计量.解

建立似然函数取对数求导，令导数等于0，即解得所以最后，将似然函数的形式与因子分解定理相对照，不难发现：最大似然估计通常是充分统计量的函数，因此最大似然估计量的估计误差较小.在极少数情况下，最大似然估计量并不理想，例如，若总体X~U(θ-1，θ+1)，则似然函数为常数，导致最大似然估计不唯一；参数取值范围(x(n)-1，x(1)+1)内的任何一点都可作为最大似然估计.这种情况下，最大似然估计方法显然不适用.3.2估计的优良标准3.2.1相合性相合性也称一致性.估计量是随机变量，随样本值不同，每次得到的估计值也不同，且估计值和真实值之间会存在一定偏差.估计偏差应随样本量增大而减小，因为样本量越大，提供的信息就越多，估计的偏差就越小.一个有意义的估计量应该满足：当样本容量趋于无穷时，估计偏差应趋于零.

或

已知X~U(0，θ)，样本X1，X2，…，Xn，求θ

的矩估计量，并判定是否为相合估计量.

对任意的ε>0，根据切比雪夫不等式可得

3.2.1相合性相合性是对估计量的最低要求，若估计量不满足相合性，则不会被采用.矩法估计的理论基础是大数定律，样本矩依概率p

收敛到总体矩，因此矩法估计一定满足相合性.用定义验证相合性常较烦琐，下面给出判定相合性的一个简单实用的判定定理.证明

对于任意的ε>0，根据切比雪夫不等式

而因此，当n>N

时，

3.2.1相合性已知X~U(0，θ)，样本X1，X2，…，Xn，求θ

的最大似然估计量，并判断是否为相合估计量.计算

3.2.1相合性显然满足

3.2.2无偏性

设总体X

服从正态分布N(μ，σ2)，X1，X2，…，Xn

是取自X

的样本，求μ，σ2

的矩估计量，并判定其无偏性.解

由例3.4有3.2.2无偏性

如果一个估计量是有偏估计量，在某些情况下，可以将它修正为无偏估计量则这样S2

就是σ2

的无偏估计量.即样本方差是总体方差的无偏估计量.3.2.3有效性无偏性是从整体上衡量估计偏差.在处理实际问题时，往往是根据一次样本值来估计参数.即使是无偏估计量，也不能排除某一次抽样得到的估计值存在较大误差，因此仅凭无偏性无法保证估计的精度.此外，无偏估计量通常不唯一，同是无偏估计量的情况下，我们必须引入其他标准来进一步判定估计量的优劣.估计偏差越小，其估计量越好.如果一个估计量满足无偏性，那么它的方差就恰好反映了估计量的平均偏差.

证明

3.2.3有效性

解

令Y=min{X1，X2，…，Xn}，则Y

的分布函数为两个估计量都是无偏估计量，再求方差

先求期望

3.2.4一致最小方差无偏估计量和有效估计量平均误差是评价估计量优良性最具说服力的指标，它能全面反映估计量的优劣.均方误差定义式为

3.2.4一致最小方差无偏估计量和有效估计量

一种是找参数的充分统计量，充分统计量中包含了样本中参数的全部信息.如果一致最小方差无偏估计量存在，那么它一定是充分统计量的函数，这是寻找一致最小方差无偏估计量的充分性原则.充分性原则涉及理论较深，这里不展开讨论.值得注意的是，最大似然估计量往往是充分统计量的函数，通常先求最大似然估计量，如果有偏就设法将其修正为无偏估计量，虽然该无偏估计量不一定就是一致最小方差无偏估计量，但可以确定的是，这个无偏估计量一定是优良性较好的估计量.另一种方法是找到所有无偏估计量方差的下界.若某个无偏估计量的方差恰好达到此下界，则它就是方差最小的那个.达到方差下界的估计量称为有效估计量，此即有效性原则.本书中，关于有效估计量的理论仅限于一维参数情形，多维情况相对烦琐，略去.

3.2.4一致最小方差无偏估计量和有效估计量

令则有3.2.4一致最小方差无偏估计量和有效估计量证明

此证明以连续型总体给出，离散型总体可类似得到.由无偏性可得等式两侧对参数θ求导3.2.4一致最小方差无偏估计量和有效估计量由于因此3.2.4一致最小方差无偏估计量和有效估计量根据柯西-施瓦茨不等式由于因此显然即3.2.4一致最小方差无偏估计量和有效估计量定义3.7

在定理3.3条件下，定义如下概念：

注意：有效估计量一定是一致最小方差无偏估计量，但一致最小方差无偏估计量未必是有效估计量.在很多情况下，所有无偏估计量的方差都无法达到C-R下界.费希尔信息量是统计学中的重要概念，它与充分统计量、无偏估计量的方差及其下界均密切相关.概括地说，这个量与无偏估计量的偏差有关，信息量越大，估计量的偏差越小，估计效果越好.因此，信息量I(θ)形象地反映了总体分布中包含未知参数θ的信息多少，而样本信息量nI(θ)则反映了样本中包含参数θ

的信息总量.

3.2.4一致最小方差无偏估计量和有效估计量下面推导信息量的另一计算公式.

等号两侧对θ

求导因为则有即3.2.4一致最小方差无偏估计量和有效估计量已知X~“0-1”分布，P(X=1)=p，求参数p

的信息量.信息量为解3.2.4一致最小方差无偏估计量和有效估计量

求方差

总体分布为求对数求导数计算信息量C-R下界为

3.2.4一致最小方差无偏估计量和有效估计量设总体X~N(0，σ2)，σ2

是未知参数，X1，X2，…，Xn

是来自总体X

的一组样本.求σ2的最大似然估计量，并判断是否为有效估计量.解

建立似然函数取对数求导并令导数等于0解得首先判定无偏性3.2.4一致最小方差无偏估计量和有效估计量在无偏的基础上求方差总体分布为求对数求导数计算信息量C-R下界为

3.2.4一致最小方差无偏估计量和有效估计量对σ2

求导数计算信息量这时C-R下界为结论是一样的，但需注意I(σ)≠I(σ2).3.3区间估计

这实际上就是以至少1-α

的概率给出了未知参数θ的一个取值范围，

3.3.1置信区间与置信度

3.3.1置信区间与置信度

在给定置信度的条件下，如何构造置信区间是本节研究的核心内容.其关键在于构造一个样本函数U，并使其满足下面关系式其中a，b

是已知的常数.进而，我们可以将上述关于U

的不等式转化为关于参数θ的区间形式：3.3.1置信区间与置信度为实现置信区间的构造，所选样本函数U=g(X1，X2，…，Xn)，需满足以下三个基本条件：(1)样本函数中必须包含未知参数θ，这样才能得到θ

的范围；(2)样本函数中不得包含其他未知参数，否则在求解不等式时，这些参数会出现在不等式的两侧，导致所得的区间上下限仍含未知量，从而无法得到确定的统计量；(3)在置信度给定的条件下，样本函数的分布必须是已知的，从而能够确定其上α

分位点，否则我们将无法确定a，b的值.例如，总体X~N(μ，σ2)，σ2

已知，X1，X2，…，Xn

是一组样本，求μ

的置信度为1-α

的置信区间.构造样本函数利用标准正态分布的对称性，在满足置信度为1-α

条件下，可知区间[z1-α/2，zα/2]最短，如图3-1.解不等式3.3.1置信区间与置信度简记为即置信区间为同理，解单侧不等式单侧置信下限和单侧置信上限分别为满足上述条件的样本函数称为枢轴量，这种方法称为枢轴量法.虽然等尾区间未必在所有情形下最短，但计算简便且实用.在保证可靠度1-α

的情况下，要想提高精确度，只能考虑样本容量，即要满足只需只要样本容量足够大，可靠度和精确度可以达到任何要求.构造枢轴量通常从参数的点估计量出发：估计总体均值要找样本均值的函数作为枢轴量；估计总体方差要找样本方差的函数作为枢轴量.对于一般分布而言，构造枢轴量是有一定难度的.由于估计量的精确分布难以获得，即便求得，若其分布形式过于复杂，也很难直接计算分位点，因此在实际问题中，最常用的方法是借助中心极限定理，将估计量近似为正态分布来处理.3.3.2正态总体参数的置信区间1.单正态总体总体X~N(μ，σ2)，X1，X2，…，Xn

是从该总体抽取的一组样本，样本均值为X，样本方差为S2，给定置信度为1-α，μ，σ2

的置信区间汇总见表3-1.3.3.2正态总体参数的置信区间现有一批糖果，从中随机地抽取16袋，称得质量(以g计)如下：设袋装的糖果质量服从正态分布N(μ，σ2)，(1)若σ2=1，求μ

的置信度为0.95的双侧置信区间；(2)若σ2

未知，求μ

的置信度为0.95的单侧置信下限；(3)求σ2

的置信度为0.95的单侧置信上限.解(1)μ

的置信区间为

得双侧置信区间为[503.26，504.24]3.3.2正态总体参数的置信区间(2)μ

的单侧置信下限为

(3)σ2

的单侧置信上限为

某批棉花的棉纱强度服从正态分布，随机抽取26件，测得样本标准差为15，试求总体标准差的置信度为0.95的单侧置信上限.解

设总体X~N(μ，σ2)，则σ

的单侧置信上限形式为

3.3.2正态总体参数的置信区间2.双正态总体

3.3.2正态总体参数的置信区间甲乙两居民区各抽查10户每月煤气用量，已知甲居民区平均用量比乙居民区多15m3.设两居民区每户居民煤气用量均近似服从正态分布，两总体相互独立且标准差相同，均为1.1.求两总体均值差的置信区间(α=0.01).解

置信区间形式为

计算得具体区间为[0.24，2.76].3.3.2正态总体参数的置信区间设总体X~U(0，θ)，X1，X2，…，Xn

是来自总体X

的一组样本，求θ

的置信度为1-α

的双侧置信区间.

3.3.2正态总体参数的置信区间

由置信区间的定义可得因此，θ

的置信度为1-α

的双侧置信区间为θ

的置信度为1-α

的单侧置信下限和单侧置信上限分别为3.3.2正态总体参数的置信区间已知总体X~P(λ)，X1，X2，…，Xn

是来自X的一组样本.求参数λ

的置信度为1-α

的置信区间.解

总体X

的数学期望和方差分别为由中心极限定理，近似有解不等式得置信区间形式为3.3.2正态总体参数的置信区间设总体X~B(1，p)，X1，X2，…，Xn

是来自总体X

的一组样本.求参数p的置信度为1-α

的置信区间.解EX=p

DX=p(1-p)，由中心极限定理，近似有解不等式整理得得双侧置信区间为

3.3.2