概率论与数理统计课件：参数估计

2首页返回退出首页返回退出

当总体分布中的一个或多个参数未知时，如何利用获取到的相关样本对未知参数进行估计的问题，叫做参数估计.参数估计：点估计和区间估计.

例如，已知总体，其中，方差已知，但是均值未知.是取自总体X的样本，而是取定的样本值.根据此样本值和已知方差

，采用某种方法估计未知均值的确定值或取值区间的问题，就是典型的参数估计问题.3首页返回退出首页返回退出第一节点估计一、点估计简介二、矩估计法三、最大似然估计法§7.1点估计7.1.1点估计简介

点估计，又称作定值估计，是指根据获取的样本估计总体分布中的未知参数的确定值.例7.1.1每分钟平均一秒钟内进入某商场的人数X是一个随机变量，其服从的泊松分布，即，其中，为未知参数.已知在某小时进入该商场的人数的样本值见表7.1，试求参数的点估计值.每分钟平均一秒钟进入该商场的人数01234567

分钟数61817952210表7.1在某小时进入某商场人数的统计情况

泊松分布的参数，如果用样本均值估计总体均值，那么可以得到未知参数的点估计值.即的点估计值为2.13.

根据表7.1中的数据计算出每分钟平均一秒钟内进入某商场的样本平均人数：解：

定义7.1

已知总体X服从分布函数为的分布，其中，为未知参数.是从总体X中抽取的一个样本，是该样本的一个样本值.选用合适的方法构造一个统计量，其对应的观测值为.和分别称作参数的估计量和估计值.

因此，所谓未知参数的点估计问题，就是设法为该参数构造一个统计量，使其能在一定程度上对该参数做出合理的估计.

本节学习两种点估计方法：矩估计和最大似然估计.7.1.2矩估计法

1894年，著名的英国统计学家皮尔逊(K.Pearson)基于辛钦大数定律提出了矩估计法.

该方法比较简单，易于理解，只要总体矩存在，就可以使用该方法对分布中的未知参数进行点估计.当总体X为连续型随机变量时，若总体X的前k阶矩存在，则当总体X为离散型随机变量时，若总体X的前k阶矩存在，则依概率收敛的序列的性质知，对于任意的连续函数，有

自然想到：

用样本矩近似等于对应的总体矩或用样本矩的连续函数近似等于对应的总体矩的连续函数，即或

求解方程或方程组，就能得到待估参数的点估计量

若给定样本一个样本值，则待估参数的点估计值为

定义7.2设随机变量X的前k阶总体矩和样本矩分别为和，前k阶总体矩和样本矩的连续函数分别为和，其中，为k个待估计的参数，为连续函数，令，求解方程(当

时)或方程组(当

时)，得到待估参数

的矩估计量若给定样本一个样本值，则待估参数的矩估计值为或

例7.1.2已知随机变量X服从参数为的指数分布，即，其中，为未知参数，试求参数的矩估计量.解：因为，所以由于仅有一个未知参数，故仅列一个方程即可.因为和，所以

例7.1.3设随机变量X在区间

中均匀取值，即

，其中，与均为未知参数，试求与的矩估计量.解：因为，所以由于有2个未知参数，故需要联立2个方程因为所以得到联立方程组解得待估参数与的矩估计量为其中，

例7.1.4设随机变量X的概率密度函数为解：由于有2个未知参数，故需要联立2个方程：其中，与均是未知参数，且，试求与的矩估计量.解得待估参数与的矩估计量为其中，

例7.1.5设在2021~2022学年第一学期，某高校某专业共有268名学生参加概率论与数理统计课程期末考试.表7.2列出的是从中随机抽取的20名学生的考试成绩，试求该专业所有学生成绩的平均值与标准差的矩估计值.序号12345678910成绩72638891375369878276序号11121314151617181920成绩69577884947571856780表7.2随机抽取的20名学生的考试成绩解：设随机变量X为该专业268名学生的考试成绩，与分别为这些学生成绩的平均值与方差.由于有2个未知参数，故需要构建2个方程因为所以因此，该专业所有学生成绩的平均值与标准差的矩估计值分别为73.90分与13.65分.7.1.3最大似然估计法1912年，著名英国统计学家费希尔(R.A.Fisher)基于似然函数提出了最大似然估计法.

该方法具有比较好的理论性质，可以用于解决总体分布形式已知的参数的点估计问题.设总体X的概率密度函数为或分布律为

，其中，为分布中的未知参数.设为总体X的一个样本，为其一个样本值.样本值的联合概率密度函数为或样本值的联合分布律为

事实上，它们仅是参数的函数，称为似然函数，记为，即或直观想法：

在某个试验中，若某个结果出现，则一般认为该结果出现的概率最大.同理，若样本取到了样本值，则说明取到该样本值的概率最大.是有关参数的函数，若当时，概率最大，则将作为参数真值的估计值比较合理.似然函数

可以理解为度量参数更像其真值的程度.基本思想：

在给定的样本值下，当未知参数取何值时，此样本值出现的概率最大.

定义7.3设总体X的分布函数为，其中，分布F的形式已知，为未知参数，为参数的取值空间.

为总体X的一个样本，为其一个样本值，(连续情形)或(离散情形)是参数的似然函数.若在参数空间中存在使得达到最大值的统计值，即，则称统计值为参数的最大似然估计值，对应的统计量为参数的最大似然估计量.通常情况下的求解步骤(1)构造参数的似然函数当总体X为连续型随机变量时，当总体X为离散型随机变量时，(2)为了便于求解参数，需要对似然函数取自然对数，将连乘转换为连加，即或(3)似然函数与经自然对数变换后的函数等价，即求的最大值点等价于求的最大值点.函数对未知参数求导数，并令其为0，即(4)求解上述方程，得到参数的最大似然估计值对应的最大似然估计量为

例7.1.6设总体X服从参数为的泊松分布，即

，其中，为未知参数.当总体X的一个样本值为时，试求参数的最大似然估计值.解：根据泊松分布的分布律知，所以参数的似然函数为对似然函数取自然对数，得到函数对求导数，并令其为0，即求得参数的最大似然估计值为

例7.1.7已知某场远距离手枪射击打靶比赛中，某位运动员10次射击中有8枪击中目标，试求该运动员每次射击击中目标的概率的最大似然估计值.解：设该运动员共射击n次，其中，有m(m≤n)次击中目标，每次射击击中目标的概率为p，具体射击情况为

，其中，(1表示击中，0表示未击中).因为在每次射击中，该运动员是否击中目标服从两点分布，即所以参数p的似然函数为对似然函数取自然对数，得到函数对求导数，并令其为0，即求得参数的最大似然估计值为由于n=10和m=8，故因此，该运动员每次射击击中目标的概率的最大似然估计值为0.80.

例7.1.8已知实际的轴承直径与规定的轴承直径的偏差服从正态分布，其中，与是未知均值与方差.从某轴承生产厂家生产的轴承中随机抽取50件，测得其偏差为.经计算，

试求参数与的最大似然估计值.解：设是取自该正态总体的样本值.

构造似然函数：对似然函数取自然对数，得到函数分别对与求偏导数，并令其为0，即解得因为所以参数与的最大似然估计值分别为

例7.1.9设总体X服从区间上的均匀分布，即，其中，与为未知参数，试求参数与的最大似然估计值.解：因为，所以，其中，是示性函数.构造似然函数：其中，若通过似然函数或经自然对数变换后的似然函数对未知参数求偏导数，并令其为0的方式求解最大似然估计值，发现两个偏导数都不可能为0，故需要换一种求最大值点的方法.若要使似然函数最大，则需要分子最大，分母最小.

故参数与的最大似然估计值分别为(1)当时，示性函数取最大值1；(2)当和时，取最小值，此时，似然函数

取到最大值通过似然函数(或其变换形式)对未知参数求导数(或偏导数)并令其为0的手段求最大值点不一定总是可行的(如例7.1.9).即使通过此方法能够获得未知参数的值，该值也未必是最大值点，也有可能是最小值点，因而，最值点的情况需要进一步验证.如果为参数的最大似然估计量，为定义在参数空间中的一个函数，那么是否为的最大似然估计量？事实上，当是严格单调函数，即有单值反函数(，为的取值空间)时，此结论成立.

定理7.1设总体X服从分布，其中，F为总体X的已知形式的分布函数，为未知的参数向量，为参数的取值空间.若为参数的最大似然估计量，是严格单调函数，则是的最大似然估计量.(该定理称为最大似然估计的不变性原理)证明：由于是的最大似然估计量，故因为是严格单调函数，所以其存在单值反函数进而，即这就证明了是的最大似然估计量.

例7.1.10故障设备的维修时间服从对数正态分布.某厂家有多台生产设备，在某月内共发生故障14次，其维修时间(单位：min)见表7.3.试求平均维修时间与维修时间标准差的最大似然估计值.6271485795588882586953835645表7.3故障设备的维修时间(单位：min)解：设故障设备的维修时间为T，对数正态分布为因为，所以表7.3中的数据取自服从对数正态分布的总体T，若对该表中的数据分别做自然对数变换，则变换后的数据(见表7.4)取自服从正态分布的总体4.12714.26273.87124.04314.55394.06044.47734.40674.06044.23413.97034.41884.02543.8067表7.4故障设备的维修时间经自然对数变换后的数值参数与的最大似然估计值分别为与总体T的均值与标准差和总体

的均值与标准差的关系为与因此，根据定理7.1(最大似然估计的不变性原理)，得到与的最大似然估计值：与因此，平均维修时间与维修时间标准差的最大似然估计值分别为66.05min与14.92min.41首页返回退出首页返回退出第二节点估计量的评价标准一、相合性二、无偏性三、有效性

采用不同的方法对同一参数进行点估计，所得的点估计量可能不相同.例如，例7.1.3与例7.1.9分别采用矩估计法与最大似然估计法对均匀分布中的未知参数与

进行点估计，两个参数的矩估计量与最大似然估计量:与

任何统计量都可以作为未知参数的点估计量.在得到某个未知参数的不止一种点估计量时，更倾向于使用最佳的点估计量，那么哪种点估计量是最佳的呢？这就涉及到点估计量的评价标准：相合性、无偏性和有效性.7.2.1相合性

参数的估计量不仅与样本的取值有关，而且与样本量n有关.给定样本量n与阈值，当样本取不同的样本值时，的值一般是不同的，事件

以一定的概率出现.希望样本量n越大，估计量在某种意义下越接近于参数的真实值，即估计量对真实值的估计越精确，事件的出现的概率就越小.下面给出估计量的相合性(或称为一致性)定义：

定义7.4对于每个，设是未知参数的一个估计量，为参数的取值空间，若对于，或则称为的相合估计量，也称为一致估计量.简单来说，若估计量序列依概率收敛于未知参数，则称为的相合估计量.换句话说，当样本容量n充分大时，估计量可以以任意的精确程度逼近被估计参数的真实值相合性是对估计量的基本要求，如果一个估计量连相合性都不满足，那么这种估计量难以得到大众的认同.

定理7.2设是取自总体X的一个样本，若总体X的阶矩存在，则样本k阶矩

是总体k阶矩的相合估计量；若总体X的k阶中心矩存在，则样本k阶中心矩是总体k阶中心矩的相合估计量.证明：因为是取自总体X的一个样本(简单随机样本)，所以是独立同分布的，进而其函数也是独立同分布的.又因为总体X的阶矩存在，所以由辛钦大数定律知，样本阶矩是总体阶矩的相合估计量.同理，样本函数是独立同分布的.因为阶中心矩存在，所以由辛钦大数定律知，样本阶中心矩是总体阶中心矩的相合估计量.

定理7.3设分别是的相合估计量，若是元连续函数，则是的相合估计量.证明：因为是

元连续函数，所以对于，，当时，有从而有事件成立.又因为分别是的相合估计量，所以对于给定的和，，当时，有由上述不等式和的任意性，得到是的相合估计量.成立.

定理7.4设是参数的一个估计量，若

则是参数的相合估计量.证明：由切比雪夫不等式，得到由

得到

进而

因此，是参数的相合估计量.

例7.2.1设总体X服从参数为的泊松分布其中，未知.为取自总体X的一个样本，试分析的矩估计量的相合性.解：因为，所以总体一阶矩为样本一阶矩为

令，求得参数的矩估计量为

因为，所以其矩估计量为

由辛钦大数定律知，是参数的相合估计量.又因为是有关参数的连续函数，所以由定理7.3知，矩估计量是的相合估计量.

例7.2.2设总体X服从均值为0、方差为的正态分布，即，其中，为未知标准差.为取自总体X的一个样本，试证明估计量为总体方差的相合估计量.证明：因为，所以

因为为取自总体X的一个样本，所以

由于故从而因此，由定理7.4知，估计量为总体方差的相合估计量.7.2.2无偏性

对于某参数的估计量，由于估计量与样本相关，故赋予样本不同的样本值，得到的估计量的值一般是不同的.有些估计量的值相对于真实值偏大，有些则偏小.如果所有估计量的值的平均值(数学期望)等于该参数的真实值，那么估计量与真实值之间没有实质性的误差.定义7.5设为取自总体X的一个样本，

(是的取值范围)是总体X的分布中的一个未知参数，是参数的一个估计量.若估计量的数学期望存在，对于，都有成立，则称估计量是参数的无偏估计量.

是以作为参数的估计量的实质性误差，即系统误差.若，即，则与之间存在系统误差，这时将作为参数的估计量存在实质性的风险.定义7.5说明参数的无偏估计量与真实值之间不存在系统误差，一般仅存在随机误差.定理7.5设总体X的k阶矩存在，为取自总体X的一个样本，试证明k阶样本矩

是k阶总体矩的无偏估计量.证明：因为为取自总体X的一个样本，所以与总体X同分布，进而与同分布，有因此，k阶样本矩是k阶总体矩的无偏估计量.

例7.2.3设总体X的概率密度函数为其中，为未知参数.为取自总体X的一个样本，试证明参数的最大似然估计量是的无偏估计量.证明：构造似然函数：其自然对数为函数对参数求导数，并令其为0，即解得最大似然估计值对应的最大似然估计量为因此，参数的最大似然估计量是的无偏估计量.

例7.2.4设总体X服从均值为、方差为的正态分布，即

为取自总体X的一个样本，试求常数k，使得估计量是方差的无偏估计量.解：因为为取自总体X的一个样本，所以相互独立，进而因为为取自总体X的一个样本，所以与X同分布，进而与同分布，有成立.因此，7.2.3有效性

如果某参数有两个无偏估计量与，当样本量n相同时，估计量的各个值比估计量的各个值更加密集地分布在真实值附近，那么相对于而言，自然就认为更适合作为参数的估计量.而方差是刻画数据分散性的重要特征，由上面的假设，很明显，.因此，若与同为参数的无偏估计量，且，则一般认为更为有效.

由此，可以得到估计量的有效性的定义：定义7.6设与都是参数的无偏估计量，若对于，都有成立，且至少对于某一个(是参数的取值范围)，使得上式中的不等号成立，则称较有效.例7.2.5设总体X服从均值为的指数分布其中，未知，为取自总体X的一个样本，构造如下三个估计量：对于估计量，有两个能作为参数的无偏估计量，请问在这两个无偏估计量中哪一个较为有效？解：(1)因为总体X服从均值为的指数分布，为取自总体X的一个样本，所以

因此，在估计量中，与是参数的无偏估计量.

(2)因为总体X服从均值为的指数分布，为取自总体X的一个样本，所以

因为

，所以估计量较有效.例7.2.6设总体X服从区间上的均匀分布，即

，其中，为未知参数.为取自总体X的一个样本.

(1)试证明与都为参数的无偏估计；(2)试分析估计量与哪个较为有效？

(1)证明：因为，所以故为参数的无偏估计量.令，则Z的分布函数为

Z的分布函数对z求导数，得到Z的概率密度函数故也为参数的无偏估计量.

(2)解：当时，，估计量与同等有效，而当时，，估计量较有效.77首页返回退出首页返回退出第三节置信区间一、区间估计二、单个正态总体的分布参数的置信区间三、两个正态总体的分布参数的置信区间§7.3置信区间7.3.1区间估计定义7.7设总体

的分布函数含有一个未知参数，为取自总体

的一个样本.若由样本确定的两个统计量

和满足

则称区间是的置信水平（置信度)为

的置信区间.和

分别称为置信下限和置信上限.关于定义的说明被估计的参数虽然未知，但它是一个常数，没有随机性，而区间是随机的。随机区间以的概率包含着参数的真值，而不能说参数以的概率落入随机区间.因此定义下述表达式的本质是：若反复抽样多次(各次得到的样本容量相等,都是n)，每个样本值确定一个区间，每个这样的区间或包含的真值或不包含的真值，按伯努利大数定理,在这样多的区间中,包含真值的占，不包含的约占

可靠度与精度是一对矛盾，一般是在保证可靠度的条件下尽可能提高精度.1.要求以很大的可能被包含在区间内，就是说，概率要尽可能大.即要求估计尽量可靠.

2.估计的精度要尽可能的高.如要求区间长度

尽可能短，或能体现该要求的其它准则.置信区间有两个要求:2.

求置信区间的一般步骤(共3步)（1）构造一个枢轴量，它与样本和待估计的参数有关.而且该量服从不依赖任何未知参数的已知分布.（2）对于给定的置信度，给出两个常数，使得（3）若能从得到等价的不等式其中和是统计量，那就是的一个置信度为的置信区间。（一）正态总体均值的置信区间

并设为来自总体的样本,分别为样本均值和样本方差.为已知此分布不依赖于任何未知参数,是关于的枢轴量根据标准正态分布的分位点,有可得到

的置信水平为的置信区间为或例7.3.1已知实际的轴承直径

服从正态布

其中，是总体

的未知均值.从某轴承生产厂家生产的轴承中随机抽取7件，测得其直径为36.32、36.38、36.41、36.39、36.43、36.35、36.39（单位：mm）.试求总体

的均值

的置信水平为95%的置信区间解：计算得样本均值和样本标准差,样本量n=7,查阅正态分布表因此，总体

的均值的置信水平为95%的置信区间为（36.31，36.46）.为未知可得到

的置信水平为的置信区间为此分布不依赖于任何未知参数,是关于

的枢轴量由分布的分位点有或例7.3.2某糕点生产厂家采用自动装箱机打包糕点，各箱糕点的重量服从正态分布,其中，与都为未知参数.测得某批糕点其中8箱的重量为6.34、6.19、6.07、6.38、6.26、6.33、6.18、6.24（单位：kg），试求总体

的均值的置信水平为90%的置信区间.解：计算得因此，总体

的均值的置信水平为90%的置信区间为（6.1806，6.3170）.（二）正态总体方差的置信区间为已知此分布不依赖于任何未知参数,是关于的枢轴量由

分布的分位点有可得到

的置信水平为的置信区间为例7.3.3用游标卡尺对某宽度13mm的汽车零部件重复测量5次，其数值为12.8、13.1、13.0、13.2、12.8（单位：mm）.已知测量的数据服从正态分布，其中，方差为未知参数.试求方差的置信水平为99%的置信区间.解：由题知，，因此，方差的置信水平为99%的置信区间为（0.0078，0.3155）.为未知可得到

的置信水平为的置信区间为此分布不依赖于任何未知参数,是关于的枢轴量根据

分布的分位点有例7.3.4为了测得某种医用消毒酒精溶液中的酒精浓度，在同等条件下，抽取8个独立的测定值，样本平均值为75.06%，样本标