北京理工大学《概率论与数理统计》课件-第7章参数估计-2

北京理工大学《概率论与数理统计》2§1点估计§2估计量的评选标准§3区间估计§4正态总体均值与方差的区间估计第七章参数估计

总体样本统计量描述作出推断随机抽样统计推断：参数估计和假设检验34参数估计问题是利用从总体抽样得到的一个样本来估计总体未知参数的问题.

参数估计设总体X的分布函数的形式已知，其中一个或多个参数未知.这类问题称为参数估计.参数估计问题的一般提法X1,X2,…,Xn要依据该样本对参数作出估计，或估计

关于

的某个函数现从该总体抽样，得样本设有一个总体X，总体的分布函数向量).为F(x,)，其中为未知参数(可以是56参数估计点估计区间估计点估计

——

估计未知参数的真值区间估计——

根据样本构造出适当的区间，使它以较大的概率包含未知参数的真值7§1点估计例1

设某炸药厂一天中发生着火现象的次数X是一

个随机变量,服从参数为的泊松分布,其中参数未知.有以下样本值，试估计参数.可用样本均值估计总体均值已知总体X~X1,X2,…,Xn为抽自总体X的样本据此,我们应如何估计点估计问题的一般提法x1,x2,…,xn是相应的一个样本值8

为估计

,需要根据一定的标准构造一个适当的统计量每当有了样本观测值x1,x2,…,xn

，就代入该统计量中算出一个值：作为未知参数的近似值

.

称为参数的估计量

称为参数的一个估计值在不引起混淆情况下统称为估计，记为10注意：被估计的参数

是一个未知常数，而估计量

是样本的函数，是一个随机变量,当样本值取定后，估计值是个已知的数值.对于不同的样本值，的估计值一般不同.构造什么样的统计量去估计？问题是:常用的估计方法：矩估计法最大似然估计法11一

、矩估计法

矩估计法是英国统计学家K.皮尔逊在20世纪初提出的由大数定律

自然想到用样本的k阶原点矩作为总体k

阶原点矩的一个估计，即用由此进一步估计未知参数，这就是矩估计法121、

矩估计的基本思想

——用样本矩估计总体矩设X为连续型随机变量，其概率密度为或X为离散型随机变量，其分布律为其中为待估参数，是来自总体X的样本.假设总体X的前k阶矩存在

13X为连续型X为离散型原理解释：14它们一般均为参数

的函数。

已知样本矩依概率收敛于相应的总体矩样本矩的连续函数依概率收敛于相应的总体矩的连续函数15(1)用样本矩作为相应总体矩的估计量(2)用样本矩的连续函数作为相应的总

体矩的连续函数的估计量从而得到未知参数的估计量，该估计量就是矩估计量。16解得2矩估计的具体做法：设总体前k阶原点矩满足17181920212223解:得X1,X2,…,Xn是取自X的样本,求参数

的矩估计.

例6

设总体X的概率密度为是未知参数,其中24

二、

最大似然估计法

它首先是由德国数学家高斯在1821年提出的,GaussFisher

然而，这个方法常归功于英国统计学家费歇(Fisher).

费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.25261最大似然估计法的基本思想

引例一只野兔从前方窜过.是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.27

因为只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.推测这一枪更可能是猎人射中的.数学模型：

令X为打一枪的中弹数，则X~B(1,p),

p未知.设想事先知道p的真值只有两种可能:p=0.9或p=0.1

两人中有一人打枪,要根据这一枪是否射中来估计这一枪是谁打的，即要根据观测值来估计总体X的参数p的值28当兔子不中弹，即{X=0}发生了现有样本观测值x=1,什么样的参数使该样本值出现的可能性最大呢？

若p=0.9，则P{X=1}=0.9

若p=0.1，则P{X=1}=0.1

若p=0.9，则P{X=0}=0.1

若p=0.1，则P{X=0}=0.9当兔子中弹，即{X=1}发生了

打出一枪后，有两种可能的结果：最大似然估计法的基本思想：根据样本观测值，选择参数p的估计值，使得样本在该样本值附近出现的可能性最大292最大似然估计的相关概念30现经过一次试验，发生了，事件则

的取值应使这个事件发生的概率最大。31323334353最大似然估计的求法(1)利用微积分中求极值的方法称为对数似然方程.称为似然方程.3637(4)在最大值点的表达式中,用样本值代入就得参数的最大似然估计值.极值法求最大似然估计(MLE)的一般步骤是：(1)由总体分布导出样本的联合分布律

(或联合密度);(2)把样本联合分布律(或联合密度)中自变量看成已知常数,而把参数看作自变量,

得到似然函数L();(3)求似然函数的最大值点(常转化为求对数似然函数

的最大值点)即

的MLE;

例7设总体X~B(1,p),X1,X2,…,Xn是取自X的一个样本，求参数p的最大似然估计量.38

解：

X的分布律为似然函数为:对数似然函数为：39设x1,x2,…,xn是相应于样本X1,X2,…,Xn的一个样本值，对p求导并令其为0，=0得p的最大似然估计值为p的最大似然估计量为40似然函数为：41424344解：似然函数为对数似然函数为例9

设X1,X2,…Xn是取自总体X的一个样本求的最大似然估计.其中

>0,45求导并令其为0=0从中解得即为的MLE.对数似然函数为46

例10设总体X的概率分布为X012P

1-2

其中0

1/2为未知参数。今对X进行观测，得如下样本值

0，1，2，0，2，1求的最大似然估计。47从而对数似然函数为解：似然函数为令得48(2)从定义出发求X的概率密度为：49似然函数为：50似然方程无解。51a越大,b越小,使得b-a越小，似然函数L越大.设x(1)=min{x1,x2,…,xn}x(n)=max{x1,x2,…,xn}524最大似然估计的重要性质53称为最大似然估计的不变性54矩估计法和最大似然估计法的比较矩估计法对总体分布要求较少例3

55最大似然法要求知道总体分布（分布列或密度）两种方法的结果有时是一样的，有时有差别，最大似然估计相对来说有更多的优良性。56

作业7.2，7.3，7.4(1)(2)，7.6，7.7§2估计量的评选标准

对于同一参数，用不同的估计方法求出的估计量可能不相同。

问题：采用哪一个估计量好?5758估计量的评选标准:无偏性:从均值的角度有效性:从方差的角度相合性:从分布的角度X1,X2,…,Xn为来自该总体的样本。设总体X~F(x,

),其中

为未知参数。为

的一个估计量。59估计量而当样本(X1,…,Xn)有观测值(y1,…,yn)时，估计值为

是一个随机变量，当样本(X1,…,Xn)有观测值(x1,…,xn)时，估计值为60由不同的观测结果，就会求得不同的参数估计值.

因此评价一个估计量的好坏，不能仅仅依据一次试验的结果来判断，而必须根据估计量的分布从整体上来做评价。总的来说，我们希望每次观测后给出的估计值总能在未知参数真值附近摆动，并且与未知参数的真值的偏差越小越好.当这种偏差为0时，就导致无偏性这个标准.61（一）无偏性则称为的无偏估计量.62作为的估计的系统误差,无偏估计的意义就是无系统误差。在科学技术中,将称为以

6364证明：6566

本例说明，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但反复将这一估计量使用多次，平均来说其偏差为0.试证明不论总体服从什么分布，样本k阶矩例2设总体X的k阶原点矩存在，记其为k

X1,X2,…,Xn为来自总体的样本，是总体k阶矩k的无偏估计量.解：由于因此样本k阶矩是总体k阶矩的无偏估计量6768例3

设总体X

N(，

2)，其中参数，

2未知，试用最大似然估计法求，

2的估计量，并问是否是无偏估计？69例4

设总体X的概率密度为其中,参数>0

为未知,X1,…,Xn为来自总体的样本.试证,和nmin(X1,…,Xn)都是的无偏估计量.解：因为故是的无偏估计X的分布函数为70先求Z=

min(X1,…,Xn)的分布函数71对其求导得到Z的密度函数为：指数分布即Z的分布函数72故因此,nZ=nmin(X1,…,Xn)也是的无偏估计量.7374

例5设X1,X2,…,Xn是来自总体X的样

本，且E(X)=。以下两个估计是否为

的无偏估计（答：是）（答：是）

无偏估计以方差小者为好,这就引进了有效性这一概念.的大小来决定二者和由前面的例子可以看出一个参数往往有不止一个无偏估计,若和都是参数

的无偏估计量，比较我们可以谁更优.75举个例子说明有效性76到商店购买电视机，看中了其中两种品牌，分别由甲乙两厂生产，外观、音质和画面都不错.根据市场调查，甲乙两厂生产的两种电视机平均使用寿命相同，都是20年.甲厂生产的电视机质量较稳定，最低使用寿命18年，最高可以使用22年；乙厂生产的电视机质量稳定性差一些，最差的使用10年就坏了，但是最好的可以使用30年.选用哪一个厂家生产的电视机呢？77若将电视机的使用寿命视为随机变量，甲乙两厂生产的电视机使用寿命均值相等，但是乙厂的质量不稳定，即方差较大.从稳健的角度出发，显然愿意购买甲厂生产的电视机，其风险较小，即方差较小，质量稳定.78集中或分散程度用D(X)

衡量散集中EXEX(二)有效性都是参数

的无偏估计量，若设和79例6试证当n>1时，例3中无偏估计量比无偏估计量nZ=n{min(X1,…,Xn)}有效8081（三）相合性定义:

例1.设总体X的k阶矩存在，则由独立同分布的大数定理可知,样本的k阶矩是总体k阶矩的相合估计量82例2.前面我们介绍了参数的点估计，讨论了估计量的优良性准则,给出了寻求估计量最常用的矩估计法和最大似然估计法.

参数点估计是用一个确定的值去估计未知参数的真值.看来似乎精确，实际上把握不大.为了使估计的结论更可信，需要引入区间估计.8384

引例在估计湖中鱼数的问题中，若我们根据一个实际样本，得到鱼数N的最大似然估计值为1000条.实际上，N的真值可能大于1000条，也可能小于1000条.为此，我们希望确定一个区间来估计参数真值,并且满足：85a.

使我们能以比较高的可靠程度相信它包含真参数值.湖中鱼数的真值[]这里所说的“可靠程度”是用概率来度量的b.

估计区间的精度要高.86可信度：越大越好估计你的年龄

八成在21－28岁之间被估参数可信度区间区间：越小越好§3区间估计87一置信区间的定义88892.一方面,希望以很大的可能被包含在区间内.就是说，概率要尽可能大.另一方面,希望估计的精度要尽可能的高.如要求区间长度尽可能短，或能体现该要求的其它准则.即要求估计尽量可靠.可靠度与精度是一对矛盾，一般是在保证可靠度的条件下尽可能提高精度.(1)当X是连续型总体时，对于给定的，

(2)当X是离散型总体时，对于给定的，有时找不到区间使得此时，找区间使得至少为且尽可能接近90因此置信区间的选取遵循以下两条基本原则二构造置信区间的方法1.基本方法--枢轴量法92此时有

4.则是参数

的一个置信水平为1-

的置信区间.2.如何确定a,b但我们还希望置信区间尽可能短.假设已知W的密度函数是f(u).理论上，任意两个数c和d，只要它们的纵标包含f(u)下95%的面积，就确定一个可靠度为95%的区间.93在枢轴量W概率密度为单峰且对称（如正态分布，t分布）的情形，当取a=-b时求得的置信区间的长度为最短.a=-b94

即使枢轴量W的概率密度不对称的情形，如分布，F分布，习惯上仍取对称的分位点来计算未知参数的置信区间.9596求参数的置信水平为的置信区间.

例1设X1,…,Xn是取自正态总体

的样本，解：W是样本和待估参数的函数,且分布为已知.可以作为枢轴量。有了分布，就可以求出W取值于任意区间的概率.对给定的置信水平对于给定的置信水平,根据W的分布，确定一个区间,使得W取值于该区间的概率为置信水平.97对给定的置信水平从中解得98简记为的一个置信水平为的置信区间99100说明：(2)置信区间的中心是样本均值(3)置信水平越大，越大，因此置信区间越长，精度越低.(4)样本容量n越大,置信区间越短,精度越高置信区间长度为(1)ln越小，置信区间提供的信息越精确因为方差越大,随机影响越大,估计的精度越低101例2

旅游者消费额～N(μ,σ2)，σ=12(元)已知：对平均消费额μ作区间估计，置信水平1-α=0.95.为使估计区间长度小于4(元)，问至少调查多少人？解：的置信水平为的置信区间为102要求最小的n,使得区间长度为所以，至少调查139人.103如何求参数的置信水平为的置信区间？

注意此时不能再以作为枢轴量。

思考

设X1,…,Xn是取自正态总体

的样本，104作业7.10，7.12，7.16(1)105设X1,X2,…,Xn是来自正态总体的样本,分别为样本均值和样本方差,则有正态总体的抽样分布（1）106正态总体的抽样分布（2）§4正态总体均值与方差的区间估计107简记为108109因方差未知，则不能作为枢轴量.想法：用样本标准差S代替总体标准差σ.110由于

对给定的置信水平

,确定分位数使即因此取

作为枢轴量111均值