概率论课件 CH7 第七章 参数估计学习资料

第一节参数的点估计点估计概念求估计量的方法课堂练习小结2参数估计问题的一般提法:X1,X2,…,Xn

设有一个统计总体,总体的分布函数为现从该总体抽样，得样本F(x,)，其中为未知参数(可以是向量).

要依据该样本对参数作出估计,或估计的某个已知函数.这类问题称为参数估计.

参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.参数估计3参数估计点估计区间估计4（假定身高服从正态分布）设这5个数是:1.651.671.681.781.69这是区间估计.估计在区间[1.57,1.84]内，例如我们要估计某队男生的平均身高.

现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值的估计.而全部信息就由这5个数组成.

估计为1.68，这是点估计.5一、点估计概念随机抽查100个婴儿,…得100个体重数据10,7,6,6.5,5,5.2,

…呢?据此,我们应如何估计和而全部信息就由这100个数组成.例1

已知某地区新生婴儿的体重,未知6

为估计:我们需要构造出适当的样本的函数T(X1,X2,…Xn)

，每当有了样本，就代入该函数中算出一个值，用来作为的估计值.T(X1,X2,…Xn)

称为参数的点估计量，把样本值代入T(X1,X2,…Xn)

中，估计值.得到的一个点7由大数定律,

自然想到把样本体重的平均值作为总体平均体重的一个估计.样本体重的平均值我们知道,若,则

.用样本体重的均值估计.

类似地，用样本体重的方差估计.8使用什么样的统计量去估计？可以用样本均值;也可以用样本中位数;还可以用别的统计量.问题是:9二、寻求估计量的方法1.矩估计法2.最大似然法3.最小二乘法4.贝叶斯方法……这里我们主要介绍前面两种方法.101.矩估计法

矩估计法是英国统计学家K.皮尔逊最早提出来的.由辛钦大数定理,若总体的数学期望有限,则有其中为连续函数.11

这表明

,当样本容量很大时,在统计上,可以用用样本矩去估计总体矩.这一事实导出矩估计法.定义用样本原点矩估计相应的总体原点矩,又用样本原点矩的连续函数估计相应的总体原点矩的连续函数,这种参数点估计法称为矩估计法

.

理论依据:

大数定律矩估计法的具体做法如下：那么它的前k阶矩,一般都是这k个参数

设总体的分布函数中含有k个未知参数,12i=1,2,…,k从这k个方程中解出j=1,2,…,kj=1,2,…,k那么用诸的估计量Ai分别代替上式中的诸,即可得诸的矩估计量：矩估计量的观察值称为矩估计值

.的函数,记为：13

例2

设总体X在[a,b]上服从均匀分布,a,b未知.是来自X

的样本,试求a,b

的矩估计量.解14即解得于是a,b的矩估计量为样本矩总体矩15解

例3

设总体X的均值和方差都存在,未知.是来自X

的样本,试求的矩估计量.16解得于是的矩估计量为样本矩总体矩17解:

由矩法,样本矩总体矩从中解得的矩估计.即为数学期望是一阶原点矩

例3

设总体X的概率密度为是未知参数,其中X1,X2,…,Xn是取自X的样本,求参

的矩估计.18

矩法的优点是简单易行,并不需要事先知道总体是什么分布.

缺点是，当总体类型已知时，没有充分利用分布提供的信息.一般场合下,矩估计量不具有唯一性.

其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性.192.最大似然法

它是在总体类型已知条件下使用的一种参数估计方法.

它首先是由德国数学家高斯在1821年提出的.GaussFisher

然而,这个方法常归功于英国统计学家费歇

.

费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.2020最大似然估计法的思想

最大似然估计法，是建立在最大似然原理的基础上的求点估计量的方法。最大似然原理的直观想法是：在试验中概率最大的事件最有可能出现。因此，一个试验如有若干个可能的结果A,B,C,…,若在一次试验中，结果A出现，则一般认为A出现的概率最大。21

最大似然估计定义：

当给定样本X1,X2,…Xn时，定义似然函数为：

设X1,X2,…Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合分布律(离散型)为

f(x1,x2,…,xn

;).f(x1,x2,…,xn;)这里x1,x2,…,xn

是样本的观察值.22

似然函数：f(x1,x2,…,xn;)

最大似然估计法就是用使达到最大值的去估计.即称为的最大似然估计值

.而相应的统计量称为的最大似然估计量

.

看作参数的函数，它可作为将以多大可能产生样本值x1,x2,…,xn

的一种度量.23求最大似然估计量的一般步骤为：

（1）求似然函数（2）一般地，求出及似然方程

（3）解似然方程得到最大似然估计值

（4）最后得到最大似然估计量

24解似然函数例52526解X的似然函数为例6272829解例7303132解例33这一估计量与矩估计量是相同的.34最大似然估计的不变性:U.35三、课堂练习

例1

设总体X的概率密度为其中是未知参数,X1,X2,…,Xn

是取自X的样本,求参数的矩估计.36解样本矩总体矩解得的矩估计量为故37解由密度函数知例

2

设X1,X2,…Xn是取自总体X的一个样本其中>0,求的矩估计.具有均值为的指数分布即E(X-)=

D(X-)=

E(X)=

D(X)=故38解得也就是

E(X)=

D(X)=的矩估计量为于是39解似然函数为对数似然函数为例3

设X1,X2,…Xn是取自总体X的一个样本

求的最大似然估计值.其中

>0,40求导并令其为0=0从中解得即为的最大似然估计值

.对数似然函数为41

这一讲，我们介绍了参数点估计,给出了寻求估计量最常用的矩法和极大似然法.

参数点估计是用一个确定的值去估计未知的参数.看来似乎精确，实际上把握不大.四、小结42第二节估计量的评选标准无偏性有效性相合性小结布置作业43这就需要讨论以下问题:问题的提出

从前面可以看到,对于同一个参数,用不同的估计方法求出的估计量可能不相同,而且,很明显,原则上任何统计量都可以作为未知参数的估计量.(1)对于同一个参数究竟采用哪一个估计量好?(2)评价估计量的标准是什么?44

常用的几条标准是：1．无偏性2．有效性3．相合性这里我们重点介绍前面两个标准.45无偏估计的实际意义:无系统误差.一、无偏性46证例147特别的:不论总体X服从什么分布,只要它的数学期望存在,48证例249(这种方法称为无偏化).50

例3

设总体X服从参数为的指数分布

,

其概率密度为为未知,X1,X2,…Xn是取自总体的一个样本,试证和都是参数的无偏估计量.51证所以是参数的无偏估计量

.而具有概率密度故知即也是参数的无偏估计量

.52

所以无偏估计以方差小者为好,这就引进了有效性这一概念.的大小来决定二者谁更优.和一个参数往往有不止一个无偏估计,若和都是参数

的无偏估计量，我们可以比较由于53二、有效性D()≤D()则称较有效.都是参数

的无偏估计量，若对任意，设和且至少对于某个上式中的不等号成立，54证明例4

(续例3)55例如三、相合性56第三节区间估计置信区间定义置信区间的求法57

引言

前面，我们讨论了参数点估计.它是用样本算得的一个值去估计未知参数.但是，点估计值仅仅是未知参数的一个近似值，它没有反映出这个近似值的误差范围，使用起来把握不大.区间估计正好弥补了点估计的这个缺陷.58一、置信区间定义满足设是一个待估参数，给定X1,X2,…Xn确定的两个统计量则称区间是的置信水平（置信度)为

的置信区间.和分别称为置信下限和置信上限.若由样本59这里有两个要求:可见，

对参数作区间估计，就是要设法找出两个只依赖于样本的界限(构造统计量).

一旦有了样本，就把估计在区间内.60可靠度与精度是一对矛盾，一般是在保证可靠度的条件下尽可能提高精度.1.要求以很大的可能被包含在区间内，就是说，概率要尽可能大.即要求估计尽量可靠.2.估计的精度要尽可能的高.如要求区间长度

尽可能短，或能体现该要求的其它准则.61关于定义的说明62若反复抽样多次(各次得到的样本容量相等,都是n)按伯努利大数定理,在这样多的区间中,63例如64在求置信区间时，要查表求分位点.二、置信区间的求法

设,对随机变量X，称满足的点为X的概率分布的上分位点.定义65若X为连续型随机变量,则有所求置信区间为所求置信区间为由此可见，置信水平为的置信区间是不唯一的。66~N(0,1)求参数的置信度为的置信区间.

例1

设X1,…Xn是取自

的样本，明确问题,是求什么参数的置信区间?置信水平是多少？寻找未知参数的一个良好估计.选的点估计为,解

寻找一个待估参数和统计量的函数，要求其分布为已知.有了分布，就可以求出U取值于任意区间的概率.67对给定的置信水平查正态分布表得对于给定的置信水平,根据U的分布，确定一个区间,使得U取值于该区间的概率为置信水平.使为什么这样取？6869这样的置信区间常写成其置信区间的长度为70

从例1解题的过程，我们归纳出求置信区间的一般步骤如下:1.明确问题,是求什么参数的置信区间?

置信水平

是多少?2.寻找参数的一个良好的点估计

3.寻找一个待估参数和估计量T的函数U(T,),且其分布为已知.T(X1,X2,…Xn)714.对于给定的置信水平

，根据U(T,)的分布，确定常数a,b，使得P(a

<U(T,)<b)=

5.对“a<U(T,)<b”作等价变形,得到如下形式即于是就是的100(

)％的置信区间.72

可见，确定区间估计很关键的是要寻找一个待估参数和估计量T的函数U(T,),且U(T,)的分布为已知,不依赖于任何未知参数.而这与总体分布有关，所以，总体分布的形式是否已知，是怎样的类型，至关重要.73

需要指出的是，给定样本，给定置信水平，置信区间也不是唯一的.对同一个参数，我们可以构造许多置信区间.

1.在概率密度为单峰且对称的情形，当a=-b时求得的置信区间的长度为最短.

2.即使在概率密度不对称的情形，如分布，F分布，习惯上仍取对称的分位点来计算未知参数的置信区间.74第四节

正态总体均值与方差的区间估计单个总体的情况两个总体的情况75一、单个总体的情况并设为来自总体的样本,分别为样本均值和样本方差.均值的置信区间为已知可得到

的置信水平为的置信区间为或76为未知可得到

的置信水平为的置信区间为此分布不依赖于任何未知参数由或77

例1

有一大批糖果.现从中随机地取16袋,称得重量(以克计)如下:506508499503504510497512514505493496506502509496设袋装糖果的重量近似地服从正态分布,试求总体均值的置信水平0.95为的置信区间.解这里78于是得到

的置信水平为的置信区间为即79方差的置信区间由可得到

的置信水平为的置信区间为80由可得到标准差

的置信水平为的置信区间为注意:在密度函数不对称时,习惯上仍取对称的分位点来确定置信区间(如图).81

例2

有一大批糖果.现从中随机地取16袋,称得重量(以克计)如下:506508499503504510497512514505493496506502509496设袋装糖果的重量近似地服从正态分布,试求总体方差的置信水平0.95为的置信区间.解这里82于是得到

的置信水平为的置信区间为即的置信水平为的置信区间为即83

以下讨论两个整体总体均值差和方差比的估计问题.二、两个总体的情况84推导过程如下:1.为已知8586为未知87

例3

为比较I,Ⅱ

两种型号步枪子弹的枪口速度,随机地取I型子弹10发,得到枪口速度的平均值为标准差随机地取Ⅱ

型子弹20发,得到枪口速度的平均值为标准差假设两总体都可认为近似地服从正态分布.且生产过程可认为方差相等.求两总体均值差的置信水平为0.95

的置信区间.88解

依题意,可认为分别来自两总体的样本是相互独立的.又因为由假设两总体的方差相等

,但数值未知

,故两总体均值差的置信水平为的置信区间为其中89这里

故两总体均值差的置信水平为0.95的置信区间为即(3.07,4.93).90推导过程如下:2.91根据F分布的定义,知9293

例4

研究由机器A

和机器B

生产的钢管的内径,随机地抽取机器A生产的钢管18只,测得样本方差随机地取机器B

生产的钢管13只,测得样本方差设两样本相互独立,且设由机器A和机器B

生产的钢管的内径分别服从正态分布这里(i=1,2)

均未知.试求方差比的置信水平为0.90

的置信区间.94这里即(0.45,2.79).解

故两总体方差比的置信水平为0.90的置信区间为95单侧置信区间96在上述讨论中,对于未知参数q,我们给出两个统计量q,`q,得到q的双侧置信区间(q,`q).但在一些