概率统计 第七章 参数估计_第1页
概率统计 第七章 参数估计_第2页
概率统计 第七章 参数估计_第3页
概率统计 第七章 参数估计_第4页
概率统计 第七章 参数估计_第5页
已阅读5页,还剩66页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第七章参数估计参数的点估计估计量的评选标准正态总体参数的区间估计

总体是由总体分布来刻画的.总体分布类型的判断──在实际问题中,我们根据问题本身的专业知识或以往的经验或适当的统计方法,有时可以判断总体分布的类型.或者,分布函数虽然未知,但我们可以对总体分布的某些数字特征,即对未知参数进行估计──总体分布的参数往往是未知的,需要通过样本来估计.通过样本来估计总体的参数,称为参数估计,它是统计推断的一种重要形式.一般可以分为点估计和区间估计两大类。(假定身高服从正态分布)设这5个数是:1.651.671.681.781.69估计μ为1.68,这是点估计.这是区间估计估计在区间[1.57,1.84]内,假如我们要估计某队男生的平均身高.现从该总体选取容量为5的样本,我们的任务是要根据选出的样本(5个数)求出总体均值的估计.而全部信息就由这5个数组成.7.1点估计一、参数估计的概念问题的提出:已知总体X的分布函数F(x;θ1,θ2,…,θk),其中θ1,θ2,…,θk是未知参数。点估计:由总体的样本(X1,X2,…,Xn)对每一个未知参数θi(i=1,2,…,k)构造统计量作为参数θi的估计,称为参数θi的估计量。是r.v样本(X1,X2,…,Xn)的一组取值(x1,x2,…,xn)称为样本观察值,将其代入估计量,得到数值称为参数θi的估计值。在不致混淆的情况下,估计量、估计值统称估计,记为由于现用它来估计未知参数

,故称这种估计为点估计。是实数域上的一个点,点估计的经典方法是:(1)矩估计法(2)极大似然估计法二、矩估计法(简称“矩法”)

英国统计学家皮尔逊(K.pearson)提出1、矩法的基本思想:以样本矩作为相应的总体同阶矩的估计;以样本矩的函数作为相应的总体矩的同一函数的估计。(3).最小二乘法(4).贝叶斯方法……理论依据:大数定律记总体k阶原点矩为样本k阶原点矩为用相应的样本矩去估计总体矩的估计方法法就称为矩估计法.记总体k阶中心矩为样本k阶中心矩为设总体X的分布函数中含有k个未知参数

步骤一、我们把总体X的r阶原点矩E(Xr)记为mr

,r=1,2,

,k

一般地,mr(r=1,2,

,k)是总体分布中的参数

1,2,,k的函数.故应该把mr

(r=1,2,

,k)记之为:mr

(

1,2,,k)(r=1,2,

,k)方法步骤二、

算出m阶样本原点矩:步骤三、令mr(

1,2,,k)=Ar

(r=1,2,

,k)得关于

1,2,,k的方程组步骤四、解这个方程组,其解记为

它们就可以做为

1,2,,k的估计.这样求出的估计叫做矩估计.

具体地写出方程组,即:从中解出方程组的解,记为则分别为参数θ1,θ2,…,θk的矩估计。

∵X1,X2,

,Xn是独立同分布的.∴X1r,X2r,

,Xnr也是独立同分布的.于是有:

E(X1r)=E(X2r)=

=E(Xnr)=E(Xr)=mr

.根据大数定律,样本原点矩Ar作为X1r,X2r,

,Xnr的算术平均值依概率收敛到均值mr=E(Xr).即:原理解释例7.1设总体X的均值为μ,方差为σ2,均未知。(X1,X2,…,Xn)是总体的一个样本,求μ和σ2的矩估计。解解得矩法估计量为注:A1代m1A2代m2解:由矩法,样本矩总体矩从中解得的矩估计.即为数学期望是一阶原点矩

例7.2设总体X的概率密度为是未知参数,其中X1,X2,…,Xn是取自X的样本,求参数的矩估计.例7.3设总体X~P(λ),求λ的矩估计。解例7.4设(X1,X2,…,Xn)来自X的一个样本,且求a,b的矩估计。解X~U(a,b)解得矩估计为样本2阶中心矩矩法估计的优点:计算简单;矩法估计的缺点:(1)矩法估计有时会得到不合理的解;(2)求矩法估计时,不同的做法会得到不同的解;(通常规定,在求矩法估计时,要尽量使用低阶矩)如例7.3中,不是用1阶矩,而是用2阶矩与不同(3)总体分布的矩不一定存在,所以矩法估计不一定有解。如二、极大似然法是在总体类型已知条件下使用的一种参数估计方法.它首先是由德国数学家高斯在1821年提出的,GaussFisher然而,这个方法常归功于英国统计学家费歇

.

费歇在1922年重新发现了这一方法,并首先研究了这种方法的一些性质.

极大似然法的基本思想先看一个简单例子:一只野兔从前方窜过.是谁打中的呢?某位同学与一位猎人一起外出打猎.如果要你推测,你会如何想呢?只听一声枪响,野兔应声倒下.

你就会想,只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.这个例子所作的推断已经体现了极大似然法的基本思想.一般地,事件A发生的概率与参数

有关,

取值不同,则P(A)也不同。因而应记事件A发生的概率为P(A|

)。若A发生了,则认为此时的

值应是在

中使P(A|

)达到最大的那一个。这就是极大似然思想。使得取该样本值发生的可能性最大。具体地说,就是由样本的具体取值,选择参数θ的估计量对每一样本值(x1,x2,…,xn),在参数空间

内使似然函数L(x1,x2,…,xn;θ)达到最大的参数估计值,称为参数θ的极大似然估计值,它满足称统计量为参数θ的极大似然估计量。记为1。似然函数与极大似然估计设则称为该总体X的似然函数。2。求极大似然估计的步骤设总体X的分布中,有m个未知参数θ1,θ2,…,θm,它们的取值范围

。(1)写出似然函数L的表达式如果X是离散型随机变量,分布律为P(X=k),则如果X是连续型随机变量,密度函数为f(x),则(2)在

内求出使得似然函数L达到最大的参数的估计值它们就是未知参数θ1,θ2,…,θm的极大似然估计。一般地,先将似然函数取对数lnL,然后令lnL关于θ1,θ2,…,θm的偏导数为0,得方程组从中解出注意:似然函数中的x并非自变量,θ才应该视为自变量。

下面举例说明如何求极大似然估计L(p)=f(X1,X2,…Xn;p)例7.5

设X1,X2,…Xn是取自总体X~B(1,p)的一个样本,求参数p的极大似然估计.解:似然函数为:对数似然函数为:对p求导并令其为0,=0得即为p的极大似然估计值和估计量。例7.6(X1,X2,…,Xn)是来自总体X~P(λ)的样本,λ>0未知,求λ的极大似然估计量。解总体X的分布律为x=1,2,…设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值,似然函数对数似然函数是λ的极大似然估计值,λ的极大似然估计量为所以例7.7设(X1,X2,…,Xn)是来自正态总体X~N(μ,σ2)的一个样本,μ,σ2未知,求μ,σ2的极大似然估计。解设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值,则似然函数为解得所以μ,σ2的极大似然估计量分别为例7.8设X~U[a,b],a,b未知,(X1,X2,…,Xn)是总体X的一个样本,求a,b的极大似然估计。解X的密度函数为设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值,则似然函数a≤xi≤

b,i=1,2,…n无法求出估计设x1*=min(x1,x2,…,xn),xn*=max(x1,x2,…,xn),则a的取值范围a≤x1*,b的取值范围b≥xn*当a=x1*,b=xn*时,有L(a,b)当a=x1*,b=xn*时取得最大值。所以注:由似然方程解不出

的似然估计时,可由定义通过分析直接推求。事实上满足极大似然估计具有下述性质:若是未知参数

的极大似然估计,g(

)是

的严格单调函数,则g(

)的矩极大似然估计为g(),例7.9设X~N(μ,σ2),(X1,X2,…,Xn)是总体X的一个样本,求使得P(X<t)=0.95的t的极大似然估计。解:

从以上的讨论中我们看到:

有时候同一个参数可以有几种不同的估计方法,这时就存在采用哪一个估计的问题.

另一方面,对一个参数,用矩法和极大似然法这两种方法即使得到的是同一种估计,也存在一个衡量这个估计优劣的问题.

估计量的优良性准则讨论的就是:

评价一个估计的标准问题.

7.2估计量评选标准1.无偏性估计量的观察或试验的结果,估计值可能较真实的参数值偏大或偏小,而一个好的估计量不应总是偏大或偏小,在多次试验中所得的估计量的平均值应与真实参数吻合,这就是无偏性所要求的。是一个随机变量,对一次具体定义是

的一个估计量,如果有则称是

的一个无偏估计。如果不是无偏的,就称该估计是有偏的。称为的偏差。例如:

设X1,X2,

,Xn为抽自均值为

的总体X的样本,考虑

的估计量:例7.10设总体X的k阶矩存在,则不论X的分布如何,样本k阶原点矩是总体k阶矩的无偏估计。证明设X的k阶矩mk=E(Xk),k≥1(X1,X2,…,Xn)是来自正态总体X的一个样本,则所以Ak是mk的无偏估计.例7.11设X~N(μ,σ2),其中μ,σ2未知,问μ,σ2的极大似然估计是否为μ,σ2的无偏估计?若不是,请修正使它成为无偏估计。解设(X1,X2,…,Xn)是取自总体X的一个样本,由例7.7知是μ的无偏估计不是σ2的无偏估计,而为σ2的无偏估计。2.有效性对于参数

的无偏估计量,其取值应在真值附近波动,我们希望它与真值之间的偏差越小越好。定义设均为未知参数

的无偏估计量,若则称比有效。在

的所有无偏估计量中,若估计量,则称是具有最小方差的无偏显然也是最有效的无偏估计量,简称有效估计量。为一致最小方差无偏估计量,或称最优无偏估计量.例7.12设总体X~U[1,

],

>1,未知,(X1,X2,…,Xn)是总体X的一个样本,(1)求

的矩估计和极大似然估计;(2)上述两个估计是否为无偏估计量,若不是,请修正为无偏估计量;(3)问在(2)中的两个无偏估计量哪一个更有效?解X的密度函数(1)

的矩估计为设(x1,x2,…,xn)为样本观察值,则似然函数i=1,2,…n令xn*=max(x1,x2,…,xn),则xn*≤

即

的极大似然估计为(2)是

的无偏估计。为求先求Xn*的密度函数显然,它不是

的无偏估计,修正如下:令则是

的无偏估计。(3)当n>1时,对任意

>1,因此比更有效。3.一致性(相合性)在参数估计中,很容易想到,如果样本容量越大,样本所含的总体分布的信息越多。n越大,越能精确估计总体的未知参数。随着n的无限增大,一个好的估计量与被估参数的真值之间任意接近的可能性会越来越大,这就是所谓的相合性或一致性。定义设为未知参数

的估计量,若对任意给定的正数ε>0,都有即以概率收敛于参数

,则称为参数

的一致估计或相合估计量。例7.13设是总体X的样本均值,则作为总体期望E(X)的估计量时,是E(X)的一致估计量。证明由独立同分布大数定律可知,当n→∞时是E(X)的一致估计量。例7.14设为

的无偏估计量,若则为

的一致估计量证明由切贝雪夫不等式可知为

的一致估计量。7.3区间估计上一节中,我们讨论了参数的点估计,只要给定样本观察值,就能算出参数的估计值。但用点估计的方法得到的估计值不一定是参数的真值,即使与真值相等也无法肯定这种相等(因为总体参数本身是未知的),也就是说,由点估计得到的参数估计值没有给出它与真值之间的可靠程度,在实际应用中往往还需要知道参数的估计值落在其真值附近的一个范围。为此我们要求由样本构造一个以较大的概率包含真实参数的一个范围或区间,这种带有概率的区间称为置信区间,通过构造一个置信区间对未知参数进行估计的方法称为区间估计。

譬如,在估计湖中鱼数的问题中,若我们根据一个实际样本,得到鱼数N的极大似然估计为1000条.若我们能给出一个区间,在此区间内我们合理地相信N的真值位于其中.这样对鱼数的估计就有把握多了.实际上,N的真值可能大于1000条,也可能小于1000条.也就是说,我们希望确定一个区间,使我们能以比较高的可靠程度相信它包含真参数值.湖中鱼数的真值[]这里所说的“可靠程度”是用概率来度量的,称为置信概率,置信度或置信水平.习惯上把置信水平记作,这里是一个很小的正数.定义7.3.1设总体X的分布函数族为{F(x;θ),θ∈Θ},对于给定的α(0<α<1),如果有两个统计量使得对一切θ∈Θ成立,则称随机区间是θ的置信度为1-α的双侧置信区间双侧置信下限;双侧置信下限;1-α置信度。由定义可知,置信区间是以统计量为端点的随机区间,对于给定的样本观察值(x1,x2,…,xn),由统计量构成的置信区间可能包含真值θ,也可能不包含真值θ,但在多次观察或试验中,每一个样本皆得到一个置信区间,在这些区间中包含真值θ的区间占100(1-α)%,不包含θ的仅占100α%。

一旦有了样本,就把估计在区间内.可以估计的是:θ对参数作区间估计,就是要设法找出两个只依赖于样本的界限(构造统计量)(X1,…

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论