统计学参数估计

§1、点估计一、点估计问题的提出数理统计的基本任务就是依据样本推断总体特征.刻画总体X的某些特征的常数称为参数,其中最常用的参数是总体的数学期望和方差。例如,服从正态分布的总体X就是由参数μ=E(X),σ2=D(X)确定的。在实际问题中,常已知总体X的分布函数的形式,而未知总体X的一个或多个参数。根据样本提供的信息对总体X的未知参数作出估计，这类问题称为参数估计问题。第1页，共93页。参数估计通常有两种方法:点估计和区间估计。一、点估计提法

点估计问题提法:设已知总体X的分布函数F(x;θ)的形式,θ∈Θ(参数空间)为需要估计的参数。是来自总体X的一个样本,是其样本值.根据待估参数的特征构造一个适当的统计量用其观察值来估计未知参数θ.——θ的估计量——θ的估计值今后,不再区分估计量和估计值而统称为θ的估计,均记为.第2页，共93页。设已知总体X的可能分布函数族为:

理论根据:样本矩(的连续函数)依概率收敛于总体矩(的连续函数).其中为待估参数.二、构造估计量的两种方法1、矩估计法

矩估计法:用样本矩(函数)来估计总体矩(函数).第3页，共93页。证明辛钦定理再根据辛钦定理知由以上定义得下述结论:第4页，共93页。由第五章关于依概率收敛的序列的性质知以上结论是下一章所要介绍的矩估计法的理论根据.第5页，共93页。设总体X的前k阶矩均存在,而样本矩其中矩估计法就是:令总体的前k阶矩分别与样本的对应阶矩相等,即第6页，共93页。可作为待估参数的估计量(称为矩估计量),其观察值为待估参数的估计值(称为矩估计值).这是含k个待估参数的联立方程组，其解第7页，共93页。

确定待估参数的个数k,求出总体的前k阶矩;求矩估计的步骤

解方程(组)

写出矩估计量和矩估计值.因此,会求总体矩,记住样本矩,就可求出待估参数的矩估计量与矩估计值.第8页，共93页。

【例1】设总体X服从[a,b]上的均匀分布,求未知参数a,b的矩估计量.〖解〗两个待估参数，连续型.先求总体的一,二阶(原点)矩.因为X∼U[a,b],所以由即第9页，共93页。解得:■第10页，共93页。【例２】求正态总体N(μ,σ2)的两个未知参数μ,σ2的矩估计量.〖解〗两个待估参数，连续型.先求总体的一,二阶(原点)矩.因为X∼N(μ,σ2),所以由第11页，共93页。.

即解得μ,σ2的矩估计量分别为:■样本二阶中心矩，非修正样本方差第12页，共93页。

【例３】求服从二项分布B(m，p)的总体X未知参数p的矩估计量。〖解〗单参数，离散型.由因为所以总体X的一阶矩(期望)为即故所求矩估计量为：■第13页，共93页。

【例4】已知总体X的概率密度为:〖解〗单参数，连续型.因为总体一阶矩

其中未知参数θ>0,求θ的矩估计量.由第14页，共93页。故所求矩估计量为：即解得:■第15页，共93页。

【例5】已知总体X的概率密度为:〖解〗单参数，连续型.因为总体一阶矩

其中未知参数θ>0,求θ的矩估计量.不含θ，故不能由“样本一阶矩=总体一阶矩”解得所求矩估计，需要继续求二阶矩：第16页，共93页。河南理工大学精品课程概率论与数理统计

由“样本二阶矩=总体二阶矩”得：于是,所求矩估计量为：■Γ函数定义第17页，共93页。2、极大似然估计法

一位老猎人与他的徒弟一起打猎,两人同时向一猎物射击,结果该猎物身中一弹,你认为谁打中的可能性最大?

根据经验而断:老猎人打中猎物的可能性最大.

极大似然估计法的思想就是对固定的样本值，选择待估参数的估计值使“样本取样本值”[离散型]或“样本取值落在样本值附近”[连续型]的概率最大。(1、极大似然估计法的思想第18页，共93页。

单参数情形下面分离散型与连续型总体来讨论.(2、极大似然估计的求法设离散型总体X的分布律形式已知,θ为待估参数.为来自总体X的样本,为其样本值,则的联合分布律为:根据总体分布律写出似然函数：换x为xi第19页，共93页。这正是事件“样本取得样本值”的概率,称之为样本的似然函数,它是待估参数θ的函数.

极大似然估计法：对固定的样本值,在参数空间中选取使似然函数达到最大的参数值作为参数θ的估计值(称为极大似然估计值),它为样本值的函数,记为相应统计量称为参数θ的极大似然估计量.第20页，共93页。设连续型总体X的概率密度

事件“样本取值落在样本值的邻域”的概率近似为形式已知,θ为待估参数。来自总体X的样本,为其样本值，则的联合概率密度为:第21页，共93页。达到最大值,相应的

极大似然估计法：对固定的样本值,在参数空间中选取使上述概率达到最大的参数值作为参数θ的估计值(称为极大似然估计值)。由于因子与θ无关,故也使样本的似然函数称为参数θ的极大似然估计量。第22页，共93页。②、在参数θ的变化范围内求似然函数的最大值点①、依据总体X的分布律或概率密度写出样本的似然函数:综上可得,求极大似然估计的步骤即为待估计参数的极大似然估计值;特别,当总体分布律或概率密度关于参数可导时,可通过解似然方程第23页，共93页。③、必要时,参照极大似然估计值写出极大似然估计量.或与之等价的来得到待估参数θ的极大似然估计值(驻点);第24页，共93页。

【例6】求服从二项分布B(m，p)的总体X未知参数p的极大似然估计量。〖解〗单参数，离散型。所以,样本的似然函数为:因为总体其分布律为在f中换x为xi写出连乘积第25页，共93页。求导得：四则运算求导法则第26页，共93页。即也即解得极大似然估计值为第27页，共93页。河南理工大学精品课程概率论与数理统计极大似然估计量为■第28页，共93页。

确定待估参数的个数k,求出总体的前k阶矩;求矩估计的步骤

解方程(组)

写出矩估计量和矩估计值.知识回顾第29页，共93页。求最大似然估计量的步骤:最大似然估计法是由R.A.Fisher引进的.第30页，共93页。最大似然估计法也适用于分布中含有多个未知参数的情况.此时只需令对数似然方程组对数似然方程第31页，共93页。

多参数情形当总体分布中含有多个待估参数时，可类似于单参数情形来求其极大似然估计，其步骤为：

写出似然函数

求多元似然函数的极大值点；当L关于各参数可导时，可解似然方程组得各参数的极大似然估计。第32页，共93页。河南理工大学精品课程概率论与数理统计

【例7】求正态总体N(μ,σ2)的两个未知参数μ,σ2的似然估计量.〖解〗双参数，连续型.因为X~N(μ,σ2),所以X总体的概率密度为设为样本的一个样本值,则似然函数为:第33页，共93页。河南理工大学精品课程概率论与数理统计从而,取对数得:由似然方程组视σ2为整体第34页，共93页。河南理工大学精品课程概率论与数理统计解得μ,σ2的极大似然估计值为:从而μ,σ2的极大似然估计量为:■第35页，共93页。河南理工大学精品课程概率论与数理统计

【例8】设总体X服从[a,b]上的均匀分布,求未知参数a,b的极大似然估计量.〖解〗双参数，连续型.因为所以X的概率密度为设为样本的一个样本值,记第36页，共93页。河南理工大学精品课程概率论与数理统计由于所以,似然函数为对于满足的任意a,b有第37页，共93页。河南理工大学精品课程概率论与数理统计即故a,b的极大似然估计值为:故a,b的极大似然估计量为:■

本例直接利用极大似然思想方法来求似然估计.第38页，共93页。河南理工大学精品课程概率论与数理统计

小结

矩估计法是由样本矩等于总体矩的方程(组)解出矩估计量,再相应写出矩估计值;而极大似然估计法是由似然方程(组)解出似然估计值，再相应写出似然估计量.

同一个待估参数的矩估计与极大似然估计可能相同[如二项总体、正态总体],也可能不同[如均匀总体].第39页，共93页。河南理工大学精品课程概率论与数理统计(3、极大似然估计的不变性例如,正态总体方差σ2的极大似然估计为故标准差σ(>0)的极大似然估计为

定理

设

是总体X的参数

的极大似然估计,函数

具有单值反函数,则

是的极大似然估计,即第40页，共93页。河南理工大学精品课程概率论与数理统计

【例9】设总体X服从参数为λ的泊松分布,求P{X=0}的极大似然估计.因为〖解〗因为,易求的极大似然估计值与极大似然估计量分别为:

有单值反函数,故由上述定理知:P{X=0}的极大似然估计为■第41页，共93页。河南理工大学精品课程概率论与数理统计对于同一个参数,用不同方法求出的估计量可能不同.那么,采用哪一个估计量为好呢?用何种标准来评判估计量的优劣?下面,介绍几个常用标准.1、无偏性

定义设估计量存在期望,且对任意有三、估计量的评选标准则称为的无偏估计量.第42页，共93页。河南理工大学精品课程概率论与数理统计称为用来估计的系统误差.因此,无偏估计就是说无系统误差.第43页，共93页。河南理工大学精品课程概率论与数理统计【例10】设总体X存在均值μ与方差σ2>0,则〖解〗因为1、样本均值是总体均值μ的无偏估计;2、样本方差是总体方差σ2的无偏估计.第44页，共93页。河南理工大学精品课程概率论与数理统计1、样本均值是总体均值μ的无偏估计;2、样本方差是总体方差σ2的无偏估计.所以■第45页，共93页。河南理工大学精品课程概率论与数理统计

易知：对均值μ,方差σ2>0都存在的总体,方差的估计量是有偏估计:无偏化得:第46页，共93页。河南理工大学精品课程概率论与数理统计

可以证明:无论总体X服从何种分布,k阶样本矩是k阶总体矩的无偏估计,即有

因此,一般都是取样本均值

作为总体均值的估计量,取样本方差

作为总体方差的估计量.第47页，共93页。河南理工大学精品课程概率论与数理统计是总体均值μ的无偏估计;并确定常数a,b使D(Y)达到最小.〖解〗因为【例11】设从存在均值μ与方差σ2>0的总体中,分别抽取容量为n1,n2的两个独立样本,其样本均值分别为.证明:对任意常数a,b,由期望性质得:第48页，共93页。河南理工大学精品课程概率论与数理统计由无偏性知:Y是μ的无偏估计量.由方差性质得:第49页，共93页。河南理工大学精品课程概率论与数理统计即:解得当时D(Y)最小.由导数应用知:■第50页，共93页。河南理工大学精品课程概率论与数理统计

【例12】试证明均匀分布〖解〗因为θ极大似然估计量为中未知参数θ的极大似然估计量不是无偏估计.而总体分布函数第51页，共93页。河南理工大学精品课程概率论与数理统计

的分布函数为故其概率密度为第52页，共93页。河南理工大学精品课程概率论与数理统计从而,不是

的无偏估计.■第53页，共93页。河南理工大学精品课程概率论与数理统计2、有效性则称较为有效.同一个参数的无偏估计可能有多个,在容量相同情况下,认为取值密集于参数真值附近的估计量较为理想.

由于方差度量随机变量取值与其数学期望的偏离程度,故无偏估计应以方差小者为好.

定义设都是θ的无偏估计量,若有第54页，共93页。河南理工大学精品课程概率论与数理统计【例13】设总体X服从参数为θ的指数分布〖解〗因为其中θ>0为未知参数,试证:

易知

服从参数为θ/n的指数分布,故1、和都是θ的无偏估计;2、评定的有效性.所以,是θ的无偏估计量.第55页，共93页。河南理工大学精品课程概率论与数理统计所以,也是θ的无偏估计量.于是,由于,注意到当n>1时:在实际问题中常常使用无偏性、有效性这两个标准.至于一致性请自学，暂存不议.故当n>1时,较为有效.■第56页，共93页。河南理工大学精品课程概率论与数理统计§2、区间估计在参数估计中,除了求出未知参数θ的点估计外,常需给出以一定可信度包含参数θ真值的区间(置信区间),这类问题就是区间估计问题.一、问题的提出(思想)第57页，共93页。河南理工大学精品课程概率论与数理统计

置信区间设总体X的分布函数F(x;θ)含有一个未知参数θ.对于给定值α(0<α<1),若由来自总体X的样本能确定两个统计量满足：※则称随机区间是θ的置信度为1-α的（双侧）置信区间，分别称为置信下限和置信上限,1-α称为置信度.第58页，共93页。关于定义的说明第59页，共93页。河南理工大学精品课程概率论与数理统计(※)的意义是:若反复进行多次容量均为n的抽样,则每个样本值都确定一个区间,它或包含θ的真值,或不包含θ的真值,按贝努里大数定律可知:在这样多的区间中,包含θ真值的区间约占100(1-α)%,不包含θ真值的区间约占100α%.例如,α=0.01,反复抽样1000次,得到的1000个区间中包含θ真值的区间约有990个,而不包含θ真值的区间仅约为10个.第60页，共93页。河南理工大学精品课程概率论与数理统计求未知参数θ的置信区间的步骤:并且Z的分布是已知的且不依赖于θ及其它任何未知参数;

(2)对于给定的置信度1-α,确定两个常数a,b,使二、置信区间的求法(方法)(1)构造一个仅含未知参数θ的样本函数(不是统计量):(3)由解得与之等价的不等式第61页，共93页。河南理工大学精品课程概率论与数理统计其中统计量构成的随机区间就是θ的一个置信度为1-α的置信区间.(4)如果有一个样本值,便可得到一个固定区间,它不是随机区间,仍称之为置信度为1-α的置信区间,它属于包含θ真值的区间的可信程度为100(1-α)%,或说该区间包含θ的可信程度为100(1-α)%.下面,分单正态总体与双正态总体两种情形仅介绍有关正态总体均值和方差的区间估计.第62页，共93页。河南理工大学精品课程概率论与数理统计设正态总体X~N(μ,σ2),是来自该正态总体的样本,分别是样本均值和样本方差，给定的置信度为1-α.单正态总体情形三、正态总体均值与方差的区间估计1、均值μ的置信区间

方差σ2已知由于是的无偏估计,且故可作随机变量其分布不依赖于任何未知参数.第63页，共93页。河南理工大学精品课程概率论与数理统计由标准正态分布的双侧α/2分位点概念知:即

故得到μ的一个置信度为1-α的置信区间第64页，共93页。河南理工大学精品课程概率论与数理统计例如,σ=1,n=16,α=0.05,1-α=0.95,查表得|,则得到一个置信度为95%的置信区间

若有一个样本值，并算得样本均值的观察值为

则得到一个具体区间它不再是随机区间，但仍称之为置信度为95%的置信区间，其含义为：区间(4.71,5.69)包含μ的可信度为95%.第65页，共93页。河南理工大学精品课程概率论与数理统计(3).此处置信区间的长度为,即(1).区间(4.71,5.69)包含μ的可信程度为95%;(2).置信区间不唯一.由于标准正态分布概率密度对称,故一般取对称置信区间,即双侧分位点对称.当然,也可取其它非对称的置信区间,即双侧分位点不对称.显然,长度愈短估计精度愈高;解得容量注意

第66页，共93页。河南理工大学精品课程概率论与数理统计

方差σ2未知[比方差已知情形更实用]

由于

是

的无偏估计,在上述随机变量Z中“换σ为S”且由ch6-th2可作随机变量

其分布不依赖于任何未知参数.

由t-分布的双侧α/2分位点概念知:

即第67页，共93页。河南理工大学精品课程概率论与数理统计故得到μ的一个置信度为1-α的置信区间

第68页，共93页。河南理工大学精品课程概率论与数理统计【例1】设某种清漆9个样品的干燥时间(小时)分别为6.05.75.86.57.06.35.66.15.0设干燥时间服从正态分布N(μ,σ2).在下列条件下求μ的置信度为0.95的置信区间:(1)σ=0.6(小时);(2)σ未知.(1)因为方差已知,故均值μ的置信区间为

〖解〗单正态总体,置信度为1-α=0.95,α=0.05.第69页，共93页。河南理工大学精品课程概率论与数理统计由于

故所求置信区间为

即(2)因为方差未知,故均值μ的置信区间为

第70页，共93页。河南理工大学精品课程概率论与数理统计由于

故所求置信区间为

即置信区间为

■第71页，共93页。河南理工大学精品课程概率论与数理统计2、方差σ2的置信区间

只介绍μ未知情形.

由于是

的无偏估计,故可作随机变量其分布不依赖于任何未知参数.由χ2-分布的双侧α/2分位点概念知:μ已知情形参考.第72页，共93页。河南理工大学精品课程概率论与数理统计故得到σ2的一个置信度为1-α的置信区间

即

进而可得σ的一个置信度为1-α的置信区间第73页，共93页。河南理工大学精品课程概率论与数理统计〖注意〗χ2-分布与F-分布概率密度虽不对称,但习惯上仍取面积对称意义上的双侧分位点,以简化计算.当然,这样的置信区间长度并非最短.

第74页，共93页。河南理工大学精品课程概率论与数理统计设总体，样本，由于其分布不依赖于任何未知参数.构造随机变量方差σ2的置信区间为第75页，共93页。河南理工大学精品课程概率论与数理统计单

正

态

总

体已知方差,均值置信区间(N(0,1)-分布)未知方差,均值置信区间(t(n-1)-分布)未知均值,方差置信区间(χ2(n-1)-分布)已知均值,方差置信区间(χ2(n)-分布)第76页，共93页。河南理工大学精品课程概率论与数理统计

【例2】分别使用金球和铂球测定引力常数，设测定值服从正态分布N(μ,σ2),其中μ,σ2均未知.就两种情况分别求μ的置信度为0.9的置信区间,并求σ2的置信度为0.9的置信区间.〖解〗单正态总体.方差未知,均值的置信区间——t分布.

金球观察值6.6836.6816.6766.6786.6796.672铂球观察值

6.6616.6616.6676.6676.664

第77页，共93页。河南理工大学精品课程概率论与数理统计(1)置信度1-α=0.9,α=0.1,n=6,由样本值计算得：查表得:所得置信区间为:即为:(2)置信度1-α=0.9,α=0.1,n=5,由样本值计算得：查表得:第78页，共93页。河南理工大学精品课程概率论与数理统计

均值未知,方差的置信区间——χ2-分布.所得置信区间为:即为:第79页，共93页。河南理工大学精品课程概率论与数理统计(1)置信度1-α=0.9,α=0.1,n=6,由样本值计算得：查表得:所得置信区间为:即为:(2)置信度1-α=0.9,α=0.1,n=5,由样本值计算得：查表得:第80页，共93页。河南理工大学精品课程概率论与数理统计即为:■第81页，共93页。河南理工大学精品课程概率论与数理统计设有两个正态总体1、均值差μ1-μ2的置信区间双正态总体情形分别是来自两个正态总体的独立样本，其样本均值与样本方差分别为：

方差均已知

【推导】因为

分别是

的无偏估计,且第82页，共93页。河南理工大学精品课程概率论与数理统计从而可得

的一个置信度为1-α的置信区间为故是

的无偏估计,且有从而第83页，共93页。河南理工大学精品课程概率论与数理统计

方差均未知当样本容量都很大时,可用样本方差代替总体方差而得的置信度为1-α的近似的置信区间为

方差未知

由ch6-th3得第84页，共93页。河南理工大学精品课程概率论与数理统计

从而