《概率统计及其应用》课件第六章 参数估计

第一节点估计第二节估计量的评选标准第三节区间估计第一节点估计一、矩估计法矩是反映随机变量特征的最广泛的数字特征,而总体分布中的参数往往是一些原点矩或者是一些原点矩的函数.例如,泊松分布P(λ)中的参数λ就是数学期望(期望),即一阶原点矩;正态分布N(μ,σ2)中的参数μ就是一阶原点矩,而参数σ2=E(X2)-[E(X)]2,即为一、二阶原点矩的函数.样本取自总体,由大数定律知:当总体的k阶矩存在时,样本的k阶矩依概率收敛于总体的k阶矩.由此,英国统计学家K.皮尔逊提出了替换原理———可以用样本矩去替换总体矩(矩可以是原点矩也可以是中心矩),也可以用样本矩的函数去替换相应总体矩的函数.用替换原理得到总体分布的未知参数估计量的方法称为矩估计法,也称数字特征法.二、最大似然估计法当总体分布类型已知时,求未知参数点估计的另一种重要方法是最大似然估计法.该方法是由费希尔于1912年提出,并由他命名.这个方法的直观想法是:在一个随机试验的若干个可能结果中,若一次试验中结果A出现了,则一般认为试验条件对A出现最有利,即认为A出现的概率最大.按此想法再利用总体X的分布函数及样本提供的信息找出总体未知参数的估计量.我们根据总体的不同类型介绍最大似然估计法.(1)若总体X属离散型,其分布律P(X=x)=P(x;θ)(θ∈Θ)的形式已知,θ为待估参数,Θ是参数空间.假设x1,x2,…,xn为来自总体X的样本X1,X2,…,Xn的样本观测值.易知样本X1,X2,…,Xn取得观测值x1,x2,…,xn的概率,亦即事件{X1=x1,X2=x2,Xn=xn}发生的概率为它是θ的函数,记为L(θ).称为似然函数.(2)若总体X属连续型,其概率密度f(x;θ)(θ∈Θ)的形式已知,θ为待估参数,Θ是参数空间.设X1,X2,…,Xn是来自总体X的样本,则X1,X2,…,Xn的联合概率密度为其值随θ的取值变化而变化,记为L(θ).函数称为似然函数.由上述可知,不管是离散型的总体还是连续型的总体,只要知道了其分布律或概率密度,总可以得到一个关于参数θ的函数L(θ),称之为似然函数.固定样本观测值x1,x2,…,xn,在参数空间Θ内选择使似然函数L(θ;x1,x2,…,xn)达到最大的参数值^θ,将其作为参数θ的估计值,即取^θ使这样得到的^θ与样本值x1,x2,…,xn有关,记为^θ(x1,x2,…,xn),称为参数θ的最大似然估计值,而相应的统计量^θ(X1,X2,…,Xn)称为参数θ的最大似然估计量.求参数θ的最大似然估计就转化为求似然函数的极值点问题.在很多情形,P(x;θ)和f(x;θ)关于θ可微,这时^θ常可由方程(称为似然方程)解得.然而L(θ)是n个函数的连乘积,求导比较复杂,而lnL(θ)是L(θ)的单调增函数,lnL(θ)与L(θ)在同一θ处取得极值,于是求解方程(66)可以转化为求解方程(也称为对数似然方程)当似然函数是关于多个未知参数θ1,θ2,…,θk的函数时,求解方程(67)转化为求解对数似然方程组求最大似然估计量的一般步骤如下:(1)根据样本值x1,x2,…,xn,写出似然函数L(θ)=L(θ;x1,x2,…,xn);(2)取对数,得到对数似然函数lnL(θ)=lnL(θ;x1,x2,…,xn);(3)写出对数似然方程(或方程组)求解方程(或方程组)得L(θ)的驻点^θ(x1,x2,…,xn).于是^θ(x1,x2,…,xn)为θ的最大似然估计值,相应的^θ=^θ(X1,X2,…,Xn)为θ的最大似然估计量.如果L(θ)关于θ不可微或无驻点,则应回归定义寻找参数空间中的最大值点,得到最大似然估计值^θ(x1,x2,…,xn),最后写出最大似然估计量^θ=^θ(X1,X2,…,Xn).第二节估计量的评选标准一、无偏性估计量^θ(X1,X2,…,Xn)是随机变量,采用不同的样本值会得到不同的估计值.^θ有时比θ大,有时比θ小.我们希望估计值在未知参数真值附近,总的来看,它的“平均数”就是θ,也就是它的数学期望等于未知参数的真值,这就得到“无偏性”这个标准.定义1设^θ(X1,X2,…,Xn)是未知参数θ的点估计量,若E(^θ)=θ

(6-9)则称^θ是θ的无偏估计量(无偏估计).否则称为有偏估计量(有偏估计).在科学技术中,称E(^θ)-θ为用^θ估计θ时产生的系统误差,无偏性的实际意义是估计量没有系统误差,只可能有随机误差.定义2若参数θ的估计量^θn=Tn(X1,X2,…,Xn)满足关系式则称^θn为θ的渐近无偏估计量.在样本容量n充分大时,可把渐近无偏估计量近似地作为无偏估计量来使用.二、有效性一般地,对同一参数θ可以有很多的无偏估计量,而对于未知参数θ的两个不相同的无偏估计量^θ1与^θ2,怎样比较估计的好坏呢?显然,对于相同样本容量n,方差较小的估计量较好.定义3设^θ1与^θ2都是θ的无偏估计量,若对任意样本容量n,有

则称^θ1比^θ2有效.“有效性”的直观含义是:若^θ1,^θ2的均值都是θ,且^θ1的观察值比^θ2更密集在θ的真实值附近,那么方差小的无偏估计^θ1更好.三、相合性定义4设^θ(X1,X2,…,Xn)是未知参数θ的点估计量,若当n→∞时,^θ依概率收敛于θ,即对任意ε>0,均有则称^θ是θ的相合估计量或一致估计量.“相合”一词可形象地理解为^θ“合”于θ.相合性可以说是对估计量的一个起码而合理的要求.试想:若不论做多少次试验,也不能把θ估计到任意指定的精确程度,则这个估计量的合理性是值得怀疑的.定理1若总体X的原点矩存在,则样本原点矩是相应的总体原点矩的相合估计量.第三节区间估计定义1设总体X分布的未知参数为θ,参数空间为Θ,X1,X2,…,Xn为取自总体的样本.对给定的α(0<α<1),构造两个统计量^θ1(X1,X2,…,Xn)和^θ2(X1,X2,…,Xn),若则称随机区间(^θ1,^θ2)为θ的置信水平为1-α的置信区间,或简称(^θ1,^θ2)是θ的1-α置信区间;^θ1和^θ2分别称为置信下限和置信上限.常取α=0.01,0.05,0.10等.1-α置信区间的含义是:若反复抽样多次(各次的样本容量相等,均为n),每一组样本值确定一个区间(^θ1,^θ2),每个这样的区间要么包含θ的真值,要么不包含θ的真值.按照伯努利大数定律,在这么多的区间中,包含θ真值的约占100(1-α)%,不包含θ真值的约占100α%.例如,若α=0.01,反复抽样1000次,则得到的1000个区间中,不包含θ真值的约为10个.置信区间的长度表示估计结果的精确性,而置信水平表示估计结果的可靠性.评价区间估计的好坏通常考虑两个指标———可靠度和精确度(也称精度)对于置信水平为1-α的置信区间(^θ1,^θ2),置信水平1-α表示估计的可靠度(又名置信度),它可以判断随机区间(^θ1,^θ2)有多大的可能性包含未知参数θ.置信水平1-α越大,估计的可靠性越高;当然,区间估计也可能犯错误,α表示犯错误的概率.置信区间的长度θ2-^θ1表示了区间估计的精度,它表示了估计的误差范围.区间(^θ1,^θ2)的长度越小,估计的精度越高.人们总希望区间估计的可靠度尽可能的大,精度尽可能的高,但是当样本容量n一定时,两者往往既是相互联系又是相互矛盾的:提高可靠度通常会使精确度下降,而提高精确度通常会使可靠度下降.在实际应用中,要找到这两方面间的平衡,往往先固定可靠度,再提高估计精确度.定义2设总体X分布的未知参数为θ,参数空间为Θ,X1,X2,…,Xn为取自总体的样本.对给定的α(0<α<1),有其中,^θ1(X1,X2,…,Xn)为统计量,c1为常数或+∞,则称(θ1(X1,X2,…,Xn),c1)为θ的置信度为1-α的单侧置信区间,称^θ1(X1,X2,…Xn)为θ的置信度为1-α的单侧置信下限.类似地,若有其中,^θ2(X1,X2,…,Xn)为统计量,c2为常数或-∞,则称(c2,^θ2(X1,X2,…,Xn))为θ的置信度为1-α的单侧置信区间,称^θ2(X1,X2,…,Xn)为θ的置信度为1-α的单侧置信上限.由于求参数的单侧置信区间在本质上与求定义1提出的双侧置信区间没有什么不同.故除非特别指明,下面涉及的置信区间均指双侧置信区间.一、单个总体N(μ,σ2)的情形设总体X~N(μ,σ2),样本为X1,X2,…,Xn,X,S2分别为样本均值和样本方差,给定置信水平为1-α.1.均值μ的置信区间(1)σ2为已知的情况.此时,由例1得μ的置信水平为1-α的置信区间为(2)σ2为未知的情况.此时不能使用式(616)给出的区间,因为其中含有未知参数σ.一个很自然的想法是将式(613)中的总体标准差σ换成样本标准差

,由并且右边分布t(n-1)不依赖于任何未知参数,可得(参见图6.2)于是得μ的置信水平为1-α的置信区间为2.方差σ2的置信区间根据问题的实际应用需要,只介绍μ未知的情形.我们知道,S2为σ2的无偏估计,由并且上式右边的分布不依赖于任何未知参数,故有(参见图6.3)即于是得σ2的置信水平为1-α的置信区间为由(623),还可得σ的置信水平为1-α的置信区间为二、两个总体

的情形实际中常遇到如下问题:已知产品的某一质量指标服从正态分布,由于原料、设备条件、操作人员不同,或工艺过程的改变等因素,引起总体均值、总体方差有所改变.我们需要知道这些变化有多大,这就需要考虑两个正态总体均值差或方差比的估计问题.设X1,X2,…,Xn1为来自总体的样本,样本均值、样本方差分别为，

；Y1,Y2,…,Yn2为来自总体的样本,且与X1,X2,…,Xn1

相互独立,样本均值、样本方差分别为，

，,给定置信水平为1-α.1.两个总体均值差μ1-μ2的置信区间(1)均为已知.因分别为μ1,μ2的无偏估计,故是μ1-μ2的无偏估计,由的独立性及得即由公式(616)和上式得μ1-μ2的一个置信水平为1-α的置信区间为(2)均为未知.此时,只要n1,n2都很大(