数理统计与随机过程参数估计

数理统计与随机过程参数估计第1页，共51页，2023年，2月20日，星期五第七节参数估计数理统计的任务：

●总体分布类型的判断；

●总体分布中未知参数的推断 (参数估计与假设检验)。第2页，共51页，2023年，2月20日，星期五参数估计问题的一般提法设总体

X

的分布函数为

F(x,θ)，其中θ为未知参数或参数向量，现从该总体中抽样,得到样本X1,X2,…,Xn.

依样本对参数θ做出估计，或估计参数θ的某个已知函数g(θ)。这类问题称为参数估计。参数估计包括：点估计和区间估计。第3页，共51页，2023年，2月20日，星期五

称该计算值为

u

的一个点估计。为估计参数u，需要构造适当的统计量

û(

X1,X2,…,Xn)，一旦当有了样本，就将样本值代入到该统计量中，算出一个值û作为

u

的估计，点估计第4页，共51页，2023年，2月20日，星期五寻求估计量的方法1.矩估计法2.极大似然法3.最小二乘法4.贝叶斯方法

…第5页，共51页，2023年，2月20日，星期五其思想是:用同阶、同类的样本矩来估计总体矩。

矩估计是基于“替换”思想建立起来的一种参数估计方法。最早由英国统计学家K.

皮尔逊

提出。§7.1矩估计第6页，共51页，2023年，2月20日，星期五矩估计就是用相应的样本矩去估计总体矩。第7页，共51页，2023年，2月20日，星期五设总体

X

的分布函数中含

k

个未知参数步骤一：记总体

X

的

m

阶原点矩

E(Xm)为

am

,

m

=

1,2,…,k.am(1,2,…,k),

m=1,2,…,k.

一般地,am(m

=

1,2,

…,K)是总体分布中参数或参数向量(1,

2,

…,

k)

的函数。

故,am(m=1,

2,…,k)应记成:矩估计步骤第8页，共51页，2023年，2月20日，星期五步骤二：算出样本的

m

阶原点矩步骤三：令得到关于

1,2,…,k

的方程组(L≥k)。一般要求方程组(1)中有

k

个独立方程。第9页，共51页，2023年，2月20日，星期五步骤四：解方程组(1),并记其解为这种参数估计法称为参数的矩估计法，简称矩法。第10页，共51页，2023年，2月20日，星期五解：先求总体的期望例1：设总体

X

的概率密度为第11页，共51页，2023年，2月20日，星期五由矩法，令样本矩总体矩解得为α

的矩估计。第12页，共51页，2023年，2月20日，星期五解:

先求总体的均值和

2

阶原点矩。例2：设

X1,X2,…Xn是取自总体

X

的简单样本,X有概率密度函数第13页，共51页，2023年，2月20日，星期五2阶原点矩第14页，共51页，2023年，2月20日，星期五用样本矩估计总体矩求解得第15页，共51页，2023年，2月20日，星期五列出方程组:例3：设总体X的均值为，方差为2，求

和2的矩估计。解：第16页，共51页，2023年，2月20日，星期五故，均值,方差2的矩估计为求解，得第17页，共51页，2023年，2月20日，星期五如：正态总体N(

,2)中

和2的矩估计为第18页，共51页，2023年，2月20日，星期五例4：若总体X∼U(a,b)，求a,b的矩估计。解：列出方程组样本矩总体矩第19页，共51页，2023年，2月20日，星期五解上述方程组，得到

a,b

的矩估计:第20页，共51页，2023年，2月20日，星期五

矩估计的优点是：简单易行,不需要事先知道总体是什么分布。

缺点是：当总体的分布类型已知时，未充分利用分布所提供的信息。

此外，一般情形下，矩估计不具有唯一性。如：泊松分布，E（X）=Var（X）所以分别利用E（X）和Var（X）会得到参数不同的估计值第21页，共51页，2023年，2月20日，星期五讨论使用矩估计法需要什么前提条件？第22页，共51页，2023年，2月20日，星期五第23页，共51页，2023年，2月20日，星期五§7.2极大似然估计极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法。该方法首先由德国数学家高斯于1821年提出，其后英国统计学家费歇于1922年发现了这一方法，研究了方法的一些性质，并给出了求参数极大似然估计一般方法——极大似然估计原理。第24页，共51页，2023年，2月20日，星期五I.极大似然估计原理设总体

X

的分布

(连续型时为概率密度，离散型时为概率分布)

为f(x,

θ)

,X1,

X2,

…,Xn是抽自总体

X

的简单样本。于是，样本的联合概率函数(连续型时为联合概率密度，离散型时为联合概率分布)为被看作固定，但未知的参数视为变量第25页，共51页，2023年，2月20日，星期五将上式简记为

L(θ)，即称L(θ)为θ的似然函数。视为变量视为固定值似然函数第26页，共51页，2023年，2月20日，星期五假定我们观测到一组样本X1,X2,…,

Xn，要去估计未知参数θ

。称为θ的极大似然估计(MLE)。一种直观的想法是：哪个参数(多个参数时是哪组参数)使得这组样本出现的可能性(概率)最大，就用那个参数(或哪组参数)作为参数的估计。这就是极大似然估计原理。即，如果θ可能变化空间,称为参数空间。第27页，共51页，2023年，2月20日，星期五(4).在最大值点的表达式中，代入样本值，就得参数θ的极大似然估计。II.求极大似然估计(MLE)的一般步骤.由总体分布导出样本的联合概率函数(连续型时为联合概率密度,离散型时为联合概率分布)；(2).把样本的联合概率函数中的自变量看成已知常数,参数θ看成自变量,得到似然函数L(θ)；(3).求似然函数L(θ

)的最大值点(常常转化为求lnL(θ)的最大值点)，即θ的MLE;第28页，共51页，2023年，2月20日，星期五两点说明：●求似然函数

L(θ)

的最大值点，可应用微积分中的技巧。由于

ln(x)

是

x

的增函数，所以

lnL(θ)

与

L(θ)

在θ的同一点处达到各自的最大值。假定θ是一实数,lnL(θ)是θ的一个可微函数。通过求解似然方程可以得到θ的MLE。第29页，共51页，2023年，2月20日，星期五●用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求。若θ是向量，上述似然方程需用似然方程组代替。第30页，共51页，2023年，2月20日，星期五极大似然估计示意图H：样本集第31页，共51页，2023年，2月20日，星期五极大似然估计示意图D：样本集l()=ln(P)第32页，共51页，2023年，2月20日，星期五极大似然估计的对数似然方程人们通常把叫做对数似然函数。第33页，共51页，2023年，2月20日，星期五III.下面举例说明如何求参数的MLE例1:

设X1,X2,…,Xn是取自总体X~B(1,p)的一个样本，求参数p

的极大似然估计。解：似然函数为第34页，共51页，2023年，2月20日，星期五对数似然函数为：对

p

求导，并令其等于零，得上式等价于第35页，共51页，2023年，2月20日，星期五解上述方程，得换成换成第36页，共51页，2023年，2月20日，星期五例2：求正态总体

N(,2)参数

和

2

的极大似然估计(注:我们把

2

看作一个参数)。解：似然函数为对数似然函数为第37页，共51页，2023年，2月20日，星期五似然方程组为由第一个方程，得到代入第二方程，得到此结果与矩估计相同！第38页，共51页，2023年，2月20日，星期五例3：设总体

X

服从泊松分布P(

)，求参数的极大似然估计。解：由

X

的概率分布函数为得的似然函数第39页，共51页，2023年，2月20日，星期五似然方程为对数似然函数为其解为第40页，共51页，2023年，2月20日，星期五换成换成得的极大似然估计第41页，共51页，2023年，2月20日，星期五例4：设

X

∼U(a,b)，求a,b的极大似然估计。

解：因所以第42页，共51页，2023年，2月20日，星期五第43页，共51页，2023年，2月20日，星期五由上式看到：L(a,b)作为a和b的二元函数是不连续的，所以我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义出发，求L(a,b)的最大值。第44页，共51页，2023年，2月20日，星期五为使

L(a,b)

达到最大，b-a

应该尽量地小。但

b不能小于max{x1,x2,…,xn}。否则，L(a,b)=0。类似地，a

不能大于min{x1,x2,…,xn}。因此，a

和

b

的极大似然估计为此结果与矩估计结果不同！矩估计结果为：第45页，共51页，2023年，2月20日，星期五解：似然函数为例5：设X1,X2,…,Xn是抽自总体

X

的一个样本，X

有如下概率密度函数其中θ

>0为未知常数。求θ的极大似然估计。也可写成第46页，共51页，2023年，2月20日，星期五求导并令其导数等于零，得解上述方程，得第47页，共51页，2023年，2月20日，星期五离散情况举例：求的极大似然估计设总体X的概