z浙大概率统计与随机过程_8-_参数估计.ppt

1、什么是参数估计？,参数是刻画总体某方面的概率特性的数量.,当这个数量是未知的时候，从总体抽出一个 样本，用某种方法对这个未知参数进行估计 就是参数估计.,例如，X N ( , 2),若, 2未知，通过构造样本的函数, 给出它 们的估计值或取值范围就是参数估计的内容.,第八章 参数估计,第一节 参数的点估计,一.点估计的概念 当总体的分布形式为已知,而参数未知时,欲通过样本对未知参数进行估计,这种方法称为点估计法.,如:客流-泊松分布,但 未知;灯管寿命-指数分布等。,二.点估计的方法 1、矩方法； 2、极大似然函数法.,1.矩估计法,分别为总体X的一阶原点矩和二阶中心矩;而 分别为样本的一阶原

2、点矩和样本方差.,用样本的k阶矩估计总体的k阶矩.,称 为的矩估计量, 而 称为 的矩估计值.,称 为2的矩估计量, 而 称为2 的矩估计值.,例1 有一批零件，其长度XN(,2)，现从中任取4件，测的长度(单位：mm)为12.6,13.4,12.8,13.2。试估计和2的值。,解 由,得和2的估计值分别为13(mm)和0.133(mm)2,例2 设总体X的概率密度为,X1,X2,Xn为来自于总体X的样本,x1,x2, ,xn为样本值,求参数的矩估计。,解 先求总体矩,由于样本均值是总体期望的矩估计量,即得,为的矩估计值.,对于作等式的原则，总体矩和样本矩都有多种，要用同样种类的矩列出等式。多

3、个参数时，列等式的方式不唯一，因此，矩估计就得到不唯一的形式.,此外还需比较估计的优劣性，这一点将在下一节将会介绍，这里不再多说。,例如两个参数1,2情形的矩估计,可列如下几种:,例3 设总体X的概率密度为,求的矩估计量,解法一 虽然f(x,)中仅含有一个参数，但因,不含,不能解出,需继续求总体的二阶原点矩,解法二,即,用,替换,即得的另一矩估计量为,得的矩估计量为,用,替换,即,你就会想,只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.,先看一个简单的例子: 某位同学与一位猎人一起外出打猎,一只野兔从前方窜过.只听到一声枪响,野兔应声倒下.如果要你推测,是谁

4、打中的呢？你会如何想呢？,这个例子所作的推断已经体现了极大似然法的基本思想.,2、极大似然函数法,例4 设袋中装有许多白球和黑球。只知两种球的数目之比为3:1，试判断是白球多还是黑球多。,解: 从袋中有放回的任取3只球. 设每次取到黑球的概率为p(p= 1/4或3/4) 设取到黑球的数目为X, 则X-B(3,p),分别计算p=1/4,p=3/4时，PX=x的值，列于表,结论:,2 极大似然估计法 设总体X的概率密度为f(x,),其中是未知参数(不同,总体也不同). X1,X2,Xn为来自于总体X的样本, x1,x2,xn为样本X1,X2,Xn的样本值,则,称L()=L(x1,x2,xn; )为

5、随机变量X关于样本观测值,x1,x2, ,xn的似然函数。,若X是离散型随机变量，似然函数定义为,定义2 如果似然函数 在 时达到最大值,则称 是参数的极大似然估计。,例5 设总体 X服从参数为的指数分布，即有概率密度,又x1,x2,xn为来自于总体X的样本值，试求的极大似然估计.,解 ：第一步 似然函数为,于是,第二步,第三步,经验证，,在,处达到最大，所以,是的极大似然估计。,令,例6 设总体 X 服从0-1分布，且P (X = 1) = p, 用极大似然法求 p 的估计值。,解,X 的概率分布可以写成,设 X1, X2, Xn为总体 X 的样本,设 x1, x2, xn为总体 X 的样本

6、值,则,对于不同的 p ,L (p)不同，见右下图,现经过一次试验，,令,其中,为未知参数，,为样本观察值,多参数情形的极大似然估计 若总体X的概率密度为：,此时似然函数为：,求解方程组,即可得到极大似然估计,例7 设总体 X N (, 2), x1, x2, xn 是 X 的 一组样本值，求 , 2 的极大似然估计.,解, 2 的极大似然估计量分别为,数学上可以严格证明，在一定条件下，只要样本容量n足够大，极大似然估计和未知参数的真值可相差任意小。,例8 设总体X的概率密度为,又,为来自于总体X的样本值,求参数的极大似然估计。,解：令,似然函数,当,时,L()是的单调增函数,处达到最大值，,

7、所以的极大似然估计:,L()在,例9 设X为离散型随机变量,其分布律如下(01/2),随机抽样得3，1，3，0，3，1，2，3，分别用矩方法和极大似然法估计参数。,解：,第二节 点估计量的优良性,一、无偏估计,则称,为的无偏估计。,定义1 设,(简记为,)为未知参数,的估计量，若,(真值),例1：样本均值和样本方差分别是总体均值和总体方差的无偏估计量.,解： 设X1,X2,Xn为来自于总体X的样本, 总体均值EX=,总体方差DX=2;则X1,X2, Xn独立且与X同分布,即,本题需要证明,计算,方法1,方法2：,注意：,不是总体方差的无偏估计。,所以,它是有偏的.,事实上：,例2 设总体X的概

8、率密度为,(4)求 的方差 。,X1,X2,Xn为来自总体X的样本.,(1)求总体均值EX,总体方差DX；,(2)求的矩估计量 ;,(3) 是否为的无偏估计；,解 (1)总体均值,总体方差,(2)令,得的矩估计量为,(3),所以 是的无偏估计;,(4) 的方差,二、最小方差无偏估计,定义2 设 是的一个无偏估计，若对于的任一无偏估计 ，成立,则称 是的最小方差无偏估计。,例3 设X1,X2,Xn为来自于总体X的样本,总体均值EX=,总体方差DX=2,求的最小方差线性无偏估计。,解 已知X1,X2,Xn独立且与X同分布,的线性估计是将X1,X2,Xn的线性函数,问题是如何选取 的值，使得无偏性和

9、最小方差这两个要求都能得到满足。,作为的估计量。,无偏性要求,最小方差要求,这是一个求条件极值问题，用拉格朗日乘数法，令,达到最小，,易知,由条件,得到,于是,是的最小方差无偏估计。,得,若 和 都是的无偏估计量，且 成立，则通常称估计量 较 有效,或较佳,或较优.,例 设X1,X2,X3为总体的一个样本,试证下列估计量,都是总体均值的无偏估计量,且问哪一个最佳？,三、一致估计,设 为总体参数的估计量，显然 与样本X1,X2,Xn有关，我们希望 会随着样本容量n的增大而越接近于，这一要求便是衡量估计量好坏的另一标准。,定义3 设 为未知参数的估计量，若 依概率收敛于，即对任意的0,成立,则 称为的一致性估计。,例4 试证样本均值 为总体均值的一致性估计。,证 因为,所以，对于相互独立且服从同一分布的随机变量X1,X2,Xn，由大数定理，即得,此外,还可证明样本方差S2是总体方差2的一致性估计.,还有别的优良性标准,这里不再介绍。,例5 证明正态总体N(,2)的样本方差S2是总体方差2的一致性估计量。,证 由切比雪夫不等式有,而,例6 XN(0,2), 其中0为已知,X1,X2,Xn为样本,记,