点估计和估计量的求法PPT学习教案

1、会计学1点估计和估计量的求法点估计和估计量的求法 引言引言 上一讲，我们介绍了总体、样本、上一讲，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概简单随机样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，给念，介绍了统计中常用的三大分布，给出了几个重要的抽样分布定理出了几个重要的抽样分布定理 . 它们是它们是进一步学习统计推断的基础进一步学习统计推断的基础 .第1页/共55页 总体总体样样本本统计统计量量描述描述作出推断作出推断研究统计量的性质和评价一个统计推断的研究统计量的性质和评价一个统计推断的优良性，完全取决于其优良性，完全取决于其抽样分布抽样分布的性质的性质.随机抽样随

2、机抽样第2页/共55页 现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息来参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数估计总体的某些参数或者参数的某些函数. 参数估计参数估计估计废品率估计废品率估计新生儿的体重估计新生儿的体重估计湖中鱼数估计湖中鱼数 估计降雨量估计降雨量在参数估计问题在参数估计问题中，假定总体分中，假定总体分布形式已知，未布形式已知，未知的仅仅是一个知的仅仅是一个或几个参数或几个参数.第3页/共55页这类问题称为这类问题称为参数估计参数估计.参数估计问题的一般提法参数估计问题的一般

3、提法X1,X2,Xn要依据该样本对参数要依据该样本对参数 作出估计作出估计, 或估计或估计 的某个已知函数的某个已知函数 .)( g现从该总体抽样，得样本现从该总体抽样，得样本 设有一个统计总体设有一个统计总体 , 总体的分布函数总体的分布函数为为F( x, ) ，其中，其中 为未知参数为未知参数 ( 可以是向量可以是向量) . 第4页/共55页参数估计参数估计点估计点估计区间估计区间估计第5页/共55页)1 . 0,(2 N（假定身高服从正态分布（假定身高服从正态分布 ） 设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69 估计估计 为为1.68， 这是这是点估计点估计

4、.这是这是区间估计区间估计.估计估计 在区间在区间 1.57, 1.84 内，内，例如我们要估计某队男生的平均身高例如我们要估计某队男生的平均身高. 现从该总体选取容量为现从该总体选取容量为5的样本，我们的任的样本，我们的任务是要根据选出的样本（务是要根据选出的样本（5个数）求出总体均值个数）求出总体均值 的估计的估计. 而全部信息就由这而全部信息就由这5个数组成个数组成 . 第6页/共55页一、点估计概念一、点估计概念随机抽查随机抽查100个婴个婴儿儿 , ,得得100个体重数据个体重数据 10,7,6,6.5,5,5.2, 呢呢 ? ? 据此据此, ,我们应如何估计我们应如何估计和和而全部

5、信息就由这而全部信息就由这100个数组成个数组成 .例例1 已知某地区新生婴儿的体重已知某地区新生婴儿的体重 , , 2,XN ( ,) 未知未知第7页/共55页 为估计为估计 : 我们需要构造出适当的样本的函数我们需要构造出适当的样本的函数 T(X1,X2,Xn) ， 每当有了样本，就代入该函数中算出一个值，用来每当有了样本，就代入该函数中算出一个值，用来作为作为 的估计值的估计值 . 把样本值代入把样本值代入T(X1,X2,Xn) 中，中，估计值估计值 .T(X1,X2,Xn) 称为参数称为参数 的的点估计量点估计量， 得到得到 的一个的一个点点第8页/共55页我们知道我们知道, ,若若

6、, ,由大数定律由大数定律, , 1|1|lim1 niinXnP自然想到把样本体重的平均值作为总体平均体重的自然想到把样本体重的平均值作为总体平均体重的一个估计一个估计. .,11niiXnXniiXXnS122)(11样本体重的平均值样本体重的平均值 2,XN ()E X 则则 .用样本体重的均值用样本体重的均值 估计估计 . .X 类似地，用样本体重的方差类似地，用样本体重的方差 估计估计 . .22S第9页/共55页使用什么样的统计量去估计使用什么样的统计量去估计 ？ 可以用样本均值可以用样本均值;也可以用样本中位数也可以用样本中位数;还可以用别的统计量还可以用别的统计量 .问题是问题

7、是: 第10页/共55页二、寻求估计量的方法二、寻求估计量的方法1. 矩估计法矩估计法2. 极大似然法极大似然法3. 最小二乘法最小二乘法4. 贝叶斯方法贝叶斯方法 这里我们主要介绍前面两种方法这里我们主要介绍前面两种方法 .第11页/共55页 几个常见统计量几个常见统计量样本平均值样本平均值niiXnX11它反映了它反映了总体均值总体均值的信息的信息样本方差样本方差niiXXnS122)(11它反映了总体它反映了总体方差的信息方差的信息 niiXnXn12211样本标准差样本标准差 niiXXnS12)(11复习复习第12页/共55页nikikXnA11它反映了总体它反映了总体k 阶矩的信息

8、阶矩的信息样本样本k阶原点矩阶原点矩样本样本k阶中心矩阶中心矩nikikXXnB1)(1 k=1,2,它反映了总体它反映了总体k 阶阶中心矩的信息中心矩的信息第13页/共55页统计量的观察值统计量的观察值2211211111;()111() ;1,2,11()1,2,nniiiinnkikiiinkkiixxsxxnnsxxaxknnbxxkn第14页/共55页请注意请注意 :1()11,2,.若总体 的 阶矩存在，则当时，kknpkkkiiXkE XnAXkn 1212(,)(,).再由依概率收敛性质知，可将上述性质推广为其中 为连续函数pkkg A AAgg .根据根据这就是矩估计法的理论

9、这就是矩估计法的理论1212,()1,2,.事实上由独立且与 同分布，有独立且与同分布再由辛钦大数定律可得上述结论nkkkkkkniXXXXXXXXE Xkn第15页/共55页1. 矩估计法矩估计法 矩估计法是英国统计学家矩估计法是英国统计学家K.皮尔皮尔逊逊最早提出来的最早提出来的 .若总体若总体 的数学期望的数学期望 有有限限, E X X则有则有11niiXXn ()PE X 11nkkiiAXn ()(1,2,)PkkE Xk 12(,)kg A AA12(,)Pkg 其中其中 为连续函数为连续函数 .g第16页/共55页 这表明这表明 , 当样本容量很大时当样本容量很大时 , 在统计

10、上在统计上 , 可以可以用用 用样本矩去估计总体矩用样本矩去估计总体矩 . 这一事实导出矩估计法这一事实导出矩估计法.定义定义 用样本原点矩估计相应的总体原点矩用样本原点矩估计相应的总体原点矩 , 又又用样本原点矩的连续函数估计相应的总体原点矩用样本原点矩的连续函数估计相应的总体原点矩的的连续函数连续函数, 这种参数点估计法称为这种参数点估计法称为矩估计法矩估计法 . 理论依据理论依据: 大数定律大数定律矩估计法的具体做法如下矩估计法的具体做法如下 设总体的分布函数中含有设总体的分布函数中含有k个未知参个未知参数数 , 那么它的前那么它的前k阶阶矩矩 ,一般一般12,k 12,k 第17页/共

11、55页都是这都是这 k 个参数的函数个参数的函数,记为：记为：i=1,2, ,k从这从这 k 个方程中解出个方程中解出j=1,2,kj=1,2,k12(,)iik 12(,)jjk 那么用诸那么用诸 的估计量的估计量 Ai 分别代替上式中的诸分别代替上式中的诸 , ii12(,)jjkA AA j即可得诸即可得诸 的的矩估计量矩估计量 ：矩估计量的观察值称为矩估计量的观察值称为矩估计值矩估计值 .第18页/共55页 例例2 设总体设总体 X 在在 a , b 上服从均匀分上服从均匀分布布 , a , b 未知未知 . 是来自是来自 X 的样本的样本 , 试试求求 a , b 的矩估计量的矩估计

12、量 .1,nXX解解 1E X 2ab 22E X 2()12ba 2()()D XE X2()4ab 第19页/共55页即即 1221212()abba 解得解得于是于是 a , b 的矩估计量为的矩估计量为 21213()a21213()b213() ,niiaXXXn 213()niibXXXn 样本矩样本矩总体矩总体矩第20页/共55页解解 1E X 22E X 2()()D XE X 例例3 设总体设总体 X 的均值的均值 和方差和方差 都存在都存在 , 未知未知 . 是来自是来自 X 的的样本样本 , 试求试求 的矩估计量的矩估计量 .1,nXX2(0) 2, 2, 22第21页/

13、共55页解得解得1AX1 2221于是于是 的矩估计量为的矩估计量为 2, 22222111niiAAXXn 211()niiXXn 样本矩样本矩总体矩总体矩第22页/共55页 1124 01 0 0 ,nXxxfxXXXX例 ：设总体 的密度为：为未知参数，其他，为取自 的样本，求 的矩估计。 E Xxf x dx解：110 xdx1XE XX令21XX第23页/共55页 矩法的优点矩法的优点是简单易行是简单易行,并不需要事先知道总体并不需要事先知道总体是什么分布是什么分布 . 缺点缺点是，当总体类型已知时，没有充分利用分是，当总体类型已知时，没有充分利用分布提供的信息布提供的信息 . 一般

14、场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性 . 其主要原因在于建立矩法方程时，选取那些总其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性体矩用相应样本矩代替带有一定的随意性 .第24页/共55页稍事休息稍事休息第25页/共55页 2. 最大似然估计法最大似然估计法 它是在总体类型已知条件下使用的一种参数它是在总体类型已知条件下使用的一种参数估计方法估计方法 . 它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的 . GaussFisher 然而然而,这个方法这个方法常归功于英国统计学家常归功于英国统计学家费歇费歇 . 费歇费

15、歇在在1922年重新发现了年重新发现了这一方法，并首先研究了这种方这一方法，并首先研究了这种方法的一些性质法的一些性质 .第26页/共55页最大似然法的基本思最大似然法的基本思想想 先看一个简单例子先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过 .是谁打中的呢？是谁打中的呢？ 某位同学与一位猎人一起某位同学与一位猎人一起外出打猎外出打猎 .如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 .第27页/共55页 你就会想，只发一枪便打中你就会想，只发一枪便打中, 猎人命中的概猎人命中的概率一般大于这位同学命中的概率率一般大于这位同

16、学命中的概率 . 看来这一枪是猎看来这一枪是猎人射中的人射中的 . 这个例子所作的推断已经体现了极大似然法这个例子所作的推断已经体现了极大似然法的基本思想的基本思想 .第28页/共55页31;, 1,44xn xnP x pp qqppx 其中由假设知，或 0 0 1 1 2 2 3 334,P xx1649 6427 64 27 6416427 64 27 649 6414,P x第29页/共55页 14341273110004644644 1 193273 22246446443 0 1 2 3x,P,P,pxx,P,P,pxx, p xx, 从从上上表表看看到到： 取取更更合合理理；类类

17、似似；, ,取取更更合合理理； 类类似似； 于于是是有有：第30页/共55页 x,p xP x; p xP x; p ,Pp x 最最大大似似然然原原理理： 对对每每个个取取, ,使使是是不不同同于于 的的另另一一值值；第31页/共55页 最大似然估计原理：最大似然估计原理： 当给定样本当给定样本X1,X2,Xn时，定义时，定义似然函数似然函数为：为： 设设X1,X2,Xn是取自总体是取自总体X的一个样本，样的一个样本，样本的联合密度本的联合密度(连续型）或联合分布律连续型）或联合分布律 (离散型离散型)为为 f (x1,x2, ,xn ; ) . )( Lf (x1, x2 , xn; )

18、这里这里 x1, x2 , xn 是样本的观察值是样本的观察值 .第32页/共55页 似然函数：似然函数：)(max)( LL 最大似然估计法最大似然估计法就是用使就是用使 达到最大值达到最大值的的 去估计去估计 . )( L 称称 为为 的的最大似然估计值最大似然估计值 . 看作参数看作参数 的函数，它可作为的函数，它可作为 将以多大将以多大可可能产生样本值能产生样本值 x1, x2, ,xn 的一种度量的一种度量 .)( L )( L f (x1,x2, xn; ) 而相应的而相应的统计量统计量称为称为 的的最大似然估计量最大似然估计量 .1(,)n XX第33页/共55页两点说明：两点说

19、明： 1、求似然函数、求似然函数L( ) 的最大值点，可以应的最大值点，可以应用微积分中的技巧。由于用微积分中的技巧。由于ln(x)是是 x 的增函数的增函数, lnL( )与与L( )在在 的同一值处达到它的最大值，的同一值处达到它的最大值，假定假定 是一实数，且是一实数，且lnL( )是是 的一个可微函数。的一个可微函数。通过求解方程：通过求解方程： 可以得到可以得到 的的MLE . 0)(lndLd 若若 是向量，上述方程必须用方程组代是向量，上述方程必须用方程组代替替 . 2、用上述求导方法求参数的、用上述求导方法求参数的MLE有时行不有时行不通，这时要用最大似然原则来求通，这时要用最

20、大似然原则来求 .第34页/共55页 下面举例说明如何求最大似然估计下面举例说明如何求最大似然估计L(p)= f (x1, x2, xn; p ) 例例5 设设X1,X2,Xn是取自总体是取自总体 XB(1, p) 的一的一个样本，求参数个样本，求参数p的最大似然估计量的最大似然估计量.nixxiipp11)1 (解：解：似然函数似然函数为为: ppXi110第35页/共55页)1ln()()ln()(ln11pxnpxpLniinii对数似然函数对数似然函数为：为：niiniixnxpppL11)1()(niiniixnxpp11)1 (第36页/共55页对对p求导并令其为求导并令其为0，)

21、(111)(ln11niiniixnpxpdppLd=0得得xxnpnii11即为即为 p 的的最大似然估计值最大似然估计值 .从而从而 p 的的最大似然估计量最大似然估计量为为 111(,)nniip XXXXn 第37页/共55页 (4) 在最大值点的表达式中在最大值点的表达式中, 用样本值代入用样本值代入就得参数的就得参数的最大似然估计值最大似然估计值 .求最大似然估计求最大似然估计(MLE)的一般步骤是：的一般步骤是： (1) 由总体分布导出样本的联合分布率由总体分布导出样本的联合分布率(或或联合密度联合密度); (2) 把样本联合分布率把样本联合分布率 ( 或联合密度或联合密度 )

22、中自变中自变 量看成已知常数量看成已知常数,而把参数而把参数 看作自变量看作自变量,得到得到似然似然 函数函数L( ); (3) 求似然函数求似然函数L( ) 的最大值点的最大值点(常常转化常常转化为求为求ln L( )的最大值点的最大值点) ，即，即 的的MLE; 第38页/共55页 例例6 设总体设总体 X N( ) , 未知未知 . 是来自是来自 X 的样本值的样本值 , 试求试求 的最大似然估计的最大似然估计量量 .1,nxx2, 2, 2, 似然函数为似然函数为 解解X 的概率密度为的概率密度为 xexfx,21)(222)( 222()211( ,)2ixniL e 第39页/共5

23、5页222()211( ,)2ixniL e 2222211(2 )()exp() 2nnniix 于是于是22211ln(2 )ln()222niinnLnLx 令令211()0niiLnLxn 2222211()022()niinLnLx 第40页/共55页11niixxn 2211()niixxn 解得解得的最大似然估计量的最大似然估计量为为2, ,X 2211()niiXXn 第41页/共55页 11 7, 0 0, , xnexXf xXXX 例 ：设总体 的概率密度为：其它其中是未知常量为 的样本，求的矩估计. 1 矩估计解： E Xxfx dx221xE Xxedx21 1()n

24、iiE XXD XXXn令D X21211() 1()niiniiXXnXXXn1xxedx22xxedx2222222E XEX第42页/共55页解：似然函数为解：似然函数为例例8 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本为未知参数其它 , 0,1)()(xexfXx其中其中 0,求求 的最大似然估计的最大似然估计. ,其它，, 01),(1)(niixxeLi i=1,2,n第43页/共55页其它, 0min,11)(1 ixnxenii对数似然函数为对数似然函数为niixnL1)(1ln),(ln 解：似然函数为解：似然函数为其它，, 01),(1)(niixxeL

25、i i=1,2,n第44页/共55页niixn11 nL),(ln=0 (2)由由(1)得得niixnL12)(1),(ln =0 (1)对对 分别求偏导并令其为分别求偏导并令其为0,对数似然函数为对数似然函数为niixnL1)(1ln),(ln 用求导方法无法最终确定用求导方法无法最终确定用最大似然原则来求用最大似然原则来求 .、 , 第45页/共55页111 niii niminxxn 对对, 0),(,min Lxi是是故使故使 达到最大的达到最大的 即即 的的MLE ),( L , 于是于是 取其它值时，取其它值时，. 0),( L MLE, 即即为为的的估估计计。且是且是 的增函数的

26、增函数 其它, 0min,1),(1)(1ixnxeLnii第46页/共55页1290,0 ,nXx xx例 ：设总体 服从上的均匀分布，未知， 试由样本求出 的极大似然估计和矩估计。 1 极解：大似然估计 1 0;0 xXf x因 的概率密度为：其它 121 0,0 nnx xxL故参数 的似然函数为：其它 0,Ldlnnd 由于不能用微分法求:L从义发以下定出求 120,innxxmax x xx因为故 的取值范围最小为 1LnnnLxLxL又对的 是减函数， 越小， 越大，故时， 最大；012E XxdxX由 2 矩估计 12,LnnXmax x xx所以 的极大似然估计量为2X第47页/共55页三、三、 例例1 设总体设总体X的概率密度为的概率密度为其它, 010,) 1()(xxxf