浙大概率论与数理统计 概率71参数点估计ppt课件

1、数理统计数理统计 引言引言 上一讲，我们引见了总体、样本、上一讲，我们引见了总体、样本、简单随机样本、统计量和抽样分布的概简单随机样本、统计量和抽样分布的概念，引见了统计中常用的三大分布，给念，引见了统计中常用的三大分布，给出了几个重要的抽样分布定理出了几个重要的抽样分布定理 . 它们是它们是进一步学习统计推断的根底进一步学习统计推断的根底 .数理统计数理统计 第七章第七章 参数估计参数估计点估计点估计估计量的评选规范估计量的评选规范区间估计区间估计小结小结数理统计数理统计 这类问题称为参数估计这类问题称为参数估计.参数估计问题的普通提法参数估计问题的普通提法X1,X2,Xn要根据该样本对参数

2、要根据该样本对参数 作出估计作出估计, 或估计或估计 的某个知函数的某个知函数 .)( g现从该总体抽样，得样本现从该总体抽样，得样本 设有一个统计总体设有一个统计总体 , 总体的分布函数为总体的分布函数为F( x, ) ，其中，其中 为未知参数为未知参数 ( 可以是向量可以是向量) . 数理统计数理统计 参数估计参数估计点估计点估计区间估计区间估计数理统计数理统计 )1 . 0,(2 N假定身高服从正态分布假定身高服从正态分布 设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69 估计估计 为为1.68，这是点估计这是点估计.这是区间估计这是区间估计.估计估计 在区间在区

3、间 1.57, 1.84 内，内，例如我们要估计某队男生的平均身高例如我们要估计某队男生的平均身高. 现从该总体选取容量为现从该总体选取容量为5的样本，我们的义务的样本，我们的义务是要根据选出的样本是要根据选出的样本5个数求出总体均值个数求出总体均值 的的估计估计. 而全部信息就由这而全部信息就由这5个数组成个数组成 . 数理统计数理统计 第一节第一节 参数的点估计参数的点估计点估计概念点估计概念求估计量的方法求估计量的方法数理统计数理统计 一、点估计概念一、点估计概念随机抽查随机抽查100100个婴儿个婴儿 , ,得得100100个体重数据个体重数据 10,7,6,6.5,5,5.2, 呢呢

4、 ? ? 据此据此, ,我们应如何估计我们应如何估计和和而全部信息就由这而全部信息就由这100个数组成个数组成 .例例1 知某地域新生婴儿的体重知某地域新生婴儿的体重 , 2,XN ( ,) 未知未知数理统计数理统计 为估计为估计 : 我们需求构造出适当的样本的函数我们需求构造出适当的样本的函数 T(X1,X2,Xn) ， 每当有了样本，就代入该函数中算出一个值，用来每当有了样本，就代入该函数中算出一个值，用来作为作为 的估计值的估计值 . 把样本值代入把样本值代入T(X1,X2,Xn) 中，中，估计值估计值 .T(X1,X2,Xn) 称为参数称为参数 的点估计量，的点估计量， 得到得到 的一

5、个点的一个点数理统计数理统计 运用什么样的统计量去估计运用什么样的统计量去估计 ？ 可以用样本均值可以用样本均值;也可以用样本中位数也可以用样本中位数;还可以用别的统计量还可以用别的统计量 .问题是问题是: 数理统计数理统计 二、寻求估计量的方法二、寻求估计量的方法1. 矩估计法矩估计法2. 极大似然法极大似然法3. 最小二乘法最小二乘法4. 贝叶斯方法贝叶斯方法 这里我们主要引见前面两种方法这里我们主要引见前面两种方法 .数理统计数理统计 1. 矩估计法矩估计法 矩估计法是英国统计学家矩估计法是英国统计学家K.皮尔逊皮尔逊最早提出来的最早提出来的 .由辛钦定理由辛钦定理 ,假设总体假设总体

6、的数学期望的数学期望 有有限限, E X X那么那么有有11niiXXn ()PE X 11nkkiiAXn ()(1,2,)PkkE Xk 12(,)kg A AA12(,)Pkg 其中其中 为延续函数为延续函数 .g数理统计数理统计 这阐明这阐明 , 当样本容量很大时当样本容量很大时 , 在统计上在统计上 , 可以用可以用 用样本矩去估计总体矩用样本矩去估计总体矩 . 这一现实导出矩估计法这一现实导出矩估计法.定义定义 用样本原点矩估计相应的总体原点矩用样本原点矩估计相应的总体原点矩 , 又又用样本原点矩的延续函数估计相应的总体原点矩的用样本原点矩的延续函数估计相应的总体原点矩的延续函数延

7、续函数, 这种参数点估计法称为矩估计法这种参数点估计法称为矩估计法 . 实际根据实际根据: 大数定律大数定律矩估计法的详细做法如下矩估计法的详细做法如下 设总体的分布函数中含有设总体的分布函数中含有k个未知参数个未知参数 , 那么它的前那么它的前k阶矩阶矩 ,普通普通12,k 12,k 数理统计数理统计 都是这都是这 k 个参数的函数个参数的函数,记为：记为：i=1,2, ,k从这从这 k 个方程中解出个方程中解出j=1,2,kj=1,2,k12(,)iik 12(,)jjk 那么用诸那么用诸 的估计量的估计量 Ai 分别替代上式中的诸分别替代上式中的诸 , ii12(,)jjkA AA j即

8、可得诸即可得诸 的矩估计量的矩估计量 ：矩估计量的察看值称为矩估计值矩估计量的察看值称为矩估计值 .数理统计数理统计 例例2 设总体设总体 X 在在 a , b 上服从均匀分布上服从均匀分布 , a , b 未知未知 . 是来自是来自 X 的样本的样本 , 试求试求 a , b 的矩估计量的矩估计量 .1,nXX解解 1E X 2ab 22E X 2()12ba 2()()D XE X 2()4ab 数理统计数理统计 即即 1221212()abba 解得解得于是于是 a , b 的矩估计量为的矩估计量为 21213()a 21213()b213() ,niiaXXXn 213()niibXX

9、Xn 样本矩样本矩总体矩总体矩数理统计数理统计 解解 1E X 22E X 2()()D XE X 例例3 设总体设总体 X 的均值的均值 和方差和方差 都存都存在在 , 未知未知 . 是来自是来自 X 的样本的样本 , 试试求求 的矩估计量的矩估计量 .1,nXX2(0) 2, 2, 22数理统计数理统计 解得解得1AX1 2221于是于是 的矩估计量为的矩估计量为 2, 22222111niiAAXXn 211()niiXXn 样本矩样本矩总体矩总体矩 2 数理统计数理统计 矩法的优点是简单易行矩法的优点是简单易行,并不需求事先知道总体并不需求事先知道总体是什么分布是什么分布 . 缺陷是，

10、当总体类型知时，没有充分利用分布缺陷是，当总体类型知时，没有充分利用分布提供的信息提供的信息 . 普通场所下普通场所下,矩估计量不具有独一性矩估计量不具有独一性 . 其主要缘由在于建立矩法方程时，选取那些总体其主要缘由在于建立矩法方程时，选取那些总体矩用相应样本矩替代带有一定的随意性矩用相应样本矩替代带有一定的随意性 .数理统计数理统计 2. 最大似然法最大似然法 它是在总体类型知条件下运用的一种参数估计它是在总体类型知条件下运用的一种参数估计方法方法 . 它首先是由德国数学家高斯在它首先是由德国数学家高斯在1821年提出的年提出的 . GaussFisher 然而然而,这个方法常这个方法常归

11、功于英国统计学家费歇归功于英国统计学家费歇 . 费歇在费歇在1922年重新发现了这年重新发现了这一方法，并首先研讨了这种方法一方法，并首先研讨了这种方法的一些性质的一些性质 .数理统计数理统计 最大似然估计原理：最大似然估计原理： 当给定样本当给定样本X1,X2,Xn时，定义似然函数为：时，定义似然函数为： 设设X1,X2,Xn是取自总体是取自总体X的一个样本，样的一个样本，样本的结合密度本的结合密度(延续型或结合分布律延续型或结合分布律 (离散型离散型)为为 f (x1,x2, ,xn ; ) . )( Lf (x1, x2 , xn; ) 这里这里 x1, x2 , xn 是样本的察看值是

12、样本的察看值 .数理统计数理统计 似然函数：似然函数：)(max)( LL 最大似然估计法就是用使最大似然估计法就是用使 到达最大值的到达最大值的 去估计去估计 . )( L 称称 为为 的最大似然估计值的最大似然估计值 . 看作参数看作参数 的函数，它可作为的函数，它可作为 将以多大可将以多大可能产生样本值能产生样本值 x1, x2, ,xn 的一种度量的一种度量 .)( L )( L f (x1,x2, xn; ) 而相应的统计量而相应的统计量称为称为 的最大似然估计量的最大似然估计量 .1(,)n XX数理统计数理统计 两点阐明：两点阐明： 1、求似然函数、求似然函数L( ) 的最大值点

13、，可以运用的最大值点，可以运用微积分中的技巧。由于微积分中的技巧。由于ln(x)是是 x 的增函数的增函数, lnL( )与与L( )在在 的同一值处到达它的最大值，假定的同一值处到达它的最大值，假定 是一实数，且是一实数，且lnL( )是是 的一个可微函数。经过的一个可微函数。经过求解方程：求解方程： 可以得到可以得到 的的MLE . 0)(lndLd 假设假设 是向量，上述方程必需用方程组替是向量，上述方程必需用方程组替代代 . 2、用上述求导方法求参数的、用上述求导方法求参数的MLE有时行不有时行不通，这时要用最大似然原那么来求通，这时要用最大似然原那么来求 .数理统计数理统计 下面举例

14、阐明如何求最大似然估计下面举例阐明如何求最大似然估计L(p)= f (x1, x2, xn; p ) 例例5 设设X1,X2,Xn是取自总体是取自总体 XB(1, p) 的一的一个样本，求参数个样本，求参数p的最大似然估计量的最大似然估计量.nixxiipp11)1 (解：似然函数为解：似然函数为: ppXi110数理统计数理统计 )1ln()()ln()(ln11pxnpxpLniinii对数似然函数为：对数似然函数为：niiniixnxpppL11)1()(niiniixnxpp11)1 (数理统计数理统计 对对p求导并令其为求导并令其为0，)(111)(ln11niiniixnpxpdp

15、pLd=0得得xxnpnii11即为即为 p 的最大似然估计值的最大似然估计值 .从而从而 p 的最大似然估计量为的最大似然估计量为 111 (,)nniip XXXXn 数理统计数理统计 (4) 在最大值点的表达式中在最大值点的表达式中, 用样本值代入就用样本值代入就得参数的最大似然估计值得参数的最大似然估计值 .求最大似然估计求最大似然估计(MLE)的普通步骤是：的普通步骤是： (1) 由总体分布导出样本的结合分布率由总体分布导出样本的结合分布率(或结或结合密度合密度); (2) 把样本结合分布率把样本结合分布率 ( 或结合密度或结合密度 ) 中自变中自变 量看成知常数量看成知常数,而把参

16、数而把参数 看作自变量看作自变量,得到似然得到似然 函数函数L( ); (3) 求似然函数求似然函数L( ) 的最大值点的最大值点(经常转化为经常转化为求求ln L( )的最大值点的最大值点) ，即，即 的的MLE; 数理统计数理统计 例例6 设总体设总体 X N( ) , 未知未知 . 是来自是来自 X 的样本值的样本值 , 试求试求 的最大似然估计量的最大似然估计量 .1,nxx2, 2, 2, 似然函数为似然函数为 解解X 的概率密度为的概率密度为 xexfx,21)(222)( 222()211( ,)2ixniL e 数理统计数理统计 222()211( ,)2ixniL e 222

17、2211(2 )()exp() 2nnniix 于是于是22211ln(2 )ln()222niinnLnLx 令令211()0niiLnLxn 2222211()022()niinLnLx 数理统计数理统计 11niixxn 2211()niixxn 解得解得的最大似然估计量为的最大似然估计量为2, ,X 2211()niiXXn 2 2 数理统计数理统计 解：似然函数为解：似然函数为例例7 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本为未知参数其它 , 0,1)()(xexfXx其中其中 0,求求 的最大似然估计的最大似然估计. ,其它，, 01),(1)(niixxeL

18、i i=1,2,n数理统计数理统计 其它, 0min,11)(1 ixnxenii对数似然函数为对数似然函数为niixnL1)(1ln),(ln 解：似然函数为解：似然函数为其它，, 01),(1)(niixxeLi i=1,2,n数理统计数理统计 niixn11 nL),(ln=0 (2)由由(1)得得niixnL12)(1),(ln =0 (1)对对 分别求偏导并令其为分别求偏导并令其为0,对数似然函数为对数似然函数为niixnL1)(1ln),(ln 用求导方法无法最终确定用求导方法无法最终确定用最大似然原那么来求用最大似然原那么来求 .、 , 数理统计数理统计 inix1*min 对对, 0),(,min Lxi是是故使故使 到达最大的到达最大的 即即 的的MLE ),( L , niixn1*1 于是于是 取其它值时，取其它值时，. 0),( L 即即 为为 的的MLE .*, ,且是且是 的增函数的增函数 其它, 0min,1),(1)(1ixnxeLnii数理统计数理统计 解解 似然函数为似然函数为niixL11)( 11)( niinx) 10(ix对数似然函数为对数似然函数为niixnL1ln) 1(ln)(ln ni 1练习练习 设设X1,X2,Xn是取自总体是取自总体X的一个样的一个样本本其它, 010,)(1xxxfX 求求 的最大似然估