第7章参数估计1节点估计点估计

1、第一节第一节 点估计点估计 一、点估计问题的提法一、点估计问题的提法 二、估计量的求法二、估计量的求法 三、小结三、小结 一、点估计问题的提法一、点估计问题的提法 设总体设总体X 的分布函数形式已知的分布函数形式已知, , , 在某炸药制造厂在某炸药制造厂次次一天中发生着火现象的一天中发生着火现象的 ,是一个随机变量是一个随机变量数数 X为参数为参数假设它服从以假设它服从以0 ,的泊松分布的泊松分布,为未知为未知参数参数 . 试估计参数试估计参数 ,现有以下的样本值现有以下的样本值 但它的一个或但它的一个或 总体未知参数的值的问题称为总体未知参数的值的问题称为点估计问题点估计问题. . 多个参

2、数为未知多个参数为未知, , 借助于总体借助于总体X的一个样本来估计的一个样本来估计 例例1 250012622549075 76543210 k n k k 火的天数火的天数 次着次着发生发生 着火次数着火次数 解解),( X因为因为 ).( XE 所以所以 用样本均值来估计总体的均值用样本均值来估计总体的均值 E(X) . x223542901750( 250 1 )162564 6 0 6 0 k k k k n kn .22. 1 .22. 1)(的估计为的估计为故故 XE 点估计问题的一般提法点估计问题的一般提法 ，的形式为已知的形式为已知的分布函数的分布函数设总体设总体);( xF

3、X ., 21 为相应的一个样本值为相应的一个样本值 n xxx 一个适当的统计量一个适当的统计量点估计问题就是要构造点估计问题就是要构造 ),( 21n XXX ),( 21n xxx 用它的观察值用它的观察值 . 来估计未知参数来估计未知参数 .是待估参数是待估参数 , 21 的一个样本的一个样本是是 XXXX n .),( 21 的估计量的估计量称为称为 n XXX .),( 21 的估计值的估计值称为称为 n xxx. , 简记为简记为 通称估计通称估计 二、估计量的求法二、估计量的求法 由于估计量是样本的函数由于估计量是样本的函数, 矩估计法和最大似然估计法矩估计法和最大似然估计法.

4、 . 求估计量是关键问题求估计量是关键问题. 如何如何 得到的参数值往往不同得到的参数值往往不同, 对不同的样本值对不同的样本值, 是随机变量是随机变量, 故故 常用构造估计量的方法常用构造估计量的方法: : ( (两种两种) ) 1. 矩估计法矩估计法 ,为连续型随机变量为连续型随机变量设设 X ,为离散型随机变量为离散型随机变量或或 X xXP 布律为布律为 , 21 为待估参数为待估参数其中其中 k 其概率密度为其概率密度为 ),;( 21k xf ),;( 21k xp , 21 的样本的样本是来自是来自XXXX n 其分其分 ( (X为离散型为离散型) ) l )( l XE ),;

5、( 21k Rx l xpx X 或或 l ( (X为连续型为连续型) ) )( l XE xxfx k l d),;( 21 . )(可能取值的范围可能取值的范围是是其中其中存在存在xRX kl, 2 , 1 阶矩阶矩的前的前假设总体假设总体kX 矩估计法的定义矩估计法的定义 用样本矩来估计总体矩用样本矩来估计总体矩, , 矩估计法的具体做法矩估计法的具体做法: : ., 2, 1,klAl l 令令 , 21 的方程组的方程组个未知参数个未知参数这是一个包含这是一个包含 k k ., 21k 解出其中解出其中 的的分别作为分别作为用方程组的解用方程组的解 kk , , , 2121 矩估计

6、量的观察值称为矩估计值矩估计量的观察值称为矩估计值. . 估计法估计法. 这种估计法称为这种估计法称为矩矩 数来估计总体矩的连续函数数来估计总体矩的连续函数, 用样本矩的连续函用样本矩的连续函 ,估计量估计量.量量这个估计量称为矩估计这个估计量称为矩估计 例例2,上服从均匀分布上服从均匀分布在在设总体设总体baX,a其中其中 ,未知未知b,),( 21 的样本的样本是来自总体是来自总体XXXX n ,a求求.的的估估计计量量b 解解 1 2 , 4 )( 12 )( 22 baba 2 )()(XEXD )(XE , 2 ba )( 2 XE 2 ba 1 A , 1 1 n i i X n

7、令令 4 )( 12 )( 22 baba 2 A, 1 1 2 n i i X n . )(12 ,2 2 12 1 AAab Aba 解方程组得到解方程组得到a , b的矩估计量分别为的矩估计量分别为 a b 即即 )(3 2 121 AAA ,)( 3 1 2 n i i XX n X )(3 2 121 AAA .)( 3 1 2 n i i XX n X 例例3, 2 都存在都存在和方差和方差的均值的均值设总体设总体 X且有且有 , 0 2 , 2 均为未知均为未知和和但但 是是又设又设 n XXX, 21 ,一个样本一个样本. 2 的矩估计量的矩估计量和和求求 解解 1 2 )(X

8、E , )( 2 XE 2 )()(XEXD , 22 解得解得; 1 . 2 12 2 2 1 A ,X 2 12 AA n i i XX n 1 2 2 1 .)( 1 1 2 n i i XX n 的矩估计量分的矩估计量分和和得得 2 , 2121 代替代替分别以分别以AA 别为别为 所得结果表明，所得结果表明， 达式不因不同的总体分布而异达式不因不同的总体分布而异. 总总体均值与方差的矩估计量的表体均值与方差的矩估计量的表 例如，例如， ),( 2 NX, 2 未知未知 2 , 即得即得 的矩估计量的矩估计量 2 .)( 1 1 2 n i i XX n ,X , 1 1 的均值的矩估

9、计的均值的矩估计作为总体作为总体用样本均值用样本均值XX n X n i i 作为总体作为总体用样本二阶中心矩用样本二阶中心矩 2 1 2 )( 1 XX n B n i i 一般地一般地, , .的方差的矩估计的方差的矩估计X 2. 最大似然估计法最大似然估计法 属离散型属离散型总体总体 X)1( 似然函数的定义似然函数的定义 , 属离散型属离散型若总体若总体 X设分布律设分布律 ),;( xpxXP ,的形式为已知的形式为已知 为待为待 ,估参数估参数.可能的取值范围可能的取值范围是是 n XXX, 21 设设 ,的样本的样本是来自总体是来自总体 X的联合分布的联合分布则则 n XXX,

10、21 . );( 1 n i i xp 律为律为 n XXX, 21 则样本则样本的的取到观察值取到观察值 n xxx, 21 发生的概率为发生的概率为即即, 2211nn xXxXxX )( L ,);( 1 n i i xp );,( 21 n xxxL .)(称为样本的似然函数称为样本的似然函数 L ，概率概率 为相应于样本为相应于样本又设又设 n xxx, 21 n XXX, 21 .的一个样本值的一个样本值 最大似然估计法最大似然估计法 , 21 时时得到样本值得到样本值 n xxx , 的估计值的估计值作为未知参数作为未知参数取得最大值的取得最大值的 ).;,(max) ;,( 2

11、1 21 nn xxxLxxxL 即即 )(可能的取值范围可能的取值范围是是其中其中 , 21 有关有关与样本值与样本值这样得到的这样得到的 n xxx ),( 21n XXX , 的最大似然估计值的最大似然估计值参数参数 . 的最大似然估计量的最大似然估计量参数参数 )( L选取使似然函数选取使似然函数 ),( 21n xxx 记为记为 属连续型属连续型总体总体 X)2( 似然函数的定义似然函数的定义 , );( xf设概率密度为设概率密度为, ,为待估参数为待估参数 .可能的取值范围可能的取值范围是是 的样本，的样本，是来自是来自设设XXXX n , 21 则则 . );(, 1 21 n

12、 i in xfXXX 的联合密度为的联合密度为 nn XXXxxx, 2121 为相应于样本为相应于样本设设 .的一个样本值的一个样本值落在点落在点则随机点则随机点),( 21n XXX nn xxxxxxd,d,d(),( 2121 边长分别为边长分别为的邻域的邻域 概率近似地为概率近似地为内的内的维立方体维立方体的的)n )( L);,( 21 n xxxL , );( 1 n i i xf .)(称为样本的似然函数称为样本的似然函数 L ).;,(max) ;,( 2121 nn xxxLxxxL 若若 ),( 21n xxx ),( 21n XXX , 的最大似然估计值的最大似然估计

13、值参数参数 . 的最大似然估计量的最大似然估计量参数参数 ,d );( 1 i n i i xxf 求最大似然估计的步骤求最大似然估计的步骤: : );();,()( 1 21 n i in xpxxxLL );(ln)(ln 1 n i i xpL ; );(ln)(ln 1 n i i xfL ; );();,()( 1 21 n i in xfxxxLL或或 取对数取对数二二 )( 或或 写出似然函数写出似然函数一一 )( )(三三 最大似然估计法也适用于分布中含有最大似然估计法也适用于分布中含有多个多个未知未知 ., 2 , 1, 0lnkiL i ,个方程组成的方程组个方程组成的方程

14、组解出由解出由 k 对数似然方程组对数似然方程组 对数似对数似 然方程然方程 此时只需令此时只需令参数的情况参数的情况. . . ), 2 , 1( ii ki 的最大似然估计值的最大似然估计值数数 即可得各未知参即可得各未知参 . 的最大似然估计值的最大似然估计值解方程即得未知参数解方程即得未知参数 , 0 d )(lnd L 并令并令, d )(lnd L 求导求导对对 例例4), 1(pbX设设 ,个样本个样本.的最大似然估计量的最大似然估计量求求 p 的一的一是来自是来自XXXX n , 21 解解的的为相应于样本为相应于样本设设 nn XXXxxx, 2121 ,一个样本值一个样本值

15、的分布律为的分布律为X .1 , 0 xxXP ,)1( 1 xx pp 故似然函数故似然函数 ii x n i x pp 1 1 )1( ,)1( 11 n i i n i i xnx pp )(pL )(lnpL 而而 ),1ln(ln 11 pxnpx n i i n i i , 0 的最大似然估计值的最大似然估计值解得解得 p p )(ln d d pL p p xn p x n i i n i i 1 11 令令 n i i x n1 1 .x 的最大似然估计量为的最大似然估计量为p p .X n i i X n1 1 这一估计量与矩估计量是相同的这一估计量与矩估计量是相同的. .

16、例例5),( 2 NX设总体设总体, 2为未知参数 为未知参数 , 21 的一个样本值的一个样本值是来自是来自Xxxx n 的最的最和和求求 2 .大似然估计量大似然估计量 解解的概率密度为的概率密度为X ),;( 2 xf,e 2 1 2 2 2 )( x 似然函数为似然函数为 ,e 2 1 2 2 2 )( 1 i x n i ),( 2 L ),(ln 2 L , 0),(ln , 0),(ln 2 2 2 L L 令令 ,0 1 1 2 n i i nx ,0)( )(2 1 2 1 2 222 n i i x n ,)( 2 1 ln 2 )2ln( 2 1 2 2 2 n i i

17、x nn 由前一式解得由前一式解得 n i i x n 1 1 x 代入后一式得代入后一式得 .)( 1 2 1 xx n n i i 2 为为的的最最大大似似然然估估计计量量分分别别因因此此 2 , ,X .)( 1 2 1 XX n n i i 它们与相应的矩估计量相同它们与相应的矩估计量相同. . 2 例例6,上服从均匀分布上服从均匀分布在在设总体设总体baX,a其中其中 ,未知未知b , 21 的一个样本值的一个样本值是来自总体是来自总体 Xxxx n ., 的最大似然估计量的最大似然估计量求求ba 解解 ,min 21n xxx ,max 21n xxx )1( x )(n x 记记

18、 ),;(baxf , bxa .其他其他 , 1 ab ,0 的概率密度为的概率密度为X 补充例题补充例题 ),(baL .其他其他 , )( 1 n ab ,0 似然函数为似然函数为 由于由于 , 21 bxxxa n , 21 bxxxa n 等价于等价于 , )1( xa , )( bx n 似然函数为似然函数为 ),(baL .其他其他 , )( 1 n ab ,0 , )1( xa , )( bx n ),(baL n ab)( 1 , )( 1 )1()( n n xx 时取到最大时取到最大在在即似然函数即似然函数 )()1( ,),( n xbxabaL .)( )1()( n

19、 n xx 值值 的最大似然估计值为的最大似然估计值为ba, 的最大似然估计量为的最大似然估计量为ba, a )1( x ,min 1 i ni x b )(n x ,max 1 i ni x , )1( xa 于是对于满足条件于是对于满足条件有有的任意的任意baxb n , )( a b ,min 1 i ni X .max 1 i ni X 最大似然估计的性质最大似然估计的性质 , )( uu 的函数的函数设设具有单值反函数具有单值反函数 Uuu ),( 的概率密度函数的概率密度函数是是又设又设X ,)();(的最大似然估计的最大似然估计中的参数中的参数形式已知形式已知 fxf .)() (