概率与统计62

1、4.3节节 第五点内容（第五点内容（P94）：矩的概念）：矩的概念定义定义 设设X和和Y为随机变量，为随机变量，lk,为正整为正整数，数，)(kXE为为k阶原点矩阶原点矩 (简称简称k阶矩阶矩);)(kXEXE 为为k阶中心矩阶中心矩)(kXE为为k阶绝对原点矩阶绝对原点矩；)(kXEXE 为为k阶绝对中心矩阶绝对中心矩；称称()klE X Y为为X和和Y的的lk 阶混合矩阶混合矩;() ( ) klEXE XYE Y为为X和和Y的的lk 混合中心矩混合中心矩.6.26.2点估计的常用方法点估计的常用方法一、矩估计法一、矩估计法矩估计法的矩估计法的基本思想基本思想 是用样本矩估计总体矩是用样本

2、矩估计总体矩. 由大数定理知，由大数定理知， 当总体的当总体的k阶矩存在时，阶矩存在时， 样本的样本的k阶矩依概率收敛于总体的阶矩依概率收敛于总体的k阶矩阶矩.例如，例如，量量, 一般地一般地,因为因为可用样本均值可用样本均值X作为总体均值作为总体均值)(XE的估计的估计记记总体总体k阶矩阶矩);(kkXE 样本样本k阶矩阶矩;11 nikikXnA总体总体k阶中心矩阶中心矩;)(kkXEXE 样本样本k阶中心矩阶中心矩.)(11 nikikXXnB用相应的样本矩估计总体矩的方法就称为用相应的样本矩估计总体矩的方法就称为矩估计法矩估计法,相应的估计量称为相应的估计量称为矩估计量矩估计量， 相应

3、的估计值称为相应的估计值称为矩矩估计值估计值， 矩估计量与距估计值称为矩估计量与距估计值称为矩估计矩估计. 求矩估计的方法求矩估计的方法参数参数,1k 则则（1）一般都是这一般都是这k个未知参数的函数个未知参数的函数,;, 2 , 1),(1kigkii （*）（2）;, 2 , 1),(1kjhkjj 设总体设总体X的分布函数的分布函数),;(1kxF 中含有中含有k个未知个未知X的前的前k阶矩阶矩,1k 求总体求总体记为记为从从(*)中解得中解得（3）), 2 , 1(kii 的估计量的估计量iA分别代替上式分别代替上式再用再用即可得即可得), 2 , 1(kjj 的矩估计量：的矩估计量：

4、., 2 , 1),(1kjAAhkjj 的的,i 中中求矩估计的方法求矩估计的方法注注： 求求,1kv 类似于上述步骤，类似于上述步骤， 最后用最后用kBB,1代替代替,1kv 求出矩估计求出矩估计)., 2 , 1(kij 例例1 设总体设总体X的概率密度为的概率密度为 , 010,)1()(其它其它xxxf 其中其中1 是未知参数是未知参数, ,样本样本, , 求参数求参数 的矩估计的矩估计.解解 数学期望是一阶原点矩数学期望是一阶原点矩1101()()E Xxx dx nXXX,21是取自是取自X的的,21)1(101 dxx令令12,X 得得,112XX 即为即为 的矩的矩估计估计.

5、例例2 设总体设总体X的均值的均值 及方差及方差2 都存在都存在, ,但但2, 均为未知均为未知, , 又设又设,21XXnX,是来自是来自X的样的样试求试求2, 的矩估计量的矩估计量.解解,)(1 XE,)()()(22222 XEXDXE以以21,AA代替代替,21 且有且有2 , 0 本本,1,AX 22222111niiAAXXn 222211niiAXn 解得：解得：,X 211() .niiXXn 注注: 本例表明本例表明, , 总体均值与方差的矩估计量的表达式总体均值与方差的矩估计量的表达式不因不同的总体公布而异不因不同的总体公布而异. . 如如, ,),(2 NX2, 的矩估计

6、量为的矩估计量为则则,X 未知未知, ,2, .)(1212XXnnii 例例3 设总体设总体X的概率分布为的概率分布为, 13 x求求 的矩估计值的矩估计值.解解 先求总体一阶原点矩先求总体一阶原点矩,23)1(3)1(221)(22 XE一阶样本矩一阶样本矩.34)121(31 x由由,)(xXE 得得,3423 推出推出,65 , 11 x现抽得一个样本现抽得一个样本, 22 x 为未知参数为未知参数. .其中其中22)1()1(2321 ipX估计值估计值.65 所以所以 的矩的矩二、最大似然估计法二、最大似然估计法最大似然估计法的思想最大似然估计法的思想： 在已得到试验结果的情况在已

7、得到试验结果的情况引例引例某同学与一位猎人一起去打猎某同学与一位猎人一起去打猎,一只野兔从一只野兔从前方窜过，前方窜过，只听一声枪响，只听一声枪响， 野兔应声倒下，野兔应声倒下，试猜测试猜测是谁打中的？是谁打中的？由于只发一枪便打中由于只发一枪便打中,而猎人命中的概率一般大于而猎人命中的概率一般大于这位同学命中的概率，这位同学命中的概率， 故一般会猜测这一枪是猎人故一般会猜测这一枪是猎人射中的射中的.下，下，应寻找使这个结果出现的可能性最大的那个应寻找使这个结果出现的可能性最大的那个 值作为值作为 的估计的估计. 例例 设盒子里装有许多白球和红球，不知道哪种球多，只知道设盒子里装有许多白球和红

8、球，不知道哪种球多，只知道 两种球的比例是两种球的比例是 3:1 ，我们希望通过实验去判别白球占的，我们希望通过实验去判别白球占的 比例是比例是 1/4 还是还是 3/4。解：采用有放回抽样方式从盒子里抽取解：采用有放回抽样方式从盒子里抽取 3 个球，记白球数为个球，记白球数为 X。则则331,0,1,2,3.kkkP XkC ppk其中其中 是是 1/4 或或 3/4，是待定参数。，是待定参数。p就就 是是 1/4 或或 3/4 为参数值计算二项概率得下表：为参数值计算二项概率得下表：pX1/ 4p 3/ 4p 01231/ 641/ 649 / 649 / 6427 / 6427 / 64

9、27 / 6427 / 64显然，当实验结果是显然，当实验结果是X=0 或或 1 时，我们认为时，我们认为1/4.p 反之，当实验结果是反之，当实验结果是X=2 或或 3 时，我们认为时，我们认为3/4.p 就就 是是 1/4 或或 3/4 为参数值计算二项概率得下表：为参数值计算二项概率得下表：pX1/ 4p 3/ 4p 01231/ 641/ 649 / 649 / 6427 / 6427 / 6427 / 6427 / 64显然，当实验结果是显然，当实验结果是X=0 或或 1 时，我们认为时，我们认为1/4.p 反之，当实验结果是反之，当实验结果是X=2 或或 3 时，我们认为时，我们认

10、为3/4.p 因为样本是来自总体的，它能很好地反映总体的概率分布因为样本是来自总体的，它能很好地反映总体的概率分布特征，所以在作参数估计时，应从样本的观察值出发，选取使特征，所以在作参数估计时，应从样本的观察值出发，选取使得样本落在观察值的邻近的概率达到最大的参数值作为总体参得样本落在观察值的邻近的概率达到最大的参数值作为总体参数值的估计值。这就是最大似然法的原理。数值的估计值。这就是最大似然法的原理。最大似然估计法最大似然估计法定义定义 若对任意给定的样本值若对任意给定的样本值,21nxxx存在存在),(21nxxx 使使),(max)( LL 则称则称),(21nxxx 为为 最大似然估计

11、值最大似然估计值，称相应的统计量称相应的统计量),(21nxxx 为为 最大似然估计最大似然估计量量, 它们统称为它们统称为 的最大似然估计的最大似然估计(MLE).最大似然估计法最大似然估计法似然函数似然函数)( L的值的大小意味着该样本值出现的可的值的大小意味着该样本值出现的可能性的大小，能性的大小，在已得到样本值在已得到样本值nxxx,21的情况下的情况下,计计, 这种求点估计的方法称为这种求点估计的方法称为最大似然估计法最大似然估计法.则应选择使则应选择使)( L达到最大值的那个达到最大值的那个 值作为值作为 的估的估注注：最大似然估计法首先由德国数学家高斯于最大似然估计法首先由德国数

12、学家高斯于1821年提出，年提出，英国统计学家费歇于英国统计学家费歇于1922年重新发现并作年重新发现并作了进一步的研究了进一步的研究.似然函数的概念似然函数的概念离散型总体离散型总体的情形：的情形：设总体设总体X的概率分布为的概率分布为),( xpxXP 其中其中 为未知参数为未知参数.如果如果nXXX,21是取自总体是取自总体X的样本的样本 ,值为值为,21nxxx则样本的联合分布律则样本的联合分布律 niinnxpxXxXP111),(, 对确定的样本观察值对确定的样本观察值,21nxxx它是未知参数它是未知参数样本的观样本的观察察 的函数，的函数，记为记为 niinxpxxxLL121

13、),(),()( 并称为并称为似然函数似然函数.似然函数的概念似然函数的概念连续型总体连续型总体的情形：的情形： 设总体设总体X的概率密度为的概率密度为),( xf其中其中 为未知参数，为未知参数， 此时定义此时定义似然函数似然函数 niinxfxxxLL121).,(),()( 求未知参数求未知参数 的最大似然估计问题，的最大似然估计问题， 归结为求似然归结为求似然函数函数)( L的最大值点的问题的最大值点的问题. 当似然函数关于未知当似然函数关于未知参数可微时，参数可微时， 可利用微分学中求最大值的方法求之可利用微分学中求最大值的方法求之. 其其主要步骤主要步骤：（1）（2）求出驻点；求出

14、驻点；);,()(21 nxxxLL 写出似然函数写出似然函数0)( ddL或或, 0)(ln dLd令令注注： 因函数因函数Lln是是L的单调增加函数，的单调增加函数，且函数且函数)(ln L与函数与函数)( L有相同的极值点，有相同的极值点，故常转化为求函数故常转化为求函数)(ln L的最大值点较方便的最大值点较方便.(3)在最大值点的表达式中在最大值点的表达式中,用样本值代入即得参数的最大估计值用样本值代入即得参数的最大估计值. 注注： 当似然函数关于未知参数不可微时，当似然函数关于未知参数不可微时，只能只能按最大似然估计法的基本思想求出最大值点按最大似然估计法的基本思想求出最大值点.

15、上述方法易推广至多个未知参数的情形上述方法易推广至多个未知参数的情形.判断并求出最大值点判断并求出最大值点,例例个样本个样本, , 试求参数试求参数p的最大似然估计的最大似然估计. .解解 设设nxxx,21是是nXXX,21的一个样本值的一个样本值, ,X的分布律为的分布律为,)1(1 xxppxXP 故似然函数为故似然函数为1111( )()(),nniiiinxnxiiL pp xpp 设设), 1(pbXnXXX,21是取自总体是取自总体X的一的一, 1 , 0 x令令, 0)1()(ln11 pxnpxpLdpdniinii111ln ( )lnln()nniiiiL pxpnxp例

16、例个样本个样本, , 试求参数试求参数p的最大似然估计的最大似然估计. .解解设设), 1(pbXnXXX,21是取自总体是取自总体X的一的一令令, 0)1()(ln11 pxnpxpLdpdniinii.11xxnpnii 从而从而p的最大似然估计量的最大似然估计量.11XXnpnii 注注: : 这一估计量与矩估计量是相同的这一估计量与矩估计量是相同的.解得解得p的最大似然估计值的最大似然估计值例例设总体设总体X服从指数分布服从指数分布, , 其概率密度函数其概率密度函数 ,0, 00,),(xxexfx 其中其中, 0 是未知参数是未知参数. .nxxx,21是来自总体是来自总体X的样本

17、观察值的样本观察值, , 求参数求参数 的最大似然估计值的最大似然估计值. .解解 似然函数似然函数显然显然);,(21 nxxxL的最大值点一定是的最大值点一定是 niixnnexxxL1);,(211 其它其它, 00,);,(121ixnnxexxxLnii 的最大值点的最大值点, , 对其取对数对其取对数 niinxnxxxL1211ln);,(ln 由由 niinxndxxxLd12110);,(ln .11xxnnii 可得参数可得参数 的最大似然估计值的最大似然估计值例例 设设 是一随机变量，是一随机变量， 是它的一个样本。是它的一个样本。 X 的分布密度如下，求参数的分布密度如

18、下，求参数 的最大似然估计。的最大似然估计。X12,.nx xx1,01, 0;0,xxp x 其它其它解：似然函数（当解：似然函数（当 时）：时）：01ix 11nniiLx 1lnln1lnniiLnx由似然方程：由似然方程： 1lnln0niidLnxd1lnniinx 参数参数 的最大似然估计为的最大似然估计为1lnniinx 关于有关于有k个未知参数的最大似然估计个未知参数的最大似然估计一般地，一般地，如果总体如果总体X的分布中含有的分布中含有k个未知参数个未知参数值，值，则似然函数则似然函数),;,(2121knxxxL 为为k ,21的的k元函数，元函数， 由方程组由方程组),

19、2 , 1( , 0),;,(ln2121kixxxLikn nkxxx,2121 为来自总体为来自总体X的的解得解得),;,(ln2121knxxxL 的最大值点的最大值点,21k 它们分别是参数它们分别是参数k ,21的最大似然估计值的最大似然估计值.样本观察样本观察例例设设nxxx,21是正态总体是正态总体),(2 N的样本观的样本观察值察值, , 其中其中2, 是未知参数是未知参数, ,似然估计值似然估计值. .解解 记似然函数记似然函数),(),;,(2221 LxxxLn 则则 nixieL12)(22221),( 22221122/() ()exp()nnniix 试求试求 和和

20、2 的最大的最大222211222ln ( ,)lnln()niinLnx 例例设设nxxx,21是正态总体是正态总体),(2 N的样本观的样本观察值察值, , 其中其中2, 是未知参数是未知参数, ,似然估计值似然估计值. .解解试求试求 和和2 的最大的最大 nixnnL121222)(21ln22ln),(ln 02)(21ln21242 nxLnii niixL12, 0)(1ln 由此可得参数由此可得参数 和和2 的最大似然估计值为的最大似然估计值为 niixxn1,1 niixxn122)(1 例例设设nxxx,21是正态总体是正态总体),(2 N的样本观的样本观察值察值, , 其中其中2, 是未知参数是未知参数, ,似然估计值似然估计值. .解解试求试求 和和2 的最大的最大由此可得参数由此可得参数 和和2 的最大似然估计值为的最大似然估计值为 niixxn1,1 niixxn122)(1 最大似然估计量为最大似然估计量为,11XXnnii 与例与例3中的矩估计量相同中的矩估计量相同. niiXXn122)(1 例例6 设总体设总体X服从服从, 0 上的均匀分布上的均匀分布, ,1XnX,为为X的样本的样本, ,