概率论第7章参数估计第一次

1、 数理统计问题：如何数理统计问题：如何选取样本选取样本来来对总体对总体的种种统计的种种统计特征作出判断。特征作出判断。 参数估计问题：参数估计问题：知道知道随机变量（总体）的随机变量（总体）的分布类型分布类型，但但确切的形式不知道确切的形式不知道，根据，根据样本样本来估计来估计总体的参数总体的参数，这，这类问题称为类问题称为参数估计参数估计。参数估计的类型参数估计的类型点估计、区间估计点估计、区间估计 内容提要内容提要u概述概述u参数的点估计参数的点估计l矩法估计矩法估计l极大似然估计极大似然估计u估计量优劣性的评价估计量优劣性的评价u参数的区间估计参数的区间估计参数参数 的估计量和估计值的估

2、计量和估计值 设总体的分布函数为设总体的分布函数为F(x, )（ 未知），未知），X1，X2，Xn为样本，为样本，构造一个统计量构造一个统计量 来来估计估计参数参数 ，则称，则称 为为参数参数 的的估计量估计量。12(,)nXXX12(,)nXXX将样本观测值将样本观测值 代入代入 ，得到的值得到的值 称为称为参数参数 的的估计值估计值。 12,nx xx12( ,)nx xx12(,)nXXX1. 估计量估计量是某些特殊的是某些特殊的统计量统计量，两者的含义不完，两者的含义不完全相同。全相同。2. 每次取样不同，观测值也不同，统计量的统计每次取样不同，观测值也不同，统计量的统计值也不同，所以

3、值也不同，所以估计量估计量也是随机变量，我们用也是随机变量，我们用大写字母表示。而固定某次观测的大写字母表示。而固定某次观测的估计值估计值才是才是一个固定的数字。一个固定的数字。注意注意点估计点估计：如果：如果构造一个统计量构造一个统计量12(,)nXXX来作为参数来作为参数 的估计量，则称为的估计量，则称为参数参数 的点估计的点估计。 区间估计区间估计：如果：如果构造两个统计量构造两个统计量211212(,),(,),nnXXXXXX而用而用 来作为参数来作为参数 可能取值范围的估计，称为可能取值范围的估计，称为参数参数 的区间估计的区间估计。12( ,) 参数的点估计参数的点估计 矩法，极

4、大似然法矩法，极大似然法定义定义 设设 为随机变量，若为随机变量，若 存在，则称存在，则称 为为 的的 阶阶原点矩原点矩，记作，记作 ；若；若 存在，则称存在，则称 为为 的的 阶阶中心矩中心矩，记作，记作 X()kE XEX()kE XXk()kE XkkVE XXk()kE XEX()kkUE XE X样本的样本的 阶原点矩，记作阶原点矩，记作 k11()nkkiiBXXn样本的样本的 阶中心矩，记作阶中心矩，记作 k11nkkiiAXn阶矩的概念阶矩的概念 k矩法估计：矩法估计：用样本的矩作为总体矩的估计量用样本的矩作为总体矩的估计量 矩估计的想法来源于大数定理。如果总体矩估计的想法来源

5、于大数定理。如果总体X存存在在k阶矩，对任意阶矩，对任意 有有011lim0nkKiniPXE Xn这说明，当样本容量较大时，样本这说明，当样本容量较大时，样本k阶矩与总体阶矩与总体k阶阶矩差别很小。矩差别很小。不仅仅是矩法估计，所有统计方法的中心思想都一不仅仅是矩法估计，所有统计方法的中心思想都一致：用部分推断整体，但是当部分足够大时，根据致：用部分推断整体，但是当部分足够大时，根据大数定理，所做的推断越来越接近真实值。大数定理，所做的推断越来越接近真实值。例：例：长期的生产经验告诉我们，水泥厂成品打包机长期的生产经验告诉我们，水泥厂成品打包机装袋的重量装袋的重量X服从正态分布，试用矩法估计

6、来估计服从正态分布，试用矩法估计来估计一台打包机装袋重量的均值和方差。一台打包机装袋重量的均值和方差。解：解：设装袋的重量为随机变量设装袋的重量为随机变量X，即总体为，即总体为XN(, 2)。观测观测50次，即取次，即取X1，X2，X50个样本，样本容量个样本，样本容量50222)(XEXEXVarXE此时，要估计参数，就转化为估计随机变量的矩此时，要估计参数，就转化为估计随机变量的矩计算样本计算样本的期望和的期望和方差方差501222502501)(501501iiiiXXSXX根据大数定理，样本的矩和总体的矩应当非常接近根据大数定理，样本的矩和总体的矩应当非常接近假若样本有观测值假若样本有

7、观测值x1，x2，x50,代入统计量中，有代入统计量中，有统计值：统计值：此时，此时，2, 为两个统计量为两个统计量),(),( 5012501xxxx用他们来估计用他们来估计和和21. 用样本的原点矩估计总体的原点矩，样本的中心用样本的原点矩估计总体的原点矩，样本的中心距估计总体的中心矩距估计总体的中心矩2. 简便起见，代入具体观测值的过程可以省略，只简便起见，代入具体观测值的过程可以省略，只要明确写出用哪些统计量来估计相应的参数即可要明确写出用哪些统计量来估计相应的参数即可 一般而言，并不是每个统计问题中的分布都如正态一般而言，并不是每个统计问题中的分布都如正态分布：很多时候参数并没有直接

8、的概率意义。所以分布：很多时候参数并没有直接的概率意义。所以想要直接构造估计量来估计参数是不现实的。想要直接构造估计量来估计参数是不现实的。,XU a b ，引例：引例：求求a，b的估计。的估计。有没有一般的办法来构造估计量？有没有一般的办法来构造估计量？曲线救国：曲线救国：不能直接构造参数的估计量，可以先不能直接构造参数的估计量，可以先估计总体的各阶矩，进而通过求解方程得到参数估计总体的各阶矩，进而通过求解方程得到参数的估计量。的估计量。矩法估计的一般矩法估计的一般步骤步骤 若总体若总体X的分布函数中的分布函数中含有含有l个个参数参数 1， 2， ， l，12.,XlFX要估计要估计l个参数

9、，我们需要个参数，我们需要l个统计量及个统计量及l个相应的方程。个相应的方程。我们以原点矩为例说明：我们以原点矩为例说明：（1）求出总体的各阶矩，作）求出总体的各阶矩，作为被统计为被统计量量12,kkklVE Xg(1,2, )kl1211( ,)nkklkiiVAXn (1,2, )kl得得l个方程构成的方程组：个方程构成的方程组：1()kklhAA（2）用样本的矩作为总体矩用样本的矩作为总体矩的统计量的统计量1()lkgA（3）求解方程组中的参数求解方程组中的参数从而从而 为为 的矩估的矩估计量计量12,l 12 ,l u第第(2)步和第步和第(3)步的次序可以对换；步的次序可以对换；u涉

10、及中心距的参数也可类似求解涉及中心距的参数也可类似求解解：解：例：例：,XU a b ，总体总体求求a，b的矩估计。的矩估计。a,b是是均匀分布的两个参数均匀分布的两个参数假设取样假设取样n次，先写出总体，样本，统计量，并按次，先写出总体，样本，统计量，并按照矩法写出估计量照矩法写出估计量总体：总体：X样本：样本：nXXX,21接下来是矩法的标准步骤：接下来是矩法的标准步骤：3,3.nnaXSbXS注意：熟练之后可以略去写出总体和样本的过程。注意：熟练之后可以略去写出总体和样本的过程。2-212b aabE XVar X，第一步：第一步：计算一阶原点矩和二阶中心矩计算一阶原点矩和二阶中心矩第二

11、步：第二步：用样本的矩作为总体矩用样本的矩作为总体矩的统计量的统计量2nE XXVar XS，即：即：22=2-12nabXb aS，第三步：第三步：求解方程组中的参数求解方程组中的参数例：例：,0.2xXf xex 总体 的密度为:求 的矩估计。0,2xE Xxedx=解：解：一一个参数，只个参数，只要一要一个矩即个矩即可。可。21XE与参数与参数无关。无关。222202.2xxE Xxedxx edx可先求解参数可先求解参数选最简单的矩：选最简单的矩：再代入样本对应的矩再代入样本对应的矩1. 并并不是标准的矩不是标准的矩法，法，而而是某种推是某种推广了的矩法估广了的矩法估计；计；2. 以后

12、遇到密度函数为偶函数的情形均可这样处理。以后遇到密度函数为偶函数的情形均可这样处理。01.2xxXxedxxedxE=212MniinX有无其他方法？有无其他方法？1XE1|MniinX注意：注意：例：例： 设设X1，X2，Xn为为总体总体XPois()的的样本，试样本，试求求参参数的数的矩法估矩法估计量。计量。解：解： 仅有一个参数仅有一个参数 ，只需要做一个矩法估计。，只需要做一个矩法估计。E X此时此时参参数数 恰为分布的期望，所以可以直接用样本均恰为分布的期望，所以可以直接用样本均值来估计值来估计 ，省去了求解方程这一步。，省去了求解方程这一步。 11niiXXn考虑一阶原点矩考虑一阶

13、原点矩 参数本身为分布的数字特征参数本身为分布的数字特征，不需求解方程，直接利，不需求解方程，直接利用样本的统计量来估计分布的数字特征，进而得到参用样本的统计量来估计分布的数字特征，进而得到参数估计的办法也叫数估计的办法也叫数字特征法数字特征法，是矩法的特例。，是矩法的特例。矩矩法估计总能用低阶矩就不用高阶矩法估计总能用低阶矩就不用高阶矩211()niiXXn可见：同一个参数的矩估计量可以不同可见：同一个参数的矩估计量可以不同。得得到矩法估计量到矩法估计量 Var X考虑泊松分布的二阶中心矩考虑泊松分布的二阶中心矩 使用哪个更好一些？使用哪个更好一些？之后会系统地介绍估计量优劣的评价，届时再展

14、之后会系统地介绍估计量优劣的评价，届时再展开讨论开讨论思考一下，是否有其他求解的办法？思考一下，是否有其他求解的办法？ 解解 由于由于 202()3aaE Xxax dxa所以由矩法估计，得所以由矩法估计，得 133niiaXXn3aX 解得解得 22(), (0)( ) 0, axxaf xa其它所以，参数所以，参数 的矩估计量为的矩估计量为 13niiaXna例例 对容量为对容量为n的样本，的样本，求下列密度函数中参数求下列密度函数中参数 的的矩估计量。矩估计量。a回忆：回忆：为了估计鱼塘中有多少条鱼为了估计鱼塘中有多少条鱼,鱼塘主先从鱼塘中鱼塘主先从鱼塘中网起网起100条鱼作上记号后，放

15、回鱼塘中条鱼作上记号后，放回鱼塘中,过了一段时间过了一段时间(使有记号的鱼和无记号的鱼混合均匀使有记号的鱼和无记号的鱼混合均匀)后，后， 从鱼塘中从鱼塘中网起一网鱼网起一网鱼,共共80条条,其中有记号的鱼有其中有记号的鱼有2条。试估计鱼条。试估计鱼塘中有多少条鱼。塘中有多少条鱼。由于数量很大，可以近似认为由于数量很大，可以近似认为是简单随机取是简单随机取样，样，故每条故每条鱼是否有鱼是否有记记号服从号服从XiB(1,100/N)估估计计N就就是估计参数是估计参数p=100/N。回忆当回忆当时的解法时的解法 求参数求参数p使得使得P(Y=2)最大最大这样的思想实际上有很广的应用范围，我们以连续型

16、这样的思想实际上有很广的应用范围，我们以连续型随机变量为例来说明。随机变量为例来说明。可以用矩法来估计。可以用矩法来估计。参数的极大似然估计法参数的极大似然估计法 思想：思想：设总体设总体X的密度函数为的密度函数为f(x, )， 为未知参数，则为未知参数，则样本（样本（X1,X2,Xn）的联合密度函数为）的联合密度函数为121( , )( , )nniif x xxf x121( )( , )( , )nniiLf x xxf x令令 参数参数 的估计量的估计量 ，使得样本（，使得样本（X1,X2,Xn）落在观测）落在观测值值 上的概率上的概率L( )达到最大，即达到最大，即12( ,)nx

17、xx1212( , )max ( , )nnL x xxL x xx则称则称 为参数为参数 的的极大似然估计值极大似然估计值。 1. 所谓似然函数所谓似然函数，就是，就是带参数的联合密度函数带参数的联合密度函数2. 似然函数的选取是唯一的，这一点和矩法估似然函数的选取是唯一的，这一点和矩法估计不同计不同注意注意求解步骤求解步骤121ln ( , )ln( , )nniiL x xxf x121( )( , )( , )nniiLf x xxf x（2）取自然对数）取自然对数 其解其解 即为参数即为参数 的极大似然估计值。的极大似然估计值。 （3）令）令 ln0dLd（1）构造似然函数）构造似然

18、函数 若总体的密度函数中有多个参数若总体的密度函数中有多个参数 1， 2， n，则将，则将第（第（3）步改为）步改为ln0,(1,2, )iLin解方程组即可。解方程组即可。 1. 对于离散型总体的分布，只要参数为连续变化，对于离散型总体的分布，只要参数为连续变化，仍然可以求导，上述方法同样适用。仍然可以求导，上述方法同样适用。2. 有些情况下参数是离散的，比如二项分布有些情况下参数是离散的，比如二项分布B(n,p)中的中的n。此时不能求导，只能按定义找极大值，。此时不能求导，只能按定义找极大值，运算比较复杂。运算比较复杂。3. 为了逻辑上更为严密，极大似然估计一般先用为了逻辑上更为严密，极大

19、似然估计一般先用样本值代入求解估计值，再用样本替换样本值样本值代入求解估计值，再用样本替换样本值得到参数的估计量。得到参数的估计量。极大似然估计的一些注意事项极大似然估计的一些注意事项 11lnln0niiniiLnxdLnxd解：解：EX=,例例: 据经验，进入稳定期的生产线生产出的据经验，进入稳定期的生产线生产出的LED电视的电视的使用寿命使用寿命 12,XnXExpx xx，是 的一组样本观测值。试用极大似然法估计电视机的平均寿命。试用极大似然法估计电视机的平均寿命。L即求参数的极大似然估计即求参数的极大似然估计0ixX当时， 的似然函数为 1niixnLe取对数后求导找出极大值点取对数

20、后求导找出极大值点1niinxL11niinXX得到参数的估计值：得到参数的估计值：将具体的样本值替换为样本对应的随机变量，得到将具体的样本值替换为样本对应的随机变量，得到参数的估计量：参数的估计量：P0,1,2,!keXkkk设例例:的极大似然估计。是一未知参数，求其中012,nx xxX设，是 的一组样本观测值，11lnlnln(!)nniiiiLnxx 解解先求似然函数先求似然函数1111,!ninixxxninnL xeeexxxx接着求对数接着求对数为非负整数为非负整数1ln10niiLnxx 参数连续变化，求导有参数连续变化，求导有LX22ln0 xL且例例: 假设（假设（X1，X

21、2，Xn）是取自正态总体）是取自正态总体N( , 2)的样本，求的样本，求 和和 2的极大似然估计量。的极大似然估计量。解解 构造似然函数构造似然函数 22()211( )2ixniLe取对数取对数 22()211ln ( )ln2ixniLe221()ln2ln2niix续解续解 求偏导数，并令其为求偏导数，并令其为0 1221()2()( 1)ln02niniiixxL222221()ln11022niixL解得解得 11niixxn2211()niixxn所以所以， 2的极大似然估计量为的极大似然估计量为 11niiXXn2211()niiXXn之前的三个例子极大似然估计与之前的三个例子

22、极大似然估计与矩估计矩估计量相量相同同如果矩估计量和极大似然估计量相同的话往往说明这如果矩估计量和极大似然估计量相同的话往往说明这样的估计是好的样的估计是好的然而不是对每一个分布的参数估计两种估计量都一致然而不是对每一个分布的参数估计两种估计量都一致。求的一组样本观测值是，L21,X, 0nxxxUX例例解：解：1110,0nnnxxL xx，其他1,0( , )0,iXixfx其他故似然函数为：故似然函数为：由于似然函数中并不显式包含由于似然函数中并不显式包含x1xn ，我们直接来找，我们直接来找似然函数的最大值似然函数的最大值max Liix时， 取最大值。越小越好，不过一旦越小越好，不过一旦xi, 则则L()=0故故要在要在 xi即即 maxxi的限制条件下取最小的限制条件下取最小思考题：思考题：12L(0, ),X,nXUx xx，是 的一组样本观测值 求。max iix估计值为估计值为L()max X =Xini估计量为估计量为另外另外，可以考虑矩法估计，可以考虑矩法估计1. 矩法估计中，选取不同的矩，得到的估计量不同