概率论课件：第7章 参数估计

1、第第7章章 参数估计参数估计l 参数的点估计参数的点估计l 估计量优劣性的评价估计量优劣性的评价l 参数的区间估计参数的区间估计 在实际问题中，对于一个总体往往是仅知其分布的类型，而其中所含的一个或几个参数的值却是未知的，因此只有在确定这些参数后，才能通过其分布来计算概率，如何确定这些参数的数值呢？这就是统计推断中的“参数估计”问题。 本章只研究总体分布是连续型或离散型两种情形。为简便起见，我们引入一个对这两种情形通用的概念：概率函数概率函数。我们称随机变量X的概率函数为f(x)是指： 在连续型情形，在连续型情形，f(x)是是X的密度函数。的密度函数。 在离散型情形，在离散型情形，f(x)是是

2、X=x的的概率。概率。定义定义 构造一个统计量 作定值的估计称为参数的点估计。对参数7.1 点估计点估计1212(,)(,)nnXXXx xx点估计量点估计点估计值 矩估计的想法来源于大数定理。如果总体X存在k阶矩，对任意 有011lim0nkKiniPXEXn这说明，当样本容量较大时，样本k阶矩与总体k阶矩差别很小。12,kkmEXgmk,2,1（1）列出估计式。）列出估计式。步骤为步骤为:12.,XmFm设总体X的前 阶矩2,1, 2 ,mkkEXEXEXkm（2）求解关于估计量的方程组。）求解关于估计量的方程组。mkMMMmkk,2,1,2111nkkiikkMXkn用样本的 阶原点矩代

3、替总体的 阶原点矩，得 的矩估计为：（3）求出矩估计。）求出矩估计。即解方程 得组解解12X, VarEX设，按照上述矩估计例例1XEXVar X求总体 的期望和方差的矩估计11222221EXEXVar XEX212211解上述方程组得：（1）列出估计式。）列出估计式。（2）求解关于估计量的方程组。）求解关于估计量的方程组。1212MM用样本矩、分别代替总体的矩 、，得11MX的矩估计为：和21222221121211niiniinMMXXnXXnS（3）求出矩估计。）求出矩估计。注意：只要总体的期望和方差存在，此结果对任何注意：只要总体的期望和方差存在，此结果对任何总体均适用。总体均适用。

4、 2VarnXSEXX即解解例例2,XU a b ，总体求a，b的矩估计。 2,-2123,3.3,3.nnXU a bb aabEXVar XaEXVar XbEXVar XaXSbXS，例例3,0.2xXfxex 总体 的分布密度为求 的矩估计。解解222202210,22.212xxxMniiXxedxXxedxx edxnXXE =E=E011.211xxMniiXxedxxedxXXnE=E还可由 最大似然估计法是求估计的另一种方法。它最早由 高斯（C.F.Gauss）提出，后来被费歇（R.A.Fisher）完善。极大似然估计这一名称也是费歇给的。这是一个目前仍得到广泛应用的方法。它

5、是建立在最大似然原理基础上的一个统计方法。最大似然原理：最大似然原理：定义定义12,nxxxX是取自总体 的一个样本观察值，,Xfx总体 的概率函数为为未知参数 。的为取到极大值。则称即使似然函数L被取到的概率最大，时，如nxxx,21最大似然估计 就是最可能产生观察值注意：注意：的值。的参数，nxxx21最大似然估计。最大似然估计。.,121nxxxL、求似然函数具体步骤：具体步骤： 12,1, 2 ,iinP Xxp xinxxx其分布律为未知对给定的样本观察值令niinxpxxxL121,1)总体为离散型分布。总体为离散型分布。未知。，密度函数为,xf观察值被取到的概率。样本称为似然函数

6、，反映了，函数nxxxL,21niinxfxxxL121,，2)总体为连续型分布。总体为连续型分布。，令对给定的样本观察值nxxx,210LdLd若似然函数 是 的可微函数，则最大值点 必然满足方程。的最大值点，、求,221nxxxL似然方程L解出 ，经过检验即得 的最大值点 。就是 的最大似然估计。比前式要方便得多。求解似然方程数的单调函数，所以由对是为乘积形式，因为0lnlndLdxxLmnmxxxLLm,212121其似然函数为，个未知参数一般地，设总体含有其最大值点由对数似然方程组12,m为未知参数的最大似然估计。就分别，其惟一解解得。在通常的情况下m,210ln0ln1mLL例例41

7、 ,10pP XpP X其中。01XX离散型随机变量服从分布，从 中抽得容1212,nnnXXXxxx量为 的样本的一组观察值0 ,1;1, 2 ,ixinp，求参数 的最大似然估计，111111,0,1,11nniiiiiixxnxxnxxiiXP XxppxpL xppppp的分布律为的似然函数为解解 01ln1lnln,ln1pynpydpLdpynpypxLxyinii由对数似然方程，得：令niixxnnyp11解得p因为这是惟一的解，所以 的最大似然估计值为xpL从而得p的最大似然估计量为：LpX1P(1)1,2,kXkppk设例例512L,nx xxXp，是 的一组样本观测值 求

8、。)(1ln(lnln11,1111nxppnLpppppxLniininxnxiniii似然函数为解解11ln0111niiniixndLndppppxxnp因为这是惟一的解，所以 的最大似然估计值为xpL1 P0,1,2,!keXkkk设例例60其中是一未知参数，求 的最大似然估计。12,nx xxX设，是 的一组样本观测值。111111,!lnlnln(!)ninixxxninnnniiiiL xeeexxxxLnxx 似然函数为解解122ln10ln0niixLdLnxdxLX 且X设总体 服从正态分布，其密度函数为例例722212221,xexf21212记，求未知参数 ， 的最大似

9、然估计。niiixnnnixnneexxxL12122122122212122121221,似然函数为解解niixnnL1212221ln22ln2ln上式两边取对数得1112212122211221212ln10ln102211,niiniiniiniiLxLnxxxnxxn 对数似然方程组为由此求得惟一解这就是的最大似然估计值。xLniiLxxn1221即相应的最大似然估计量为：LX2211nLiiXXn。求的一组样本观测值是，L21,X, 0nxxxUX例例8 iiiiiiinnxxxxLnddLLmaxLmaxmax01L1取最大值。时，当单调减似然函数为解解另外，由于222MEXEX

10、X从而得 的矩法估计量为 12L,X,nXExpx xx，是 的一组样本观测值 求。例例9 1110lnln0niixniniiniixXLeLnxdLnxd当时， 的似然函数为解解1L11niiniinxnXX 总体是连续型随机变量且分布密度对称时，总体中位数就是均值。此时可用样本中位数估计总体均值，用样本极差估计总体标准差。XnEXXVar XR点估计的方法：点估计的方法：一、矩估计法（也称数字特征法）一、矩估计法（也称数字特征法） 直观意义比较明显，但要求总体k阶矩存在。二、极大似然估计法。二、极大似然估计法。 具有一些理论上的优点，但要求似然函数可微。三、顺序统计量法三、顺序统计量法

11、使用起来方便，无需多大计算，但准确度不高。 121212X,lim,XnnnnFT XXXgE TgT XXXgE TgT XXXg 设总体统计量为的估计量。如果则称为的。 无偏估计量渐进无如果则称为的偏估计量。定义定义7.2.17.2 估计量优劣性的评价估计量优劣性的评价12,nT XXX估计量具有无偏性的意义是：12,nTXXX虽然取值由于随机性而偏离 ()gg的真值，但取其平均数 数学期望却等于的真值，即没有系统偏差。例例1 0,2,.MLnXUXX设总体试问这两个估计量是否为无偏估计量？解解222MMEE X是 的无偏估计量。 11000( )0110( )011nX nnLnXxxF

12、 xxxxxnfxotherxnEE Xnxdxn 总体 的分布函数是得L不是 的无偏估计量，只是 的渐进无偏估计量。1=11,LLLnnnnEEnn令,E是 的无偏估计。下面计算它们的方差。122222Var=Var 24VarVarVar412.3MnXXXXnnnn 2222212220222221VarVar1111112(2)nnnnnXnnE XE Xnnxnx ndxnnnnnnnnn n 1,VarVarMn 只要就有 212Var()n与方差记为存在， ， ， ，是 的样本，例例2)(记为学期望的分布是任意的，其数设总体E？的估计是否具有无偏性22nS问用样本均值 与样本二阶

13、中心矩分别作为 与 22*221nnEnE SnE S由前知解解*2222*222*2.nnnnnSSSnSS这说明 是 的无偏估计是的无偏估计。但不是的无偏估计。因此，一般用作为的估计，但在 很大时，与相差不大，这时二者就不加以区别了。例例3 212211,1,1nniiiniiiEVarCCCn设总体 有是 的样本，求证：其中为 的无偏估计。证明证明的无偏估计。是即得21112niiiniiniiiCECCEE 由于方差是度量随机变量落在它的均值E的邻域内的集中或分散程度的。所以一个好的估计量，不仅应该是待估参数的无偏估计，而且应该有尽可能小的方差。 112212,nnTXXXTXXXg设

14、与都是定义定义12( )TgT但 在附近取值的密集程度较高，也就是说121( )TTTg较有效的意义是： 虽然还不是的真值，估计的精确度高。 12 VarVarTT的无偏估计，如112212,nnTXXXTXXX则称较有效。 0121200X,( )( ), VarVar,( )XnnFTXXXggT XXXTTTg 设总体如为的无偏估计量，且对的任意无偏估计量都一致最小方差无偏有则称为的估计量。定义定义7.2.2证明证明 有效。较即故而21122211222122121211221DnnCCDCDCDCCDCDDnDDniiniiniiniiniiiniiiniii例例4有效。较证明niii

15、C1211120023,( 2)( 2)!( 2 )!XnnnnnnE T XXXEenene ee例例5 1123120,=2nXnXXXXT XXXe 设总体Pois,参数 为其样本，则是的无偏估计量。解解我们不仅希望一个估计是无偏的，且具有较小的方差，有时还希望当子样容量无限增大时，即观察次数无限增多时，估计能在某种意义下越来越接近被估计的参数的真实值，这就是所谓一致性的要求。定义定义7.2.312X,( )0XnFT XXXg 设总体。并设为的估计量，如对 有 lim()1nP Tg lim()0nP Tg注意：注意：12,( )nT XXXg称是的一致估计量或相合估计量。lim( )

16、0,nP Tg 2与方差的数学期望设总体DE的一致估计量。是、样本均值) 1的样本。是都存在，n,21*223)nS、样本修正方差是的一致估计量。下面证明：阶原点矩是总体的阶原点矩、样本的kMkk)2的一致估计量。kE独立同分布n证明证明（1）0)(limPn即由辛钦大数定理，有0)(limEPn（2）0lim111221211kknkkkkknikikknikiknikikEMPnDDMEMMPnDDnDMEEnEMnM由契比雪夫不等式，有*222*224*2*24*2*222*2*2(1)(1)(1)2(1)212()1lim()0nnnnnnnnnnSnnSDnDSnDSP SESnP

17、SES由契比雪夫不等式，有即（3）*22*22*22(1)1lim()0nnnnnSEnESP S故定义定义7.3 参数的区间估计参数的区间估计121TT或置信概率 为的置信区间， 与分别称为112212X,01XnnFgTXXXTXXX 设总体为 的函数。如有统计量和使得对给定的有12,( )TTg则随机区间称为参数的置信度置信下限与置信上限。12( )1P TgT 注意：注意： 在重复取样下，将得到许多不同的区间T1,T2 ，根据贝努里大数定理，这些区间中大约有100(1)%的区间包含未知参数。随机区间T1,T2 包含g()的概率为1。12( )1P TgT 表示 但对于一次抽样所得到的一

18、个区间，决不能说“不等式 成立的概率为1 ”。因为这时T1、T2是两个确定的数，从而只有两种可能，要么这个区间包含g()，要么这个区间不包含g()。12( )TgT2121122,0,1/1011/1/XNnXUNnXPnXPnuuu 由定理则对于给定的置信概率，有即1、已知，求已知，求的置信区间的置信区间112211221,1aP XXnnXXnnuuuu 即故区间是 的置信概率为的置信区间。12u12u例例10.975120.07512114.615.1 14.914.815.215.114.95610.95,0.051.96.0.06 ,6,1.9614.754 , 15.146 .Xu

19、unuu已知，查正态分布表得将代入公式，求得 的置信区间为解解, 0.06 ,614.6,15.1,14.9 ,14.8,15.2 ,15.10.95XNmm已知某厂生产的滚珠直径从某天生产的滚球中随机抽取 个，测得直径为 单位：求 的置信概率为的置信区间。2、2未知，求未知，求的置信区间的置信区间2212112211/110111/11,1111nnnnnnSXnXtt nSSnXPtnSnSSXtnXtnnn 若用代替， 有对于给定的置信概率，有（）可求得：（）（）是 的置信概率为的置信区间。在例1中若滚珠直径的方差2未知，用同样的数据求的置信概率为0.95的置信区间。 22220.975

20、1220.97514.95114.614.9515.1 14.9515.1 14.9560.2550.0510.206510.95,0.05152.5706.0.206,6,52.570614.713,15.187 .nnxSttntSnt已知，查 分布表得将代入公式，求得 的置信区间为解解例例2 分析例1和例2的结果会发现，由同一组样本观察值，按同样的置信概率，对对计算出的计算出的置信区间因为置信区间因为2 2的是否已知会不一样。的是否已知会不一样。这因为：当当2 2为已知时，为已知时，我们掌握的信息多一些，在其他条件相同的情况下，对的估计精度要高一些，即表现为的置信区间长度要小些。反之，当

21、反之，当2 2为未知时，为未知时，对的估计精度要低一些，即表现为的置信区间长度在大一些。3 3、已知，求已知，求2 2的置信区间的置信区间 22221122222112212210111niinniiiiXPnnXXPnn 对于给定的置信概率，有即 22221niiXn构造变量 22211221221nniiiiXXnn的置信概率为的置信区间为：，例例3的置信区间。的置信概率为求个，得样本观察值零件中随机取从某天生产的已知某厂生产的零件95. 02 .13,8 .12,4 .13,6 .124,5 .1222N解解422212212.612.513.412.512.812.513.212.51

22、.4iix21222112niinniiiixxxn xn注：亦可根据下面的等式去计算： 222220.9750.025122210.95 ,0.05411.143,40.484.0.13, 2.89 .nn已知，查分布得将有关数据代入公式，求得的置信区间为4、未知，求未知，求2的置信区间的置信区间2222221222211221101111nininiixxnSnxxPnn 构造变量对于给定的置信概率，有22221222,111nnnSnSnn可求得区间是的置信概率为的置信区间。22112212121122122112,=,=,nnnnjijinnjijimnXNYNXYXXXY YYYXX

23、YmnYYXXSSmn 且 与 相互独立，样本分别为和122212122212120,11011XYuNmnXYPumn 选取随机变量对于给定的置信概率， 使的置信区间已知，求、212221,122221212112212,1XYuXYumnmn可求得区间是 的置信概率为的置信区间。122212211=2mnXYtt mnSmnmSnSSmn选用随机变量其中的置信区间，求已知未知，、方差2122212221)(2112211112,2XYtmnSXYtmnSmnmn121是的置信概率为的置信区间。可求得区间两台机床生产同一个型号的滚珠，从甲机床、乙机床生产的滚珠中分别抽取8个、9个，测得这些滚

24、珠的直径（单位:mm）如下:甲机床 15.0，14.8，15.2，15.4，14.9，15.1，15.2，14.8乙机床 15.2，15.0，14.8，15.1，15.0，14.6，14.8，15.1，14.5 两台机床生产的滚珠直径服从正态分布，求这两台机床生产的滚珠直径均值差12 的置信区间，置信概率为0.90，设（1）已知甲、乙机床生产的滚珠直径的标准差分别为1=0.18mm及2=0.24mm;（2）未知1，2，已知1=2 。 例例4解解22120.951222221228915.0514.90.04570.0575110.90.11.6450.180.241.6450.168890.0

25、18,0.318mnxySSuuumn）给定置信概率，则，查正态分布表得故所求置信区间为0.9512221212210.90.1(2)(15)1.753(1)(1)270.045780.05750.22889211111.753 0.2280.194890.044,0.344ttmntmSnSSmntSmn ）给定置信概率，则，查 分布表得故所求置信区间为21211222121221,1101,1miinjjXmFF m nYnP Fm nFFm na 选用随机变量对给定置信概率为，使的置信区间已知，求，、222121322111222122121122211,11,miinjjmiinjjnXPFm nmYnXFm nmY 即221111221222211212211,1mmiiiinnjjjjnXnXFm nFm nmYmY可求得区间是的置信概率为的置信区间。*22122111*22222122111,111mmiinniiSXXmFF mnSYYn选用随机变量的置信区间未知，求，、222121412122121212122111,1,11111,11niiniiniiniinxxFmnmyynxxFmnmyy可求得区间的置信区间。的置信概率为是12221*2*211*2*2122122122*2211*222211,1,11