北语13秋概率论与数理统计导学资料三(第五章到第六章)

北语13秋《概率论与数理统计》第三阶段导学一、本阶段学习内容概述本阶段学习内容包括了教材的第五章和第六章。第三阶段导学主要有三个部分内容：大数定律和中心极限定理，数理统计的基本概念，参数估计。本阶段的具体内容包括大数定律、中心极限定理、总体和样本、总体的分布函数、样本的数字特征、常用统计量的分布、点估计及估计量的求法、估计量的优劣、参数的区间估计。二、重难点讲解(一)大数定律大数定律研究对象：研究大量随机变量的平均结果在什么条件下具有稳定性的问题。1、切贝雪夫大数定理设是一列两两相互独立的随机变量，服从同一分布，且存在有限的数学期望 a和方差bZ则对任意小的正数s,有：liii)P(产的-u<£|)—1该定律的含义是：当n很大，服从同一分布的随机变量T1乃2£北的算术平均数将依概率接近于这些随机变量的数学期望。将该定律应用于抽样调查，就会有如下结论：随着样本容量 n的增加，样本平均数将接近于总体平均数。从而为统计推断中依据样本平均数估计总体平均数提供了理论依据。2、贝努里大数定律设是n次独立试验中事件A发生的次数，且事件A在每次试验中发生的概率为 巳则对任意正数目有:limP(\--p<£\]=Inrocn该定律是切贝雪夫大数定律白特例，其含义是，当 n足够大时，事件A出现的频率将几乎接近于其发生的概率,即频率的稳定性。在抽样调查中，用样本成数去估计总体成数，其理论依据即在于此。3、辛钦大数定律设八垦产,房是一列独立同分布的随机变量，且数学期望存在因浮=12…1"lim—£点-臼<5)=1则对立>0,有…孔」 成立。4、重要例题1 /a、产产…F... 亶7回£短=Q(1)设"公务》'为一列随机变量，如果i讨, (*)则服从大数定律。

lun-y证明：j’…N备表明对充分大的n,i-1的方差存在对卡烹〉口，由契贝晓夫不等式1" 1" 1" ］R0lun-y证明：j’…N备表明对充分大的n,i-1的方差存在对卡烹〉口，由契贝晓夫不等式1" 1" 1" ］R0工利一二点--二世"）=网-Z点-以一苫劲归月川uir*、DX或\i-LJ两边取极限得1"131limFO-X&--Z^^=0…n口.1*1,

lim闿一工*一汇酩卜；£）=1…落1」加，」服从大数定律此称为马尔可夫大数定律（*）式称为马尔可夫条件。、八刍的八"矶为 "&=屈）=7愈=-屈）=设7的分布列为： 上,证:且为县产,广小,，相互独立，试证明Cj服从大数定律。左&=ViniX--JiniX—=02 2白点三月4「一（富g）口=lni"rMX==_r2Llnr,;史*->0,(?;T00)故服从大数定律（马尔可夫大数定律）p(x)=设［短）独立同分布，且共同密度函数为1+5i产j，。』】）0问1)2)&〕是否服从大数定律？［卜卜"物=Q+s）卜之源=0+后TOC\o"1-5"\h\z解：1）因为一 1工故乱的数学期望存在。■Ho 1J=[1+3)j汽〜-577dx=[1+/)j-ydx=+co又因为•- ： ，L故量的方差不存在。2）由（1）知“或存在，故满足辛钦大数定律的条件,

偌）服从辛钦大数定律。从此例可以看出，随机变量序列｛品〕不满足契贝晓夫大数定律的条件，因而服从大数定律的随机变量序列，它们的方差可以不存在。（4）若心统」，*,短为一列独立同分布的随机变量序列，且盘的密度函数为本问：1）（盘）是否满足契贝晓夫大数定律的条件?2）心」是否满足辛钦大数定律的条件？解:因盘=［孙（五）否=j封「=卜M互助=卜_0 —»9总的数学期望存在，但方差不存在解:因盘=［孙（五）否=j封「=卜M互助=卜_0 —»9总的数学期望存在，但方差不存在所以CJ不满足契贝晓夫大数定律的条件，满足辛钦大数定律的条件。辛钦大数定律为实际生活中经常采用的算术平均值法则提供了理论依据，它断言：如果诸“+盘+…+盘量是具有数学期望、相互独立、同分布的随机变量，则当n充分大时，算术平均值定以接近1的概率落在真值就的任意小的邻域内。据此，如果要测量一个物体的某指标值+…十八,可以独立重复地测量 n次，得到一组数据:五十与十…十。勺，石「「七，当n充分大时，可以确信作为厚的近似值比一次测量作为出的近似值要精确的多，因E矗二口1关于前的偏差程度是一次测量的 制。（二）中心极限定理中心极限定理研究对象：研究大量随机因素的总效应在什么条件下近似地服从正态分布的问题。1、（德莫佛一拉普拉斯）极限定理在n重贝努里试验中，事件A在每次试验中出现的概率为 （01<1），周为n次试验中A事件发生的次数,lim产2、（林德贝尔格-勒维）中心极限定理是一列独立同分布的随机变量，且 ,，工（ 'Lj/flE短-摩limPdi£费一国N金近似。当然这里要求虞，身是一列独立同分布的随机变量o3、例题例limPdi£费一国N金近似。当然这里要求虞，身是一列独立同分布的随机变量o3、例题例1、已知红黄两种番茄杂交的第二代结红果的植株与结黄果的植株的比率为3:1,现种植杂交种400株，求结黄果植株介于83到117之间的概率。解：由题意任意一株杂交种或结红果或结黄果,p只有两种可能性，且结黄果的概率J4；种植杂交种400株,相当于做了400次贝努里试验若记4a为400株杂交种结黄果的株数，则风加由于n=400较大，故由中心极限定理所求的概率为H7-400X-4H7-400X-4UoOx-x-V44)33-400x144g「黑上V44)=①11.96)-①(-L96)=2中(1.96)-1=Q975X2-1=0.95故结黄果植株介于83到117之间的概率为0.95例2、某单位内部有260架电话分机，每个分机有4%勺时间要用外线通话。 可以认为各个电话分机用不同外线是相互独立的。问：总机需备多少条外线才能以95%勺把握保证各个分机在使用外线时不必等候?p=0.04p=0.04,260解：由题意，任意一个分机或使用外线或不使用外线只有两种可能结果，且使用外线的概率个分机中同时使用外线的分机数 “〜"（260004）k-260/>095设总机确定的最少外线条数为篮,则有「也前-幻之°勺5由于由上门k-260/>095岸工1.65查正态分布表可知 ■'''1'解得 -工所以总机至少备有16条外线，才能以95%勺把握保证各个分机使用外线时不必等候。例3、重复掷一枚有偏的硬币，设在每次试验中出现正面的概率 .未知。试问要掷多少次才能使出现正面的频率1与总相差不超过的概率达95%A上？解：依题意，欲求融，使<—Ko.95/区一产<—1=2^001区］—1ACX95事［,01叵1之0.9751所以要掷硬币9604次以上就能保证出现正面的频率与概率之差不超过 10。0(三)数理统计1、总体与样本在数理统计中，我们把作为统计研究对象的随机变量称为 总体，记为，，…。对总体进行n次试验后所得到的结果，称为样本，记为(Xi,X2,,Xn),(丫1,丫2,，丫n),……，其中，试验次数 n称为样本容量。样本(Xi,X2,,Xn)中的每一个Xi都是随机变量。样本所取的一组具体的数值，称为 样本观测值，记为(Xi,X2,,Xn)。具有性质：(1)独立性，即X1,X2,,Xn相互独立。(2)同分布性，即每一个Xi都与总体 服从相同的分布。称为简单随机样本。如果总体是离散型随机变量，概率分布为 P{k}，那么样本(如果总体是离散型随机变量，概率分布为 P{k}，那么样本(X1,X2,,Xn)的联合概率分布为TOC\o"1-5"\h\z\o"CurrentDocument"n nXi}。P{Xi Xi,X2X2,,XnXn} P{Xi Xi}。i1 i1如果总体 是连续型随机变量，概率密度为 (x)，那么样本(X1,X2,,Xn)的联合概率密度为\o"CurrentDocument"n n*(Xi,X2,,Xn) Xi(Xi) (Xi)。i1 i1如果总体的分布函数为F(x),那么样本(X1,X2,,Xn)的联合分布函数为n nF*(X1,X2,,Xn) FXi(Xi) F(Xi)。i1 i12、用样本估计总体的分布数理统计的一个主要任务，就是要用样本估计总体的分布。参数估计又可以分为两种，一种是点估计，另一种是区间估计。3、矩法估计求矩法估计的步骤为:(1)计算总体分布的矩(1)计算总体分布的矩E(k) fk(1，2m),k1,2,,m,计算到m阶矩为止(m是总体分布中未知参数的个数)(2)列方程f1(?,?2,,?m) EXf2(?心，,?m)E(2)X7fm(7,2, ,?m)E(m)Xm的矩法估计。从方程中解出彳，2, ,j,它们就是未知参数 1m的矩法估计。4、极大似然估计求极大似然估计的步骤为：(1)写出似然函数L的表达式。n如果总体 是离散型随机变量，概率分布为 P{k},那么LP{ xi}；i1n如果总体 是连续型随机变量，概率密度为 (x),那么L (Xi)。i1(2)在1,2,,m的取值范围 内，求出使得似然函数L达到最大的参数估计值?」，，1,它们就是未知参数的极大似然估计。通常的做法是，先取对数 lnL(因为当lnL达到最大时，L也达到最大)。1,然后令lnL关于1,2, ,m的偏导数等于0,得到方程组由此可见，如果上面这个方程组在G, ,?m就是未知参数1,2,内有唯一解m的极大似然估计。1,,2, ,m，所以，按照极大似然估计的定义,5、衡量点估计好坏的标准值,定理设总体 的数学期望 E和方差D 都存在，(X1,X2,...,Xn)是的样本，X是样本均S2是样本方差，则有(DEXE；(2)DX2n1(DEXE；(2)DX(3)E(S)——Dn衡量点估计的好坏标准:无偏性定义6.1设？是参数的估计，如果有,则称？是的无偏估计。(2)有效性定义6.2设?G都是参数的无偏估计，如果有D(1)D(分，则称比,2有效。(3)相合性(一致性)0,都有定义6.3设？是参数的估计，n0,都有limP{n则称？是的相合估计(一致估计)可以证明，矩法估计都是相合估计。除了极个别的例外，极大似然估计也都是相合估计。6、数理统计中几个常用的分布2分布Xi2所服从的分布为自定义6.4若有XjX?,...,Xn相互独立，Xi〜N(0,1)，i1,2, ,nXi2所服从的分布为自由度是n的2分布，记为2(n)。2分布的概率密度为(x)- x22(2)2分布的图象见图定理如果有2, 、(mn).. 2.。即 分布具有可加性t分布定义若有N(0,1)2,(n),相互独立，则称所服从的分布为自由度是n的t分布，记为t(n)。t分布的概率密度为(x) —1n (一)F分布定义若有2(m),2・、 一(n),相互独立,二m则称一n所服从的分布为自由度是(m,n)分布，记为F(m,n)。F分布的概率密度为一亍一2m2n2(x)m(2)n(2)mix2

mn

/ 、2~T~(mxn)F分布概率密度的图象见图6-4。6一4定理如果F〜F(m,n),则必有-〜F(n,m)。F大抽样分布大抽样分布的严格定义见定义6.4,6.56.6,构造性定义可简示如下:2其中回代表分布F对应的随机变量.7、正态总体统计量的分布定理设(Xi,X2,,Xn)是总体N(,2)的样本，X是样本均值,则有2X-N(,——)，即有

nXX-Vn-N(0,1)。定理设（X1,X2,,Xn）是总体N(,2)的样本，X是样本均值，S2是样本方差，则有（1）X与S2相互独立；(2)里〜2(n1)。定理设（Xi,X2,,Xn）是总体N(2）的样本，X是样本均值,S*是修正样本标准差,则有X Jn〜t(n1)S*定理设（X1,X2,,Xm）是总体N(1,12)的样本，（丫1,丫2,,Yn)是总体N(2,2)的样本，两个样本相互独立,的样本均值,则有定理设(Xi,X2,的样本，其中差，则有(XY)(112 2,Xm）是总体N(12)1 2,两个样本相互独立， X,Y是(XY)(Sw.1N(0,1)。的样本，（丫1,丫2,,Yn)是总体N(2,2)的样本均值,Sx,的样本方1—2)〜t(mn2)，其中，Sw12 2mSxnSymn2总体，为正态分布，X1,…，Xm与Y,...,Yn分别为其样本时，几个重要结论及关系:8、典型例题例1设总体N(,2),是未知参数，（Xi,X2,,Xn）的样本，求的矩法估计。解先求总体分布的矩，得到E(2)D_ 2 2(E)再列方程?2 ?2E(2)X2从（1）得？X,代入（2）可得X2(X)21n2 -2Xi2 X2ni1S2开方后得？ vS2 S,由于,舍去不符合题意的负根，最后得到和 的矩法估计X X。在推导中，我们顺便也求得了S2的矩法估计 ?2S2。例2设总体服从［0,］上的均匀分布，概率密度为(x)0x其他0是未知参数，（X1，X2,,Xn）是 的样本，求 的矩法估计。解先求总体分布的矩 Ex（x）dx°x/dx/2c再列方程 ？，2EX。解此方程，得到 的矩法估计 ？2X例3设总体服从0-1分布，概率分布为P{k}pk（1 p）1k,k0,1,0p1是未知参数,(Xi,X2,,Xn)是的样本，求P的极大似然估计。解先求似然函数再取对数ln求导，列方程计。nP{i1nXiln1Xi}(nnPXi(1P)1Xii1nXi)ln(1i1P)pi1X n(1p)dlnL

dp一Xipi1-(nPnXi)i1从方程中可解得 p4设总体〜N（先求似然函数再取对数求导，列方程从（1）解得开方后得2)InL,s2nXi(Xi)In(2lnLlnLXiXs,由于它们使lnL达到最大，所以,s使L达到最大，也就是,它使lnL达到最大，所以0是未知参数。(X1,X2,(Xi )2e22(2p的极大似然估计为,Xn)是的样本。(Xii1)2nXiXo1的极大似然估nIn代入（(Xi11n-3i1(Xi2）可解得(Xi)2 ，)2n(Xi n)i1(1)(2)1n c一(XiX)ni1,舍去不符合题意的负根，得到的极大似然估计为s。2 2s使L达到最大，所以，顺便还可以推导出的极大似然估计为S2。例5设总体服从［0,］上的均匀分布，概率密度为(x)0x其他0是未知参数，(XhX2,,Xn)是的样本，求的极大似然估计。先求似然函数:(i1,2,,n)dlnL

d(Xi)L0时，对L取对数ln其他minximaxxi

i i其他1L ln(-n)nln。对它求导后，列出的方程n0显然无解，这说明当时，不存在导数为0的点。但是，不存在导数为0的点，不等于说L没有最大值。从L1一一，—可以看出,的值越小，L的值越大。但是， 不能无限制地小下去,此式成立的条件是maxxi

i,在其它情况下有0,所以，只有当maxxi时，似然函数iL才能取到最大值。因此,根据极大似然估计的定义,的极大似然估计是maxXi。

i例6设总体N(2)，前面我们已求得的估计2的估计?2S2，问2S2是不是和2无偏估计?解由上面定理6.1可知，E?EX?X是的无偏估计。而E(?2)E(S2)⑪口n2 2 2S不TE 的无偏估计。但是，只要对它稍作修正，用修正样本方差S*2n _(XiX)2^^S2代替S2作为i1 n12的估计,, on0no由于E(S*2)E(——S2)——E(S2)n1n12一_ 2 2 . 、一.，所以S*是 的无偏估计。例7设总体~N(,2),(X1,X2)是的一个样本,\o"CurrentDocument"、一八 2 .. 1 .. 八 1 „\o"CurrentDocument"证明?1 _ X1 一 X2 , ?2 — X13 3 21上-X2都2是的无偏估计。并比较哪一个估计更有效。1e31e31e2TOC\o"1-5"\h\z„一 八2 1 2解因为E?1 —EX1 —EX2 — E3 3 3- 1 1 1e?21ex11ex2」e\o"CurrentDocument"2 2 2所以？1,?2都是 的无偏估计。4_因为D? DX191D?21DX14而12 52,即D?22 9（四）参数估计-DX291-DX24ID9d52一,91 2一,2D?1，所以？2比?1更有效。总体参数在估计前是未知参数估计是用样本统计量估计总体参数的方法。 总体参数是反映总体特征的数字,的。这一部分主要介绍参数估计的基本方法（点估计、区间估计）以及参数估计量的评价标准等。点估计目的是总体参数在估计前是未知依据1^本X=（X1,X2，…,Xn）估计总体分布所含的未知参数 0或0的函数g（。）。一般0或g（。）是总体的某个特征值，如数学期望、方差、相关系数等。点估计的常用方法有矩估计法、顺序统计量法、最大似然法、最小二乘法等。区间估计是从点估计值和抽样标准误出发， 按给定的概率值建立包含待估计参数的区间。 其中这个给定的概率值称为置信度或置信水平， 这个建立起来的包含待估计函数的区间称为置信区间， 指总体参数值落在样本统计值某一区内的概率；而置信区间是指在某一置信水平下， 样本统计值与总体参数值间误差范围。 置信区间越大，置信水平越高。划定置信区间的两个数值分别称为置信下限和置信上限。通过对教材和课件的学习，在这一章大家要熟悉点估计的概念， 掌握矩估计法和极大似然估计法， 熟悉估计量的无偏性、有效性、一致性，掌握置信区间的概念，了解区间估计的基本方法，掌握正态总体均值区间估计。了解单侧置信限、比率P的置信区间。点估计部分1.矩估计法如上所述，例5.4中我们所做的对该地区农户的平均收入水平和贫富悬殊程度做出推断这一工作，用数理统计的话说，实质上是对总体X~N（,2）的未知参数期望值 与方差值2进行估计。我们当时是分别用样本均值X和样本方差S2来反映这两个量的，那么这样做是否合理？直观来看这样做是合理的， 从概率论的观点看也是合理的。事实上，若总体X的期望存在，E（X） ,X1,X2,,Xn是出自X的样本，则由柯尔莫哥洛夫强大数定律，以概率为1地成立1nlimXinni1而上式左边极限号内正是样本均值 X,因此，我们常用X作为的估计值。不仅如此，若X的k阶矩存在,EXkak,则同样由柯尔莫哥洛夫强大数定律得出22以概率为1成立。于in1vk

lim—Xiniiak1n是，同样可用样本k阶原点矩Ak1Xik来近似ak,这种用样本原点矩去估计总体相应原点矩的方法，即是所谓的矩估计法。一般地，若总体的分布有m个参数m,则显然，总体的k阶矩(km)ak如果存在的话，必依赖这些参数，即m),k1,2,,m按照用样本矩近似真实矩的原则，可得方程Aiai(m)(6.1)若上述关于i,2, ,m的方程组有唯一的解(i，2,Amm)am(m)则称?是i的矩估计量(SquareEstimator)或矩估计。例:无论总体为什么分布，只要二阶矩存在,则样本方差2 2s2为方差2的矩估计量。解:设Xi,X2,,Xn为一样本,我们有iaina?a22ai例:设X为［i,2］上的均匀分布,解:(XiXiXi,X2,2xdxnXi2ii1n2 —2-XiXniiX)2S2,Xn为样本,2 22i2(2i)2i2 , dxi,2的矩估计。i(i2)ii22i)2—1z、X—(1 2)S2 12(2 1)解上述关于1,2的方程得X、,3SX..3S例：贝努利试验中，事件A发生的频率是该事件发生概率的矩法估计。解：此处，实际上我们视总体X为“唱票随机变量”，即X服从两点分布:X1,若A发生，P（A）0,若A不发生立即为事件A发生的频n立即为事件A发生的频n设X1,X2,,Xn为X的一个样本，若其中有 n1个Xi等于1,率，另一方面，显然EXP(A)p故有?例:设总体的密度函数为f(x,1,2)—2 x1exp(1 1x例:设总体的密度函数为f(x,1,2)—2 x1exp(1 1x2),x20,x02QX1,X2, ,Xn为此总体的样本。则可以算出a2其中（z）为伽（Gamma）函数，按矩估计原理分别用X,A2取代a1,a2。使用矩估计法的一个前提是总体存在适当阶的矩,但这不总是可以做到的。例：柯西（Cauchy）分布设总体具有密度函数阶数应不小于待估参数的个数（或者说参数空间的维数）f(x,)12,(1(x))显然，它的各阶矩皆不存在，因此 ，不能用矩估计法来估计参数 .另外，尽管矩估计法简便易行，且只要n充分大，估计的精确度也很高，但它只用到总体的数字特征的形式，而未用到总体的具体分布形式，损失了一部分很有用的信息，因此，在很多场合下显得粗糙和过于一般。2.极大似然估计参数的点估计方法中另一个常用方法就是极大似然估计，简记为MLE(MaximumLikelihoodEstimation)。从字面上来理解 ,就是通过对样本的考察，认为待估参数最象是取什么值即作为对参数的估计，事实上 ,极大似然估计原理也大致如此。我们通过一个具体例子来说明这一估计的思想。例：已知甲、乙两射手命中靶心的概率分别为0.9及0.4，今有一张靶纸上面的弹着点表明为 10枪6中，已知这张靶纸肯定是甲、乙之一射手所射，问究竟是谁所射？从直观上看，甲的枪法属上乘，命中靶心率为 0.9，看来这次射击成绩不至于这么差；而乙的枪法又似乎尚不足以打出这么好的成绩，但二者取一，还是更象乙所射。我们来计算一下可能性。为此，我们建立一个统计模型：设甲、乙射中与否分别服从参数为 p10.9,p2 0.4p是0.9,还是0.4．这里因为参数空间只有两个点：={0.9，0.4}，我们不妨分别计算一下参数为什么的可能性大。若是甲所若是甲所10Xi10射，即参数 p=0.9，则此事发生的概率为 L(p1) p1i1(1 p1)100.9,p2 0.4p是0.9,还是0.4．这里因为参数空间只有两个点：={0.9，0.4}，我们不妨分别计算一下参数为什么的可能性大。若是甲所若是甲所10Xi10射，即参数 p=0.9，则此事发生的概率为 L(p1) p1i1(1 p1)10Xii1 (0.9)6(0.1)4 0.00005;若是乙所射，10Xi1010Xi即参数 p=0.4，则此事发生的概率为 L(p2) p2i1(1 p2)i1(0.4)6(0.6)40.0005，尽管是乙所射的可能也不大，但毕竟比是甲所射的概率大了10倍，因此,在参数空间只有两点的情况下，概率L(p)的最大值在p=0.4处发生，故我们更情愿认为是乙所射，即用0.4作为p的估计：p?=p2=0.4.总之，极大似然估计的出发点是基于这样一个统计原理，在一次随机试验中，某一事件已经发生，比如已经得到某个具体的样本 X1,X2, ,Xn，则必然认为发生该事件的概率最大。从例中我们可以看出，极大似然估计的做法，关键有两步：第一步写出某样本 X1,X2, ,Xn出现概率的表达式 L()，对于离散型总体 X，设它的分布列为p(ki;),i 1,2, ,则上述样本出现的概率为nL()p(Xi;)

i1对于固定的样本，L()是参数的函数，我们称之为似然函数(LikelihoodFunction)。第二步则是求 ? (是参空间),使得L()达到最大，此 ?即为所求的参数 的极大似然估计。这里还需要着重强调几点：1)当总体X是连续型随机变量时，谈所谓样本 X1,X2, ,Xn出现的概率是没有什么意义的，因为任何一个具体样本的出现都是零概率事件。这时我们就考虑样本在它任意小的邻域中出现的概率，这个概率越大，就等价于此样本处的概率密度越大。因此在连续型总体的情况下，我们用样本的密度函数作为似然函数。nL()f(Xi;)

i1

2)为了计算方便，我们常对似然函数L()取对数，并称lnL()为对数似然函数 2)为了计算方便，我们常对似然函数function)o易知，L()与lnL()在同一？处达到极大，因此，这样做不会改变极大点。3)在仞6.7中参数空间只有两点，我们可以用穷举法求出在哪一点上达到最大，但在大多数情形中,含m维欧氏空间的一个区域，因此，必须采用求极值的办法，即对对数似然函数关于i求导，再令之为0,即得30, (1,2, ,m)i1,2,,m(6.2)含m维欧氏空间的一个区域，因此，必须采用求极值的办法，即对对数似然函数关于i求导，再令之为0,即得30, (1,2, ,m)i1,2,,m(6.2)我们称(6.2)为似然方程(组)(Likelihoodequation(group))。解上述方程,即得到i的MLE,i1,2,,m.例:设X「X2,2,Xn是N(,2)的样本，求解:我们有12尸12尸expn(Xi )i1lnL(,2)n,八ln22n.ln2lnL(,2)n,八ln22n.ln2n(Xii1)2lnL(2)2lnL(,2)1ni112(Xi(Xi1)2 0解似然方程组，即得nXii1解似然方程组，即得nXii1n?2 1(Xini1X)2S2例：设有k个事件Ai,例：设有k个事件Ai,A2,,Ak两两互斥，其概率P1,P2,,Pk之和为1.做n次重复独立试验，则各事件发生的频率为各相应概率的MLE.事实上，设样本Xi,X2,,Xn记录了每次试验中所发生的事件，以 ni表k1Pii1nk1Pii1nklnL(P)k1nilnPinkln(1Pi)示n次试验中事件A(i1,2, ,k)发生的次数，则此样本出现的概率(似然函数)为k1L(P)Pni

i1

得似然方程lnL(p) nj、nj nkkHPj Pj 1nPj Pk1 pii1即\PkPjnk，j1,2,,k1kn, Pkn, Pi 1及i1将上述k1个等式相加，注意到 nii1(n nk)Pk nk(1 Pk)得到?k?knkn右边即为事件A右边即为事件Ak发生的频率，显然事件人与其它事件Aj地位是相同的，故类似可得到1,2,,k11,2,,k1?jLj

n需注意到，并非每个MLE问题都可通过解似然方程得到，如估计量的评价准则部分对于同一参数，用不同方法来估计，结果是不一样的，甚至用同一方法也可能得到不同的统计量。例：设总体X服从参数为的泊松分布，即kP{Xk}e,k0,1,2,

k!则易知E(X),D(X) ，分别用样本均值和样本方差取代 E(X)和D(X),于是得到 的两个矩估计量? X,?2S2.既然估计的结果往往不是唯一的，那么究竟孰优孰劣？这里首先就有一个标准的问题。1.无偏性(Unbiased)定义1设？=?(Xi,X2, ,Xn)是的一个估计量，若对任意的 ，都有E(3 ,则称？是的无偏估计量(Unbiasedestimator),如果lim(E(Xi,X2,,Xn) )_limbn()0n n则称？是的渐近无偏估计量(Approximationunbiasedestimator),其中bn()称为是？的偏差(affect)。(Suppose?=?(X1,X2, ,Xn)isaestimator,ifforany thereisE(?) ,then?iscalleda

unbiasedestimatorof;iflim(E(Xi,X2,,Xn) )limbn() 0n n?、iscalledasymptoticallyunbiasedestimatorof,wherebn()iscalledaffectof■.)无偏性反映了估计量的取值在真值 周围摆动，显然，我们希望一个量具有无偏性。D(X)D(1

nS2nXi)i11~2nD(Xi)D(X)因为注意到E(SD(X)D(1

nS2nXi)i11~2nD(Xi)D(X)因为注意到E(S2)n(XiX)2(Xi1)2(X)2limnnD(Xi)D(X)2 . 2因此S2 . 2因此S是渐近无偏估计。在S的基础上,我们适当加以修正可以得到一个2 . 、一. .的无偏估计，这个估计量也和样本方差一样是经常被采用的:n2n2 1 2s1——S2——(XiX)2n1n1i1我们在第五章曾经说过，对估计量的优劣的评价，一般是站在概率论的基点上，在实际应用问题中，含有多次反复使用此方法效果如何的意思。 对于无偏性，也同样是这样，即是在实际应用问题中若使用这一估计量算出多个估计值，则它们的平均值可以接近于被估参数的真值。 这一点有时是有实际意义的，如某一厂商长期向某一销售商提供一种产品，在对产品的检验方法上，双方同意采用抽样以后对次品进行估计的办法。 如果这种估计是无偏的，那么双方都理应能够接受。比如这一次估计次品率偏高，厂商吃亏了，但下一次估计可能偏低，厂商的损失可以补回来，由于双方的交往是长期多次的，采用无偏估计，总的来说是互不吃亏。然而不幸的是，无偏性有时并无多大的实际意义。这里有两种情况，一种情况是在一类实际问题中没有多次抽样，比如前面的例子中，厂商和销售商没有长期合作关系，纯属一次性的商业行为，双方谁也吃亏不起，这就没有什么“平均”可言。另一种情况是被估计的量实际上是不能相互补偿的，因此“平均”没有实际意义，例如通过试验对某型号几批导弹的系统误差分别做出估计，既使这一估计是无偏的，但如果这一批导弹的系统误差实际估计偏左，下一批导弹则估计偏右，结果两批导弹在使用时都不能命中预定目标，这里不存在“偏左”与“偏右”相互抵消或“平均命中”的问题。我们还可以举出数理统计本身的例子来说明无偏性的局限。X. 3例： 设X服从参数为 的泊松分布，Xi,X2,,Xn为X的样本，用(2)1作为e3的估计，则此估计是无偏的。因为kX1 k 2 3E[(2)]e(2)eee

k0k!但当Xi取奇数时，(2)X1vO,显然用它作为e3>0的估计是不能令人接受的。 为此我们还需要有别的标准。2.最小方差性和有效性前面已经说过，无偏估计量只说明估计量的取值在真值周围摆动，但这个“周围”究竟有多大？我们自然希望摆动范围越小越好，即估计量的取值的集中程度要尽可能的高，这在统计上就引出最小方差无偏估计的概念。定义2对于固定的木¥本容量n,设TT(Xi,X2,,Xn)是参数函数g()的无偏估计量，若对g()的任一个无偏估计量TT(X1,X2,,Xn)有D(T)D(T'),对一切则称T(X1,X2, ,Xn)为g()的(一致)最小方差无偏估计量， 简记为UMVUE(UniformlyMinimumVarianceUnbiasedEstimation)或者称为最优无偏估计量。 (Forstationarysamplecapacityn,letTT(Xi,X2,,Xn)isaunbiasedestimatorofparameterfunctiong(),ifforanyunbiasedestimatorofg()TT(X1,X2, ,Xn),suchthatD(T)D(T'),forallthencallT(X1,X2,,Xn)isaUniformlyMinimumVarianceUnbiasedEstimationofg(),isabbreviatedforUMVUE.)从定义上看，要直接验证某个估计量是参数函数 g()的最优无偏估计是有困难的。但对于很大一类分布和估计来说，我们从另一个角度来研究这一问题。考虑g()的一切无偏估计U,如果能求出这一类里无偏估计中方差的一个下界(下界显然存在的，至少可以取0,而又能证明某个估计 TU能达到这一下界，则T当然就是一个UMVUE.我们来求这个下界。下面不妨考虑总体为连续型的。 (对于离散型的，只须做一点相应的改动即可) ，简记统n计量TT(X1,X2,,Xn)为T(X),样本Xi,X2,,Xn的分布密度f(x4)为f(x;)；积分i1dx〔 dXn为dx.又假设在以下计算中，所有需要求导和在积分号下求导的场合都具有相应的可行性。今考虑g()的一个无偏估计T(X),即有T(x)f(x;)dxETg()两边对求导T^f^dxg'() (6.5)又f(x;)dx1上式两边对 求导22式(6.5)加上式(6.6)乘以-g()上式改写成g'()f(x;)dx(6.6)式(6.5)加上式(6.6)乘以-g()上式改写成g'()f(x;)dx(6.6)[T(x)g()]」^^dxg'(){[T(x)g()]f(x;)}贵厂dx用柯西-许瓦尔兹(Cauchy-Schwarz)不等式，即得9 2 f(x;[g'()]2 [T(x)g()]f(x;)dx —(-;)1f(x;)2f(x;)dx(6.7)其中_ 2- _ _(6.8)[T(x)g()]f(x;)dxD(T)(6.8)2(6.9)f(x;) 1 lnf(x;)(6.9) --f(x;)dxE f(x;)由式(6.7)~式(6.9)即得著名的克拉美-劳(Cramer-Rao)不等式(简称C-R不等式)：D(T(X))[g'()]2ED(T(X))[g'()]2Elnf(X;)2(6.10)注意到Xi,X2,,Xn独立同分布，则由lnf(x;)nlnf(x「)以及当ij时，利用式(6.6)Elnf(Xi;)lnf(Xj;)可得lnf(X「)lnf(Xi;)lnf(X「)可得lnf(X「)lnf(Xi;)lnf(X「)2lnf(X;)Elnf(Xj;)lnf3;) f(xj;f(xj;)-j-dxj0nElnf(Xi;i1)dxjnElnf(X")nI()

Inf(X1;)2 ,、其中I()=E( )称为费歇(Fisher)信息^(informationquantity),于是式(6.10)可简写成D(T(X))[g'()]2.nI() (6.11)式(6.11)的右边称为参数函数g()估计量方差的C-R下界(lowerlimit)。还可以证明I()的另一表达式，它有时用起来更方便：I()I()2lnf(Xi;)2定义3称en2定义3称en—[g()] D(T(X))nI()的。(Callen2[g()]2

D(T(X))nI()isefficiencyforunbiasedestimatorTofg()(obviouslybyCRinequality,为g()的无偏估计量T的效率(efficiency)(显然由C-R不等式，en 1).又当T的效率等于1时，称T是有效(efficient)的；若limen 1,则称T是渐近有效(asymptoticallyefficient)nen 1).WhenefficiencyofTequal1,callTisefficient；iflimen 1,thencallTisasymptoticallyefficient.)n显然，有效估计量必是最小方差无偏估计量， 反过来则不一定正确， 因为可能在某参数函数的一切无偏估计中，找不到达到CR下界的估计量。我们常用到的几种分布的参数估计量多是有效或渐近有效的。 从下面的例子，我们可以体会出验证有效性的一般步骤。例：设总体X~N(,2),Xi,X2, ,Xn为X的样本，则 的无偏估计X是有效的， 2的无偏估2 计S*是渐近有效的。证(i)由例6.13,6.14知，X,S*2分别是 和2的无偏估计。(ii)计算D(X),D(S*2)易知2易知D(X)一

nnS2又由定理5.3,2(n1),D(nS222(n1),从而(iii)nS2又由定理5.3,2(n1),D(nS222(n1),从而(iii)计算I(),I(2)D(S*2)D2nS2n1 2(n4—2(n1)21)lnf(Xi；2)Xi一 2I()Elnf(X1;，)1一 2I()Elnf(X1;，)1-D(X1)Inf(X",2)_ 2lnf(X1；,)2)2」r(X1217(X1)2)22I(2)2lnf(X1；I(2)(2)22(iv)计算效率en(X),en(S*2)en(X)D(X)nI()1en(X)D(X)nI()1~2_2en(S*)D(S*2)nI(2)1,n（v）故X是的有效估计，S*2是2的渐近有效估计。区间估计部分1.区间估计的一般步骤我们在讨论抽样分布时曾提到过区间估计。 与点估计不同的是，它给出的不是参数空间的某一个点， 而是一个区间（域）。按照一般的观念，似乎我们总是希望能得到参数的一个具体值，也就是说用点估计就够了，为什么还要引入区间估计呢？这是因为在使用点估计时，我们对估计量 ？是否能“接近”真正的参数 的考察是通过建立种种评价标准，然后依照这些标准进行评价， 这些标准一般都是由数学特征来描绘大量重复试验时的平均效果，而对于估值的可靠度与精度却没有回答。即是说，对于类似这样的问题： “估计量？在参数的邻域的概率是多大？”点估计并没有给出明确结论，但在某些应用问题中，这恰恰是人们所感兴趣的，如例：某工厂欲对出厂的一批