第六章参数估计

1、第六章 参数估计§6.1 点估计的几种方法6.1.1 替换原理和矩法估计一、矩法估计替换原理：(1)用样本矩去替换总体矩，这里的矩可以是原点矩也可以是中心矩；(2)用样本矩的函数去替换相应的总体矩的函数。举例二、概率函数已知时未知参数的矩法估计设总体具有已知的概率函数，是未知参数或参数向量，是样本，假定总体的阶原点矩存在，则对所有，都存在，若假设能够表示成的函数，则可给出诸的矩法估计：其中是前个样本原点矩：，进一步，如果要估计的函数，则可直接得到的矩法估计。例1 设总体为指数分布，其密度函数为，是样本，此处，由于，亦即，故的矩法估计为另外，由于，其反函数为，因此，从替换原理来看，的矩

2、法估计也可取为 ， 样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。 例2设是来自上的均匀分布的样本，与均是未知参数，这里 其密度函数为 ，求，的矩估计.解 由得方程组： 解此方程组，得到矩估计量: 6.1.2最大似然估计定义6.1.1 设总体的概率函数为，其中是一个未知参数或几个未知参数组成的参数向量，是参数可能取值的参数空间，是来自该总体的样本，将样本的联合概率函数看成的函数，用表示，简记为，称为样本的似然函数。如果某统计量满足 则称是的最大似然估计，简记为MLE。注意：(1)常常使用对数似然函数，因为其与似然函数具有相同的最值

3、。(2)求导是最常用的求最值的方法。例3 设一个试验的三种可能结果，其发生概率分别为，现做了n次试验，观测到三种结果发生的次数分别为，(+=n)。则似然函数为 其对数似然函数为 将之关于求导并令其为0得到似然方程 解之，得 由于 所以为极大值点。例4 设样本x1，x2，xn来自正态总体X N (m，s 2)，(m，s 2)是二维参数，未知，求其的极大似然估计。解 似然函数为 于是对数似然函数为 解之得易验证，为L(m，s 2)得最大值点。因此，的极大似然估计值为 求导无法解决的问题，如下例。 例5 设是来自均匀分布的样本，试求的最大似然估计。解 似然函数为要使达到最大，首先一点是示性函数取值应

4、该为1，其次是尽可能大。由于是的单调减函数，所以的取值就尽可能小，但示性函数为1决定了不能小于，由此给出了的最大似然估计：。最大似然估计的不变性：如果是的最大似然估计，则对任一函数，其最大似然估计为。例6 设是来自正态总体N (m，s 2)的样本，在前例中已经求得了参数的最大似然估计为于是由最大似然估计的不变性可得如下参数的最大似然估计，它们是概率的MLE为总体0.90分位数的MLE是，其中是标准正态分布的0.90分位数。§6.2 点估计的评价标准6.2.1 相合性定义6.2.1 设为未知参数，是的一个估计量，是样本容量，若对任何一个，有则称为参数的相合估计。注意：相合性一般可以应用

5、大数定律或直接由定义、依概率收敛的性质来证。例1 设是来自正态总体的样本，则由辛钦大数定律及依概率收敛的性质知：(1)是的相合估计；(2)是的相合估计(3)也是的相合估计由此可见，参数的相合估计不止一个。定理6.2.1 设是的一个估计量，若。则为的相合估计。例2 设是来自均匀总体的样本，证明的最大似然估计是相合估计。证明 由上一节知，的最大似然估计是。由次序统计量的分布，我们知道的分布密度函数为故有 由定理知，是的相合估计。定理6.2.2 若分别是的相合估计，是的连续函数，则是的相合估计。注意：(1)样本均值是总体均值的相合估计；(2)样本标准差是总体标准差的相合估计；(3)样本变异系数是总体

6、变异系数的相合估计。例3 设一个试验有三种可结果，其发生概率分别为，现做了n次试验，观测到三种结果发生的次数分别为，可以采用频率替换方法估计。由于可以有三个不同的的表达式：，由大数定律，分别是，的相合估计，由上面定理知，上述三个估计都是的相合估计。6.2.2 无偏性定义6.2.2设是的一个估计，的参数空间为，若对任意的，有则称是的无偏估计，否则称为有偏估计。注意：无偏性可以改写为，表示没有系统偏差。例4设总体的k阶矩存在，则样本的k阶矩是总体k阶矩的无偏估计。证 因为所以 ak 是 mk 的无偏估计。另外，检验是否为的无偏估计。因为，故，即 所以不是s 2的无偏估计，但 为s 2的无偏估计量.

7、由此可知不是s 2的无偏估计量，而样本方差是s 2的无偏估计。 不过，当时，有。称是s 2的渐近无偏估计。注意：无偏性不具有不变性。即是的无偏估计时，不一定是的无偏估计，除非是的线性函数。如是s 2的无偏估计，但不是的无偏估计。例5 设总体为，是样本，我们已经证明是s 2的无偏估计。由定理5.3.1，其密度函数为 从而由此，我们有这说明不是的无偏估计，利用修正技术可得是的无偏估计，其中是修偏系数。可以证明当时，有，这说明是的渐近无偏估计，从而在样本容量较大时，不经修正的也是的一个很好的估计。6.2.3 有效性定义6.2.3设均为未知参数q 的无偏估计量，若 且至少存在一个q 0ÎQ，

8、使上述不等号严格成立，则称有效。例6 设是取自某总体的样本，记总体均值为，总体方差为，则都是的无偏估计，但显然，只要，比有效。例7 在例2中，均匀总体中的极大似然估计是，由于，所以不是的无偏估计，但是的渐近无偏估计。经过修偏后可以得到的一个无偏估计：。且另一方面，由矩法，我们可得到的另外一个无偏估计，且由此，当时，比有效。6.2.4 均方误差均方误差定义式为：由于因此均方误差由两部分组成，点估计的方差与偏差的平方。如果点估计是无偏的，则均方误差等于其方差。例8 在前例中，的均方误差现在考虑的形如的估计，其均方误差为用求导的方法不难求出当时上述均方误差达到最小，且，这表示虽然是的有偏估计，但其均

9、方误差所以在均方误差的标准下，有偏估计优于无偏估计。例5 设总体为，是样本，我们已经证明是s 2的无偏估计。由定理5.3.1，其密度函数为 从而由此，我们有这说明不是的无偏估计，利用修正技术可得是的无偏估计，其中是修偏系数。可以证明当时，有，这说明是的渐近无偏估计，从而在样本容量较大时，不经修正的也是的一个很好的估计。6.2.3 有效性定义6.2.3设均为未知参数q 的无偏估计量，若 且至少存在一个q 0ÎQ，使上述不等号严格成立，则称有效。例6 设是取自某总体的样本，记总体均值为，总体方差为，则都是的无偏估计，但显然，只要，比有效。例7 在例2中，均匀总体中的极大似然估计是，由于，

10、所以不是的无偏估计，但是的渐近无偏估计。经过修偏后可以得到的一个无偏估计：。且另一方面，由矩法，我们可得到的另外一个无偏估计，且由此，当时，比有效。6.2.4 均方误差均方误差定义式为：由于因此均方误差由两部分组成，点估计的方差与偏差的平方。如果点估计是无偏的，则均方误差等于其方差。例8 在前例中，的均方误差现在考虑的形如的估计，其均方误差为用求导的方法不难求出当时上述均方误差达到最小，且，这表示虽然是的有偏估计，但其均方误差所以在均方误差的标准下，有偏估计优于无偏估计。§6.3 最小方差无偏估计6.3.1 Rao-Blackwell定理定理6.3.1(Rao-Blackwell定理

11、) 设X和Y是两个随机变量，用条件期望构造一个新的随机变量，其定义为则有其中等号成立的充分必要条件是X和几乎处处相等。定理6.3.2 设总体概率密度函数是，是其样本，T=T()是的充分统计量，则对的任一无偏估计，令，则也是的无偏估计，且证明 由于T=T()是充分统计量，故而与无关，因此它也是一个估计(统计量)，只要在定理6.3.1中取即可完成本定理的证明。注意，充分性原则：如果无偏估计不是充分统计量的函数，则将之对充分统计量求条件期望可以得到一个新的无偏估计，该估计的方差比原来的估计的方差要小，从而降低了无偏估计的方差。即考虑的估计问题只需要在基于充分统计量的函数中进行即可。例1 设是来自的样

12、本，则(或)是的充分统计量。为估计，可令由于所以是的无偏估计。这个估计并不好，它只使用了两个观测值，下面用Rao-Blackwell定理对之加以改进：求关于充分统计量的条件期望，过程如下。其中。可以验证，是的无偏估计，且6.3.2 最小方差无偏估计定义6.3.1 对参数估计问题，设是的一个无偏估计，如果对另外任意一个的一个无偏估计，在参数空间上有都有则称是一致是最小方差无偏估计，简记为UMVUE。注意：定理6.3.2表明，如果UMVUE存在，则它一定是充分统计量的函数。一般而言，如果依赖充分统计量的无偏估计只有一个，则它就是UMVUE。定理6.3.3 设X=()是来自某总体的一个样本，(X)是

13、的一个无偏估计，。如果对任意一个满足的，都有则是的UMVUE。例2 设是来自指数分布的样本，则根据因子分解定理可知，是的充分统计量，由于，所以是的无偏估计。设是的任一无偏估计，则 即 两端对求导。得 这说明，从而 由定理6.3.3，是的UMVUE。6.3.3 Cramer-Rao不等式定义6.3.2 设总体的概率函数，满足下列条件：(1)参数空间是直线上的一个开区间；(2)支撑与无关；(3)导数对一切都存在；(4)对，积分与微分运算可交换次序，即(5)期望存在，则称 为总体分布的费希尔(Fisher)信息量。 注意：越大可被解释为总体分布中包含未知参数的信息越多。 例3 设总体为泊松分布，其分

14、布列为 可以看出定义6.3.2的条件满足，且于是 。例4 设总体为指数分布，密度函数为可以验证定义6.3.2的条件满足，且于是 定理6.3.4(Cramer-Rao不等式) 设定义6.3.2的条件满足，是来自该总体的样本，T=T()是的任一个无偏估计，存在，且对中一切，对的微分可在积分号下进行，即对离散总体，则将上述积分改为求和符号后，等式仍然成立，则有上式称为C-R不等式。称为的无偏估计的方差的C-R下界，简称的C-R下界。特别地，对的无偏估计，有注意：如果C-R不等式中的等号成立，则称T=T()是的任有效估计，有效估计一定是UMVUE。例5 设总体分布列为它满足定义6.3.2的所有条件，可

15、以算得该分布的费希尔信息量为，若是该总体的样本，则的C-R下界为。由于样本均值是的无偏估计，且其方差等于，达到了C-R下界，所以是的有效估计，它也是的UMVUE。例6 设总体为指数分布，它满足定义6.3.2的所有条件，例6.3.4中已经算出该分布的费希尔信息量为，若是样本，则的C-R下界为，而是的无偏估计，且其方差等于，达到了C-R下界，所以是的有效估计，它也是的UMVUE。注意：大多无偏估计都达不到其C-R下界。例7 设总体为正态分布，它满足定义6.3.2的所有条件，下面计算它的费希尔信息量。由于，故令，则的C-R下界为的无偏估计为可以证明，这是的UMVUE。其方差大于C-R下界。表明所有的

16、的无偏估计的方差都大于其C-R下界。定理6.3.5 设总体X有密度函数，为非退化区间，假定(1)对任意的，偏导数，和对所有都存在；(2)，有，其中函数，满足，(3)，。若是来自该总体的样本，则存在未知参数的最大似然估计，且具有相合性和渐近正态性，。如上定理表明最大似然估计通常是渐近正态的，且其渐近方差有一个统一的形式，主要依赖于费希尔信息量。例8 设是来自的样本，可以验证该总体分布在已知或已知时均定理6.3.5的三个条件。(1)在已知时，的MLE为，由定理6.3.5知，服从渐近正态分布。从而有，该近似分布与的精确分布相同。(2)在已知时，的MLE为，从而有§6.4 贝叶斯估计6.4.

17、1 统计推断的基础总体信息样本信息先验信息：如果我们把抽取样本看作一次试验，则样本信息就是试验中得到的信息。贝叶斯学派的基本观点是：任一未知量都可以看作是随机变量，可用一个概率分布去描述，这个分布称为先验分布；6.4.2 贝叶斯公式的密度函数形式(1)总体依赖于参数的概率函数在贝叶斯统计中记为，它表示在随机变量取某个给定值时总体的条件概率函数。(2)根据参数的先验信息确定先验分布。(3)从贝叶斯观点看，样本X=()的产生要分两步进行。首先设想从先验分布产生一个样本，这一步是人们无法看到的。第二步从(X)中产生一组样本，这时样本X=()的联合条件概率函数为(X)这个分布综合了总体信息和样本信息。

18、(4)由于是设想出来的，仍然是未知的，它是按先验分布产生的。为把先验信息综合进去，不能只考虑，对的其他值发生的可能性也要加以考虑，故要用进行综合。这样一来，样本X和参数的联合分布为(X)=(X)这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了。(5)目的是要对未知参数作统计推断。在没有样本信息时，只能依据先验分布对作出推断。在有了样本观察值X=()之后，应该依据(X)对作出推断。若把(X)作如下分解：(X)X)(X)其中(X)是X的边际概率函数： (X)=XX它与无关，或者说(X)中不含含的任何信息。因此能用来对作出推断的仅是条件分布X)，它的计算公式是X)=(X)/(X)=

19、(X)/X这个条件分布称为后验分布，它集中了总体、样本和先验中有关的一切信息。上式就是用密度函数表示的贝叶斯公式。它要比更接近的实际情况。6.4.3 贝叶斯估计由后验分布X)估计有三种常用的方法：(1)使用后验分布的密度函数最大值点作为的点估计的最大后验估计；(2)使用后验分布的中位数作为的点估计的后验中位数估计；(3)使用后验分布的均值作为的点估计的后验期望估计。这是用得最多的一种方法，一般也简称为贝叶斯估计，记为例1 设某事件A在一次试验中发生的概率为，为估计，对试验进行了n次独立观测，其中事件A发生了X次，显然。假若在试验前对事件A没有什么了解，从而对其发生的概率也没有任何信息。在这种情

20、况下，贝叶斯建议采用“同等无知”的原则使用区间(0,1)上的均匀分布作为的先验分布，因为它取(0,1)上的每一点的机会均等。这一假设后被称为贝叶斯假设。由此即可利用贝叶斯公式求出的后验分布。具体如下：先写出和的联合分布然后求X的边际分布最后求出的后验分布最后的结果说明，其后验期望估计为如果不用先验信息，只用总体信息与样本信息，那么事件A发生的概率的最大似然估计为是与贝叶斯估计不同两个估计。 例2 设是来自正态分布的一个样本，其中已知，未知，假设的先验分布亦为正态分布，其中先验均值和先验方差均已知，试求的贝叶斯估计。解 样本X的分布和的先验分布分别为(X)由此可以写出X与的联合分布 (X)其中，

21、。若记 A=，则有 (X)注意到A，B，C均与无关，由此容易计算样本的边际密度函数 (X)=X应用贝叶斯公式可得到后验分布 X)=(X)/(X)这说明在样本给定后，的后验分布为，即 X后验均值即为其贝叶斯估计：它是样本均值与先验均值的加权平均。当总体方差较小或样本量较大时，样本均值的权重较大；当先验方差较小时，先验均值的权重较大，这一综合符合人们的经验，也是可以接受的。6.4.4 共轭先验分布定义6.4.1 设是总体参数，是其先验分布，若对任意的样本观测值得到的后验分布X)与属于同一个分布族，则称该分布族是的共轭先验分布(族)。例3 在例1中，知道(0，1)上的均匀分布就是贝塔分布的一个特例，

22、其对应的后验分布则是贝塔分布。更一般地，设的先验分布是均已知，则由贝叶斯公式可以求出后验分布为，这说明贝塔分布是伯努得试验中成功概率的共轭先验分布。例2中，在方差已知时正态总体均值的共轭先验分布是正态分布。§6.5 区间估计6.4.1 区间估计的概念定义6.5.1 设是总体的一个参数，其参数空间为，是来自该总体的样本，对给定的一个()，若有两个统计量和，若对任意的，有则称随机区间为参数q 的置信度为1-a 的置信区间，分别称为置信下限和上限。置信度1-a 也称置信水平。定义式的意义：由定义可知，置信区间是以统计量为端点的随机区间，对于给定的样本观察值,由统计量构成的置信区间可能包含真

23、值q ，也可能不包含真值q ， 但在多次观察或实验中，每一个样本皆得到一个置信区间，在这些区间中包含真值q 的区间占100（1-a）%，不包含q的仅占100a %. 例如取a=0.05，在100次区间估计中，大约有95个区间包含真值q ，而不包含q得约占5个。定义6.5.2 沿用定义6.5.1的记号，如对给定的()，对任意的，有则称为q的1-a同等置信区间。定义6.5.3 设是统计量，对给定的()，对任意的，有则称为q 的置信水平为1-a 的(单侧)置信下限。假如等号对一切成立，则称为q 的1-a同等置信下限。定义6.5.4 设是统计量，对给定的()，对任意的，有则称为q 的置信水平为1-a

24、的(单侧)置信上限。假如等号对一切成立，则称为q 的1-a同等置信上限。6.5.2 枢轴量法枢轴量法的步骤：(1)设法构造一个样本和q的函数使得G的分布不依赖于未知参数。一般称具有这种性质的G为枢轴量。(2)适当地选择两个常数c,d，使对给定的()，有(3)假如能将进行不等式等式等价变形化为，则有这表明是q 的1-a同等置信区间。说明：构造置信区间的关键在于构造枢轴量，名字由此得来。枢轴量的寻找一般从q 的点估计入手。其中c,d的选择有多种，目的是使得到的尽可能短。但实际上经常采用对称的原则，即c,d的选择使这样得到的置信区间称为等尾置信区间。实用的置信区间大都是等尾置信区间。例1 设是来自均

25、匀总体的一个样本，试对给定的()给出的1-a同等置信上限。解 采用枢轴量法分三步进行(1)我们已知的最大似然估计为样本的最大次序统计量，而的密度函数为它与参数无关，故可取作为枢轴量G。(2)由于的分布函数为，故，因此我们可以适当的选择满足(3)利用不等式变形可容易地给出的同等置信区间为该区间的平均长度为。则在及的条件下，当，时，取得最小值，这说明是的置信水平为1-a最短置信区间。6.5.3 单个正态总体参数的置信区间一、s 已知时m 的置信区间这时m的点估计为，其分布为，因此枢轴量可选择为，和应满足经过不等式变形得到 该区间的长度为，由于标准正态分布为单峰对称的，由图中可见，在的条件下，当时，

26、达到最小，由此给出了的置信水平为1-a 的同等置信区间为。图7-1 标准正态分布的双侧 分位点这是一个以主中心，半径为的对称区间，常将之表示为。例2 已知某种灯泡的寿命X (单位：小时) 服从正态分布N (m ，8)。现从这批灯泡中抽取10个，侧得其寿命分别为1050 1100 1080 1120 1200 1250 1040 1130 1300 1200.若a =0.05， 试求期望m 的置信度为0.95的置信区间。解 由样本算得, 查表得；由于s 2=8已知，故m的置信度为0.95的置信区间为，即1145.25，1148.75为所求得置信区间。例3 设总体为正态分布N (m ，1)，为得到

27、m 的置信度为0.95的置信区间长度不超过1.2，样本容量应为多少？解 由于m 的置信度为0.95的置信区间为其区间长度为，它仅依赖于样本容量n而与样本具体取值无关。现要求，则有。现在，从而，则，即样本容量至少为11时才能使得的置信水平为0.95的置信区间长度不超过1.2。 二、s 未知时m 的置信区间这时可用统计量，因为，因此可用其作为枢轴量，由关系式进行恒等变形, 即可得到置信水平为1-a 的置信区间为： .此处是的无偏估计。例4 为确定某种溶液中的甲醛浓度，取得4个独立测量值的样本，并算的样本均值为，样本标准差为s =0.03%。设被测总体近似的服从正态分布，a =0.05，试求出m的置

28、信水平为0.95的置信区间。解因为s 2未知，所以m 的置信区间为这里,将代入即得m 的置信区间为8.292%,8.388%三、s 2的置信区间实际上，当s 2未知时，均值m已知的情形极为少见，因此只就m未知的情况进行讨论。这时可取则相应的枢轴量为其中为样本方差。 类似地可得s 2的置信度为1-a 的置信区间为将之开方就得s的置信区间。例5 求上例中s 2的置信水平为0.95的置信区间。解 对于s 2，由于m 未知，其置信区间为又 ， 和 代入即得。6.5.4 大样本置信区间在样本容量充分大时，可以用渐近分布来构造近似的置信区间。设是来自二点分布的样本，现要求的1-a 的置信区间，由中心极限定

29、理知，样本均值的渐近分布为，因此有这个可以作为枢轴量，对给定的，利用标准正态分布的分位数可得括号里的事件等价于记，上述不等式可化为左侧的二次多项式的判别式故此二次多项式的开口向上并与轴有两个交点的曲线，记此两个交点即二次多项式的二根为，则有，二根可表示为由于比较大，在实用中通常略去项，于是置信区间近似为。例6 对某事件A作120次观察，A发生36次，试给出事件A发生概率的0.95置信区间。解 这里n=120,，而，于是有即所求置信区间为0.218,0.382。例7 某传媒公司欲调查电视台某综艺节目收视率，主为使得的置信区间长度不超过，问应调查多少用户。解 的置信区间长度为，这是一个随机变量，但由于，所以对任意的观测值有。这也