概率论与数理统计 ― 第七章 参数估计

1、授课章节第七章 参数估计目的要求掌握点估计的概念，熟练掌握区间估计的概念和方法。重点难点正态总体方差的区间估计在实际问题中，我们所关心的总体并非完全未知，往往是它的分布类型已知，而未知的只是其中的一些参数。对此，统计推断将分为两类：一是参数估计，二是参数假设检验。本章讨论参数估计，具体分点估计和区间估计。点估计参数值的估计；区间估计参数范围的估计。第一节 点估计 所谓参数的点估计就是参数值的估计。有两种方法：矩估计和最大似然估计。（一）矩估计法设总体X的分布类型已知，但含有k个未知参数、。如果总体X为离散型随机变量，则这些参数、含在它的分布律（i = 1、2、）中；如果总体X为连续型随机变量，

2、则这些参数含在它的密度函数中。分别计算总体的1k阶矩：， ，。X1、X2、Xn为总体的样本，再计算样本的1k阶矩：， ，。令 、 、，即得关于未知参数、的方程组：，解此方程组得到的解、就是参数、的矩估计值，这种方法称为矩估计法。例1 设总体，其中参数和未知。X1、X2、Xn为总体的样本，求和的矩估计值。解：因为有两个未知参数，所以先求总体的一阶矩和二节矩，得，。样本的一、二阶矩为，令即，解得 。 例2 设总体，其中参数a和b未知。X1、X2、Xn为总体的样本，求a和b的矩估计值。解：因为有两个未知参数，所以先求总体的一阶矩和二节矩，得，及，。样本的一、二阶矩为，令，即，或，又 ， 即 ，或 ，

3、解得 。特殊的，如果只有一个端点是未知时，如b点未知，则只需求一阶矩即可：。（二）最大似然估计法看下面的例子，袋中有球10只，分两种颜色：红和白，数目比为37，但谁多谁少未知，自袋中摸球一只，发现该球为白球。由此推断谁多谁少。无外乎有两种场合：当 红白 = 37 时，摸到白球的概率0.7；当 白红 = 37 时，摸到白球的概率0.3。而试验结果是摸到白球，所以概率应尽可能的大（因为越大越有利于该事件发生），所以，推断的结果是第一种场合，就是 红白 = 37。这就是最大似然估计的思想。一般的，分一下两种情况：1）当总体X为离散型随机变量，它的分布律是，其中为未知参数X1、X2、Xn为样本， x1

4、、x2、xn 为样本值。或 白红 = 37，第四节 区间估计参数的区间估计：参数范围的估计总之，极大似然估计的出发点是基于这样一个统计原理，在一次随机试验中，某一事件已经发生，比如已经得到某个具体的样本，则必然认为发生该事件的概率最大。从例6.7我们可以看出，极大似然估计的做法，关键有两步：第一步写出某样本出现概率的表达式，对于离散型总体，设它的分布列为则上述样本出现的概率为对于固定的样本，是参数的函数，我们称之为似然函数(Likelihood Function)。第二步则是求是参空间）,使得达到最大，此即为所求的参数的极大似然估计。这里还需要着重强调几点：） 当总体是连续型随机变量时，谈所谓

5、样本出现的概率是没有什么意义的，因为任何一个具体样本的出现都是零概率事件。这时我们就考虑样本在它任意小的邻域中出现的概率，这个概率越大，就等价于此样本处的概率密度越大。因此在连续型总体的情况下，我们用样本的密度函数作为似然函数。） 为了计算方便，我们常对似然函数取对数，并称为对数似然函数(Logarithm likelihood function)。易知，与在同一处达到极大，因此，这样做不会改变极大点。c） 在例6.7中参数空间只有两点，我们可以用穷举法求出在哪一点上达到最大，但在大多数情形中，包含维欧氏空间的一个区域,因此,必须采用求极值的办法，即对对数似然函数关于求导，再令之为0，即得 (

6、6.2)我们称(6.2)为似然方程（组）(Likelihood equation (group) 。解上述方程，即得到的，Example 6.8 设是的样本，求与的Solution 我们有解似然方程组，即得看来，对于正态分布总体来说，的矩估计与是相同的。矩估计与相同的情形还有很多，如例6.4的问题中，容易验证，事件发生的频率也是其概率的我们有更进一步的例子。Example 6.9 设有个事件两两互斥，其概率之和为1.做次重复独立试验，则各事件发生的频率为各相应概率的事实上，设样本记录了每次试验中所发生的事件，以表示次试验中事件发生的次数，则此样本出现的概率（似然函数）为于是 得似然方程即将上述

7、个等式相加，注意到及得到右边即为事件发生的频率，显然事件与其它事件地位是相同的，故类似可得到需注意到，并非每个问题都可通过解似然方程得到，如Example 6.10 同例6.3，求均匀分布中参数的先写出似然函数 （6.3）本例似然函数不连续，不能用似然方程求解的方法，只有回到极大似然估计的原始定义，由式（6.3），注意到最大值只能发生在 （6.4）时；而欲最大，只有使最小，即使尽可能小，尽可能大，但在式（6.4）的约束下，只能取=，=和矩估计的情形一样，有时虽能给出似然方程，也可以证明它有解，但得不到解的解析表达式。Example 6.11 同例6.6，求柯西分布中的我们可得似然方程为这个方程

8、只能求数值解。6.2 估计量的评价准则(Evaluation Rule of Estimator)对于同一参数，用不同方法来估计，结果是不一样的。如例6.3与例6.10就表明了对于均匀分布，参数的矩估计与极大似然估计是不一样的，甚至用同一方法也可能得到不同的统计量。Example 6.12 设总体服从参数为的泊松分布，即则易知，分别用样本均值和样本方差取代和，于是得到的两个矩估计量既然估计的结果往往不是唯一的，那么究竟孰优孰劣？这里首先就有一个标准的问题。一、无偏性(Unbiased) Definition 6.1 设=是的一个估计量，若对任意的，都有，则称是的无偏估计量(Unbiased e

9、stimator)，如果则称是的渐近无偏估计量(Approximation unbiased estimator)，其中称为是的偏差(affect)。(Suppose =is a estimator, if for any there is , then is called a unbiased estimator of ; if is called asymptotically unbiased estimator of ，where is called affect of .)无偏性反映了估计量的取值在真值周围摆动，显然，我们希望一个量具有无偏性。Example 6.13 是总体期望值的无

10、偏估计，因为Example 6.14 不是总体方差的无偏估计，因为注意到故 但 因此是渐近无偏估计。在的基础上，我们适当加以修正可以得到一个的无偏估计，这个估计量也和样本方差一样是经常被采用的：由此例也可以看出，例6.12中关于的两个矩估计量中，是无偏的，；而是有偏的，.我们在第五章曾经说过，对估计量的优劣的评价，一般是站在概率论的基点上，在实际应用问题中，含有多次反复使用此方法效果如何的意思。对于无偏性，也同样是这样，即是在实际应用问题中若使用这一估计量算出多个估计值，则它们的平均值可以接近于被估参数的真值。这一点有时是有实际意义的，如某一厂商长期向某一销售商提供一种产品，在对产品的检验方法

11、上，双方同意采用抽样以后对次品进行估计的办法。如果这种估计是无偏的，那么双方都理应能够接受。比如这一次估计次品率偏高，厂商吃亏了，但下一次估计可能偏低，厂商的损失可以补回来，由于双方的交往是长期多次的，采用无偏估计，总的来说是互不吃亏。然而不幸的是，无偏性有时并无多大的实际意义。这里有两种情况，一种情况是在一类实际问题中没有多次抽样，比如前面的例子中，厂商和销售商没有长期合作关系，纯属一次性的商业行为，双方谁也吃亏不起，这就没有什么“平均”可言。另一种情况是被估计的量实际上是不能相互补偿的，因此“平均”没有实际意义，例如通过试验对某型号几批导弹的系统误差分别做出估计，既使这一估计是无偏的，但如

12、果这一批导弹的系统误差实际估计偏左，下一批导弹则估计偏右，结果两批导弹在使用时都不能命中预定目标，这里不存在“偏左”与“偏右”相互抵消或“平均命中”的问题。我们还可以举出数理统计本身的例子来说明无偏性的局限。Example 6.15 设服从参数为的泊松分布，为的样本，用作为的估计，则此估计是无偏的。因为但当取奇数时，显然用它作为的估计是不能令人接受的。为此我们还需要有别的标准。二、 最小方差性和有效性(Minimum Variance and efficiency) 前面已经说过，无偏估计量只说明估计量的取值在真值周围摆动，但这个“周围”究竟有多大？我们自然希望摆动范围越小越好，即估计量的取值

13、的集中程度要尽可能的高，这在统计上就引出最小方差无偏估计的概念。Definition 6.2 对于固定的样本容量，设（）是参数函数的无偏估计量，若对的任一个无偏估计量（）有则称（）为的（一致）最小方差无偏估计量，简记为(Uniformly Minimum Variance Unbiased Estimation)或者称为最优无偏估计量。(For stationary sample capacity ，let （）is a unbiased estimator of parameter function，if for any unbiased estimator of （）,such thatt

14、hen call （）is a Uniformly Minimum Variance Unbiased Estimation of ，is abbreviated for .)从定义上看，要直接验证某个估计量是参数函数的最优无偏估计是有困难的。但对于很大一类分布和估计来说，我们从另一个角度来研究这一问题。考虑的一切无偏估计，如果能求出这一类里无偏估计中方差的一个下界（下界显然存在的，至少可以取，而又能证明某个估计能达到这一下界，则当然就是一我们来求一下这个下界。下面不妨考虑总体为连续型的。（对于离散型的，只须做一点相应的改动即可），简记统计量（）为，样本的分布密度为；积分为又假设在以下计算中，

15、所有需要求导和在积分号下求导的场合都具有相应的可行性。今考虑的一个无偏估计，即有两边对求导 (6.5)又 上式两边对求导 （6.6）式（6.5）加上式（6.6）乘以-上式改写成用柯西一许瓦尔兹（Cauchy-Schwarz）不等式，即得 (6.7)其中 （6.8） （6.9）由式（6.7）-式（6.9）即得著名的克拉美-劳（Cramer-Rao）不等式（简称-不等式）: (6.10)注意到独立同分布，则由以及当时，利用式（6.6）可得其中=称为费歇信息量(information quantity)，于是式（6.10）可简写成 （6.11）式（6.11）的右边称为参数函数估计量方差的-下界(lo

16、wer limit)。还可以证明的另一表达式，它有时用起来更方便：Definition 6.3 称为的无偏估计量的效率(efficiency)（显然由不等式，）又当的效率等于时，称是有效(efficient)的；若，则称是渐近有效(asymptotically efficient)的。(Call is efficiency for unbiased estimator of（obviously by inequality，）When efficiency of equal，call is efficient；if ，then call is asymptotically efficient.)

17、显然，有效估计量必是最小方差无偏估计量，反过来则不一定正确，因为可能在某参数函数的一切无偏估计中，找不到达到下界的估计量。我们常用到的几种分布的参数估计量多是有效或渐近有效的。从下面的例子，我们可以体会出验证有效性的一般步骤。Example 6.15 设总体，为的样本，则的无偏估计是有效的，的无偏估计是渐近有效的。证 () 由例6.13,6.14知,分别是和的无偏估计。() 计算,易知 又由定理5.3，从而(iii) 计算故又故（iv） 计算效率（） 故是的有效估计，是的渐近有效估计。Example 6.16 仍考虑例6.12中泊松分布参数的矩估计量=的有效性（由于不是无偏估计，不考虑其有效性

18、）。注意，对离散型总体，在考虑费歇信息量时用概率分布来取代概率密度，故有故从而效率它是有效的，从而也是最小方差无偏估计量。6.3 区间估计(Interval Estimation)一、 区间估计的一般步骤(General step of interval estimation)我们在讨论抽样分布时曾提到过区间估计。与点估计不同的是，它给出的不是参数空间的某一个点，而是一个区间（域）。按照一般的观念，似乎我们总是希望能得到参数的一个具体值，也就是说用点估计就够了，为什么还要引入区间估计呢？这是因为在使用点估计时，我们对估计量是否能“接近”真正的参数的考察是通过建立种种评价标准，然后依照这些标准进

19、行评价，这些标准一般都是由数学特征来描绘大量重复试验时的平均效果，而对于估值的可靠度与精度却没有回答。即是说，对于类似这样的问题：“估计量在参数的邻域的概率是多大？”点估计并没有给出明确结论，但在某些应用问题中，这恰恰是人们所感兴趣的，如Example 6.13 某工厂欲对出厂的一批电子器件的平均寿命进行估计，随机地抽取件产品进行试验，通过对试验的数据的加工得出该批产品是否合格的结论？并要求此结论的可信程度为95%，应该如何来加工这些数据？对于“可信程度”如何定义，我们下面再说，但从常识可以知道，通常对于电子元器件的寿命指标往往是一个范围，而不必是一个很准确的数。因此，在对这批电子元器件的平均

20、寿命估计时，寿命的准确值并不是最重要的，重要的是所估计的寿命是否能以很高的可信程度处在合格产品的指标范围内，这里可信程度是很重要的，它涉及到使用这些电子元器件的可靠性。因此，若采用点估计，不一定能达到应用的目的，这就需要引人区间估计。区间估计粗略地说是用两个统计量，（）所决定的区间，作为参数取值范围的估计。显然，一般地这样说是没有多大的意义的，首先，这个估计必须有一定的精度，即是说-不能太大，太大不能说明任何问题；第二，这个估计必须有一定的可信程度，因此-又不能太小，太小难以保证这一要求。比如从区间1，100去估计某人的岁数，虽然绝对可信，却不能带来任何有用的信息；反之，若用区间30，31去估

21、计某人的岁数，虽然提供了关于此人年龄的信息，却很难使人相信这一结果的正确性。我们希望既能得到较高的精度，又能得到较高的可信程度，但在获得的信息一定（如样本容量固定）的情况下，这两者显然是不可能同时达到最理想的状态。通常是采取将可信程度固定在某一需要的水平上，求得精度尽可能高的估计区间。下面给出区间估计的正式的定义。Definition 6.4 对于参数，如果有两个统计量,，满足对给定的，有则称区间，是的一个区间估计或置信区间(Confidence Interval)，分别称作置信下限(Confidence lower limit)、置信上限(Confidence upper limit)，称为

22、置信水平(Confidence level)。(Suppose is a estimator of ，if for any given ，such thatthen call is coincidence estimation of .)这里的置信水平，就是对可信程度的度量。置信水平为1-，在实际上可以这样来理解:如取，就是说若对某一参数取100个容量为的样本，用相同方法做100个置信区间。，=1,2,100,那么其中有95个区间包含了真参数因此,当我们实际上只做一次区间估计时，我们有理由认为它包含了真参数。这样判断当然也可能犯错误，但犯错误的概率只有5%.下面我们来讨论一下区间估计的一般步骤

23、。10 设欲估参数为，先取的一个点估计，它满足两点：一是它较前面提出的标准应该是一个“好的”估计量，二是它的分布形式应该已知，只依赖未知参数20 所求的区间考虑为的一个邻域,(或者等等)，使得对于=1- (6.22)且一般要求尽可能小。为确定，须用解不等式的方法将(6.22)式中的随机事件变成类似于下述等价形式： （6.23）其中，为可逆的的已知函数,的分布与无关且已知，一般其分位点应有表可查，这是关键的一步。于是就可得出，为某个分位点,如，.0 从，的表达式中解出即可。区间估计涉及到抽样分布，如节5.4.5中所述,对于一般分布的总体,其抽样分布的计算通常有些困难，因此，我们将主要研究正态总体

24、参数的区间估计问题。二、 单个正态总体参数的区间估计设为的样本，对给定的置信水平，我们来分别研究参数与的区间估计。Example 6.14 在上述前提下，求的置信水平为的区间估计。Solution 考虑的点估计为，确定使且使区间长尽可能小。下面分两种情况） 已知，变换事件，使表成式（6.23）的形式：这里，为使，又要尽量使最小，亦即使最小，如图6-1，从密度函数的特点来看（对称、原点附近密度最大，往两边密度减小），只有取，即，从而所求的区间是 （6.24）图6-1）未知，将事件变换成式（6.23）的形式：其中由例6.14知，为使，且区间尽量短，与情形一样,只有取因此所求区间为 （6.25）Example 6.15 在上述前提下求的置信水平为1-的区间估计。Solution 的点估计量为，注意到，考虑，及的邻域，使变换事件由定理5.3（）知，故为使，通常取于是，所求区间为这里要使区间最短，计算太麻烦，因此，在取分位点时采用类似主对称型分布的取法，使密度函数图形两端的尾部面积均为（如图6-2）。图6-2Example 6.16 一批零件尺寸服从，对进行区间估计（未知）,要求估计精度不低于2，置信水平保持为，问至少要抽取多少件产品作为样本？Solution 显然，此处要求由例6.24，故 （6.26）式（6.26）不是的显式，但对于具体数值，可采取“试算法”来确定