概率论与数理统计：参数估计

1、第六章 参数估计,点估计 估计量的评选标准 区间估计,参数估计,开篇案例：二战中的点估计德军有多少辆坦克？,二战期间，盟军非常想知道德军总共制造了多少辆坦。德国人在制造坦克时是墨守成规的，他们把坦克从1开始进行了连续编号。在战争过程中，盟军缴获了一些敌军坦克，并记录了它们的生产编号。那么怎样利用这些号码来估计坦克总数呢？在这个问题中，总体参数是未知的坦克总数N,而缴获坦克的编号则是样本。 假设我们是盟军手下负责解决这个问题的统计人员。制造出来的坦克总数肯定大于等于记录的最大编号。 为了找到它比最大编号大多少，我们先找到被缴获坦克编号的平均值，并认为这个值是全部编号的中点。因此样本均值乘以2就是

2、总数的一个估计；当然要特别假设缴获的坦克代表了所有坦克的一个随机样本。 这种估计N的公式的缺点是：不能保证均值的2倍一定大于记录中的最大编号。,开篇案例：二战中的点估计德军有多少辆坦克？,N的另一个点估计公式是：用观测到的最大编号乘以因子1+1/n，其中 n 是被俘虏坦克个数。假如你俘虏了10 辆坦克，其中最大编号是50，那么坦克总数的一个估计是（1+1/10)50=55。此处我们认为坦克的实际数略大于最大编号。 从战后发现的德军记录来看，盟军的估计值非常接近所生产的坦克的真实值。记录仍然表明统计估计比通常通过其他情报方式作出估计要大大接近于真实数目。 统计学家们做得比间谍们更漂亮！,资料来源

3、：GUDMUND R.IVERSEN和MARY GERGRN著，吴喜之等译：统计学基本概念和方法，高等教育出版社，施普林格出版社，2000。,数理统计问题：如何选取样本来对总体的种种统计 特征作出判断。,参数估计问题：知道随机变量（总体）的分布类型， 但确切的形式不知道，根据样本来估计总体的参数，这 类问题称为参数估计（paramentric estimation）。,参数估计的类型点估计、区间估计,参数的估计量,设总体的分布函数为F(x,)（未知），X1，X2，Xn 为样本，构造一个统计量 来估计 参数，则称 为参数的估计量。,将样本观测值 代入 ， 得到的值 称为参数的估计值。,参数估计的

4、两种方法,参数的点估计,点估计的方法：数字特征法、矩法、极大似然法。,样本的数字特征法：以样本的数字特征作为相应总体 数字特征的估计量。,样本的数字特征法：以样本的数字特征作为相应总体 数字特征的估计量。,以样本均值 作为总体均值 的点估计量，即,点估计值,点估计值,以样本方差 作为总体方差 的点估计量，即,例1 一批钢件的20个样品的屈服点（t/cm2）为 4.98 5.11 5.20 5.20 5.11 5.00 5.35 5.61 4.88 5.27 5.38 5.48 5.27 5.23 4.96 5.15 4.77 5.35 5.38 5.54 试估计该批钢件的平均屈服点及其方差。,

5、解 由数字特征法，得屈服点及方差的估计值为,定义 设 为随机变量，若 存在，则称 为 的 阶原点矩，记作 ；若 存在，则称 为 的 阶 中心矩，记作,样本的 阶原点矩，记作,样本的 阶中心矩，记作,阶矩的概念,参数的矩法估计,参数的矩法估计,矩法估计：用样本的矩作为总体矩的估计量，即,若总体X的分布函数中含有m个参数1， 2， ， m， 总体的k阶矩Vk或Uk存在，则,或,或,矩法估计：用样本的矩作为总体矩的估计量，即,例2 设某总体X的数学期望为EX=，方差DX=2，X1， X2，Xn为样本，试求和2的矩估计量。,解 总体的k阶原点矩为,样本的k阶原点矩为,由矩法估计，应有,所以,结论：不管

6、总体X服从何种分布，总体期望和方差 的矩估计量分别为样本均值、样本方差，即,估计值为,例3 设X1，X2，Xn为总体X的样本，试求下列总体 分布参数的矩估计量。,解 （1）由于,（2）由于,所以参数和2的矩估计量为,所以,得参数p的矩估计量为,例3 设X1，X2，Xn为总体X的样本，试求下列总体 分布参数的矩估计量。,解 （3）由于,所以参数的矩估计量为,可见：同一个参数的矩估计量可以不同。所以统计量 存在“优、劣”之分。,或,一阶矩,二阶矩,例4 设总体X服从1， 2上的均匀分布， 12，求 1， 2的矩估计量， X1，X2，Xn为X的一个样本。,解 由于,所以由矩法估计，得,解得,区间长度

7、的矩估计量为,解 由于,所以由矩法估计，得,解得,所以，参数 的矩估计量为,例5 对容量为n的子样，求下列密度函数中参数 的 矩估计量。,三、极大似然估计法,1、极大似然思想 有两个射击手，一人的命中率为0.9,另一人的命中率为0.1,现在他们中的一个向目标射击了一发，结果命中了，估计是谁射击的？,一般说，事件A发生的概率与参数有关，取值不同，则P(A)也不同。因而应记事件A发生的概率为P(A|).若A发生了，则认为此时的值应是在中使P(A|)达到最大的那一个。这就是极大似然思想。,参数的极大似然估计法,思想：设总体X的密度函数为f(x,)，为未知参数，则 样本（X1,X2,Xn）的联合密度函

8、数为,令,参数的估计量 ，使得样本（X1,X2,Xn）落在观测 值 的邻域内的概率L()达到最大，即,则称 为参数的极大似然估计值。,参数的极大似然估计法,求解方法：,（2）取自然对数,其解 即为参数的极大似然估计值。,（3）令,（1）构造似然函数,若总体的密度函数中有多个参数1，2，n，则将 第（3）步改为,解方程组即可。,例6 假设（X1，X2，Xn）是取自正态总体N(,2) 的样本，求和2的极大似然估计量。,解 构造似然函数,取对数,续解,求偏导数，并令其为0,解得,所以，2的极大似然估计量为,与矩估计量 相同,例7 设 是一随机变量， 是它的一个样本。 X 的分布密度如下，求参数 的极

9、大似然估计量。,其它,解：似然函数（当 时）：,由似然方程：,参数 的极大似然估计量为,估计量的评选标准,用不同的估计方法或从不同的角度出发作估计，很有可能 得到不同的估计量，怎么判别出哪一个“更佳”呢？,无偏性,如：设 是一随机变量， 是它的一个样本。,因为,所以样本均值是总体均值的无偏估计量。,因为,为方便起见，记总体均值为 ,方差为,所以样本方差是总体方差的无偏估计量。,所以,与 有相同的 和,估计量的评选标准,因为,所以除样本均值外，总体均值有许多无偏估计量。那么， 当一个参数的无偏估计量不只一个时，怎样判定哪一个更好 呢？,设 是一随机变量， 是它的一个样本,若估计量的方差较大，即各

10、估计值的差异较大，于是，用 一个具体的估计值去代表总体参数时易产生较大的误差。所以 我们从估计量的方差的角度给出另一评选标准。,估计量的评选标准,二. 优效性（有效性）,定义 6.4,设 都是参数 的无偏估计量，若,，即,则称 较 优效（有效）。当样本容量固定时，使,达到最小值的 称为 的优效估计量。,二. 优效性（有效性）,设 是一随机变量， 是它的一个样本,因为,所以，作为总体期望的估计量， 较 更佳。,进一步可证， 是总体期望 的优效估计量。,小 结,参数估计的点估计方法,1、数字特征法：以样本均值、方差作为总体期望、方差 的估计量。,2、矩法估计：以样本k阶矩作为总体k阶矩的估计量。,或,3、求极大似然估计的步骤,(1) Find the L() as a function of x1,x2,xn,(2) Find the log likelihood function lnL()