第八章经典估计理论1 -2

1、1第八章第八章 经典估计理论经典估计理论n本章重点：1、Bayes估计、最大后验估计和最大似然估计三个经典估计准则的内容及应用。2、估计量的性质:无偏性、一致性、充分性和有效性。n本章难点：运用估计准则求参数估计并分析其性质28.6 估计量的性质估计量的性质 前面已经讨论了几种构造估计量的方法。 既然对于同一个未知信号参数，可用多种不同的方法来构造估计量，可能产生不同的结果，这就涉及到评价估计量性能的标准。 本节讨论估计量的性质，给出衡量估计量逼近给出衡量估计量逼近真值程度的一些度量真值程度的一些度量。实质上就是评价估计量好坏的一些性能指标。其目的是了解估计量和更好地选用估计量。38.6.1

2、无偏性无偏性 n由于样本的随机性，对于个别样本，其估计值可能偏大或偏小。然而一个好的估计量，从平均值来看，应该等于被估计参数。即 作为一个随机变量，它所取的值应集中在未知参数的真值或均值附近。 n如果估计量估计量 的均值的均值(数学期望数学期望)等于被估计等于被估计参量参量 的均值的均值，则称此估计量具有无偏性，则称此估计量具有无偏性，为无偏估计量，数学表达式为）（）（EE）（E）（ En若被估计参量为确定的，即 ，则无偏性可表示为 4n无偏性是一个所期望的性能，但是有时候一个有偏的估计量也可能是非常有用的，如果它具有渐近性的话。 n若 满足关系式 （其中 n为样本数），则称为渐近无偏估计渐近

3、无偏估计。n“渐近”一词是指样本数n趋向无限大时的极限性能。 ）（ limEnn若 不等于 ，则称 为有偏估计量，差值 称为估计量的偏差或偏量。估计量的偏差或偏量。 n估计量的无偏性保证保证了估计值总是分布在被估计量的均值附近，是估计量应具有的一种良好性质。 ）（ E ）（）（Eb58.6.2 一致性一致性 n对于一个好的估计量，当样本数无限增大时，其值便趋近于被估量的真值。 n设 是未知参数 的估计量，当观测样本数 时，估计量 依一定概率收敛于被估计参量 ，则称 为 的简单一致估计量简单一致估计量。 n即对任意给定的 ，有 n或等价于 n nn n 01limnnP0limnnP6n可以看出

4、，简单一致估计量随着观测样本数的随着观测样本数的增加而变得更好增加而变得更好，即估计误差 的绝对值为任意小的概率，随着n的增加而趋近于1。 n若随着接收样本数n的增加，估计均方误差的极限 则称 为 的均方一致估计量均方一致估计量。 n0lim2）（nnEn 若 为无偏估计量，则 即估计误差为零均值估计误差为零均值。0）（）（）（）（EEEEnnn 的方差就是其均方误差，即22）（）（nEE7一致估计的特点一致估计的特点是：估计量的性质与渐近是：估计量的性质与渐近无偏估计量一样，与观测样本数目有关。无偏估计量一样，与观测样本数目有关。随着随着n的增大，估计值的概率密度分布必的增大，估计值的概率密

5、度分布必然越来越集中于真值的附近。然越来越集中于真值的附近。这就是通过这就是通过重复测量来减小测量误差的理论根据。重复测量来减小测量误差的理论根据。均方一致估计表明：随着接收样本数n的增加，均方一致估计量估计误差的方差减小。88.6.3 充分性充分性 n设未知参量的估计量为 。如果似然函数可以分解为下列乘积形式：n其中， 为 已知条件下，估计量 的概率密度函数，函数 与 无关，则称 具有充分性，为充分估计量具有充分性，为充分估计量。n充分估计量的意义的意义是指没有别的估计量可以提供比充分估计量更多的关于被估计参量 的信息。 ）（）（）（xffxf）（f）（xf x （ ）98.6.4 有效性有

6、效性 n在符合一致性和无偏性的估计量中，应选择数值最集中的估计量。估计量 方差越小，说明估计值 相对于被估计值 的偏离程度就越小，就更集中于 的均值附近。 n设 、 为未知参量 的两个无偏估计量，若他们的方差满足不等式 则称 比 更有效。 具有最小方差的无偏估计量称为有效估计量。具有最小方差的无偏估计量称为有效估计量。 1 2 ）（）（21VarVar1 2 10几种性质的特点：几种性质的特点：无偏性是说估计量虽有误差，但在重复观无偏性是说估计量虽有误差，但在重复观测的条件下，测的条件下，估计量总是在参数真值附近估计量总是在参数真值附近随机分布随机分布;有效性则说明有效性则说明估计量接近于真值的程度估计量接近于真值的程度，它实际上给出了估计量误差的理论极限它实际上给出了估计量误差的理论极限;渐近无偏性和一致性则渐近无偏性和一致性则给出了改善估计精给出了改善估计精度度的途径，即通过增加观测样本数的途径，即通过增加观测样本数n来改善来改善估计精度。估计精度。118.7 克拉美克拉美罗不等式罗不等式 (Cramer-Rao) 一个估计量最基本的特征体现在偏差和方差偏差和方差上。精确地表示方差往往是困难的。在这些情况下，希望得到方差(或均方误差)可能达