点估计理论 第二章.doc

第二章 无偏性2.1 UMVU估计在1.1节中已经指出，具有一直最小风险的估计一般都是不存在的，克服这个困难的一般方法就是把我们的考虑范围限制在那些具有某种“公平”性质的估计。作为第一个这样的限制，我们将在这一章研究无偏性（umbiasedness）。定义1.1 的一个估计称为无偏的，如果它满足下列条件 （1.1）当重复使用时，无偏估计可视为在平均意义下估计了正确值。这是一个十分诱人的性质，但无偏性的考虑也导致一些问题。首先一点是，g的无偏估计可能不存在。例1.2 无偏估计不存在。设X遵循二项分布b(p,n)，并假设，估计的无偏估性要求满足 （1.2）不难看出，满足上式的是不存在的。例如，随着，上式左端趋于，而右端趋于，但是，1/p的令人满意的估计是存在的，它（对不是太小的n）可以以较大的概率接近1/p如果存在g的一个无偏估计，那么待估计量g称为U-可估（U-estimable）。（一些作者称这样的估计是“可估的”，但是这样会产生一个错觉，似乎任何不具有这个性质的g都不能被准确的估计。）即使在g是U-可估的情况下，也不能保证它的无偏估计是令人满意的。在某些场合下，人们或许更乐于采用具有一些偏差的估计，另一方面，大的偏倚通常是为估计的缺陷，现在有人得到了缩小估计的偏倚的方法。例1.3 刀切法 Quenouille(1949,1956)提出了一个缩小偏倚的方法。Tukey(1958)称之为刀切法。设T(x)是参数的依赖于的估计，T(x)满足条件,定义表示从样本中删去得到的向量。T(x)的刀切统计量定义为 （1.3）可以指出，即偏倚得到压缩。总的看来，无偏性确实是一个诱人的条件，但即使是在找到最优的无偏估计之后，我们也还应对它的性能加以研究，并且不能排除存在具有更小的风险但稍微有偏的估计的可能性。（如见5.4和5.6节，也可见习题1.4）引入无偏性的动机是希望在无偏估计类中存在一个具有一致最小风险的估计。研究这个问题的方法是，就某一个特定的值，寻找估计使风险极小化，然后再看得到的最优估计是否与无关。下面引入无偏估计类的一个明显的性质，该性质是非常有用的。引理1.4 设是的任一个无偏估计，则所有的无偏估计由给出，这里U是零的任一无偏估计，即统计量U满足 为了简单起见，假设损失函数是平方误差。于是，一个无偏估计的风险正是她得方差不失一般性，我们仅限于考虑具有有限方差的估计。若是无偏的，则 故的极小化即可使的方差达到极小。 例1.5 局部最优无偏估计 设X取值范围是-1,0,1，取值概率为 （1.4）这里0p1,q=1-p,考虑估计(a)p和(b)的问题，p和的简单的无偏估计分别是 和 容易验证U是的无偏估计当且仅当习题1.1(b)它满足下列条件， ， 对所有的k=0,1，都成立 （1.5）或等价地U(k)=ak，对所有的k= -1,0,1都成立，此处a为某一常数。这样，求出在点使方程达到极小的无偏估计的问题就归结为求出使 （1.6）达到最小的a值。这些极小值在(a)和(b)两种情况下分别是(习题1.2) 由于不依赖于，估计而且对所有的p，使方差在所有的无偏估计类中达到极小。另一方面，依赖于，它的方差只在处达到极小。换句话说，只有当时，(它依赖于)的方差才在p的无偏估计类中达到极小值。和的性质可用下列定义来刻画。定义1.6 的一个无偏估计称为的一致最小方差无偏估计(UMVU)，若它满足对一切成立，其中是的任一无偏估计。的无偏估计称为的在处的局部最小方差无偏估计(LMVU)，若它满足，其中是的任一无偏估计。利用定义1.5在例1.5中我们已经指出是UMVU而只是LMVU，由于依赖于的UMVU是不存在的。在定义1.5的原文中，UMVU前加了定冠词”the”，这表明UMVU估计是唯一的（习题1.12），在翻译时很难把这一点表述清楚。特此说明，Barankin (1949)和Stein(1950)研究了LMVU估计的存在性，唯一性和特征。若把解释为和的距离，则使该距离达到极小化的可解释为向由0的无偏估计全体所形成的线性空间U上的投影。于是，由线性空间理论中的投影定理，可以得到关于LMVU估计的令人满意的结果(如见Bahadur1957和Luenberger 1969)。当的无偏估计存在时，利用的无偏估计和零的无偏估计之间的关系有助于确定其UMVU估计。注意，若是的一个无偏估计，则的无偏估计的通式就是，其中a为任意常数，U为任意零的无偏估计，并且还有若对任一成立，我们将指出必存在一个a值，使得。这样，与零的无偏估计的协方差是解决UMVU估计存在性的关键。在下面的定理中，我们只将关注具有有限方差的估计，否则便没有使方差极小化的问题。记满足对所有的成立的估计所形成的类为。定理1.7 设X具有分布是的一个成员，并记U为中的所有零的无偏估计之集合，那么是其自身期望的一个UMVU估计的充要条件是 ， 对所有的U和所有的成立 （1.7）（注意，由于，对所有的U成立，故，因此（1.7）等价于与每一个U不相关。）证明 (a)必要性。 假设是的UMVU估计，固定U和，并对任一实数，令，则也是的无偏估计，且 ，对所有的成立展开左端项，我们可得 ，对所有的成立由二次三项式的性质，易见上式只有当时才可能成立。 （b）充分性。 假设对所有的U成立，为证明是UMVU估计，设是的任一无偏估计。若，则不需证明，故假设，这时U（习题1.8），且 因此。由于和具有相同的期望，故 由协方差不等式（习题1.5），我们得到。由定理1.7的证明可以看出，条件（1.7）仅对成立时，它是满足的估计在点为LMVU估计的充要条件。这个结果也可以从前面提到的LMVU估计的特征得到。根据LMVU估计的特征，应该具有形式，这里是g的任一个无偏估计，是向U的投影，若解释为与的正交性，则由投影的性质知，与U正交，即对所有的U成立。若估计是MUVU的