充分统计量的证明方法及几个重要定理.doc

充分统计量的证明方法及几个重要定理 刘冬喜 ( 湖南娄底职业技术学院计算机系 湖南娄底 417000）摘要:本文讨论了充分统计量的充分性,给出了统计量的充分性的两种主要证明方法,介绍了几个重要的定理,它们可以用来间接地证明统计量的充分性. 关键词:统计量;充分统计量;因子分解定理;统计结构;Fisher信息Proof method of Sufficient statistic and several important theorems Liu Dong-xi（Loudi Vocational and Technical College，Loudi Hunan 417000）Abstract: In this paper，we discuss the sufficient statistic sufficiency and the two main proof methods to statistic sufficiency. Several important theorems are introduced and they may be used to prove the sufficiency of statistic indirectlyKey words: Statistic, sufficient statistic, factoring theorem, statistical structure, Fisher information一、统计量与充分统计量统计量是样本的函数，定义在可测空间(X, ,B)上的统计量T=T(x),实际上是对样本X=(X1,Xn)进行某种加工和提炼的结果，把样本中所含的总体的相关信息集中起来，针对不同问题构造出样本的适当函数，这种加工从本质上体现了统计量压缩数据的功能.从直观上看，样本的不同的观察值，统计量T可能有相同的值，如：样本均值和样本方差不会随样本观察的排列顺序的改变而改变，这体现了统计量的“压缩数据”的功能.从理论上看，若T是在（T,C）上取值的可测映照，那么对代数C中任一元素c在B中都有一个原像T1(C)=x：T（x）CB .把所有原像的全体记为T1(C)=T1(C):CC B。 容易验证：T1(C)是代数，并且是B的子代数.这表明,有了统计量T之后,原先样本所涉及的可测空间(X, ,B)换为另一个新的可测空间(X, , T1(C),差别在于代数缩小了，涉及到的事件减少了.只有在T是一对一映照时代数才不能被压缩,统计中应用的统计量T=T(x)常常是多对一映照, 代数缩小了几乎是肯定的。所以一般说来，任一个统计量都有压缩数据的功能,只是程度不同罢了。但是压缩不能过分,否则会抹杀了样本之间的重要差别,造成信息损失。在统计中把不损失信息的统计量称为充分统计量。1充分统计量是建立在统计量基础之上的,要求统计量的充分性。统计量的充分性是统计中最重要的基本概念之一.它是R.A.Fisher于1922年提出的,但充分性的严格叙述和证明是Halmos和Savage在1949年完成的.“不损失信息”的统计量就是充分统计量，这是一种模糊的说法，下面给出“不损失信息”的明确的数学涵义。设总体X服从某个分布P(x),为了对参数作统计推断,需要从该总体中抽取一个样本X=(X1,Xn),样本X中含有的信息,显然,对样本X加工不可能增加信息,不减少的信息就是最好的了.由样本X可算出统计量T，假如能由统计量T的值恢复样本，那么这种统计量就不会损失有关的信息。要做到这一点，关键要在给定T=t下，样本X的条件分布不依赖于，即有P（X=xT=t）=P（X=xT=t）。由以上分析知，在对样本的加工过程中，一个统计量“不损失信息”的数学描述是“在T取任一个值时，样本的条件分布不依赖于未知参数”，但允许T的一个零测集有例外，由此可给出充分统计量的一般定义。定义11:设(X, ,B, P) 是一个统计结构,又设T=T(x)是(X, ,B)到(T,L )的一个统计量, PT是T的诱导分布,假如在PT的零测集外,T取任一个值t时,样本X=(X1,Xn)的条件分布都不依赖于,即对任意的和BB,有P（Bt）= P（Bt）, a.s.PT 则称T为该分布族(或参数)的充分统计量.二、充分统计量的证明方法怎样去验证一个统计量的充分性呢?主要有两种方法:一是定义法;二是因子分解法.上面给出了充分统计量的一般定义,注意当样本空间X,为欧氏空间,分布族P =P:是受控的场合下,上定义中的条件分布可用条件密度函数替代,如在离散分布族时，T是充分统计量的充要条件是: P(X1=x1,，Xn=xnT=t)=P（X1=x1,，Xn=xnT=t)；在连续分布族时，T是充分统计量的充要条件是:P(x1,，xnt)=P（x1,，xnt)，a.s. PT 其中P(x1,xnt)是在给定T=t下，（X1，Xn）的联合条件密度函数.所谓定义法,就是对任意的和BB，先求出P(Bt)，若其与无关,则可判定其是充分统计量,否则不然.例1.设总体X B(1，p)，其中0p1为未知参数，是总体X的样本,证明:统计量T= 是参数p的充分统计量.证明:由题知,样本空间X, =（x1，Xn）T ：xi=0,1;1in共有 2n个样本点.显然,T B(n，p),当T=t时,样本的条件分布为:PX1=x1,Xn=xnT=t) =即条件分布P（x1,，xnT=t)不依赖于参数p,所以T是参数p的充分统计量.在最一般的场合,确定条件分布并非易事,它需要从抽象的条件期望与条件概率的定义上出发逐步地探讨.当费希尔(R.A.Fisher)最先提出充分统计量这一概念后,奈曼(J-Neyman)发现了一个统计量为充分统计量的准则,也称为因子分解定理,它是一个更为方便地判别充分统计量的方法4.这个判别法的简单情况由Cramer证明,一般情况是Halmos和Savage在1949年证明的1.定理1(Fisher-Neyman准则)2设X1,Xn是来自总体X的样本,f(x;)是X的概率密度, 为未知参数,则统计量T(X1, ,Xn)为的充分统计量的充分必要条件是f(xi,)=h(x1, ,xn)K(T(x1, ,xn), ) ,(a.s.)其中h是x1, ,xn的非负函数且不依赖于;K仅通过T依赖于x1, ,xn ,也与有关.理解应用注意点:(1)此定理表明,在充分统计量存在的场合,要寻求某类总体分布f(x;)中的未知参数的充分统计量,当且仅当来自这一总体的样本X1,Xn的样本分布可分解为两个因子的乘积,其中一个因子仅含样本值x1, ,xn,而另一个因子仅含 以及样本值x1, ,xn的某个函数T(x1, ,xn);(2)如果总体X为离散型随机变量,只需用概率函数P(x;)替换概率密度f(x;),定理的结论仍然成立;(3)若为参数向量,T为取向量值的统计量,则T为的(联合)充分统计量.即使和 T为同维向量,也不能由T是的联合充分统计量得出T的第i个分量是的第i个分量的充分统计量,如下面例2.下面用因子分解定理再证明例1.样本的联合概率函数为:PXi=xi=Pxi (1-P)1-xi= 令T(x1, ,xn)=,h(x1, ,xn)=1,k(T,P)=,则PXi=xi=k(T,P)h(x1, ,xn)由因子分解定理知,T=为P的充分统计量. 例2.设X=(X1,Xn)是来自正态分布N( ,)的一个样本,其样本的联合密度函数为fxi; =-=-2+由因子分解定理知, ,是(,)的(联合)充分统计量.但不可说是的充分统计量, 是的充分统计量,因为在估计时,仅用是不够的,在估计时,仅用也是不够的.1三、几个重要定理定理2.设T=T(X1,Xn)是的充分统计量,是t的单值可逆函数,则也是的充分统计量3.此定理说明的充分统计量不是唯一的,从而还可以进一步去探讨最小充分统计量.定理3.设(X, ,B,P )为统计结构,X 为欧氏空间,则次序统计量为该分布族P 的充分统计量.1此结论显然.若n次试验都在相同条件下独立进行,我们只需知道n次试验的结果是什么,而试验结果的排列次序无关紧要,特别,当人们知道次序统计量的观察值时,并没有损失样本中任何有用的信息.定理4.充分统计量的一对一变换仍是充分统计量1.从直观上看来,任何一对一变换都不会损失信息,因为它能轻而易举地恢复原来充分统计量的取值.定理5.设总体X的分布函数F(x; )中仅含一个未知参数 ,若T=T(X1,Xn)为的充分估计量,则似然方程的解是充分估计量T的函数2.由因子分解定理知:于是从而的解必为T的函数。此定理说明的极大似然估计量(MLE)常是充分统计量的函数,有可能是的充分估计量,体现了MLE的优良性.定理6.设P ，是Cramer-Rao正则族,其Fisher信息存在,记为I(),又设T(x)是该统计结构上的统计量,其Fisher信息存在,记为,则 ，且，的充要条件是T(x)是的充分统计量1.这是充分统计量的一个重要性质,体现了充分统计量不流失参数的信息.以上这些定理为验证一个统计量是否为充分统计量提供了新的方法,拓宽了思维途径,开阔了视野,有待我们进一步研究探讨.参考文献:1茆诗松、王静龙、濮晓龙.高等数理统计M. 北京:高等教育出版社,2006,5：50-103.2施雨.应用数理统计M. 西安:西安交通大学出版社,2005,