参数估计的基本理论

1、第3章参数估计的基本理论信号检测：通过准则来判断信号有无；参数估计：由观测量来估计出信号的参数；解决1）用什么方法求取参数，2）如何评价估计质量或者效果严格来讲，这一章研究的是参数的统计估计方法，它是数理统计的一个分支。推荐两本参考书高等教育出版社数理统计导论，NonlinearParameterEstimation。我们首先从一个估计问题入手，来了解参数估计的基本概念。3.1 估计的基本概念3.1.1 估计问题对于观察值X是信号s和噪声n叠加的情况:x=s：广n其中e是信号s的参数，或日就是信号本身。若能找到一个函数f（x）,利用f（X,X2,|xN）可以得到参数日的估计值8,相对估计值日，

2、日称为参数的真值。则称f（X）,X2,|“XN）为参数日的一个估计量。记作日=f（Xi,X2,ltlXN）。在上面的方程中，去掉n实际上是一个多元方程求解问题。这时，如果把n看作是一种干扰或摄动，那么就可以用解确定性方程的方法来得出f（x）o但是我们要研究的是参数的统计估计方法，所以上面的描述并不适合我们的讨论。下面给出估计的统计问题描述。（点估计）设随机变量x具有某一已知函数形式的概率密度函数，但是该函数依赖于未知参数日，日WC,C称为参数空间。因此可以把x的概率密度函数表示为一个函数族p（x；e）。Xi,X2，Xn表示随机样本，其分布取自函数族p（x）的某一成员，问题是求统计量e=f（X,

3、X2,IHXN）,作为参数日的一个估计量以上就是用统计的语言给出的参数估计问题的描述。关于“统计量”的定义：不依赖于未知参数的一元（或多元）随机变量的函数。统计量的两个特征：1,随机变量的函数，因此也是随机变量；2,不依赖于未知参数，因此当我们得到随机变量的一组抽样，就可以计算得到统计量的值。例3-1:考虑由x=s+ni(i=1,2，H|,N),给定的观测样本。其中s是未知参数，Q为噪声，取自分布n(0e2)。容易得到x服从分布n(s,o2),s的一个估计值是：1?二f(Xi,X2,H|Xn)(XiX2IIIxn)N如果o；未知，则它的一个估计量为：21N,2,1N4=不、(Xk-)2,X=U

4、、XkNkjNkd有时估计结果会以这样的形式给出：s以95%的置信度位于区间(?-tc?n,s+tc?n)中。我们称其为区间估计。区间估计量也可以直接计算得到，而不必先计算点估计量。当我们以某种函数形式给出估计量以后，是不是任务就结束了呢？还有一个任务是：建立一些准则或者性能指标来评价估计的质量。3.1.2 估计的偏差和无偏性若9是参数0的估计值，则定义估计的偏差为：bQ=E(6)-0(3-1)即估计值的均值与真值的差。若估计偏差b日=0,即E(9)=8,则估计是无偏估计。这里隐含假定E(的是存在的。无偏性定义：定义：日是8的一个无偏估计，若日在所有可能的样本范围内的平均值等于日的真值，即e日

5、=e(3-2)称为无偏估计，否则ee#日为有偏估计。在有偏估计中，如果随着样本数N的不断增大，偏差b目趋向于0,即:limb.=0则该估计称为渐进无偏估计N_.让我们分析例3-1的无偏性，注意数学期望是一个线性算子Es=EX=：E%EXn1_，一=ILSEn1MSEnN1=s-N|_EnHIEAn如果噪声n是零均值的，即E(n1+HI+E(nN)=0,或对所有i有E(n)=0,则S是s的一个无偏估计,1N,匕=一xk对于N=1N匕=:xk。但NkmN.从数理统计这门课，我们知道样本方差?(xk-)2,N1N方差二：是有偏的，因为无偏估计量是/gas(Xk-x)2,N-1km是样本方差是渐进无偏

6、的直觉上，一个好的估计量应当具有无偏性，但是实际上完全的无偏性通常是达不到的，只能希望小的偏差。而且估计的偏差也不是特别地的重要，因为估计误差不仅仅是偏差。估计的偏差和估计误差不是一回事，偏差只代表估计量的系统误X1,也都是s的无偏估计量，系统误差都为零。接下来，要研究估计误差的另一个性质一一估计的方差，它反映了估计量的随机误差大小。3.1.3 估计的方差和Cramer-Rao(克拉美-劳)不等式估计的方差：)dx=1根据：p(X)=,p(Xu)：p(Xu).二；:lnp(XU).有：,p(X).p(X与(-u)dx=1JctJ二厂：lnp(Xu)根据Schwarz不等式得：2-.2-p(X0

7、)dxf(9-9)p(X日)dx之1即：口(9-0)2p(X|9)dx1二flnp(X)2.12P(XI)dxJctl由于E则有:_2-?=Ej=E(6_32=,1(8-0)2p(X|6)dxElnp(X)二二：lnp(X1)2p(X8)dx所以（3-3）的不等式成立同时，当且仅当flnp(X)c6p(X|)=K(u)p(X三)()KQ)(1-二)其中k（9）是与参数日有关而与观测值x无关的系数时，（3-3）的等式成立。定理给出了无偏估计最小方差的计算公式。克拉美-劳下界与N的关系。定义随机变量z=lnpX产N=kdflnp为尸c0产/白d印(为ainp(Xi|6)p(Xia)dx=1,=-p

8、(Xi|e),g、z严加(x|e)dlnp(Xi|e)gdlnp(xe)所以有isI，dXi=0,E(i1)=1p(Xi0)dXi=0从而z为一组零均值且相互独立的随机变量的和，其方差住inp(X|e)二E演J1L03叫2=neIceJ“dinp(X|6)jI国j因此，克拉美一劳下界与1/N成正比。3.1.4估计的有效性上面介绍了估计量的偏差和方差。下面介绍估计的另一个性质一一有效性。我们在科研工作当中，经常会用到“精度”或者“精确性”这样的词汇。那么怎样来评价估计量的精度呢？显然，合理的评价方法应该是综合考虑偏差和方差，下面给出均方误差Dg的定义:均方误差：d8=e|(e-e)注意它与方差的

9、区别。估计的均方误差和方差、偏差存在如下关系：(3-5)=Ep-E(9)j+2EW-E(9)XE(9)-9J+EE(H)T上式中的第一项就是方差吗,第三项则是b2(数学期望就是自身)。注意E(B)本身是日的函数，与日一样都可以是随机变量；第一项和第三项也不一定是相互独立的。ej(e-E(6)xe-e，=(e-e)E(e-E(6)=0,则中间等于0所以式(3-5)成立。证毕。方差。2越小，每次估计值日相对于E(e)就越集中偏差%越小则数学期望e(e)就越接近真值e。原版的克拉美-劳定理中不要求是无偏估计，并且日为矢量，方差仃亮的克拉美-劳下限是PR,P丁，官方的名字叫MVB(MinimumVar

10、ianceBound),其中P=cE(?)/c0,R=E91np(x|8)/演)(dlnp(x|日如果用一种方法得到的估计值的方差小于用其它任何方法得到的方差，则称这种估计为有效估计。若又是无偏估计，则称为均方误差最小估计。_2二？MVB若T小于1,就说日1比日2更有效。一T-称为估计的效率。二a二？例3-2:一观测过程由x(n)=A+v(n)定义，其中A是一未知的常量参数，而c1Nv(n)是高斯白噪声，均值为零，方差为仃2。若参数估计值A=，x(n),求其估计N恒方差的C-R下界。解：容易得，A是无偏估计量，所以可以用定理1计算C-R下界。由于v(n)为零均值的高斯分布，而A为常量，所以x(

11、n)=A+v(n)也为高斯分布，其均值为A,于是随机样本x(1),x(2),|,x(N)的联合概率密度函数为:N1Px|A-=2expn1,2二；12N/221?.2exp-|xn-A2n1似然函数Inp(x|A)关于未知参数A的一阶导数为Elnp(x|A)=_a|_|n；:A一FA.2N/22-12二2N2二|_xn-An11 .N彳_Xn-A上式再对A求导得:2 .二1npx|AN2:A二_2最后得：C；,N_2即估计量A的估计方差的C-R下界为J。N.:A与观测值x无关的正函数)61np(X1A.A,看成K(他_e)满足定理条件(k(e)是一1N因此A=1x(n),是A的有效估计。Nn4

12、3.1.5 充分估计由充分统计量的函数构成的估计，称为充分估计。充分统计量：设X代表一组随机样本x(1),x(2),|,x(N),其概率密度函数为p(X|9),P=f(X)为随机样本构成的统计量，如果满足下列条件则称P为充分统计量，p(X|0)=q(X,P)s(P,9),其中q(X,P)是给定P为某一固定值时与日无关的函数，s(P,=0则称估计量e（xj是一致估计量（收敛的）卜日俑）一日）（均方收敛的）或者如果当估计的样本nt8时，估计的均方误差DT0,即（3-6）称日是参limEN_.;数6的一致估计，或均方一致估计由式（3-5）可知limb_=0N_.所以一致估计才是好的估计。定理：如果日是参数日的一个无偏或渐进无偏估计，且随着观测次数N趋于无穷,估计的方差阵也趋于零即iimE9-E（e）e-E（e）lT=o,则日是参数e的一致估计。渐进有效性：一致估计量日如果依概率1有下式成立,21imN（%-R）=0。这说明估值方差及最小方差下界随着1/N趋向于003.1.7 估计的其它性质鲁棒性：估计结果受概率分布形状的影响较小。我们在