信号检测与估计

.,Chapter6,ParameterEstimation,成员：董春波马和峰李聘婷,.,目录,6.1最大似然估计6.2广义似然比检验6.3优良估计评价标准6.4贝叶斯估计6.5Cramer-Rao不等式6.6多参数估计6.7最佳线性无偏估计6.8最小二乘估计6.9递归最小二乘估计,.,序言,在第5章中，我们学习了关于检测理论的问题，主要是解决在M个可能的假设中来确定哪个假设是正确。本章主要介绍假设接受的信号是正确的，但是有些相关联的参数是未知的，主要的目的就是利用有限的样本参数用最佳的方式估计这些参数。令Y1，Y2，.，YK为K个独立同分布的随机变量Y的样本，其密度函数取决于未知参数。y1，y2，.，yK为样本Y1，Y2，.，YK所对应的值，函数g（Y1，Y2，.，YK）用来估计参数。表示为称为参数的估计。通常，估计的参数可以是随机的或非随机的。随机参数的估计被称为贝叶斯估计，而非随机参数的估计被称为最大似然估计（MLE）。,.,6.1最大似然估计,如在前面的函数中所提到的，通常用最大似然（ML）估计来估计非随机参数。令Y1，Y2，.，YK具有样本值y1，y2，.，yK的随机变量Y的K个观测值，并且这些随机变量是独立同分布的。令表示随机变量Y的条件密度函数。Y的密度函数取决于需要估计的参数，记最大似然函数为L()，式6.1.1(6.1.1)似然函数最大的值称为的最大似然估计量。为求最大似然估计量，我们利用数学中所学的微积分。为了计算简单，利用对数函数，由于对数函数lnx是关于变量x的递增函数，由第五章可知最大化L()与ln(L()等价。可以用最大似然函数的对数函数式求解，对参数求导数可以求的最大似然估计量。如式6.1.2(6.1.2)不变性：令L()是的似然函数,并且g()是参数一一对应的函数，即g(1)=g(2)1=2如果是参数的最大似然估计量，则是g()最大似然估计量。,.,6.1最大似然估计,Examle6.1,thereceivedsignalunderhypothesesH1andH0was(a)Assumingtheconstantmisnotknown,obtaintheMLestimateofthemean.(b)Supposenowthatthemeanmisknown,butthevariance2isunknown.ObtaintheMLEof=2.在第五章中，是确定假设中的那个假设是真的。而在本章中，假设H1是真的，参数是未知的需要用最大似然估计来估计。(a)在例题中需要确定的参数对应为，mM,由于样本参数是独立同分布的，由式6.1.1得似然函数：,.,6.1最大似然估计,等式两边同取对数得,利用式6.1.2解似然方程得到似然估计得,得到。Thus,theMLestimatoris,.,6.1最大似然估计,(b)最大似然估计式为,方程两边取对数得,其中对lnL(2)最大化等价于对2最小化,由似然函数的不变性得,.,6.1最大似然估计,因此，2的最大似然估计为,.,6.2广义似然比检验,在例5.9中，我们解决了复合假设检验问题。参数m在假设H1下虽然已知m是正或负，但是值是未知。当m仅为正值（仅为负值）时，在UMP测试，判决规则为,m0时,m0。因此，上式等价于下式,判决门限图如图6.2.1,Figure6.2.1Decisionregionsofthegeneralizedlikelihoodratiotest,设定期望的失警概率，可以确定1的值。在得到失警概率PF的表达式之前，我们需要确定Z的密度函数。,.,6.2广义似然比检测,在假设H0下Y的均值为零和方差2，所有的观察数据都是统计独立的高斯过程。因此，的密度函数均是均值为零和方差K2的高斯过程。因此，Z也是具有均值为零和方差2的高斯过程。,失警的概率为，如图6.2.2所示,Figure6.2.2DensityfunctionofZunderH0.,.,6.2广义似然比检验,从上面可以在没有m的失警概率中确定1的值。然而，检测的概率不能在没有m的情况下确定，但可以对m做参数估计。在假设H1下，是具有均值为Km和方差K2的高斯过程。因此，Z的密度函数是具有均Km和方差2。,给定m的检测概率为，概率密度图如图6.2.3所示,.,6.2广义似然比检验,通过比较，广义似然比检验和奈曼-皮尔逊检验效果一样好。,Figure6.2.3DensityfunctionofZunderH1.,.,6.3优良估计评价标准,由于估计参量是随机变量，所对应的值不止一个。因此需要确定最优估计。,无偏估计：是无偏估计，满足6.3.1式,（6.3.1）,有偏估计：如式6.3.2,（6.3.2）,1.如果b()不依赖于(b()=b)，就认为估计量具有已知的偏差，也就是说(-b)是无偏估计。,2.当b()b，由于是未知的，所以不能获得无偏估计。在这种情况下，就认为估计量具有未知的偏差。,当参数既满足式（6.3.1）并且不是随机的（没有的先验概率分布），这有时称为绝对无偏估计。,.,6.3优良估计评价标准,如果估计是无偏的，其意味着估计值与真实值接近，但是不一定是最优估计。可以通过图6.3.1中所示的估计的条件密度函数容易地看出。从图中观察到，即使是无偏估计，因估计的方差很大也可能发生相当大的误差。然而如果方差小，估计量和期望值的相差也很小。因此，可以认为估计的优良性可以有方差大小判断。,Figure6.3.1Densityfunctionoftheunbiasedestimator.,.,6.3优良估计评价标准,无偏最小方差：是的最小方差和无偏估计，对所有的参数都有E()=,则对所有var()var()也就是说，对于所有无偏估计，具有最小的方差。一致估计：是基于K个观察样本的参数的一致估计，如果满足式6.3.3,(6.3.3),P(.)代表概率。,应用上述定义并不能验证估计的一致性。可以用以下定理,定理：是基于K个观察样本的参数的无偏估计，如果满足式6.3.4,（6.3.4）,（6.3.5）,是参数的一致估计量。,如果满足式6.3.5,.,6.3优良估计评价标准,Example6.3,(a)VerifyiftheestimatorofExample6.1isanunbiasedestimateofm.(b)Istheestimatorunbiased?,Solution,(a)TheestimatorisunbiasedifE=m.Aftersubstitution,weobtain,Hence,isunbiased.,(b)TheestimatorisunbiasedifE=2.Thatis,Hence,isunbiased.,.,6.4贝叶斯估计,在贝叶斯估计中，引入了代价(损失)函数，对所有的定义为。代价函数是两个随机变量和的非负实函数。在贝叶斯检测中，代价函数的平均代价定义为风险函数，如式6.4.1。,（6.4.1）,贝叶斯估计就是寻找使得风险函数（即平均代价）达到最小的判决准则。一般情况是估计单变量，所以利用估计误差来进行估计。估计误差如式6.4.2,（6.4.2）,下面有三种常用的代价函数，其图形如图6.4.1所示。,1.平方代价函数2.绝对值代价函数,（6.4.3）,（6.4.4）,.,6.4贝叶斯估计,3.均匀代价函数,（6.4.5）,表示一个很小的量，可见所谓的均匀代价函数是指当误差超过某一门限值时，代价是相同的，而当误差小于该门限值时，代价为零。,Figure6.4.1Costfunctions:(a)squarederror,(b)absolutevalueoferror,and(c)uniform.,.,6.4贝叶斯估计,未知参数假定为密度函数为的连续随机变量，风险函数可以用是6.4.6表示。,（6.4.6）,可以取所有和Y的平均代价，Y可以由向量Y1,Y2,.,YKT表示。,6.4.1最小均方误差估计,式（6.4.2）中给出的代价函数使风险函数最小的估计称为最小均方估计（MMSE）。相应的风险函数用ms表示。得式6.4.7,（6.4.7）,由式1.91，风险函数可以化为式6.4.8,（6.4.8）,.,6.4贝叶斯估计,由于密度函数fY(y)是非负的，最小化ms就等价于最小化括号中的方程。因此对括号中的方程对参数求导，得式6.4.9,(6.4.9),用式（1.38）给出的莱布尼茨准则，得式6.4.10,（6.4.10）,.,6.4贝叶斯估计,也就是说，的最小均方估计是在Y的条件下参数的均值（的后验均值）。可以得出，关于的二阶导数是正定的，所以是对应于ms唯一的最小值，并且由6.4.11式给出,（6.4.11）,给定Y的条件下的方差为式6.4.12,（6.4.12）,因此，ms是给定所有可能Y的值条件下的方差。平方误差准则的该估计过程有时称为误差估计的最小方差（MV）。,.,6.4贝叶斯估计,6.4.2条件中位数估计,这种情况下，把式6.4.4代入风险函数得式6.4.13,（6.4.13）,使用与上节相同的方法，可以通过最小化括号中的积分来最小化风险函数，括号中的方程由6.4.14式给出,（6.4.14）,相对于式6.4.14的微分，并且设结果等于零，得式6.4.15,（6.4.15）,.,6.4贝叶斯估计,也就是说，估计是密度函数条件的中值，该估计称为误差的最小平均绝对值（MAVE）估计，因此。,6.4.3最大后验概率,对于式6.4.5给出的代价函数，贝叶斯风险函数变为式6.4.16,（6.4.16）,.,6.4贝叶斯估计,然而,（6.4.17）,P(.)表示概率。因此，通过最大化式（6.4.17）对unf最小化。的后验密度函数为，寻求的使其满足条件最大，则称的最大后验估计量。定义为式6.4.18,（6.4.18）,对式6.4.18两边取对数得式6.4.19,（6.4.19）,.,6.4贝叶斯估计,方程（6.4.19）称为MAP方程。但是要注意这是必要不充分条件，因为可以具有几个局部最大值。由贝叶斯准则得式6.4.20,（6.4.20）,两边取对数变换得式6.4.21,（6.4.21）,由最大后验估计准则得式6.4.22,（6.4.22）,总是假设足够小，使得估计由最大后验概率方程给出。也就是说，图6.4.1中所示的成本函数可以定义为式6.4.23,（6.4.23）,.,6.4贝叶斯估计,Example6.4,Considertheproblemwheretheobservedsamplesare,MandNkarestatisticallyindependentGaussianrandomvariableswithzeromeanandvariance2.Find,and,从6.4.10，估计是在Y条件下m的均值。密度函数fM|Y（m|y）可表示为,同时,.,6.4贝叶斯估计,边缘密度函数为,注意，函数fM|Y（m|y）是关于m的函数，