信号检测与估计

1、第六章，参数估计，成员：董，佩婷，目录，6.1最大似然估计6.2广义似然比检验6.3优秀估计评估标准6.4贝叶斯估计6.5克莱姆-拉奥不等式6.6多参数估计6.7最佳线性无偏估计6.8最小二乘估计6.9递归最小二乘估计，前言，在第五章中，我们了解了检测理论的问题，主要解决了在M个可能的假设中确定哪一个假设的问题。本章主要介绍了接收信号是正确的，但一些相关参数未知的假设。主要目的是通过使用有限的样本参数以最佳方式估计这些参数。设Y1，Y2，YK是k个独立同分布随机变量y的样本，其密度函数取决于未知参数。Y1，Y2，yK是对应于样本y1，Y2，YK和函数g(Y1，y2，YK)用于估计参数。表示为称

2、为参数的估计值。通常，估计的参数可以是随机的或非随机的。随机参数的估计称为贝叶斯估计，而非随机参数的估计称为最大似然估计。嘿。嘿。6.1最大似然估计，如前面的函数中所述，通常使用最大似然(ML)估计来估计非随机参数。设Y1，Y2，YK具有样本值y1、y2，yK，并且这些随机变量是独立且相同分布的。让条件密度函数表示随机变量y。y的密度函数取决于要估计的参数。请记住，最大似然函数是L()，等式6.1.1(6.1.1)中似然函数的最大值称为的最大似然估计量。为了获得最大似然估计量，我们使用数学中的微积分。为了简化计算，使用了对数函数。由于对数函数lnx是变量X的递增函数，从第五章可以看出，最大化L

3、()等于ln(L()。它可以通过最大似然函数的对数函数和通过计算参数的导数得到的最大似然估计来求解。如公式6.1.2(6.1.2)所示，不变性：设L()为的似然函数，g()为参数的一对一函数，即g(1)=g(2)1=2。如果它是参数的最大似然估计量，它就是g()的最大似然估计量。6.1最大似然估计，例如6.1，接收到信号1和0是(a)假设常数不知道，在第5章中，确定假设中的假设是真的。在本章中，如果H1为真且参数未知，则需要最大似然估计。(a)示例中要确定的参数对应于m m。由于样本参数是独立且相同分布的，因此获得等式6.1.1的最大似然估计、等式6.1的最大似然估计、等式两侧的对数以及等式6

4、.1.2的似然估计。因此，theMLestimatoris，6.1。6.1最大似然估计，(b)最大似然估计公式是通过在等式两边取对数获得的，其中最大化ln1(2)相当于最小化2，它是通过似然函数的不变性获得的。6.1最大似然估计，因此，2最大似然估计为，6.2广义似然比检验。在示例5.9中，我们解决了复合假设测试问题。在假设H1的情况下，参数M已知为正或负，但其值未知。当m仅为正(仅为负)时，在UMP测试中，判定规则为m0，m0。因此，上面的公式相当于下面的公式。决策阈值图如图6.2.1和图6.2.1所示。1的值可以通过设置预期故障概率来确定。我们需要先确定z的密度函数，然后才能得到漏警概率的

5、表达式。在广义似然比检测中，在H0假设下，Y的均值为零，方差2，所有观测数据都是统计独立的高斯过程。因此，的密度函数是均值和方差均为零的高斯过程。因此，Z也是一个均值为零、方差为2的高斯过程。如图6.2.2所示，图6 . 2 . 2 densefunction of Zun derh 0。嘿。6.2广义似然比检验，从中可以确定1的值因此，z的密度函数具有均值Km和方差2。给定m的检测概率，概率密度图如图6.2.3所示，通过比较，6.2的广义似然比检验与奈曼-皮尔逊检验一样好。图6.2.3密度函数1。6.3卓越的评估标准。由于估计参数是随机变量，相应的值不止一个。因此，有必要确定最佳估计。无偏估

6、计：这是无偏估计，满足等式6.3.1，(6.3.1)。有偏估计：如公式6 . 3 . 2(6 . 3 . 2)所示。1.如果b()不依赖于(b()=b，则认为估计量有已知偏差，即(-b)是无偏估计。当b()为b时，因为未知，所以无法获得无偏估计。在这种情况下，估计器被认为具有未知偏差。当参数满足等式(6.3.1)并且不是随机的(没有先验概率分布)时，这有时被称为绝对无偏估计。如果估计是无偏的，这意味着估计值接近真实值，但它不一定是最佳估计。从图6.3.1所示的估计条件密度函数可以很容易地看出。从图中可以观察到，即使估计是无偏的，由于估计的大方差，也可能出现相当大的误差。然而，如果方差很小，估计

7、值和期望值之间的差异也很小。因此，可以认为可以通过方差来判断估计的优劣。图6.3.1密度函数onfheunbiaseditimator。嘿。6.3优秀估计评估标准，无偏最小方差：它是的最小方差和无偏估计，所有参数的E()=，所有var的最小方差()var()，即所有无偏估计。一致估计：是基于k个观测样本的参数的一致估计。如果满足等式6 . 3 . 3(6 . 3 . 3 ), p(.)代表概率。上述定义的应用不能验证估计的一致性。可以使用以下定理：它是基于k个观测样本的参数的无偏估计，并且如果满足等式6.3.4、(6.3.4)、(6.3.5)，则它是参数的一致估计。如果等式6.3.5中的评估标

8、准为优秀估计。例6.3，例6.3，例6.1，例6.1，例6.1，例6.3，例6.3，例6.1，例6.1，例6.1，例6.3，例6.3，例6.1，例6.1，例6.1，例6.1，例6.1，例6.1，例6.1，(a)the magi sterial unbiasedfe=m .在替换之后，我们认为，因此，是无偏的。(b)the magistrial unbiasedfe=2 .因此，它是无偏的。成本函数是两个随机变量之和的非负实函数。在贝叶斯检测中，成本函数的平均成本被定义为风险函数，如等式6.4.1所示。(6.4.1)，贝叶斯估计是为了找到一个最小化风险函数(即平均成本)的决策标准。一般情况是估计

9、单个变量，所以估计误差用于估计。估计误差如公式6.4.2 (6.4.2)所示。下面有三个常用的成本函数，它们的图表如图6.4.1所示。1.平方成本函数2。绝对值成本函数，(6.4.3)，(6.4.4)，6.4贝叶斯估计，3。统一成本函数，(6.4.5)，代表一个非常小的量。可以看出，所谓的统一成本函数意味着当误差超过某一阈值时，成本是相同的，而当误差小于阈值时，成本是零。图6.4.1成本函数： (a)平方误差，(b)误差绝对值，以及(c)一致的. 6.4贝叶斯估计，未知参数被假设为具有密度函数的连续随机变量，风险函数可表示为6.4.6。(6.4.6)，可以取所有和y的平均成本，y可以用向量y1

10、，y2，6.4.1最小均方误差估计。等式(6.4.2)中给出的成本函数最小化了风险函数，称为最小均方估计(MMSE)。相应的风险函数由ms表示。从等式1.91，风险函数可以转换为等式6.4.8，(6.4.8)。6.4贝叶斯估计。由于密度函数fY(y)是非负的，最小化ms相当于最小化括号中的等式。因此，对于括号中的等式，参数的推导由等式给出。6.4.9，(6.4.9)，以及由方程给出的莱布尼茨准则。(1.38)用于获得方程式。6.4.10，(6.4.10)，6.4贝叶斯估计，即最小均方估计是Y条件下参数的均值(的后验均值).可以得出结论，的二阶导数是正定的，因此它是对应于ms的唯一最小值，由等式

11、6 . 4 . 11(6 . 4 . 11)给出。给定y下的方差为等式6.4.12，(6.4.12)。因此，ms是给定所有可能的y值下的方差。平方误差标准的这种估计过程有时被称为误差估计的最小方差。在这种情况下，将等式6.4.4代入风险函数得出等式6.4.13，(6.4.13)。使用与上一节中相同的方法，可以通过最小化括号中的积分来最小化风险函数。括号中的等式由等式6.4.14(6 . 4 . 14)给出，该等式与等式6 . 4 . 14的微分相关，结果设置为零。等式6.4.15，(6.4.15)，6.4贝叶斯估计，即估计是密度函数条件的中值，而这种估计被称为误差的最小平均绝对值(MAVE)估

12、计，因此。6.4.3最大后验概率。对于等式6.4.5中给出的成本函数，贝叶斯风险函数变为等式6.4.16，(6.4.16)。6.4贝叶斯估计。然而，(6.4.17)，P(.)代表概率。因此，通过最大化公式(6.4.17)来最小化unf。的后验密度函数是寻求最大条件时的最大后验估计量。它被定义为等式6.4.18，(6.4.18)。对等式6.4.18的两边取对数，得到等式6.4.19，(6.4.19)。6.4贝叶斯估计。方程(6.4.19)被称为MAP方程。然而，应当注意，这是一个必要且不充分的条件，因为可能存在几个局部最大值。基于贝叶斯准则的等式6.4.20 (6.4.20)、基于两侧对数变换的等式6.4.21 (6.4.21)和基于最大后验估计准则的等式6.4.22 (6.4.22)总是假设足够小，使得估计由最大后验概率等式给出。换句话说，图6.4.1所示的成本函数可以定义为等式6.4.23，(6.4.23)，6.4贝叶斯估计，例6.4，考虑观测样本为mandenkarstatisticlyindependentgaussian随机变量且方差 2.find，从6.4.10，估计为y条件下m的平均值。密度函数fM|Y(m|y)可以同时表示为。6.4贝叶斯估计，边缘密度函数是，注意函数fM|Y(m|y)是关于m的函数，但是fY(y)是Y保持面