第五信号检测与估计理论

（优选）第五信号检测与估计理论1目前一页\总数一百二十一页\编于七点参数估计实质上一个统计推断的问题。估计理论就是研究对观测的数据进行怎样运算才能获得对未知参数的最佳估计值的理论。所谓最佳是指估计值与真值最接近，衡量这种接近程度有各种不同的标准，就产生了各种不同的估计方法。首先看几个补充的知识。2目前二页\总数一百二十一页\编于七点当试验次数无限增加，直方图趋近于光滑曲线，曲线下包围的面积表示概率。该曲线称为概率密度函数。从数学上看，分布函数F(x)=P(X<x)，表示随机变量X的值小于x的概率。概率密度函数p(x)是F(x)在x处的关于x的一阶导数，即变化率。如果在某一x附近取非常小的一个邻域Δx，那么，随机变量X落在(x,x+Δx)内的概率约为f(x)Δx，即P(x<X<x+Δx)≈f(x)Δx。换句话说，概率密度函数f(x)是X落在x处“单位宽度”内的概率。3目前三页\总数一百二十一页\编于七点解利用密度函数的性质求出a例14目前四页\总数一百二十一页\编于七点求：（1）常数a；（2）（3）X的分布函数（1）由概率密度的性质可知所以a＝1/2

例2

设随机变量X具有概率密度解5目前五页\总数一百二十一页\编于七点6目前六页\总数一百二十一页\编于七点(2)X的密度函数（2）密度函数为解

例37目前七页\总数一百二十一页\编于七点第5章信号的统计估计理论5.1引言5.1.1估计的分类

信号的统计估计大致可分为参量估计:属于静态估计;（被估计的参量是随机或非随机的未知量；参量在观测时间内一般不随时间变化。）波形估计:属于动态估计。（被估计的参量是随机过程或非随机的未知过程；参量一般随时间变化）例如，匀加速直线运动的目标，其加速度可用参量估计的方法来实现，但其距离、速度要用波形估计的方法来实现。8目前八页\总数一百二十一页\编于七点5.1.2参量估计的基本概念

本章讨论信号参量的统计估计理论。这里给出一些符号标记：

被估计量记为：单参量，矢量；

观测矢量记为：。根据观测矢量和被估计量（或）的先验知识及指标要求，构造观测矢量的函数，记为或，称为相应被估计量的估计。9目前九页\总数一百二十一页\编于七点显然，构造估计量需要观测矢量；构造的估计量或要满足估计的指标要求。比如：在雷达系统中，对于判决存在的目标，比如飞行器；通信系统信号载波频率的估计生物医学图象处理语音信号处理天文图象处理

10目前十页\总数一百二十一页\编于七点5.1.3参量估计的数学模型和估计量的构造图5.1信号参量统计估计的数学模型11目前十一页\总数一百二十一页\编于七点信号统计检测的的理论模型图3.1二元信号统计检测理论模型12目前十二页\总数一百二十一页\编于七点参量空间：信源输出M个参量或者单参量概率映射：建立x的数学模型。当然，由于存在观测噪声，所以x具有随机性，同时，观测矢量x中含有被估计矢量的信息，所以x是以为参量的随机参量，因此，其概率密度函数用表示。13目前十三页\总数一百二十一页\编于七点观测空间：参量空间的矢量经概率映射到观测空间R，得到观测矢量x，用来实现参量的估计。14目前十四页\总数一百二十一页\编于七点估计规则：得到N维观测矢量x后，N个数据含有被估计参量的信息，因此根据先验知识和统计特性来构造观测矢量x的函数的估计量。估计规则规定了从观测空间中的观测矢量到估计量之间的关系，这种关系保证了所构造的估计量是最佳的。15目前十五页\总数一百二十一页\编于七点

为了说明信号参量的估计问题，这里举例说明。

例设单参量的观测方程为其中，是第次的观测量；是被估计的单参量；是观测噪声，假定，。求的估计量和估计量的均方误差。5.1.4估计量性能的评估图5.2多次观测的一个样本函数16目前十六页\总数一百二十一页\编于七点解估计量的构造因为，所以我们可以采用平均值估计的方法来构造估计量，即估计量的均方误差估计量是随机变量的函数，是随机变量；估计的误差，也是随机变量。所以，其均方误差为17目前十七页\总数一百二十一页\编于七点考虑到估计量的构造公式和观测方程，有18目前十八页\总数一百二十一页\编于七点19目前十九页\总数一百二十一页\编于七点本章主要内容随机参量的贝叶斯估计非随机参量的最大似然估计估计量的性质矢量估计一般高斯信号参量的统计估计线性最小均方误差估计最小二乘估计信号波形中参量的估计主要讨论思路：估计量的构造方法；导出构造公式；探讨估计量的性质；（先讨论单参量，然后推广到多参量，即矢量估计）20目前二十页\总数一百二十一页\编于七点5.2随机参量的贝叶斯估计本节讨论单随机参量的贝叶斯估计。常用代价函数和贝叶斯估计的概念估计量与被估计量之间是有误差的，这需要付出代价，用代价函数表示，记为；代价函数一般是估计误差的函数，简记为，即

1三种常用的代价函数实际中三种常用的代价函数如图5.3所示。21目前二十一页\总数一百二十一页\编于七点22目前二十二页\总数一百二十一页\编于七点23目前二十三页\总数一百二十一页\编于七点24目前二十四页\总数一百二十一页\编于七点说明：代价函数也可以选择其它的形式；代价函数的共同特点是非负性和时，有极小值。平均代价C表示为2贝叶斯估计的概念在已知，选定代价函数，使平均代价最小的估计，称为贝叶斯估计，估计量记为,简记为。3条件平均代价

利用概率论中的贝叶斯公式

25目前二十五页\总数一百二十一页\编于七点平均代价可表示为式中，是后验概率密度函数。由于和内积分都是非负的，所以，使最小，等价为使条件平均代价最小，左边表示条件平均代价。4贝叶斯估计量的构造规则已知，选定，使条件平均代价最26目前二十六页\总数一百二十一页\编于七点小来构造估计量。5.2.2贝叶斯估计量的构造1.最小均方误差估计

对于误差平方代价函数，条件平均代价为可见，使最小的估计，就是使均方误差最小的估计，所以，把这种估计称为最小均方误差估计，估计量记为。为求得使最小的估计量，令27目前二十七页\总数一百二十一页\编于七点28目前二十八页\总数一百二十一页\编于七点因为对的二阶导数为正，所以，求得的使达到极小值。从（）式估计量的构造公式可见,它是的条件均值,所以最小均方误差估计又称条件均值估计。利用关系式和29目前二十九页\总数一百二十一页\编于七点得最小均方误差估计量的另一形式的构造公式由于已知，一般由观测方程及观测噪声的统计特性得到，所以（）的估计量构造公式避免了求后验概率密度函数的困难。

30目前三十页\总数一百二十一页\编于七点2.条件中值估计对于误差绝对值代价函数,条件平均代价为31目前三十一页\总数一百二十一页\编于七点将其对求偏导,令结果等于零,得可见,估计量是把一分为二,各占二分之一面积的分界点，恰为被估计随机参量的条件中值(条件中位数),所以,把这种估计称为条件中值估计,又称条件中位数估计,估计量记为。

32目前三十二页\总数一百二十一页\编于七点3.最大后验估计对于均匀代价函数，条件平均代价为33目前三十三页\总数一百二十一页\编于七点显然，使最小，等价为使积分最大，当不是很大时，为使上式积分结果最大，应取最大值所对应的作为估计量，称为最大后验估计，估计量记为。估计量的构造根据最大后验估计原理，估计量的构造公式为取的自然对数，等价的估计量构造公式为34目前三十四页\总数一百二十一页\编于七点称为最大后验方程。利用，则有估计量构造公式以上三个构造公式是等价的，但（）是最方便的。35目前三十五页\总数一百二十一页\编于七点36目前三十六页\总数一百二十一页\编于七点例

研究加性噪声中，单随机参量的估计问题。观测方程为其中，观测噪声，独立同分布；已知被估计量。求的贝叶斯估计量和估计量的均方误差。37目前三十七页\总数一百二十一页\编于七点

解

三种贝叶斯估计量构造时，均要求后验概率密度函数，所以我们先求。因为所以38目前三十八页\总数一百二十一页\编于七点式中，是与无关的项；而分析表明，是广义高斯分布；这样并有

估计量的均方误差为39目前三十九页\总数一百二十一页\编于七点40目前四十页\总数一百二十一页\编于七点例

考虑信号的估计问题。观测方程为其中，，在间均匀分布。求信号的贝叶斯估计量和。41目前四十一页\总数一百二十一页\编于七点解：首先求最大后验估计量

根据题意，有42目前四十二页\总数一百二十一页\编于七点由解得其次，求最小均方误差估计解得式中，，是一个非解析的函数。43目前四十三页\总数一百二十一页\编于七点蔼和图5.4所示；它们都是非线性估计。44目前四十四页\总数一百二十一页\编于七点5.2.3最佳估计的不变性45目前四十五页\总数一百二十一页\编于七点46目前四十六页\总数一百二十一页\编于七点1约束情况I47目前四十七页\总数一百二十一页\编于七点图5.5代价函数和后验概率密度函数的图例48目前四十八页\总数一百二十一页\编于七点2约束情况II49目前四十九页\总数一百二十一页\编于七点50目前五十页\总数一百二十一页\编于七点5.3最大似然估计最大似然估计适用于未知非随机参量的估计,也适用于不知道或不利用先验的随机参量的估计。它定义为使似然函数最大的值作为估计量，故称最大似然估计。

根据已经观测的N个样本估计这组样本“最可能”来自哪个密度函数。（“最似”哪个密度函数）51目前五十一页\总数一百二十一页\编于七点最大（极大）似然估计法它首先是由德国数学家高斯在1821年提出的.GaussFisher英国统计学家费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.52目前五十二页\总数一百二十一页\编于七点

5.3.1最大似然估计原理对于未知非随机参量，观测矢量的似然函数为。最大似然估计的基本原理是根据对于某个给定的，考虑落在小区域内的概率。图5.6中，似然函数是在后得到的，于是画出了它与被估计量的关系曲线。对于每一个的，表示在给定的下，落在为中心的范围内的概率。可以推断，是不合理的，因为如果，那么的概率就很小。看起来是真值的可

53目前五十三页\总数一百二十一页\编于七点能性最大，因为此时的概率最大。这样，在被估计量允许的范围内，使似然函数最大的作为估计量，就是最大似然估计，所得估计量记为。54目前五十四页\总数一百二十一页\编于七点5.3.2最大似然估计量的构造

由最大似然估计原理，可由方程解得。也可由方程解得。该方程称为最大似然方程。

55目前五十五页\总数一百二十一页\编于七点θ为一维时的最大似然估计示意图可能有多个极值

q

O

qˆ

56目前五十六页\总数一百二十一页\编于七点57目前五十七页\总数一百二十一页\编于七点例

同例，观测方程为其中，，间相互统计独立。但是不利用估计量的先验分布知识，而把它看成是未知非随机参量。求的最大似然估计，估计量的均方误差；并与例的结果进行比较。58目前五十八页\总数一百二十一页\编于七点解：似然函数为由最大似然方程59目前五十九页\总数一百二十一页\编于七点解得其均方误差为所得结果与例进行比较。因为由于，所以(请大家考虑N足够大的时候两种情况)60目前六十页\总数一百二十一页\编于七点这是合理的,因为估计时利用了的先验知识，理应获得较好的估计结果。但是当N足够大时，两者的均方误差近似相等。61目前六十一页\总数一百二十一页\编于七点例5.3.2考虑信号s的估计问题。观测方程为其中，，但不限制s的分布。求信号s的最大似然估计。62目前六十二页\总数一百二十一页\编于七点解：根据题意，有63目前六十三页\总数一百二十一页\编于七点利用最大似然估计方程得解得与例题相比较：其限定信号s服从均匀分布，估计量是x的非线性函数，属于非线性估计，而最大似然估计是线性估计。64目前六十四页\总数一百二十一页\编于七点5.3.3最大似然估计的不变性65目前六十五页\总数一百二十一页\编于七点5.3.3最大似然估计的不变性66目前六十六页\总数一百二十一页\编于七点67目前六十七页\总数一百二十一页\编于七点68目前六十八页\总数一百二十一页\编于七点69目前六十九页\总数一百二十一页\编于七点70目前七十页\总数一百二十一页\编于七点71目前七十一页\总数一百二十一页\编于七点72目前七十二页\总数一百二十一页\编于七点1)待估参数的极大似然估计是否一定存在?2)若存在,是否惟一?73目前七十三页\总数一百二十一页\编于七点5.4估计量的性质

我们已讨论了随机参量的贝叶斯估计的概念、估计量的构造；非随机参量的最大似然估计的原理、估计量的构造问题。在实际应用中，按照某种准则获得估计量后，通常需要对估计量的质量进行评价，这就需要研究估计量的主要性质。估计量是观测量的函数，二者都为随机变量，应用统计的分析方法分析和评价各种估计量的质量，本节讨论估计量的性质、均方误差的下界等问题。所谓估计量的性质，就是评价估计量质量的标准。无偏性、有效性、一致性、充分性。74目前七十四页\总数一百二十一页\编于七点5.4.1估计量的主要性质性质1

估计量的无偏性

非随机参量的估计量为，若记

75目前七十五页\总数一百二十一页\编于七点

当偏时，即估计量的均值等于被估计量的真值，则称是的无偏估计量；否则就是有偏估计量。

随机参量的估计量为，当即估计量的均值等于被估计量的均值时，则称是的无偏估计量；否则就是有偏估计量。

渐近无偏估计量若将有限N次观测后构造的估计量记为，它是有偏估计量。但对非随机参量若满足76目前七十六页\总数一百二十一页\编于七点而对随机参量若满足则称是渐近无偏估计量。一般情况下，我们希望构造的估计量是无偏估计量，或者是渐近无偏估计量。77目前七十七页\总数一百二十一页\编于七点性质2

估计量的有(优)效性估计量仅用是否具有无偏性来衡量其性质是不够的，因为即使是无偏估计量，如果它的方差很大，那么估计的误差可能很大，性能也不好。所以我们还要考虑估计量的方差或均方误差。对于被估计量的任意无偏估计量和，若估78目前七十八页\总数一百二十一页\编于七点计的均方误差则称估计量比有效。最小均方误差无偏估计量直接判断一个无偏估计量的均方误差是否达到最小比较困难，因此，需要研究任意无偏估计量均方误差的下界及其取下界的条件。

有效性的定义：的任意无偏估计量，若其均方误差达到理论上的下界值，则称该估计量为无偏有效估计量。数学上有多种这样的界，但常用的是克拉美—罗界。后面我们将深入讨论。79目前七十九页\总数一百二十一页\编于七点性质3

估计量的一致性若根据有限次观测构造的估计量为,我们希望随着的增加,估计量的质量有所改善。对于任意小的正数，若则称是一致（收敛的）估计量。若则称是均方一致（均方收敛的）估计量。

80目前八十页\总数一百二十一页\编于七点性质4

估计量的充分性若似然函数能够分解表示为则称是充分估计量。81目前八十一页\总数一百二十一页\编于七点

如何解释：体现了在观测量中含有的信息；分解式表示估计量已全部利用了中关于的信息；所以称具有充分性。82目前八十二页\总数一百二十一页\编于七点5.4.2克拉美—罗不等式和克拉美—罗界

现在研究的任意无偏估计量的有效性问题。基本概念：被估计量的任意无偏估计量，其均方误差恒不小于克拉美—罗界；如果其均方误差达到克拉美—罗界，则该无偏估计量是有效估计量，否则是无效的。研究的问题：克拉美—罗不等式和克拉美—罗界；无偏估计量的均方误差取克拉美—罗界的条件；具体应用。83目前八十三页\总数一百二十一页\编于七点1.非随机参量情况

(1)设是非随机参量的任意无偏估计量，则有当且仅当对所有和都满足84目前八十四页\总数一百二十一页\编于七点时，不等式取等号成立。其中，可以是的函数，但不能是的函数，也可以是任意非零常数。（）式和（）式就是非随机参量情况下的克拉美—罗不等式，两式等价；（）是克拉美—罗不等式取等号的条件。

(2)证明因为是的任意无偏估计量,所以85目前八十五页\总数一百二十一页\编于七点将(5.4.13)式两边对求偏导,并利用柯西—施瓦兹不等式,得(5.4.9)不等式;

由两次对求偏导,(5.4.9)不等式变换成(5.4.10)不等式;

由柯西施瓦兹不等式取等号成立的条件,得(5.4.11)式取等号成立的条件式。

(3)含义和用途

含义：非随机参量的任意无偏估计量的均方误差，恒不小于由似然函数的统计特性所决定的数86目前八十六页\总数一百二十一页\编于七点即克拉美罗界；当无偏估计量满足（）式时,其均方误差取克拉美罗界,估计量是有效的；否则估计量是无效的。

用途：根据（5.4.11)式是否成立,判断无偏估计量是否有效；若是无偏有效的估计量，则其均方误差可由计算克拉美罗界求得。87目前八十七页\总数一百二十一页\编于七点

(4)推论：若非随机参量的任意无偏估计量是无偏有效的，则该一定是的最大似然估计量，并由最大似然方程解得。证明：因为是无偏有效的，所以有成立。令上式左端的，恰为最大似然方程的左端，一定等于零，即其右端也令，则有88目前八十八页\总数一百二十一页\编于七点由于是非零函数或非零常数，所以有2.随机参量情况

(1)若是随机参量的任意无偏估计量，则有89目前八十九页\总数一百二十一页\编于七点当且仅当对所有和都满足时，不式取等号成立。其中，是任意非零常数

(5.4.17)式和(5.4.18)式是随机参量情况下的克拉美罗不等式,二式等价;而(5.4.19)式是克拉美罗不等式取等号的条件。

(2)证明：因为是随机参量的任意无偏估计量，所以

90目前九十页\总数一百二十一页\编于七点将（）式对求偏导，并利用柯西施瓦兹不等式,得(5.4.17)式；由柯西施瓦兹不等式取等号的条件,得(5.4.19)式。利用随机参量情况下的克拉美罗不等式（5.4.17)、(5.4.18)和取等号的条件式（５.4.19)可以表示为更方便应用的形式，即91目前九十一页\总数一百二十一页\编于七点或和

(3)含义：随机参量的任意无偏估计量的均方误差恒不小于由和的二维联合概率密度的统计特性所决定的数,即克拉美罗界；当无偏估计量满足(5.4.30)式时,其均方误差取克拉美92目前九十二页\总数一百二十一页\编于七点界,估计量是有效的,否则是无效的。

用途:根据(5.4.30)式是否成立,判断无偏估计量是否有效；若无偏估计量是有效的,则其均方误差可由克拉美

罗界求得。

(4)推论：若随机参量的任意无偏估计量也是有效的；则该一定是的最大后验估计，并由最大后验方程解得。证明：由

93目前九十三页\总数一百二十一页\编于七点成立，令等号两端，得从而因为，所以94目前九十四页\总数一百二十一页\编于七点例

同例，观测方程为其中，，间相互统计独立。但是不利用估计量的先验分布知识，而把它看成是未知非随机参量。求的最大似然估计，估计量的均方误差.研究最大似然估计量的性质.95目前九十五页\总数一百二十一页\编于七点解

观测方程其中，是被估计非随机参量；，相互统计独立。96目前九十六页\总数一百二十一页\编于七点似然函数为最大似然估计量为

1）无偏性所以，是无偏估计量。2)有效性97目前九十七页\总数一百二十一页\编于七点所以，是有效估计量。其均方误差取克拉美—罗界，为

98目前九十八页\总数一百二十一页\编于七点3）一致