信号检测与估计理论 第五章 统计估计理论.ppt

估计理论与信号检测,第五章信号的统计估计理论,内容提要,5.1引言5.2随机参量的贝叶斯估计5.3最大似然估计5.4估计量的性质5.5矢量估计5.7线性最小均方误差估计5.8最小二乘估计,5.1引言,信号的参量估计若信号中被估计的量是随机参量或非随机未知参量，则称这种估计为信号的参量估计。在观测时间内一般不随时间变化静态估计信号的波形估计或状态估计若被估计的是随机过程或非随机的未知过程。信号的波形、参量随时间变化动态估计,5.1引言,研究内容：信号的参量估计若信号中被估计的量是随机参量或非随机未知参量，则称这种估计为信号的参量估计。理论基础：随机变量与数理统计(2.2,P.8)随机噪声理论(2.6,P.46),5.1引言,基本思想信号模型的差异；先验知识与数据之间的关系；估计准则与估计方法；估计的评价指标。,数据模型,复杂性：足以描述数据的基本特征,简单：允许估计量是最佳的，且易于实现,5.1引言-信号处理中的估计,在雷达、声呐、语音、图像分析、生物医学、通信、自动控制等领域，都涉及到参数估计的问题。例如雷达系统被动声呐系统语音识别系统,由时域信号转换为线性预测编码语音模型，模型的参数决定了谱包络。,5.1引言-估计的数学问题,确定估计量后，建立数据的数学模型,例1：,实际问题中，未给出PDF，要选择一个与问题的约束与先验知识一致，且在数学上容易处理的PDF。例2-道琼斯指数：,参数确定但未知-经典估计,参数为随机变量-贝叶斯估计,20世纪90年代,5.1.2数学模型和估计量构造,四个组成部分：参量空间、概率映射、观测空间和估计准则。概率映射函数，完整地描述了含有被估计矢量信息时观测矢量的统计特性。,5.1.3估计量性能的评估,单次观测量为标量，被估计量为标量（单参量）单次观测量为矢量，被估计量为矢量（多参量）,最佳估计准则定义：充分利用先验知识，使构造的估计量具有最优性质的估计准则。被估计参量（随机或非随机）的先验知识（P.264）被估计量及其均值、方差和均方误差的表示（P.264）,观测向量为长列向量,5.1.3估计量性能的评估,例子：非随机未知单参量的估计,5.1.3估计量性能的评估,例子：非随机未知单参量的估计,经典估计与贝叶斯估计,FromStevenM.Key-page253-259,上述估计假定参数取值范围：,考虑到物理条件的限制：,经典估计与贝叶斯估计,FromStevenM.Key-page253-259,贝叶斯最小均方误差估计：,令其为零,后验概率均值,=1,经典估计与贝叶斯估计,FromStevenM.Key-page253-259,短数据记录对后验PDF的影响,大数据记录对后验PDF的影响,经典估计与贝叶斯估计,FromStevenM.Key-page253-259,后验概率均值：在先验知识和由数据贡献的知识之间进行折衷。,例如，当N增加时，后验PDF变得更加集中，MMSE估计量（最小均方误差）对先验知识的依赖越来越小，对数据的依赖越来越多，数据把先验知识“擦除”了。,参数估计的贝叶斯方法：假设要估计的参数是随机变量的一个实现。(1)指定一个先验PDF;(2)观测到数据后，后验PDF概括了对参数的了解。(3)利用先验知识通常能改善估计精度。,经典估计与贝叶斯估计,FromStevenM.Key-page253-259,利用先验知识通常能改善估计精度；在贝叶斯估计中，先验PDF的选择是很关键的。错误的选择将导致差的估计量，类似与在经典估计量问题中使用不正确的数据模型设计估计量。围绕贝叶斯估计量的使用上有许多争议，源于在实践中不能证明先验PDF。一般说来，除非先验概率是建立在物理约束的基础上，否则还是使用经典估计比较合适。,贝叶斯准则：二元信号检测的贝叶斯准则（P.70）M元信号检测的贝叶斯准则（P.93）,5.2随机参量的贝叶斯估计,在信号参量的估计中，我们用类似的方法提出贝叶斯估计准则，即使估计的平均代价最小。适用于随机参量情况。,代价函数的一般形式：,满足（1）非负性；（2）误差时最小。,5.2随机参量的贝叶斯估计,三种典型的代价函数：,5.2.1常用代价函数和贝叶斯估计概念,平均代价,条件平均代价,贝叶斯公式,上述条件平均代价函数对求最小，即可以求得随机参量的贝叶斯估计量。,5.2.2贝叶斯估计量的构造,1、最小均方误差估计（条件均值，代价函数参见图(a)）,对求偏导，并令结果为零。,5.2.2贝叶斯估计量的构造,1、最小均方误差估计（条件均值，代价函数参见图(a)）,二阶偏导数，上式求得的估计量，可以使平均代价C达到最小：,最小平均代价是条件方差对所有观测量的统计平均。,5.2.2贝叶斯估计量的构造,1、最小均方误差估计（条件均值，代价函数参见图(a)）,估计量是后验概率密度函数的均值。,将后验概率转化为先验概率表达,5.2.2贝叶斯估计量的构造,2、条件中值估计（条件中值，代价函数参见图(b)）,称为条件中值估计，或条件中位数估计（ConditionalMedianEstimation），估计量是的点。,3、最大后验估计（条件众数，最大后验，代价函数参见图(c)）,5.2.2贝叶斯估计量的构造,等效于使最大,估计量是后验概率密度函数取最大值的点。,5.2.2贝叶斯估计量的构造,例5.2.1单随机参量的贝叶斯估计（最佳估计的不变性）,贝叶斯公式,5.2.3最佳估计的不变性,如果被估计量的后验概率密度函数是高斯型的，则在三种典型代价函数下，使平均代价最小的估计量是一样的，都等于最小均方误差估计量，即它们的均方误差都是最小的，这就是最佳估计的不变性。但是，代价函数的选择常常带有主观性，而后验概率密度函数也不一定能满足高斯型的要求。希望能够放宽条件，也能获得均方误差最小的估计。,5.2.3最佳估计的不变性,两种情况下最小均方误差估计所具有最佳估计不变性。,5.2.3最佳估计的不变性,情况,情况,最大似然估计常用来估计未知的非随机参量。最大似然估计定义：使似然函数最大的值作为估计量的参量估计方法(MaximumLikelihoodEstimation)。5.3.1最大似然估计原理最大似然函数的基本原理是：对于某个选定的，考虑落在一个小区域内的概率，取最大的那个作为估计量。似然函数是在给定后得到的，可以画出它与被估计量的关系曲线。,5.3最大似然估计,PDF作为未知参数的函数（固定），称之为似然函数。,根据最大似然估计原理，可得如下最大似然估计量或,5.3.2最大似然估计量的构造,对比（5.2.19）式，,相当于最大似然估计用于估计没有任何先验知识的随机参量，假定为均匀分布，上式第二项为零，最大后验概率估计转化为最大似然估计。,例5.3.1同例5.2.1，但不利用被估计量的先验分布知识，而把其看成是未知非随机参量观测矢量的似然函数为：,5.3.2最大似然估计量的构造,带先验知识的贝叶斯估计：,(1)最大似然估计没有利用被估计量的先验知识，其性能比贝叶斯估计差；(2)当为未知随机参量时，计算似然函数相对容易；(3)对于绝大多数实用的最大似然估计，观测数据足够多时，其性能是最优的；(4)最然似然估计具有不变性。,5.3.2最大似然估计量的构造,带先验知识的贝叶斯估计：,最大似然估计的不变性：1、如果参量的最大似然估计量为，那么函数的最大似然估计量，在是的一对一变换时有2、如果不是的一对一变换，而是一对多变换，则首先应找出在取值范围内所有变化参量的似然函数中具有最大值的一个，记为，即然后，通过求出的最大似然估计量，就是函数的最大似然估计量。,5.3.3最大似然估计的不变性,估计量是随机变量主要性质无偏性有效性一致性充分性克拉美-罗不等式(Cramer-Rao)克拉美-罗界（均方误差下界）,5.4估计量的性质,2、估计量的有效性则称估计量比有效。克拉美-罗不等式克拉美-罗界（在5.4.2小节讨论）无偏有效估计量的定义（P.277）,5.4.1估计量的主要性质,1、估计量的无偏性,估计量方差估计误差方差均方误差,5.4.1估计量的主要性质,3、估计量的一致性,4、估计量的充分性若被估参量的估计量为。如果以为参量的似然函数能够分解表示为则称充分估计量，运用了观测量中的全部关于的信息。无偏有效估计量必然是充分估计量。,一致估计量均方一致估计量,均方误差准则（MSE）：,5.4.2克拉美-罗不等式与克拉美-罗界,度量估计量偏移真值的平方偏差的统计平均值。,约束偏差为零,方差,偏差,最小方差无偏估计(MVU)：,Cramer-Rao下限,5.4.2克拉美-罗不等式与克拉美-罗界,对无偏估计量确定一个下限：,判断是否是MVU估计量；为比较无偏估计量的性能提供标准；不可能求得方差小于下限的无偏估计量（用于信号处理的可行性研究）,引入：依赖于未知参数的PDF,5.4.2克拉美-罗不等式与克拉美-罗界,观测到上述单个样本，其中。,显然有：，方差为。,图(b)的PDF与A的相关性较弱。直观的看：似然函数的”尖锐”性，决定了估计未知参数的精度。PDF受未知参数的影响越大，所得到的估计越好。,考察由对数似然函数在其峰值处的负的二阶导数，来度量“尖锐”性。,5.4.2克拉美-罗不等式与克拉美-罗界,一阶导数：,曲率更一般的度量：,负的二阶导数：,曲率随方差的减少而增加。在本例中：,假定PDF满足“正则”条件：,5.4.2克拉美-罗不等式与克拉美-罗界,Page25fromStevenM.Key,CRLB定理（Cramer-Rao下限定理）：,且对于某个函数g和I，当且仅当,则，任何无偏估计量的方差必定满足：,时，对所有达到下限的无偏估计量可以求得：,1、非随机参量情况,5.4.2克拉美-罗不等式与克拉美-罗界,推论最大似然估计公式,推导：两边对theta求偏导,5.4.2克拉美-罗不等式与克拉美-罗界,1、非随机参量情况（续，克拉美-罗不等式的推导P.364）,Cauchy-SchwarzInequality,无偏估计,不等式取等号条件：,1、非随机参量情况（续，另一种形式）,5.4.2克拉美-罗不等式与克拉美-罗界,另一种形式克拉美-罗不等式的推导过程,两边对theta求二阶偏导,2、随机参量情况（第一种形式）,5.4.2克拉美-罗不等式与克拉美-罗界,关系常数k与随机参量的二阶统计量有关,推导：两边对theta求偏导,2、随机参量情况（续，第二种形式）,5.4.2克拉美-罗不等式与克拉美-罗界,推论最大后验估计公式,5.4.2克拉美-罗不等式与克拉美-罗界,2、随机参量情况（续，第二种形式）,若随机参量的任意无偏估计量也是有效的，则该估计量一定是的最大后验估计量。,无偏且达到CRLB的估计量可以有效地使用数据，称其为有效的。如左图所示。MVU（最小方差无偏）估计量可能是也可能不是有效的，如图(b)所示，没有达到CRLB，因此不是有效的，但是它的方差一致地小于所有其它无偏估计量的方差，因此是MVU估计量。,Page28-29fromStevenM.Key,5.4.2克拉美-罗不等式与克拉美-罗界,2、随机参量情况（续，第二种形式）,当达到CRLB时，方差是Fisher信息的倒数，即信息越多，下限越低，具有信息测度的基本性质：非负性；对独立观测的可加性。,将下限表达式中的分母称为数据X的Fisher信息，即,5.4.2克拉美-罗不等式与克拉美-罗界,关于对独立观测的可加性：N个IID观测的CRLB是单次观测的1/N倍。,对于独立观测,对于同分布观测,对于非独立的样本，可能有：,例5.4.1非随机参量的最大似然估计量的性质,5.4.2克拉美-罗不等式与克拉美-罗界,（1）无偏性,（2）有效性,（3）一致性（随观测次数的增加，估计质量有所提高）,例5.4.1非随机参量的最大似然估计量的性质（续）,5.4.2克拉美-罗不等式与克拉美-罗界,（4）充分性估计量利用了观测量中所有有关信息。,例5.4.2随机参量的贝叶斯估计量的性质,5.4.2克拉美-罗不等式与克拉美-罗界,（1）无偏性,（2）有效性,先验知识,之前求取的贝叶斯估计量,例5.4.2随机参量的贝叶斯估计量的性质（续）,5.4.2克拉美-罗不等式与克拉美-罗界,（3）一致性,（4）充分性,5.4.3有效估计量均方误差与的关系,1、非随机参量情况,2、随机参量情况,两边对theta求偏导,两边求均值,两边对theta求偏导，并求均值,5.4.4非随机参量函数估计的克拉美-罗界,推导：两边对theta求偏导,未知随机参量的函数，其估计量是的任意无偏估计量，有：,5.4.4非随机参量函数估计的克拉美-罗界,由柯西-施瓦兹不等式得（参见(5B.6)式）,其克拉美-罗不等式推导过程,5.4.4非随机参量函数估计的克拉美-罗界,例5.4.3非随机参量线性函数的最大似然估计量的性质,5.4.4非随机参量函数估计的克拉美-罗界,例5.4.4非随机参量非线性函数的最大似然估计量的性质,非线性函数的最大似然估计量是有偏估计，但是渐进无偏的。,根据最大似然函数估计的不变性：,5.4.2克拉美-罗不等式与克拉美-罗界,Page31fromStevenM.Key,非线性变换破坏了估计量的有效性，线性变换能够保持估计量的有效性。如果数据记录足够大，非线性变换可以近似保持有效性。,要估计的参数是某个基本参数的函数，例如下述两个典型的情况：,线性关系：例如,非线性关系：例如,若：，CRLB：,StevenP3133,5.4.5估计量性质的总结,关于估计量性质的几个基本概念性问题有效估计量一定是建立在无偏的基础上的。因为克拉美-罗不等式以及不等式取等号的条件，都是在任意无偏估计量基础上推导的。所以检验一个估计量的性质，首先要检验它的无偏性，只有在无偏性的基础上，才能进一步检验它的有效性。只有无偏的和有效的估计量，其估计的均方误差才能达到克拉美-罗界，并可通过计算克拉美-罗界求得该估计量的均方误差。虽然，例5.4.1中的最大似然估计量和例5.4.2中的贝叶斯估计量都是无偏有效估计量。但是，非随机参量的最大似然估计量或随机参量的贝叶斯估计量不一定都是无偏有效估计量。它可能是无偏的、有效的；也可能仅是无偏的，但不是有效的；也可能是有偏的。,5.5矢量估计,在许多实际问题中，要求我们同时估计信号的多个参量，这就是矢量估计。本节将把单参量估计的概念、方法和性能评估等推广到信号参量的矢量估计中。,类似于单参量估计的情况，矢量估计也可分为随机矢量和非随机矢量两种情况。,M维矢量,估计矢量的的误差矢量：,5.5矢量估计,矢量参数的CRLB对每个元素的方差设置下限：,其中是的Fisher矩阵，有：,关于直线拟合的一个例子：,其中，是WGN，参数矢量是。,5.5矢量估计,似然函数为：,5.5矢量估计,由上式可得：,总结：（1）的CRLB相对于B是已知的情况有所增加；B已知时，有（2）对于，CRLB随着估计更多的参数而增加；（3）对于，B更容易估计，其CRLB随而减少；A的CRLB与有关；（4）表明对B的变化比对A的变化敏感。,5.5.1随机矢量的贝叶斯估计,1、最小均方误差估计,条件平均代价,各个分量估计误差的平方和,为使平均代价最小，要求每个参量估计的均方误差最小。,矢量形式：,5.5.1随机矢量的贝叶斯估计,2、最大后验估计,最大后验估计的另一种形式,5.5.2非随机矢量的最大似然估计,被估计的矢量是非随机矢量，或者是完全缺少先验知识的随机矢量。,是阶矩阵的第i行第j列元素。,5.5.3矢量估计量的性质,1、非随机矢量情况,（1）无偏性,（2）有效性,若对所有的，估计的偏矢量的每一个分量都为零，则为无偏估计矢量。,5.5.3矢量估计量的性质,矩阵J通常称为费希尔信息矩阵，它表示从观测数据中获得的信息。,当M=1，矩阵J退化成标量。,若对于M维非随机矢量的任意无偏估计矢量中的每一个参量都满足，则该估计称为联合有效估计。是的均方误差下界，即克拉美-罗界。,5.5.3矢量估计量的性质,例5.5.1非随机二维矢量的估计问题,5.5.3矢量估计量的性质,例5.5.1非随机二维矢量的估计问题,关于本例题的讨论和关于习题5.17的讨论：,（1）矢量估计的性能一般来说要低于单参量估计的性能；（2）矢量估计中的参量越多，估计量的性能可能会越低，除非各估计量之间是互不相关的。,5.5.3矢量估计量的性质,2、随机矢量情况,费希尔信息矩阵JT由两部分组成。JD是数据信息矩阵，它表示从观测数据中获得的信息；JP是先验信息矩阵，它表示从先验知识中获得的信息。,均方误差阵,C-R不等式,（1）无偏性（2）有效性,设有M维非随机矢量，现在需要估计M维矢量的L维函数。设L维估计矢量是L维矢量函数的任意无偏估计矢量。则估计矢量的均方误差阵满足不等式式(5.5.23)是矢量函数估计的克拉美-罗不等式，不等式的右边就是克拉美-罗界；式(5.5.24)是克拉美-罗不等式取等号的条件。其中，J是费希尔信息矩阵。,5.5.4非随机矢量函数估计的克拉美-罗界,LM,MM,ML,LM,MM,M1,5.5.4非随机矢量函数估计的克拉美-罗界,例5.5.3高斯噪声背景中的信噪比估计问题（函数估计）,线性函数估计性质的不变性：如果M维非随机矢量的任意无偏估计是有效的；那么，其L维线性矢量函数的估计矢量是无偏有效的。证明如下如果是非线性函数，则对于有限的观测次数N，不再保持这种不变性。,5.5.4非随机矢量函数估计的克拉美-罗界,线性模型,StevenM.Keypage70-大量的信号处理问题都可以转化为线性模型构造解决。可以通过构造线性模型，寻找最佳估计量。,对于之前提到的直线拟合的例子：,有：,线性模型,在线性观测模型下和一般高斯噪声背景下研究：,非随机矢量的最大似然估计；,一般高斯随机矢量的贝叶斯估计；,已知随机矢量的均值矢量和协方差矩阵：,伪贝叶斯估计估计,指定先验PDF,线性最小均方误差估计,限定估计量是观测量的线性函数,线性最小二乘估计：直接利用观测模型，不需要先验知识。,线性模型,（1）若为非随机矢量：,高斯随机噪声,线性模型,（1）若为非随机矢量：,对照CRLB定理：,d(UV)/dX=(dU/dX)V+(dV/dX)U,线性模型,（1）若为非随机矢量：,信息矩阵：,线性模型,（2）若为随机矢量：,最小均方误差估计,最大后验概率估计,二者具有等同性,矩阵反演公式：,线性模型,（3）随机矢量的伪贝叶斯估计：,若被估计量的均值矢量与协方差矩阵已知，PDF函数未知。,假定随机矢量为高斯分布，则伪贝叶斯估计矢量：,最大似然估计量的均方误差,非负定,伪贝叶斯估计矢量的均方误差阵小于等于不利用先验知识的最大似然估计矢量的均方误差阵。,线性模型举例,曲线拟合,傅里叶分析,系统辨识,Page73-79,5.7线性最小均方误差估计,如果关于观测信号矢量和被估计矢量的概率密度函数未知，（1）仅知道观测信号矢量和被估计随机矢量的前二阶矩知识（局部信息），即均值矢量、协方差矩阵和互协方差矩阵；（2）限定估计量是观测量的线性函数。上述情况下，要求估计量的均方误差达到最小。求得的估计量即为线性最小均方误差估计量。,线性最小均方误差估计量所具有的重要性质正交性：估计的误差矢量与观测矢量正交，常称为正交性原理。,5.7.1线性最小均方误差估计准则,单参量估计,线性最小均方误差估计的估计规则，就是把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。,矢量估计,NMM1,M1,MNN1,5.7.2线性最小均方误差估计矢量的构造,=0,令,5.7.2线性最小均方误差估计矢量的构造,参见附录5G,=0,参考协方差矩阵定义（见P18）,令,5.7.2线性最小均方误差估计矢量的构造,1、估计矢量是观测矢量的线性函数2、估计矢量的无偏性3、估计矢量均方误差阵的最小性,5.7.3线性最小均方误差估计矢量的性质,添项，配方,5.7.3线性最小均方误差估计矢量的性质,4、估计的误差矢量与观测矢量的正交性,正交性原理表明，线性最小均方误差估计量是被估计矢量在观测矢量上的正交投影。5、最小均方误差估计与线性最小均方误差估计的关系非线性vs线性观测模型；线性模型且为联合高斯分布条件下等同。,线性最小均方误差估计矢量的性质,SetvenM.Keypage311-312-概念更清楚,使MSE最小等价于使误差矢量的长度平方最小。显然，当与张成的子空间正交时，误差矢量的长度最小。,5.7.3线性最小均方误差估计矢量的性质,例5.7.1线性最小均方误差估计,5.7.4线性最小均方误差递推估计,1、递推估计的基本思想新息,非递推估计算法的缺点：a.计算量大，效率低；b.求解高维矩阵逆阵，出现病态矩阵无法求逆。,2、递推估计的公式,证明用到正交投影引理和引理（P402）,5.7.4线性最小均方误差递推估计,3、递推估计的过程初始条件和确定后，就可以从第一次观测开始进行递推估计第1步，求出修正的增益矩阵；第2步，求出估计矢量的均方误差阵；第3步，确定新息，前乘增益矩阵，结果加到上，获得估计矢量。然后进行第二次观测，继续这个运算过程，实现递推估计。,5.7.4线性最小均方误差递推估计,4、递推估计的特点和性质递推估计算法的优点：算法效率高；只需对低阶矩阵求逆；被估计随机变量的前二阶矩先验知识未知，也可确定某一初始条件后运行算法；递推算法在获得估计矢量的同时，也获得了反映估计精度的估计矢量的均方误差阵（对其求迹即可得到估计矢量的均方误差）；修正增益矩阵与观测噪声矢量的协方差矩阵成反比。,5.7.4线性最小均方误差递推估计,例5.7.2线性最小均方误差估计（递推算法）,5.7.4线性最小均方误差递推估计,5.29若观测值,计算可得：,测量中，若发现，明显不合理，应当剔除，并补充一个合理数值，如：,若:,线性最小均方误差递推估计思想,Gram-Schmidt正交化方法,线性代数的几何意义page134/174,线性最小均方误差递推估计思想,StevenM.Keypage319,5.7.5单参量的线性最小均方误差估计,已知被估计参量（标量）和观测矢量前二阶矩知识,观测噪声矢量的前二阶矩知识已包含在观测矢量的前二阶矩知识中。可得单参量的线性最小均方误差估计和均方误差阵如下,均方误差阵（矩阵）已退化成均