信号参数与估计概要.ppt

1、信号处理的根本任务是要提取有用的信息，有用信息是通过检测、估计的方法对信号进行处理后提取出来的，所以、检测、估计的信号处理方法是信号处理技术的理论基础，它的应用领域十分广泛。,声纳系统-利用声波信号确定船只的位置 图象处理-使用红外检测是否有飞机出现 图象分析-根据照相机的图象估计目标的位置和方向，用机器人抓目标时是必须的 生物医学-估计胎儿的心率 控制-估计汽艇的位置，以便采用正确的导航行为，如Loran系统 地震学-检测地下是否有油田，并根据油层和岩层的密度，根据声反射来估计油田的地下距离。,所有这些问题都有一个共同的特点，那就是从含有噪声的数据集中去提取我们所需要的有用信息，这些有用信息

2、可能是“目标出现与否”、“数字源发射的是0还是1”或者“目标的距离”、“目标的方位”，或”目标的速度”等，由于噪声固有的随机性，因此，有用信息的提取必须采用统计的方法，这些统计方法的基础就是检测理论与估计理论，就是本课程后续章节学习的内容。,5.估计理论,5.1 估计的基本概念,5.2 贝叶斯估计：已知代价函数及先验概率，使估计付出的平均代价最小,5.3 最大似然估计：使似然函数最大,5.4 估计量的性能,5.5 线性最小均方估计：已知估计量的一、二阶矩,使均方误差最小的 线性估计,5.6 最小二乘估计：观测与估计偏差的平方和最小,5.7 波形估计,估计问题通常是以下三种情况： 根据观测样本直

3、接对观测样本的各类统计特性作出估计； 根据观测样本，对观测样本中的信号中的未知的待定参量作出估计，称为信号的参量估计问题，又分为点估计和区间估计； 根据观测样本对随时间变化的信号作出波形估计，又称为过程估计。,5.1估计的基本概念,信源s() P(),混合,P(n),n,估计规则,估计 (),z,观测空间,信号参量估计的统计推断模型,5.1估计的基本概念,估计问题基本要素,5.1估计的基本概念,概率传递机制,估计准则,1、贝叶斯估计 在已知代价函数及先验概率基础上，使估计付出的平均代价最小。 设观测值为z，待估参量为。 估计误差： 设代价函数： 贝叶斯估计准则：,5.2贝叶斯估计,条件平均代价

4、,统计平均代价：,等价于使下式最小：,5.2贝叶斯估计,2、典型代价函数及贝叶斯估计,5.2贝叶斯估计,平方代价：, 最小均方估计(Minimal Square) 对 求导数，并使其等于零： 得： 即 ，也称为条件均值估计。,5.2贝叶斯估计,平方代价：,条件中位数估计(Median) 对 求导数，并使其等于零，得： 可见，估计为条件概率密度 的中位数。,5.2贝叶斯估计,最大后验概率估计(maximal posterior probability) 应当选择 ，使它处在后验概率 的最大处。 最大后验概率方程： 或,5.2贝叶斯估计,由关系式： 两边取对数并对求导，得最大后验概率方程的另一形式

5、：,5.2贝叶斯估计,例1设观测为 ，其中被估计量A在-A0,A0上均匀分布,测量噪声vN(0, )，求A的最大后验概率估计和最小均方估计。,5.2贝叶斯估计,例2 高斯白噪声中的直流电平估计-高斯先验分布。设有N次独立观测zi=A+vi,i=1,2,.N，其中vN(0, )，A ，求A的估计。,5.2贝叶斯估计,习题：7.3、7.6,由最大后验概率估计 若先验概率密度函数 未知，则由左边第一项求解参量，即最大似然估计，用 表示。最大似然方程为：,1、最大似然估计,5.3最大似然估计,(Maximum Likelihood Estimate),例1、高斯白噪声中的直流电平估计-未知参数。设有N

6、次独立观测zi=A+vi ，i=1,2,.N，其中viN(0,2)，A为未知参数，2已知，求A的最大似然估计。,5.3最大似然估计,例2、设有N次独立观测zi=vi ，i=1,2,.N，其中viN(0,2)，求2 的最大似然估计。,5.3最大似然估计,例3、高斯白噪声中的直流电平估计-未知参数与未知方差。设有N次独立观测zi=A+vi ，i=1,2,.N，其中vN(0,2)，2、A均为未知参数，求A和2的最大似然估计。,5.3最大似然估计,=A 2T,1、估计量的性能标准 无偏性 如果估计量的均值等于非随机参量或等于随机参量的均值，则称估计量具有无偏性。即满足： 对于确定量，有： 对于随机量，

7、有：,5.4估计量的性能, 有效性,5.4估计量的性能,对于无偏估计，如果估计的方差越小，表明估计量的取值越集中于真值附近，估计的性能越好。,对于有偏估计，尽管估计的方差很小，但估计的误差可能仍然很大。,5.4估计量的性能, 有效性,5.4估计量的性能,对于无偏估计，如果估计的方差越小，表明估计量的取值越集中于真值附近，估计的性能越好。,用估计的方差还不能准确地描述估计的性能，所以我们可以用均方误差作为评价估计量性能的一个指标。, 一致性 即对于任意小数，若有： 则估计量 为一致估计量。 若满足 则称为均方一致估计量。,5.4估计量的性能,5.4估计量的性能,例1、高斯白噪声中的直流电平估计-

8、未知参数。设有N次独立观测zi=A+vi ，i=1,2,.N，其中viN(0,2)，2已知。,2、克拉美罗限(Cramer-Rao Low bound) 无偏估计量的估计方差的最小值 非随机参量,5.4估计量的性能,任何无偏估计量的方差满足,等号成立的条件：,克拉美-罗限,2、克拉美罗限(Cramer-Rao bound),5.4估计量的性能,如果一个无偏估计，它的方差达到CRLB，那么，这个估计必定是最大似然估计。这时最大似然估计是最好的。但如果不存在达到CRLB的估计，最大似然估计就不一定是最好的估计。,例2、高斯白噪声中的DC电平。DC电平的最大似然估计的方差是否达到CRLB？它的估计方

9、差是多少？,5.4估计量的性能,2、克拉美罗限(Cramer-Rao Low bound) 无偏估计量的估计方差的最小值 随机参量,5.4估计量的性能,任何无偏估计量的均方误差满足,等号成立的条件：,克拉美-罗限,2、克拉美罗限(Cramer-Rao Low bound) 无偏估计量的估计方差的最小值 随机参量,5.4估计量的性能,如果有某个无偏估计达到CRLB,那么该估计必定是最大后验概率估计.而最小均方估计的均方误差也是最小的,所以这时最小均方估计与最大后验概率估计等价.,5.4估计量的性能,例2 高斯白噪声中的直流电平估计-高斯先验分布。设有N次独立观测zi=A+vi,i=1,2,.N，

10、其中vN(0, )，A ，求A的估计的CRLB。,1、线性最小均方估计(linear minimum mean square error estimation) 前提：不知道 ，知道 的一、二阶矩特性 准则：使均方误差最小的线性估计 实现： 选择适当的系数ai及b，使估计均方误差最小。,5.5线性最小均方估计,5.5线性最小均方估计,正交条件,正交条件是信号最佳线性滤波和估计算法的基础，在随机信号处理中占有十分重要的地位。,性能分析： 线性最小均方估计为无偏估计，即有： 线性最小均方估计的均方误差等于误差与被估计量乘积的统计均值，即： 其中：,5.5线性最小均方估计,例1、设观测模型为zi=s

11、+vi ，i=1,2,.，其中随机参量s以等概率取-2,-1,0,1,2诸值，噪声干扰vi以等概率取-1,0,1诸值，且Esvi=0， ，试根据一次、二次、三次观测数据求参量s的线性最小均方估计。,5.5线性最小均方估计,1、最小二乘估计（Least square estimation） 前提：适用于线性观测模型； 不规定估计的概率或统计描述； 需要关于被估计量的观测信号模型 ; 准则：使观测与估计偏差的平方和最小。 假定观测模型为线性，即观测数据zk与参量1， 2， M之间服从： 其中hk1，hk2，hkM为已知常系数。,5.6最小二乘估计,将观测方程用矢量及矩阵表示： 最小二乘估计是使观测

12、与估计偏差的平方和最小，即：,5.6最小二乘估计,性能分析： 对于线性观测模型，最小二乘估计是线性估计，对测量噪声的统计特性无任何假设，应用十分广泛； 若噪声均值为零，最小二乘估计为无偏估计，即有：,5.6最小二乘估计,性能分析： 最小二乘估计的均方误差为： 对于加权最小二乘估计，如果有一些模型的知识，如E(v)=0， ，当 时，估计误差的方差阵达到最小，这个最小的方差阵为：,5.6最小二乘估计,例1、观测数据为： 其中a为待估参量，nk为观测噪声，求a的最小二乘估计。,5.6最小二乘估计,例2、根据以下对二维矢量 的两次观测， 求 的线性最小二乘估计。,5.6最小二乘估计,最小二乘估计在目标

13、跟踪中的应用,5.6最小二乘估计,匀速直线运动的观测模型：,习题：7.26,7.31,1、波形估计 参量估计适用于非时变参量，无法解决时变参量估计问题。 关于时变参量甚至时变信号本身的估计称为时变信号估计或波形估计，因此波形估计又称过程估计。 波形估计其实质就是给定有用信号和加性噪声的混合波形，寻求一种线性运算作用于此混合波形，使信号与噪声实现最佳分离，最佳的含义是使估计的均方误差最小，故又称为最佳线性滤波理论。,5.7波形估计,波形估计通常分为滤波、平滑、预测三种基本估计。 滤波： 根据当前和过去的观测值z(k),k= n0, n0+1,.,n对信号s(n)进行估计(Filtering)；

14、预测: 根据当前和过去的观测值z(k),k= n0, n0+1,.,nf对未来时刻n(nnf)的信号s(n)进行估计，预测也称为外推；(Prediction) 根据某一区间的观测数据z(k),k= n0,n0+1,.,nf对区间内的某一个时刻n(n0nnf)的信号进行估计，内插也称为平滑。(Smoothing)。,5.7波形估计,2、维纳滤波,5.7波形估计,线性最小均方估计是观测的线性函数，它可以看作为观测序列通过离散时间线性系统，即,Wiener-Hopf方程,滤波器系数的选择：,正交原理,5.7波形估计,假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，系统为因果的线性时不变离散时间线性系统,5.7波形估计,维纳滤波器,信号s(n)与观测噪声统计独立时，维纳滤波器为：,观测为白噪声时，维纳滤波器为：,维纳滤波和卡尔曼滤波是实现从噪声中提取信号，完成信号波形估计的两种线性最佳估计方法。 维纳滤波需要设计维纳滤波器，它的求解要求知道随机信号的统计特性，即相关函数