小二乘估计、波形估计.pptVIP

7.6 最小二乘估计（ Least Square Estimate）,最小二乘估计是一种对数据的概率分布未做任何假定的一种估计方法，仅对数据模型进行假定。,选择一种的最佳估计 ,使s(n)最接近z(n),例如：DC电平信号,例：正弦信号频率的估计,最小化难以得到闭合性形式的解，原因是信号与未知参数f0之间存在高度的非线性关系。,加权最小二乘估计,讨论：,（1） 当观测噪声的均值为零时，最小二乘与加权最小二乘是无偏估计。,（2）估计的方差阵,(3) 对于加权最小二乘估计，如果有一些模型的知识，如E(v)=0，EvvT=R，当W=R-1时，估计误差的方差阵达到最小，这个最小的方差阵为,这时的估计称为马尔可夫估计,例：信号幅度的估计,设N次独立观测为,方法一：,方法2：,信号处理实例：最小二乘在目标跟踪中的应用,目标的跟踪问题可等效成一个曲线拟合问题,假定目标做匀速直线运动,运动模型（只考虑x方向）：,观测模型：,令,递推算法：,批处理算法，运算量太大。,递推算法：,7.7 波形估计 (Waveform Estimation),根据 z(n), nn0, nf 估计s(n),波形估计的应用 图像恢复 语音恢复 目标跟踪 弹道数据处理,1. 波形估计的三种类型,(1)滤波： 根据当前和过去的观测值 z(k), k= n0, n0+1,.,n 对信号s(n)进行估计,(2)预测: 根据当前和过去的观测值 z(k), k= n0, n0+1,.,nf 对未来时刻n(nnf)的信号s(n)进行估计，预测也称为外推。,(3)内插: 根据某一区间的观测数据 z(k), k= n0, n0+1,.,nf 对区间内的某一个时刻n(n0nnf)的信号进行估计，内插也称为平滑。,波形估计宜采用可建立递推算法的线性最小均方估计或最小二乘估计。,v(n) 相互独立，且,若采用最大似然估计,这个估计量是没有意义的，因为没有对观测做任何处理。,最小均方估计：,线性最小均方估计：,滤波,由正交原理：,Wiener-Holf 方程,波形估计的关键是如何求解Wiener-Holf方程,维纳滤波器,假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，系统为线性时不变离散时间线性系统，n0= -，即观测数据为 z(k), -k ，,维纳滤波器,当信号s(n)与观测噪声统计独立时,如果假定 z(k), -k ，系统为因果的线性时不变系统,当观测为白噪声的时候，,如果不是白噪声，那么可以先白化,例7.13 设观测过程为z(n)=s(n)+v(n)，其中假定观测噪声v(n)为零均值白噪声，方差为1，s(n)是具有有理谱的平稳随机序列，功率谱密度为,信号s(n)与v(n)统计独立，求估计s(n)的维纳滤波器,解：,连续时间的维纳滤波器,离散时间滤波,连续时间滤波,物理可实现,物理可实现,例7.13 设观测过程为z(t)=s(t)+v(t)，-t 其中假定观测噪声v(n)为零均值白噪声，功率谱密度为1，s(n)是具有有理谱的平稳随机过陈，功率谱密度为,求估计s(t)的维纳滤波器。,第七章小结,贝叶斯估计,非贝叶斯估计,最小均方估计 条件中位数估计 最大后验概率估计 线性最小均方估计,最大似然估计 最小二乘估计,都需要计算后验概率密度,需要计算似然函数 只对数据模型进行假定,1. 最小均方估计,平方代价函数的贝叶斯估计,最小均方估计是无偏估计,3. 最大后验概率估计,采用绝对值代价函数的贝叶斯估计,最大后验概率方程,贝叶斯估计都需要计算后验概率密度，需要已知被估计量的分布特性。,先验信息的应用，有利于提高估计的性能。,Mean=Median=Mode,高斯后验分布,4. 最大似然估计,最大似然方程：,常用信号参数的估计,（1） 高斯白噪声中恒定电平的估计,（3）信号幅度的估计,zn=Asn+vn ，n=0,1,.N-1,正弦信号幅度估计:,(4) 正弦信号相位的估计,5. 估计的性能,概率密度越尖越好 均值要等于真值 方差越小越好,对于有偏估计， 均方误差越小越好,性能指标：无偏性 有效性 一致性,估计量的CRLB,当且仅当,任何无偏估计的方差满足,达到CRLB的估计称为效估计量,如果有效估计量存在，则该有效估计量一定是最大似然估计,如果有效估计量不存在，则最大似然估计 的方差不一定是最小的。,最大似然估计是渐近有效估计量，即,随机参量的CRLB,任何无偏估计的均方误差满足,等号成立的条件,如果有某个无偏估计达到CRLB,那么该估计必定是最大后验概率估计.而最小均方估计的均方误差也是最小的,所以这时最小均方估计与最大后验概率估计等价.,6. 线性最小均方估计,矢量形式：,7. 最小二乘估计,性质： 当观测噪声的均值为零时，最小二乘与加权最小二乘是无偏估计