现代信号处理ch3-1-3.ppt

1,主要内容,随机信号的最优预测和滤波最优滤波理论与维纳滤波器横向LMS自适应数字滤波器横向RLS自适应数字滤波器自适应格型滤波器快速横向滤波（FTF）自适应算法无限脉冲响应自适应滤波器盲自适应信号处理自适应滤波器应用,2,一、随机信号的最优预测和滤波,波形估计与动态估计滤波与预测维纳滤波与卡尔曼滤波,3,一、随机信号的最优预测和滤波,波形估计与动态估计,估计问题在许多实际问题中，需要研究随时间变化的随机变量或随机矢量的估计问题，即按照某种最优准则对随时间变化的随机变量或随机矢量作出估计。不同称谓-在通信工程中称为波形估计-在控制工程中称为动态估计,4,一、随机信号的最优预测和滤波,滤波与预测,滤波定义所谓滤波,是指在含噪信号x(k)=s(k)+v(k)或其矢量信号x(k)=s(k)+v(k)中尽可能排除噪声v(k)或v(k)干扰，而将有用信号s(k)或s(k)分离或提取出来。滤波、预测与平滑设基于观测过程x(k)或矢量观测过程x(k)，对s(k+)或s(k+)作最优估计，那么若=0，就是滤波问题。若0，就是预测问题。若0，就是平滑问题。,5,一、随机信号的最优预测和滤波,维纳滤波与卡尔曼滤波,维纳滤波设信号s(k)或s(k)及观测过程x(k)或x(k)是广义平稳的,且已知其功率谱或自相关函数的知识，则基于观测过程x(k)或x(k)，按线性最小均方误差估计准则，对信号s(k)或s(k)所作的最优估计称为维纳滤波,卡尔曼滤波设已知信号的动态模型测量方程，则基于过程x(k)及初始条件，按线性无偏最小方差递推估计准则,对状态s(k)所作的最优估计称为卡尔曼滤波.,6,一、随机信号的最优预测和滤波,自适应滤波器,维纳滤波与卡尔曼滤波的比较维纳滤波和卡尔曼滤波都是解决最佳过滤和预测问题,前者以最小均方误差最小为准则，后者以线性无偏最小方差递推估计准则，在平稳条件下，它们所得到的稳态结果是一致的。然而，它们解决的方法有很大区别。维纳滤波:根据全部过去的和当前的观察数据来估计信号的当前值，它的解是以均方误差最小条件下所得到的系统的传递函数H(z)或单位样本响应h(n)的形式给出的，因此更常称这种系统为最佳线性过滤器或滤波器。卡尔曼滤波:用前一个估计值和最近一个观察数据(它不需要全部过去的观察数据)来估计信号的当前值，它是用状态方程和递推的方法进行估计的，它的解是以估计值(常常是状态变量值)形式给出的。因此更常称这种系统为线性最优估计器或滤波器。,7,一、随机信号的最优预测和滤波,自适应滤波器,维纳滤波与卡尔曼滤波的比较维纳滤波器只适用于平稳随机过程，而卡尔曼滤波器却没有这个限制。维纳过滤中信号和噪声是用相关函数表示的，因此设计维纳滤波器要求已知信号和噪声的相关函数。卡尔曼过滤中信号和噪声是状态方程和测量方程表示的，因此设计卡尔曼滤波器要求已知状态方程和测量方程(当然，相关函数与状态方程和测量方程之间会存在一定的关系)。卡尔曼过滤方法看来似乎比维纳过滤方法优越，它用递推法计算，不需要知道全部过去的数据，从而运用计算机计算方便，而且它可用于平稳和不平稳的随机过程(信号)，非时变和时变的系统。,8,一、随机信号的最优预测和滤波,自适应滤波器,维纳滤波与卡尔曼滤波的特点维纳滤波和卡尔曼滤波都是随机情况下最优滤波,特点是:维纳滤波:参数固定,适用于平稳随机情况下的最优滤波且实现简单；卡尔曼滤波:参数时变,适用于非平稳随机情况下最优滤波且性能优越；维纳滤波与卡尔曼滤波的局限性只有在信号和噪声统计特性先验已知的情况下,这两种滤波器才能获得最优滤波。在实际应用中,往往无法得到这些统计特性的先验知识,或统计特性随时间而变,这时就无法用这两种滤波器实现最优滤波。,9,一、随机信号的最优预测和滤波,自适应滤波器,自适应滤波器的特点在信号和噪声统计特性先验未知的情况下,自适应滤波器也能够提供卓越的滤波性能。该滤波器的特点如下。可自动调整其自身参数，使系统特性满足要求；只需很少或根本无需任何关于信号和噪声的先验知识；实现差不多象维纳滤波那么简单，性能接近卡尔曼滤波自适应滤波器的应用系统辨识与均衡（如信道估计与均衡）；雷达和声纳波束形成(beamforming);噪声中信号的检测、跟踪、增强等；信号或时间序列的自适应预测；语音和图像的自适应预测编码。,10,逆系统、反卷积及系统辨识简介,心电逆问题，脑电逆问题,11,若，已知，求，逆问题；,矿物勘探、地球物理等领域,由输出求输入和系统这两种情况都要用到“逆系统”和“反卷积”的概念：,12,1.若系统输入、输出已知，希望求系统,调整的参数，使接近等于，则,13,2.若系统输入未知，输出已知，希望求系统,调整的参数，使接近等于，则,若系统输出已知，再知道输入或系统，欲求另一个，可采用反卷积的方法：,14,依次递推,15,16,系统辨识从频域求解：,17,18,主要内容,随机信号的最优预测和滤波最优滤波理论与维纳滤波器横向LMS自适应数字滤波器横向RLS自适应数字滤波器自适应格型滤波器快速横向滤波（FTF）自适应算法无限脉冲响应自适应滤波器盲自适应信号处理自适应滤波器应用,19,问题描述考虑一般的线性离散时间滤波器。设该滤波器的输入由x(1),x(2),组成，滤波器的脉冲响应w(1),w(2),。令y(n)代表滤波器在时间n时的输出,希望它是期望响应d(n)的估计值。估计误差e(n)定义为期望响应d(n)与滤波器输出y(n)之差,即对滤波器要求是使估计误差在某种统计意义下“尽可能小”。,二、最优滤波理论与维纳滤波器,线性最优滤波器,20,二、最优滤波理论与维纳滤波器,线性最优滤波器（续）,对滤波器的约束滤波器是线性的。一是为了使信号通过滤波器后不致于发生“畸变”；二是为了便于对滤波器进行数学分析.滤波器是离散时间的，便于系统数字硬件或软件实现.,设计准则:估计误差在某种条件意义下尽可能小的滤波器称为这一统计意义下的最优滤波器。最常用的最优准则是使某个代价函数最小化。最典型的代价函数有：估计误差的均方值(最常用的统计优化准则,即MMSE准则)估计误差绝对值的期望值估计误差绝对值的三次幂或高次幂的期望值,21,二、最优滤波理论与维纳滤波器,线性最优滤波器（续）,结论线性离散时间滤波器的最优设计问题可表述如下：设计线性离散时间滤波器的系数w,使滤波器输出y(n)在给定输入样本x(0),x(1),的情况下给出期望响应d(n)的估计，并能使估计误差的均方值为最小,22,二、最优滤波理论与维纳滤波器,正交性原理,推导现考虑滤波器抽头权系数为复数的线性离散时间滤波器的最优设计问题。假定抽头权系数有无穷多个,这种滤波器称为IIR滤波器。此时，滤波器输出为,式中*为复数共轭。定义估计误差为,设用MMSE准则设计最优滤波器，故代价函数为,式中E为统计期望算子。,BACK,23,二、最优滤波理论与维纳滤波器,正交性原理(续),由上式容易求出，J(n)对的梯度为,令表示滤波器工作在最优条件下的估计误差,易知应满足上式为零。故有,上式表明:代价函数J最小化的充要条件是估计误差与输入正交。此即著名的正交性原理”,推导（续）,BACK,BACK,24,二、最优滤波理论与维纳滤波器,正交性原理（续）,用途作为定理使用,是线性最优滤波理论中最重要定理之一用来检验滤波器是否工作在最优条件,为之提供数学基础等价形式正交性原理亦可等价写为,25,二、最优滤波理论与维纳滤波器,维纳滤波器,Wiener-Hopf方程的一般形式由(2)、(5)式得,即,这就是著名的Wiener-Hopf方程，它定义了最优滤波器系数必须服从的条件。,BACK,26,二、最优滤波理论与维纳滤波器,维纳滤波器(续),Wiener-Hoff方程的求解思路由Wiener-Hopf方程易知,只要知道滤波器输入的自相关函数以及输入与期望响应的互相关函数,通过求解Wiener-Hopf方程,即可获得最优滤波器系数。对于IIR滤波器而言,求解Wiener-Hopf方程是不现实的,因为需要求解无穷多个方程。对于只有有限个(如M个)脉冲响应系数的FIR(横向)滤波器,滤波器设计将大大简化。这时,滤波器的输出为,27,二、最优滤波理论与维纳滤波器,维纳滤波器(续),其中,横向滤波器的Wiener-Hoff方程当滤波器的脉冲响应系数为有限个时,Wiener-Hopf方程(8)可简化为,其中表示横向滤波器的最优抽头权系数。Wiener-Hopf方程(10)还可写成紧凑的矩阵形式：,28,二、最优滤波理论与维纳滤波器,维纳滤波器(续),Wiener解与Wiener滤波器由矩阵方程(11)，即得最优抽头权向量(即Wiener解)：,满足这一关系的离散时间横向滤波器称为维纳(Wiener)滤波器，它在MMSE准则下是最优的。事实上，许多信号处理问题中遇到的离散时间滤波器都具有维纳滤波器形式。,29,二、最优滤波理论与维纳滤波器,维纳滤波器(续),关于维纳滤波器的两个重要结论由Wiener解表达式可得维纳滤波器的两个重要结论：维纳滤波器最优抽头权向量的计算需要已知以下统计量：1)输入向量的自相关矩阵R2)输入向量与期望向量的互相关向量r维纳滤波器实际上是无约束优化最优滤波问题的解。,30,主要内容,随机信号的最优预测和滤波最优滤波理论与维纳滤波器横向LMS自适应数字滤波器横向RLS自适应数字滤波器自适应格型滤波器快速横向滤波（FTF）自适应算法无限脉冲响应自适应滤波器盲自适应信号处理自适应滤波器应用,31,自适应滤波器包括两个过程：滤波过程和自适应过程。此仅考虑后者,即滤波器的自适应实现问题；且主要考虑FIR滤波器的自适应实现，其关键是自适应算法。FIR滤波器的自适应实现指的是：M阶FIR滤波器的抽头权系数w1,wM-1可以根据估计误差e(n)的大小自动调节，使得误差在某个统计最优准则下最小。滤波器设计最常用的准则是MMSE准则，即是使滤波器实际输出y(n)与期望响应d(n)之间的均方误差最小;最终达到Wiener解。,三、横向LMS自适应数字滤波器,基本原理,32,式中w(n)为第n步迭代(亦即时刻n)的权向量，为第n步迭代的更新步长，v(n)为第n步迭代的更新方向(向量),三、横向LMS自适应数字滤波器,基本原理（续）,最广泛使用的自适应算法是“下降算法”,下降算法的两种实现方式-自适应梯度算法：LMS算法及其改进算法-自适应高斯牛顿算法：RLS算法及其改进算法本节介绍LMS类算法，下一节介绍RLS类算法。,33,表示滤波器在n时刻的估计误差，并定义均方误差:,三、横向LMS自适应数字滤波器,基本LMS算法,算法推导,为代价函数；它相对于滤波器抽头权向量w的梯度为,它是式(4)的向量形式。若上式中的数学期望项用它的瞬时值代替,即得真实梯度向量的估值(瞬时梯度)：,令,34,其中,三、横向LMS自适应数字滤波器,基本LMS算法,算法推导(续)设用最速下降法更新滤波器权向量，则有如下算法：,式(14)所示算法就是著名的最小均方自适应算法，简称LMS算法。它由Widrow在20世纪60年代初提出的。,35,而且可以证明LMS自适应滤波器的权向量收敛于维纳解：,三、横向LMS自适应数字滤波器,基本LMS算法,算法收敛性容易验证，瞬时梯度向量是真实梯度向量的无偏估计：,条件是,LMS算法还必须兼顾收敛速度和失调,它来自梯度估计误差:,（是的最大特征值）,36,三、横向LMS自适应数字滤波器,LMS算法的改进,LMS算法的几种变形基本LMS算法归一化LMS算法步长自适应的LMS算法从LMS算法导出牛顿法,37,若自适应产生，则称为自适应步长的LMS算法,三、横向LMS自适应数字滤波器,LMS算法的改进,LMS算法的几种变形,若常数，则称为基本LMS算法,若,则称为归一化LMS