自适应滤波ppt课件

1、7/18/2020,1,5.自适应滤波,5.1 预备知识,5.1.1自适应滤波原理,所谓自适应滤波，就是用前一时刻已获得的滤波器参数等结果， 自动地调节现时刻的滤波器参数，以适应信号和噪声未知的或 随时间变化的统计特性，从而实现最优滤波。,所谓最优是以一定的准则来衡量的，最常用的两种准则是最小 均方误差准则和最小二乘准则。,自适应滤波器的主要指标是收敛速度、失调、计算复杂度、结 构模块化和数值特征。,7/18/2020,2,5.1.2自适应滤波器的组成、分类与结构,自适应滤波器由数字结构、自适应处理器和自适应算法三部分组成。,数字结构是指自适应滤波器中各组成部分的联系。,自适应处理器即前面介绍

2、数字滤波器，所不同的是这里的数 字滤波器是参数可变的。,自适应算法是用来控制自适应滤波器参数的变化。,自适应滤波器分类,7/18/2020,3,1.按数字结构分类,自适应滤波器按其数字结构可分为开环自适应滤波器和闭环自 适应滤波器。,7/18/2020,4,图5.2 闭环自适应滤波器,2.按自适应处理器分类,自适应滤波器按其自适应处理器可分为非递归自适应滤波器和递 归自适应滤波器。,7/18/2020,5,3.按自适应算法分类,自适应滤波器按其自适应算法可分为LMS(最小均方)自适应滤波器 和RLS（递归最小二乘）自适应滤波器等。,5.1.3自适应滤波应用举例,1.自适应预测,2.自适应干扰对

3、消,3.自适应系统辨识,7/18/2020,6,5.2 维纳滤波器,滤波定义: 所谓滤波,是指在含噪信号x(k)=s(k)+v(k) 或其矢量信号 x(k)=s(k)+v(k)中尽可能排除噪声v(k)或v(k)干扰，而将有用信号s(k)或s(k)分离或提取出来。 若设计的对x(k)进行滤波的滤波器能使其输出y(k)尽可能逼近s(k)，成为s(k)的最佳估计 ,这种滤波器称为最佳滤波器,滤波、预测与平滑 设基于观测过程x(k)或矢量观测过程x(k)，对 s(k+)或s(k+)作最优估计，那么 若=0，就是滤波问题。 若0，就是预测问题。 若0，就是平滑问题。,7/18/2020,7,维纳滤波 设

4、信号s(k)或s(k)及观测过程x(k)或x(k)是广义平稳的, 且 已知其功率谱或自相关函数的知识，则基于观测过程x(k) 或x(k)，按线性最小均方误差估计准则，对信号s(k)或s(k) 所作的最优估计称为维纳滤波,图一,7/18/2020,8,设计滤波器的过程可表述如下： 设计线性离散时间滤波器的单位冲激响应h(n), 使滤波器输出 y(n),在给定输入样本x(0),x(1),的情况下给出期望响应s(n)的估计，并能使估计误差 的均方值 为最小,根据图一，n时刻的滤波器输出表示为：,由于滤波器为物理可实现的，故h(n)必须是因果序列：,又由于实际中只能得到有限个观测数据，故（1）式可写成

5、：,（1）,（2）,7/18/2020,9,估计的均方误差为,式中为了书写方便，令hi=h(m), xi=x (n-m) ,e= e(n), s=s(n),(3),为求出使Ee2最小的hi，将上式对各hi求偏导数，并令其等于0，得,得,及,(4),(5),式(4)或式（5）称为正交方程,7/18/2020,10,正交性原理及推论： 1）正交性原理：要使估计的均方误差最小，滤波系数hi的选择 应使估计误差e与所有的观测值xi正交，其中i=0,1,2.N-1。 2）正交性原理的推论：要使估计的均方误差最小，滤波系数hi 的选择应使估计误差e与估计值 正交，其中i=0,1,2.N-1。,即,(6),

6、式(6)称为维纳-霍甫夫方程，它反映了相关函数与最佳单位脉冲 响应之间的关系。将i=0,1,2,N-1分别代入（6）得N个方程组成 的线性方程组，写成矩阵形式,7/18/2020,11,式中Rxx称为x(n)的自相关阵, Rsx称为s(n)与x(n)的互相关向量。,(7),7/18/2020,12,由式(7)可解出最佳单位脉冲响应为,5.2.2 维纳-霍甫夫方程求解,维纳-霍甫夫方程的解就是维纳滤波器的系数，也即FIR数字滤波器 的单位脉冲响应h(n)，此时维纳滤波器的输出是信号的最佳估计。 相应地，最佳的单位脉冲响应叫做维纳解。设计维纳滤波器可以归 结为求维纳解，也就是解维纳-霍甫夫方程。

7、下面介绍一种求维纳解的方法，搜索法。,首先将前面提到的单位脉冲序列h(n)表示为权系数w0,w1,wN-1,由 权系数组成的向量称为权向量。则n时刻权向量表示为,7/18/2020,13,n时刻及以前的数据组成的向量叫信号向量，表示为,n时刻希望得到的输出叫期望响应，用d(n)表示，定义均方误差性 能函数为,根据前面的分析，得对滤波器的输出即期望响应d(n)的估计为,均方误差性能函数表达式为,7/18/2020,14,上式P为互相关函数组成的N维列向量,（8）,（9）,7/18/2020,15,令,R为数据的自相关函数组成的NN维矩阵,（10）,7/18/2020,16,将（9）式、（10）式

8、代入（8）式可得均方误差性能函数为：,单权重情况: 抛物线,性能曲面,7/18/2020,17,两个权系数: 抛物面,7/18/2020,18,个权系数: 一个 维空间内的 超抛物面 “碗底”点对应于均方误差最小点，也就是最优权系数矢量 所在的点。对于一个二次性能方程，存在唯一全局最优权矢量，没有局部最优点存在.将碗底所对应的权向量表示为,上式即为搜索目标，即实现最优滤波时的权系数。,7/18/2020,19,梯度法,很多自适应方法使用基于梯度的方法寻找可以达到最小均方误差的权矢量。 均方误差性能曲面的梯度定义为：,最优权重矢量处梯度为零：,7/18/2020,20,最小均方误差：,与维纳滤波

9、器的最小均方误差比较:,7/18/2020,21,5.2.3 误差性能曲面的几何性质,误差性能函数,将误差性能函数改写为,如果令(w)为某固定值，在二维情况下，*式就是椭圆方程。该椭圆方程也叫等高线方程。图1给出了不同均方误差的椭圆曲线图。,*,7/18/2020,22,7/18/2020,23,下面以(w)=2 min为例分析等高线的性质。将(w)=2 min代入*式得,为了便于分析，现将等高线方程标准化，即通过坐标系的平移、旋转使等高线方程标准的椭圆方程。,1）首先进行坐标系平移,通过坐标系平移，将原来w坐标系的坐标原点移至碗底位置成为v坐标系，有,将 代入上式得,*,7/18/2020,

10、24,将上式代入*式得,结合式 得,上式即为平移坐标系v中的椭圆方程。与标准椭圆方程比较,*,7/18/2020,25,得若椭圆方程为标准方程，则R矩阵必须为对角阵。下面通过旋转来实现。,2）进行坐标系旋转,对N阶实对称阵R存在正交阵Q使得,上式中i 是对角阵的特征值也是称阵R的特征值。若将上式两边同乘Q，有,令 上式写为,*,7/18/2020,26,即,说明Q的各列是R的特征向量，分别对应于的对角线的一个元素。,7/18/2020,27,将*式两边同乘QT=Q-1代入*式得,令QTV=V代入上式，整理得,上式即为标准的椭圆方程,N维的均方误差函数在平移坐标系、主轴坐标系中的表示分别为,7/

11、18/2020,28,N维的均方误差函数在主轴坐标系中的表示式对权向量v 求导得性能曲面的梯度向量为,由上式可得以下两点结论：,1）当搜索点位于某一主轴上时，由于其它主轴上的分量 为零，此时梯度向量就处在该轴上，大小为,7/18/2020,29,均方误差函数沿任一主轴的二阶导为相应特征值的两倍,7/18/2020,30,5. 2 .4 举例,7/18/2020,31,7/18/2020,32,7/18/2020,33,7/18/2020,34,7/18/2020,35,7/18/2020,36,7/18/2020,37,7/18/2020,38,7/18/2020,39,5. 3 最速梯度法,

12、7/18/2020,40,本节介绍最速梯度法求维纳解。即沿着负梯度的方向移动搜索点。,5. 3 .1权系数的迭代解,为了深刻理解梯度搜索法的基本概念，首先讨论一维 的情况。一个权（单变量）的性能表面是一条抛 物线，如图所示。,7/18/2020,41,用 w0(n+1) 和w0(n)分别表示经过n+1次迭代和n次迭代后 w0的值，则一次迭代的调整量w0为,7/18/2020,42,根据梯度下降法的思路，应有,逐次迭代直至,显然，若调整量w0足够小，则 在w0可展开 成泰勒级数，取一次项，则,*,*,有*式和*式得,*,7/18/2020,43,显然上式要成立， w0必须取负导数的方向，也即负梯

13、度的方向，令,式中0称为步长因子或收敛因子。,将上式代入*式及*式得,*,7/18/2020,44,*式即为权系数w0的迭代公式。,将*式推广至多维情况，得通用迭代公式,式中 是 面上任一点的梯度。显然，要由上式迭代得维纳解w*，必须知道面上相应点的梯度 。 因为,为了便于分析，将上式改写为,*,7/18/2020,45,则上式梯度为,将上式代入*得,5. 3 .2权系数的闭式解,下面将式迭代解化为闭式解,设正交阵Q为实对称阵R的特征向量矩阵，则,7/18/2020,46,由于Q为正交阵，有QQT=QQ-1=I,所以,上式两边同乘QT得,7/18/2020,47,令w(n)=QTw(n),则上

14、式进一步写成,在旋转坐标系中的最优解,将上式表示成展开形式,7/18/2020,48,上式为旋转坐标系中最优权的表达式。,7/18/2020,49,下面推导权系数的闭式解 由上式，令n=0，得,7/18/2020,50,令n=1，得,令 则上式写为,上式即为权系数的闭式解表达式,7/18/2020,51,5. 3 .3最速梯度法的收敛条件,由于经过多次迭代后，权向量将收敛于维纳最优解，即 。,可以证明，仅当 满足时，上式 收敛才能保证。式中， 为最大特征值，即为 中的最大对角元素。,经验公式,7/18/2020,52,5. 3 .4权系数的收敛规律,平移坐标系、主轴坐标系中的权向量分别表示为,

15、主轴坐标系中任一权系数为,7/18/2020,53,稳定条件:,上式也是主轴坐标系中的最优解。,收敛速率,滤波器参数的收敛速度决定于自适应步长的选择 在主轴系统中参数沿着各个参数坐标轴独立收敛。各个坐标轴的收敛速度被各自的几何比 r 控制。 需要注意的是，在自然坐标系中各个参数w并不是独立收敛的。这是我们为什么要变换坐标系到主轴系统进行收敛分析的原因。,7/18/2020,54,取不同值时权系数与迭代次数的关系曲线,7/18/2020,55,取不同值时权系数的收敛情况,7/18/2020,56,收敛速度：几个时间常数,权系数衰减时间常数 权系数衰减到初始值的 需要花费的时间。,说明：收敛时间常

16、数与步长因子和相应特征值均成反比,7/18/2020,57,(2) 学习曲线时间常数 即均方误差与最小均方误差的差值下降到初始差值的 时所花费的时间。,7/18/2020,58,5. 4 最小均方（LMS）算法,最陡下降法在每次迭代时要求得到性能曲面梯度的估计值。 LMS 方法使用一个特别方法估计这个梯度（这个梯度对于自适应的线性组合器是有效的） LMS 方法的优势在于: (1) 计算简单方便 (2) 不需要离线的梯度估计或者数据副本 如果自适应系统是一个自适应线性组合器，并且输入矢量和期望响应在每次迭代时都可以得到，那么LMS方法通常是一个最好选择。,7/18/2020,59,5. 4 .1

17、 权系数的迭代解,使用单次计算的估计误差平方代替平方误差的期望。,LMS使用单次误差代替误差平均，造成梯度和权矢量成为围绕真值的随机变量。,7/18/2020,60,将式写成展开式,稳定条件:,7/18/2020,61,5. 4 .2 LMS权系数的收敛性分析,最陡下降法,LMS权向量的均值等于最速梯度法得到的权向量,7/18/2020,62,梯度估计噪声的存在，使得收敛后的权矢量在最佳权矢量的附近随机起伏。这意味着稳态的均方误差值在 附近随机的改变。这个偏移量的期望值称为超量均方误差MSE,5. 4 .3 均方误差的收敛性分析及失调量,超量均方误差MSE对最小均方误差 的归一化定义为失调量，

18、用M表示,说明步长因子和信号功率都对失调有影响,7/18/2020,63,失调与收敛时间常数的关系,实际应用中，失调量，收敛速度和权系数的个数往往需要作一个折中，因此这个方程很有用。,若R的N个特征值相等，则有,7/18/2020,64,5. 6 递归最小二乘（RLS）算法,基本思想 把最小二乘法(LS)推广为一种自适应算法，用来设计自适应的横向滤波器，利用n-1时刻的滤波器抽头权系数，通过简单的更新，求出n 时刻的滤波器抽头权系数。这样一种自适应的最二乘算法称为递归(递推)最小二乘算法, 简称RLS算法。 主要优点：收敛速度快 主要缺点：每次迭代需要的运算量很大，对于N阶横向滤波器，其计算量在N2数量级。,7/18/2020,65,基本方程 考虑指数加权的最小二乘法，其代价函数为,式中 , 称为遗忘因子, 其作用是对离n时刻越近的误差加越大的权重, 而对离n时刻越远的误差加越小的权重, 即该参数对各个时刻的误差具有某种遗忘作用。 式(1a)中, 误差函数定义为,式中d(i)表示i 时刻的期望响应,e(i|n)表示用n