第四章自适应滤波器及其应用课件

第四章自适应滤波器及其应用基本原理与典型应用自适应算法及误差性能梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器第四章自适应滤波器及其应用基本原理与典型应用自适应算法及误差性能梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器………+-+Σ自适应算法单输入的结构……+-+Σ自适应算法多输入的结构四、误差性能曲面的几何意义：为直观期间，假定L=1，考察二维权矢量、三维空间的情况：均方误差性能函数：为求等高线方程，令均方误差性能曲面均方误差性能曲面的等高线第四章自适应滤波器及其应用基本原理与典型应用自适应算法及误差性能梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器

自适应算法梯度下降算法

（负梯度方向）最陡下降算法

梯度的数学表示：相对于阶矢量的梯度算子记作，定义为因此，一个实际量函数相对于一列矢量的梯度为

梯度的主要特征：梯度的每个分量给出了标量函数在该分量方向上的变化率；正梯度表示当变元增大时函数的最大增大率；负梯度表示当变元增大时函数的最大减小率（梯度下降算法的基础）。极小化取负曲率方向作搜索方向取负梯度作目标函数的更新方向。定理：令是实矢量的实值函数。将视为独立的变元，实目标函数的曲率方向由梯度矢量给出。梯度下降算法的迭代关系：近似解在迭代过程中的校正量与目标函数的负梯度成正比。上式是优化问题近似解的学习算法；常数称为学习步长，它决定近似解趋向最优解的收敛速率；均方误差随迭代次数n变化的曲线称为“学习曲线”。梯度：故坐标平移坐标旋转去耦合由初始权向量迭代可得：(分量间无耦合)或表式为：因为，或：实际常用（保守的）收敛条件：如果迭代过程收敛，则步长µ

必须满足收敛条件:●µ太大将不收敛；●在保证收敛情况下：µ越大，收敛越快，但太大时过渡过程具有振荡特性（欠阻尼），且稳态误差较大；µ越小，稳态误差越小，但收敛越慢。或(a)小的µ值情况步长µ值的影响(b)大的µ值情况为了保证收敛，步长，故有：当特征值分散性大使条件数很大时，最陡下降算法收敛性很差。第四章自适应滤波器及其应用基本原理与典型应用自适应算法及误差性能梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器自适应滤波器包括两个过程：滤波过程和自适应过程。滤波器的自适应实现是关键；设计重点是选择FIR结构，主要内容是研究自适应算法。

FIR滤波器的自适应实现指的是(L+1)阶FIR滤波器的抽头权系数

可以根据估计误差e(n)的大小自动调节，使得误差在某个统计最优准则下最小。自适应滤波器设计最常用MMSE准则，即：使滤波器实际输出y(n)与期望响应d(n)之间的均方误差最小;

最终达到Wiener解。最广泛使用的自适应算法是“下降算法”下降算法的两种实现方式

-自适应梯度算法：LMS算法及其改进算法

-自适应高斯－牛顿算法：RLS算法及其改进算法本节介绍LMS类算法，下一节介绍RLS类算法。式中

为第n步迭代(亦即时刻n)的权矢量，为第n步迭代的更新步长，

为第n步迭代的更新方向(矢量)。随机优化问题(数学描述)：最优解(Wiener解）：最陡下降算法：真实梯度最陡下降法存在不可实现的缺点：真实梯度含数学期望，只有理论意义。梯度的估计算法改进：无偏估计瞬时梯度：先验估计误差用误差平方代替均方误差权矢量因梯度估计误差而引入的稳态噪声权矢量稳态噪声功率算法流程图单支路全系统(1)若常数，则称为基本LMS算法；(2)若,,则称为归一化LMS算法；(3)若自适应产生，则称为自适应步长的LMS算法。LMS类算法统称为梯度算法，实际应用中有以下几种形式：六、LMS算法的改进：牛顿法也是一类LMS算法，与LMS算法有相同的迭代格式。用左乘上式两边，并将结果代入维纳解公式，得：实际上，前面已导出维纳最优解为：由上式可写出牛顿迭代公式：LMS类算法的统一迭代结构:取不同的就构成不同的自适应算法。第四章自适应滤波器及其应用基本原理与典型应用自适应算法及误差性能梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器一、最小二乘（LS）准则及LS滤波器最小均方误差（MMSE)准则使误差平方的统计平均最小，需要根据输入数据长期统计特性寻求最佳滤波。实际中通常已知的仅是一组数据，因而只能对长期统计特性进行估计或近似。最小二乘准则是直接根据一组有限长数据进行最佳滤波的准则。最小二乘准则：对有限长数据，用其误差二乘方的时间平均代替MMSE准则中的均方误差，并使其最小化。………+-+Σ自适应算法问题描述：当前时刻n已获得n个数据如何设计m阶滤波器的权矢量

对这组数据进行滤波，使其输出为期望信号的最小二乘估计。

特别注意：这里是批处理，特定时刻n的一批输入数据对应一个权矢量

。FIRLS滤波器结构对d(i)的估计：n个估计误差平方加权和：估计误差：表示用n时刻滤波权矢量处理数据时对d(i)进行估计的误差。如下页示意图：注：后补零仅针对并行（多）输入情形考虑指数加权的最小二乘法，其代价函数表示为以前加窗法为例。2)

和e(i)分别称为滤波器在i时刻后验和先验估计误差故使用作为误差函数比使用e(i)更为合理。即式中,称为遗忘因子。其作用是对离n时刻越近的误差更加大权重,而对离n时刻越远的误差更减小权重,即对各个时刻的误差具有某种遗忘作用。式(1a)中,误差函数定义为：1)式中，滤波器权矢量取为n时刻的权向量,理由是:在自适应更新过程中,滤波器特性总是越来越好,这意味着,对任何时刻,总有讨论合并(1a)和(1b)得从而，有最佳权矢量使代价函数最小，即式(4)表明：指数加权最小二乘问题的最佳权矢量也为维纳解。最佳权矢量的自适应迭代求解过程即采用RLS自适应算法。根据上面的推导，可以得出记二、递归最小二乘（RLS）自适应算法的构造算法思想：把最小二乘法(LS)推广为一种自适应算法，用来设计自适应的横向滤波器，利用n-1时刻的滤波器抽头权系数，通过简单的更新，求出n

时刻的滤波器抽头权系数。这种自适应的递推算法称为递归最小二乘算法，简称RLS算法。可得T(n)的递推关系（请课后自己推导）：继续是利用n-