5无线通信信号处理-第3讲(自适应滤波)课件

第三讲

自适应滤波器南京邮电大学郑宝玉2015.8.201精选2021版课件一种典型的自适应滤波器2精选2021版课件维纳滤波

设信号s(k)或s(k)及观测过程x(k)或x(k)是广义平稳的,且已知其功率谱

或自相关函数的知识,则基于观测过程x(k)或x(k),按线性最小均方误差

准则,信号s(k)或s(k)所作的最优估计称为维纳滤波,适用平稳随机环境。卡尔曼滤波

设已知信号的动态模型测量方程，则基于过程x(k)及初始条件，按线

性无偏最小方差递推准则,对状态s(k)所作的最优估计称为卡尔曼滤波适用于非平稳随机环境下的最优滤波。

前言

维纳滤波、卡尔曼滤波与自适应滤波只有在信号和噪声统计特性先验已知的情况下,上述滤波器才能获得最优滤波。在信号和噪声统计特性先验未知的情况下,则需用自适应滤波器才能够提供卓越的滤波性能。自适应滤波3精选2021版课件

本讲内容正交性原理Wiener滤波器梯度下降算法LMS滤波器RLS滤波器Kalman滤波器格型滤波器自适应滤波器应用4精选2021版课件1.正交性原理根据滤波器原理，n时刻的滤波器输出表示为：定义代价函数为均方误差的平方期望信号响应用表示，定义估计误差为：5精选2021版课件1.正交性原理（续）定义函数对复变量的求导：其中a,b分别为w变量的实部与虚部不难有，6精选2021版课件1.正交性原理（续）

上述表明，使得均方误差代价函数最小时的均方误差与输入向量正交。这就是著名的正交性原理。7精选2021版课件1.正交性原理（续）由正交性原理最优滤波器的输出与输入误差也正交8精选2021版课件1.正交性原理的几何解释

最优滤波器的输出误差与其之前的输入正交，滤波器的输出由输入子空间张成，这输出误差与输入误差也正交。9精选2021版课件FIR型的Wiener滤波器………+-10精选2021版课件根据最优滤波器的正交性原理有下式：等价于，上式左边的数学期望代表滤波器输入的自相关函数：右边的数学期望代表滤波器输入与期望输出的互相关函数：11精选2021版课件2.Wiener滤波理论则（X）式可以重新写为：这就是著名的Wiener-Hopf方程，该方程定义了最优滤波器必须服从的条件。定义输入向量12精选2021版课件定义输入信号的自相关矩阵：定义输入与期望响应的互相关向量：2.Wiener滤波理论（续）13精选2021版课件Wiener-Hopf方程的解Wiener-Hopf方程可以写成更紧凑的矩阵表示形式：若输入信号的自相关矩阵为可逆矩阵，14精选2021版课件Wiener滤波器原理框图15精选2021版课件最优滤波器实现存在的问题1.Wiener滤波器最优权系数可以由计算输入信号的自相关函数合输入信号与期望输出的互相关得到。实际中这两个参数是未知的，需要通过估计得到。而估计需要观测无限长信号。2.求最优滤波器时需要计算矩阵求逆，其计算复杂度量级是滤波器长度的三次方。

由于存在这些问题，实际我们实现Wiener滤波并不是直接计算得到最优Wiener滤波器的系数，而是代之以LMS,RLS,Kalman等自适应滤波器。16精选2021版课件

自适应滤波器原理框图17精选2021版课件

自适应滤波器原理框图(续)18精选2021版课件3.梯度下降算法

梯度的数学表示：相对于

向量

的梯度算子记作，定义为因此，一个实际量函数相对于一列向量的梯度为19精选2021版课件3.梯度下降算法（续）

梯度的几何特征

梯度的及格分量给出了标量函数在该分量方向上的变化率

梯度的重要性质

指出了当变元增大时，函数的最大增大率。相反，梯度的负值（简称负梯度）指出了当变元增大时函数的最大减小率。这一性质是梯度下降算法的基础。20精选2021版课件3.梯度下降算法（续）

极小化取负曲率方向作搜索方向取负共轭梯度作目标函数的更新方向。定理：令是实向量的实值函数。将视为独立的变元，实目标函数的曲率方向由共轭梯度向量给出。21精选2021版课件3.梯度下降算法（续）梯度下降算法的迭代过程：候补解在迭代过程中的校正量与目标函数的负梯度成正比。上式称为优化问题候补解的学校算法；常数称为学校步长，它决定候补解趋向最优解的收敛速率。22精选2021版课件4.LMS滤波器最陡下降法随机优化问题Wiener滤波器真实梯度23精选2021版课件4.LMS滤波器（续）梯度下降算法：步长参数，学习速率真实梯度缺点：真实梯度含数学期望，不易求得。梯度估计近似算法(LMS):瞬时梯度：先验估计误差24精选2021版课件4.LMS滤波器（续）基本的LMS算法：瞬时梯度分析：最陡下降法LMS算法

搜索方向为梯度负方向，每一步更新都使目标函数值减小（“最陡下降含义”）。

搜索方向为瞬时梯度负方向，不保证每一步更新都使目标函数值减小，但总趋势使目标函数值减小。25精选2021版课件（图中“2”应去掉！）4.LMS滤波器（续）26精选2021版课件4.LMS滤波器（续）梯度下降法要求不同时间的梯度向量（搜索方向）线性独立。LMS算法的独立性要求：

要求不同时间的输入信号向量线性独立（因为随时梯度向量为)。27精选2021版课件4.LMS滤波器（续）自适应学习速度参数（3）“换档变速”方法：固定＋时变（2）时变学习速度：（递减），模拟退火法则（1）固定学习速度：（常数）缺点：偏大收敛快跟踪性能差偏小收敛慢跟踪性能好28精选2021版课件4.LMS滤波器（续）例1.（先搜索，后收敛）例2.（先固定，后指数衰减）（4）自适应学习速度：“学习规则学习”

和正的常数29精选2021版课件而且可以证明LMS自适应滤波器的权向量收敛于维纳解：算法收敛性前已指出，瞬时梯度向量是真实梯度向量的无偏估计：条件是LMS算法还必须兼顾收敛速度和失调,它来自梯度估计误差:

4.LMS滤波器（续）30精选2021版课件最陡下降LMS单次31精选2021版课件最陡下降LMS多次平均32精选2021版课件

若自适应产生，则称为自适应步长的LMS算法

若常数，则称为基本LMS算法

若,则称为归一化LMS算法结论：这些算法通常称为LMS类算法－梯度算法。

LMS算法的几种变形4.LMS滤波器（续）33精选2021版课件基本思想把最小二乘法(LS)推广为一种自适应算法,用来设计自适应滤波器,利用n-1时刻的滤波器抽头权系数,通过简单的更新，求出n

时刻的滤波器抽头权系数。这样一种自适应的最二乘算法称为递归(递推)最小二乘算法,简称RLS算法。5.RLS滤波器34精选2021版课件√X5.RLS滤波器（续）因为,在更新过程中,滤波器特性总是越来越好,即如何时刻,总是

且有代价函数取为误差函数的加权平方和形式：35精选2021版课件5.RLS滤波器（续）由此得到下面的关系式：即36精选2021版课件5.RLS滤波器（续）记37精选2021版课件5.RLS滤波器（续）得到利用矩阵求逆引理：由关系式注：矩阵求逆引理的一般表达式：38精选2021版课件5.RLS滤波器（续）记则39精选2021版课件5.RLS滤波器（续）40精选2021版课件5.RLS滤波器（续）41精选2021版课件5.RLS滤波器（续）RLS算法42精选2021版课件43精选2021版课件5.RLS滤波器（续）非平稳44精选2021版课件Kalman滤波器是一种序贯估计问题，导自：Bayes方法新息方法(Innovationsapproach)Kalman滤波器本质上与RLS滤波器有相同的表达式，其区别仅在于其基础假设不同。6.Kalman滤波器45精选2021版课件Kalman滤波器通常表示为:给定一噪声观测序列，估计由噪声激励的线性系统状态向量序列（Givenasequenceofnoisyobservationstoestimatethesequenceofstatevectorsofalinearsystemdrivenbynoise）状态空间方程6.Kalman滤波器（续）46精选2021版课件Kalman滤波器与RLS滤波器有如下对应关系

状态空间 RLS状态更新矩阵状态噪声方差

观测矩阵

观测数据向量

状态估计向量

6.Kalman滤波器（续）47精选2021版课件LMS、RLS、Kalman算法比较（1）计算复杂度：LMS<RLS<Kalman相差不大（2）RLS算法是“无激励”状态空间模型下的Kalman滤波算法（3）收敛速率：

LMS：越大，学习步长越大，收敛越快

RLS：遗忘因子越大，遗忘作用越弱，收敛越慢时变学习速率、时变遗忘因子

Kalman：无收敛问题，无收敛参数48精选2021版课件7.格型滤波器7.1格型滤波器原理7.2LMS格-梯型滤波器7.3RLS格-梯型滤波器49精选2021版课件考虑信号序列值：前向预测后向预测前向预测误差：后向预测误差：其中分别为p阶前、后向预测系数。

前向预测与后向预测7.1格型滤波器原理

50精选2021版课件

根据前面的基本概念，可知m阶前向预测误差为类似地，

m阶后向预测误差为再利用Levinson关系式：有其中7.1格型滤波器原理（续）

51精选2021版课件

对称的格型结构

n时刻的前向和后向预测误差(残差)服从如下递推关系:其初值为：则前向和后向预测误差滤波器传递函数递推公式为其中如令7.1格型滤波器原理（续）

52精选2021版课件

容易推出前、后向滤波器传递函数的一般关系式：由式(4a)知:

为了使前向滤波器物理可实现，前向滤波器传递函数Am(z)必须是最小相位多项式，即的零点必须全部在单位圆内，亦即

从而这就是格型滤波器时各级反射系数必须满足的条件。7.1格型滤波器原理（续）

53精选2021版课件由式(4b),即由下式可见,格型滤波器的设计归结为前向滤波器的设计。

可知，后向滤波器的权系数与前向滤波器的权系数之间存在以下关系：7.1格型滤波器原理（续）

54精选2021版课件

格型滤波器设计准则

现在讨论前向滤波器A(z)的设计准则。(3)可等价写作相应的时域表达式为7.1格型滤波器原理（续）

55精选2021版课件

定义前、后向滤波器的残差能量容易证明上式表明,在格型滤波器设计中有如下三种等价表述：i)使前向预测滤波器Am(z)残差能量均方误差Fm最小ii)使后向预测滤波器Bm(z)残差能量均方误差Gm最小iii)使前后向预测滤波器残差能量均方误差(Fm+Gm)/2最小7.1格型滤波器原理（续）

56精选2021版课件

上述结论构成格型滤波器的设计基础，而且由此有

1)完全可以仅根据前向残差能量Fm设计格型滤波器，

2)后向预测误差（残差）正交

这表明，不同级滤波器的后向残差正交

这一特性意味着格型滤波器的前后级是解耦的，故可独立设计每一级滤波器。3)阶数越大,前向残差Fm越小。当前向残差能量不再减小

时，最小的阶数即为格型滤波器的最优阶数。

7.1格型滤波器原理（续）

57精选2021版课件

格型自适应算法

令w(n)为滤波器在n时刻的权系数，并满足现考虑采用一般能量形式的加权最小二乘法。为此，定义瞬态前后向残差能量和n时刻及以前时刻前后向残差的加权总能量误差函数7.1格型滤波器原理（续）

58精选2021版课件可得n时刻发射系数且有这保证了前向滤波器是最小相位的,即物理可实现的。利用7.1格型滤波器原理（续）

59精选2021版课件取

,

并引入即得且

服从如下递推关系式：

7.1格型滤波器原理（续）

60精选2021版课件

步骤1计算预测误差功率和前后向预测误差的初始值:步骤2计算前、后向残差步骤3求中间系数步骤4计算反射系数：

步骤5计算预测误差功率：

步骤6令,重做步骤2-5,直到预测误差功率很小为止.

格型自适应滤波算法步骤61精选2021版课件根据均方误差准则考虑格型基本表达式：相对于滤波器参数最小化,得当信号的统计特性未知时，采用最小二乘准则：确定

,

故有7.2LMS格-梯型滤波器

62精选2021版课件首先,考虑格型部分的递归实现问题。为此,设从而，有如下递推公式：其中及7.2LMS格-梯型滤波器（续）

63精选2021版课件其次,考虑格型-梯形的联合估计问题。图1格型的总输出:为求的最优值,设期望信号d(n)与m级格型估计信号的误差：或向量必须满足正交性条件，故有后面将利用这个正交性表达式求。或7.2LMS格-梯型滤波器（续）

64精选2021版课件利用后向误差的正交性：从而有并注意到是对角阵，有再注意到其中vm见式(8)7.2LMS格-梯型滤波器（续）

65精选2021版课件梯度格-梯型算法其中:7.2LMS格-梯型滤波器（续）

66精选2021版课件图1自适应格-梯型滤波器+++++++++………+－+－+－+－+－Stage1Stage2StageM-1…++LMS格-梯型滤波器实现抠图67精选2021版课件

格型预测器:从n=0出发,对m=0,1,…,M-1,计算阶更新7.3RLS格-梯型滤波器（算法）

68精选2021版课件

梯型预测器:从n=0出发,对m=0,1,…,M-1,计算阶更新

初始化:7.3RLS格-梯型滤波器（算法续）

69精选2021版课件+++++++++………+－+－+－+－+－Stage1Stage2StageM-1图2自适应RLS格-梯型滤波器RLS格-梯型滤波器实现抠图70精选2021版课件

分块矩阵求逆引理

设有分块矩阵：

则有或其中(a)(b)[原(5.3.23)][原(5.3.22)]RLS格-梯型滤波算法依据71精选2021版课件

数据向量与预测系数向量

-考虑数据向量

则存在两种不同的分块方式

分别对应于前向预测和后向预测。-定义前向预测系数向量和后向预测系数向量，即RLS格-梯型滤波算法依据（续）-应用：

对于前向预测，用向量来预测预测系数向量为

对于后向预测，用向量来预测预测系数向量为

72精选2021版课件

自相关矩阵a)对于前向预测：

b)对于后向预测：其中，u(n)和v(n)为期望响应加权平方和注意:因为矩阵R有两种分块形式,故其求逆用两种形式RLS格-梯型滤波算法依据（续）73精选2021版课件

互相关向量

a)对于前向预测：b)对于后向预测：c)对于联合估计：RLS格-梯型滤波算法依据（续）74精选2021版课件

W-H方程与Wiener解

a)对于前向预测：b)对于后向预测：c)对于联合估计：RLS格-梯型滤波算法依据（续）参考：清华大学出版社2013.1：统计信号处理算法(5.3节)（Proakis著）75精选2021版课件8.自适应滤波器的应用

滤波的最终目标是在有噪声的情况下，将感兴趣的信号尽可能精确地估计出来。因此作为移赠信号处理方法在诸多领域有着广泛的应用。

生物医学

目标识别和跟踪

无线通信

图像处理76精选2021版课件77精选2021版课件UsedtoprovidealinearmodelofanunknownplantApplications:Systemidentification自适应滤波器应用之一：系统辨识78精选2021版课件UsedtoprovideaninversemodelofanunknownplantApplications:Comm.channelEqualization自适应滤波器应用之二：信道均衡79精选2021版课件UsedtoprovideapredictionofthepresentvalueofarandomsignalApplications:Linearpredictivecoding自适应滤波器应用之三：预测编码80精选2021版课件UsedtocancelunknowninterferencefromaprimarysignalApplications:Echo/Noisecancellationhands-freecarphone,aircraftheadphonesetc自适应滤波器应用之四：干扰消除81精选2021版课件82精选2021版课件Example:

AcousticEchoCancellation83精选2021版课件84精选2021版课件85精选2021版课件86精选2021版课件87精选2021版课件88精选2021版课件89精选2021