自适应滤波技术课件

2023/8/8大连理工大学12023/8/8大连理工大学1第12章自适应滤波技术大连理工大学硕士研究生校管课程信号处理与数据分析电子信息与电气工程学部邱天爽2015年12月2023/7/31大连理工大学12023/7/31大连理工大2023/8/8大连理工大学2

内容概要§14.1引言

§14.2横向自适应滤波器结构与随机梯度法§14.3自适应滤波器的最小均方（LMS）算法§14.4自适应滤波器的递归最小二乘（RLS）算法§14.5自适应滤波器的主要应用结构2023/7/31大连理工大学2内容概要§14.1引言2023/8/8大连理工大学3§12.1

引言2023/7/31大连理工大学3§12.1引言2023/8/8大连理工大学44自适应滤波的基本概念自适应滤波（adaptivefiltering）是信号处理领域的一个非常重要的分支。1959年由B.Widrow提出自适应的概念。近年来，超大规模集成电路技术和计算机技术的迅速发展，为自适应滤波器的发展和应用提供了重要的物质基础。另一方面，信号处理理论和应用的发展，也为自适应滤波理论的进一步发展提供了必要的理论基础。自适应滤波理论和技术日益受到重视，并且已经许多领域得到广泛的应用，并推动这些领域的进步。2023/7/31大连理工大学44自适应滤波的基本概念2023/8/8大连理工大学55自适应的含义“自适应”（adaptive）一词具有主动适应外部环境的含义。顾名思义，自适应滤波器是一种能够根据输入信号自动调整自身性能并进行数字信号处理的数字滤波器，其最本质的特点就是具有自学习和自调整即所谓自适应的能力。一般来说，自适应滤波器能够依据某种预先确定的准则，在迭代过程中自动调整自身的参数和/或结构，去适应变化的环境，以实现在这种最优准则下的最优滤波。2023/7/31大连理工大学55自适应的含义2023/8/8大连理工大学62023/8/8大连理工大学670年代中期，B.维德罗等人提出自适应滤波器及其算法，发展了最佳滤波设计理论。以最小均方误差为准则设计的自适应滤波器的系数可以由维纳-霍夫方程解得。

B.维德罗提出的一种方法，能实时求解自适应滤波器系数，其结果接近维纳－霍夫方程近似解。这种算法称为最小均方算法或简称LMS法。这一算法利用最陡下降法，由均方误差的梯度估计从现时刻滤波器系数向量迭代计算下一个时刻的系数向量。2023/7/31大连理工大学62023/7/31大连理工大2023/8/8大连理工大学72023/8/8大连理工大学7Bernard.Widrow（维德罗）ProfessorEmeritus,ElectricalEngineeringDepartment,StanfordUniversityResearchfocuseson:adaptivesignalprocessing,adaptivecontrolsystems,adaptiveneuralnetworks,humanmemory,andhuman-likememoryforcomputers.Applicationsinclude:signalprocessing,prediction,noisecancelling,adaptivearrays,controlsystems,andpatternrecognition.

2023/7/31大连理工大学72023/7/31大连理工大2023/8/8大连理工大学82023/8/8大连理工大学8自适应滤波器的发展20世纪40年代初期，N.维纳首先应用最小均方准则设计最佳线性滤波器，用来消除噪声、预测或平滑平稳随机信号。60年代初期，R.E.卡尔曼等发展并导出处理非平稳随机信号的最佳时变线性滤波设计理论。维纳、卡尔曼等滤波器都是以预知信号和噪声的统计特征为基础，具有固定的滤波器系数。因此，仅当实际输入信号的统计特征与设计滤波器所依据的先验信息一致时，这类滤波器才是最佳的。否则，这类滤波器不能提供最佳性能。2023/7/31大连理工大学82023/7/31大连理工大2023/8/8大连理工大学9§12.2横向自适应滤波器结构与随机梯度法2023/7/31大连理工大学9§12.2横向自适应滤波2023/8/8大连理工大学1010自适应滤波结构自适应滤波器是一种能够根据输入信号自动调整自身特性并能进行数字信号处理的数字滤波器，本质特点是具有自学习和自调整即所谓自适应的能力。2023/7/31大连理工大学1010自适应滤波结构2023/8/8大连理工大学112023/8/8大连理工大学11自适应滤波器的原理图图中，x(n)、y(n)和d(n)表示时刻n的输入信号、输出信号和参考信号；e(n)表示时刻n的期望信号。自适应滤波器的参数受误差信号控制，并根据e(n)的值自动调整,使之适合下一时刻n+1的输入x(n+1),使输出信号y(n+1)更加接近期望信号d(n+1)，并使误差信号e(n+1)进一步减小。2023/7/31大连理工大学112023/7/31大连理工

12.2.1横向自适应滤波器的结构及其

性能函数横向自适应滤波器有两种基本结构单输入结构；多输入结构。大连理工大学1212.2.1横向自适应滤波器的结构及其

2023/8/8大连理工大学132023/8/8大连理工大学13（1）横向自适应滤波器横向自适应滤波器（单输入结构）2023/7/31大连理工大学132023/7/31大连理工2023/8/8大连理工大学142023/8/8大连理工大学14横向自适应滤波器（多输入结构）2023/7/31大连理工大学142023/7/31大连理工2023/8/8大连理工大学152023/8/8大连理工大学15自适应滤波器的数学描述自适应滤波器的权矢量为输入信号矢量：或输出信号：自适应系统的误差信号2023/7/31大连理工大学152023/7/31大连理工2023/8/8大连理工大学162023/8/8大连理工大学16上式两边平方，并取数学期望定义输入信号的自相关矩阵2023/7/31大连理工大学162023/7/31大连理工2023/8/8大连理工大学172023/8/8大连理工大学17定义互相关矢量这样，有2023/7/31大连理工大学172023/7/31大连理工2023/8/8大连理工大学182023/8/8大连理工大学18（2）自适应滤波器的性能函数称均方误差函数为自适应滤波器的性能函数：当与为平稳随机过程时，性能函数为的二次函数，超抛物面，碗口向上，有唯一最小值。该最小值所对应的最佳权矢量对应于维纳滤波器的权矢量。

2023/7/31大连理工大学182023/7/31大连理工

12.2.2二次型性能表面的搜索目标：找出性能函数的最小值，并由此得到这个最小值所对应的最佳权矢量。方法：在数学上是利用导数求取曲线和曲面的极值问题。梯度：对于性能函数来说，需要求其梯度，再根据二次型的性质，当梯度值为0时，即对应着性能函数的最小值。大连理工大学1912.2.2二次型性能表面的搜索目标：找出性能函数的最2023/8/8大连理工大学202023/8/8大连理工大学20

最佳权矢量与最小均方误差对性能函数求梯度，有令上式为0，可得：上式称为维纳—霍夫方程，与维纳滤波器有相同的形式和意义。故自适应滤波器的最佳权矢量由称为维纳权矢量。最佳权矢量需要迭代实现，或称为梯度搜索。2023/7/31大连理工大学202023/7/31大连理工2023/8/8大连理工大学212023/8/8大连理工大学21最小均方误差将最佳权矢量的表达式代入性能函数表达式，有进一步简化，有：2023/7/31大连理工大学212023/7/31大连理工2023/8/8大连理工大学222023/8/8大连理工大学22（1）梯度搜索常用的方法：牛顿法2023/7/31大连理工大学222023/7/31大连理工2023/8/8大连理工大学232023/8/8大连理工大学232023/7/31大连理工大学232023/7/31大连理工2023/8/8大连理工大学242023/8/8大连理工大学24（2）梯度搜索常用的方法：最速下降法最速下降法是一种古老而又非常有用的方法，它通过迭代寻找极值。从几何上来说，它使系统的均方误差沿其梯度反方向下降，最终达到，并使权矢量为。2023/7/31大连理工大学242023/7/31大连理工2023/8/8大连理工大学252023/8/8大连理工大学25最速下降法的推导梯度矢量表示为：这样，最速下降法表示为：其中，为正值，称为收敛因子或迭代步长。将性能函数在处进行一阶泰勒展开，有：表明，上式满足，随着迭代的进行，当时，性能函数趋于。2023/7/31大连理工大学252023/7/31大连理工2023/8/8大连理工大学262023/8/8大连理工大学26最速下降法的迭代公式最速下降法的稳定因素：收敛因子的选取；自相关矩阵的特性。收敛因子的选取条件：其中，为自相关矩阵的最大特征值。2023/7/31大连理工大学262023/7/31大连理工2023/8/8大连理工大学272023/8/8大连理工大学27最速下降法的优缺点优点：算法简单，易于实现；缺点：需要大量的迭代。2023/7/31大连理工大学272023/7/31大连理工2023/8/8大连理工大学28§12.3自适应滤波器的最小均方（LMS）算法2023/7/31大连理工大学28§12.3自适应滤波器

12.3.1LMS算法LMS算法的思路在最速下降法中，如果能够每一步迭代都得到准确的梯度值，且适当选择了收敛因子，则算法肯定收敛于维纳解。但是在实际应用中，梯度需要估计，权矢量要根据数据不断更新。LMS算法是一种以期望响应与滤波器输出信号之间误差均方值最小为准则的自适应滤波器。是一种梯度最速下降法，其特点是简单，不需要计算相关矩阵。大连理工大学2912.3.1LMS算法LMS算法的思路大连理工大学292023/8/8大连理工大学302023/8/8大连理工大学30LMS算法原理两个过程：滤波过程：自适应滤波器计算其对输入的响应，并与期望比较，得到误差信号。自适应过程：系统估计误差自动调整滤波器的参数。二者构成一个反馈环。2023/7/31大连理工大学302023/7/31大连理工2023/8/8大连理工大学312023/8/8大连理工大学31LMS算法的推导横向滤波器结构自适应滤波器的误差信号为：其中：2023/7/31大连理工大学312023/7/31大连理工2023/8/8大连理工大学322023/8/8大连理工大学32LMS算法的梯度估计LMS算法的梯度估计是以误差信号的每一次迭代的瞬时平方值替代其均方值，即：经整理，有：用梯度估值代替梯度真值，有LMS算法迭代公式2023/7/31大连理工大学322023/7/31大连理工2023/8/8大连理工大学332023/8/8大连理工大学33LMS算法的流程图2023/7/31大连理工大学332023/7/31大连理工

12.3.2LMS算法的性能分析（1）LMS算法的收敛性梯度估计是无偏的收敛特性：只要满足收敛条件，则LMS算法能够稳定收敛。收敛条件的变形：大连理工大学3412.3.2LMS算法的性能分析（1）LMS算法的收敛2023/8/8大连理工大学352023/8/8大连理工大学35（2）自适应时间常数与学习曲线时间常数最佳权矢量学习曲线：2023/7/31大连理工大学352023/7/31大连理工2023/8/8大连理工大学362023/8/8大连理工大学36（3）LMS自适应算法中的权失调失调系数：式中：2023/7/31大连理工大学362023/7/31大连理工2023/8/8大连理工大学372023/8/8大连理工大学37【例12.1】设自适应滤波器结构如图所示，（1）写出其性能函数表达式；（2）确定其收敛因子的范围；（3）写出LMS算法的迭代式。解：（1）由且有故有：2023/7/31大连理工大学372023/7/31大连理工2023/8/8大连理工大学382023/8/8大连理工大学38（2）由于有故（3）LMS算法的迭代式为：式中2023/7/31大连理工大学382023/7/31大连理工2023/8/8大连理工大学392023/8/8大连理工大学39【例12.2】试利用MATLAB编程实现LMS自适应滤波器，并给出系统均方误差随迭代过程而逐步减小的收敛曲线。解：2023/7/31大连理工大学392023/7/31大连理工12.3.3LMS自适应滤波器的改进形式LMS自适应滤波器的主要优点：收敛性能稳定，算法比较简单LMS自适应滤波器固有的缺点：一般来说不能从任意初始点出发通过最短的路径到达极值点；当输入信号自相关阵R的特征值在数值上分散性较大时，这种方法的性能趋于恶化，可能出现收敛缓慢甚至发散的问题。大连理工大学4012.3.3LMS自适应滤波器的改进形式LMS自适应滤波2023/8/8大连理工大学412023/8/8大连理工大学41（1）归一化LMS算法（NLMS）说明：对于保证滤波器的稳定收敛有益。2023/7/31大连理工大学412023/7/31大连理工2023/8/8大连理工大学422023/8/8大连理工大学42（2）泄漏LMS算法式中，说明：对于常规的LMS算法，当突然变为0时，权矢量系数将不再发生变化而保持变为0时的值。而对于泄漏LMS算法，当值变为0值之后，滤波器的权矢量将逐渐变化，并最终变为0矢量。这个过程称为泄漏。泄漏LMS算法在通信系统的自适应差分脉冲编码调制（ADPCM）中得到应用，被用来减小或消除通道误差。另一方面，泄漏LMS算法也常用来在自适应阵列中消除旁瓣效应。2023/7/31大连理工大学422023/7/31大连理工2023/8/8大连理工大学432023/8/8大连理工大学43（3）极性LMS算法其中，符号函数定义为特点：计算量小。可能引起收敛速度下降和问题误差增加。2023/7/31大连理工大学432023/7/31大连理工2023/8/8大连理工大学442023/8/8大连理工大学44（4）LMS算法梯度估计的平滑式中对于线性平滑，一种有效的平滑方法是邻域平均法2023/7/31大连理工大学442023/7/31大连理工2023/8/8大连理工大学452023/8/8大连理工大学45（5）解相关LMS算法LMS算法收敛慢的主要原因是输入信号各元素有一定的相关性。对其解相关可以改善收敛速度。定义与相关系数：，其值越大，相关性越大。自适应公式：其中：2023/7/31大连理工大学452023/7/31大连理工2023/8/8大连理工大学462023/8/8大连理工大学46（6）块LMS算法有些实际问题要求自适应滤波器的阶数很高，例如在电话系统的回波抵消中，阶数达到8000阶。采用块LMS自适应算法，可以有效减小计算复杂度。块自适应算法每次处理一个数据块，滤波器的系数每块更新一次，而在每块的处理过程中保持不变。2023/7/31大连理工大学462023/7/31大连理工2023/8/8大连理工大学472023/8/8大连理工大学47（7）变换域LMS算法变换域LMS自适应算法的思路是通过正交变换，改善输入信号自相关阵最大/最小特征值之比，从而改善收敛速度。2023/7/31大连理工大学472023/7/31大连理工12.3.4应用中需要注意的问题（1）信号的有限字长问题自适应数字滤波器的有限字长的运算，造成了实际的自适应滤波器（有限精度）与理想的自适应滤波器（无限精度）之间的性能差别。引起这种性能差别的主要因素包括：输入信号与期望信号的量化，滤波器系数的量化，以及滤波器运算过程中的舍入误差等。一般来说，理论分析是有效的，但是有困难。常通过计算机仿真来分析和测量自适应滤波器的性能。

大连理工大学4812.3.4应用中需要注意的问题（1）信号的有限字长问题2023/8/8大连理工大学492023/8/8大连理工大学49数值稳定性：若无限精度和有限精度的权矢量之差总是有界的，则认为自适应滤波器是数值稳定的。数值稳定性是自适应算法的固有特性，不能通过提高数字精度来改变。只有通过改进舍入误差传播系统的性能，才能达到自适应滤波器的稳定数值准确性：数值准确性用来度量稳态下由于舍入误差引起的实际值与理论值的偏差。数值准确性低，会导致系统误差增加。通过增加字长，可以减小这种误差。但若数值稳定性低，则可能导致算法发散或崩溃。2023/7/31大连理工大学492023/7/31大连理工2023/8/8大连理工大学502023/8/8大连理工大学50（2）LMS自适应滤波器的韧性自适应滤波器的韧性可以表示为自适应系统对于初始条件和系统最优残差及其它误差的敏感程度。定义干扰能量和误差能量。若收敛因子满足，则。上式表示系统残差的能量以干扰的能量为上限，由此表明了LMS算法的韧性。另一方面，对于所有的有限能量干扰，LMS算法够使这两种能量间最大可能的区别最小化，根据极大极小化准则，这种算法是最优的。2023/7/31大连理工大学502023/7/31大连理工2023/8/8大连理工大学512023/8/8大连理工大学51（3）收敛因子与系统误差收敛因子是LMS自适应滤波器的重要参数，它控制着收敛速度与稳态失调的平衡。一般来说，较小的收敛因子会导致较慢的收敛速度和较小的稳态失调。然而，在数字自适应系统中，当迭代增量（即修正项）的大小比数字量的最低有效位（LSB）的一半还小时，LMS算法的自适应迭代将停止。因此，的减小将导致系统性能的下降。2023/7/31大连理工大学512023/7/31大连理工2023/8/8大连理工大学52§12.4

自适应滤波器的递归最小二乘（RLS）算法

（自行阅读）2023/7/31大连理工大学52§12.4自适应滤波器的12.4.1线性最小二乘原理最小二乘法概念一种典型的根据观测数据推断未知参量的数据处理方法。其基本思想是使实际观测值与计算值之间的平方乘和最小。自1795年由著名数学家高斯提出以来，LS法在许多领域得到了广泛的应用，并成为系统辨识、参数估计和自适应信号处理等领域的基本算法之一。大连理工大学5312.4.1线性最小二乘原理最小二乘法概念大连理工大学52023/8/8大连理工大学542023/8/8大连理工大学54线性组合器误差平方和为2023/7/31大连理工大学542023/7/31大连理工2023/8/8大连理工大学552023/8/8大连理工大学55（推导过程请见书稿）若时间平均的相关矩阵是正定的，则最小二乘估计可以由求解下列正则方程得到：平方误差的最小值为2023/7/31大连理工大学552023/7/31大连理工12.4.2递归最小二乘自适应滤波器（1）LS自适应滤波器一种典型的根据观测数据推断未知参量的数据处理方法。其基本思想是使实际观测值与计算值之间的平方乘和最小。自1795年由著名数学家高斯提出以来，LS法在许多领域得到了广泛的应用，并成为系统辨识、参数估计和自适应信号处理等领域的基本算法之一。大连理工大学5612.4.2递归最小二乘自适应滤波器（1）LS自适应滤波2023/8/8大连理工大学572023/8/8大连理工大学57准则：是典型的根据观测数据推断未知参量的方法；思路：是最小二乘方法的一种递归形式；使实际观测值与计算值之差的平方和最小。代价函数：式中，和分别为自适应滤波器的期望响应和输出信号，为瞬时误差信号，是一个不大于1的正常数，称为遗忘因子。2023/7/31大连理工大学572023/7/31大连理工2023/8/8大连理工大学58遗忘因子的作用遗忘因子的作用是确保滤波器能够仅保留“最近的”数据而忘记“过去的”数据，从而使算法适用于非平稳的环境。2023/8/8大连理工大学582023/7/31大连理工大学58遗忘因子的作用2023/72023/8/8大连理工大学592023/8/8大连理工大学59由代价函数可以得到以下三个结论：代价函数E(n)是n的函数，即在迭代的每一步均发生变化，以反映新数据样本的影响；使E(n)最小的最优准则为加权最小二乘法；当时，使E(n)最小的最优准则为普通最小二乘法。对代价函数相对于自适应滤波器权系数矢量求导，并令导数为0，可以得到正则方程为：其中：2023/7/31大连理工大学592023/7/31大连理工2023/8/8大连理工大学602023/8/8大连理工大学602023/7/31大连理工大学602023/7/31大连理工2023/8/8大连理工大学612023/8/8大连理工大学612023/7/31大连理工大学612023/7/31大连理工2023/8/8大连理工大学622023/8/8大连理工大学62（2）递归最小二乘（RLS）算法2023/7/31大连理工大学622023/7/31大连理工12.4.3应用中需要注意的问题（1）计算复杂度问题式（12.177）、式（12.171）和式（12.174）构成的RLS算法的计算复杂度主要由进行一次修正所需要的运算量（一次乘法和一次加法）决定。（2）算法的初始化令，。这里，是很小的正数（与同数量级）。大连理工大学6312.4.3应用中需要注意的问题（1）计算复杂度问题大连2023/8/8大连理工大学642023/8/8大连理工大学64（3）有效字长效应实际应用中，由于受到有效字长效应的影响，RLS算法原有的准确的数学关系受到影响，可能会导致数值不稳定。实际上，我们可以只计算式（12.176）的上三角（或下三角）部分，然后根据其对称性补充其余部分，从而保持厄米特对称性。另外一种方法是在将修正为之后，用来代替。2023/7/31大连理工大学642023/7/31大连理工2023/8/8大连理工大学65§12.5

自适应滤波器的主要应用结构2023/7/31大连理工大学65§12.5自适应滤波器的12.5.1自适应噪声抵消及其应用（1）自适应噪声抵消的基本原理自适应噪声抵消（adaptivenoisecancellation，简称为ANC）系统是一种借助噪声的相关性在噪声中提取有用信号的自适应方法。大连理工大学6612.5.1自适应噪声抵消及其应用（1）自适应噪声抵消的2023/8/8大连理工大学672023/8/8大连理工大学67自适应噪声抵消结构期望信号是受噪声污染的信号，而自适应滤波器的输入是与相关的噪声。自适应滤波器的输出要尽可能与逼近，使系统输出尽量逼近。2023/7/31大连理工大学672023/7/31大连理工2023/8/8大连理工大学682023/8/8大连理工大学68（2）自适应噪声抵消的应用【例12.3】试利用MATLAB编程，采用自适应噪声抵消系统，对被随机噪声污染的正弦信号进行噪声抵消处理，恢复纯净正弦信号。2023/7/31大连理工大学682023/7/31大连理工2023/8/8大连理工大学692023/8/8大连理工大学69【例12.4】母腹电极上胎儿心电信号的提取胎儿的心电图是在孕妇母体腹壁测量的，称为腹壁胎儿心电图，简称为胎儿心电图。2023/7/31大连理工大学692023/7/31大连理工2023/8/8大连理工大学702023/8/8大连理工大学70说明：胎儿心电监测具有重要意义。胎儿的心电信号淹没在母体的心电信号中。其中：为胎儿心电信号，为母体心电信号，为噪声。2023/7/31大连理工大学702023/7/31大连理工2023/8/8大连理工大学712023/8/8大连理工大学71采用自适应噪声抵消系统，以母体胸导得到的母亲心电信号作为参考信号，以母体腹壁信号作为原始信号输入，则可以有效消除母体心电信号对胎儿心电信号的影响，从而提取出较为纯净的胎儿心电信号。2023/7/31大连理工大学712023/7/31大连理工2023/8/8大连理工大学722023/8/8大连理工大学72心电图中工频干扰的抑制工频干扰一般可以采用窄带滤波（限波）器来抑制。若工频频率有漂移，则最好采用自适应噪声抵消系统来消除工频干扰。2023/7/31大连理工大学722023/7/31大连理工2023/8/8大连理工大学732023/8/8大连理工大学73心电图中工频干扰抑制结果2023/7/31大连理工大学732023/7/31大连理工2023/8/8大连理工大学742023/8/8大连理工大学74心电图中高频电刀干扰的消除2023/7/31大连理工大学742023/7/31大连理工12.5.2自适应谱线增强及其应用自适应谱线增强的基本原理自适应谱线增强（adaptivelineenhancement，简称为ALE）是一种在宽带噪声中检测较弱的正弦信号或窄带信号的自适应方法。大连理工大学7512.5.2自适应谱线增强及其应用自适应谱线增强的基本原2023/8/8大连理工大学762023/8/8大连理工大学76自适应谱线增强结果左图是输入信号为单一正弦波加上白噪声；右图是噪声消除谱线增强后的结果。2023/7/31大连理工大学762023/7/31大连理工2023/8/8大连理工大学772023/8/8大连理工大学77自适应谱线增强结果2左图是输入信号为单一正弦波加上有色噪声；右图是噪声消除谱线增强后的结果。2023/7/31大连理工大学772023/7/31大连理工2023/8/8大连理工大学782023/8/8大连理工大学7