自适应滤波器

自适应滤波器3.10自适应的递归最小二乘方算法3.11IIR递推结构自适应滤波器的LMS算法3.12自适应滤波器计算举例3.13自适应滤波器的数字实现3.14最小二乘自适应滤波器3.15最小二乘格形自适应算法3.16快速横向滤波自适应算法3.17自适应滤波器的应用第2页,共94页，2024年2月25日，星期天设计维纳和卡尔滤波器，要求已知关于信号和噪声统计特性的先验知识。但在许多情况下人们对此并不知道或知道甚少，某些情况下这些统计特性还是时变的。处理上述这类信号需要采用自适应滤波器。自适应信号处理器分为两大类，一类是自适应天线，另一类是自适应滤波器。本章主要讨论自适应滤波器的工作原理、基本原理、重要算法和典型应用。第3页,共94页，2024年2月25日，星期天3.1自适应滤波原理自适应滤波器由参数可调的数字滤波器和自适应算法两部分组成，如下图：d(n)x(n)e(n)y(n)-+参数可调数字Filter自适应算法Σ与参考信号比较经过自适应算法对Filter参数进行调整。自适应算法的原则：最终使e(n)均方值最小！自适应滤波器是一种能自动调整本身参数的特殊维纳滤波器。它在设计时，不需先知道输入信号和噪声的统计特性。它能在自己工作中逐渐学会or估计出所需的统计特性。并以此依据自动调整自己的参数以达到最佳滤波的目的。第4页,共94页，2024年2月25日，星期天自适应滤波器常见的例子：1.自适应预测：（可用于语音编码、谱估计、信号白化等）输入信号是s(n),输出响应是预测值期望响应d(n)是n+D时刻的信号值第5页,共94页，2024年2月25日，星期天2.自适应建模（a）（b）（a）是正向建模，（b）是逆向建模。在正向建模中，自适应处理器调整自己的权值，使得输出响应y(n)尽可能逼近未知系统的输出d(n)。在逆向建模中，自适应处理器调整自己的权值以成为被建模系统的逆系统，即把被建模系统的输出转换成为输入信号的延时。第6页,共94页，2024年2月25日，星期天3.自适应干扰器传感器阵列接收到目标信号，导向延时使其预定观测方向上波束增益最大。固定目标信号滤波器输出为自适应处理器输出是噪声的估计

，并用来抵消常用于波束形成器。第7页,共94页，2024年2月25日，星期天设计自适应滤波器时，首先要确定滤波器的结构（FIR，IIR或格形结构），然后设计自适应算法以调整滤波器参数，其目标是使某一特定的代价函数最小化。（本章选择均方误差为代价函数）第8页,共94页，2024年2月25日，星期天3.2自适应线性组合器自适应线性组合器是一种参数可自适应调整的有限冲激响应数字滤波器，具有非递归结构形式，分析实现简单。在大多数自适应信号处理中得到广泛应用。自适应线性组合器的一般形式：第9页,共94页，2024年2月25日，星期天输入信号矢量：输入信号和输出信号之间的关系式为：对单输入情况：对多输入情况：还可表示为：自适应线性组合器按照误差信号均方值（or平均功率）最小的准则（即③）来自动调整权矢量，选择什么信号作为参考响应，要根据不同的应用要求来确定。第10页,共94页，2024年2月25日，星期天3.3均方误差性能曲面由上面①②③三式，得均方误差表示式：将④式进一步写成：均方误差是权矢量W的各分量的二次函数，即若将该式展开，则W各分量只有一次和二次项存在，的图形一定是L+1维空间向中一个中间下凹的超抛物面，有唯一最低点min，该曲面称为均方误差性能曲面。第11页,共94页，2024年2月25日，星期天当输入w(n)只有两个元素时，可得到如图的自适应滤波器：自适应过程，即自动调整权系数w(n)，使均方误差达到最小值的过程，相当于沿性能曲面往下搜索达最低点的过程。最常用的搜索方法是梯度法，因此，性能曲面的梯度是一个很重要的概念。ξ第12页,共94页，2024年2月25日，星期天均方误差性能曲面的梯度为：，让得此式表明：当W偏离最佳值W*一个数值

，将比大一个数值第13页,共94页，2024年2月25日，星期天3.4二次性能曲面的基本性质平稳随机信号的统计特性是不随时间变化的。因此，其性能曲面在坐标系中是固定不变或“刚性”的。自适应过程就是从性能曲面上某点（初始状态）开始，沿着曲面向下搜索最低点的过程。但对非平稳随机信号来说，这种性能曲面是“晃动的”、“模糊的”自适应过程，不仅要求沿性能曲面向下搜索最低点，而且还对最低点进行跟踪。我们这里只讨论平稳随机过程，且为方便理解，只讨论两个权系数W0和W1的自适应线性组合。此时性能曲面是三维空间

中的一个抛物面。第14页,共94页，2024年2月25日，星期天现用一个与

平面平行与其相距

的平面切割该抛物面，交线在

平面上投影是一个椭圆。如图：椭圆中心为

，它是性能曲面最低点

的投影。如果用若干个与

平面距离不同的平行平面来切割性能曲面，交线投影将是一组中心同在W*的椭圆。它们各与一个确定的

相对应。因此称为等均方误差线or等高线。第15页,共94页，2024年2月25日，星期天等高线方程：由

得：

常数若将坚持原点平移至

，得到权偏移矢量全标系

等高线方程：

常数（可由得到）这是一组同心椭圆，中心位于新坐标原点V=0。将上面讨论推广到L+1个权系数的情况不难想象，等高线将是L+1维空间中的一组同心超椭圆，椭圆中主位于坐标系

的原点。这组同心超椭圆有L+1个主轴，它们也是均方误差曲面的主轴。

第16页,共94页，2024年2月25日，星期天是R的特征值矩阵：可由R的特征方程det[R-aI]=0解出。第17页,共94页，2024年2月25日，星期天最终得：由此总结出二次性能曲面的三个基本性质：主轴是R的特征矢量。（1）输入信号自相关矩阵R的特征矢量

确定了性能曲面的主轴;（2）因此它定义的旋转系统

就是椭圆的主轴系统。（3）R的特征值给出了性能曲面沿主轴的二阶导数值。第18页,共94页，2024年2月25日，星期天3.5最陡下降法前面分析知，自适应线性组合器的均方误差性能曲面是权系数的二次函数，但在实际应用中，性能曲面的参数甚至解析式都是未知的。因此，只能由已测数据，采用某种算法对性能曲面自动进行搜索。寻找最低点，从而得到最佳权矢量。牛顿法和最陡下降法是两种著名的方法，牛顿法在数学上有重要意义，但实现很困难。因此，我们只介绍最陡下降法，它在工程上易于实现。最陡下降法是沿性能曲面最陡方向向下搜索曲面最低点。曲面的最陡下降是曲面的负梯度方向。这是一个迭代搜索过程。第19页,共94页，2024年2月25日，星期天最陡下降法迭代计算权矢量公式为：是控制搜索步长的参数-----称为自适应增益常数或称为收敛因子（常数）。将梯度公式代入上式，得：方程由计算很困难，一般将w坐标通过平移坐标，通过旋转到主坐标第20页,共94页，2024年2月25日，星期天即：由于它们之间没有耦合，所以可分别由初始权值进行迭代运算求解，可得：第21页,共94页，2024年2月25日，星期天即：为确保算法收敛，有

，即收敛到V的原点，即W的W*点。因此必须保证可以由给定的

求由R的特征值

在此范围内选取！这样计算仍比较繁锁，可采用直接估计

的方法，让R矩阵的迹：第22页,共94页，2024年2月25日，星期天也可由输入信号取样值进行估计：由于实际自适应F中调整参数是可将上面结果返回到自然坐标系去，以看清W(n)的自适应调整规律。由有：利用恒等式有：

从而取第23页,共94页，2024年2月25日，星期天3.6学习曲线和收敛速度在自适应调整权系数的过程中，均方误差是迭代n次数的函数，称为学习曲线。∵∴这就是最陡下降法学习曲线的表达式，收敛条件约为：第24页,共94页，2024年2月25日，星期天收敛速度的快慢，用时间常数来说明：有三个常用时间常数⒈权系数衰减时间常数：第一就是

，权系数衰减时间常数：定义：即

衰减为

的

倍时，所经历的迭代次数即为

。通常

其中第25页,共94页，2024年2月25日，星期天⒉学习曲线时间常数其物理意义：

衰减为-的倍所需迭代次数。3.自适应时间常数

·（Samples样本数or取样周期）

即：将

迭代次数用其取样间隔来度量。

第26页,共94页，2024年2月25日，星期天3.7自适应的最小均方算法最陡下降法，每次迭代都需要知道性能曲面上某点的梯度值，而实际上梯度值只能根据观测数据进行估计。LMS算法是一种很有用的估计梯度的方法。它的突出优点是计算量小，且不脱线计算，只要知道输入信号和参考响应。LMS算法核心思想是用平方误差代替均方误差。LMS算法的基本关系式→第27页,共94页，2024年2月25日，星期天LMS算法调整权系数时不需要进行平方运算和统计平均运算，因而实现起来很简单。下图为两个权系数的自适应线性组合器采用LMS算法的计算流程图：d(n)

e(n)y(n)++++++2μ第28页,共94页，2024年2月25日，星期天第29页,共94页，2024年2月25日，星期天而最陡下降法梯度公式：说明：LMS算法得到的权矢量的期望值与最陡下降法权矢量本身一样，因此，当收敛条件

或满足时，随迭代次数趋近于无穷，LMS权矢量的期望值将趋近于最佳权矢量。第30页,共94页，2024年2月25日，星期天3.8权矢量噪声LMS算法之所以简单，主要是因为它对梯度矢量各分量的估计是根据单个数据取样值得到，没有进行平均。也正因此相当于使梯度估计中存在噪声。梯度估计的噪声矢量用N(n)表示，有：协方差：

均值为0，协方差=自相关函数，又不相关第31页,共94页，2024年2月25日，星期天将上式变换到主轴坐标系：

∴这是计算噪声的协方差公式。下面考虑自适应调整权矢量这程中，梯度估计噪声的影响，即LMS对权矢量的影响。平移坐标系V：平移坐标系V’：←由噪声产生第32页,共94页，2024年2月25日，星期天用归纳法求上式，即得：另推：这就是LMS算法中梯度估计噪声在稳态权矢量中引起的噪声。

←稳态解第33页,共94页，2024年2月25日，星期天3.9失调量梯度估计噪声的存在，使得收敛后的稳态权矢量在最佳权矢量附近随机起伏，这意味着稳态均方误差值总是大于最小均方误差

，且在附近随机地改变。如下图：将这种偏移量的期望值称为：超量均方误差，用“超量MSE”表示。第34页,共94页，2024年2月25日，星期天变换到主轴坐标系，超量超量将代入，可得近似公式：超量均方误差是度量这种性能损失的一个量（权系数在最佳解附近随机变动）。另一个度量自适应性能损失的量是失调量。用M表示超量第35页,共94页，2024年2月25日，星期天失调量和收敛速度这两个量要折衷加以考虑，学习曲线时间常数为：根据上式可将R的迹写成：得到：上式说明了失调量、学习曲线时间常数以及权系数的个数三者之间的关系式。在特征值未知的情况下，这个近似式对于设计自适应系统很有用的。在所有特征值相等时：第36页,共94页，2024年2月25日，星期天3.10自适应的递归最小二乘方（RLS）算法1.特征：FIR维纳滤波器的一种时间递归算法严格以最小二乘方准则为依据的算法收敛速度快应用于：快速信道均衡实时系统辨识时间序列分析缺点：每次迭代计算量大，N阶的FIR计算量曾经一度受到限制，近来有大的发展。2.RLS算法：用二乘方的时间平均的最小化准则取代最小均方准则，并按时间进行计算。第37页,共94页，2024年2月25日，星期天具体说：是要对初始时刻到当前时刻所有误差的平方进行平均并使其最小化，再按照这一准则确定FIR滤波器的权系数矢量W。即其中：

——期望响应

——是N阶FIR的输出响应对于非平稳输入信号，为了能很好的进行跟踪，常引入一个指数加权因子对式进行修正：第38页,共94页，2024年2月25日，星期天

—遗忘因子（的正数）旧数据的权值按指数规律衰减，越旧对影响越小，忘性越大。求偏导这是最小二乘方准则所对应的正交方程。上式经整理后得：或定义：第39页,共94页，2024年2月25日，星期天则标准方程可写为简化形式：该方程的解为：都与时间n有关，所以w是n的函数3.迭代算法将两式写成迭代形式第40页,共94页，2024年2月25日，星期天同理：由利用矩阵恒等式则上式可写成：第41页,共94页，2024年2月25日，星期天将上两式代入并利用上式得到式中增益误差上式具有卡尔曼滤波器的形式。是根据及以前所有数据得到的最佳权值，根据它来预测应该是合理的。可将增益公式写成第42页,共94页，2024年2月25日，星期天上式与LMS算法的差别在于权矢量校正项中出现了因子。由于R(n)是自相关矩阵的一种量度，因此，因子的出现使得RLS算法具有快速收敛的性质。

RLS算法步骤如下：（1）在时刻n，已获得w(n-1)、T(n-1)和d(n),x(n)也已存储在滤波器的延时部件中。（2）计算出T(n),w(n),k(n)和e(n|n-1)，并得到滤波器输出响应y(n)和误差e(n)，即第43页,共94页，2024年2月25日，星期天（3）进入第n+1次迭代遗忘因子的选取的值对算法影响最大。算法的有效记忆长度用来度量，定义为越小对应的越小，意味着对信号的非平稳跟踪性能越好。太小，会小于信号的每个平稳的有效时间，不能充分利用所有已经获取的取样数据。结果，算出的将会受到严重噪声影响。对平稳信号，最佳值为1。例子：第44页,共94页，2024年2月25日，星期天

是一个零均值，方差为1的白噪声，显然是由这个白噪声激励一个二阶自回归模型产生。这里：模型参数权系数逐渐收敛于-1.6的过渡过程曲线

LMS自适应参数权系数收敛后出现较大噪声。，在计算最佳数据时没有充分利用能够获得的全部取样数据。

第45页,共94页，2024年2月25日，星期天3.11IIR递推结构自适应滤波器的LMS算法

在一种实用场合，常为了提高精度，FIR自适应型的滤波器要求阶数很高。而用IIR递推结构通常只用低阶（二阶）就够了。有些情况下必须用IIR递归结构。如：某些通信信道等效于一个FIR滤波器，其传输函数为：在接收端：为了补偿多径效应引起的失真，常设计一个的自适应滤波器。（显然这是一个IIR自适应滤波器）第46页,共94页，2024年2月25日，星期天IIR自适应滤波器的主要优点是可以大幅度减少计算量，具有谐振和锐截止特性，但也有以下缺点：（1）由于递归结构存在反馈支路，故在自适应过程中有可能使极点移到单位圆外，使滤波器失去稳定。（2）搜索全局极小值的工作比较复杂和困难为克服点一个缺点，采取措施限制滤波器的参数取值范围，克服第二个缺点的办法是寻求好的自适应算法，以便在复杂的性能曲面上能够正确搜索全局最低点。已证明：具有足够多零点和极点的自适应递归滤波器，其性能曲面可以是单模的，而不是多模的。这意味着，增加权系数的个数能够移去性能曲面的局部极小值。第47页,共94页，2024年2月25日，星期天IIR滤波器差分方程为：

可以是单输入的，也可以是多输入的。定义两个新矢量—复合权矢量和复合数据矢量。于是差分方程可写成矢量形式：误差：第48页,共94页，2024年2月25日，星期天与FIR自适应的LMS算法类似。梯度估计为：令：由差分方程知：第49页,共94页，2024年2月25日，星期天于是，梯度估计可写成：对权矢量进行迭代调整的公式现在为：这里用对角矩阵M代替自适应增益常数，即：第50页,共94页，2024年2月25日，星期天由于现在性能曲面是非二次的，因此，对应于每个权系数有一个收敛参数，对应于每个权系数有一个收敛参数v，L+1个是相同的，L个v各不相同，这些收敛参数可以是时变的。于是，IIR自适应滤波器的LMS算法总结如下：第51页,共94页，2024年2月25日，星期天3.12自适应滤波器计算举例有一个自适应线性组合器，如下图：设在开关S打开和闭合的两种情况下，求解：（1）性能曲面函数，并画出图形（2）求最佳权值（3）求最小均方误差第52页,共94页，2024年2月25日，星期天解：开关S断开时：（1）（2）（3）第53页,共94页，2024年2月25日，星期天开关闭合时：（1）（2）（3）第54页,共94页，2024年2月25日，星期天3.13自适应滤波器的数字实现自适应滤波器通常分为模拟实现和数字实现两类。模拟实现自适应滤波器主要采用电荷耦合器件、声表面波器件等技术，具有功耗低、尺寸小和重量轻等优点，但动态范围和精度等指标难以提高。因此自适应滤波器以数字实现为主。1.LMS算法自适应滤波器的直接实现自适应滤波器的计算主要包括：（1）计算可调数字滤波器的输出。通常较多采用FIR横向结构，主要计算输入序列与滤波权系数序列的线性卷积。（2）完成自适应算法，通常选用LMS算法，主要计算输入信号与误差之积，并对权系数进行修正，以实现权系数的迭代运算。第55页,共94页，2024年2月25日，星期天LMS算法FIR横向结构自适应滤波器数字实现的方框图如下：第56页,共94页，2024年2月25日，星期天3.14最小二乘自适应滤波器

最陡下降法要求知道性能曲面上各点的梯度，而实际中梯度是未知的。LMS算法要求输入信号和期望信号都是平稳的，或者要求输入和期望信号的统计特性在较长时间内基本保持不变或变化缓慢。但是，实际中遇到的信号不可能满足这种要求。对于非平稳信号的自适应处理，最合适的方法是采用最小二乘自适应滤波器。设在当前时刻n已获得n个数据，现要用一个m阶FIR滤波器对数据进行滤波，是滤波器的输出成为某个期望信号的最小二乘估计。则滤波器的输出，即期望信号的估计值为：第57页,共94页，2024年2月25日，星期天估计误差：估计误差的平均加权：这里，是加权因子，其值为。对于越新的数据，加权越重。求和范围有以下4种不同的情况：（1），计算全部误差的平方加权和。意味着已知数据段的前后都添加了零取样值，这种方法称为相关法。（2），计算前一部分误差的平方加权和。意味着只在已知数据段的前面添加零取样值，这种方法称为前加窗法。第58页,共94页，2024年2月25日，星期天（3），计算后一部分误差的平方加权和。意味着只在已知数据段后添加零取样值，这种方法称为后加窗法。（4），计算中间一部分误差的平方加权和。意味着在数据前后都没有添加零取样值。这种方法称为协方差法。若分别定义误差矢量、期望矢量、权矢量和数据矩阵如下：第59页,共94页，2024年2月25日，星期天则估计误差可写成：估计误差的平方加权可写成：为简化推到，假设，于是得到：第60页,共94页，2024年2月25日，星期天求对的偏导数，并令偏导数为零，得到一个代数方程，解此方程得到：上式①②即是最小二乘滤波器的最佳系数矢量或最佳权矢量。可得到d(n)的最小二乘估计为：上式是对整个期望矢量的估计，而不仅仅是对其中一个分量d(n)的估计。第61页,共94页，2024年2月25日，星期天2.投影矩阵和正交投影矩阵上式表明：d(n)在上的投影是，这个投影的计算方法是用一个矩阵左乘矢量d(n)，表示为：其中：上式简称为的投影矩阵。得到误差矢量：称为对的正交投影矩阵第62页,共94页，2024年2月25日，星期天3.15最小二乘格形自适应算法1.前向预测和后向预测前向预测值：前向预测误差：在前加窗情况下，前向预测误差平方和为：第63页,共94页，2024年2月25日，星期天令m阶前向预测误差矢量、当前数据矢量x(n)、前向预测系数矢量以及数据矩阵分别为：于是，有：第64页,共94页，2024年2月25日，星期天根据矢量空间的概念，由的列矢量对x(n)所作的最小二乘（最佳）前向预测是x(n)在上的投影，即式中，是的投影矩阵，有m阶前向预测误差矢量是x(n)对投影补

其中是的正交投影矩阵。第65页,共94页，2024年2月25日，星期天后向预测值：后向预测误差值：令m阶后向预测误差矢量、后向预测矢量，后向预测系数矢量以及数据矩阵分别为:第66页,共94页，2024年2月25日，星期天则有：由矢量空间的概念，有：第67页,共94页，2024年2月25日，星期天

预测误差矢量的范数的平方即预测误差功率，称为预测误差剩余。前向和后向预测误差剩余分别定义为：第68页,共94页，2024年2月25日，星期天2.预测误差滤波器的格型结构m+1阶前向预测误差：如果把看成是将列矢量附加到的最后一列的后面得到的，并令那么有第69页,共94页，2024年2月25日，星期天可得到前向预测误差按阶递推计算公式：同理，可得到后向预测误差的阶更新公式：第70页,共94页，2024年2月25日，星期天3.LSL自适应算法LSL自适应算法流程如下：（1）初始化（2）迭代计算（按时间n=1,2,…)第71页,共94页，2024年2月25日，星期天（3）迭代计算（按阶m=0,1,…,M-1）

同阶的嵌套着按时间进行迭代计算，M是给定的滤波器的阶。第72页,共94页，2024年2月25日，星期天4.LSL自适应算法的性能一个2阶自回归随机过程，信号模型为：采用LSL自适应滤波器作为预测器，得到对信号模型的两个参数的估计值：结论：LSL算法很明显地比LMS算法收敛得更快。采用LSL自适应算法时，前向和后向预测误差剩余初始值的选取，对于模型参数的收敛性能是有影响的。第73页,共94页，2024年2月25日，星期天3.16快速横向滤波自适应算法

快速横向滤波自适应算法通过引入横向滤波算子，并利用该算子的时间更新关系来实现有关的4个滤波器的参数的更新，从而达到横向自适应滤波器参数更新的目的。1.FTF算法中涉及到的4个横向滤波器算法。（1）最小二乘横向滤波器称为横向滤波算子第74页,共94页，2024年2月25日，星期天（2）前向预测误差滤波器是最小二乘前向预测系数矢量（3）后向预测误差滤波器是最小二乘后向预测系数矢量（4）增益滤波器是增益滤波器的权矢量矢量第75页,共94页，2024年2月25日，星期天2.横向滤波算子的时间更新横向滤波算子的时间更新关系式：横向滤波算子的时间更新关系式：第76页,共94页，2024年2月25日，星期天3.FTF自适应算法中的时间更新关系（1）最小二乘横向滤波器权矢量的时间更新（2）增益滤波器权矢量的时间更新第77页,共94页，2024年2月25日，星期天（3）前后预测误差滤波器参量的时间更新（4）后向预测误差滤波器参量的时间更新第78页,共94页，2024年2月25日，星期天（5）角参量的时间更新4.FTF自适应算法流程（1）初始化：第79页,共94页，2024年2月25日，星期天（2）迭代计算（按时间n=1,2…)前向预测误差滤波器参数N+1阶角参量N+1阶增益滤波器矢量第80页,共94页，2024年2月25日，星期天d.后向预测误差滤波器参量、N阶角参量和N阶增益滤波器权矢量（注意：这些参数的计算是交叉进行的）e.最小二乘横向自适应滤波器参数第81页,共94页，2024年2月25日，星期天5.FTF自适应算法的性能与LMS算法相比较，FTF算法的突出优点是它的收敛速度对数据的相关性不敏感。FTF不仅收敛速度较快，而且收敛性能对初始参数（即前向和后向预测误差剩余初始值）的选取不敏感。6.FTF算法计算量的进一步减少用角参量对增益矢量进行归一化，计算量可进一步减少。定义归一化增益矢量第82页,共94页，2024年2月25日，星期天归一化增益矢量的更新角参量的时间更新第83页,共94页，2024年2月25日，星期天其中通过下式计算节约了很大的计算量采用归一化增益矢量的FTF自适应算法的计算流程如下：（1）初始化（2）迭代计算（按时间n=1,2,…)a.前向预测误差滤波器参数第84页,共94页，2024年2月25日，星期天b.N+1阶角参量c.N+1阶增益滤波器矢量第85页,共94页，2024年2月25日，星期天d.后向预测误差滤波器参量、N阶角参量和N阶归一化增益矢量（注意：这些参数的计算仍是交叉进行的）第86页,共94页，2024年2月25日，星期天e.最小二乘横向自适应滤波器参数从以上计算流程看出，采用归一化矢量后的FTF算法与原来的FTF算法的主要区别在于：用归一化增益矢量取代了原来的增益矢量，同时的计算大为简化。第87页,共94页，2024年2月25日，星期天3.17自适应滤波器的应用自适应滤波器的应用范围很广，