《现代数字信号处理》第二章自适应数字滤波器

1、第三章 自适应数字滤波器3.1 引言3.2 自适应横向滤波器3.3 自适应格型滤波器3.4 最小二乘自适应滤波3.5 自适应滤波的应用3.1 引 言（维纳滤波器的特点与不足）自适应数字滤波器和维纳滤波器一样，都是符合某种准则的最佳滤波器。维纳滤波器的参数是固定的，适用于平稳随机信号的最佳滤波，但要设计这种滤波器，必须要求输入信号是平稳的，且具有信号和噪声统计分布规律的先验知识。在实际中，常常无法知道这些先验知识，且统计特性还会变化，因此实现最佳滤波是困难的。自适应滤波器的特点是：滤波器的参数可以自动地按照某种准则调整到最佳滤波；实现时不需要任何关于信号和噪声的先验统计知识，尤其当输入统计特性变

2、化时，自适应滤波器都能调整自身的参数来满足最佳滤波的需要。常常将这种输入统计特性未知，调整自身的参数到最佳的过程称为“学习过程”。 将输入信号统计特性变化时，调整自身的参数到最佳的过程称为“跟踪过程”，因此自适应滤波器具有学习和跟踪的性能。由于自适应滤波器有这些特点，自1967年威德诺(B. Widrow)等人提出自适应滤波器以来，在短短十几年中，自适应滤波器发展很快，已广泛地用于系统模型识别，通信信道的自适应均衡，雷达与声纳的波束形成，减少或消除心电图中的周期干扰，噪声中信号的检测、跟踪、增强和线性预测等。本章主要介绍自适应横向滤波器、自适应格型滤波器、最小二乘自适应滤波器以及自适应滤波器的

3、应用举例。3.2 自适应横向滤波器自适应滤波器的原理框图如图3.2.1所示，图中称为输入信号，是输出信号，称为期望信号，或者称为参考信号、训练信号，是误差信号。其中自适应滤波器的系数根据误差信号，通过一定的自适应算法，不断地进行改变，使输出最接近期望信号。这里暂时假定是可以利用的，实际中，要根据具体情况进行选取，能够选到一个合适的信号作为期望信号，是设计自适应滤波器的一项有创意的工作。如果真正的可以获得，我们将不需要做任何自适应滤波器。自适应线性组合器和自适应FIR滤波器是学习自适应信号处理的基础，它们都是非递归型的，相对地说，容易分析和理解，我们首先由此展开对自适应滤波基础理论的讨论。3.2

4、.1 自适应线性组合器和自适应FIR滤波器1. 自适应滤波器的矩阵表示式图3.2.2表示的是一个有个权系数的自适应线性组合器，图中个权系数受误差信号的自适应控制。对于固定的权系数，输出是输入信号的线性组合，因此称它为线性组合器。这里的可以理解为是从个不同的信号源到达的瞬时输入，是一个多输入系统，也可以是同一个信号源的个序贯样本，如图 3.2.3 所示。因此它是一个单输入系统， 实际上这种单输入系统就是一个FIR网络结构，或者说是一个自适应横向滤波器。其输出用滤波器的单位脉冲相应表示成下式： 这里称为滤波器单位脉冲响应，令：，记，用表示，上式可以写成 这里也称为滤波器加权系数。用上面公式表示其输

5、出，适合于自适应线性组合器，也适合于FIR滤波器。将上式表示成矩阵形式： 式中，误差信号表示为 2. 利用均方误差最小准则求最佳权系数和最小均方误差误差信号被用来作为权系数的控制信号。下面采用均方误差最小的准则，求最佳权系数。由(3.2.4)式，均方误差为 令 将(3.2.6)、(3.2.7)式代入(3.2.5)式，得到 称为与的互相关矩阵，是一个维列矩阵；是输入信号的自相关矩阵，特点如下：(1) 是对称矩阵，即；(2) 是正定或半正定的，因为对于任意矢量V满足下式：自相关矩阵主对角线是输入信号的均方值，交叉项是输入信号的自相关值。(3.2.8)式表明，当输入信号和期望信号是平稳随机信号时（即

6、和为常数），均方误差信号是权系数的二次函数，即将(3.2.8)式展开时，公式中的权系数均以它的一次幂或二次幂出现。如果只有一个权系数，则是的口向上的抛物线；如果有两个权系数，则是它们的口向上的抛物面；对于两个权系数以上的情况，则属于超抛物面性质。在自适应信号处理中是一个重要的函数，经常称它为性能函数。为选择权系数，使性能函数到达它的最小点，一些有用的自适应方法都是基于梯度法的，我们用表示的梯度向量，它是用对每个权系数求微分而形成的一个列向量，用公式表示如下： 按照(3.2.4)式：，梯度推导如下： 还可以用(3.2.8)式：对W求导得到 令上式等于0，得到最佳权矢量的表达式： 对比第二章维纳滤

7、波器的最佳解，结果是一样的。上式也称为维纳权矢量。当自适应滤波器的权系数满足上式时，均方误差将取最小值。将(3.2.12)式代入(3.2.8)式得到最小均方误差： 或者将上式取转置，用下式表示： 比较式（3.2.13）和（3.2.14）可知，这是因为它们都是常数。我们知道，在维纳滤波器中，当滤波器的单位脉冲响应取最佳值时，其误差信号和输入信号是正交的；这里也有相同的结果，当权矢量取最佳值时，梯度为0，按照(3.2.10)式：上式表明，权系数取最佳值时，误差信号与输入信号是正交的，即仍然服从正交原理。也可以根据正交原理推导出维纳解（3.2.12）式：。上式关于自适应滤波器的结论适合于随机信号的自

8、适应滤波器，也适合与确定性信号的自适应滤波器，但对于随机信号取统计平均的地方，确定性信号必须用时间平均代替。为了说明自适应滤波器基本原理，下面举一个确定性信号自适应滤波器的例子。例3.2.1 一个单输入的二维权矢量自适应滤波器如图3.2.4所示，图中输入信号与期望信号分别为这两个信号都是周期性确定性信号，因为任何正弦函数积的期望值，都可由这个积在一个或多个周期上作时间平均来计算，可以推导出下面公式6：上式表明性能函数对权函数是二次型的，用(3.2.11)式求其梯度向量，得到求最佳权矢量可以用(3.2.12)式：，通过对求逆得到，也可以通过上式，令，而求出：用(3.2.13)式求最小均方误差：上

9、式说明只要，不管取多少，通过对权系数的调整可使均方误差达到0，此时输出信号完全等于期望信号，例如，按照上面公式，可以求出输入、输出信号以及最佳权系数如下：可以看出和相同。3.2.2 性能函数表示式及其几何意义在自适应滤波器的分析研究中，性能函数是一个重要函数，前面已推导出性能函数用(3.2.8)式表示，现重写如下：下面我们推导它的其它表示方法以及几何意义。均方误差是权系数的二次函数，当权系数取最佳值时，均方误差取得最小值，将(3.2.14)式代入(3.2.8)式，可以用最小均方误差表示性能函数，推导如下：为了表示方便，令，那么由式（3.2.14）可知：，则将(3.2.12)式代入上式，得到 其

10、中，成立的条件是是标量。令 其中，称为偏差权向量，它表示权向量对最佳权向量的偏差。这样性能函数可以表示得更简单： 因为是对称的，正定或半正定的，利用它的特征值和特征向量再进一步简化，假设是维，它的个特征值为：，将进行正交分解，得到，其中， 通过调节使归一化，即 式中，称为正交矩阵或特征矩阵，称为特征向量，满足下式： 是由特征值组成的对角矩阵，用下式表示： 将(3.2.18)式代入(3.2.17)式，得到令 则 上式将性能函数变成了平方和的形式。再观察(3.2.24)式，该式将坐标中的的特征向量变成了坐标中的单位向量。利用(3.2.24)式将特征向量变成，再利用(3.2.20)、(3.2.21)

11、式，可得 可以理解为。也就是说，为坐标中的第个单位向量，亦是矩阵对应于的特征向量。下面用二维权矢量的情况说明它的几何意义。对于二维权矢量情况，有下面公式：式中，。显然，这是一个口向上的抛物面，如图3.2.5所示，坐标相当于将坐标原点移动坐标的最佳点，如果用性能函数等于常数的不同平面（平行于坐标平面）去切割抛物面，投影在坐标平面，便得到一族同心椭圆，如图3.2.6所示。按照(3.2.17)式：，有或 当时，对应椭圆的中心，则相当于坐标平移到坐标的原点，即坐标的原点对应坐标的最佳点。这里，不是椭圆的主轴。但经过对的分解：且将性能函数的椭圆族(按照(3.2.25)式)变成即或者 显然，上式是一个椭圆

12、方程，和是椭圆族的主轴，如果，则是长轴，是短轴。因此(3.2.24)式起坐标旋转的作用，将旋转到主轴上，形成主轴。对于维数的情况，长轴对应最小特征值，按照上面的椭圆方程长轴正比于；短轴对应于最大特征值，正比于。另外，因为得到 中单位矢量对应就是坐标中的的特征矢量。3.2.3 最陡下降法我们知道，自适应过程的最终目的是要寻找最佳权系数。按照（3.2.12）式：，要预先求得互相关函数和自相关函数，还要计算矩阵的逆，这样在实际应用中便遇到了很大的困难。下面介绍最佳权系数的搜索方法。前面已经学习过，当输入信号和期望信号都是平稳随机信号时，均方误差函数是权系数的二次函数，二次函数的参数却是未知的，但是可

13、以在一段时间中，根据误差函数的平方求平均，估计出在误差性能函数上的位置。由此出发，可以得到不同的搜索性能表面函数并寻找最佳值的方法或算法，这里有两种熟知的搜索方法，它们是牛顿法和最徒下降法。牛顿法常常难以实现，但具有重要的数学意义2；最陡下降法已经工程实现，并已证明是在广泛的实际应用中有价值的一种方法。本书仅介绍最陡下降法1-3。威德诺（Widrow）等人于1959年提出最陡下降法（Steepest Descent Method）的算法，按照这一算法，最陡下降法权矢量的改变用下式表示： 式中，是调整步长的常数，它控制着系统的稳定性和自适应的收敛速度。上面公式表示下一个权矢量等于现在的权矢量加上

14、一个正比于负梯度的变化量，因为梯度的方向是性能函数增加最快的方向，负梯度的方向就是性能函数减小最快的方向，因此称为最陡下降法。下面按照上式来推导最陡下降法的递推公式、收敛条件以及它的过渡特性。1. 最陡下降法的递推公式将(3.2.11)式代入(3.2.29)式，得到 在上式两边都减去，并令，得到 上式是一个递推公式，由于项不是对角矩阵，计算与分析均复杂。下面仍然采用坐标旋转的方法进行推导。 此时项已变成对角矩阵，假设起始值是，可得到上式的递推解为 再将(3.2.24)式：代入，再经过坐标平移，即代入式， 最后得到权系数的递推公式： 上面递推公式中，部分已变成对角矩阵，这使分析与研究自适应特性变

15、得简单了。2. 收敛条件由最陡下降法的递推公式不难分析出它的收敛条件，即当迭代次数趋于时，权系数收敛最佳时的条件。按照上式，显然只有当 满足时，才能得到：。(3.2.37)式即是最陡下降法的收敛条件，式中是的最大特征值。(3.2.36)式中的表示矢量。3. 过渡过程过渡过程是指权矢量和性能函数由起始点随迭代次数的增加，进行变化的过程。下面从权矢量和性能函数两方面讨论自适应滤波器的过渡过程。权矢量的过渡过程讨论如下：按照(3.2.34)式，权矢量的递推解是 第i个权系数递推方程是 令 将上式代入(3.2.38)式，得到 上式说明第i个分量按指数规律变化，其时常数为 因为一般取得比较小（），可以近

16、似为 因为所以再将(3.2.40)式代入，得到 式中 上式说明第个加权系数按照个指数和的规律变化，由初始值收敛到最佳值，其时常数与特征值成反比。下面分析性能函数的过渡过程。按照(3.2.25)式，性能函数如下式： 将(3.2.40)式代入，得到 上式说明性能函数也是按个指数和的规律变化，和加权系数过渡过程不同的是时间常数不同，它的时常数为 我们已经知道，性能函数和各个加权系数都是按照个具有不同时常数的指数和的规律变化的，时常数和特征值成反比，不同的特征值对应的收敛时间是不一样的，但最终的收敛要取决于最慢的指数过程，它的时常数最大，对应最小的特征值，公式如下： 但为保证收敛，不能取得太大，受限于

17、最大特征值。这样，如果特征值比较分散时，即和相差很大时，使最陡下降法的收敛性能很差。下面分析值的影响。值收敛过程影响很大，首先必须选择得足够小，使之满足收敛条件：但按照(3.2.47)、(3.2.48)式，它影响收敛速度。一般希望在保证收敛的条件下，选大一些，使时间常数小一些，收敛的速度快一些。但当选择得太大时，即使收敛条件满足，也可能形成振动性的过渡特性。在图3.2.7中，图(a)是较小时的情况；图(b)是较大时的情况，此时过渡过程已发生振荡。3.2.4 最小均方(LMS)算法上面研究的最陡下降法是自适应滤波具体算法的基础，按照（3.2.29）式控制加权系数可以收敛到它的最佳状态。但是需要求

18、出其梯度的精确值，要求输入信号和期望信号平稳，且按照（3.2.11）式首先要估计自相关函数和互相关函数，这给具体实现带来很大的困难。Widrow等人提出的最小均方算法，是用梯度的估计值代替梯度的精确值，这种算法简单易行，因此获得了广泛的应用，下面进行介绍。1. LMS算法的权值计算LMS (Least Mean Square) 算法的梯度估计值用一条样本曲线进行计算，公式如下： 因为所以 FIR滤波器中的第个权系数的计算公式为 FIR滤波器中的第i个权系数的控制电路如图3.2.8所示, LMS自适应滤波器的总框图如图 3.2.9 所示。LMS算法的加权系数按照(3.2.53)式进行控制，式中加

19、权矢量的改变量是，梯度的估计值是。显然，这是一个随机变量，这说明LMS算法的加权矢量是随机变化的。因此，LMS算法又称为随机梯度法。下面对这种算法的性能进行分析，主要分析加权矢理和性能函数的平均变化规律以及它们的随机性造成的影响。按照(3.2.52)式，对梯度估计值求统计平均，得到 上式说明梯度估计值是无偏估计的，梯度的估计量在理想梯度附近随机变化，权系数也是在理想情况下的权轨迹附近随机变化的。2. LMS算法加权矢量的过渡过程将误差公式(3.2.4)式代入(3.2.53)式，得到 如果对上式取统计平均，关系到和之间的相关性问题。按照上式递推，和，这样就与和的关联性有关。如果按照（3.2.53

20、）式计算权矢量，经过若干步之后，才调整一次权矢量，可以认为和不相关；但如果每一次迭代后，都改变一次权系数，问题较复杂，如果信号变化很快，使和不相关，和有关，就得到和无关的结论。或者值取得很小，每一次迭代权矢量的变化量很小，相对变化慢得多，这种情况下，和之间的相关性很小，可以认为和不相关。另外，为了分析简单，可假设和不相关，按照（3.2.53）式，对加权矢量取统计平均： 类似于最陡下降法的推导，经过坐标平移和旋转，变换到V坐标中。其公式推导如下：令 那么 将上面两式代入(3.2.57)式中，得到它的递推解是令 得到 再将(3.2.59)、(3.2.60)和(3.2.61)式代入上式，得到 对比(

21、3.2.35)式：，说明LMS算法加权矢量的统计平均值的过渡过程和最陡下降法加权矢量的过渡过程是一样的。换句话说，LMS算法加权矢量是在最陡下降法加权矢量附近随机变化的，其统计平均值等于最陡下降法加权矢量。那么，其收敛条件同样为 在满足收敛条件的情况下，才有下式：由于最大的特征值不可能大于的迹(的主对角线元素之和)，即其中，。补充：矩阵的迹（1） 定义：（2） 迹等于特征值之和，即因此收敛条件可以表示为 对于横向滤波器，式中的迹是，即倍的输入功率，那么 实际中，通常选得很小，选 同样由(3.2.62)式：，第个分量为 同样引入时常数， 同样，第个权系数可以表示成 其中，。3. LMS算法性能函

22、数的过渡过程学习过程由于LMS算法加权矢量的平均值的变化规律与最陡下降法的加权矢量一样，可以推想它的均方误差也会按照最陡下降的均方误差变化规律变化。下面进行推导。按照(3.2.4)式，信号误差为 式中，称为最佳误差信号，它对应于最小均方误差，即按照(3.2.73)式写出均方误差表示式：假定和不相关，上式中最后一项为0，那么同样，假设加权系数变化很小，也变化很小，这样：类似前面的推导，得到 对照最陡下降法性能曲线(3.2.47)式：，LMS均方误差变化规律和最陡下降法完全一样，学习曲线同样近似为几个不同时间常数的指数和。 4. 稳态误差和失调系数 由上面分析知道，权矢量的平均值可以收敛到它的最佳

23、值，但权矢量变化过程是随机的，即使其平均值收敛到最佳值，它仍然按照下式：随机地进行变化，这样使权矢量仍在最佳值附近随机变化，但均方误差将大于最小均方误差，如图3.2.10 所示。为此，引入失调系数，定义为 可以推出5失调系数为 或者 式中，是滤波器的阶数，是输入信号功率。上式说明和输入功率加大都会增加失调系数。在保证收敛的情况下加大，会提高收敛速度，也说明为了减小失调系数，应该适当选择收敛速度，以保证收敛速度和失调系数都满足要求。图3.2.11是一个LMS自适应滤波器的计算机结果5，阶数，其输入是信号加白噪声，输入信号功率为1，中心频率是(为采样频率)，噪声功率为0.5, 输入信号自相关函数的特征值为：5.14、0.853、0.502、0.500、0.500 ，权系数初始值取0，。图中画出了一条样本学习曲线和150条样本学习曲线的平均曲线。该图表明个别学习曲线起伏较大，平均学习曲线起伏很小，计算出的维纳最小均方误差为0.743 96，用LMS算法得到的稳态误差大于该值，按(3.2.77)式计算的失调系数是4.87%，按计算机模拟结果测得的失调系数是5.40%。自适应LMS算法简单易行，因此应用广泛。但是