第三章 自适应数字滤波器

维纳滤波器：参数固定，适用于平稳随机信号的最佳滤波，设计时需要知道和这些先验知识。应用困难。第三章自适应数字滤波器3.1引言自适应滤波器和维纳滤波器一样是符合某种准则的最佳滤波器。自适应滤波器：具有学习的功能，滤波器的系数可以自动地按照某种准则调整到最佳值。由威德诺（B.Widrow）等人提出。1它让期望响应作为“导师”，逐渐更新（递推）滤波器系数，使滤波器系数逐渐逼近最优滤波器，即使滤波器的输出对期望响应的误差逐渐接近最小。自适应滤波器就是通过对环境进行学习，逐渐达到或逼近最优滤波器。由于学习过程中有“导师”存在，因此它是一种具有监督学习功能的过程。当滤波器的应用环境发生缓慢变化时，相当于滤波器应用于非平稳环境，但环境变化比学习速度更缓慢时，自适应滤波器能够自适应地跟踪这种非平稳变化。2主要讨论自适应滤波器的设计原理和收敛性能（主要讨论FIR自适应滤波器）。自适应滤波器都是非线性时变系统。因为从输入输出关系看，不再是线性系统，系统输入用于调节滤波器系数，滤波器系数变化也影响系统输出。线性自适应滤波器指构成系统的各运算单元都是线性运算。当构成自适应滤波器的运算单元是非线性运算时，称该滤波器为非线性自适应滤波器。3讨论线性自适应滤波器的原因是：1.大量的线性自适应滤波器满足种类应用，且实现简单。2.许多非线性自适应滤波器是以线性自适应滤波器为核心。3.一大类人工神经网络（BP算法）是线性自适应滤波器－－LMS算法的推广。自适应滤波器的最佳准则主要有两种：1.最小均方误差准则：最陡下降法、最小均方（LMS）算法。2.误差平方和最小准则－－最小二乘准则：LS算法。4自适应滤波器主要由两部分组成，一是一个FIR滤波器，也称横向滤波器，其权系数可随时调整，完成滤波工作；第二部分是滤波器的权调整算法，也称学习算法。图自适应滤波器原理图5自适应滤波器工作过程：开始时，给FIR滤波器赋予任意的初始权系数，在每个时刻，用当前权系数对输入信号进行滤波运算，产生输出信号，输出信号与期望响应的差定义为误差信号，由误差信号与输入信号矢量一起构造一个校正量，自适应地调整权矢量，使误差信号趋于降低的趋势，从而使滤波器逐渐达到或接近最优。6自适应滤波器的应用(1)消除噪声干扰用与相关的噪声信号作为自适应滤波器的输入信号，调节自适应滤波器的权系数，使输出非常精确地逼近，原始输入减去滤波器输出，得到基本上抵消了噪声干扰的信号。图干扰对消7噪声对消实际应用：(1)心电图中50Hz或60Hz电源工频干扰的消除。(2)胎儿检测中，胎儿心电图中母体心电图的对消。(3)长途电话线路中的回声对消。8(2)线性预测应用图自适应预测器信号延迟后送到滤波器的输入，用于预测信号的当前值。初始时给出任意的预测系数（对应于FIR滤波器的系数），随着自适应过程的进行，逐渐逼近最优预测系数。9(3)系统辨识图系统辨识通过自适应滤波器逼近一个参数未知的系统。10(4)自适应均衡图自适应均衡自适应滤波器将逼近图中系统的逆系统，通过这个过程或得到系统的一个近似的逆系统，或得到系统输入信号的比较逼真的恢复，这类应用可统称为解卷积。通信中，通过自适应均衡抑制通信系统传输过程中对传输信号的各种畸变和干扰。113.2自适应横向滤波器3.2.1自适应线性组合和自适应FIR滤波器自适应滤波器的原理框图如下::输入信号:输出信号:期望信号,训练信号,参考信号:误差信号1.自适应滤波器的矩阵表示式N个权系数的自适应线性组合器，如下图。图自适应滤波器原理图12N个权系数受误差信号的自适应控制。对于固定的权系数，输出是输入信号的线性组合，称为线性组合器。图自适应线性组合器可以是从N个不同的信号源到达的瞬时输入，是一个多输入系统，也可以是同一信号源的N个序贯样本，如下图所示。因此，它是一个单输入系统，实际上是一个FIR滤波器或者说是一个自适应横向滤波器。13图自适应FIR滤波器14横向结构的自适应FIR滤波器是一种最常用的自适应滤波器。滤波器输出可表示为：令，用表示，上式可写成式中误差信号表示为：也称为滤波器加权系数，上式可表示成矩阵形式。15均方误差为2.利用均方误差最小准则求最佳权系数和最小均方误差令为与的互相关矩阵，是一个N维矩阵。16的主对角线是输入信号的均方值，交叉项是输入信号的自相关值。是输入信号的自相关矩阵，特点（1）是对称矩阵，。（2）是正定或半正定的。对于任意矢量V满足将，代入式，得称为性能函数。17上式表明，当输入信号和期望信号是平稳随机信号时，是权系数W的二次函数，即将上式展开时，公式中的权系数均以一次幂或二次幂出现。如果只有一个权系数,则是的口向上的抛物线，如果有两个权系数，，则是，的口向上的抛物面，对于两个以上权函数的情况，则属于超抛物面，“碗形”曲面。自适应过程正是调节W去寻找“碗”的底点，也就是值最小。18用性能函数对求导，得为选择权系数，使性能函数达到它的最小点，可以用梯度下降法来找这一点。的梯度用表示为要使性能函数最小，应使，得最佳权矢量维纳权矢量19当自适应滤波器的权系数满足上式时，均方误差将取最小值，或对上式取转置，得20自适应滤波器与维纳滤波器比较，加了一个识别控制环节，将输出与期望信号比较，若有误差，则用此误差去控制，调节，使为的权系数。在维纳滤波器中，取最佳值时，误差信号与输入信号正交。这里也有同样结果，此式表明，权系数取最佳值时，误差信号和输入信号正交。即仍然服从正交原理。21将代入表达式，得是的二次函数，当取最佳值时，，可以用最小均方误差表示性能函数。3.2.2性能函数表示式及其几何意义性能函数表示为推导：将代入上式，得22为便于分析，引入中间变量称为偏差权向量。表示权向量对最佳权向量的偏差。则性能函数可以更简单地表示为23是维，它的N个特征值为：，将进行分解，得因为是对称的正定或半正定的，利用它的特征值和特征向量可进一步简化为正交矩阵或特征矩阵。则24称为特征向量，满足性能函数为25引入另一中间变量则性能函数变成了平方和的形式。下面用二维权矢量的情况说明它的几何意义。26式中，。这是一个口向上的抛物面，如图。下面用二维权矢量的情况说明它的几何意义。27图等均方误差的椭圆曲线族图二维权矢量性能表面V坐标相当于将坐标原点移到W坐标的最佳点，如果用性能函数等于常数的不同平面（平行于W坐标平面）去切割抛物面，投影在W坐标平面上，便得一族同心椭圆。28按照式，有或当时，对应椭圆的中心，，则相当于W坐标平移到V坐标的原点，即V坐标的原点对应W坐标的最佳点。这里，不是椭圆的主轴。但经过对的分解：且将性能函数的椭圆族变成29此式是一个椭圆方程，和是椭圆族的主轴，如果，则是长轴，是短轴。因此起坐标旋转的作用，将旋转到主轴上，形成主轴。对于维数的情况，长轴对应最小特征值，按照上面的椭圆方程长轴正比于：短轴对应于最大特征值，正比于。即或者303.2.3最陡下降法自适应过程的最终目的是要寻找最佳权系数。最陡下降法用迭代算法求解最佳权系数。它已经工程实现，有应用价值。最陡下降法是由Widrow(威德诺)和Hoff二人于1959年提出的。这种方法不需求相关矩阵，不用求逆矩阵。权系数的改变用下式表示：是调整步长的常数，它控制着系统的稳定性和自适应的收敛速度。此式表示下一个权矢量等于现在的权矢量加一个正比于负梯度的变化量，因为梯度的方向是性能函数增加最快的方向，负梯度的方向就是性能函数减小最快的方向，因此称为最陡下降法。31两边减去，令，得1.最陡下降法的递推公式将代入上式，得这是一个递推公式，由于（）项不是对角矩阵，计算与分析均复杂。下面化简32此时，（）项是对角矩阵，假设起始值是，可得上式的递推解为。再将和代入，得权系数的递推公式332.收敛条件最收敛条件即为当迭代次数时，权系数收敛到最佳时的条件。显然只有当满足时，才能得到34其中随迭代次数j作指数衰减。令3.过渡过程过渡过程是指权矢量和性能函数由起始点随迭代次数的增加，进行变化的过程。权矢量的过渡过程：权矢量的递推解是：第i个权系数递推方程是：35代入，得说明第i个分量按指数规律变化，时间常数为时间常数越大，衰减越慢。一般取得比较小，可近似为36因为所以再将代入，得说明第i个加权系数按照N个指数和的规律变化，由初始值收敛到最佳值，其时间常数与特征值成反比。37性能函数的过渡过程：再将代入，得说明性能函数也是按照N个指数和的规律变化，和权系数过渡过程不同的是时间常数不同。38性能函数和各加权系数都是按照N个具有不同时间常数的指数和的规律变化的，时间常数和特征值成反比，不同的特征值对应的收敛时间不同，但最终的收敛要取决于最慢的指数过程，它的时间常数最大，对应最小特征值。为了保证收敛，不能取太大值，受限于，取，，得最大时间常数为可见，当输入信号的自相关矩阵的特征值很分散时，和相差很大，和很大，算法收敛速度很慢，收敛性能很差。反之，当特征值比较紧凑时，收敛速度很快。39值的影响：值对收敛性影响很大，首先必须选择得足够小，满足，影响收敛速度。一般希望在保证收敛的条件下，选大一些，使时间常数小一些，收敛的速度快一些。但当选择得太大时，即使收敛条件满足，也可能形成振动性的过渡特性。图值的影响(a)较小时的情况(b)较大时的情况403.2.4最小均方(LMS)算法最陡下降法需要求出其梯度的精确值，要求输入信号和期望信号平稳，且要首先估计和，这给具体实现带来很大困难，因此该算法还不是真正意义的自适应滤波算法，但讨论最陡下降法是有意义，由最陡下降法可以很直观地导出一类自适应滤波算法---LMS算法。另外，最陡下降法中关于算法收敛的简洁和完整的结果，对讨论更复杂的算法的收敛性有参考意义。LMS(Leastmeansquare)算法是Widrow等人提出的，是用梯度的估计值代替梯度的精确值，算法简便易行，获得了广泛的应用。但存在收敛速度慢，有额外误差等缺点。41梯度估计值用一条样本曲线进行计算。因为用代替1.LMS算法的权值计算42FIR滤波器中第个权系数的计算公式为FIR滤波器中第个权系数的控制电路如图，图FIR第个去路的控制电路43LMS自适应滤波器的总框图如下，图LMS自适应滤波器总计算框图44算法的性能分析：主要分析加权矢量和性能函数的平均变化规律以及它们的随机性造成的影响。说明梯度估计值是无偏估计的，梯度的估计量在理想梯度附近随机变化。2.LMS算法加权矢量的过度过程将误差公式代入得假设与不相关45对取统计平均类似于最陡下降法的推导，经坐标平移和旋转，变换到V’坐标中。推导如下，令则46上边两式代入表达式(*)式中，得得它的递推解是令代入和得47说明LMS算法加权矢量的统计平均值的过渡过程和最陡下降法加权矢量的过渡过程是一样的。换句话说，LMS算法加权矢量是在最陡下降法加权矢量附近随机变化的，其统计平均值等于最陡下降法加权矢量，那么，其收敛条件同样为由于不可能大于R的迹(R的主对角线元素之和)即在满足收敛条件下，才有48因此收敛条件可以表示为同样由式，第个分量为实际中，通常选得很小，选对于横向滤波器，式中的迹是，即N倍的输入功率。那么，49同样第个权系数可以表示成同样引入时间常数，50式中，称为最佳误差信号，它对应于最小均方误差，即3.LMS算法性能函数的过渡过程─学习过程由于LMS算法加权矢量的平均值的变化规律与最陡下降法的加权矢量一样，可以推想它的均方误差也会按照最陡下降的均方误差变化规律变化。误差信号为51同样，假设加权系数变化很小，也变化很小，，这样假定与不相关，上式最后一项为0，那么均方误差表示式52权矢量的平均值可以收敛到它的最佳值，但权矢量变化过程是随机的，按随机变化，这使权矢量在最佳值附近随机变化，但均方误差将大于最小均方误差。如图类似前面的推导，得可见，LMS均方误差变化规律和最陡下降法完全一样，学习曲线同样近似为几个不同时间常数的指数和。4.稳态误差和失调系数53引入失调系数，定义为可以推出，失调系数为为滤波器的阶数，是输入信号功率。失调系数刻画了LMS算法最终的收敛性能，失调系数越小，LMS算法越收敛于接近最佳滤波器的性能；反之，失调系数越大，LMS算法最终的收敛结果与最优滤波器的性能差距越大。或者54

步长越小，失调系数越小，但收敛时间会越长，实际中，根据对失调系数的要求，适当选择步长。满足收敛条件下，再选择满足预定失调系数要求的尽量大的步长。下图是一个自适应滤波器的计算机结果。阶数N=5，输入是信号加白噪声，输入信号功率为1，中心频率是，噪声功率为0.5，输入信号自相关函数的特征值为：5.14,0.853，0.502,0.500,0.500,权系数初始值取0，。图中画出了一条样本学习曲线和150条样本学习曲线的平均曲线。55个别学习曲线起伏较大，平均学习曲线起伏很小，计算出的维纳最小均方误差为0.74396，用LMS算法得到的稳态误差大于该值，计算的失调系数是4.87%，按计算机模拟结果测得的失调系数是5.40%。56LMS算法简单易行，应用广泛。但为保证算法收敛并减少失调系数，通常把收敛因子取得比较小，这样使它存在收敛慢的缺点。另外，在具体实现权系数调整时，运算精度非常重要，要求所用的乘法器和加法器有很高的精度，这样增加了成本，降低了运算速度，针对这些问题，国内外提出了一些改进算法。如LMS2算法、LMSQ算法、MLMS(修正的LMS)算法、TDO和LMF算法等。57和LMS相比，LS滤波对非平稳信号的适应性强，因为LS滤波总是采用新的准则，在每一个时刻对所有已输入信号而言，重新评估使其误差的平方和最小，具有更精确的含义，属于精确分析法。LMS以集合平均为基础，属于统计分析的方法。为分析简单，假设所研究的信号都是实信号。通过选择，使取得最小值的滤波称为最小二乘滤波(LS)。式中，是时刻的误差信号，是误差信号的平方和。3.3最小二乘自适应滤波以误差平方和最小作为最佳准则的误差准则─最小二乘(LeastSquare)准则。定义583.3.1最小二乘滤波最小二乘滤波大约是1795年高斯在星体运动轨道预测研究中提出的。它的基本结果有两种形式，一种是经典的一次完成算法，它在理论研究中更为方便。另一种是现代的递推算法，适合于计算机运算。1.最小二乘的基本问题符号约定，用表示一个具体的数值，用表示一个维的列向量，用表示一个维矩阵，59已知n个数据，采用M个权的FIR滤波器对数据进行滤波，假设期望信号为，如图图M个权的FIR滤波器60其中，为FIR滤波器在时刻的个系数值。滤波器的输出是对期望信号的估计M维向量n时刻，估计误差M维向量输入信号误差信号的平方加权和为61称为遗忘因子，主要用于增加新数据的权重，给“较新的时刻”更大比例，“较久远的时刻”更小比例。另外，增强对非平稳信号的适应性。一般取0.95~0.995之间。是误差信号平方的加权和，也称为误差信号的能量。这里采用前加窗，约定当i的取值范围不同时，得到不同的。得到为叙述方便，引入一些符号62当时，引入n维误差向量和期望信号向量，及输入信号构成的维矩阵，维矩阵，令M维向量和分别表示n时刻滤波器的权向量和输入信号向量63加权矩阵，对角线上元素称为加权因子。为推导简单，取。期望信号的估计和估计误差可以表示为误差信号能量式中64使上式成立的就是的最小二乘估计，记为。应用标量求导公式，得要使取得最小值，应满足则代入，得*将*式展开，得65若矩阵的秩等于M，记作，则非奇异，求解上式，可以得到的最小二乘估计引入M维向量及维矩阵则式可写为此方程类似于维纳-霍夫方程，不同之处在于这里是求和，维纳霍夫方程是数学期望。66在式两边同左乘以，得若，则不能唯一辨识。应用得此式与等价，表明最小二乘滤波器的误差向量与最小二乘估计向量正交，与任一进入估计的输入信号正交。这就是最小二乘正交原理。67正交原理的几何解释：与维纳滤波器的和两式比较，可见维纳滤波器中的数学期望用求和符号替代，说明最小均方误差准则下的正交性原理是针对集合平均而言的，最小二乘准则下的正交性原理是针对瞬时时间而言的。当取得最小值时，称是的最小二乘估计。68当存在时，最小二乘估计值为最小二乘估计的误差信号能量为最小二乘估计的误差信号能量为69是观测信号，为噪声信号，可看作一数据矩阵，表征输入与输出之间的关系，是可调整量。对比，类似于信号真值，类似于信号的估计值，且矩阵与矩阵相对应，在数据矩阵已经确定的情况下，对的最小二乘估计为综合前面的分析，可以把最小二乘问题用下列模型描述令误差信号能量为，并取加权矩阵，则70 假设误差向量n(k)独立同分布的，具有零均值，方差为,那么最小二乘估计是无偏估计;若噪声是高斯噪声,则最小二乘估计是一致估计。2.最小二乘估计的质量(1)无偏性(2)一致性表示以概率为1的收敛。71 当具有零均值时，最小二乘估计的协方差为 已知噪声为高斯噪声，则，得最小二乘估计的协方差为证明：首先求解最小二乘估计的协方差。最小二乘估计的误差72式中，将以概率1收敛于一个正定阵，且是有界的，因此最小二乘估计的无偏性已经保证了偏移量为0，因此一致性得证。经典的一次完成的最小二乘运算法在具体使用时，占用内存大，不能实时实现。经常采用的是递推最小二乘算法。73根据最小二乘估计式，用表示第i步迭代时A的取值，表示前k步A的数值构成的向量。新的估计值=老的估计值+修正项基本思想:新的估计值是在老的估计值的基础上修正而成的。为分析简便，设为一向量，且仅与当前观测值有关，则定义一个变量P3.3.2递推最小二乘法(RLS)(RecursiveLeastSquare)其中74令观测信号向量为那么Z(j)表示j时刻观测信号的大小。上式两边同时左乘,得把式代入时刻的估计值75其中z(k)是观测数据，a(k)是输入、输出关系矩阵的元素，可以看作是估计值或一步预测值，待估计向量的修正项则就