第五章基本自适应算法ppt课件

1、第五章 基本自适应算法5.1LMS算法算法5.2RLS算法算法5.1 LMS算法下图所示为自适应横向滤波器的结构及其功能：（1具有可调节抽头权系数的横向滤波器，权系数 ，表示在n时刻的值。（2在自适应状态能调节这些权系数的机理过程。这个过程首先自动调节滤波器系数的自适应训练步骤，然后利用滤波系数加权延迟线抽头上的信号来产生输出信号，将输出信号与期望信号进行对比，所得的误差值通过一定的自适应控制算法再用来调节权值以保证滤波器处在最佳状态，达到实现滤波的目的。）（）（）（nnnm,21W1(n)Wm(n)自适应控制算法W2(n)Wm-1(n)Z-1Z-1Z-1-+d(n)y(n)e(n)x(n)x

2、(n-1)x(n-m+1)x(n-m+1)图自适应横向滤波器结构框图图自适应横向滤波器结构框图显然，输出信号y(n)是 (5-1) e(n)=d(n)-y(n) (5-2) 自适应滤波器控制机理是用误差序列e(n)按照某种准则和算法对其系数 进行调节的，最终使代价函数最小化，达最佳滤波状态. 按照均方误差MSE准则所定义的目标函数为：F(e(n)=(n)=E(e(n)=Ed(n)-2d(n)y(n)+y(n) (5-3)()() 1()(y(n)1nXnWinxnTMiiMini, 2 , 1)(，综合前面几个式子目标函数可以写成(n)=Ed(n)-2Ed(n)wT(n)x(n) +EwT(n

3、) x(n) xT(n)w(n) (5-4) 当滤波系数固定时，目标函数又可写成： (n)= =d(n)-2wTP+wTRw (5-5) 可见，自适应滤波器的目标函数是延迟线抽头系数加权或滤波系数的二次函数。当矩阵R和矢量P已知时，可以由权系数矢量w直接求其解。 令 代表n时刻的M*1维度矢量，M为滤波器系数的数目，w(n)为自适应滤波器在n时刻的滤波系数或权矢量。按照最陡下降法调节滤波系数，则在n+1时刻的滤波系数或权矢量w(n+1)可以用下列简单递归关系来计算 w (n+1）= w(n）+1/2- (5-6) 其中是一个正实数，通常称它为收敛因子或步长，n为迭代次数,为梯度矢量. 根据梯度

4、矢量定义，(n)可以写成 (5-7) )(n)()(2)()()(2)()()(2nxneEnwneneEnwneEn)(n当系数为最佳值 ,即是维纳解,梯度矢量应等于零即： Ee(n)x(n)=0 (5-8) 则误差性能函数的梯度向量为： =2RW(n)-2P (5-9) 权值迭代算法的基本表达式为： w(n+1)= w(n)+P-RW(n) (5-10) 在MMSE准则下最陡下降算法稳定收敛的充分必要条件为: 0 2/max 式中max 为相关矩阵R的最大特征值.)(n1、LMS算法的基本原理 最小均方LMS自适应算法就是一种以期望响应和滤波输出信号之间误差的均方值最小为准的，依据输入信号

5、在迭代过程中估计梯度矢量，并更新权系数以达到最优的自适应迭代算法。LMS算法是一种梯度最速下降方法，其显著的特点是它的简单性。这算法不需要计算相应的相关函数，也不需要进行矩阵运算。 1960年美国斯坦福大学的Widrow等提出了最小均方LMS算法，这是一种用瞬时值估计梯度矢量的方法. (5-11) )()(2)()()(2nXnenwnen2、 LMS算法的公式 按照自适应滤波器滤波系数矢量的变化与梯度矢量估计的方向之间的关系，可以写出： (5-12)把前面所推关系式代入式(5-11)得： (5-13)()()( )(21)( ) 1( nxnenwnnwnw)()()( )()()()()(

6、)()( ) 1( ndnxnwnxnxInxnwndnxnwnwHH3、 LMS算法原理框图图图LMS算法原理流图算法原理流图x(n)Id(n)+-e(n)(nxHIz1W(n+1)W(n)4、LMS算法的计算步骤如下：我们利用时间n=0的滤波系数矢量为任意的起始值W(0)，然后开始。(1)由现在时刻n的滤波器滤波系数矢量估值 ，输入信号矢量x(n)以及期望信号d(n),计算误差信号： (5-14) (2)利用递归法计算滤波器系数矢量的更新估值： (5-15)(3)将时间指数n增加1，回到步骤(1)，重复上述计算步骤，一直到达稳态为止.由此可见,LMS算法简单，它既不要计算输入信号的相关函数

7、，又不要求矩阵之逆，因而得到了广泛的应用。但是，由于LMS算法采用梯度矢量瞬时估计，它有大的方差，以致不能获得最优滤波性能。)( )()()(nwnxndneH)()()( ) 1( nxnenwnw)( nw5、LMS算法的性能分析一、自适应收敛性 自适应滤波器系数矢量的起始值w(0)是任意常数，应用LMS算法调节滤波系数具有随机性而使系数矢量w(n)带来非平稳过程，通常为了简化LMS算法的统计分析，往往假设算法连续迭代之间存在以下的充分条件：（1每个输入信号样本矢量x(n)与其过去全部样本矢量x(k),k=0,1,2,n-1是统计独立的，不相关的，即： Ex(n)xH(K)=0; k=0,

8、1,2,n-1 (5-16)（2每个输入信号样本矢量x(n)与全部过去的期望信号d(k) k=0,1,2,n-1也是统计独立且不相关的，即： Ex(n)d(k)=0; k=0,1,2,n-1 (5-17)（3期望样本信号d(n)依赖于输入过程样本矢量x(n)，但全部过去的期望信号样本是统计独立的.（4滤波器抽头输入信号矢量x(n)与期望信号d(n)包含着全部n的共同的高斯分布随机变量. 由前面的计讨论可知，自适应滤波器在n+1时刻的滤波系数矢量 依赖于三个输入：（1输入过程的过去样本矢量x(k), k=n,n-1,0;（2期望信号的以前样本值d(k), k=n,n-1,0;（3滤波系数矢量的起

9、始值 . 现在将系数误差矢量w(n代入式(5-15)得(5-18) 式中wo是最佳滤波系数矢量， w(n是误差矢量即w(n）=w(n)- w0 )()()()()()()()()()()()() 1(000wnxnxndnxwnwnxnxIndnxwnwnxnxInwHHH)0( w)1(nw 如将W0移至等式左边，那么 等于系数误差矢量的更新值，于是式(5-18)可写成 (5-19) 对式(5-19)两边取数学期望，得到(5-20)LMS算法与前述最陡下降算法有相同的精确数学表达式。0) 1( wnw)()()()()()()() 1(0wnxnxndnxnwnxnxInwHH)()( )(

10、)()()()()( )()()()()()()( )()()1(000RwPnwERIwnxnxEndnxEnwEnxnxEIwnxnxndnxEnwnxnxIEnwEHHHH 因些，要使LMS算法收敛于均值，必须使步长参数满足下列条件： 0 2/max (5-21) max是相关矩阵R的最大特征值。在此条件下，迭代计算次数n接近无穷大时，自适应滤波系数矢量w(n)近似等于最佳维纳解w0。二、平均MSE-学习曲线 如前节所述，最陡下降算法每次迭代都要精确计算梯度矢量，使自适应横向滤波器权矢量或滤波系数矢量w(n)能达到最佳维纳解w0,这时滤波器均方误差MSE为最小. LMS算法用瞬时值估计梯

11、度存在误差的噪声估计，结果使滤波器权矢量估值只能近似于最佳维纳解，这意味着滤波均方误差(n)随着迭代次数n的增加而出现小波动地减小，最后()不是等于而是稍大于其值 。如下图所示，步长参数选用的越小，则噪化指数衰减曲线上的波动幅度将越小，即学习曲线的平滑度越好. 对于自适应横向滤波器总体来说，假设每个滤波器LMS算法用相同的步长和同等的起始系数矢量w(0),并从同一统计群体随机地选取各个平稳的各态历经遍历性的输入信号，由此计算自MSE平均MSE适应滤波器总体平均学习曲线，如下图所示，这是一个平滑的总体平均学习曲线，通常它是由50到200个单独LMS算法的结果加以平均而得到的，显然，我们可以用E(

12、n)表示的平均LMS来描述LMS算法的动态性质.三、失调 在自适应滤波器中，失调(Misadjustment) 是衡量其滤波性能的一个技术指标，它被定义为总体平均超量均方误差值ex()与最小均方误差min 之比，即(5-22) 证明可知：(1)失调为自适应LMS算法提供了一个很有用的测度，比如，10%失调意味着自适应算法所产生的总体平均MSE高于最小均方误差的增量值为10%；(2)失调是随滤波系数数目线性增加的；(3)失调可以做得任意小，只要选用大的时间常数，也就是小的步长值即可。min/)(exE但是，滤波器自适应收敛过程需要长的时间，影响了滤波器自学习、自训练的速度，所以，自适应滤波器LM

13、S算法的失调与自适应收敛过程之间存在着矛盾，如何缩短收敛过程，而且有很小的失调，这是值得研究的问题。5.2 RLS算法5.2.1 预备知识5.2.2 矩阵求逆引理5.2.3 指数加权递归最小二乘算法5.2.4 正则化参数的选择5.2.5 误差平方加权和的更新递归在本节中，我们将推广最小二乘的应用，以便推出一种设计自适应横向滤波器的递归算法。即给定n-1次迭代滤波器抽头权向量最小二乘估计，依据新到达的数据计算n次迭代权向量的最新估计。我们把这一算法称为递归最小二乘RLS，recursive least-squares算法滤波器）。 在RLS 滤波器的推进过程中，我们首先回顾最小二乘法的一些基本关

14、系式。然后，应用矩阵代数中矩阵求逆引理所揭示的关系，导出RLS滤波器。 RLS滤波器的一个重要特点是，它的收敛速率比一般的LMS滤波器快一个数量级。这是因为RLS滤波器通过利用数据相关矩阵之逆，对输入数据假定这些数据的均值为零进行了白化处理。然而，性能的改善以RLS滤波器计算复杂性的增加为代价。 在最小二乘的递归实现中，我们从给定的初始条件出发，通过应用新的数据样本值中所包含的信息对旧的估计值进行更新。因此我们发现，可测数据的长度是可变的。因此，把待最小化的代价函数表示为(n)，其中n是可测数据的可变长度。另外，习惯上还在(n)的定义中引入加权因子。于是，可以写出 (5-23) 其中e(i)是

15、期望d(i)与i时刻抽头输入为 的横向滤波器输出y(i)之差，如下图5-所示。 5.2.1 预备知识)(n)(n)(n)(n)(n21)(),()(ieinnniu(i),u(i-1),u(i-M+1)()()()()()(iunwidiyidieH输出信号1z1z)(0nw)(1nw)(2nwM)(1nwMy(i)输入信号u(i)u(i-1)u(i-M+1)u(i-M+2)其中u(i)是i 时刻的抽头输入向量，定义为(5-25)式中w(n)是n时刻抽头权向量，定义为 (5-26)留意，在代价函数定义的观测区间i n内，横向滤波器的抽头权值保持不变式5-23中的加权因子 满足如下关系 i=1,

16、2,nTMiuiuiuiu)1(),1(),()(TMnnnnw)(,),(),()(110)(n1),(0in),(in 一般说来，加权因子 的使用是为了保证“遗忘掉久远的过去数据，以便当滤波器工作在非平稳时，能跟踪观测数据的统计变化。通常所用的加权因子是指数加权因子，或所谓遗忘因子,定义为 (5-27)式中是一个接近1，但又小于1的正常数。当=1时,对应一般的最小二乘法。粗略地说，1-的倒数可以用来衡量算法的记忆能力；而=1的特殊情况，则应对于无限记忆。 1),(nin),(in正则化 最小二乘估计和最小二乘法一样，是一个病态的求逆问题。在该问题中，给定构成抽头输入向量u(n)的输入数据和

17、相应的期望响应d(n)（其中n是变量），要求估计出多重回归模型中的未知向量，该向量与d(n) 和u(n)有关 最小二乘估计的病态特性源于以下原因： 输入数据中的信息不足以唯一地构建输入输出间的映射关系。 在输入数据中不可以避免地存在着噪声或不精确性，这为构建输入输出映射关系增加了不确定性。 为使估计问题变为非病态，需要某种与输入输出映射关系有关的先验信息。这意味着必须扩展代价函数公式，使其能考虑先验信息。 为满足这一需要，我们把待最小化的代价函数扩展为两部分之和 (5-28)（这里假设使用了预加窗代价函数的两个分量如下： 1误差加权平方和 (5-29)212)()()(nwiennniinni

18、Hinniniunwidie12211)()()()()()()(iunwiyH)()()(2nwnwnwHnn式中 是一个正实数，称为正则化参数除了因子外，正则化项只取决于抽头权向w(n).将这一项包含在代价函数中，以便通过平滑作用来稳定递归最小二乘问题的解。n 从严格意义上说， 项是正则化的近似形式。原因有两个:(1)首先指数加权因子介于01之间；从而，当M(5-73)其中(n)是u(n)的时间平均相关矩阵，且要求nM,以保证横向滤波器的每一个抽头上部有输入信号。式(5-73)的近似将随着时间n的增加得到改善。)()()0()( )(10iiKnwwnni(5-74)此式由式(5-49)得

19、出。尽管K(i)和 都与u(i)有关，但式(5-74)中的和对(n)具有平滑作用。实际上，RLS滤波器起到了时变低通滤波器的作用。 下面的讨论都是基于以上u(n)和d(n)的三点假设。)(iRLS算法的均值收敛性)( nw)()()( 1nznnw由正则方程(5-34)解 ,可得nM其中，对=1有(5-75)0()()()(1niHiuiun和niidiunz1)()()(5-76)(5-77)将式(5-62)代入式(5-77)，然后应用式(5-76)，可得)()()0()()()()()()(10001010ieiuwwnieiuwiuiunznininiH(5-78)式中的最后一行，我们应

20、用了=1时的式(5-32)。由此，可以将式(5-75)重新写为niniieiunwnwieiunwnwnnnw1010101010101)()()()0()()()()()0()()()()( (5-79)对式(5-79)的两边取数学期望，并引用假设和假设，可以写出pnwwRnwwRnwnwE0010010)0(1)(nM(5-80)其中p是期望响应d(n)与输入向量u(n)之间的集平均互相关向量。式(5-80)阐明，RLS算法在均值意义上是收敛的。如果n大于滤波器长度M的有限值，则由于用(0)=I 对算法进行初始化，所以估计 是有偏的。但当n趋于无限时，偏差将趋于0。)( nwRLS算法的均

21、方偏差加权误差相关矩阵定义为)( )( ()()()(00HHnwwnwwEnnEnK(5-81)将式(5-79)代入式(5-81)，并且忽略初始化的影响(这一点对nM成立)，可得)()()()()()()(001111jeienjuiunEnKninjH在假设条件下，输入向量u(n)以及由它所得的 与测量噪声 无关。因此，可以将K(n)表示为两个期望的积)(1n)(0ne)()()()()()()(001111jeieEnjuiunEnKninjH由于测量噪声 是白色的假设），我们有)(0ne其他对于0ji)()(2000neieE(5-82)其中 是 的方差。因此，加权误差相关矩阵变为20

22、)()()()( )()()()()(120112011120nEnnnEnjuiunEnKniH)(0ne最后，引用嵌入在式(5-73)中的假设，可写出1201)(RnnKnM(5-83)均方偏差定义为)()()()(nKtrnnEnH(5-84)其中tr.表示矩阵求逆算子。根据式(5-83),RLS算法的均方偏差为MiinRtrnn120120111)(nM(5-85)其中 是集平均相关矩阵R的特征值。 根据式(5-85)，我们现在可以对于nM的情况得出如下两点重要结论：1)均方偏差 被最小特征值 的倒数放大。因此，对于下一阶近似，RLS算法对特征值扩散的敏感性正比于最小特征值的倒数。因此

23、，病态的最小二乘问题会使收敛性能变差。i)(nmin2)均方偏差 随迭代次数n几乎成线性衰减。因此，由RLS算法得到的估计 几乎随时间线性地按范数即“均方”）收敛于多重线性回归模型的参数向量 。)(n)( nw0wRLS算法集平均学习曲线 在RLS算法中，存在两类误差(n)和后验估计误差e(n).给定表中的初始条件，可以发现这两种误差均方值随时间n不同地变化。当n=1时,(n)的均方值较大等于期望响应d(n)的均方值，然后随着n的增大而衰减。另一方面，当n=1时， e(n)的均方值较小，然后随着n的增大而增大，以致增加到e(n)等于(n)时一个n较大的点。因此，选择(n)作为感兴趣的误差，可得

24、到一个与LMS算法学习曲线形状相同的RLS算法学习曲线。 于是，我们能够通过图形直接在RLS算法与LMS算法的学习曲线之间进行比较。因此，我们可以先验估计误差(n)为基础计算RLS算法的集平均学习曲线，得)()(2nEnJ(5-86)式中的撇号用来区分(n)与e(n)的均方值)() 1()()()1( )(000nunnenunwwne（n）HH(5-87)其中包括(n-1)的第二项是无干扰估计误差。将式(5-87)代入式(5-86),然后展开，可得)1()()()()() 1()() 1() 1()()()(0020nnuneEnenunEnunnnuEneEnJHHHH(5-88)为了处理式(5-88)中的四个数学期望项，要注意以下几点：由式(5-82)可知， 的期望值是 。20)(ne20第二个期望可表示为)1(