LMS类自适应算法

1、LMS类自适应算法 11电工 樊辉 自自适应算法的提出适应算法的提出个人理解：传统系统设计均是在某种情况下按照某些特定参数推导得出，是系统设计完成后运行在该类特定情况效果最佳。系统一旦发生某些参数变化，则系统输出效果一般会明显变差。诚如PID这类控制系统中使用最广最常用的控制算法，也只具有一定的鲁棒性。提出自适应算法，通过某些系统参数的在线学习，适应改变的系统，优化系统性能，就显得有必要了。自适应实现在滤波器中的引入自适应实现在滤波器中的引入自适应实现：N阶FIR滤波器的抽头权系数可以根据估计误差e(n)的大小自动调节，使得某个代价函数最小。自适应实现在滤波器中的引入自适应实现在滤波器中的引入

2、MMSE准则是滤波器设计最常用的准则。故在设计中采用均方误差为代价函数：之前最优滤波理论中可知，代价函数相对于滤波器的抽头权向量w的梯度为：则对应的梯度向量为：22( )| ( )| | ( )( )| HJ nEnEd nw u n( )2 () *( )2 () ( )( )*,0,1,HkJ nE u nk enE u nk d nw u nk,M-1001101111( )( )( )( )( )( )( )( )( )( ),( ),( )( )( )( )( )TMMMJ nJ nja nb nJ nJ nja nb nJ nJ nJ nJ nJ nJ njanbn自适应实现在滤波

3、器中的引入自适应实现在滤波器中的引入在导出梯度向量后，再定义：则式3可改写为向量式：式中，011( ) ( ), (1), (1)( )( ),( ),( )TTMu nu n u nu nMw nw n w nwn( )2 ( ) *( )( ) ( )22( )HJ nE u n dnun w nrRw n ( )( ) ( ) *( )HRE u n unrE u n dn自适应实现在滤波器中的引入自适应实现在滤波器中的引入使用中最广泛的形式是：“下降算法”式中，w(n)为第n步迭代（即时刻n）的权向量，(n)为第n次迭代的更新步长，而v（n）为第n次迭代的更新方向。依据下降算法的两种主

4、要实现方式，分为自适应梯度算法和自适应高斯-牛顿算法。下面主要讲：自适应梯度算法，其包括LMS类自适应算法( )(1)( ) ( )w nw nn v nLMS算法及其基本变型算法及其基本变型自适应梯度下降算法中，更新方向向量v(n)取自第n-1次迭代的代价函数Jw(n-1)的负梯度，即统一形式为：其中，系数1/2是为了使得到的更新公式更简单。将更新公式中的部分用之前结论带入，既得抽头权向量w(n)的更新公式为：由更新公式式9得到：1( )(1)( )(1)2w nw nnJ n( )(1)( )(1),1,2,w nw nn rRw nnLMS算法及其基本变型算法及其基本变型（1） 为误差向

5、量，代表了抽头权向量的校正量；（2）参数(n)称为在时间n的“步长参数”，决定了更新算法的收敛速度；（3）当自适应算法趋于收敛是，有 ，即抽头权向量收敛为之前所说的Wiener滤波器。(1)rRw n10lim(1)nw nR r(1)0rRw nn LMS算法及其基本变型算法及其基本变型在式6中，将数学期望分别用相应的瞬时值代替，便得到了瞬时梯度：进而，将真是梯度向量用瞬时梯度向量代替，既得瞬时梯度算法：式中，式11，即为最小均方差自适应算法，简称LMS算法。易证：瞬时梯度向量是真实梯度向量的无偏估计。( )2 ( ) *( )( )( ) ( )HJ nu n dnu n un w n (

6、 )(1)( ) ( ) ( )( ) *(1)*(1)( ) *( ) ( )Tw nw nn u n d nun wnw nn en u n( )( )( ) *(1)( )(1) ( )THe nd nun wnd nwnu nLMS算法及其基本变型算法及其基本变型LMS自适应算法：步骤1：初始化权抽头向量：w(0)=0;步骤2：更新：w(n)=w(n-1)+(n)u(n)e*(n)注：1、(n)=c（c取常值），则为基本LMS算法 2、(n)= ，则为归一化LMS算法 3、当期望信号未知时，可直接用滤波器输出y(n)代替d(n)( )( )(1) ( )He nd nwnu n,(0,

7、2),0( ) ( )Hun u n解相关算法的提出：在LMS算法中，有一个独立性假设：假定滤波器的输入向量是彼此独立的向量序列。当他们之间有耦合时，算法性能下降，尤其是收敛速度。因此需要解除各时刻输入向量之间的相关（解相关），使其保持统计独立。1、时域解相关LMS算法思路一：在输入量中根据实际剔除相关量定义u(n)与u(n-1)在n时刻的相关系数为：若 =1,则称u(n)是u(n-1)的相干信号； =0，则u(n)与u(n-1)不相关；0 1，称u(n)与u(n-1)相关。(1) ( )( )(1) (1)HHunu na nunu n( )a n( )a n( )a n现用解相关的结果v(

8、n)作为更新方向向量：另步长参数(n)应该是满足下列最小化问题的解：( )( )( ) (1)v nu na n u n( )argmin (1)( )( )( )( ) ( )HnJ w nv ne nnun v n综上所述，提出解相关算法：步骤一： 初始化 w(0)=0;步骤二：更新：上述算法中，参数称为修正因子( )( )(1) ( )He nd nwnu n(1) ( )( )(1) (1)HHunu na nunu n( )( )( ) (1)v nu na n u n( )( )( ) ( )He nnun v n( )(1)( ) ( )w nw nu n v n思路二：利用前向

9、预测在解相关LMS算法中，其实可视为一种自适应辅助变量法，其中辅助变量为： 。现用一前向预测器的误差向量代替。令 为一M阶前向预测其的权向量，计算前向预测误差：式中，( )( )( ) (1)v nu na n u n( )a n1( )( )( ) (1)( )( ) (1)Mfiienu na n u nu na n u n12(1) (1), (2),( )( ),( ),( )TTMu nu nu na na n a nan,u(n-M),使用前向预测误差向量作辅助变量，即更新方向向量：用前向预测器对瞬时估计误差 滤波，则得到滤波型LMS算法。( )( )( ),(1),(1)ffff

10、v nenen enenM,( )( )(1) ( )He ny nwnu n滤波型LMS算法：步骤一：初始化 w(0)=0;步骤二：更新：( )( )(1) ( )He nd nwnu n( ) ( ), (1),Te ne n e n,e(n-M+1)( )( )( ) (1)fTenu nan u n( )( ),(1),(1)ffffenen enenM,( )( )( ) ( )He ne nan e n( )(1)( ) ( )fw nw nen e n为什么要选择学习参数LMS算法中的步长参数决定抽头权向量在每步迭代中的更新量，是影响算法收敛的关键参数。由于LMS算法的目的是在更

11、新过程中使抽头权向量逼近Wiener滤波器，所以权向量更新可视为一种学习过程，而决定了LMS算法学习过程的快慢。故步长参数也称为学习速率参数。基于LMS算法收敛，给出学习速度参数的选择问题：1、均值收敛：或 均值收敛条件：2、均方差收敛：均方差收敛条件：max20 ( )0E e n0n 0lim ( )optnE w nw20lim | ( )| nEnc20总的输入能量自适应学习速率参数1、学习速率参数选择常数选择学习速率参数为常数，在收敛与稳态性能上会引起矛盾：大的学习速率参数能提高收敛速度，但稳定性就会减低；反之，稳定性增加了，收敛速度变慢了。因此，学习速率参数的选择应该兼顾稳定性和收敛性，简单而有效地方法就是时变的学习速率。( ) n2、学习速率参数选择时变这样也存在问题。在参数c比较大时，LMS算法可能在经过若干次迭代后即变为发散。3、固定+时变两个经典例子：（1）（