LMS适应滤波算法

1、LMS自适应滤波算法I960年Widrow和Hof提出最小均方误差算法（LMS） , LMS算法是随机梯度算法中的 一员。使用“随机梯度” 一词是为了将LMS算法与最速下降法区别开来。该算法在随机输入维纳滤波器递归计算中使用确定性梯度。LMS算法的一个显著特点是它的简单性。此外，它不需要计算有关的相关函数，也不需要矩阵求逆运算。由于其具有的简单性、鲁棒性和易于实现的性能，在很多领域得到了广泛的应用。1 LMS算法简介LMS算法是线性自适应滤波算法，一般来说包含两个基本过程：（1）滤波过程：计算线性滤波器输出对输入信号的响应，通过比较输出与期望响应产生 估计误差。（2）自适应过程：根据估计误差自

2、动调整滤波器参数。如图1-1所示；用捷5 - D- N + 羽表示门时刻输入信号矢量,）側5）二宙J）（町 心（“ 心N 1）表示n时刻N阶自适应滤波器的权重系数, 丽表示期望信号，削”农示误料信号呎训是主端输入干扰信号，u是步长因子。则基本的LMS算法可以表示为e(n) = d(n) - X (n)W(n)(1)(2)x(n)e(耳)图1-1自适应滤波原理框图1），和一步跟新权向由上式可以看出 LMS算法实现起来确实很简单，一步估计误差（ 量（2）。2迭代步长u的作用2.1理论分析尽管LMS算法实现起来较为简单，但是精确分析LMS的收敛过程和性能却是非常困难的。最早做LMS收敛性能分析的是

3、Widrow等人，他们从精确的梯度下降法出发，研究权矢量误差的均值收敛特性。最终得到代价函数的收敛公式：5）二/丽+）亀凡讪（3）式（3）揭示出LMS算法代价函数的收敛过程表现为一簇指数衰减曲线之和的形式，每条指数曲线对应于旋转后的权误差矢量的每个分量，而他们的衰减速度，对应于输入自相关矩阵的每个特征值，第i条指数曲线的时间常数表示为但是小特征值对应大时间常数， 即衰减速度慢的曲线。 而大特征值对应收敛速度快的曲线, 如果特征值过大以至于 2 一叭） 片则导致算法发散。从上式可以明显看出迭代步长 u在LMS算法中会影响算法收敛的速度，增大u可以加快算法的收敛速度，但是要保证算法收敛。最大步长边

4、界：稳态误差时衡量LMS算法的另一个重要指标，稳定的LMS算法在n时刻所产生的均方误差， 其最终值匚口是一个常数。用来表示维纳解对应的均方误差，则稳态误差可以定义为:Widrow给出的失调误差：uVI = TraceRAt可见LMS算法的失调误差恒不为零。也可以看出u越大失调误差会越大。收敛速度和稳态误差不可兼得，由步长u控制两者的折衷。2.2实验验证白噪声经过AR模型的输作为LMS算法的输入，AR模型参数：a1=1.558;a2=-0.81 算法迭代次数2048（1）给出了固定步长u=0.001单次运算和200次运算的权值随n变换曲线。（2）u=0.001 和 u=0.003 学习曲线L.&

5、#39;单次运算200次运算平均户J1. ： 卜 *> 'x 'j iF21.50.5-0.55001000150020002500值权头抽图2-1单次运算与200次运算200次独立仿真集平均后权重系数随n变化的曲线比较平滑。最终权重系数收敛结果确实在1.558和-0.81附近。迭代步长对收敛速度和稳态误差的影响：10LMS学习曲线i1u=0.001u=0.0031I'JI.I ' iV11/j JI 旳 罠仃；j； h小！11 g 'hr500100015002000987654320差误方平2500图2-2不同迭代步长下 LMS学习曲线从图2-

6、2很容易看出u=0.003时比u=0.001收敛速度要快，但是稳态误差也比较大。3 一种变步长LMS算法3.1理论分析由迭代步长u对LMS算法的影响可知，减小步长因子u可减少自适应滤波算法的稳态噪声，提高算法的收敛精度。同时也会降低算法的收敛速度和跟踪速度。 为了同时获得较好地收敛速度和稳态误差，变步长算法被提出，在算法运行过程中 动态地调整步长因子 u，调整的原则是在初始收敛阶段或者系统参数发生变化时，步长应该比较大，以便有较快的收敛速度和对时变系统的跟踪速度；而在算法收敛后，不管主输入端干扰信号回有多大，都应该保持很小的调整步长以达到很小的稳态失调噪声。Sigmoid函数的简化版,根据这一

7、调整原则，很多变步长算法被提出。其中一种是 步长u和e(n)关系如下：Me = 0。一啟p一列巩町广)其中参数便卫控制函数的形状，参数叵D控制函数的取值范围。数曲线如图3-1和图3-2参数图3-2参数LI对曲线的影响选择原则，使初始误差 L_i对应的步长u值较大(在使算法收敛的范围内)，如果需要较高的收敛速度，可选取较大的值。3.2实验验证仿真实验条件：未知系统FIR系数留=0& 皿：参考输入信号 x(n)是零均值, 方差为1的高斯白噪声；v(n)是与x(n)不相关的高斯白噪声，均值是零，方差为0.04 ； 200次独立仿真，采样点数为 1000。参数卜=3D0,卩：°1|和不同迭代步长下固定步长的LMS曲线做了对比，仿真结果如下图3-3，图3-4，图3-5LMS学习曲线差误方均图 3-3 u=0.01差误方均1010LMS学习曲线10固疋步长U=0.02变步长Ii|L1JiA .1 1To! ' . 1.It"IlL1' h/让1| 11 V r| vrfl 1 1r,差误方均1002003004005006007008009001000迭代次数图 3-4 u=0.02LMS学习曲线图 3-5 u=0.05观察图 3-3、图 3-4 和图 3-5，看到变步长 LMS 算法收敛速