自适应滤波LMS与RLS的matlab实现

MATLAB 仿真实现仿真实现 LMS 和和 RLS 算法的二阶算法的二阶 AR 模型模型 及仿真结果分析及仿真结果分析 一 题目概述 一 题目概述 二阶 AR 模型如图 1a 所示 可以如下差分方程表示 1 2 1 21 ndnvnxanxanvnx 图 1a 其中 v n 是均值为 0 方差为 0 965 的高斯白噪声序列 为描述性参数 1 2 设 x 1 x 2 0 权值 0 04 推导最 95 0 195 0 21 aa 1 0 2 0 0 优滤波权值 理论分析一下 按此参数设置 由计算机仿真模拟权值收敛曲线并画出 改变步长在此模拟权值变化规律 对仿真结果进行说明 应用 RLS 算法再次模拟最优 滤波权值 解答思路 解答思路 1 高斯白噪声用 normrnd 函数产生均值为 0 方差为 0 965 的正态分布随机 1 N 矩 阵来实现 随后的产生的信号用题目中的二阶 AR 模型根据公式 1 产生 激励源是之前 产生的高斯白噪声 2 信号长度 N 取为 2000 点 用以观察滤波器权值变化从而估计滤波器系数 得到 其收敛值 3 仿真时分别仿真了单次 LMS 算法和 RLS 算法下的收敛性能以及 100 次取平均后 的 LMS 和 RLS 算法的收敛性能 以便更好的比较观察二者的特性 4 在用不同的分别取 3 个不同的 值仿真 LMS 算法时 值分别取为 0 001 0 003 0 006 用 3 个不同的 值仿真 RLS 算法时 值分别取为 1 0 98 0 94 从而分析不同步长因子 不同遗忘因子对相应算法收敛效果的影响 二 二 算法简介算法简介 1 自适应算法的基本原理 自适应算法的基本信号关系如下图所示 自适应算法 参数可调数字滤波器 x n d n y n e n 图 1b 自适应滤波器框图 输入信号 x n 通过参数可调的数字滤波器后产生输出信号 y n 将其与参考信号 d n 进行比较 形成误差信号 e n e n 通过某种自适应算法对滤波器参数进行调整 最终是 e n 的均方值最小 当误差信号 e n 的均方误差达到最小的时候 可以证明信号 y n 是信号 d n 的最佳估计 2 LMS 算法简介 LMS 算法采用平方误差最小的原则代替最小均方误差最小的原则 信号基本关系如下 2 1 0 1 2 0 1 2 1 N i ii y nw n x ni e nd ny n w nw ne n x ni iN 写成矩阵型式为 3 1 2 T y nWn X n e nd ny n W nW ne n X n 式 3 中 W n 为 n 时刻自适应滤波器的权值 N 为自适应滤波器的阶数 本设计中取为 2000 X n 011 T N W nw n w nwn 为 n 时刻自适应滤波器的参考输入矢量 由最近 N 个信号采样值构成 d n 是期望的输出值 e n 为自适应滤波器 1 1 TX nx n x nx nN 的输出误差调节信号 简称失调信号 是控制自适应速度与稳定性的增益常数 又叫收 敛因子或步长因子 3 RLS 算法简介 RLS 算法是用二乘方的时间平均的最小化准则取代最小均方准则 并按时间进行迭代 计算 其基本原理如下所示 遗忘因子 它是小于等于 1 的正数 参考信号 也可称为期望信号 d n 第 n 次迭代的权值 nw 均方误差 n RLS 算法的准则为 4 2 0 min n n k k nek 上式越旧的数据对的影响越小 通过计算推导得到系数的迭代方程为 n 5 1 式 5 中 增量 k n 和误差计算公式如下 6 n 1 x n k n n T n 1 x n T T x 7 1 式 6 中 T n 也就是当前时刻自相关矩阵的逆 1 按如下方式更新 n T 8 n T n 1 T k n x n T n 1 T 由上边分析可知 RLS 算法递推的步骤如下 1 在时刻 n 和也已经存储在滤波器的相应器件中 1 1 nn wT d nnx 2 利用公式 5 6 7 和 8 计算 T n w n k n 并得到滤波器 的输出相应和误差即 y n e n 9 T y nnn wx 10 e nd ny n 3 进入第次迭代1n 这样做的优点是收敛速度快 而且适用于非平稳信号的自适应处理 缺点是每次迭代时都要知道输入信号和参考信号 计算量比较大 三 三 仿真过程仿真过程 仿真过程按照如下过程进行 1 信号产生 首先产生高斯白噪声序列 w n 然后将此通过一个参数为 1 0 195 0 95 简单的二阶自回归滤波器生成信号 2 x n 2 将 step 1 生成的信号通过 LMS 和 RLS 自适应滤波器进行处理 3 通过改变 值对收敛速度的影响来分析 LMS 算法的性能以及通过改变 1 2 值对收敛速度的影响来分析 RLS 算法的性能 1 2 4 绘制相应图形曲线 四 四 仿真以及结果分析仿真以及结果分析 信号和高斯白噪声波形如图 2 所示 图 2 信号和高斯白噪声波形 图 2 中 上边的图形为信号波形 下边的为加性高斯白噪声 图 3 a LMS 算法下单次收敛曲线 图 3 b LMS 算法下百次平均收敛曲线 分析分析 1 图 3 中 a b 两幅图分别为单次实现的 LMS 算法下最优权值变化过程和 100 次仿真 实现后取平均值做的图 两个权值初始值由已知条件设置为 0 之后收敛到两个定值 a 图展现了滤波器权系数迭代更新的过程 可以发现其并不是平滑的变化 而是随机 起伏的 跟最陡下降法不一样 这充分说明了其权向量是一个随机过程向量 梯度噪声对其 产生了一定的影响 b 图给出了 100 次独立实验得到的平均权向量的估计 即 n E w 其中是第 t 次独立实验中第 n 次迭代得到的权向量 T 是独立 1 1 n n T t t ww T n t w 实验次数 可以发现 多次独立实验得到的平均权向量的估计平滑了随机梯度引 n E w 入的梯度噪声 十分接近理论最优权向量 曲线足够平滑 噪声影 0 195 0 95 T opt w 响很小 图 3 中 a b 两图皆有较好的收敛特性 即使 1 次实现也能很好的逼近最优权值 图 4 a RLS 算法下单次收敛曲线 图 4 b RLS 算法下百次平均收敛曲线 分析分析 2 图 4 中 a b 两幅图分别为单次实现的 RLS 算法下最优权值变化过程和 100 次仿真 实现后取平均值做的图 a 图中可看出权值已有较好收敛特性 两个权值初始值由已知条 件设置为 0 之后收敛到两个定值 a1 0 195 和 a2 0 95 但是曲线不够平滑 噪声较大 b 图经过取平均后噪声影响已经很小 单次实现和多次实现的联系与区别也与 LMS 算法基 本相同 但是可以清晰地看出 RLS 算法收敛极 将两种算法整合于一个图中可以看出鲜明的对 比 图 5 LMS 算法和 RLS 算法收敛曲线对比 分析分析 3 从图 5 可以看出 在和一定的情况下 RLS 比 LMS 具有更快的收敛速度 在算法的前 期收敛段 RLS 算法的收敛速度要明显高于 LMS 算法 总的来说 LMS 算法的收敛性和步长有关 受协方差矩阵的特征根影响 然而 RLS 算法一定是收敛的 且收敛速度很快 不过其迭代过程由于要求增益因子和逆矩阵等 使 得其算法复杂度高 计算量比较大 接下来修改步长 值 观察曲线的收敛情况 图 6 给出了 0 01 0 03 和 0 06 三种情况下的最优权值变化曲线 由此分析不同步长对曲线收敛性产生的影响 图 6 对 LMS 收敛速度的影响 分析分析 4 可以看出 LMS 算法中的步长参数 决定抽头权向量在每步迭代中的更新量 是影响 算法收敛速度的关键参数 其决定了 LMS 算法学习过程的快慢 图 6 展示了当收敛步长 值变小时 其均方误差的收敛速度也相应减慢 降低对实变 系统的跟踪速度 不能及时调整至最优权值 由前面的理论推导我们可以知道 在这个范围内 越大 均方误 1 0 max 差收敛速度越快 收敛速度和步长因子成正比 可是如果 大于这个范围会造成不稳定 较大步长会造成较大的稳态误差 带来算法的发散 图 7 对 RLS 收敛速度的影响 分析分析 5 RLS 算法中遗忘因子的作用是对离 n 时刻越近的误差加比较大的权重 而对离 n 时 刻越远的误差加比较小的比重 遗忘因子的选择对 RLS 算法的性能起决定性的作用 是 个小于等于 1 的数 如果 越小 能量信号就越接近最新的误差平方 对前面的误差遗忘 的越快 跟踪效果就越好 但是 递推 RLS 算法中的误差是由期望信号决定的 如果 很 小则误差信号对期望信号的依赖性就会很大 所以 输出信号就很接近期望信号 从图 7 可以看出 遗忘因子 越小 系统的跟踪能力越强 收敛的越快 即变平稳 得越快 但是收敛值比较大 越大 系统跟踪能力减弱 收敛时均方误差也越小 学习 曲线收敛值越小 所以 我们在用普通递推 RLS 算法时 一定要对 有个准确的取值 才 能保证系统性能的最佳状态 总结 总结 LMS算法其优点是结构简单 算法复杂度低 易于实现 稳定性高 便于硬件实现 但是这 种算法收敛速度慢 对快速变化的信号不适合 RLS算法是基于最小二乘准则的精确方法 它的收敛速度快 稳定性强 因此常被应用于实时系统识别和快速启动的信道均衡 附件 程序代码 附件 程序代码 1 信号序列与高斯白噪声的信号序列与高斯白噪声的产产生生 参数初始化参数初始化 a1 0 195 生成信号所用生成信号所用AR 2 滤滤波器的参数波器的参数 a2 0 95 N 2000 信号信号长长度度 信号及白噪声信号序列的初始化信号及白噪声信号序列的初始化 x zeros 1 N 信号的初始化信号的初始化 sigmasqu 0 0965 噪声方差噪声方差 sigma sqrt sigmasqu 噪声噪声标标准差准差 w normrnd 0 sigma N 高斯白噪声的初始化 均高斯白噪声的初始化 均值为值为0 方差 方差为为0 0965 x 1 w 1 信号前两点的初始信号前两点的初始赋值赋值 x 2 a1 x 1 w 2 信号序列的信号序列的产产生生 for i 3 N x i a1 x i 1 a2 x i 2 w i 信号由信号由AR 2 产产生生 end 绘绘制信号和高斯白噪声波形制信号和高斯白噪声波形 figure 1 subplot 2 1 1 plot 1 N x b axis 0 2000 5 5 title 基于基于AR 2 模型 模型产产生的信号生的信号x xlabel 信号信号长长度度n ylabel x n subplot 2 1 2 plot 1 N w r axis 0 2000 5 5 title 基于基于AR 2 模型 模型产产生的高斯白噪声生的高斯白噪声w n xlabel 信号信号长长度度n ylabel w n LMS100次叠加次叠加 N 2000 M 100 计计算的次数算的次数 w1 zeros N M w2 zeros N M I1 eye 2 E1 zeros N M wa1 zeros N 1 wa2 zeros N 1 en zeros N 1 for k 1 M e zeros 1 N 定定义误义误差向量差向量 根据根据RLS算法算法进进行行递递推推 x zeros 1 N 信号的初始化信号的初始化 sigmasqu 0 0965 噪声方差噪声方差 sigma sqrt sigmasqu 噪声噪声标标准差准差 w normrnd 0 sigma N 高斯白噪声的初始化 均高斯白噪声的初始化 均值为值为0 方差 方差为为 0 0965 x 1 w 1 信号前两点的初始信号前两点的初始赋值赋值 x 2 a1 x 1 w 2 信号序列的信号序列的产产生生 for i 3 N x i a1 x i 1 a2 x i 2 w i 信号由信号由AR 2 产产生生 end L 2 滤滤波器波器长长度度 u 0 04 LMS算法下自适算法下自适应应增益常数初始化增益常数初始化 wL zeros L N LMS滤滤波器的波器的权值权值初始化初始化 for i L 1 N X x i 1 1 i L y i X wL i i时时刻刻输输出信号出信号 e i x i y i i时时刻刻误误差信号差信号 wL i 1 wL i 2 u e i X i时时刻刻滤滤波器的波器的权值权值 end a1R wR 1 1 n a1在在RLS算法下算法下值值的的变变化化 a2R wR 2 1 n a2在在RLS算法下算法下值值的的变变化化 w1 k wL 1 1 N w2 k wL 2 1 N 将每次将每次计计算得到的算得到的权权矢量矢量 值储值储存存 E1 k e 1 将每次将每次计计算得到的算得到的误误差差储储存存 求求权权矢量和矢量和误误差的差的M次的平均次的平均值值 wa1 1 wa1 1 w1 k wa2 1 wa2 1 w2 k en 1 en 1 E1 k end 止止 LMS100次叠加次叠加 绘绘制制LMS算法下算法下a1 a2单单次及次及100次平均收次平均收敛敛曲曲线线 figure 2 plot 1 N w1 1 N M r 1 N w2 1 N M b 1 N a2 k 1 N a1 k legend LMS W1变变化化 LMS W2变变化化 W1收收敛值敛值 W2收收敛值敛值 0 图图例例 title LMS单单次次实现实现的的权值权值收收敛敛曲曲线线 xlabel 信号信号长长度度n ylabel 权值权值W figure 3 plot 1 N wa1 1 N 1 M r 1 N wa2 1 N 1 M b 1 N a2 k 1 N a1 k 作出作出100次次计计算算权权矢量的平均矢量的平均变变化曲化曲线线 xlabel N ylabel W N title LMS算法下算法下100次仿真次仿真W1 n 和和W2 n 的平均的平均变变 化曲化曲线线 RLS滤滤波波 RLS100次叠加次叠加 N 2000 M 100 计计算的次数算的次数 w3 zeros N M w4 zeros N M I2 eye 2 E2 zeros N M wa3 zeros N 1 wa4 zeros N 1 en2 zeros N 1 for k 1 M e zeros 1 N 定定义误义误差向量差向量 根据根据RLS算法算法进进行行递递推推 x zeros 1 N 信号的初始化信号的初始化 sigmasqu 0 0965 噪声方差噪声方差 sigma sqrt sigmasqu 噪声噪声标标准差准差 w normrnd 0 sigma N 高斯白噪声的初始化 均高斯白噪声的初始化 均值为值为0 方差 方差为为 0 0965 x 1 w 1 信号前两点的初始信号前两点的初始赋值赋值 x 2 a1 x 1 w 2 信号序列的信号序列的产产生生 for i 3 N x i a1 x i 1 a2 x i 2 w i 信号由信号由AR 2 产产生生 end L 2 滤滤波器波器长长度度 lam 0 98 RLS算法下算法下lambda取取值值 wR zeros L N 权权系数 初系数 初值为值为0 T eye L L 10 RLS算法下算法下T参数的初始化参数的初始化 T初始初始值为值为10 for i L 1 N X x i 1 1 i L K T X lam X T X i时时刻增益刻增益值值 e1 x i wR i 1 X wR i wR i 1 K e1 i时时刻刻权值权值 y i wR i X 输输出信号出信号 e i x i y i 预测误预测误差差 T T K X T lam i时时刻的刻的维纳维纳解解 end w3 k wR 1 w4 k wR 2 将每次将每次计计算得到的算得到的权权矢量矢量值储值储存存 E2 k e 1 将每次将每次计计算得到的算得到的误误差差储储存存 求求权权矢量和矢量和误误差的差的M次的平均次的平均值值 wa3 1 wa3 1 w3 k wa4 1 wa4 1 w4 k en2 1 en2 1 E2 k end 止止 RLS100次叠加次叠加 figure 4 plot 1 N w3 1 N M r 1 N w4 1 N M b 1 N a2 k 1 N a1 k legend RLS W1变变化化 RLS W2变变化化 W1收收敛值敛值 W2收收敛值敛值 0 图图例例 title RLS单单次次实现权值实现权值收收敛敛曲曲线线 xlabel 信号信号长长度度n ylabel 权值权值W figure 5 plot 1 N wa3 1 N 1 M r 1 N wa4 1 N 1 M b 1 N a2 k 1 N a1 k 作出作出100次次计计算算权权矢量的平均矢量的平均变变化曲化曲线线 xlabel N ylabel W N title RLS算法下算法下100次仿真次仿真W1 n 和和W2 n 的平均的平均变变化化 曲曲线线线线 绘绘制制LMS与与RLS算法下算法下a1 a2收收敛敛曲曲线线 figure 6 plot 1 N w1 1 N 1 r 1 N w2 1 N 1 b 1 N w3 1 N 1 g 1 N w4 1 N 1 m 1 N a2 k 1 N a1 k legend LMS W1变变化化 LMS W2变变化化 RLS W1变变化化 RLS W2变变化化 W1收收敛敛 值值 W2收收敛值敛值 0 图图例例 title LMS与与RLS算法算法单单次次实现实现的的对对比比 xlabel 信号信号长长度度n ylabel 权值权值W 3 LMS算法下不同算法下不同u值值的参数收的参数收敛敛曲曲线线 wL zeros L N 3 eL zeros N 3 LMS算法下算法下误误差初始化差初始化 yL zeros N 3 LMS算法下算法下滤滤波器波器输输出初始化出初始化 u 0 01 0 03 0 06 不同的不同的u值值 for j 1 3 for i L 1 N yL i j x i 1 1 i 2 wL 1 L i 1 j eL i j x i yL i j wL 1 L i j wL 1 L i 1 j 2 u j eL i j x i 1 1 i L end end a1L1 wL 1 1 N 1 a1L2 wL 1 1 N 2 a1L3 wL 1 1 N 3 a2L1 wL 2 1 N 1 a2L2 wL 2 1 N 2 a2L3 wL 2 1 N 3 figure 7 plot 1 N a1L1 b 1 N a1L2 r 1 N a1L3 g 1 N a1 k 1