自适应信号处理讲义之四 北京航空航天大学

1、自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法4 4 4 4. . . .5 5 5 5 几几几几种种种种最最最最小小小小均均均均方方方方算算算算法法法法 4 4 4 4. . . .5 5 5 5. . . .1 1 1 1 最最最最小小小小均均均均方方方方算算算算法法法法( ( ( (L L L LM M M MS S S S) ) ) ) 一一 最最小小均均方方算算法法（LMS） SD为确定性梯度算法 目标函数 )()()()(*2neneEneEnJ LMS是随机梯度算法家族的成员 目标函数 2)()(nenJ 其中(n

2、)nnxneHh hz z)()()(。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法SD： )()()()()(2)(22)(*nnnEnxnEnRnJHh hz zz zz zh hp pLMS：)()()()(2)()(2)(*nnnxnnennJHh hz zz zz z基本思想：估计未知的梯度矢量)(nJ，用瞬时估计代替集平均。)()(nnRHz zz z )()(*nxnz zp p SD： )()() 1(nRnnh hp ph hh hLMS：)()()()()() 1(*nnnxnnnHh hz zz zh

3、hh h )()()(*nennz zh h可以认为 LMS是 SD的自适应算法。不过：SD： )(nh h沿确定性轨迹收敛于 WH解opth h，到达minJLMS：)(nh h沿随机运动轨迹收敛于min)(JJ，存在失调。由由于于在在 L LMMS S 中中的的R和和p p是是用用瞬瞬时时估估计计代代替替集集平平均均，故故 L LMMS S 实实际际上上已已不不是是维维纳纳解解。自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法二、性能分析二、性能分析 1. 均方收敛条件 分析滤波器加权矢量的误差: onnh hh h)()(

4、c 此时)(nc是随机矢量过程，下面考虑均值收敛： 0)()( nonEnEh hh hc ooHRnERIRnREnEnnznEnxnEnEnenEnEnEh hh hh hh hh hh hz zz zh hz zh hh h)()( )()()()()()()()()()()()1(*1*pp 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法)()()1(nERInEc cc c )0()()1(v vv vEInEn 可见 LMS 算法均值收敛的条件为： max20 其中为 LMS 算法中的步长参数，max为接收相关矩阵R

5、的最大特征值。 不过，这种收敛没有太大的实际意义。因为这表明了权向量的期望值收敛，只是意味着估计是无偏的，对估计方差没有任何限制，并不代表权向量的收敛情况。因此，我们一般考虑均方收敛，即： 常数 nHnnEnE)()()(ccc 即需要考虑权向量的方差和均方误差学习曲线的收敛情况（二者等价）。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法假定满足独立性条件： )(),1 (nz zz z为统计独立序列； )(nz z与) 1(),1 (nxx独立； )(nx与)(nz z相关，但与) 1(),1 (nxx独立， )(nz与)(

6、nx为联合高斯随机变量。 考虑加权矢量误差的相关矩阵： )()()(nnEnKHcc 因为： )()()()() 1(*nennRInozc cc c，其中oHonnxneh hz z)()()(； 所以： RJRInKRInKmin2)()() 1( 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法因为： )()()()()()()()(n(n)nen(n)n(n)nxn(n)nxneHoHHoHz zz zz zz zcchh )()()()()()()()()()()()(minminmin*nRKtrJ(n)(n)nnEt

7、rJ(n)nn(n)EJ(n)nnen(n)neEneneEnJHHHHHoHoccccccz zz zz zz zz zz z 故超调均方误差为： )()()(minnRKtrJnJnJex 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法考虑对相关阵R进行旋转，将之对角化：RQQH 且设)()(nUQnKQH， 则： miiiHHHHexnunUtrnUQQtrQnUQtrQnQUQQtrnRKtrnJ1)()()()()()()( 其中)(nui是矩阵)(nU的对角元素，i是R阵的特征值。 自自自自适适适适应应应应信信信信号

8、号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法对 方 程RJRInKRInKmin2)()()1(两 边 乘 以上述正交阵，有： min2)()()1(JInUInU 由于)(nJex只与矩阵)(nU的对角元素)(nui有关，所以考虑)(nui所满足的差分方程： iiiiJnunumin22)()1 ()1( 定义Tmnunun)()()(1u 及Tmnnn)()()(1， 则：uumin2)()1(JnBn 其中B是实正定矩阵，与和i有关。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法在 1的

9、 附 录 H 中 求 出 了 上 述 差 分 方 程 的 解 为 ： )()()0()(1uuugguTiiminibn 其 中ib和ig分 别 是 矩 阵B的 第i个 特 征 值 和 特 征 向 量 。 则 超 调 均 方 误 差 为 ： )()()()0()()(11exmiiniTTiimiTniTexJbbnnJuuuggu )()(min1exmiiniJJbnJ 可 以 证 明 均 方 误 差)(nJ衰 减 即LMS 算 法 均 方 收 敛 的 充 分必 要 条 件 是 ： max20 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波

10、算算算算法法法法2 瞬瞬态态特特性性 由于B是实正定矩阵，其特征值ib是正实数，从上述均方误差的公式可见)(nJ不振荡。 )()()(*neneEnJ )(minnJJex niniiexbJJ1min)( 均方误差)(nJ随时间n变化的规律，即 LMS 的的集集平平均均学学习习曲曲线线，只包括指数分量。 而 LMS 的的学学习习曲曲线线，即2)(nen由一系列包括噪声的指数分量构成，当减小时，噪声幅度也减小, 第n个时间常数为：nn21。 定义一个相关矩阵R的平均特征值 miiavm11 设 LMS 的集平均学习曲线由具有时间常数av的单指数曲线近似，则LMS 的平均时间常数为： avav2

11、1 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法3 稳稳态态特特性性失失调调 iiiiJnunumin22)()1 () 1( iiiiJuumin22)()1 ()( iiJu2)(min 则失调： min1min)()(JuJJMmiiiex mimiavaviiiimm114222 度量了在最小均方误差意义上 LMS 算法得到的权值与0h由多么接近。越接近于 0，LMS 算法越准确。 可见：失失调调M正比于步长参数，而时时间间常常数数反比于。即大时收敛快，但此时失调也大。 调调节节步步长长时时要要在在失失调调与与自自适适

12、应应收收敛敛速速度度之之间间进进行行折折衷衷。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法4 4. .5 5. .2 2 最最最最小小小小均均均均方方方方/ /牛牛牛牛顿顿顿顿算算算算法法法法与与与与序序序序贯贯贯贯回回回回归归归归算算算算法法法法 考虑一般形式的牛顿法： )(11kkkJRhhh 在理想情况下，牛顿法只需一次迭代就可以收敛于最佳权向量，即从0h开始，有opthh 1。这个理想条件为： 2/1； 每一步迭代时，梯度向量确切已知； 信号相关矩阵的逆阵1R不变，其准确已知。 若上述条件中的第一个条件不满足，即2/

13、1 , 0，则算法需要若干步才能收敛，但权向量收敛曲线仍然沿着指向opth的直线前进。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法若上述条件中的第二个条件不满足，即用带噪声的梯度估值代替，则： )(11kkkJRhhh 保留上述条件中的 第三个条件 ，即准 确已知1R。则我们可以采用与 LMS 算法相同的估计梯度方法，即： )()(2)(*kekJkzh 此时可得到自适应迭代算法为： )()(2*11kekRkkzhh 此即 LMS/牛牛顿顿算算法法。与 LMS 算法相比，只在权向量的增量项上存在1R项。 由 于 假 设了1

14、R准 确 已 知 ，故LMS/牛 顿 算 法 是 理想 化 的。 不 过 ，即使是在有噪声的条件下，LMS/牛顿算法一般优于 LMS 算法，因为利用了1R的知识，使kh以直线方式搜索到opth。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法在 自 适 应 环 境 中 ， 一 般 不 能 利 用 有 关1R的 知 识 。 为 了 使 上 述算 法 能 够 实 用 ， 可 以 在 每 次 迭 代 过 程 中 估 计1R， 从 而 得 到LM S/牛 顿 算 法 的 近 似 。 我 们 知 道klHkllkR0)()(11zz是)(

15、)(llERHzz的 无 偏 估计 。 考 虑 在 自 适 应 应 用 时 ， 观 测)(lz一 般 是 非 平 稳 的 ， 这 时 这 种 估计 由 于 具 有 无 限 的 记 忆 ， 当k非 常 大 时 ， 将 对R的 变 化 变 得 不 敏感 。 为 了 对R的 估 值 提 供 一 个 短 时 间 间 隔 的 记 忆 ， 考 虑 在 上 述 估计 中 加 入 遗 忘 因 子 ： klHlkkll0)()(z zz z 则 原 自 适 应 迭 代 算 法 变 为 ： )()(2*11kekkkkzhh 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤

16、波波波波算算算算法法法法由于计算逆阵的计算量很大，我们需要导出1k的迭代计算方法。由k的定义，有： )()(1kkHkkz zz z 用1k乘以上式两端，再用11k乘以其两端，可得： 111111)()(kHkkkkk z zz z （*） 再用)(kz乘上式两端，得： )()()()()()()()(111111111kkkkkkkkkHkkHkkkzzzzzz zz zz z 用括号中的标量因子除等式两端，并用11)(kHkz去乘其两端，有： 111111111)()()()()()(kHkkHkHkkkkkkkzzzzzz z 将(*)式代入上式右端，并整理得： )(1)()()()(1

17、11111111111kHHkkkkHHkkkkSkSSkkkkz zz zzzz 此递推公式与权向量的自适应迭代式一起，构成了序贯回归算法序贯回归算法。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法4 4. .5 5. .3 3 归归归归一一一一化化化化最最最最小小小小均均均均方方方方算算算算法法法法( (N NL LMMS S) ) 标准 LMS：)()()()()() 1(*nnnxnnnHh hz zz zh hh h )()()(*nennz zh h 当)(nz z很大时，存在梯度噪声被放大的的问题。 对上述标准

18、LMS进行一种直观的改动，得到的 NLMS可以解决这个问题： )()()()() 1(*2nennnnz zz zh hh h )()()(*nennNz zh h 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法另一种推导方法为限制最优化问题。使平方欧式范数： 22)() 1() 1(nnnh hh hh h )() 1()() 1(nnnnHh hh hh hh h 最小，且满足限制条件： )()() 1(nxnnHz zh h Note： 1) NLMS 解决了梯度噪声放大问题 2) 当来了新数据时，NLMS 对权估计的扰动

19、最小 3) NLMS 的步长N是时变的 4) 当20N时，NLMS 均方收敛 5) NLMS 的收敛速度一般比标准 LMS 快 6) 当2)(nz z很小时，会出现数值问题，解决方法为： )()()()() 1(*2nennannz zz zh hh h，0a 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法4 4. .5 5. .4 4 利利利利用用用用正正正正交交交交信信信信号号号号的的的的 L LMMS S 算算算算法法法法 基于正交的算法至今仍然是人们研究的一个课题。对于LMS算法，当在输入信号相关阵的特征值散步很大又要求

20、快速瞬态自适应的情况下，这种算法特别有用。因为通过对输入信号的正交预处理，输入协方差矩阵将成为对角阵。这时，权值之间是解耦的，采用 LMS算法时自适应收敛速度仅与各自输入信号的功率有关，只要对输入信号功率进行归一化处理或选择合适的步长，就可以达到快速收敛。 一一一一、 利利利利用用用用 GGr ra amm- -S Sc ch hmmi id dt t 正正正正交交交交化化化化的的的的 L LMMS S 算算算算法法法法 下图给出了采用格拉姆施米特进行正交预处理的自适应结构。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法输入信

21、号为：Txxxx4321x，按照从上到下的次序分级进行正交化预处理。经过第一级 LMS算法自适应处理后，输出信号为：),(14131211vvvv。第二级处理在集合中),(141312vvv之中进行的，且同样可得该级的输出信号),(24232221vvvv，按照这个规律，经第三级处理后，就可使各输出信号之间相互正交，即有34333231vvvv，其中第一路信号31v就是原始信号1x。 对于更多的输入信号，也可以按照上述同样的方法继续进行正交化处理，直到各路信号都正交为止。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法二、利用二

22、、利用 DFT 的的 L LMMS S 算算算算法法法法 下图是基于 DFT 的正交化方案。由于 DFT 变换所得的各路输出信号都处于不同的频带，所以他们是近似不相关的。不过，由于 DFT 带通滤波器间稍有重叠，会引起信号成分从一个通带到另一个通带的泄漏，故其输出信号之间并不严格正交。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法三三、解解解解相相相相关关关关 L LMMS S 算算算算法法法法 前面的算法在利用 LMS 算法之前先对自适应系统的输入信号进行正交预处理，即使输入信号向量中的各个元素互相“去耦”，则可加快自适应过

23、程的收敛速度。 若在 LMS 算法中改用输入信号向量的正交分量而非输入信号向量本身作权向量调整，也可以改善自适应过程的收敛性能，这就是解相关LMS 算法，如下图所示。 自自自自适适适适应应应应信信信信号号号号处处处处理理理理自自自自适适适适应应应应滤滤滤滤波波波波算算算算法法法法采用变换矩阵kA用于对输入信号向量kX进行正交变换，且： 1kkkkkkAXXXZ 其中相关系数111kHkkHkkXXXX。 0)(111111111kHkkHkkHkkHkkkkHkkHkXXXXXXXXXXXZX 可见变换后所得的输入向量kZ与前一时刻的输入向量1kX正交。 解相关 LMS算法为： )()() 1(*nennnZh hh h 若进一步对迭代步长作归一化处理，则归一化解相关 LMS算法为： )()() 1(*