自适应信号处理

1、自适应信号处理第五章 传统RLS自适应滤波器5.1 引言n最小二乘（LS）算法的目的是使期望信号与模型滤波器输出之差的平方和达到最小。当每次迭代中接收到输入信号的新采样值时，可以采用递归形式求解最小二乘问题，得到递归最小二乘（RLS,Recursive Least-Square）算法。nRLS算法能实现快速收敛；当工作在时变环境中具有很好的性能，但会增加计算的复杂度和稳定性，而这些问题对于基于LMS准则的算法来说不重要。 RLS算法的目的在于选择自适应滤波器的系数，使观测期间的输出信号与期望信号在最小二乘的意义上最匹配。 对于最小二乘算法，目标函数是确定的，由下式给出： （5.1） 其中， 为

2、自适应滤波器系数向量，N为滤波器阶数。 为i时刻的后验输出误差。 为指数加权因子，也称为遗忘因子，且 5.2 RLS算法01( )( ),( ),.,( )TNw kw kw kwk( ) i012200( )( ) ( )( ) ( )kkdk ik iTiikid ixi w k 为使加权平方和最小，令 得到使最小二乘误差最小的最优向量 （5.2） 其中， 是输入信号的确定性相关矩阵， 是输入信号和期望信号之间的确定性互相关向量。 当 为非奇异矩阵时，计算确定性相关矩阵的逆，将上式重新写成如下形式，得到描述传统RLS算法的另一种方法： （5.3） 又由于 可得 (5.4)( )w k( )

3、0( )dkw k100( )( )( )( ) ( )( )( )kkk iTk iDDiiw kx i xix i d iRk pk( )DRk( )Dpk( )DRk1100( )( ) ( )( ) ( )( ) ( )kkk iTk iiix i xi w kx i d ix k d k (1) (1)(1)DDRkw kpk00( )( ) ( )( )( )( )( ) (1)( ) ( )kkk iTk iTTiix i xi w kx i xix k xk w kx k d k定义先验误差为 （5.5）将 代入式（5.4）得 （5.6）利用两个辅助向量(k)= 可以更新 （5

4、.7）即得到了另一种RLS算法。 ( )( )( ) (1)Te kd kxk w k( )d k( )(1)( )( ) ( )Dw kw ke k Sk x k(1) ( )DSkx k( )( )( ) ( )Tkkk x k1( )(1)( )( )TDDSkSkkk5.3 最小二乘解的特性n5.3.1 正交原理 假设矩阵有X(k)和d(k)有如下形式则可以用如下关系代替式（5.2）中的最小二乘解 （5.8）1/ 2(1) / 21/ 21/ 21/ 2/ 2()(1).(0)(1)0(2).().()(1)0()(1).(0)kkx kx kxx kx kXkx kNx kNx kx

5、 kx1/2/2( ) ( )(1).(0)kTd kd kd kd( )( ) ( )( ) ( )TX k Xk w kX k d k乘积 构成一个向量，该向量对应于d(k)的估计值，令 （5.9）可以得到 （5.10）该关系意味着由下式给出的加权误差向量是X(k)的零空间，即加权误差向量正交于X(k)的所有行向量。( ) ( )TXk w k1/2/2( )( ) ( ) ( )(1).(0)TkTy kXk w ky ky ky( )( ) ( )( ) ( )( ) ( )( )0TX k Xk w kX k d kX ky kd k1/2/2( )(1)( )( )( ).(0)k

6、e ke ke kd ky ken5.3.2 最小二乘与维纳解的关系当时， 如果产生输入信号的过程是遍历性的，则对于大的k值而言，矩阵 是输入信号自相关矩阵R的一致估计。如果期望信号也具有遍历性，则与p相关的向量 也有类似的结论。在这种情况下， （5.11） （5.12） 可以证明 在k趋于无穷大时成立。该结果说明，如果信号是具有遍历性的平稳过程，则最小二乘解趋于维纳解。11( )1DRkk 1( )1DP kk 011lim( )( )lim( )11kTDkkiRx i xiRkkk011lim( ) ( )lim( )11kDkkipx i d iP kkk11( )( )( )DDow

7、 kRk pkRpwn5.3.3 确定性自相关初始化的影响 利用 初始化会导致自适应滤波器的系数估计值有偏差。假设真实的RLS解考虑了给出的 的初始值,即 （5.13） 两边乘上 在 时得到 （5.14） 其中， 是RLS算法的最优解。 的初始化产生的偏差近似为 （5.15） 若 可以得到，当k趋于无穷大时，偏差趋于零； 若 ， 的元素值随迭代次数增加而减小，该矩阵近似为零矩阵。( 1)DSI( )DRk110( )( ) ( )( )( )( )( )kkkk iTk iTDiix i xi w kx i xiIw kpk1( )DDSRkk 1( )( ) ( )kDow kSk w kw

8、( )DSkow1( )( )koDow kwSk w 11( )DSk 如果没有测量噪声，经过N+1次迭代，RLS算法系数会达到最优解，并且此时初始化矩阵 的影响可以忽略。这个结论可以这样解释，经过N+1次迭代，输入信号向量有足够多的信息使得自适应算法分辨出未知系数的系统。换句话说，足够多的信息意味着抽头延迟线充满了输入信号的信息。 ( 1)DSn5.3.4 系数向量的稳态特性 给定自适应滤波器输入向量x (k) (k=0,1,), 计算自适应滤波器的系数的平均值。当 时，可以得到： （5.16） 其中，n(k)为噪声向量。上式说明，当 时由最小二乘算法得到的估计是无偏估计。 滤波器系数的误

9、差可以用向量 来表示。 将最小输出误差定义为 （5.17） 可以得到 （5.18）kN111 ( )( )( )( ) ( )( )( )( )( )( )( )( )( )( )TTToTTooE w kEX k XkX k d kEX k XkX kXk wn kEX k XkX k Xk ww1( )( )ow kw kw( )( )( )Tooe kd kxk w( )( )(1)(1)( )( )DDoRkw kRkw kx k e k 该方程的解为（5.19） 用 代替 得 （5.20） 由于 依赖于所有过去的输入信号向量，当迭代次数增加时它相对不变，任何单个的 的贡献可以忽略。另

10、外，由于正交原则，也能够被认为与所有的元素不相关。这意味着在式（5.20）中的最后一个向量不能取大的元素值。另一方面，式（5.20）中的第一个向量仅当初始收敛时可以取大的元素值，因为当k 时, 并且具有非增加特性，即当k 时，假设 保持正定，并且输入信号功率不会太小。以上的讨论可以得出下面的结论，自适应滤波器的系数以几乎独立于输入信号相关矩阵特性值扩展的方式趋近于最优值 。10( )( )( 1)( 1)( )( )( )kkk iDDDoiw kSk RwSkx i e i ( 1)DR1I10( )( )( 1)( )( )( )kkk iDDoiEw kE SkwE Skx i e i(

11、 )DSk( )x i10k( )DRkown5.3.5 系数误差向量协方差矩阵 由前面内容可知，向量 的估计参数平均收敛到其最优值 采用与上一节想通的收敛假设，表明当 时，系数误差向量协方差矩阵由下式给出 （5.21） 即，当 时，随着时间的增加，由于 的范数逐渐减小，系数误差向量协方差矩阵的范数也逐渐减少。加性噪声n（k）的方差直接对协方差矩阵的范数产生影响。ow( )w k12cov( )( ( )( ( ) ( )ToonDw kE w kww kwE Sk1( )DSkn5.3.6 误差信号的特性 当自适应滤波过程中存在测量噪声时，先验误差信号由下式给出： （5.22） 其中， 是没

12、有测量噪声时的期望信号。 （5.23）由上式可得，如果噪声信号具有零均值，则有如下结论： （5.24） 存在外部不相关噪声时，最小均方误差MSE为 （5.25）, ( )( )(1) ( ) ( )( )( ) ( ) ( )TToE e kE d kE wkx kE n kE d kw x kE n kE n k,( )d k2min21 2 ( )( ) ( )1 2 ( )( ) ( )1 2 TDnTDnE xk Sk x ktr E xk Sk x ktr, ( )0E e k,222min( )( )nE ekE n k 当采用后验误差时，最小MSE的值 与采用先验误差得到的对应值

13、不同。 经过证明可得， （5.26）minminminmin( ) ( )( )( ) ( )( ) ( )( )( )( )()TTooTTTkEw kwx k xk w kwEwk x k xkkEwk R wn5.3.7 额外MSE和失调 在RLS算法的实际实现过程中，未知参数向量的最优估计由w(k)给出，其期望值为 。然而，由于存在系数误差的估计，即 ，因此在输出中总会产生额外MSE。均方误差为（5.27） 考虑到 是具有零均值的、独立于x(k)的随机变量，因此可以得到（5.28）( )ow k( )( )ow kw kwminmin( ) ( )( )( ) ( )( ) ( )(

14、)( )TTooTTkEw kwx k xk w kwEwk x k xkw k( )(0,1,.,)jw kjNminminmin( )( )( ) ( )( )( )( )TTTkEwk R w kE tr R w kwktr REw kwk 对 和 分别分析讨论： 时的额外MSE 根据式（5.21）和（5.11）中的结果，并考虑到 时 可以导出 只有当采样数目大于滤波器阶数时，算法才能达到最小MSE。1112minminn22122( )( )1()11(1)1nnDnnktr RE SkRtr RkNk1 时的额外MSE 假设MSE曲面是一个二次方程，于是期望额外MSE的定义为 （5.

15、29）根据式（5.18）可以证明 （5.30）将上式代入到式（5.29）中，可以得到 （5.31）其中，1( )( )( )TkEwk R w k( )( )(1)(1)( ) ( )( )DDDow kSk Rkw kSk x k e k( )( )1234TEwk R w k221(1)(1)( )( )(1)(1)2(1)(1)( )( ) ( )( )3( )( )( )(1)(1)( )4( )( )( ) ( )( )TDDDDTDDDoTDDDoTDDoEwkRkSk RSk Rkw kEwkRkSk RSk x k e kE xk Sk RSk Rkw ke kE xk Sk

16、RSk x k e k分别计算 得 （5.32） （5.33） （5.34） （5.35）由式（5.32）（5.33）（5.35）可得 （5.36）上式的解的渐进值为 （5.37）1 2 3 4 222,min1(1)(1)(5.32)2(1) (1)( ) ( )( )(1) (1) ( )( )304(1)( )TToToEwkR w kEwkII k x k e kEwkE x k e ktr IEIk222,min( )( )(1)(1)(1)( )TTEwk R w kEwkR w ktr IEIk( )ow k另外，由前面的知识可以得到其中， 是x(k)的方差， 独立于输入信号统计量。额外MSE可以描述为如果 近似为1，并且 值不是很大，则有2222 2( )1( )(1)1iiiixErkEIk2x2222()xx,min11(1)(1)11excN ,min1(1)1excN失调表达式为 使 的取值小于1会引入四阶统计量，并增加失调。对应于更小 值额快速自适应RLS算法会带来类似于噪声的稳态响应。因此