数字信号处理第3章讲解

1、第三章 自适应数字滤波器 第三章 自适应数字滤波器 3.1 引言引言 3.2 自适应横向滤波器自适应横向滤波器 3.3 自适应格型滤波器自适应格型滤波器 3.4 最小二乘自适应滤波最小二乘自适应滤波 3.5 自适应滤波的应用自适应滤波的应用 第三章 自适应数字滤波器 3.1 引引 言言 自适应数字滤波器和维纳滤波器一样，都是符合某种准则 的最佳滤波器。维纳滤波器的参数是固定的，适用于平稳随机 信号的最佳滤波，但要设计这种滤波器，必须要求输入信号是 平稳的，且具有信号和噪声统计分布规律的先验知识。在实际 中， 常常无法知道这些先验知识，且统计特性还会变化，因 此实现最佳滤波是困难的。 第三章 自

2、适应数字滤波器 自适应滤波器的特点是：滤波器的参数可以自动地按照某 种准则调整到最佳滤波；实现时不需要任何关于信号和噪声的 先验统计知识，尤其当输入统计特性变化时，自适应滤波器都 能调整自身的参数来满足最佳滤波的需要。 常常将这种输入统 计特性未知，调整自身的参数到最佳的过程称为“学习过程”。 将输入信号统计特性变化时，调整自身的参数到最佳的过程称 为“跟踪过程”，因此自适应滤波器具有学习和跟踪的性能。 由于自适应滤波器有这些特点，自1967年威德诺(B.Widrow)等 人提出自适应滤波器以来，在短短十几年中，自适应滤波器发 展很快，已广泛地用于系统模型识别，通信信道的自适应均衡， 雷达与声

3、纳的波束形成，减少或消除心电图中的周期干扰，噪 声中信号的检测、跟踪、 增强和线性预测等。 第三章 自适应数字滤波器 3.2 自适应横向滤波器自适应横向滤波器 自适应滤波器的原理框图如图3.2.1所示，图中x(n)称为输 入信号，y(n)是输出信号，d(n)称为期望信号，或者称为参考信 号、训练信号，e(n)是误差信号。 其中 e(n)=d(n)-y(n) 自适应滤波器H(z)的系数根据误差信号，通过一定的自适应算 法，不断地进行改变， 使输出y(n)最接近期望信号d(n)。 这 里暂时假定d(n)是可以利用的，实际中，d(n)要根据具体情况 进行选取， 能够选到一个合适的信号作为期望信号，是

4、设计 自适应滤波器的一项有创意的工作。如果真正的d d(n n)可以获得， 我们将不需要做任何自适应滤波器。 第三章 自适应数字滤波器 图 3.2.1 自适应滤波器原理图 H(z) y(n)x(n) d(n) e(n) 第三章 自适应数字滤波器 3.2.1 3.2.1 自适应线性组合器和自适应自适应线性组合器和自适应FIRFIR滤波器滤波器 1. 1. 自适应滤波器的矩阵表示式自适应滤波器的矩阵表示式 图 3.2.2 表示的是一个有N个权系数的自适应线性组合器， 图中N个权系数w1,w2,wN受误差信号ej的自适应控制。对于固 定的权系数，输出yj是输入信号x1j,x2j,xNj的线性组合，因

5、此 称它为线性组合器。这里的x1j,x2j,xNj可以理解为是从N个不 同的信号源到达的瞬时输入，是一个多输入系统， 也可以是同 一个信号源的N个序贯样本，如图 3.2.3 所示。因此它是一个 单输入系统， 实际上这种单输入系统就是一个FIR网络结构， 或者说是一个自适应横向滤波器。其输出y(n)用滤波器的单位脉 冲相应表示成下式： 1 0 )()()( N m mnxmwny (3.2.1) 第三章 自适应数字滤波器 图 3.2.2 自适应线性组合器 x1j x2j xNj dj ej yj w1 w2 wN 第三章 自适应数字滤波器 图 3.2.3 自适应FIR滤波器 z1z1 x(n1)

6、x(n2)x(n N) z1 d(n) e(n) y(n) x(n) w2w3wN1wNw1 第三章 自适应数字滤波器 这里w(n)称为滤波器单位脉冲响应，令：i=m+1,wi=w(i-1), xi=x(n-i+1)，n用j表示，上式可以写成 N i ijij xwy 1 (3.2.2) 这里wi也称为滤波器加权系数。用上面公式表示其输出，适合于 自适应线性组合器，也适合于FIR滤波器。将上式表示成矩阵形 式： jjj XWWXy TT (3.2.3) 式中 T 21 T 21 , NjjjjN xxxXwwwW 误差信号表示为 jjjjjjj XWdWXdyde TT (3.2.4) 第三章

7、 自适应数字滤波器 2. 2. 利用均方误差最小准则求最佳权系数和最小均方误差利用均方误差最小准则求最佳权系数和最小均方误差 误差信号被用来作为权系数的控制信号。下面采用均方误 差最小的准则，求最佳权系数。由(3.2.4)式，均方误差为 WXXEWWXdEdE ydEeE jjjjj jjj (2 )( TTT2 22 (3.2.5) 令 WXXEWWXdEXdER jj T jjjjdx TT (3.2.6) NjNjjNjjNj Njjjjjj Njjjjjj T jjxx xxxxxx xxxxxx xxxxxx EXXER 21 12111 12111 (3.2.7) 第三章 自适应数

8、字滤波器 将(3.2.6)、 (3.2.7)式代入(3.2.5)式， 得到 WRWWRdEeE xxdxjj TT22 2 (3.2.8) R Rdx称为dj与Xj的互相关矩阵，是一个N维列矩阵；Rxx是输入信 号的自相关矩阵，特点如下： (1)是对称矩阵，即; (2) 是正定或半正定的，因为对于任意矢量V满足下式： xx T xx RR 0)( 2TTT VXEVXXVEVRV T xx 自相关矩阵的主对角线是输入信号的均方值， 交叉项是输入信 号的自相关值。 第三章 自适应数字滤波器 (3.2.8)式表明，当输入信号和期望信号是平稳随机信号时， 均方误差信号Ee2j是权系数的二次函数，即将

9、(3.2.8)式展 开时，公式中的权系数均以它的一次幂或二次幂出现。如果只 有一个权系数w1,则Ee2j是w1的口向上的抛物线；如果有两个 权系数w1w2,则Eej2是它们的口向上的抛物面；对于两个权系 数以上的情况，则属于超抛物面性质。 Eej2在自适应信号处理中是一个重要的函数，经常称它 为性能函数。为选择权系数，使性能函数到达它的最小点， 一 些有用的自适应方法都是基于梯度法的，我们用 表示Eej2 的梯度向量，它是用Eej2对每个权系数求微分而形成的一个 列向量， 用公式表示如下： j 第三章 自适应数字滤波器 T 2 2 2 1 2 , , N jjj j w eE w eE w e

10、E (3.2.9) 按照(3.2.4)式, 梯度推导如下： 2,2 21 jj T N jjj jj XeE w e w e w e eE (3.2.10) 还可以用(3.2.8)式对W求导得到 dxxxj WRWR2 (3.2.11) 令上式等于0, 得到最佳权矢量W*的表达式： dxxx RRW 1* (3.2.12) 第三章 自适应数字滤波器 对比第二章维纳滤波器的最佳解，结果是一样的。上式也 称为维纳权矢量。当自适应滤波器的权系数满足上式时，均方 误差将取最小值。将(3.2.12)式代入(3.2.8)式得到最小均方误 差： *2 *2 min 2 2 2 WRdE WRWWRdEeE

11、T dxj xx TT dxjj (3.2.13) 或者将上式取转置，用下式表示： dx T jj RWdEeE *2 min 2 (3.2.14) 我们知道，在维纳滤波器中，当滤波器的单位脉冲响应取最佳值 时， 其误差信号和输入信号是正交的；这里也有相同的结果， 当权矢量取最佳值时，梯度为0，按照(3.2.10)式： 02 jjj XeE 第三章 自适应数字滤波器 例例 .1 一个单输入的二维权矢量自适应滤波器如图 3.2.4所示，图中输入信号与期望信号分别为 j N dj N x jj 2 cos2, 2 sin 这两个信号都是周期性确定性信号， 因为任何正弦函数积的期 望

12、值，都可由这个积在一个或多个周期上作时间平均来计算， 可以推导出下面公式6: 5 . 0 2 cos5 . 0 2 cos5 . 05 . 0 1 , 0 2 sin)( 2 sin 2 cos 2 1 , 0 2 cos5 . 0)( 2 sin 2 sin 1 2 11 1 2 1 1 N N xxx xxx ER nn N nj N j NN xdE nn N nj N j NN xxE jjj jjj xx N j njj N j njj 第三章 自适应数字滤波器 T T 1 2 sin, 0, N xdxdER jjjjdx 2 2 sin2 2 cos)(5 . 0 2 sin02

13、 1 2 cos 2 cos1 5 . 02 2 221 2 2 2 1 2 1 2 1 21 TT22 N w N wwww w w Nw w N N ww WRWWRdEeE xxdxjj 第三章 自适应数字滤波器 图 3.2.4 两个权的自适应滤波器 w1 z1 xj w2 dj yj ej 第三章 自适应数字滤波器 上式表明性能函数Eej2对权函数是二次型的，用(3.2.11)式 求梯度向量，得到 N w N w N ww N w w N N RWR dxxxj 2 sin2 2 cos 2 cos 2 sin 0 2 1 2 cos 2 cos1 22 21 21 2 1 求最佳权矢

14、量可以用(3.2.12)式，通过对Rxx求逆得到，也可以 通过上式，令 ，而求出： 0 j T T 21 * 2 csc2, 2 cot2 NN wwW 第三章 自适应数字滤波器 用(3.2.13)式求最小均方误差： 0 2 csc2 2 cot2 2 sin02min *T22 N N N WRdEeE dxjj 上式说明只要N2,不管N取多少，通过对权系数的调整可使均 方误差达到0，此时输出信号yj完全等于期望信号dj, 例如N=2， 按照上面公式，可以求出输入、输出信号以及最佳权系数如下： 第三章 自适应数字滤波器 jd jxwxwy jx www j jjj j 2 cos2 2 co

15、s2 2 sin 20 121 T* 2 * 1 * 第三章 自适应数字滤波器 3.2.2 3.2.2 性能函数表示式及其几何意义性能函数表示式及其几何意义 在自适应滤波器的分析研究中，性能函数是一个重要函数， 前面已推导出性能函数用(3.2.8)式表示，重写如下： WRWWRdEeE xxdxjj TT22 2 下面我们推导它的其它表示方法以及几何意义。 均方误差是权系数的二次函数，当权系数取最佳值时， 均 方误差取最小值，将(3.2.14)式代入(3.2.8)式，可以用最小均 方误差表示性能函数，推导如下： 为了表示方便，令 =Ee2j, 则 WRWWRRW xxdxdx TTT* min

16、 2 第三章 自适应数字滤波器 将(3.2.12)式代入上式，得到 )()( *T* min TT*TT* min T*TT*T* min WWRWW WRWWWRWW WRWWRWWRWWRW xx xxxx xxxxxxxx (3.2.15) 令 V=W-W*=v1, v2, , vNT (3.2.16) V V称为偏差权向量，它表示权向量对最佳权向量的偏差。这样性 能函数可以表示得更简单： VRV xx T min (3.2.17) 第三章 自适应数字滤波器 因为Rxx是对称的，正定或半正定的，利用它的特征值和特 征向量再进一步简化，假设Rxx是NN维，它的N个特征值为： 1,2,N，将

17、Rxx进行分解，得到 R Rxx=Q QT TQ,=QTRxxQ (3.2.18) 通过调节使Q归一化，即 1TT , QQIQQ (3.2.19) NNNN N N N qqq qqq qqq qqqQ 21 22221 11211 21 , (3.2.20) 第三章 自适应数字滤波器 式中，Q称为正交矩阵或特征矩阵，qi称为特征向量，满足下式： NiqqR ji ji qq iiixx j T i , 2 , 1 0 1 (3.2.21) (3.2.22) 是由特征值组成的对角矩阵， 用下式表示： ),(Diag 21N (3.2.23) 将(3.2.18)式代入(3.2.17)式，得到

18、VQQV TT min 令 , T 2 1 T QVVvvvVQV N (3.2.24) 第三章 自适应数字滤波器 则 N i iiv VV 1 2 min T min (3.2.25) 上式将性能函数变成了平方和的形式。再观察(3.2.24)式， 该式将V坐标中的Rxx的特征向量变成了V V坐标中的单位向量。 利用(3.2.24)式将特征向量qi变成qi，再利用(3.2.20)、 (3.2.21)式， 可得 TT 21 0 , 1 , 0, iNi T i qqqqqQq (3.2.26) 第三章 自适应数字滤波器 也就是说，qi为V坐标中的第i个单位向量，qi亦是矩阵 对应于i的特征向量。

19、下面用二维权矢量的情况说明它的几何 意义。对于二维权矢量情况，有下面公式： 2 1* 2 1 , v v WWV w w W 2 221 2 1min *T* min )0() 1 (2)0( )()( )0() 1 ( ) 1 ()0( vrvvrvr WWRWW rr rr R xxxxxx xx xxxx xxxx xx 第三章 自适应数字滤波器 图 3.2.5 二维权矢量性能表面 minw1opt w2opt w1 w2 v2 v1 第三章 自适应数字滤波器 图 3.2.6 等均方误差的椭圆曲线族 0w1 w2 v1 v2 v1 v2 wopt 第三章 自适应数字滤波器 按照(3.2.

20、17)式，有 cVRV xx T min 或 1 T cVRV xx 当c=min时，对应椭圆的中心，V=W-W*, 则相当于W坐标平移到V 坐标的原点，即V坐标的原点对应W坐标的最佳点W *。这里, v1v2 不是椭圆的主轴。但经过对Rxx的分解： 2 1T 0 0 QRQ xx 且V=QTV将性能函数的椭圆族(按照(3.2.25)式)变成 1 T cVV 第三章 自适应数字滤波器 即 1 2 22 2 11 cvv 或者 1 / 21 2 2 11 2 1 c v c v (3.2.27) 显然，上式是一个椭圆方程，v1和v2是椭圆族的主轴，如果 12,则v1是长轴，v2是短轴。因此(3.

21、2.24)式起坐标旋 转的作用，将v1v2旋转到主轴上，形成v1v2主轴。对于维数N 2的情况，长轴对应最小特征值，按照上面的椭圆方程长轴正 比于；短轴对应于最大特征值，正比于 。另 外， 因为 min /1 min /1 T 2 1 T , N vvvVQV 第三章 自适应数字滤波器 得到 , 2 12211NNN vvvvqvqvq(3.2.28) V中单位矢量就是V坐标中的Rxx的特征矢量。 第三章 自适应数字滤波器 3.2.3 最陡下降法最陡下降法 1. 1. 最陡下降法的递推公式最陡下降法的递推公式 将(3.2.11)式代入(3.2.29)式，得到 * 1 1 22 )22( WRW

22、RIW WRRWW xxjxxj jxxdxjj (3.2.30) (3.2.31) 在上式两边都减去W *,并令Vj=W j-W*, 得到 V Vj+1=I-2RxxVj (3.2.32) 上式是一个递推公式，由于项不是对角矩阵，计算与分析 均复杂。下面仍然采用坐标旋转的方法进行推导。 第三章 自适应数字滤波器 11 1 1 1-1T )2( )2( 2 , , j jxx jxxj jjjj xxxx VI VQRQIQQ QVRIQV QVVVQV QRQQQR (3.2.33) 此时，项已变成对角矩阵，假设起始值是V V0，可得到上 式的递推解为 0 )2(VIV j j (3.2.3

23、4) 第三章 自适应数字滤波器 再将(3.2.24)式代入，再经过坐标平移，即代入Vj=Wj-W*式， 最后得到权系数的递推公式： )()2( * 0 T* WWQIQWW j j (3.2.35) 上面递推公式中，部分已变成对角矩阵， 这使分析与研 究自适应特性变得简单了。 第三章 自适应数字滤波器 2. 2. 收敛条件收敛条件 由最陡下降法的递推公式不难分析出它的收敛条件，即当 迭代次数j趋于时，权系数收敛最佳时的条件。按照上式， 显然只有当 max 1 0 , 2 , 11|21 | 02lim Ni I i j j (3.2.36) (3.2.37) 满足时，才能得到： 。(3.2.3

24、7)式即是最陡下降 法的收敛条件，式中max是R Rxx的最大特征值。(3.2.36)式中的0表 示0矢量。 * limWWj j 第三章 自适应数字滤波器 3. 3. 过渡过程过渡过程 过渡过程是指权矢量和性能函数由起始点随迭代次数的增 加，进行变化的过程。下面从权矢量和性能函数两方面讨论自 适应滤波器的过渡过程。权矢量的过渡过程讨论如下： 按照(3.2.34)式，权矢量的递推解是 0 )2(VIV j j 第i个权系数递推方程是 0 )2( i j iji vIv(3.2.38) 令 Ni i i , 3 , 2 , 1e21 1 - (3.2.39) 第三章 自适应数字滤波器 将上式代入

25、(3.2.38)式，得到 Nivv i ji i , 3 , 2 , 1e 0 1 - (3.2.40) 上式说明第i个分量v i按指数规律变化，其时常数为 )21 (1 1 i i n i=1, 2, 3, , N (3.2.41) 因为一般取得比较小，可以近似为 i i 2 1 i=1, 2, 3, , N (3.2.42) 第三章 自适应数字滤波器 因为 2 1 21 22221 11211 jN j j NNNN N N jj v v v qqq qqq qqq QVV 所以 N k jkikji vqv 1 再将(3.2.40)式代入，得到 i j N k kikji evqv 1

26、0(3.2.43) 第三章 自适应数字滤波器 k j N k ikiji cww - 1 * e (3.2.44) 式中 0kikik vqc (3.2.45) 上式说明第i个加权系数按照N个指数和的规律变化，由初始值 收敛到最佳值，其时常数与特征值成反比。下面分析性能函数 的过渡过程。按照(3.2.25)式，性能函数如下式： N i jiij veE 1 2 min 2 (3.2.46) 将(3.2.40)式代入，得到 i j N i iij eveE 2 1 2 0min 2 (3.2.47) 第三章 自适应数字滤波器 上式说明性能函数也是按N个指数和的规律变化，和加权系 数过渡过程不同的

27、是时间常数不同， 它的时常数为 i i 4 1 2 imse (3.2.48) 我们已经知道，性能函数和各个加权系数都是按照N个具有 不同时常数的指数和的规律变化的，时常数和特征值成反比， 不同的特征值对应的收敛时间是不一样的，但最终的收敛要取 决于最慢的指数过程，它的时常数最大，对应最小的特征值， 公式如下： min maxmse min max 4 1 2 1 (3.2.49) (3.2.50) 第三章 自适应数字滤波器 但为保证收敛，不能取得太大，受限于最大特征值max。 这样，如果特征值比较分散时，即max和min相差很大时， 使最陡下降法的收敛性能很差。下面分析值的影响。 值收敛过程

28、影响很大，首先必须选择得足够小，使之满 足收敛条件： max 1 0 但按照(3.2.47)、 (3.2.48)式，它影响收敛速度。 一般希望 在保证收敛的条件下，选大一些，使时间常数小一些，收敛的 速度快一些。但当选择得太大时，即使收敛条件满足，也可 能形成振动性的过渡特性。 在图 3.2.7 中，图(a)是较小时 的情况；图(b)是较大时的情况，此时过渡过程已发生振荡。 第三章 自适应数字滤波器 图 3.2.7 值的影响 (a) 较小时的情况； （b） 较大时的情况 (a)(b) w2 w1 w(0) w(0) w1 w2 第三章 自适应数字滤波器 3.2.4 最小均方最小均方(LMS)算

29、法算法 1. LMS1. LMS算法的权值计算算法的权值计算 LMS(Least Mean Square)算法的梯度估计值用一条样本曲 线进行计算，公式如下： N jjj jj w e w e w e e 2 2 2 1 2 2 (3.2.51) 因为 jjj XWde T 第三章 自适应数字滤波器 所以 j N jjj X w e w e w e T 21 , jjj Xe2 (3.2.52) (3.2.53) jjjj XeWW2 1 FIR滤波器中的第i个权系数的计算公式为 Nixeww ijjijij , 3 , 2 , 12 , 1 (3.2.54) FIR滤波器中的第i个权系数的控

30、制电路如图3.2.8所示, LMS自 适应滤波器的总框图如图 3.2.9 所示。 第三章 自适应数字滤波器 图 3.2.8 FIR第i个支路的控制电路 z1 wi(n1) xi(n)wi(n) 2 e(n) 控制电路 第三章 自适应数字滤波器 LMS算法的加权系数按照(3.2.53)式进行控制， 式中加权 矢量的改变量是2ejXj，梯度的估计值是-2ejX Xj。显然，这是 一个随机变量，这说明LMS算法的加权矢量是随机变化的。因此， LMS算法又称为随机梯度法。下面对这种算法的性能进行分析， 主要分析加权矢理和性能函数的平均变化规律以及它们的随机 性造成的影响。 按照(3.2.52)式， 对

31、梯度估计值求统计平均， 得到 jjjj XeEE2 (3.2.55) 上式说明梯度估计值是无偏估计的，梯度的估计量在理想梯度 j附近随机变化，权系数也是在理想情况下的权轨迹附近随机 变化的。 第三章 自适应数字滤波器 控制1 控制2 控制 N x1(n) x2(n) xN(n) w1 w2 wN y(n) d(n) e(n) 图 3.2.8 LMS自适应滤波器总计算框图 第三章 自适应数字滤波器 2.LMS2.LMS算法加权矢量的过渡过程算法加权矢量的过渡过程 将误差公式(3.2.4)式代入(3.2.53)式，得到 jjj T jj j T jjjjjj dXWXXi WXXdXWW 22 2

32、 1 (3.2.56) 按照(3.2.53)式， 对加权矢量取统计平均： * T 1 2)2( )(2 (2 2 WRWERI WERRWE WXXEXdEWE XeEWEWE xxjxx jxxdxj jjjjjj jjjj (3.2.57) 第三章 自适应数字滤波器 类似于最陡下降法的推导，经过坐标平移和旋转，变换到 V坐标中。其公式推导如下: 令 Vj=Wj-W* (3.2.58) 那么 EVj=EWj-W* EVj+1=EWj+1-W* (3.2.59) 将上面两式代入(3.2.57)式中，得到 2 1jxxj VERIVE 它的递推解是 0 2VRIVE j xxj 令 Rxx=QQ

33、 T, =QRxxQT (3.2.60) 第三章 自适应数字滤波器 , 2 1 T QVVvvvVQV N 得到 0 2VIVE j j (3.2.61) (3.2.62) 再将(3.2.59)、(3.2.60)和(3.2.61)式代入上式，得到 EWj=W*+QI-2j Q-1(W0-W*) (3.2.63) 对比(3.2.35)式，说明LMS算法加权矢量的统计平均值的 过渡过程和最陡下降法加权矢量的过渡过程是一样的。换句话 说， LMS算法加权矢量是在最陡下降法加权矢量附近随机变化 的， 其统计平均值等于最陡下降法加权矢量，那么，其收敛条 件同样为 max 1 0 (3.2.64) 第三章

34、 自适应数字滤波器 在满足收敛条件的情况下，才有下式： * limWWE j j 由于最大的特征值max不可能大于R R的迹(R R的主对角线元素之 和)，即 )()(tr)()(tr max 的对角元素的对角元素RR 因此收敛条件可以表示为 )( 1 0 Rtr (3.2.65) 第三章 自适应数字滤波器 对于横向滤波器， 式中的迹是NEx2j，即N倍的输入功率， 那么 1 0 2 j xNE (3.2.66) 实际中，通常选得很小，选 1 0 2 j xNE (3.2.67) 同样由(3.2.62)式，第i个分量为 0 2 i j iji vIvE (3.2.68) 第三章 自适应数字滤波

35、器 同样引入时常数i, e 2 1 )21ln( 1 * - 0 i jj j iji ii i vQEWWE vvE (3.2.69) (3.2.70) (3.2.71) 同样，第i个权系数可以表示成 k j N k ikiji CwwE - 1 * e (3.2.72) 第三章 自适应数字滤波器 3 . LMS3 . LMS算法性能函数的过渡过程算法性能函数的过渡过程学习过程学习过程 由于LMS算法加权矢量的平均值的变化规律与最陡下降法 的加权矢量一样，可以推想它的均方误差也会按照最陡下降的 均方误差变化规律变化。下面进行推导。 按照(3.2.4)式， 信号误差为 j T jj j T j

36、 T jj T jjjjj VXe WWXWXd WXdyde opt * )()( (3.2.73) 第三章 自适应数字滤波器 式中，eoptj=dj-XjTW*，称为最佳误差信号，它对应于最小均方 误差， 即 min 22 opt jj eEeE 按照(3.2.73)式写出均方误差表示式： 2 22 j T joptj T jj T joptj VXeEVXXVEeEeE 假定Xj和Vj不相关，上式中最后一项为0，那么 minj T jj T j VXXVE 第三章 自适应数字滤波器 2 1 min min min ) ji N i i j T j jxx T j vE VEVE VERV

37、E 同样，假设加权系数变化很小，V Vj也变化很小，EV VjVj，这样： 类似前面的推导，得到 i i imse N i j oji i v 4 1 2 e 1 2 - 2 min (3.2.74) (3.2.75) 对照最陡下降法性能曲线(3.2.47)式，LMS均方误差变化规律和 最陡下降法完全一样，学习曲线同样近似为几个不同时间常数 的指数和。 第三章 自适应数字滤波器 4. 4. 稳态误差和失调系数稳态误差和失调系数 由上面分析知道，权矢量的平均值可以收敛到它的最佳值， 但权矢量变化过程是随机的，即使其平均值收敛到最佳值，它 仍然按照下式： Wj+1=Wj+2ejXj 随机地进行变化

38、，这样使权矢量仍在最佳值附近随机变化， 但均方误差将大于最小均方误差，如图 3.2.10 所示。为此，引 入失调系数M，M定义为 min min M(3.2.76) 第三章 自适应数字滤波器 加权系数的变化 均方误差的变化 min v v w wopt j 图 3.2.10 LMS算法稳态误差 第三章 自适应数字滤波器 可以推出5失调系数为 N i ixx RM 1 tr (3.2.77) 或者 M=NPin (3.2.78) 式中，N是滤波器的阶数，Pin是输入信号功率。上式说明和 输入功率加大都会增加失调系数。 在保证收敛的情况下加 大，会提高收敛速度，也说明为了减小失调系数， 应该适当

39、选择收敛速度，以保证收敛速度和失调系数都满足要求。 第三章 自适应数字滤波器 图 3.2.11 是一个LMS自适应滤波器的计算机结果5，阶 数N=5，其输入是信号加白噪声， 输入信号功率为1，中心频率 是0.03fs(fs为采样频率)，噪声功率为0.5, 输入信号自相关函 数的特征值为： 5.14、0.853、0.502、0.500、0.500 ，权系 数初始值取0，=0.0065。图中画出了一条样本学习曲线和150 条样本学习曲线的平均曲线。该图表明个别学习曲线起伏较大， 平均学习曲线起伏很小，计算出的维纳最小均方误差为0.743 96，用LMS算法得到的稳态误差大于该值，按(3.2.77)

40、式计算的 失调系数是4.87%，按计算机模拟结果测得的失调系数是5.40%。 第三章 自适应数字滤波器 图 3.2.11 LMS算法的学习曲线 第三章 自适应数字滤波器 3.3 自适应格型滤波器自适应格型滤波器 3.3.1 3.3.1 前、后向线性预测误差滤波器前、后向线性预测误差滤波器 1. 1. 前向线性预测误差滤波器前向线性预测误差滤波器 为了分析简单，假设信号属于实平稳随机信号。前向线性 预测误差滤波器直接由信号的线性一步预测导出。在维纳滤波 器一章我们已研究了信号的线性一步预测问题，即由x(n-1), x(n-2), , x(n-p)预测x(n)，其估计值x(n)和预测误差ep(n)

41、 用下式表示： p k kp knxanx 1 , )() ( (3.3.1) p k kpp knxanxnxnxne 1 , )()() ( )()( 第三章 自适应数字滤波器 由于假设了信号是实的，式中预测误差ep(n)和系数ap,k均是实 数。(3.3.1)式表明 是由n时刻以前的p个数据x(n-1)、 x(n-2)x(n-p)得到的估计，因此称 为前向预测误差。将前 向预测误差用 表示，上式重写为 )( nx )(nep )(ne f p p k kp f p knxanxne 1 , )()()(3.3.2) 对上式进行Z变换，得到 k p k kp f p zzXazXzE 1

42、, )()()(3.3.3) 令 p k k kp p k k kpf f p f zazazH zX zE zH 0 , 1 , 1)( )( )( )( (3.3.4) 第三章 自适应数字滤波器 Hf(z)称为前向预测误差滤波器的系统函数。前向预测误差滤波 器的结构图如图 3.3.1所示。 图 3.3.1 前向预测误差滤波器 z1 ap,0 z1z1 ap,1ap,2ap, p1ap, p x(n) )(ne f p 第三章 自适应数字滤波器 用均方误差最小的准则求前向预测误差滤波器的最佳系数ap,k, 0 )( , 2 kp f p a neE k=1, 2, ，p (3.3.5) 将(

43、3.3.2)式代入上式，得到 0)()(knxneE f p k=1, 2, 3,，p (3.3.6) 上式表明前向预测误差与用于预测的数据正交，这就是对于前 向预测误差的正交原理。按照第二章的推导，前向预测误差滤 波器的最佳系数ap,k和信号的自相关函数之间的关系式称为 Yule-Walker方程式，重写如下： 第三章 自适应数字滤波器 p i xxipxxp p i xxipxx irar pkikrakr 1 , 2 1 , )()0( , 3 , 2 , 10)()( (3.3.7) 将上式用矩阵方程表示为 0 0 1 ) 1()2()( ) 1()0() 1 ( )() 1 ()0(

44、 2 , 1 , p pp p xxxxxx xxxxxx xxxxxx a a prprpr prrr prrr (3.3.8) 第三章 自适应数字滤波器 2. 2. 后向线性预测误差滤波器后向线性预测误差滤波器 如果利用x(n+1),x(n+2), ,x(n+p)数据预测x(n)，则称为 后向预测，其估计值用 表示。这样 )( nx p k kp knxanx 1 , )() ( (3.3.9) 一般前向、后向预测用同一数据进行，即利用x(n),x(n-1)， x(n-2)，,x(n-p)进行预测，为此，将上式改为 p k kp kpnxapnx 1 , )() ( (3.3.10) 这样

45、，前向预测是由x(n-p),x(n-p+1),x(n-2),x(n-1)预测 x(n)，后向预测是由x(n-p+1),x(n-p+2),x(n)预测x(n-p)， 这两种预测数据之间的关系如图 3.3.2 所示。 第三章 自适应数字滤波器 图 3.3.2 前向预测数据之间的关系 x(n p) , x(n p1) , , x(n2) , x(n1) , x(n) 后向预测 前向预测 第三章 自适应数字滤波器 设后向预测误差用 表示(实际表示的是信号在n-p时刻 的预测误差)， 这样 )(neb p ) ( )()(pnxpnxnbb p (3.3.11) 同样，利用最小均方误差的准则，可以得到关

46、于后向预测 时的正交原理以及Yule-Walker方程，它们分别用下面的(3.3.12) 和(3.3.13)式表示： 0)()(kpnxneE b p k=1, 2, 3, , p p i xxkpxxp p i xxkpxx irar ikrakr 1 , 2 1 , )()0( 0)()( k=1, 2, 3, , p (3.3.12) (3.3.13) 第三章 自适应数字滤波器 式中， 是后向预测误差的最小误差功率。将(3.3.13)式和 (3.3.7)式进行对比，它们极其相似。利用Toeplitz矩阵的性质， 可得到以下重要关系： 2 p 2 2 , , 3 , 2 , 1 pp kp

47、kp pkaa (3.3.14) (3.3.15) 上面两式表明前、后向预测的最小误差功率相等，系数也相等 (如果是复数，则是共轭关系)。由(3.3.10)、 (3.3.11)、 (3.3.14) 式得到 1)()( 0, 0 , p p k kp b p akpnxane (3.3.16) 第三章 自适应数字滤波器 式中，当k=0, 1, 2, 3, , p时， p-k=p, p-1, p-2, , 0, 因此也可以 写成下式： 1)()( 0, 0 , p p k kpp b p aknxane 由上式画出后向预测误差滤波器的结构图如图 3.3.3 所示。 第三章 自适应数字滤波器 图 3

48、.3.3 后向预测误差滤波器 z1 ap,0 z1z1 ap,1ap,p1ap,p x(n) )(neb p ap,p2 第三章 自适应数字滤波器 对比图 3.3.1 和图 3.3.3, 或者对比公式(3.3.2)和 (3.3.17)， 它们的系数虽然一样，但后向预测误差滤波器的系 数排序却是前向预测误差滤波器系数排序的逆转排列。 对(3.3.16)式进行Z变换，得到 p k kp kp pb p zzzXazzXzE 1 , )()()(3.3.18) 后向预测误差滤波器的系统函数为 p k k kp p b p b zaz zX zE zH 1 , 1 )( )( )( (3.3.19)

49、第三章 自适应数字滤波器 将上式与前向预测误差滤波器的系统函数(3.3.4)式对比，得到 前、 后向预测误差滤波器的系数函数之间的关系是 )()( 1 zHzzH f p b 为了求解前、后向预测误差滤波器的最佳系数，需要解Yule- Walker方程。可以采用高斯消元法解出ap,k(k=1,2, 3,p)以 及2p,但需要p3量级运算量。利用Yule-Walker方程中的自相 关矩阵是一个埃尔米特(Hermitain)和托布列斯(Toeplitz)矩 阵的特点，且至少是半正定的，可以有效地减少运算量，这就 是下面要推导的Levinson-Durbin算法，它的运算量级是p2。 第三章 自适应

50、数字滤波器 3.Levinson-durbin3.Levinson-durbin算法算法 Levinson-Durbin算法首先由一阶AR模型开始，按照(3.3.8) 式，一阶AR模型(p=1)的Yule-Walker为 0 1 )0() 1 ( )2()0( 2 1 1 , 1 a rr rr xxxx xxxx 由该方程解出： )0()1 ( )0( ) 1 ( 2 1 , 1 2 1 1 , 1 xx xx xx ra r r a 第三章 自适应数字滤波器 然后增加一阶，即令p=2，按照(3.3.8)式得到 0 0 1 )0() 1 ()2( ) 1 ()0() 1 ( )2() 1 (

51、)0( 2 2 2, 2 1 , 2 a a rrr rrr rrr xxxxxx xxxxxx xxxxxx 由上面方程解出： 2 1 2 2, 2 2 2 1 , 12, 21 , 1 22 1 , 2 2 11 , 1 222 2, 2 )1 ( )1 ()0(/)2() 1 () 1 ()0( /)1 ()2( )1 ()0(/)1 ()2()0( a aaa rrrrrra rar rrrrra xxxxxxxxxxxx xxxx xxxxxxxxxx 第三章 自适应数字滤波器 然后令p=3, 4, , 以此类推， 可以得到一般递推公式如下： )()0( )1 ( 1, 3 , 2

52、, 1 )()( 22 0 2 1 22 , 1, 1, , 2 1 1 1 1 nxEr k pkakaa ak kprapr k xx ppp kpppkpkp ppp p p k xxpxx p (3.3.21) (3.3.22) (3.3.23) (3.3.24) (3.3.25) 第三章 自适应数字滤波器 上面(3.3.21)(3.3.25)式就是Levinson-Durbin递推公式， 该式中的kp称为反射系数。在(3.3.24)式中，2p和2p-1是预 测误差的均方值，因此1-k2p必须大于等于0，这样kp应要求满足 下式： 1| p k (3.3.26) 2 1 22 , 1

53、2 1 2 )1 ( ppppp k 反 进而得到 ，即预测误差随递推次数增加而减少。把kp 称作反射系数，是类似于传输线的情况，如图3.3.4 所示，第p 节的输出功率(即下一级的输入功率)等于前一级的输出功率减去 本级的反射功率，用公式表示如下： 2 1 2 pp (3.3.27) 第三章 自适应数字滤波器 第 p节 2 1p 2 p 2 , 1反p 图3.3.4 传输线 第三章 自适应数字滤波器 3.3.2 3.3.2 格型滤波器格型滤波器 1. 1. 由预测误差滤波器导出格型滤波器由预测误差滤波器导出格型滤波器 将前面已推导的前向预测误差公式(3.3.2)重写如下: p k kp f

54、p knxanxne 1 , )()()( 再将系数ap,k(k=1,2,3,p)的递推公式(3.3.23)代入上式，并 令kp=ap,p，得到 1 1 1 1 , 1, 1 1 1 , 1, 1 1 1 , )()()()( )()()()( )()()()( p k p k kpppkp p k pkpppkp p k pkp f p knxapnxkknxanx pnxkknxakanx pnxkknxanxne 第三章 自适应数字滤波器 将上式与(3.3.2)式对比，方程式的右边前两项是p-1阶前向预测 误差， 即 1 1 , 11 )()()( p k kp f p knxanxne

55、 (3.3.28)方程式的右边最后一项中，因为k=1,2,3,p-1时， p-k=p-1, p-2, ,1，方括号部分可以写成 1 1 , 1 1 1 , 1 )()()()( p k kp p k kpp kpnxapnxknxapnx 将上式右边与(3.3.16)式对比，该部分就是n-1时刻p-1阶的后向 预测误差， 即 1 1 , 11 )()() 1( p k kpp b p knxapnxne 第三章 自适应数字滤波器 这样由(3.3.28)式，得到前向预测误差的递推公式， 即 ) 1()()( 11 neknene b pp f p f p (3.3.29) 类似地，得到后向预测误

56、差的递推公式为 )() 1()( 11 neknene f pp b p b p (3.3.30) 利用(3.3.29)式和(3.3.30)式，组成格型滤波器的第p节的结 构图, 如图 3.3.5(a)所示。 第三章 自适应数字滤波器 图 3.3.5 全零点格型滤波器 )(ne f p )(neb p z1 x(n) z1z1 e0(n ) e1(n ) b0(n ) b1(n ) k1 k1 k2 k2 kp kp z1 )(ne f p )(neb p )( 1 ne f p )( 1 neb p kp kp (a) (b) 第三章 自适应数字滤波器 对于p=0的情况， 按照(3.3.2)

57、式和(3.3.11)式， 得到 )()()( 00 nxnene bf 整个预测误差格型滤波器的结构如图 3.3.5(b)所示。由于没 有反馈支路，它是一个全零点格型滤波器。 经过变形还可得 到其他类型，如全极点格型滤波器、全极点横向滤波器，等等 5。 第三章 自适应数字滤波器 2. 2. 格型滤波器的性质格型滤波器的性质 (1) 各阶后向预测误差相互正交。 用公式表示如下： jineneE b j b i 0)()( 设ij,按照(3.3.12)式， 与x(n-j+1),x(n-j+2), x(n- i),x(n-i+1),x(n)数据正交，但按照(3.3.16)式， 是x(n- i),x(

58、n-i+1), , x(n)的线性组合，因此 与 相互正交。 各阶后向预测误差相互正交的结果，使滤波器前后级互相解 耦，对于系统最小化问题化为一系列独立的对每一级局部最小 化问题。用作自适应滤波时，各级可选用不同的自适应步长， 使收敛速度提高。另外，为提高线性预测性能，需要增加一节 或几节，可以只对新增加的级进行独立的调节，达到输出均方 误差最小，无需再调节前面的系数。 )(neb j )(neb i )(neb i )(neb j 第三章 自适应数字滤波器 (2) 平稳随机序列可由自相关函数或反射系数表征。按照 Levinson-Durbin递推公式，已知rxx(0),k1,k2,kp,从一

59、阶开 始，可以推出全部的预测系数ap,1,ap,2, ,ap,p和2p，把得到 的这些数据代入Yule-walker方程，可求得信号的自相关函数 rxx(0), rxx(1), rxx(2),rxx(p)。以上说明平稳随机序列可由 自相关函数表征，也可由rxx(0),k1,k2,kp表征。 (3) 前向预测误差滤波器是最小相位滤波器，即它的全部零 点在单位圆内。 第三章 自适应数字滤波器 3. 对于复信号的预测误差滤波器和格型滤波器对于复信号的预测误差滤波器和格型滤波器 前向预测误差滤波器的系统函数He(z)以及前向预测误差公 式 和实信号情况一样，仍是(3.3.4)式和(3.3.2)式，但利

60、用均 方误差最小原则求预测系数要用下式求解： )(ne f p pk a neE kp f p , 3 , 2 , 10 | )(| , 2 (3.3.32) 对于前向预测误差的正交原理，则用下式表示： pkknxneE f p , 3 , 2 , 10)()( * (3.3.33) 前向预测误差滤波器的预测系数和信号自相关函数之间的 Yule-Walker方程仍和(3.3.8)式一样。 第三章 自适应数字滤波器 后向预测误差和后向预测误差滤波器系统函数分别用下式表示： pkknxane p k kpp f p , 3 , 2 , 1)()( 1 * , (3.3.34) 1)( * 0, 1