552均方误差准则MSE和LMS算法

{fn}{fn}系统模型信息符号的估计值:Ik=rcvk

j=-8（无限长均衡器情况）《数字通信》辅导材料第5章在有ISI及加性高斯噪声信道中的数字信号传输1275.5.2均方误差准则（MSE）和LMS算法引言：均方误差准则同时考虑ISI及噪声的影响，使其最小化。本节讨论问题:.均方误差准则；.无限长LMS均衡器（C（Z），Jmin）；.有限长LMS均衡器（C0Pt，Jmin）；.LMS算法；.均衡器的操作；.递推LMS算法收敛特性的分析。一.均方误差准则T+ch+MF+WF^L判决器其中，接收数据样本为：箱=EfI+丑，?为白噪声。8

kk nk-nkk《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输128八估计误差：8二I—…包括ISI及噪声kkkk定义:估计值I的均方误差J=E[8[2]为均衡器的性能指数。k k均方误差准则：使均方误差性能指数J最小（J.），此准则同时考虑使ISImin及噪声影响最小。获得J的途径：调整C｝，当J=J时，C=C（最佳抽头系数）min j m opt寻找c的方法：1）根据正交性原理（线性均方估计）：E[8v*]=0，所有/。（注:opt kk-1与ZF准则不同的是，这里的输入是经过两个输入滤波器的数据样本v，这就包含了噪声）。k即E[8I*]住，所有lkkl-aj2）求函数极值方法：令--=0-C=?ac 0Ptk2013年5月3日星期五上午讲于此处，已经是第十次矣。这两种方法是等价的，证明如下。证明：求导置零方法与正交性原理等价。I立cv=limE"kj_j卡jK-8羊-K户k-limVtckK-8假如均衡器为有限长，则八I-VTckk其中V-vv vvvT，以及kLk+K k+K-1 k k-K+1 k-K」

《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输129cc—K —K+1J(cJ(c)=E[|8J]=E[(I/X-1)(I*-1*)]kkkk=E[8*(I-VTC)]

kkk旦=_eMy}另一种方法:(c)=(c)=E*k[2]=E[(I=E{(I-Ecv )(I*-—I)(/*—I*)]kkkk乙c*v*)}jk-j=E[IIp]-ZcE[I*v]-Ec*E[Iv*]+EEcc*E[vv*]

k ikk-i jkk-j ijk-ik-ji j ij二E[|I[2]-ZcE[I*v]-Ec*e二E[|I[2]-ZcE[I*vikk-i jkk-j ijk-ik-ji j ij可见，J(c)是｛c｝的平方函数(二次型)。求导置零可得:j-EI*v+Ec*Evv*即，-kk-1」 jLk-1k-j-即，jc*v* vb=0,jk-j k-l:,E:,E(8*v)=0,kk-i或E(8v*)=0，

kk-iJ=-E1*V｝0c kk「HZ+KV+K-1 "卜 Vk-k+iZJ结论：求导方法与正交性原理是等价的，满足正交条件，就可以获得最小MSE。二、无限长LMS均衡器(c(z)jJ性能).求C(z)：从正交原理出发《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输130E(vE(v*kk—l)二0(10-2-27)E[(I-£cv )v*]=0k jk-j k-1j=-s即(*)正交条件£cE(v v*)=E(Iv(*)正交条件jk-jk-1 kk-1j=—g注：vk1是收数据样本，其中的噪声已经白化。在(*)式左边可以得到:Evv*Lk-jkEvv*Lk-jk-1」，一f*if*I*mk-1-mm=eJ££ff*ii* +丑n*nmk-j-n k-1-mk-jk-1+丑*k-1II I* }+N8=££ff*Enmk-j-nk-1-m 01jnm式中利用了v「ZfI-n+nk，e[nk]=0。注：8「8卜-j=8(k-j)=8-8卜.都是Kroenecker冲激或离散冲激的不同写法。因此我们有:TOC\o"1-5"\h\zE[vv*]=ZZff*8 +N8=Zf*f +N8k-jk-1 nmn,m+1-j 01j mm+1-j 01jnm m― [X+N8 1-j\<L=£f*f+N8=\1-j01j1 〃 (A)nn+1-j01j0,e1sen=0 L注：X(z)=F(z)F*(1/z*)，F*Q-1)代表了F(z)序列的共轭颠倒序列。或者说F*Q*-i)代表了F(z)的MF(零时延)。

《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输131X(z)=FG)F*(l/z*)+f^Z-L+1+/*"

1 0)]=(/+y+f^Z-L+1+/*"

1 0)]=(/+yz-i++/")「"(/*+/*z-i+0 1 LLLL-1=S立L/f*Z_i_jiL—ji=Qj=Qi=0n=Q=££ff*z—/=££ff*z—/n+lnl=-Ln=0(注：令I=i—n)X=£/*/,其支撑为：—LWIWLI nn+ln=0或者说，可以得到=圮于吁nn+k=圮于吁nn+kn=0nn+l-jn=0-Xl-j也可以写为nn+l-jn=0-Xl-jnn+l—jn=0(*)式右边：E(Iv*)=E{/[Z/*/*+r[* = }+£{/r|*}kk-I kyik—l-n k—I 〃kk—l—〃 kk—In n c=iCk,k-l-n，式中,当〃二—I式中,当〃二—I当〃w-I由此可得132数字通信》辅导材料第5章在有ISI及加性高斯噪声信道中的数字信号传输132(B)Eilv*}=,f;一LVlV0(B)kk-lI0将（A）、（B）两式代入（*）式:£cj[x.+N"]=f*j=S上式就是:取Z变换:c③x+Nc=上式就是:取Z变换:c③x+Nc=*fii0i-iC(z)[F(z)F*(z*-1)+N0]=F*(z*-1)(10-2-31)则MMSE均衡器C(z)=F*(z*-1)F(z)F*(z*-1)+N0(10-2-32)等效MMSE均衡器：C,（z）=F(z)F*(z*-1)+N01X(z)+N0(10-2-33)C(z)IkIk.求J而口（最小均方误差）（1）时域J=E口£I2]=E[£(I*—I*)]=E[£I*]—E[£

k kkk kk利用正交原理第二项为零，所以J =E[(I-I)I*]=E[II|2]-E[I*(£cv)]min kkk k kjk-j=c-£cE[vI*]=c-£cf (利用(B)式)j j令信息符号的平均功率为1，则

《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输133c=E[|/J]=1J=1-二cf=1-、⑤f|TOC\o"1-5"\h\zi=—g 10Tx,Ch,MF,WF (oo)—► \fj}—►kJ -►)一尸(z) 。回,阮}C8(z)=为M"n=-coK=iCjfn-J为吃三人,Amn=1-"o(2)频域通过z变换及令z=ej固，将jmiK的J3n〜{J晨系变换成J〜X(j值)•H(9块系min全传输系统响应全传输系统响应：W"BQ）=益＜0(10-2-35)以z反变换（留数法）求:b=」—』B(zK-idzn 2兀j口b二JB(z)z-1dz=J-q+? 1dz(10-2-36)0 2兀jQ 2兀jQz[X(z)+N0令z令z=ej9T，且小t，1341 X(ej3T1341 X(ej3T)b=--7JT-()

02兀j-KXQj3T)+N,J)0TL/X"j3TJ=L；x•e-j3T.ej3T(jT)d3(10-2-37)minj3T7+N0J=T「T_min2兀-冗TX,N、 7(-0)—^d3(ej3T)+N0《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输将X(e")以信道折叠谱表示。因为x=x(kT)=h(t)⑤h*(-1)|k t=kTh(t)⑥h*(-1)的傅里叶变换为回3)|2，故£x5(t-kT)一1£

k Tk=-» n=-»5(t-kT)e-j2冗ftdt=£xe-j2冗fkT=DTFT(x)k=-g所以k=-g所以(10-2-18)X)=1£(10-2-18)Tn二s所以JminT「JminT「T 2兀-8T1£Tn=sN

0

H(3+2]jVTJ(10-2-38)=TforISI=0N(10-2-39)所以，当ISI=0时，J =——，(10-2-39)min1+N0

135《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输135TOC\o"1-5"\h\z\o"CurrentDocument"t 八 八 八 八因g 二I—I，故I=I+8 ,E[\I|2] =EII -8|2，利用正交原理E[8 I* ]=0，kkk kkkk kk kk-1易证：\o"CurrentDocument"八 八\o"CurrentDocument"EII\2:EII\2+EI8|2，即E[12]=1-J 。k k k k min八E[12] 1-J输出SNR: Y='k—=—min (10-2-40)6E[|8卜]Jk min均方误差：J(k)=E[II-12];均方误差：J(k)=E[II-12];E

1kkI-七cv

k jk-jj=-Kaj /) =—E8*VJackkC=cc cccVk-K+1IkIk1、求C皿：无限长均衡器£cj[x,：N05j]=f*j=-6仿上面无限长均衡器的推导：根据正交条件：£cX+NbLf*ji-j 0j -1j=-K

136数字通信》辅导材料第5章在有ISI及加性高斯噪声信道中的数字信号传输136令r=ijw[x+N5注：x1的支撑为『<L。)则r=<i注：x1的支撑为『<L。)j[0,其他令-L令-L<l<0其他得得史crjijj=-K（10-2-43）矩阵形式：rC=A (10-2-46)所以，c=ng (10-2-47)opt说明：Copjg为有(2K+1)个元素的列向量r为(2K+1)X(2K+1)的Hermitian矩阵。因为自相关函数x=x*且5=5*，所以r=「r］中元素满足r=r*。r是共k -k ijjl ij ijj轭转置阵(Hermite)阵。2、求均衡器的性能即求最小能达到的均方差Jmin：前已经证明Jmin=1-£cf.j=-s将C0Pt代入Jmii(K)式：j.(k)=1-Zcf=1-g，*c=1-gar* (10-2-48)j=-K注：fj的支撑为0<j<L工程实用方法：采用简单的迭代过程一一最速下降法。

《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输137四.LMS算法:内容:a)算法：q「Ck-AGk(理论算法)b)梯度：G=—=—EC*V)kdC kkkc)工程实用算法：C=C+Ae*vk+1 kkkd)均衡器结构：图11-1-21、算法：LMS算法是一种最陡下降法，其实质是一个迭代过程，而迭代过程是通过递推运算来进行的。设｛cj｝有(2K+1)个抽头递推运算： c(k+1)=c(k)+5c(k)j=-K，…，0,…Kj j j每次迭代变化量：6c(k)x-AG(k)令 6cj(k)=-AG(k)则 c(k+1)=c(k)-AG(k)或矩阵形式:式中A为c或矩阵形式:式中A为c(+1)-c()T1^Ck+1=Ck-AGJ调节阶距(步长)=-AG(k),j=-K，...，0,…K，j注：可以看到即强制要求抽头系数向着误差下降的方向变化。则 c.(k+1)=cj(k)-AG(k)或矩阵形式： Ck+1=Ck-AGk,式中A为调节阶距(步长step)，其中第k符号时间的抽头系数列矢量(即

138《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输138均衡器）为:Ck =[_cK(k)cK](k)Ck =[_cK(k)cK](k)0 K-1 K」22、梯度:(k)(k)jdJ

de=-E{c*V)kkdJ

de=-E{c*V)kkkkk匕=1V+KV+K-1 vk一. 一.TVk-K+1 Vk-KJ讨论：1）理想情况下，经过若干次迭代（k=k时），G=-E{cV*}=0n<C=CoptJ(k0)=Jm2）实际情况中，计算G困难

k139《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输139G=-E[8V*]统计平均，不实时kk八为克服这一困难，用估计值G取代梯度真值G

k kGk=-E[8*Vk] 八对G的无偏估计有：G=E{G}k八G=-8*VkkkGkGk为梯度真值，八G为真值G的无偏估计量.工程实用LMS算法:八Ck+1二C-AGkk(11-1-9)八Ck+1二C-AGkk(11-1-9)八即ck+1八=C+AsV(11-1-11)八 八或C=Ck+1+Aek*Vkk在商用的自适应均衡器中，为简化乘法运算次数，仅取vk和(或)8k的正负号进行运算，而不管大小。其优点是简单，易实现，运算次数少；缺点是收敛慢。如：(k如：(k+1)=c(k)+AcsgnQ)csgn(v*)(11-1-14)[1+j定义复符号函数：csgn(x)二[1+j定义复符号函数：csgn(x)二-1+j、-1-j(Re(x)(Re(x)(Re(x)(Re(x)>0,Im>0,Im<0,Im<0,Im(x)>0)(x)<0)(x)>0)(11-1-15)(x)<0).均衡器结构《数字通信》辅导材料第5章在有ISI及加性高斯噪声信道中的数字信号传输140图11-1-2基于MSE准则的线性自适应均衡器《数字通信》辅导材料第5章在有ISI及加性高斯噪声信道中的数字信号传输141五.均衡器的操作过程1.方框图1.方框图.两种工作模式（状态）(1)训练模式(trainingmode):8k=I「Ik（2（2）工作模式（runmode）:~8=I—I,P<10-2kkke在完成训练之后，进入正常的工作模式情况下，P<10-5，I三I，e kk即使有错判，由于A很小，由此引起的误调整影响很小。.步长A选择与收敛特性训练时：'] '大一加速初始调整，接近Jmin»A2<A]工作时：A2 A2小一稳态误差小，J六J步长选择考虑：・稳定且收敛快・稳态MSE小

《数字通信》辅导材料第5章在有ISI及加性高斯噪声信道中的数字信号传输142六.递推LMS算法收敛特性的分析1、引言说明三个问题：要解决什么问题；分析从何入手；分析的方法。（1）算法表示理论上LMS算法:理论上LMS算法:Ck「C「AGk（A）实用的递推算法:人 人实用的递推算法:C=C+AeV* （B）k+1 kkk人梯度向量有噪无偏估计值：G=TV*kkk（2）问题收敛特性与A的关系？如何选择A，以确保收敛？因为G=eL1即G为真值G的无偏估计,kk k k所以，A对收敛特性的影响，对（A）（B）两式是相同的。为数学分析方便，我们只研究（4）式的收敛特性。（3）收敛特性的分析方法采用反馈系统稳定性的分析方法：建立以C输出的闭环系统模型，定性分析A的影响;k+1建立系统的差分方程，定量分析A的影响。《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输1432、闭环系统模型一一定性分析收敛特性算法： q「Ck-AGk (A)式中， gk=rck-4=—r—rck) (b)r—接收信号自相关矩阵，由E[VV*]确定。k-jk-1自一互相关矩阵，由E[Iv*]确定。kk-1分析：由(A)式可看出(1)Ck的迭代过程可以看作：每次迭代增量(6Ck=-AG/的累积过程一由保持器实现；(2)第k时刻计算的增量(-AGk)应在第(k+1)时刻反映出来

《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输144结论：对闭环输出C收敛特性影响因素：A,rk+1 3、系统的差分方程一一定量分析收敛特性由(A)式 C=由(A)式 C=k+1c-ag=c-a(rc-g)c=(I-Ar)c+Agk+1(A')(11-1-20)为一阶差分方程组，即CkCk+1因为r不是对角矩阵，故，（2K+1）个一阶差分方程是相互耦合的，必须联解。所以，用解联立方程组来定量分析收敛特性是困难的。解决方法：利用线性变换（酉变换）来解耦。①r为Hermite（厄米特）矩阵，可用U（酉矩阵）表示为r=UAU'* （U-1） （11-1-21）式中，U（酉矩阵）由r的特征向量确定。a（对角矩阵）的对角元素为r的特征值，特征值｛九｝为特征方程i

《数字通信》辅导材料 第5章在有ISI及加性高斯噪声信道中的数字信号传输145r—九i|=0的根。②再利用U矩阵的性质： U'*U=I （U-2）③将（U-1）式代入（&）式，两边再乘U'*，然后利用（。-2）式，可得式中，q广(i-a式中，q广(i-aa)q+Ag。(11-1-22)Ck+1CkU'*Ck+1U'*Ckg=U'*g

o+Ag+AgO信道特性

不随迭代而变化

（与k无关）Ck「(I—AA)Ck(11-1-23)C=（I-aa）Ck+1 k反映迭代产生的变化量（与k有关）说明：（1）因为A为对角矩阵，所以一阶差分方程组是线性不相关的（即解耦）。（2）收敛特性取决于其齐次方程组:即表示成（2K+1）个一阶差分方程组:C-K,(k+C-K,(k+1)1-ax—KC-K,(k)C0,(k+1)1-A九0C0,(k)1-axK」C1-a