中科院-现代数字信号处理1-完全版ppt课件

.,现代数字信号处理,信息科学与工程学院,.,现代数字信号处理,第一章,.,预修课程,概率论与数理统计信号与系统数字信号处理1随机过程,.,课程讨论的主要问题1,对信号特性的分析研究对象：确定性信号随机信号；研究目的：提取信号中的有用信息；主要内容：随机信号的统计特性；随机信号的参数建模；功率谱估计（经典谱估计和现代谱估计）；时频分析（短时傅立叶变换、维格纳变换、小波变换）,.,.,.,课程讨论的主要问题2,信号处理技术研究目的：提高信号质量；主要内容：维纳滤波理论（平稳条件下）；卡尔曼滤波理论（非平稳条件下）；自适应滤波理论；,.,课程特点,现代数字信号处理的基本概念、基本理论和分析方法；结合有关问题，介绍其在相关领域的应用。,.,课程讲述线索,本课程采用对不同处理对象的线索来讲解：确定性信号随机信号；平稳信号处理非平稳信号处理;时域频域时频分析;根据处理对象和应用背景的不同而选择相应的处理方法,.,课程主要内容,第一章时域离散随机信号的分析第二章维纳滤波和卡尔曼滤波第三章自适应数字滤波器第四章功率谱估计第五章时频分析,.,成绩评定,课堂成绩闭卷考试,.,教材及参考书,教材：张贤达，现代信号处理第二版，清华大学出版社，北京，2002。丁玉美，数字信号处理时域离散随机信号处理，西安电子科技大学出版社，2002。参考书：胡广书，数字信号处理理论、算法与实现第二版，清华大学出版社，北京，2003。RobertoCristi,ModernDigitalSignalProcessing,Thomson-Brooks/Cole，2004。DimitrisG.Manolakis,etc,StatisticalandAdaptiveSignalProcessing,McGrawHill,2000。,.,第一章时域离散随机信号的分析,1.1随机信号1.2时域统计表达1.3Z域及频域的统计表达1.4随机序列数字特征的估计1.5平稳随机序列通过线性系统1.6时间序列信号模型,.,1.1随机信号,信号的分类随机变量及其统计描述随机信号及其统计描述,.,1.1.1信号的分类,信号的分类：确定性信号随机信号平稳随机信号非平稳随机信号,.,1.1.2随机变量,随机变量的统计描述：概率分布函数：概率密度函数：均值（一阶矩）：均方值（二阶原点矩）：方差（二阶中心矩）：协方差：,.,几种特殊分布的随机变量的概率密度：均匀分布：高斯分布：N个实随机变量的联合高斯分布的概率密度：,其中，,.,1.1.3随机信号,实际应用中，常常把随时间变化而变化的随机变量，称为随机过程。随机信号的特点：在任何时间的取值都是随机的（不能确切已知）取值服从概率分布规律（统计特性确定，但未知）随机信号定义：一个随机信号X(t)是依赖时间t的一族随机变量，或者说它是所有可能的样本函数的集合。,.,图1.1.1n部接收机的输出噪声,X(t)=xi(t),i=1,2,3,X(t)是所有可能样本函数的集合,X(t1)=xi(t1),i=1,2,3,X(t)=X(t1),X(t2),X(t3),X(t)是依赖时间t的一族随机变量,.,如果对随机信号X(t)进行等间隔采样，或者说将X(t)进行时域离散化,得到随机变量X(t1),X(t2),X(t3),所构成的集合称为时域离散随机信号。用n取代tn，随机序列用X(n)表示，即随机序列是随n变化的随机变量序列。,.,图1.1.2n部接收机输出噪声的时域离散化,X(n)是依赖时间n的一族随机变量,.,样本函数xi(t)或样本序列xi(n),随机信号X(t)或X(n),随机变量X(t1),X(t2),X(t3),特定时刻,.,随机信号的统计描述：一维概率分布函数：一维概率密度函数：上述两式只描述随机序列在某一时刻n的统计特性，而对于随机序列，不同n的随机变量之间并不是孤立的。,.,二维概率分布函数:,对于连续随机变量,其二维概率密度函数为,以此类推,N维概率分布函数为,对于连续随机变量,其N维概率密度函数为,.,数学期望(统计平均值):均方值:方差：,一般均值、均方值和方差都是n的函数,但对于平稳随机序列,它们与n无关,是常数。,.,自相关函数：自协方差函数：,对于零均值随机序列，,这种情况下，自相关函数和自协方差函数没有什么区别。,，则,.,互相关函数定义为,互协方差函数定义为,同样,当时，,如果C(Xm,Yn)=0，则称信号Xm与Yn互不相关。,.,1.2平稳随机信号的时域统计表达,平稳随机信号的定义平稳随机信号相关函数的性质平稳随机信号的各态遍历性,.,1.2.1平稳随机信号的定义,狭义(严)平稳随机序列：随机信号的统计特性不随时间平移而变化。广义(宽)平稳随机序列：随机信号的均值和方差不随时间变化而变化，其相关函数与时间起点无关，仅是时间差的函数。,.,均值、方差和均方值均与时间无关：,自相关函数与自协方差函数是时间差的函数:,.,对于两个各自平稳且联合平稳的随机序列,其互相关函数为,显然,对于自相关函数和互相关函数,下面公式成立:,如果对于所有的m，满足公式：Rxy(m)=0，则称两个随机序列互为正交。如果对于所有的m，满足公式:Cxy(m)=0，则称两个随机序列互不相关。,Rxx(m)是Hermitian对称的,.,1.2.2实平稳随机信号相关函数的性质,（1）自相关函数和自协方差函数是m的偶函数,用下式表示:,（2）Rxx(0)数值上等于随机序列的平均功率：,（3）相关性随时间差的增大越来越弱：,（4）大多数平稳随机序列内部的相关性随着时间差的变大，愈来愈弱：,（5）,.,.,1.2.3平稳随机信号的各态遍历性,集合平均：由随机序列X(n)的无穷样本在相应时刻n对应相加来实现的。,由上可知，集合平均要求对大量的样本进行平均,实际中这种做法是不现实的。,.,时间平均：设x(n)是平稳随机序列X(n)的一条样本曲线，其时间平均值为,类似地，其时间自相关函数为,.,各态遍历性：对一平稳随机信号，如果它的所有样本函数在某一固定时刻的一阶和二阶统计特性（集合平均）和单一样本函数在长时间内的统计特性（时间平均）一致，则称其为各态遍历信号。意义：单一样本函数随时间变化的过程可以包括该信号所有样本函数的取值经历。直观理解：只要一个实现时间充分长的过程能够表现出各个实现的特征，就可以用一个实现来表示总体的特性。,x(n)=EX(n),x(n)x*(n+m)=EX(n)X*(n+m),.,1.3平稳随机信号的Z域及频域的统计表达,相关函数的Z变换平稳随机信号的功率密度谱,.,1.3.1相关函数的Z变换,平稳随机序列是非周期函数，且是能量无限信号，无法直接利用傅里叶变换进行分析。由前面对自相关函数和自协方差函数的讨论可知：当时，Rxx(m)是收敛序列。这说明虽然无限能量信号本身的z变换与傅氏变换不存在，但它的自协方差序列和自相关序列（当时）的z变换与傅氏变换却是存在的,其Z变换用Pxx(z)表示如下:,.,且,因为,将上式进行Z变换，得到：,如果z1是其极点，1/z*1也是极点。Pxx(z)的收敛域包含单位圆，因此Rxx(m)的傅里叶变换存在。,.,令z=exp(j),可以得到Rxx(m)的傅立叶变换如下所示：,将m=0代入上式，得到,随机序列的平均功率；,功率谱密度（简称功率谱）,维纳辛钦定理（Wiener-KhinchinTheorem）,1.3.2平稳随机信号的功率密度谱,.,有限时间段随机信号x(t)的功率谱分布为：功率谱：协方差函数的Fourier变换,.,（1）功率谱是的偶函数：,实、平稳随机序列功率谱的性质,（2）功率谱是实的非负函数，即,Pxx()0,.,功率谱的分类：平谱（白噪声谱）：一个平稳的随机序列w(n)，如果其功率谱在的范围内始终为一常数。白噪声序列在任意两个不同的时刻是不相关的。若w(n)是高斯型的，那么它在任意两个不同时刻又是相互独立的。,.,线谱：由一个或多个正弦信号所组成的信号的功率谱。若x(n)有L个正弦组成，即,其中，,是均匀分布的随机变量，可以求出,此即为线谱，它是相对与平谱的另一个极端情况。,.,ARMA谱：既有峰点又有谷点的连续谱，这样的谱可以由一个ARMA模型来表征。,.,1.4随机序列数字特征的估计,估计准则均值的估计方差的估计自相关函数的估计,.,1.4.1估计准则,估计方法：矩估计法、最大似然估计法、贝叶斯估计、最小均方误差估计、最大后验估计，最小二乘估计、EM算法等。估计准则：无偏性、有效性、一致性,.,假定对随机变量x观测了N次，得到N个观测值：x0,x1,x2,xN-1，希望通过这N个观测值估计参数，称为真值，它的估计值用表示。是观测值的函数，假定该函数关系用F表示，,(1.4.1),如果估计值接近真值的概率比较大，则说明这是一种比较好的估计方法。,.,图1.4.1估计量的概率密度曲线,.,1.偏移性令估计量的统计平均值与真值之间的差值为偏移B，其公式为,如果B=0，称为无偏估计。如果B0，则称为有偏估计。如果随着观察次数N的加大，能够满足下式：,则称为渐近无偏估计，这种情况在实际中是经常有的。,在许多情况下，一个有偏但渐进无偏的估计具有比一个无偏的估计好得多的分析和计算性质。,.,2.有效性估计量的方差如果两个估计量的观察次数相同，又都是无偏估计，哪一个估计量在真值附近的摆动更小一些，即估计量的方差更小一些，就说这一个估计量的估计更有效。如果和都是x的两个无偏估计值，对任意N，它们的方差满足下式：,式中,(1.4.4),则称比更有效。一般希望当N时，。,.,3.一致性均方误差估计量的均方误差用下式表示：,如果估计量的均方差随着观察次数的增加趋于0，即估计量随N的加大，在均方意义上趋于它的真值，则称该估计是一致估计。,.,上式表示，随N的加大，偏移和估计量方差都趋于零，是一致估计的充分必要条件。通常对于一种估计方法的选定，往往不能使上述的三种性能评价一致，此时只能对它们折衷考虑，尽量满足无偏性和一致性。,常数,估计量的均方误差与估计量的方差和偏移的关系推导如下：,.,1.4.2均值的估计,假设已取得样本数据：xi(i=0,1,2,N-1)，均值的估计量用下式计算：,式中N是观察次数。,.,1.偏移,因此B=0，说明这种估计方法是无偏估计。,.,2.估计量的方差与均方误差,先假设数据内部不相关，那么,.,以上式表明，估计量的方差随观察次数N增加而减少，当时，估计量的方差趋于0。这种情况下估计量的均方误差为,这样，当N时，B=0,，是一致估计。,如果数据内部存在关联性，会使一致性的效果下降，估计量的方差比数据内部不存在相关情况的方差要大，达不到信号方差的1/N。,.,1.4.3方差的估计,已知N点样本数据xi(i=0,1,2,N-1)，假设数据之间不存在相关性，且信号的均值mx已知，方差用下式估计,可以证明这是无偏一致估计：,数据之间不存在相关性，均值也不知道的情况下，方差的估计方法。方差估计用下式计算：,.,1.偏移性,式中的第二项已经推出，式中的第三项推导如下：,.,由此可以得到,上式表明，该估计方法，是有偏估计，但是渐进无偏。,.,为了得到无偏估计，可以用下式计算：,之间的关系是,和,还可以证明它也是一致估计。,.,1.4.4自相关函数的估计,无偏自相关函数的估计估计公式为,0mN-1,1-Nm匹配滤波器最小均方误差准则误差绝对值的期望值最小误差绝对值的三次或高次幂的期望值最小,.,x(n)=s(n)+v(n),Wiener滤波器的一般结构,.,2、维纳滤波和卡尔曼滤波简介,维纳(Wiener)滤波与卡尔曼(Kalman)滤波以估计的结果与信号真值之间的误差的均方值最小作为最优准则。,假设信号的真值与估计值间的误差为：,均方误差最小即误差的平方的统计平均值最小：,最小,.,3、本章讨论的主要内容,主要内容：维纳滤波器（FIR维纳滤波器和IIR维纳滤波器）、维纳预测器、卡尔曼滤波。分析思路：在均方误差最小的前提下，求得系统的单位脉冲响应h(n)或传递函数H(z)，进而计算滤波器的最小均方误差,.,2.2离散维纳滤波器的时域解,本节要解决的主要问题及方法正交性原理维纳霍夫方程FIR维纳滤波器的时域解,.,1、本节要解决的主要问题及方法,要解决的问题：寻求在均方误差最小情况下的单位脉冲响应h(n)或传递函数H(z)的表达式，这一过程称为设计维纳滤波器的过程。解决方法：实质是求解维纳霍夫(Wiener-Hopf)方程，即,本节讨论维纳滤波器的时域求解方法，即在时域求最小均方误差下的。,.,2、维纳滤波器时域求解的方法,因果维纳滤波器的输出y(n)：,n=0,1,2,设期望信号为d(n)，误差信号e(n)及其均方值E|e(n)|2分别为,e(n)=d(n)-y(n)=s(n)-y(n),.,k=0,1,2,记梯度算子为,k=0,1,2,要使均方误差为最小，须满足,.,上式展开为,又,.,将上述4式代入得,.,分析：上式说明，若使滤波器的均方误差达到，则误差信号与输入信号正交，这就是通常所说的正交性原理。,正交性原理：,.,正交性原理的重要意义：提供了一个数学方法，用以判断线性滤波系统是否工作于最佳状态。,.,正交性原理的引理：最佳状态时，由滤波器输出定义的期望响应的估计yopt(n)与估计误差eopt(n)正交：,.,3、维纳霍夫方程,将输入信号分配进去，得到,k=0,1,2,维纳-霍夫（WienerHopf）方程：,k=0,1,2,.,4、FIR维纳滤波器的时域解,FIR维纳滤波器的维纳-霍夫方程当h(n)是一个长度为M的因果序列时，FIR维纳滤波器的维纳-霍夫方程表述为,k=0,1,2,M-1,(2.2.21),.,把k的取值代入(2.2.21)式，得到,(2.2.22),.,定义,.,（2.2.22）式可以写成矩阵形式，即,对上式求逆，得到,这里涉及到计算相关矩阵和逆矩阵，计算量可能较大。,.,FIR维纳滤波器的估计误差的均方值假定所研究的信号都是零均值的，滤波器为FIR型，长度等于M，,.,结论：在所有N阶FIR滤波器中，最优滤波器的均方误差值是最小的，从这个意义上说，它是最优的。其阶数越高，采用的已知信息就越多，它的最小均方误差就越小，但相应的计算量也越大。,.,例1假设有一实的广义平稳随机信号s(n)的自相关函数（序列）为,且伴随有实的噪声w(n)，方差为，与s(n)无关。试设计一个M=2的FIR维纳滤波器来估计s(n)，并计算最小均方误差。,.,解：已知,.,由此，M=2最佳FIR维纳滤波器如下：,.,或者，利用下式求解,k=0,1,当k=0时，2h0+0.6h11当k=1时，0.6h0+2h10.6,.,估计该滤波器的输出误差的最小均方值：,经过此滤波器以前的均方误差为,.,2.3离散维纳滤波器的z域解,本节要解决的主要问题及方法白化滤波器非因果IIR维纳滤波器的Z域解因果IIR维纳滤波器的Z域解,.,1、本节要解决的主要问题及方法,待解决的问题：当h(n)是物理可实现的因果序列时，所得到的Wiener-Hopf方程将存在k0的约束，不能直接转到Z域求解。这使得在要求满足物理可实现条件下，求解维纳-霍夫方程成为一个十分困难的问题。解决方法：采用将观测序列x(n)白化的方法，求解Wiener-Hopf方程的Z域解。,.,若不考虑滤波器的因果性，维纳霍夫方程可以改写为,设定d(n)=s(n)，对上式两边做Z变换，得到,Sxs(z)=Hopt(z)Sxx(z),x(n)=s(n)+v(n),假设信号和噪声不相关，即rsv(m)=0，则,Sxs(z)=Sss(z)Sxx(z)=Sss(z)+Svv(z),.,对于因果IIR维纳滤波器，其维纳霍夫方程为,k=0,1,2,因为存在k0的约束，使得上式不能直接转到Z域求解。如有可能将其转化为非因果问题，则求解会大大简化。,.,则因果IIR维纳滤波器的维纳霍夫方程变为：,由此可见，只要将输入信号转化为白噪声，就可以解得因果IIR维纳滤波器的单位脉冲响应。,.,2、白化滤波器,任何具有有理功率谱密度的随机信号都可以看成是由一白色噪声w(n)激励某个物理网络所形成。,x(n)的时间序列信号模型,.,一般把信号转化为白噪声的过程称为白化，对应的滤波器称为白化滤波器。,x(n)的白化滤波器,如果B(z)是一个最小相移网络函数，那么1/B(z)显然也是一个物理可实现的最小相移网络，因此可以利用上式白化x(n)。,.,利用白化x(n)的方法求解维纳-霍夫方程,利用白化x(n)的方法求解维纳-霍夫方程:,.,于是，在最小均方误差准则下，求最佳Hopt(z)的问题就归结为求最佳G(z)的问题了。G(z)当然也需分因果性或非因果性的约束情况加以讨论。,如果已知信号的Pxx(z)，即可由下式求得B(z)。,.,计算Hopt(z)：,3、非因果IIR维纳滤波器的求解,.,(2.3.9),.,求满足最小均方误差条件下的g(k)：为求得相对于g(k)的最小均方误差值，令,-k,-k,Z变换后,.,非因果IIR维纳滤波器的最佳解：,s(n)=s(n)*(n)，x(n)=w(n)*b(n),rxs(m)=rws(m)*b(-m),Sxs(z)=Sws(z)B(z-1),.,非因果IIR维纳滤波器的复频域最佳解的一般表达式,假定信号与噪声不相关，即当Es(n)v(n)=0时可以得到：,Sxs(z)=Sss(z),Sxx(z)=Sss(z)+Svv(z),.,信号和噪声不相关时，非因果IIR维纳滤波器的复频域最佳解和频率响应分别为,.,由上式可知：当噪声为0时，Hopt=1，信号全部通过；当信号为0时，Hopt=0，噪声全部被抑制掉；当即有信号又有噪声时，Hopt1，大小随Pvv的增加而减小，从而达到降低噪声影响的目的。,.,图2.3.6非因果维纳滤波器的传输函数的幅频特性,.,计算最小均方误差E|e(n)|2min：,第一项根据围线积分法求逆Z变换的公式,rss(m)用下式表示:,得出,.,第二项由帕塞伐尔定理：,取y(n)=x(n),有,因此,得到,.,.,假定信号与噪声不相关，Es(n)v(n)=0，又因为实信号的自相关函数是偶函数，即rss(m)=rss(-m)，则,Sxs(z)=Sss(z)，Sxx(z)=Sss(z)+Svv(z)；Sss(z)=Sss(z-1),.,4、因果IIR维纳滤波器的求解若维纳滤波器是一个因果滤波器，要求,g(n)=0n0,则滤波器的输出信号,估计误差的均方值,E|e(n)|2=E|s(n)-y(n)|2,类似于（2.3.9）式的推导，得到,.,要使均方误差取得最小值，当且仅当,令,.,因果维纳滤波器的复频域最佳解为,.,维纳滤波的最小均方误差为,.,非因果情况时，滤波器的最小均方误差为,对于因果情况，,比较两式，可以看出非因果情况的E|e(n)|2min一定小于等于因果情况E|e(n)|2min。,.,因果维纳滤波器设计的一般方法：(1)根据观测信号x(n)的功率谱求出它所对应信号模型的传输函数，即采用谱分解的方法得到B(z)，Sxx(z)=2wB(z)B(z-1)。(2)求的Z反变换，取其因果部分再做Z变换，即舍掉单位圆外的极点，得(3)积分曲线取单位圆，计算Hopt(z),E|e(n)|2min。,.,例2.3.1已知,信号和噪声不相关，即rsv(m)=0，噪声v(n)是零均值、单位功率的白噪声（2v=1,mv=0)，求Hopt(z)和E|e(n)|2min。解根据白噪声的特点得出Svv(z)=1,由噪声和信号不相关，得到rxx(m)=rss(m)+rvv(m)。,.,考虑到B(z)必须是因果稳定的系统，得到,(1)、首先分析物理可实现情况:,因为,.,取其因果部分,.,取单位圆为积分围线，上式等于单位圆内的极点,的留数之和，即,.,未经滤波器的均方误差,所以通过因果维纳滤波器后均方误差下降8/3(2.7)倍。,.,(2)、对于非物理可实现情况有,.,.,令,单位圆内有两个极点0.8和0.5,应用留数定理，有,结论：比较两种情况下的最小均方误差,可以看出非物理可实现情况的最小均方误差小于物理可实现情况的均方误差。,.,维纳滤波部分的总结：,主要内容：FIR维纳滤波求解、非因果IIR维纳滤波求解、因果IIR维纳滤波求解；知识点：最小均方误差准则、正交性原理、维纳霍夫方程、白化滤波器；结论：在所有N阶FIR滤波器中，最优滤波器的均方误差值是最小的，从这个意义上说它是最优的；与非最优滤波相比，最优滤波的优势在于能对滤波的质量（逼近的好坏）做出评价；E|e(n)|2min与Sss(z)和Svv(z)重叠部分大小有关；最小均方误差比较：非因果IIR因果IIRFIR维纳滤波的最小均方误差,.,2.4维纳预测,本节讨论的主要问题及方法预测的可能性维纳预测的计算纯预测一步线性预测的时域解,.,1、本节讨论的主要问题及方法,讨论的主要问题：本节将讨论维纳预测器，以观测到的全部过去数据来估计当前或将来的值解决方法：以均方误差最小为估计原则,.,图2.4.1(b)维纳预测器,图2.4.1(a)维纳滤波器,.,2、预测的可能性,信号可以预测是由于信号内部存在关联性。数据间关联越密切，预测越准确；完全不关联，则无法预测。,输入：,输出：,.,x(n)在各不同时间点上的值的相关性是起因于B(z)的惯性。由观测到的x(n)的所有过去值和当前值来估计将来值时：如果，则仅由B(z)的惯性决定，如果，则将由B(z)的惯性和共同决定；,.,随机信号预测的特点：以信号的统计特性作为预测的主要依据；不可能作预测误差为零的绝对精确的预测；实际信号通常带有噪声干扰，使得预测和滤波联系在一起，成为带滤波的预测。,.,3、维纳预测的计算,.,同理，要使预测误差的均方值为最小，须满足,其中，hk表示h(k)。,即,.,非因果维纳预测器的最佳解为,因果维纳预测器的最佳解为,.,维纳预测的最小均方误差为,维纳预测的求解和维纳滤波器的求解方法是一致的。,.,4、纯预测假设x(n)=s(n)+v(n)，纯预测问题是在v(n)=0情况下对s(n+N),N0的预测，此时x(n)=s(n)。因果情况下，假设s(n)与v(n)不相关，纯预测情况下的输入信号的功率谱及维纳预测器的最佳解分别为,.,纯预测器的最小均方误差为,应用复卷积定理,.,取y(n)=x(n),得到,可以看到，随着N增加，E|e(n+N)|2min也增加。这一点也容易理解，当预测的距离越远，预测的效果越差，偏差越大，因而E|e(n+N)|2min越大。,.,例2.4.1已知,解（1）、求B(z)：首先对Sxx(z)进行功率谱分解。因为,所以,.,（2）、求H(z)：求出B(z)的Z反变换,对于因果维纳预测器有：,.,图2.4.1纯预测维纳滤波器,由Hopt(z)=aN，此时可以把纯预测的维纳滤波器看作是一个线性比例放大器（如图2.4.1所示）。,为什么预测值只与当前值s(n)有关，而和s(n+1)、s(n+2)无关呢？,.,将x(n)看成由白噪声(n)通过B(z)产生的，根据x(n)的信号模型,可以写出x(n)的时间序列模型所对应的输入输出方程,x(n)=(n)+ax(n-1),.,以上推导结果从统计意义上讲，当N0时，白噪声信号(n+N)对x(n)无影响。,将信号x(n)通过纯预测维纳滤波器，随着时间的递增，基于和,.,x的均值等于零，正说明的影响就统计平均来讲等于零。当mx=0，估计时，只需要考虑系统B(z)的惯性而可认为，这样估计出来的结果将有最小均方误差。,那么Sxx(z)在z=1处有一个极点，而现在在z1处无极点，故有,.,（3）、求E|e(n+N)|2min,结论：由上式可知，N越大，误差越大，如果N=0则没有误差。,.,5、一步线性预测的时域解,一步线性预测：采用p个最近的采样值来预测时间序列下一时刻的值，包括前向预测和后向预测两种。前向预测：在噪声v(n)=0的情况下，已知x(n-1),x(n-2)，,x(n-p),预测当前时刻x(n)；后向预测：在噪声v(n)=0的情况下，已知x(n)，x(n-1)，x(n-p+1)基础上，估计x(n-p)。,.,图2.4.2前后向预测数据之间的关系,.,（1）、前向预测,设定系统的单位脉冲响应为h(n)，其输出信号为,令apk=-h(k)，则,前向预测误差为,其中,ap0=1,.,一步前向预测器结构图,.,前向预测误差的均方值为：,或,Ee(n)x*(n-l)=0l=1,2,p,即,.,由于预测器的输出是输入信号的线性组合，故预测误差与预测的信号值同样满足正交性原理：,前向预测误差的最小均方值为：,.,将方程组写成矩阵形式（Yule-Walker方程）,.,维纳霍夫方程,Yule-Walker方程,.,前向预测误差为,AR信号模型为,对比两式可知，,.,（2）、后向预测,假设前、后向预测器具有相同的系数，即,后向预测误差为,.,后向预测误差的均方值为：,或,Eb(n)x*(n-p+l)=0l=1,2,p,即,.,由于预测器的输出是输入信号的线性组合，故预测误差与预测的信号值同样满足正交性原理：,后向预测误差的最小均方值为：,.,同理，可以得到下面方程组：,将方程组写成Yule-Walker方程形式,.,Yule-Walker方程具有以下特点：(1)除了第一个方程外，其余都是齐次方程;(2)与维纳-霍夫方程相比，不需要知道rxs(m)。(3)由方程组的p+1个方程，可以确定apk,k=1,2,p和Ee2(n)min，共计p+1个未知数。,.,Levinson-Durbin算法,Levinson-Durbin算法首先由一阶AR模型开始，一阶AR模型(p=1)的Yule-Walker为,由该方程解出：,.,然后增加一阶，即令p=2，得到,由上面方程解出：,.,然后令p=3,4,以此类推，可以得到Levinson-Durbin的一般递推公式如下：,.,例2.4.2已知,x(n)为AR模型，求AR模型参数（包括模型阶数和系数）。,rxx(m)=0.8|m|,解首先对Sxx(z)做傅里叶反变换，得到x(n)的自相关函数rxx(m),.,（1）、采用试验的方法确定模型阶数p。首先取p=2，各相关函数值由上式计算,计算得到,a1=-0.8，a2=0,2=0.36,.,（2）、如果取p=3，可计算出a1=-0.8,a2=a3=0,2=0.36，说明AR模型的阶数只能是一阶的。（3）、采用谱分解的方法，即对Sxx(z)进行谱分解，得到的模型也是一阶的，其时间序列模型和差分方程为,.,2.5卡尔曼(Kalman)滤波,本节讨论的主要问题及方法卡尔曼滤波的状态方程和量测方程卡尔曼滤波的递推算法发散问题及其抑制,.,1、本节讨论的主要问题及方法,讨论的主要问题：本节将主要讨论卡尔曼滤波的状态方程和量测方程，及其递推算法。解决方法：利用状态方程和递推方法寻找最小均方误差下状态变量的估计值，即,.,2、卡尔曼滤波的状态方程和量测方程假设某系统k时刻的状态变量为xk，状态方程和量测方程（也称为输出方程）表示为,Ak为状态转移矩阵，描述系统状态由时间k-1的状态到时间k的状态之间的转移；Ck为量测矩阵，描述状态经其作用，变成可量测或可观测的；xk为状态向量，是不可观测的；yk为观测向量；wk为过程噪声；vk为量测噪声。,.,图2.5.1卡尔曼滤波器的信号模型,.,假设状态变量的增益矩阵A不随时间发生变化，wk,vk都是零均值白噪声，方差分别是Qk和Rk，并且初始状态x0与wk,vk都不相关，且噪声向量wk,vk也互不相关，即,其中,.,3、卡尔曼滤波的递推算法基本思想：先不考虑输入信号k和观测噪声vk的影响，得到状态变量和输出信号（即观测数据）的估计值和再用输出信号的估计误差加权后校正状态变量的估计值，使状态变量估计误差的均方值最小。,.,当不考虑观测噪声和输入信号时，状态方程和量测方程为：,输出信号的估计误差（新息）为：,.,为了提高状态估计的质量，用输出信号的估计误差来校正状态变量,其中，Hk为增益矩阵，实质是一加权矩阵。,校正后状态变量的估计误差及其均方值分别为：,未经校正的状态变量估计误差的均方值为：,.,卡尔曼滤波要求状态变量的估计误差的均方值Pk为最小，因此卡尔曼滤波的关键就是要得到Pk与Hk的关系式，即通过选择合适的Hk,使Pk取得最小值。,.,递推步骤：计算状态变量的估计值：,.,计算状态变量的估计误差：,.,由上式可以看出，状态变量的估计误差由三部分组成，可记为,其中,.,计算状态变量估计误差的均方值Pk：,其中，,.,.,根据假设的条件，状态变量的增益矩阵A不随时间发生变化，起始时刻为0，则,xk-1仅依赖于x0,0,1,k-2,与k-1不相关，即,.,又,仅依赖于xk-1,vk-1，而与vk不相关，即,由此可知，,.,也就是说，Pk仅有其中的三项不为零，化简成,.,计算未经误差校正的状态变量估计误差的均方值Pk：,由上面推导结果可以看出，Pk是一对称矩阵，满足Pk=(Pk)T。,.,把Pk代入Pk,.,计算增益矩阵Hk分析上式，可以发现第一项和第三项均与Hk无关，第二项为一半正定阵，因此使Pk最小的Hk应满足,计算状态变量估计误差的最小均方误差矩阵,.,7.卡尔曼递推公式总结如下：,.,假设初始条件Ak,Ck,Qk,Rk,yk,xk-1,Pk-1已知，其中x0=Ex0,P0=varx0,那么，递推流程见图2.5.2。,.,图2.5.3求的卡尔曼滤波一步递推算法,.,卡尔曼滤波的特点：采用递推的方式，不要求存储全部的观测数据，便于实时计算；Hk,Pk,Pk与观测数据yk无关，可以事先计算好并存储；Pk与Qk，Rk是紧密相关的：Rk增大时，Hk变小；（量测噪声大时，增益应取小些，以便减弱量测噪声的影响）P0减小或Qk1变小或两者都变小时，Pk变小，Pk变小，Hk变小；（P0减小说明初始估计较好，Qk1变小表示状态转移的随机波动小，故新观测值对状态预测的校正影响减弱，增益应取小些）,.,例x(t)是一个时不变的标量随机变量，y(t)=x(t)+v(t)是观测数据，其中v(t)为白噪声。若用Kalman滤波器自适应估计x(t)，试设计Kalman滤波器。构造状态空间方程设计x(t)的更新公式,.,例已知,在k=0时开始观察yk,yk=xk+vk，用卡尔曼过滤的计算公式求xk，并与维纳过滤的方法进行比较。,.,解(1)由x(n)功率谱及量测方程，确定卡尔曼递推算法。首先对Sxx(z)进行功率谱分解，确定x(n)的信号模型B(z)，从而确定Ak。根据Sxx(z)=2B(z)B(z-1)，得出,由此可以得到卡尔曼滤波的状态方程为：,.,由量测方程yk=xk+vk,确定Ck=1，,将参数矩阵Ak,Ck,Rk代入卡尔曼递推公式得到,另由题目可知，,.,(2)求出卡尔曼滤波的输出。由卡尔曼递推公式，以及,P0=varx0=1,可得到Pk,Hk,Pk及（k表示迭代次数），迭代流程为：,.,表2.5.1Kalman滤波迭代结果,.,(3)求出卡尔曼滤波的稳态解。,消去Pk，可以得到Pk的递推关系:,.,要求的是稳态解，因此将Pk,Pk-1都用P代替,得到,根据P，可以确定达到稳态后的卡尔曼滤波的状态方程:,.,(4)用维纳滤波（因果维纳滤波）的方法分析。采用功率谱分解的方法，得到x(n)的时间序列信号模型的传输函数H(z):,.,上式说明x是一阶AR模型，对H(z)做Z反变换得到,.,比较可以看出卡尔曼滤波的稳态解与维纳解是相等的。,.,维纳滤波：维纳滤波中则采用物理意义较为间接的频率域语言；根据全部过去的和当前的观察数据来估计信号的当前值；解是以均方误差最小条件下所得到的系统的传递函数H(z)或单位样本响应h(n)的形式给出的，或者说其信号模型是从信号与噪声的相关函数得到的；适用于一维平稳随机信号。卡尔曼滤波：卡尔曼滤波中采用物理意义较为直观的时间域语言；采用递推算法，用前一个估计值和最近一个观察数据(它不需要全部过去的观察数据)来估计信号的当前值；解是以估计值(常常是状态变量值)形式给出的，或者说其信号模型是从状态方程和量测方程得到的；适用于多维和非平稳随机信号。,.,4、应用举例-1,假设一运动目标在x，y平面上沿y=x方向运动，由于外界干扰，其运动轨迹发生了偏移。试采用Kalman滤波方法跟踪估计其运动状态。,受到噪声干扰的运动轨迹,.,解：定义其在x，y方向的运动状态分别为：x方向位移为x1k，速度为x3k；y方向位移为x2k，速度为x4k；由此可得其状态方程为：,.,设其量测矩阵为：由此可得量测方程为：,.,Kalman滤波后的运动轨迹,.,Kalman滤波的跟踪性能,.,应用举例-2假设雷达跟踪的目标为飞行器，发射的脉冲时间间隔为T，(k)和(k+1)表示对平均距离R的偏差。假定偏差是统计随机的，均值为零,那么可以写出距离方程,式中，表示速度。用u表示加速度，则可以得到加速度方程,假定加速度u(k)是零均值的平稳白噪声，即满足,.,.,根据状态变量的物理含义，得到以下方程：,式中，u1(k)和u2(k)表示在区间T径向速度和方向的变化。由此可以得到状态方程为,.,再来看量测方程，距离和方向的估计值为,将上两式分别写成向量形式和矩阵形式:观测噪声V(k)假定为高斯噪声，均值为0，方差为2和2。,Z(k)=CX(k)+V(k),.,状态方程激励信号的协方差阵为,其中，,为径向加速度在T时刻的方差；,为角加速度在T时刻的方差。,.,量测方程的噪声协方差阵,.,根据接收到的相邻两个回波脉冲，可以测量出飞行器的距离z1(1)和z1(2)，方位角z2(1)和z2(2)。根据这四个数据，计算状态变量估计值为：,.,k时刻的状态向量的估计值为,k=2时,.,k=2时的状态向量为,.,计算k=2时刻的协方差阵,式中,.,因此，误差协方差阵是44阶矩阵，假设噪声源u和v是独立的，则协方差阵为,其中,.,现代数字信号处理,第三章,.,第三章自适应数字滤波器,3.1引言3.2LMS横向自适应滤波器3.3LMS格型自适应滤波器3.4LS自适应滤波3.5自适应滤波的应用,.,3.1引言,自适应数字滤波器自适应数字滤波器的应用,.,1、自适应数字滤波器,维纳滤波存在的问题：适用于平稳随机信号的最佳滤波；维纳滤波器的参数是固定的；必须已知信号和噪声的有关统计特性。,.,自适应数字滤波器：利用前一时刻已获得的滤波器参数等结果，自动地调节现时刻的滤波器参数，以适应信号与噪声未知的或随时间变化的统计特性，从而实现最优滤波。,.,维纳滤波器的输入输出关系,.,自适应滤波器原理图,e(n)=d(n)-y(n),自适应滤波器H(z)的系数根据误差信号，通过一定的自适应算法，不断地进行改变，使输出y(n)最接近期望信号d(n)。实际中，d(n)要根据具体情况进行选取。,.,自适应滤波器的特点：滤波器的参数可以自动地按照某种准则调整到最佳滤波，是一种最佳的时变数字滤波器；实现时不需要任何关于信号和噪声的先验统计知识；具有学习和跟踪的性能。,.,2、自适应数字滤波器的应用,1967年由美国B.Windrow及Hoff等人提出自适应数字滤波算法，主要用于随机信号处理。自提出以来，自适应滤波器发展很快，在各个方面得到了广泛的应用：系统模型识别；通信信道的自适应均衡；雷达与声纳的波束形成；消除心电图中的电源干扰；噪声中信号的检测、跟踪、增强和线性预测等。,.,自适应滤波器分类：FIR自适应滤波器、IIR自适应滤波器最小均方误差（LMS）自适应滤波器、最小二乘（LS）自适应滤波器横向结构、格型结构,.,3.2LMS自适应滤波器,LMS自适应滤波器的基本原理最陡下降法Widrow-HoffLMS算法LMS算法的收敛性质,.,1、LMS自适应横向滤波器的基本原理,e(n)=d(n)-y(n),.,表示成矩阵形式：,式中,误差信号表示为,.,图3.1.3自适应线性组合器,.,图3.1.4横向FIR结构的自适应滤波器,.,利用LMS准则求最佳权系数和最小均方误差误差信号被用来作为权系数的控制信号。均方误差（性能函数）为,上式表明，当输入信号和期望信号是平稳随机信号时，均方误差信号Ee2j是权系数的二次函数，它是一个中间上凹的超抛物形曲面，是具有唯一最小值的函数。,.,图3.2.5二维权矢量性能表面,.,调节加权系数W使均方误差最小，相当于沿超抛物形曲面下降到最小值。在数学上，可用梯度法沿着该曲面调节权矢量的各元素得到均方误差Eej2的最小值。,.,用表示Eej2的梯度向量，用公式表示如下：,为求最佳权系数，令即,当滤波器的单位脉冲响应取最佳值时，其误差信号和输入信号是正交的。,.,可以得到,最佳权矢量W*：,均方误差将取最小值：,或者将上式取转置，用下式表示：,.,2、最陡下降法,采用最优化的数学算法最陡下降法（SteepestDescentMethod），搜索性能函数表面寻找最佳权系数。,.,自适应过程的物理意义,.,最陡下降法的递推公式,其中,是一个控制稳定性和收敛速度的参量，称之为收敛因子。方向是性能函数下降最快的方向，因此称为最陡梯度下降法。,Ee2(j)与W的关系在几何上是一个“碗形”的多维曲面。,收索方向为梯度负方向，每一步更新都使目标函数值减小。,.,3、Widrow-HoffLMS算法,由Widrow等人提出，采用梯度的估计值代替梯度的精确值。,.,LMS算法的权值计算LMS(LeastMeanSquare)算法的梯度估计值用一条样本曲线进行计算，公式如下：,因为,所以,.,对梯度估计值求统计平均，得到,上式说明梯度估计值是无偏估计的，梯度的估计量在理想梯度j附近随机变化。,.,最陡下降法的递推公式修改为：,权系数也是在理想情况下的权轨迹附近随机变化的,搜索方向为瞬时梯度负方向，不能保证每一步更新都使目标函数值减小，但总趋势使目标函数值减小。,.,4、LMS算法的收敛性质,对加权矢量取统计平均：,.,令,Vj=Wj-W*,(3.2.58),那么,EVj+1=EWj+1-W*,(3.2.59),EVj=EWj-W*,V称为偏差权向量，它表示权向量对最佳权向量的偏差。,.,将上面两式代入(3.2.57)式中，得到,它的递推解是,.,将Rxx进行分解，得到,Rxx=QTQ,=QTRxxQ,其中，Q称为正交矩阵或特征矩阵，是由特征值组成的对角矩阵，用下式表示：,.,令,得到,(3.2.62),.,由EVj=EWj-W*,LMS算法加权矢量是在最陡下降法加权矢量附近随机变化的，其统计平均值等于最陡下降法的加权矢量。,.,LMS算法加权矢量的收敛条件为,(3.2.64),加权矢量的的收敛条件,收敛条件还可以表示为,.,值对收敛稳定性和收敛速度影响很大，首先必须选择得足够小，使之满足收敛条件，同时，它还影响收敛速度。,加权矢量的收敛性质,.,W*,W,Wj,W,Eej2,.,.,权矢量的过渡过程：,LMS算法的过渡过程,由(3.2.62)式，第i个分量为,(3.2.68),(3.2.62),.,引入时常数i,(3.2.69),(3.2.70),(3.2.71),同样，第i个权系数可以表示成,(3.2.72),令,.,LMS算法性能函数的过渡过程按照(3.2.4)式，信号误差为,(3.2.73),其中，最佳误差信号为,.,按照(3.2.73)式写出均方误差表示式：,假定Xj和Vj不相关，上式中最后一项为0，那么,假设加权系数变化很小，Vj也变化很小，EVjVj，这样：,.,类似前面的推导，得到,(3.2.74),(3.2.75),LMS算法的学习曲线同样近似为几个不同时间常数的指数和，性能函数的衰减时间常数约为最佳权系数衰减时间常数的一半。,.,最终的收敛要取决于最慢的指数过程，它的时常数最大，对应最小的特征值，公式如下：,.,稳态误差和失调系数存在问题：实际中，工作于实时的自适应算法，权系数不能完全收敛于最佳值，只是其平均值可以收敛到最佳值。这是由于采用梯度的估计值代替梯度值而产生的估计误差。,解决方法：引入失调系数M进行描述，其定义为,上式说明，和输入功率加大都会增加失调系数。,.,跟踪能力越好，曲线稳态越接近横轴。,.,图3.2.10LMS算法稳态误差,.,上式说明，当选择足够长的，M可以做到任意小。但当一定时，M随着权数目N的增加而增大。另一方面，越小，收敛也会越快。如此，便产生了动态特性和静态特性的矛盾，这就要求我们在收敛速度和失调量间取得适当的折中。一般而言，迭代次数选择为。,.,例设M=10%（一般M=10%可以满足大多数工程设计的要求）并设N=10，问应该取多少次迭代数？解：,按经验实际迭代次数应取100（=10滤波器长度N）或取,.,图3.2.11LMS算法的学习曲线,.,3.3LMS格型自适应滤波器,预测误差滤波器预测误差格型滤波器LMS格型自适应滤波器,.,1、线性预测误差滤波器,前向预测误差为,将前向预测误差用表示，上式重写为,.,前向预测误差滤波器,.,将上式用矩阵方程表示为,其Yule-Walker方程式为：,.,假设前、后向预测器具有相同的系数，则后向预测误差为,后向预测误差用表示，上式可写为：,.,后向预测误差滤波器,.,前、后向预测误差滤波器的系数函数之间的关系是,为了求解前、后向预测误差滤波器的最佳系数，需要解Yule-Walker方程，求解方法采用Levinson-Durbin算法。,.,Levinson-Durbin的一般递推公式如下：,.,其中，kp称为反射系数。2p和2p-1是预测误差的均方值，因此1-k2p必须大于等于0，这样kp应要求满足下式：,由上式可知，预测误差随递推次数增加而减少。,.,2、预测误差格型滤波器,由预测误差滤波器导出格型滤波器将前面已推导的前向预测误差公式重写如下:,.,将系数ap,k(k=1,2,3,p)的递推公式代入上式，并令kp=ap,p，得到,.,由此，便可得到前向预测误差的递推公式，即,类似地，得到后向预测误差的递推公式为,对于p=0的情况，得到,.,图3.3.5全零点格型滤波器,.,格型滤波器的性质(1)各阶后向预测误差相互正交。用公式表示如下：,(2)平稳随机序列可由自相关函数或反射系数表征。(3)前向预测误差滤波器是最小相位滤波器，即它的全部零点在单位圆内。后向预测误差滤波器是一个稳定的最大相位滤波器，全部零点在单位圆外。,.,3、LMS格型自适应滤波器,在满足预测误差的均方值最小的准则下，最佳自适应格型滤