中科院 现代数字信号处理课件-完全版.ppt

1、1,现代数字信号处理,信息科学与工程学院,2,现代数字信号处理,第一章,3,预修课程,概率论与数理统计信号与系统数字信号处理1随机过程,4,课程讨论的主要问题1,对信号特性的分析研究对象：确定性信号随机信号；研究目的：提取信号中的有用信息；主要内容：随机信号的统计特性；随机信号的参数建模；功率谱估计（经典谱估计和现代谱估计）；时频分析（短时傅立叶变换、维格纳变换、小波变换）,5,6,7,课程讨论的主要问题2,信号处理技术研究目的：提高信号质量；主要内容：维纳滤波理论（平稳条件下）；卡尔曼滤波理论（非平稳条件下）；自适应滤波理论；,8,课程特点,现代数字信号处理的基本概念、基本理论和分析方法；结

2、合有关问题，介绍其在相关领域的应用。,9,课程讲述线索,本课程采用对不同处理对象的线索来讲解：确定性信号随机信号；平稳信号处理非平稳信号处理;时域频域时频分析;根据处理对象和应用背景的不同而选择相应的处理方法,10,课程主要内容,第一章时域离散随机信号的分析第二章维纳滤波和卡尔曼滤波第三章自适应数字滤波器第四章功率谱估计第五章时频分析,11,成绩评定,课堂成绩闭卷考试,12,教材及参考书,教材：张贤达，现代信号处理第二版，清华大学出版社，北京，2002。丁玉美，数字信号处理时域离散随机信号处理，西安电子科技大学出版社，2002。参考书：胡广书，数字信号处理理论、算法与实现第二版，清华大学出版社

3、，北京，2003。RobertoCristi,ModernDigitalSignalProcessing,Thomson-Brooks/Cole，2004。DimitrisG.Manolakis,etc,StatisticalandAdaptiveSignalProcessing,McGrawHill,2000。,13,第一章时域离散随机信号的分析,1.1随机信号1.2时域统计表达1.3Z域及频域的统计表达1.4随机序列数字特征的估计1.5平稳随机序列通过线性系统1.6时间序列信号模型,14,1.1随机信号,信号的分类随机变量及其统计描述随机信号及其统计描述,15,1.1.1信号的分类,信号的

4、分类：确定性信号随机信号平稳随机信号非平稳随机信号,16,1.1.2随机变量,随机变量的统计描述：概率分布函数：概率密度函数：均值（一阶矩）：均方值（二阶原点矩）：方差（二阶中心矩）：协方差：,17,几种特殊分布的随机变量的概率密度：均匀分布：高斯分布：N个实随机变量的联合高斯分布的概率密度：,其中，,18,1.1.3随机信号,实际应用中，常常把随时间变化而变化的随机变量，称为随机过程。随机信号的特点：在任何时间的取值都是随机的（不能确切已知）取值服从概率分布规律（统计特性确定，但未知）随机信号定义：一个随机信号X(t)是依赖时间t的一族随机变量，或者说它是所有可能的样本函数的集合。,19,图

5、1.1.1n部接收机的输出噪声,X(t)=xi(t),i=1,2,3,X(t)是所有可能样本函数的集合,X(t1)=xi(t1),i=1,2,3,X(t)=X(t1),X(t2),X(t3),X(t)是依赖时间t的一族随机变量,20,如果对随机信号X(t)进行等间隔采样，或者说将X(t)进行时域离散化,得到随机变量X(t1),X(t2),X(t3),所构成的集合称为时域离散随机信号。用n取代tn，随机序列用X(n)表示，即随机序列是随n变化的随机变量序列。,21,图1.1.2n部接收机输出噪声的时域离散化,X(n)是依赖时间n的一族随机变量,22,样本函数xi(t)或样本序列xi(n),随机信

6、号X(t)或X(n),随机变量X(t1),X(t2),X(t3),特定时刻,23,随机信号的统计描述：一维概率分布函数：一维概率密度函数：上述两式只描述随机序列在某一时刻n的统计特性，而对于随机序列，不同n的随机变量之间并不是孤立的。,24,二维概率分布函数:,对于连续随机变量,其二维概率密度函数为,以此类推,N维概率分布函数为,对于连续随机变量,其N维概率密度函数为,25,数学期望(统计平均值):均方值:方差：,一般均值、均方值和方差都是n的函数,但对于平稳随机序列,它们与n无关,是常数。,26,自相关函数：自协方差函数：,对于零均值随机序列，,这种情况下，自相关函数和自协方差函数没有什么区

7、别。,，则,27,互相关函数定义为,互协方差函数定义为,同样,当时，,如果C(Xm,Yn)=0，则称信号Xm与Yn互不相关。,28,1.2平稳随机信号的时域统计表达,平稳随机信号的定义平稳随机信号相关函数的性质平稳随机信号的各态遍历性,29,1.2.1平稳随机信号的定义,狭义(严)平稳随机序列：随机信号的统计特性不随时间平移而变化。广义(宽)平稳随机序列：随机信号的均值和方差不随时间变化而变化，其相关函数与时间起点无关，仅是时间差的函数。,30,均值、方差和均方值均与时间无关：,自相关函数与自协方差函数是时间差的函数:,31,对于两个各自平稳且联合平稳的随机序列,其互相关函数为,显然,对于自相

8、关函数和互相关函数,下面公式成立:,如果对于所有的m，满足公式：Rxy(m)=0，则称两个随机序列互为正交。如果对于所有的m，满足公式:Cxy(m)=0，则称两个随机序列互不相关。,Rxx(m)是Hermitian对称的,32,1.2.2实平稳随机信号相关函数的性质,（1）自相关函数和自协方差函数是m的偶函数,用下式表示:,（2）Rxx(0)数值上等于随机序列的平均功率：,（3）相关性随时间差的增大越来越弱：,（4）大多数平稳随机序列内部的相关性随着时间差的变大，愈来愈弱：,（5）,33,34,1.2.3平稳随机信号的各态遍历性,集合平均：由随机序列X(n)的无穷样本在相应时刻n对应相加来实现

9、的。,由上可知，集合平均要求对大量的样本进行平均,实际中这种做法是不现实的。,35,时间平均：设x(n)是平稳随机序列X(n)的一条样本曲线，其时间平均值为,类似地，其时间自相关函数为,36,各态遍历性：对一平稳随机信号，如果它的所有样本函数在某一固定时刻的一阶和二阶统计特性（集合平均）和单一样本函数在长时间内的统计特性（时间平均）一致，则称其为各态遍历信号。意义：单一样本函数随时间变化的过程可以包括该信号所有样本函数的取值经历。直观理解：只要一个实现时间充分长的过程能够表现出各个实现的特征，就可以用一个实现来表示总体的特性。,x(n)=EX(n),x(n)x*(n+m)=EX(n)X*(n+

10、m),37,1.3平稳随机信号的Z域及频域的统计表达,相关函数的Z变换平稳随机信号的功率密度谱,38,1.3.1相关函数的Z变换,平稳随机序列是非周期函数，且是能量无限信号，无法直接利用傅里叶变换进行分析。由前面对自相关函数和自协方差函数的讨论可知：当时，Rxx(m)是收敛序列。这说明虽然无限能量信号本身的z变换与傅氏变换不存在，但它的自协方差序列和自相关序列（当时）的z变换与傅氏变换却是存在的,其Z变换用Pxx(z)表示如下:,39,且,因为,将上式进行Z变换，得到：,如果z1是其极点，1/z*1也是极点。Pxx(z)的收敛域包含单位圆，因此Rxx(m)的傅里叶变换存在。,40,令z=exp

11、(j),可以得到Rxx(m)的傅立叶变换如下所示：,将m=0代入上式，得到,随机序列的平均功率；,功率谱密度（简称功率谱）,维纳辛钦定理（Wiener-KhinchinTheorem）,1.3.2平稳随机信号的功率密度谱,41,有限时间段随机信号x(t)的功率谱分布为：功率谱：协方差函数的Fourier变换,42,（1）功率谱是的偶函数：,实、平稳随机序列功率谱的性质,（2）功率谱是实的非负函数，即,Pxx()0,43,功率谱的分类：平谱（白噪声谱）：一个平稳的随机序列w(n)，如果其功率谱在的范围内始终为一常数。白噪声序列在任意两个不同的时刻是不相关的。若w(n)是高斯型的，那么它在任意两个

12、不同时刻又是相互独立的。,44,线谱：由一个或多个正弦信号所组成的信号的功率谱。若x(n)有L个正弦组成，即,其中，,是均匀分布的随机变量，可以求出,此即为线谱，它是相对与平谱的另一个极端情况。,45,ARMA谱：既有峰点又有谷点的连续谱，这样的谱可以由一个ARMA模型来表征。,46,1.4随机序列数字特征的估计,估计准则均值的估计方差的估计自相关函数的估计,47,1.4.1估计准则,估计方法：矩估计法、最大似然估计法、贝叶斯估计、最小均方误差估计、最大后验估计，最小二乘估计、EM算法等。估计准则：无偏性、有效性、一致性,48,假定对随机变量x观测了N次，得到N个观测值：x0,x1,x2,xN

13、-1，希望通过这N个观测值估计参数，称为真值，它的估计值用表示。是观测值的函数，假定该函数关系用F表示，,(1.4.1),如果估计值接近真值的概率比较大，则说明这是一种比较好的估计方法。,49,图1.4.1估计量的概率密度曲线,50,1.偏移性令估计量的统计平均值与真值之间的差值为偏移B，其公式为,如果B=0，称为无偏估计。如果B0，则称为有偏估计。如果随着观察次数N的加大，能够满足下式：,则称为渐近无偏估计，这种情况在实际中是经常有的。,在许多情况下，一个有偏但渐进无偏的估计具有比一个无偏的估计好得多的分析和计算性质。,51,2.有效性估计量的方差如果两个估计量的观察次数相同，又都是无偏估计

14、，哪一个估计量在真值附近的摆动更小一些，即估计量的方差更小一些，就说这一个估计量的估计更有效。如果和都是x的两个无偏估计值，对任意N，它们的方差满足下式：,式中,(1.4.4),则称比更有效。一般希望当N时，。,52,3.一致性均方误差估计量的均方误差用下式表示：,如果估计量的均方差随着观察次数的增加趋于0，即估计量随N的加大，在均方意义上趋于它的真值，则称该估计是一致估计。,53,上式表示，随N的加大，偏移和估计量方差都趋于零，是一致估计的充分必要条件。通常对于一种估计方法的选定，往往不能使上述的三种性能评价一致，此时只能对它们折衷考虑，尽量满足无偏性和一致性。,常数,估计量的均方误差与估计

15、量的方差和偏移的关系推导如下：,54,1.4.2均值的估计,假设已取得样本数据：xi(i=0,1,2,N-1)，均值的估计量用下式计算：,式中N是观察次数。,55,1.偏移,因此B=0，说明这种估计方法是无偏估计。,56,2.估计量的方差与均方误差,先假设数据内部不相关，那么,57,以上式表明，估计量的方差随观察次数N增加而减少，当时，估计量的方差趋于0。这种情况下估计量的均方误差为,这样，当N时，B=0,，是一致估计。,如果数据内部存在关联性，会使一致性的效果下降，估计量的方差比数据内部不存在相关情况的方差要大，达不到信号方差的1/N。,58,1.4.3方差的估计,已知N点样本数据xi(i=

16、0,1,2,N-1)，假设数据之间不存在相关性，且信号的均值mx已知，方差用下式估计,可以证明这是无偏一致估计：,数据之间不存在相关性，均值也不知道的情况下，方差的估计方法。方差估计用下式计算：,59,1.偏移性,式中的第二项已经推出，式中的第三项推导如下：,60,由此可以得到,上式表明，该估计方法，是有偏估计，但是渐进无偏。,61,为了得到无偏估计，可以用下式计算：,之间的关系是,和,还可以证明它也是一致估计。,62,1.4.4自相关函数的估计,无偏自相关函数的估计估计公式为,0mN-1,1-Nm0,将上面两式写成一个表达式：,63,1.偏移性,因此,B=0,这是一种无偏估计。,64,为了分

17、析简单，假设x(n)是实的、均值为0的高斯随机信号。对于均值为0的高斯随机变量，其四阶矩为：,2.估计量的方差,利用上式，求和号内的部分可以写成下式：,65,由此，,式中，令r=k-n，此时求和域发生了变化，如图1.4.2所示。,(1.4.25),66,图1.4.2,67,根据变化后的求和域(k,r)，估计量的方差推导如下:,68,一般观测数据量N很大，,69,有偏自相关函数的估计有偏自相关函数用表示，计算公式如下：,下面可推导出它服从渐近一致估计的原则，比无偏自相关函数的估计误差小，因此以后需要由观测数据估计自相关函数时，均用上式进行计算。,70,无偏自相关函数与有偏自相关函数的关系式为,因

18、为是无偏估计，因此得到,1.偏移性,上式说明是有偏估计，但是渐近无偏，其偏移为,71,的统计平均值等于其真值乘以三角窗函数wB(m)（或称巴特利特窗函数）,三角窗函数的波形如图1.4.3所示。只有当m=0时，才是无偏的，其它m都是有偏的，但当N时，wB(m)1，B0,因此是渐近无偏。,72,图1.4.3三角窗函数,73,显然,当N时,，并且,由以上得到结论：虽然是有偏估计，但是渐近一致估计，估计量的方差小于的方差。因此实际中多用这种有偏自相关函数估计。,2.估计量的方差,74,1.5平稳随机序列通过线性系统,系统响应的均值、自相关函数和平稳性分析输出响应的功率谱密度函数系统的输入、输出互相关函

19、数相关卷积定理,75,76,稳定系统有界输入必导致有界输出的系统对连续系统:对离散系统:,77,因果系统输出必在输入之后,78,稳定系统：h(t)绝对可积分收敛域包含单位圆因果系统：收敛域内是否包含，即因果稳定系统：传递函数的极点全部在单位圆内最小相位系统：H(z)全部零点在单位圆内可逆系统：无在单位圆上零点的系统,79,1.5.1系统响应的均值、自相关函数和平稳性分析,这样,mx与时间无关，my也与时间无关。,输出均值：,80,输出的自相关函数：,对于一个线性非时变系统，如果输入是平稳随机序列，则输出也是平稳随机序列。,81,令l=r-k,得到,式中,82,1.5.2输出响应的功率谱密度函数

20、,将z=ej代入上式，得到输出功率谱：,Pyy(ej)=Pxx(ej)H(ej)H*(ej)=Pxx(ej)|H(ej)|2,如果h(n)是实序列，,v(l)=h(l)*h(-l),V(z)=H(z)H(z-1),Pyy(z)=Pxx(z)H(z)H(z-1),83,1.5.3系统的输入、输出互相关函数,输入、输出互相关定理：,84,1.5.4相关卷积定理,线性系统输出的自相关函数等于输入自相关函数与线性系统单位脉冲响应的自相关函数的卷积，即,或者简单地说,卷积的相关函数等于相关函数的卷积。用一般公式表示如下：,如果,那么,ref(m)=rac(m)*rbd(m),85,例1.5.1假设系统的

21、输入、输出和单位脉冲响应分别用x(n)、y(n)和h(n)表示，试求输入、输出互相关函数和输入自相关函数之间的关系。解：按照相关卷积定理，得到,x(n)=x(n)*(n)y(n)=x(n)*h(n)Rxy(m)=Rxx(m)*Rh(m),式中,相应的有：,86,例1.5.2按照图1.5.2推导两个系统的输出互相关函数与输入互相关函数之间的关系。,图1.5.2,87,解：y1(n)=x1(n)*h1(n)y2(n)=x2(n)*h2(n),按照相关卷积定理,有,88,按照图1.5.2还有下面关系式,(1),(2),89,1.6时间序列信号模型,三种时间序列模型三种时间序列信号模型的适应性自相关函

22、数、功率谱与时间序列信号模型的关系,90,图1.6.1平稳随机序列的信号模型,91,1.6.1三种时间序列模型,假设信号模型用一个p阶差分方程描述:,x(n)+a1x(n-1)+apx(n-p)=w(n)+b1w(n-1)+bqw(n-q),式中,w(n)是零均值、方差为2w的白噪声;x(n)是要研究的随机序列。,（1.6.1）,92,1.自回归-滑动平均模型（简称ARMA模型）该模型的差分方程用（1.6.1）式描述，系统函数用下式表示：,式中，是自回归参数，叫做滑动平均参数。,93,利用维纳辛钦定理给出其功率谱密度为,类似地，可得功率谱为,94,图1.6.1ARMA(p,q)随机过程模型,9

23、5,2.滑动平均模型（MovingAverage，简称MA模型）当（1.6.1）式中ai=0,i=1,2,3,p时,该模型称为MA模型。模型差分方程和系统函数分别表示为：,x(n)=w(n)+b1w(n-1)+bqw(n-q)H(z)=B(z)B(z)=1+b1z-1+b2z-2+bqz-q,上式表明该模型只有零点,没有除原点以外的极点，因此此模型也称为全零点模型。如果模型全部零点都在单位圆内部，则是一个最小相位系统。,96,MA模型的功率谱密度为,类似地，可得功率谱为,97,图1.6.2MA(q)随机过程模型,98,3.自回归模型（Autoregressive,简称AR模型）当（1.6.1）

24、式中bi=0,i=1,2,3,，q时，该模型称为AR模型。模型差分方程和系统函数分别表示为：,x(n)+a1x(n-1)+a2x(n-2)+apx(n-p)=w(n),A(z)=1+a1z-1+a2z-2+apz-p,上式表明该模型只有极点,没有除原点以外的零点，因此该模型也称为全极点模型。只有当全部极点都在单位圆内部时，模型才稳定。,99,AR模型的功率谱密度为,类似地，可得功率谱为,100,图1.6.3AR(p)随机过程模型,101,关于ARMA、AR、MA模型的功率谱，可以做一个定性的描述：由于MA模型是通过一个全零点滤波器产生，当有零点接近单位圆时，MA谱可能是一个深谷；类似地，当极点

25、接近单位圆时，AR谱对应的频率处会是一个尖峰；ARMA谱既有尖峰又有深谷。,102,滤波器长度：一般是指滤波器的单位脉冲响应的长度。对于FIR滤波器或者MA模型,其单位脉冲响应的长度是有限长的，长度就是系数的个数；对于IIR滤波器或者AR模型、ARMA模型，其单位脉冲响应的长度则是无限长的。滤波器阶数：对于IIR滤波器或者AR模型、ARMA模型，阶数是指p的大小，如果用差分方程表示，则p就是差分方程的阶数。对于FIR滤波器或者MA模型的阶数，则是指（1.6.4）式中q的大小，或者说是它的长度减1。,103,1.6.2三种时间序列信号模型的适用性,沃尔德（Wold）分解定理：任意一个实平稳随机序

26、列x(n)均可以分解成：x(n)=u(n)+v(n)，式中u(n)是确定性信号,v(n)是具有连续谱分布函数的平稳随机MA序列。由Wold分解定理可知，AR模型或ARMA模型可用一个可能是无穷阶的MA模型表示，说明MA信号模型和ARMA信号模型具有普遍适用的性质。,104,柯尔莫格洛夫（Kolmogorov）定理：该定理暗示了MA模型或ARMA模型可用一个可能是无穷阶AR模型来表示，从而说明了AR信号模型的适用性。任意一个MA序列可用无限阶AR信号模型表示，或者用阶数足够大的AR信号模型近似表示。证明如下：,b0=1,对上式进行Z变换得到,X(z)=B(z)W(z),设MA序列为,105,这样

27、,X(z)G(z)=(1+g1z-1+g2z-2+)X(z)=W(z),对上式进行Z反变换，得到,x(n)+g1x(n-1)+g2x(n-2)+=w(n),上式表示的就是x(n)的AR信号模型差分方程，因此证明了一个时间序列可以用有限阶MA信号模型表示时，也可以用无限阶的AR模型表示。,B-1(z)=G(z)=1+g1z-1+g2z-2+,设MA信号模型满足可逆性条件，即B-1(z)存在，令,106,对于ARMA模型也可以用无限阶AR模型表示。,设AR模型系统函数用HAR(z)表示：,令HAR(z)=H(z),即,可以求出ci系数,107,一个ARMA模型可以用一个MA模型来表示：,用MA模型

28、表示：,108,一般AR模型适合表示时间序列的功率谱有尖峰而没有深谷的信号，MA模型适合表示其功率谱有深谷而没有尖峰的信号，ARMA模型则适合尖峰和深谷都有的情况。,109,1.6.3自相关函数、功率谱与时间序列信号模型的关系,(1.6.7),实平稳随机信号x(n)的功率谱为：,如何按照上式唯一地分解出一个因果稳定的模型系统函数H(z)，是本节要讨论的问题。,有理谱信号：如果信号模型输出的功率谱是ej或者cos的有理函数，这种信号称为有理谱信号。,110,谱分解定理如果功率谱Pxx(ej)是平稳随机序列x(n)的有理谱，那么一定存在一个零极点均在单位圆内的有理函数H(z),满足,式中，ak,b

29、k都是实数，a0=b0=1,且|k|1,|k|1。,111,例1.6.1已知有理谱如下式：,我们把所有可能的分解形式写出来：,(1),(2),112,(3),(4),在以上四种分解情况中，只有（1）满足极零点均在单位圆内部，因此按照谱分解定理的约束条件，只能唯一地分解出一个零极点均在单位圆内部的系统函数。如果没有零极点均在单位圆内部的约束条件，分解便不是唯一的。另外，按照谱分解定理分解出H(z)一定是最小相位系统，它保证了模型的可逆性，即逆系统存在。,113,分解方法：我们知道功率谱是cos的函数，为了对功率谱进行谱分解，下面介绍一种分解方法：（1）用代替cos，得到有理函数V()；（2）求出

30、V()分子、分母的全部根i;（3）构造对每个i的方程:,该方程有两个根：Zi和1/Zi，其中Zi是单位圆内的根；,114,（4）用单位圆内部极零点构成H(z)，零点是分子多项式的根Zi，极点是分母多项式的根Zj，,常数C由功率谱Pxx(ej)确定。,115,例1.6.2已知x(n)的功率谱,求其模型的系统函数。,解：,（1）令=cos，则,(2),116,(3),(4),117,设2w=1，对比给定的功率谱，得到：C=2/3，模型系统函数为,也可以假定2w=4/9，此时模型系统函数为,这样得到的模型系统函数的常数因子不同，但常数因子仅影响其幅度大小，不影响问题实质。,118,自相关函数、功率谱

31、、时间序列信号模型三者之间的关系：,自相关函数、功率谱、时间序列信号模型三者之间关系,119,现代数字信号处理,第二章,120,第二章维纳滤波和卡尔曼滤波,2.1引言2.2离散维纳滤波器的时域解2.3离散维纳滤波器的z域解2.4维纳预测2.5卡尔曼(Kalman)滤波,121,2.1引言,最优滤波维纳滤波和卡尔曼滤波简介本章讨论的主要内容,122,1、最优滤波,信号处理的目的是从噪声中提取信号，得到不受干扰影响的真正信号。采用的处理系统称为滤波器。滤波器的分类：线性滤波器、非线性滤波器；FIR滤波器、IIR滤波器；时域滤波器、频域滤波器；,123,图2.1.1信号处理的一般模型,x(n)=s(

32、n)+v(n),124,最优准则：最大输出信噪比准则匹配滤波器最小均方误差准则误差绝对值的期望值最小误差绝对值的三次或高次幂的期望值最小,125,x(n)=s(n)+v(n),Wiener滤波器的一般结构,126,2、维纳滤波和卡尔曼滤波简介,维纳(Wiener)滤波与卡尔曼(Kalman)滤波以估计的结果与信号真值之间的误差的均方值最小作为最优准则。,假设信号的真值与估计值间的误差为：,均方误差最小即误差的平方的统计平均值最小：,最小,127,3、本章讨论的主要内容,主要内容：维纳滤波器（FIR维纳滤波器和IIR维纳滤波器）、维纳预测器、卡尔曼滤波。分析思路：在均方误差最小的前提下，求得系统

33、的单位脉冲响应h(n)或传递函数H(z)，进而计算滤波器的最小均方误差,128,2.2离散维纳滤波器的时域解,本节要解决的主要问题及方法正交性原理维纳霍夫方程FIR维纳滤波器的时域解,129,1、本节要解决的主要问题及方法,要解决的问题：寻求在均方误差最小情况下的单位脉冲响应h(n)或传递函数H(z)的表达式，这一过程称为设计维纳滤波器的过程。解决方法：实质是求解维纳霍夫(Wiener-Hopf)方程，即,本节讨论维纳滤波器的时域求解方法，即在时域求最小均方误差下的。,130,2、维纳滤波器时域求解的方法,因果维纳滤波器的输出y(n)：,n=0,1,2,设期望信号为d(n)，误差信号e(n)及

34、其均方值E|e(n)|2分别为,e(n)=d(n)-y(n)=s(n)-y(n),131,k=0,1,2,记梯度算子为,k=0,1,2,要使均方误差为最小，须满足,132,上式展开为,又,133,将上述4式代入得,134,分析：上式说明，若使滤波器的均方误差达到，则误差信号与输入信号正交，这就是通常所说的正交性原理。,正交性原理：,135,正交性原理的重要意义：提供了一个数学方法，用以判断线性滤波系统是否工作于最佳状态。,136,正交性原理的引理：最佳状态时，由滤波器输出定义的期望响应的估计yopt(n)与估计误差eopt(n)正交：,137,3、维纳霍夫方程,将输入信号分配进去，得到,k=0

35、,1,2,维纳-霍夫（WienerHopf）方程：,k=0,1,2,138,4、FIR维纳滤波器的时域解,FIR维纳滤波器的维纳-霍夫方程当h(n)是一个长度为M的因果序列时，FIR维纳滤波器的维纳-霍夫方程表述为,k=0,1,2,M-1,(2.2.21),139,把k的取值代入(2.2.21)式，得到,(2.2.22),140,定义,141,（2.2.22）式可以写成矩阵形式，即,对上式求逆，得到,这里涉及到计算相关矩阵和逆矩阵，计算量可能较大。,142,FIR维纳滤波器的估计误差的均方值假定所研究的信号都是零均值的，滤波器为FIR型，长度等于M，,143,结论：在所有N阶FIR滤波器中，最

36、优滤波器的均方误差值是最小的，从这个意义上说，它是最优的。其阶数越高，采用的已知信息就越多，它的最小均方误差就越小，但相应的计算量也越大。,144,例1假设有一实的广义平稳随机信号s(n)的自相关函数（序列）为,且伴随有实的噪声w(n)，方差为，与s(n)无关。试设计一个M=2的FIR维纳滤波器来估计s(n)，并计算最小均方误差。,145,解：已知,146,由此，M=2最佳FIR维纳滤波器如下：,147,或者，利用下式求解,k=0,1,当k=0时，2h0+0.6h11当k=1时，0.6h0+2h10.6,148,估计该滤波器的输出误差的最小均方值：,经过此滤波器以前的均方误差为,149,2.3

37、离散维纳滤波器的z域解,本节要解决的主要问题及方法白化滤波器非因果IIR维纳滤波器的Z域解因果IIR维纳滤波器的Z域解,150,1、本节要解决的主要问题及方法,待解决的问题：当h(n)是物理可实现的因果序列时，所得到的Wiener-Hopf方程将存在k0的约束，不能直接转到Z域求解。这使得在要求满足物理可实现条件下，求解维纳-霍夫方程成为一个十分困难的问题。解决方法：采用将观测序列x(n)白化的方法，求解Wiener-Hopf方程的Z域解。,151,若不考虑滤波器的因果性，维纳霍夫方程可以改写为,设定d(n)=s(n)，对上式两边做Z变换，得到,Sxs(z)=Hopt(z)Sxx(z),x(n

38、)=s(n)+v(n),假设信号和噪声不相关，即rsv(m)=0，则,Sxs(z)=Sss(z)Sxx(z)=Sss(z)+Svv(z),152,对于因果IIR维纳滤波器，其维纳霍夫方程为,k=0,1,2,因为存在k0的约束，使得上式不能直接转到Z域求解。如有可能将其转化为非因果问题，则求解会大大简化。,153,则因果IIR维纳滤波器的维纳霍夫方程变为：,由此可见，只要将输入信号转化为白噪声，就可以解得因果IIR维纳滤波器的单位脉冲响应。,154,2、白化滤波器,任何具有有理功率谱密度的随机信号都可以看成是由一白色噪声w(n)激励某个物理网络所形成。,x(n)的时间序列信号模型,155,一般把

39、信号转化为白噪声的过程称为白化，对应的滤波器称为白化滤波器。,x(n)的白化滤波器,如果B(z)是一个最小相移网络函数，那么1/B(z)显然也是一个物理可实现的最小相移网络，因此可以利用上式白化x(n)。,156,利用白化x(n)的方法求解维纳-霍夫方程,利用白化x(n)的方法求解维纳-霍夫方程:,157,于是，在最小均方误差准则下，求最佳Hopt(z)的问题就归结为求最佳G(z)的问题了。G(z)当然也需分因果性或非因果性的约束情况加以讨论。,如果已知信号的Pxx(z)，即可由下式求得B(z)。,158,计算Hopt(z)：,3、非因果IIR维纳滤波器的求解,159,(2.3.9),160,

40、求满足最小均方误差条件下的g(k)：为求得相对于g(k)的最小均方误差值，令,-k,-k,Z变换后,161,非因果IIR维纳滤波器的最佳解：,s(n)=s(n)*(n)，x(n)=w(n)*b(n),rxs(m)=rws(m)*b(-m),Sxs(z)=Sws(z)B(z-1),162,非因果IIR维纳滤波器的复频域最佳解的一般表达式,假定信号与噪声不相关，即当Es(n)v(n)=0时可以得到：,Sxs(z)=Sss(z),Sxx(z)=Sss(z)+Svv(z),163,信号和噪声不相关时，非因果IIR维纳滤波器的复频域最佳解和频率响应分别为,164,由上式可知：当噪声为0时，Hopt=1，

41、信号全部通过；当信号为0时，Hopt=0，噪声全部被抑制掉；当即有信号又有噪声时，Hopt1，大小随Pvv的增加而减小，从而达到降低噪声影响的目的。,165,图2.3.6非因果维纳滤波器的传输函数的幅频特性,166,计算最小均方误差E|e(n)|2min：,第一项根据围线积分法求逆Z变换的公式,rss(m)用下式表示:,得出,167,第二项由帕塞伐尔定理：,取y(n)=x(n),有,因此,得到,168,169,假定信号与噪声不相关，Es(n)v(n)=0，又因为实信号的自相关函数是偶函数，即rss(m)=rss(-m)，则,Sxs(z)=Sss(z)，Sxx(z)=Sss(z)+Svv(z)；

42、Sss(z)=Sss(z-1),170,4、因果IIR维纳滤波器的求解若维纳滤波器是一个因果滤波器，要求,g(n)=0n0,则滤波器的输出信号,估计误差的均方值,E|e(n)|2=E|s(n)-y(n)|2,类似于（2.3.9）式的推导，得到,171,要使均方误差取得最小值，当且仅当,令,172,因果维纳滤波器的复频域最佳解为,173,维纳滤波的最小均方误差为,174,非因果情况时，滤波器的最小均方误差为,对于因果情况，,比较两式，可以看出非因果情况的E|e(n)|2min一定小于等于因果情况E|e(n)|2min。,175,因果维纳滤波器设计的一般方法：(1)根据观测信号x(n)的功率谱求出

43、它所对应信号模型的传输函数，即采用谱分解的方法得到B(z)，Sxx(z)=2wB(z)B(z-1)。(2)求的Z反变换，取其因果部分再做Z变换，即舍掉单位圆外的极点，得(3)积分曲线取单位圆，计算Hopt(z),E|e(n)|2min。,176,例2.3.1已知,信号和噪声不相关，即rsv(m)=0，噪声v(n)是零均值、单位功率的白噪声（2v=1,mv=0)，求Hopt(z)和E|e(n)|2min。解根据白噪声的特点得出Svv(z)=1,由噪声和信号不相关，得到rxx(m)=rss(m)+rvv(m)。,177,考虑到B(z)必须是因果稳定的系统，得到,(1)、首先分析物理可实现情况:,因

44、为,178,取其因果部分,179,取单位圆为积分围线，上式等于单位圆内的极点,的留数之和，即,180,未经滤波器的均方误差,所以通过因果维纳滤波器后均方误差下降8/3(2.7)倍。,181,(2)、对于非物理可实现情况有,182,183,令,单位圆内有两个极点0.8和0.5,应用留数定理，有,结论：比较两种情况下的最小均方误差,可以看出非物理可实现情况的最小均方误差小于物理可实现情况的均方误差。,184,维纳滤波部分的总结：,主要内容：FIR维纳滤波求解、非因果IIR维纳滤波求解、因果IIR维纳滤波求解；知识点：最小均方误差准则、正交性原理、维纳霍夫方程、白化滤波器；结论：在所有N阶FIR滤波

45、器中，最优滤波器的均方误差值是最小的，从这个意义上说它是最优的；与非最优滤波相比，最优滤波的优势在于能对滤波的质量（逼近的好坏）做出评价；E|e(n)|2min与Sss(z)和Svv(z)重叠部分大小有关；最小均方误差比较：非因果IIR因果IIRFIR维纳滤波的最小均方误差,185,2.4维纳预测,本节讨论的主要问题及方法预测的可能性维纳预测的计算纯预测一步线性预测的时域解,186,1、本节讨论的主要问题及方法,讨论的主要问题：本节将讨论维纳预测器，以观测到的全部过去数据来估计当前或将来的值解决方法：以均方误差最小为估计原则,187,图2.4.1(b)维纳预测器,图2.4.1(a)维纳滤波器,

46、188,2、预测的可能性,信号可以预测是由于信号内部存在关联性。数据间关联越密切，预测越准确；完全不关联，则无法预测。,输入：,输出：,189,x(n)在各不同时间点上的值的相关性是起因于B(z)的惯性。由观测到的x(n)的所有过去值和当前值来估计将来值时：如果，则仅由B(z)的惯性决定，如果，则将由B(z)的惯性和共同决定；,190,随机信号预测的特点：以信号的统计特性作为预测的主要依据；不可能作预测误差为零的绝对精确的预测；实际信号通常带有噪声干扰，使得预测和滤波联系在一起，成为带滤波的预测。,191,3、维纳预测的计算,192,同理，要使预测误差的均方值为最小，须满足,其中，hk表示h(

47、k)。,即,193,非因果维纳预测器的最佳解为,因果维纳预测器的最佳解为,194,维纳预测的最小均方误差为,维纳预测的求解和维纳滤波器的求解方法是一致的。,195,4、纯预测假设x(n)=s(n)+v(n)，纯预测问题是在v(n)=0情况下对s(n+N),N0的预测，此时x(n)=s(n)。因果情况下，假设s(n)与v(n)不相关，纯预测情况下的输入信号的功率谱及维纳预测器的最佳解分别为,196,纯预测器的最小均方误差为,应用复卷积定理,197,取y(n)=x(n),得到,可以看到，随着N增加，E|e(n+N)|2min也增加。这一点也容易理解，当预测的距离越远，预测的效果越差，偏差越大，因而

48、E|e(n+N)|2min越大。,198,例2.4.1已知,解（1）、求B(z)：首先对Sxx(z)进行功率谱分解。因为,所以,199,（2）、求H(z)：求出B(z)的Z反变换,对于因果维纳预测器有：,200,图2.4.1纯预测维纳滤波器,由Hopt(z)=aN，此时可以把纯预测的维纳滤波器看作是一个线性比例放大器（如图2.4.1所示）。,为什么预测值只与当前值s(n)有关，而和s(n+1)、s(n+2)无关呢？,201,将x(n)看成由白噪声(n)通过B(z)产生的，根据x(n)的信号模型,可以写出x(n)的时间序列模型所对应的输入输出方程,x(n)=(n)+ax(n-1),202,以上推

49、导结果从统计意义上讲，当N0时，白噪声信号(n+N)对x(n)无影响。,将信号x(n)通过纯预测维纳滤波器，随着时间的递增，基于和,203,x的均值等于零，正说明的影响就统计平均来讲等于零。当mx=0，估计时，只需要考虑系统B(z)的惯性而可认为，这样估计出来的结果将有最小均方误差。,那么Sxx(z)在z=1处有一个极点，而现在在z1处无极点，故有,204,（3）、求E|e(n+N)|2min,结论：由上式可知，N越大，误差越大，如果N=0则没有误差。,205,5、一步线性预测的时域解,一步线性预测：采用p个最近的采样值来预测时间序列下一时刻的值，包括前向预测和后向预测两种。前向预测：在噪声v

50、(n)=0的情况下，已知x(n-1),x(n-2)，,x(n-p),预测当前时刻x(n)；后向预测：在噪声v(n)=0的情况下，已知x(n)，x(n-1)，x(n-p+1)基础上，估计x(n-p)。,206,图2.4.2前后向预测数据之间的关系,207,（1）、前向预测,设定系统的单位脉冲响应为h(n)，其输出信号为,令apk=-h(k)，则,前向预测误差为,其中,ap0=1,208,一步前向预测器结构图,209,前向预测误差的均方值为：,或,Ee(n)x*(n-l)=0l=1,2,p,即,210,由于预测器的输出是输入信号的线性组合，故预测误差与预测的信号值同样满足正交性原理：,前向预测误差

51、的最小均方值为：,211,将方程组写成矩阵形式（Yule-Walker方程）,212,维纳霍夫方程,Yule-Walker方程,213,前向预测误差为,AR信号模型为,对比两式可知，,214,（2）、后向预测,假设前、后向预测器具有相同的系数，即,后向预测误差为,215,后向预测误差的均方值为：,或,Eb(n)x*(n-p+l)=0l=1,2,p,即,216,由于预测器的输出是输入信号的线性组合，故预测误差与预测的信号值同样满足正交性原理：,后向预测误差的最小均方值为：,217,同理，可以得到下面方程组：,将方程组写成Yule-Walker方程形式,218,Yule-Walker方程具有以下特

52、点：(1)除了第一个方程外，其余都是齐次方程;(2)与维纳-霍夫方程相比，不需要知道rxs(m)。(3)由方程组的p+1个方程，可以确定apk,k=1,2,p和Ee2(n)min，共计p+1个未知数。,219,Levinson-Durbin算法,Levinson-Durbin算法首先由一阶AR模型开始，一阶AR模型(p=1)的Yule-Walker为,由该方程解出：,220,然后增加一阶，即令p=2，得到,由上面方程解出：,221,然后令p=3,4,以此类推，可以得到Levinson-Durbin的一般递推公式如下：,222,例2.4.2已知,x(n)为AR模型，求AR模型参数（包括模型阶数和

53、系数）。,rxx(m)=0.8|m|,解首先对Sxx(z)做傅里叶反变换，得到x(n)的自相关函数rxx(m),223,（1）、采用试验的方法确定模型阶数p。首先取p=2，各相关函数值由上式计算,计算得到,a1=-0.8，a2=0,2=0.36,224,（2）、如果取p=3，可计算出a1=-0.8,a2=a3=0,2=0.36，说明AR模型的阶数只能是一阶的。（3）、采用谱分解的方法，即对Sxx(z)进行谱分解，得到的模型也是一阶的，其时间序列模型和差分方程为,225,2.5卡尔曼(Kalman)滤波,本节讨论的主要问题及方法卡尔曼滤波的状态方程和量测方程卡尔曼滤波的递推算法发散问题及其抑制,

54、226,1、本节讨论的主要问题及方法,讨论的主要问题：本节将主要讨论卡尔曼滤波的状态方程和量测方程，及其递推算法。解决方法：利用状态方程和递推方法寻找最小均方误差下状态变量的估计值，即,227,2、卡尔曼滤波的状态方程和量测方程假设某系统k时刻的状态变量为xk，状态方程和量测方程（也称为输出方程）表示为,Ak为状态转移矩阵，描述系统状态由时间k-1的状态到时间k的状态之间的转移；Ck为量测矩阵，描述状态经其作用，变成可量测或可观测的；xk为状态向量，是不可观测的；yk为观测向量；wk为过程噪声；vk为量测噪声。,228,图2.5.1卡尔曼滤波器的信号模型,229,假设状态变量的增益矩阵A不随时

55、间发生变化，wk,vk都是零均值白噪声，方差分别是Qk和Rk，并且初始状态x0与wk,vk都不相关，且噪声向量wk,vk也互不相关，即,其中,230,3、卡尔曼滤波的递推算法基本思想：先不考虑输入信号k和观测噪声vk的影响，得到状态变量和输出信号（即观测数据）的估计值和再用输出信号的估计误差加权后校正状态变量的估计值，使状态变量估计误差的均方值最小。,231,当不考虑观测噪声和输入信号时，状态方程和量测方程为：,输出信号的估计误差（新息）为：,232,为了提高状态估计的质量，用输出信号的估计误差来校正状态变量,其中，Hk为增益矩阵，实质是一加权矩阵。,校正后状态变量的估计误差及其均方值分别为：

56、,未经校正的状态变量估计误差的均方值为：,233,卡尔曼滤波要求状态变量的估计误差的均方值Pk为最小，因此卡尔曼滤波的关键就是要得到Pk与Hk的关系式，即通过选择合适的Hk,使Pk取得最小值。,234,递推步骤：计算状态变量的估计值：,235,计算状态变量的估计误差：,236,由上式可以看出，状态变量的估计误差由三部分组成，可记为,其中,237,计算状态变量估计误差的均方值Pk：,其中，,238,239,根据假设的条件，状态变量的增益矩阵A不随时间发生变化，起始时刻为0，则,xk-1仅依赖于x0,0,1,k-2,与k-1不相关，即,240,又,仅依赖于xk-1,vk-1，而与vk不相关，即,由

57、此可知，,241,也就是说，Pk仅有其中的三项不为零，化简成,242,计算未经误差校正的状态变量估计误差的均方值Pk：,由上面推导结果可以看出，Pk是一对称矩阵，满足Pk=(Pk)T。,243,把Pk代入Pk,244,计算增益矩阵Hk分析上式，可以发现第一项和第三项均与Hk无关，第二项为一半正定阵，因此使Pk最小的Hk应满足,计算状态变量估计误差的最小均方误差矩阵,245,7.卡尔曼递推公式总结如下：,246,假设初始条件Ak,Ck,Qk,Rk,yk,xk-1,Pk-1已知，其中x0=Ex0,P0=varx0,那么，递推流程见图2.5.2。,247,图2.5.3求的卡尔曼滤波一步递推算法,24

58、8,卡尔曼滤波的特点：采用递推的方式，不要求存储全部的观测数据，便于实时计算；Hk,Pk,Pk与观测数据yk无关，可以事先计算好并存储；Pk与Qk，Rk是紧密相关的：Rk增大时，Hk变小；（量测噪声大时，增益应取小些，以便减弱量测噪声的影响）P0减小或Qk1变小或两者都变小时，Pk变小，Pk变小，Hk变小；（P0减小说明初始估计较好，Qk1变小表示状态转移的随机波动小，故新观测值对状态预测的校正影响减弱，增益应取小些）,249,例x(t)是一个时不变的标量随机变量，y(t)=x(t)+v(t)是观测数据，其中v(t)为白噪声。若用Kalman滤波器自适应估计x(t)，试设计Kalman滤波器。

59、构造状态空间方程设计x(t)的更新公式,250,例已知,在k=0时开始观察yk,yk=xk+vk，用卡尔曼过滤的计算公式求xk，并与维纳过滤的方法进行比较。,251,解(1)由x(n)功率谱及量测方程，确定卡尔曼递推算法。首先对Sxx(z)进行功率谱分解，确定x(n)的信号模型B(z)，从而确定Ak。根据Sxx(z)=2B(z)B(z-1)，得出,由此可以得到卡尔曼滤波的状态方程为：,252,由量测方程yk=xk+vk,确定Ck=1，,将参数矩阵Ak,Ck,Rk代入卡尔曼递推公式得到,另由题目可知，,253,(2)求出卡尔曼滤波的输出。由卡尔曼递推公式，以及,P0=varx0=1,可得到Pk,Hk,Pk及（k表示迭代次数），迭代流程为：,254,表2.5.1Kalman滤波迭代结果,255,(3)求出卡尔曼滤波的稳态解。,消去Pk，可以得到Pk的递推关系:,256,要求的是稳态解，因此将Pk,Pk-1都用P代替,得到,根据P，可以确定达到稳态后的卡尔曼滤波的状态方程:,257,(4)用维纳滤波（因果维纳滤波）的方法分析。采用功率