数字信号处理研究生课程.ppt

数字信号处理 II,刘艳 信息科学与工程学院 Email: ,预修课程,概率论与数理统计 信号与系统 数字信号处理1 随机过程,课程主要内容,随机信号分析基础 随机信号的变换技术 频域分析 时频域分析 随机信号的滤波技术,课程讲述线索,本课程采用对不同处理对象的线索来讲解： 确定性信号随机信号； 平稳信号处理非平稳信号处理; 时域频域时频分析; 根据处理对象和应用背景的不同而选择相应的处理方法,成绩评定,平时作业 10% 上机作业 20% 闭卷考试 70% 课件下载：/CASEDU_Portal/Login.aspx,教材及参考书,教材： 丁玉美，数字信号处理时域离散随机信号处理，西安电子科技大学出版社，2002。 张贤达，现代信号处理第二版，清华大学出版社，北京，2002。 参考书： 胡广书，数字信号处理理论、算法与实现第二版，清华大学出版社，北京，2003。 Roberto Cristi, Modern Digital Signal Processing, Thomson-Brooks/Cole，2004。 Dimitris G. Manolakis, etc, Statistical and Adaptive Signal Processing, Mc Graw Hill, 2000。,第一章 时域离散随机信号的分析,1.1 随机信号 1.2 时域统计表达 1.3 Z域及频域的统计表达 1.4 随机序列数字特征的估计 1.5 平稳随机序列通过线性系统 1.6 时间序列信号模型,1.1 随机信号,信号的分类 随机变量及其统计描述 随机信号及其统计描述,1.1.1 信号的分类,信号的分类： 确定性信号 随机信号 平稳随机信号 非平稳随机信号,1.1.2 随机变量,随机变量的统计描述： 概率分布函数： 概率密度函数： 均值（一阶矩）： 均方值（二阶原点矩 ）： 方差（二阶中心矩 ）： 协方差：,1.1.3 随机信号,实际应用中，常常把随时间变化而变化的随机变量，称为随机过程。 随机信号定义：一个随机信号X(t)是依赖时间t的一族随机变量，或者说它是所有可能的样本函数的集合。,图 1.1.1 n部接收机的输出噪声,X(t)= xi(t), i=1, 2, 3,X(t)是所有可能样本函数的集合,X(t1)= xi(t1), i=1, 2, 3,X(t)= X(t1), X(t2), X(t3), ,X(t)是依赖时间t的一族随机变量,样本函数xi(t)或样本序列xi(n),随机信号X(t)或X(n),随机变量X(t1), X(t2), X(t3), ,特定时刻,随机信号的统计描述： 一维概率分布函数： 一维概率密度函数： 上述两式只描述随机序列在某一时刻n的统计特性，而对于随机序列，不同n的随机变量之间并不是孤立的。,数学期望(统计平均值): 均方值: 方差：,一般均值、均方值和方差都是n的函数, 但对于平稳随机序列, 它们与n无关, 是常数。,自相关函数： 自协方差函数：,对于零均值随机序列，,这种情况下， 自相关函数和自协方差函数没有什么区别。,，则,互相关函数定义为,互协方差函数定义为,同样, 当 时，,如果C(Xm, Yn)=0，则称信号Xm 与Yn互不相关。,1.2 平稳随机信号的时域统计表达,平稳随机信号的定义 平稳随机信号相关函数的性质 平稳随机信号的各态遍历性,1.2.1 平稳随机信号的定义,狭义(严)平稳随机序列：随机信号的统计特性不随时间平移而变化。 广义(宽)平稳随机序列：随机信号的均值和方差不随时间变化而变化，其相关函数与时间起点无关，仅是时间差的函数。,均值、 方差和均方值均与时间无关：,自相关函数与自协方差函数是时间差的函数:,对于两个各自平稳且联合平稳的随机序列, 其互相关函数为,显然, 对于自相关函数和互相关函数, 下面公式成立:,如果对于所有的m ，满足公式：Rxy(m)=0，则称两个随机序列互为正交。 如果对于所有的m ，满足公式: Cxy (m)=0，则称两个随机序列互不相关。,Rxx(m)是Hermitian对称的,1.2.2 实平稳随机信号相关函数的性质,（1） 自相关函数和自协方差函数是m 的偶函数, 用下式表示:,（2） Rxx(0)数值上等于随机序列的平均功率：,（3） 相关性随时间差的增大越来越弱：,（4）大多数平稳随机序列内部的相关性随着时间差的变大， 愈来愈弱：,（5）,1.2.3 平稳随机信号的各态遍历性,集合平均：由随机序列X(n) 的无穷样本 在相应时刻n对应相加来实现的。,由上可知，集合平均要求对大量的样本进行平均, 实际中这种做法是不现实的。,时间平均： 设x(n)是平稳随机序列X(n)的一条样本曲线，其时间平均值为,类似地，其时间自相关函数为,各态遍历性：对一平稳随机信号，如果它的所有样本函数在某一固定时刻的一阶和二阶统计特性（集合平均）和单一样本函数在长时间内的统计特性（时间平均）一致，则称其为各态遍历信号。 意义：单一样本函数随时间变化的过程可以包括该信号所有样本函数的取值经历。 直观理解：只要一个实现时间充分长的过程能够表现出各个实现的特征，就可以用一个实现来表示总体的特性。,x(n)=EX(n),x (n)x* (n+m)=EX (n)X* (n+m),1.3 平稳随机信号的Z域及频域的统计表达,相关函数的Z变换 平稳随机信号的功率密度谱,1.3.1 相关函数的Z变换,平稳随机序列是非周期函数，且是能量无限信号， 无法直接利用傅里叶变换进行分析。 由前面对自相关函数和自协方差函数的讨论可知： 当 时， Rxx(m)是收敛序列。这说明虽然无限能量信号本身的z变换与傅氏变换不存在，但它的自协方差序列和自相关序列（当 时）的z变换与傅氏变换却是存在的,其Z变换用Pxx(z)表示如下:,且,因为,将上式进行Z变换，得到：,如果z1是其极点，1/z*1也是极点。Pxx(z)的收敛域包含单位圆，因此Rxx(m)的傅里叶变换存在。,令z=exp(j), 可以得到Rxx(m)的傅立叶变换如下所示：,将m=0代入上式，得到,随机序列的平均功率；,功率谱密度（简称功率谱）,维纳辛钦定理（Wiener-Khinchin Theorem）,1.3.2 平稳随机信号的功率密度谱,有限时间段随机信号x(t)的功率谱分布为： 功率谱：协方差函数的Fourier变换,（1） 功率谱是的偶函数：,实、平稳随机序列功率谱的性质,（2） 功率谱是实的非负函数， 即,Pxx()0,功率谱的分类： 平谱（白噪声谱）：一个平稳的随机序列w(n)，如果其功率谱 在 的范围内始终为一常数。 白噪声序列在任意两个不同的时刻是不相关的。若w(n)是高斯型的，那么它在任意两个不同时刻又是相互独立的。,线谱：由一个或多个正弦信号所组成的信号的功率谱。若x(n)有L个正弦组成，即,其中，,是均匀分布的随机变量，可以求出,此即为线谱，它是相对与平谱的另一个极端情况。,ARMA谱：既有峰点又有谷点的连续谱，这样的谱可以由一个ARMA模型来表征。,1.4 随机序列数字特征的估计,估计准则 均值的估计 方差的估计 自相关函数的估计,1.4.1 估计准则,估计方法：矩估计法、最大似然估计法、贝叶斯估计、最小均方误差估计、最大后验估计，最小二乘估计、EM算法等。 估计准则：无偏性、有效性、一致性,假定对随机变量x观测了N次，得到N个观测值：x0, x1, x2, , xN-1，希望通过这N个观测值估计参数 ，称为真值， 它的估计值用 表示。 是观测值的函数，假定该函数关系用F表示，,(1.4.1),如果估计值接近真值的概率比较大，则说明这是一种比较好 的估计方法。,图 1.4.1 估计量的概率密度曲线,1. 偏移性 令估计量的统计平均值与真值之间的差值为偏移B， 其公式为,如果B=0，称为无偏估计。 如果B0，则称为有偏估计。 如果随着观察次数N的加大，能够满足下式：,则称为渐近无偏估计，这种情况在实际中是经常有的。,在许多情况下，一个有偏但渐进无偏的估计具有比一个无偏的估计好得多的分析和计算性质。,2. 有效性估计量的方差 如果两个估计量的观察次数相同，又都是无偏估计，哪一个估计量在真值附近的摆动更小一些，即估计量的方差更小一些， 就说这一个估计量的估计更有效。 如果 和 都是x的两个无偏估计值，对任意N，它们的方差满足下式：,式中,(1.4.4),则称 比 更有效。一般希望当N时， 。,3. 一致性均方误差 估计量的均方误差用下式表示：,如果估计量的均方差随着观察次数的增加趋于0，即估计量随N的加大，在均方意义上趋于它的真值，则称该估计是一致估计。,上式表示，随N的加大，偏移和估计量方差都趋于零，是一致估计的充分必要条件。通常对于一种估计方法的选定， 往往不能使上述的三种性能评价一致，此时只能对它们折衷考虑， 尽量满足无偏性和一致性。,常数,估计量的均方误差与估计量的方差和偏移的关系推导如下：,1.4.2 均值的估计,假设已取得样本数据：xi(i=0, 1, 2, , N-1)， 均值的估计量用下式计算：,式中N是观察次数。,1.4.3 方差的估计,已知N点样本数据xi(i=0, 1, 2, , N-1)， 假设数据之间不存在相关性，且信号的均值mx已知，方差用下式估计,可以证明这是无偏一致估计：,数据之间不存在相关性，均值也不知道的情况下，方差的估计方法。 方差估计用下式计算：,该估计方法，是有偏估计，但是渐进无偏，它也是一致估计。,1.4.4 自相关函数的估计,无偏自相关函数的估计 估计公式为,0mN-1,1-Nm0,将上面两式写成一个表达式：,有偏自相关函数的估计 有偏自相关函数用 表示，计算公式如下：,下面可推导出它服从渐近一致估计的原则，比无偏自相关函数的估计误差小， 因此以后需要由观测数据估计自相关函数时， 均用上式进行计算。,1.5 平稳随机序列通过线性系统,系统响应的均值、 自相关函数和平稳性分析 输出响应的功率谱密度函数 系统的输入、 输出互相关函数 相关卷积定理,稳定系统 有界输入必导致有界输出的系统 对连续系统: 对离散系统:,因果系统 输出必在输入之后,稳定系统：h(t)绝对可积分收敛域包含单位圆 因果系统：收敛域内是否包含 ，即 因果稳定系统：传递函数的极点全部在单位圆内 最小相位系统：H(z)全部零点在单位圆内 可逆系统：无在单位圆上零点的系统,1.5.1 系统响应的均值、 自相关函数和平稳性分析,这样, mx与时间无关，my也与时间无关。,输出均值：,输出的自相关函数：,对于一个线性非时变系统，如果输入是平稳随机序列，则输出也是平稳随机序列。,令l=r-k, 得到,式中,1.5.2 输出响应的功率谱密度函数,将z=ej代入上式，得到输出功率谱：,Pyy (ej)=Pxx(ej)H(ej)H*(ej)=Pxx( ej)|H(ej)|2,如果h(n)是实序列，,v(l)=h(l)*h(-l),V(z)=H(z)H(z-1),Pyy(z)=Pxx(z)H(z)H(z-1),1.5.3 系统的输入、 输出互相关函数,输入、输出互相关定理：,1.5.4 相关卷积定理,线性系统输出的自相关函数等于输入自相关函数与线性系统单位脉冲响应的自相关函数的卷积，即,或者简单地说, 卷积的相关函数等于相关函数的卷积。 用一般公式表示如下：,如果,那么,ref(m)=rac(m) * rbd(m),例1.5.1 假设系统的输入、输出和单位脉冲响应分别用x(n)、 y(n)和h(n)表示，试求输入、输出互相关函数和输入自相关函数之间的关系。 解： 按照相关卷积定理，得到,x(n)=x(n)*(n) y(n)=x(n)*h(n) Rxy(m)=Rxx(m)*Rh(m),式中,相应的有：,例1.5.2 按照图1.5.2推导两个系统的输出互相关函数与输入互相关函数之间的关系。,图1.5.2,解： y1(n)=x1(n)*h1(n) y2(n)=x2(n)*h2(n),按照相关卷积定理, 有,按照图1.5.2还有下面关系式,(1),(2),1.6 时间序列信号模型,三种时间序列模型 三种时间序列信号模型的适应性 自相关函数、功率谱与时间序列信号模型的关系,图 1.6.1 平稳随机序列的信号模型,1.6.1 三种时间序列模型,假设信号模型用一个p阶差分方程描述:,x(n)+a1x(n-1)+apx(n-p) =w(n)+b1w(n-1)+bqw(n-q),式中, w(n)是零均值、方差为2w的白噪声; x(n)是要研究的随机序列。,（1.6.1）,1. 自回归-滑动平均模型（简称ARMA模型） 该模型的差分方程用（1.6.1）式描述， 系统函数用下式表示：,式中， 是自回归参数， 叫做滑动平均参数。,利用维纳辛钦定理给出其功率谱密度为,类似地，可得功率谱为,2. 滑动平均模型（Moving Average，简称MA模型） 当（1.6.1）式中ai=0, i=1, 2, 3, , p时, 该模型称为MA模型。 模型差分方程和系统函数分别表示为：,x(n)=w(n)+b1w(n-1)+bqw(n-q) H(z)=B(z) B(z)=1+b1z-1+b2z-2+bqz-q,上式表明该模型只有零点, 没有除原点以外的极点，因此此模型也称为全零点模型。 如果模型全部零点都在单位圆内部，则是一个最小相位系统。,MA模型的功率谱密度为,类似地，可得功率谱为,3. 自回归模型（Autoregressive, 简称AR模型） 当（1.6.1）式中bi=0, i=1, 2, 3, ，q时，该模型称为AR模型。模型差分方程和系统函数分别表示为：,x(n)+a1x(n-1)+a2x(n-2)+apx(n-p)=w(n),A(z)=1+a1z-1+a2z-2+apz-p,上式表明该模型只有极点, 没有除原点以外的零点，因此该模型也称为全极点模型。只有当全部极点都在单位圆内部时， 模型才稳定。,AR模型的功率谱密度为,类似地，可得功率谱为,关于ARMA、AR、MA模型的功率谱，可以做一个定性的描述： 由于MA模型是通过一个全零点滤波器产生，当有零点接近单位圆时，MA谱可能是一个深谷； 类似地，当极点接近单位圆时，AR谱对应的频率处会是一个尖峰； ARMA谱既有尖峰又有深谷。,滤波器长度：一般是指滤波器的单位脉冲响应的长度。 对于FIR滤波器或者MA模型, 其单位脉冲响应的长度是有限长的，长度就是系数的个数； 对于IIR滤波器或者AR模型、ARMA模型，其单位脉冲响应的长度则是无限长的。 滤波器阶数： 对于IIR滤波器或者AR模型、ARMA模