应用统计学与随机过程第3章--随机过程的线性变换2014

1、,主讲教师：何松华教授联系电话：(0731）8268771813973132618电子信箱应用统计学与随机过程(通信专业)AppliedStatisticsandRandomProcess,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,3.随机过程的线性变换(6学时),3.1,线性变换的基本概念与定理,3.2,随机过程的微分与积分,3.3,随机微分方程,3.4,连续时间随机过程通过连续线性系统,3.5,离散时间随机过程通过离散线性系统,线性变换的基本概念与定理,3.1,1.问题的提出(1)在信号与系统课程中学习了确定信号通过线性系统后的特性(确定性规律)；

2、(2)在本课程的本章中，将学习随机信号(随机过程)通过线性系统后的特性(统计特性)；(3)系统分析方法包括时域分析方法以及频域分析方法，将分别从时域及频域两个角度分析随机过程的线性变换特性；(4)系统包括离散时间系统及连续时间系统，将分别学习连续/离散时间随机过程的连续离散变换特性,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,2.函数的线性变换的基本概念,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,设X(t)为随机过程，L为信号的一种变换(或运算)；对X(t)的任意样本函数x(t)，得到变换结果Lx(t);显然，对于不同的观测试验，X(t)的样本函数是不同的、随机的

3、，则得到的变换结果也是不同的、随机的；以X(t)的样本函数的L变换作为样本函数的随机过程Y(t)定义为随机过程X(t)的变换，记为,设x1(t),x2(t)为随机过程X1(t),X2(t)的任意样本函数X1(t),X2(t)可以是同一随机过程，如果对于任意的系数A1,A2(可以是随机变量),满足,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,则称L为随机信号的线性变换，记为,更进一步，如果对于X(t)的任意样本函数x(t)，令,如果对任意的，满足：,则称L为随机信号的线性时不变变换，记为,常见的变换：函数的微分、函数的无穷积分、函数的差分都满足上述特性,3.线性变换的基本定理,湖南

4、大学教学课件：应用统计学与随机过程随机过程的线性变换,定理1：如果,证：设x1(t),x2(t),xn(t)为X(t)的任意样本函数，记yi(t)=Lxi(t),则yi(t)为Y(t)的样本函数;根据线性变换的定义得到,L为线性变换，则,不一定要时不变,数学期望与线性变换可交换顺序,极限存在则求极限与变换可交换次序,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,定理2：如果,式中，,证：根据线性变换定义，对于任意的随机系数X(t1),有,L为线性变换，则,分辨表示对以t2,t1为自变量的函数进行变换,定理1,令t=t2,并记,得到,先以t为变量进行变换，再取t=t2,湖南大学教学课

5、件：应用统计学与随机过程随机过程的线性变换,同理，对于任意的随机系数Y(t2),有,乘法交换律,令t=t1,并记,得到,定理1,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,练习：注意区别并推导,与定理2区分：,同理可以推倒得到(练习)：,怎么记?,4.线性时不变系统的平稳性,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,(1)如果L是线性时不变变换，X(t)是广义平稳随机过程，EX(t)为常数，则EY(t)=LEX(t)也为常数；对任意的时间平移量t，令,结论：若L为线性时不变变换，X(t)是广义平稳的，则Y(t)=LX(t)也是广义平稳的,则,X(t)平稳,时不变,

6、湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,(2)(扩展,自学)如果L是线性时不变变换，X(t)是严格平稳随机过程，则Y(t)=LX(t)也是严格平稳的,证明提要(练习)：对于线性变换L，容易得到,根据线性变换的定义,根据线性变换定理1,如果L是时不变的，定义,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,进一步可得到：随机过程Y(t)的任意维、任意阶联合矩与时间起点无关，由于其多维特征函数可以表示为以矩为系数的泰勒展开，则其任意维的特征函数与时间起点无关，任意维的概率密度函数特征函数的多维傅立叶变换也与时间起点无关。,n维的1+1+1阶矩,则根据时不变定义,有,根据

7、上述已证明的性质,有,根据X(t)的平稳性,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,根据,参照前面的证明过程容易得到,参照前面的证明过程容易得到(练习),湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,附录:线性时不变变换举例，卷积变换,信号通过线性时不变因果系统，输入从-时刻开始,(1)线性性质,(2)时不变性质,X(t)平稳，则Y(t)平稳,积分变量置换：-t0,卷积的性质,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,附录:线性时变变换举例,信号通过线性时不变因果系统，输入从0时刻开始,(1)满足线性性质,(2)不满足时不变性质,X(t)平稳，则Y

8、(t)非平稳；初始状态Y(0-)对应的零输入响应,随机过程的微分与积分,3.2,1.问题的提出(1)微分与积分运算是线性变换中的基本运算；(2)对于确定信号的微分与积分运算，已有很多的方法，这些方法不一定全部适用于随机信号的微分与积分；(3)随机信号的微分与积分特性需要按照随机过程的特殊性进行重新的定义与推导；(4)在微积分的定义中，牵涉到连续性(可微)以及t0的极限问题，在定义随机信号的微积分之前，必须先定义随机过程的极限及连续性。,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,2.随机过程的极限,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,(1)离散时间随机变量的

9、极限设X1,X2,Xn为随机变量序列，X为随机变量，都存在二阶矩(不是无穷大)，如果,则称随机变量序列Xn依均方收敛于随机变量X，X为该序列的均方极限。记做,根据概率论中的切比雪夫不等式：对于任意小的正数，满足,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,则,时，必有,概率,即依均方收敛必然依概率收敛(反之不然)；因此随机过程关于收敛的定义一般采用依均方收敛。,(2)连续时间随机信号(过程)的极限设X(t)为随机过程，Y为某个随机变量，如果,则称Y为X(t)在t0时刻的极限，记做,对比确定性信号情况,为什么这么定义?,3.随机过程的连续性,湖南大学教学课件：应用统计学与随机过程随

10、机过程的线性变换,(1)随机过程连续性的定义设X(t)为随机过程，如果,则称该随机过程在t时刻依均方连续。记,(2)性质：如果RX(t1,t2)在二维平面的t1=t2=t处连续，则随机过程X(t)在t处连续。证：,根据RX(t1,t2)连续性定义,右边趋于0,t1=t2=t处任意方向的极限存在,均为RX(t,t),湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,(3)性质：(依均方)连续随机过程的均值函数是连续的(普通意义上的连续),证：对于任意随机变量Z,令,上式两边取极限t0,得到,可以写成,对于依均方收敛随机过程，极限与数学期望可交换次序，但左右两边极限的定义不同,根据X(t)

11、依均方连续的定义，右边的极限为0,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,(4)性质：对于平稳随机过程X(t)，只要RX()在=0处连续(普通连续)，则该随机过程依均方意义连续。,证：对于平稳随机过程X(t),根据RX()在=0处连续,(5)性质(练习,根据大数定理及定义证明)：如果随机过程的任意样本函数都是连续的,则随机过程依均方连续;反之则不一定例如:第二章举例中的随机电报过程,任意样本函数均不连续,但过程平稳且RX()在=0处连续,与(2)性质的区别及联系,4.随机过程的微分,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,(1)随机过程微分的定义设X(t)为

12、随机过程，如果存在某个随机过程,则称该随机过程X(t)在t处可微,且导数为,或,(2)性质：平稳随机过程可微分的条件(证明见附录):如果平稳随机过程的相关函数在=0处存在二阶导数则其导数随机过程存在。,记为,根据大数定理,任意样本函数必须满足,附录(自学),湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,在t处连续等价。根据依均方连续的定义，要求(*),由于导数随机过程未知,根据柯西判别准则,X(t)在t处可导与,由于存在，则均存在,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,偶函数,则(*)式左边=,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,湖南大学教

13、学课件：应用统计学与随机过程随机过程的线性变换,(4)性质(证明过程自学)：非平稳随机过程可微分的条件(证明:略):如果非平稳随机过程的相关函数RX(t1,t2)在在二维平面的直线t1=t2=t上存在二阶偏导数,则其导数随机过程存在。,(5)性质：微分变换,为典型的线性时不变变换,(根据样本函数证明：练习),根据线性变换的基本定理1得到：,均方意义下的微分运算与求均值运算可交换次序，并在交换后转化为普通微分运算,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,(6)性质：若X(t)为平稳随机过程，若导数过程存在,则其必为平稳随机过程(根据线性时不变算子性质)，且是零均值的。,常数的导

14、数,对于任意的t1,t2,令=t1-t2,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,即导数过程的相关函数只与时间差有关，是广义平稳的，且与原过程联合平稳，记,则有,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,附录(自学):,则有,偶函数的导数为奇函数,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,(7)若X(t)为平稳随机过程，则其导数过程与该过程在同一时刻是互不相关的,对于正态随机过程是相互独立的。,显然，由于RX()为偶函数，则其导数函数为奇函数，对于可导的奇函数，在=0处的值必为0；即,为奇函数，且可导(可微分条件)，则,(8)平稳导数过程的功率

15、谱密度函数,根据功率谱密度的定义(相关函数的傅立叶变换)以及傅立叶变换的微分性质容易证明(练习),湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,若,则,GX()为正偶函数，此也为正偶函数,两个随机过程的互功率谱,(#)两边对求偏导并利用变换对特性得到下面性质,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,导数随机过程举例,设X(t)为正态平稳随机过程，相关函数为,(1)求其一阶导数过程的一维概率密度分布函数、二维联合概率密度分布函数；求其一阶导数过程与二阶导数过程的互相关函数;求,解：(1)设,正态随机过程的线性变换依然为正态随机过程(第4章),湖南大学教学课件：应用统

16、计学与随机过程随机过程的线性变换,矢量,零均值情况下的协方差矩阵,根据正态随机过程的定义(第4章),湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,前面已经求出:,根据性质:,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,本小节作业3.23.43.7,5.随机过程的定积分,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,(1)随机过程定积分的定义设X(t)为随机过程，a,b为时间区间,将该区间等分为n个小区间,区间宽度t=(b-a)/n,ti为第i个小区间内的任意时刻,如果存在某个随机变量Y,满足,则称随机变量Y为随机过程X(t)在区间a,b上的均方意义上的积分

17、,记为,随机过程的导数为随机过程,但定积分为随机变量,根据大数定理,任意样本函数或样本必须满足,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,附录(自学):两个随机变量X、Y相等的概念物理理解：如果随机变量X取什么值，则随机变量Y也取该值数学定义：,非负,非负,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,(2)积分算子,为线性算子,(练习:根据样本函数特性证明),(3)随机过程定积分的数学期望根据随机过程的线性变换定理1,数学期望与积分可交换次序;交换次序后转化为普通积分,(4)随机过程定积分的方差基本定理2在这种情况下的应用有一定特殊性,将随机变量Y视为随机过程在t

18、=b时刻的取值；根据基本定理2得到,Y(t)=LtX(t)的描述:将以t为变量的函数转换为以u为变量的函数在a,t上积分,u可以是任意变量,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,将积分的平方化成可分离的二维积分,没有数学天分的人可以利用下面的定理来求解：,能理解这一点的人说明有数学天分,根据相关函数的对称性,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,随机过程积分的乘积性质定理:,若,依均方意义收敛于Y1；,依均方意义收敛于Y2；,则,证(自学)：对于X1(t)的任意样本函数x1(t)以及X2(t)的任意样本函数x2(t);有,随机过程的积分的乘积可转化为二维

19、积分,都依均方收敛于Y1Y2,即二者相等。,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,则随机过程X(t)的积分变换与随机过程Y(t)的积分变换的乘积与X(t)Y(t)的二维积分变换(依然是线性变换)等价,记为:,例题：已知广义平稳随机过程X(t)的均值和相关函数分别为0.5、0.25e-2|+0.25,求随机变量Y的均值、方差,此处,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,解：根据随机过程定积分的均值、方差特性,练习,根据定积分的方差,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,(2)随机过程的积分变换设X(t)为随机过程，h(t)为确定性函数，

20、a,b为时间区间,将该区间分成n个小区间,宽度t=(b-a)/n,ti为第i个小区间内的任意时刻,如果存在某个随机过程Y(t),满足,则称随机过程Y(t)为随机过程X(t)在均方意义上的积分变换，记为,类似于线性系统卷积，为随机过程通过线性系统的分析作准备,根据大数定理,任意样本函数必须满足,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,容易证明，上述变换为线性时不变变换，Y(t)=LtX(t)可以描述为：ab(将以t为变量的函数转化为以t-为变量的随机函数)h()d,根据线性变换基本定理1或积分/数学期望次序可交换性，得到：,Lt1：ab(t1t1-1为变量的函数)h(1)d1,

21、Lt2：ab(t2t2-2为变量的函数)h(2)d2,可以是任意变量,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,或者采用随机过程积分的乘积性质(参见前面的证明),显然,若X(t)平稳,则Y(t)平稳,随机微分方程,3.3,1.随机微分方程的定义,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,设某一线性时不变系统的输入X(t)与输出Y(t)的关系可以用如下的微分方程表示：,其中an,an-1,a1,a0为常系数,初始条件:,也可以给定其他初始条件,输入从0时刻开始加入,为什么不用0+时刻值作为初始条件,附录.确定性微分方程的通解(复习:高等数学),湖南大学教学课件：应

22、用统计学与随机过程随机过程的线性变换,对应的特征方程为,设特征方程的n个根为z1,z2,zn;则通解为,其中系数B1,B2,Bn由初始条件确定。,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,定义线性变换算子,举例：,记,根据L的线性性质以及初始条件限制(唯一解)可以证明：当输入为aX1(t)+bX2(t)时,输出为aY1(t)+bY2(t);其中Y1(t)=L-1X1(t),Y2(t)=L-1X2(t),即L-1为线性变换;但同样由于初始条件的限制,L-1并不满足时不变性质,当输入X(t)为平稳时,Y(t)不一定平稳，但一般渐近平稳。,对任意样本函数,L:线性时不变L-1:线性时

23、变,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,输入为x(t+)时，设输出为z(t),显然，当输入为平稳(均值为常数mX)时,输出随机过程的均值不为常数，非平稳,从侧面说明L-1为时变算子,初始条件不随时间平移而平移,2.输出随机过程的均值函数,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,对随机微分方程的两边求数学期望并利用dn/dt变换的线性性质、基本定理1得到,由Y(t)的初始条件Y(i)(0)=0得到:,普通微分方程的求解问题,高等数学已解决,注释：,基本定理1,3.输出随机过程的相关函数(两次求解微分方程),湖南大学教学课件：应用统计学与随机过程随机过程的线

24、性变换,由Y(t)的初始条件得到:,已知RX高等数学普通微分方程的求解得到RYX,参见后页注释,根据L算子的线性性质以及基本定理2,t1,t20,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,注释：根据di/dt的线性性质以及基本定理1(反过来用),由Y(t)的初始条件同样可以得到:,已知RYX,根据高等数学普通微分方程的求解得到RY,练习：利用EY(t1)Y(i)(0)=0,根据L算子的线性性质以及基本定理2,t1,t20,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,例题：设有随机微分方程及RX()=2+()(平稳),解：,求Y(t)的均值函数及相关函数,根据线性齐

25、次微分方程解法(练习：复习高等数学),将解代入方程：得到,渐近平稳：当t足够大时，均值为常数/a,通解：,($)右边在t=0处不含冲激,mY(t)在该处连续,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,由于RYX(t1,t2)求导后在t1=t2处有冲激，则相关函数在该处不连续；此外，右边没有冲激函数的导数，RYX(t1,t2)不包含冲激函数,为利用初始条件(t1=0-处)，先考虑0t1t2,通解：,需要针对t1t2分别求解,微分方程两边在区间0-t2，运用新的初始条件求解微分方程,代入原方程并利用t2+处的初始条件求B1,f1(t2)；得到,下面根据RYX(t1,t2)求RY(t

26、1,t2),通解：,练习,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,为了利用t2=0处的初始条件,代入原方程,并利用的初始条件得到,先考察t1t20,t1t1)得到,渐近平稳性：t1,t2足够大时，相关函数只与时间差有关,通解：,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,本小节作业3.103.123.13,连续时间随机过程通过连续线性系统,3.4,1.输入信号起始时间为-的情况,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,设线性时不变系统的冲激响应函数为h(t)(-t);对于物理可实现的因果系统h(t)=0(t0)；设输入信号为随机过程X(t)(-

27、t)，输出信号为随机过程Y(t)，若输入从t=-开始,根据信号与系统理论，有(参见附录),等号表示均方收敛,线性卷积,容易证明，上述变换是X(t)的线性时不变变换变换的描述:以t为变量的函数变换为该函数与h(t)的卷积,附录(自学),湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,根据线性变换的基本定理，得到:,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,当输入为平稳随机过程时，由于变换为时不变的，则输入输出联合平稳，输出也是平稳的,连续随机信号通过线性系统的频域分析方法,湖南大学教学课件：应用统计学与随机过程随

28、机过程的线性变换,当输入信号为平稳随机过程且输入信号起始时间为-时，此时输入输出都平稳，可以采用频域分析方法。,设线性时不变系统的传递函数为H(j),输入平稳过程的功率谱为GX(),二者的定义为,根据第2章,正偶函数，不含j,根据,以及卷积的傅立叶变换性质,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,可以得到(参见附录),复共轭的概念,模方的概念及与平方差别,已知系统及输入过程的频域特性,求输出过程的时域特性:,为的偶函数,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,附录(自学)：卷积的傅立叶变换等于傅立叶变换的乘积,积分变量置换-ux,-uy,同理可得：,输入与输

29、出的互相关、互谱及其性质,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,另有：,平稳,令t1=0,t2=-t1-t2=,因果系统(物理可实现)情况(自学),湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,在前面的有关公式中，令h(t)=0(tt1时,对0,t1范围内的所有u都满足;而当t20,-u0,与t=0时刻输入情况下的稳态解一致,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,再采用频域法,利用典型傅立叶变换对关系,比较:,湖南大学教学课件：应用统计学与随机过程随机过程的线性变换,附录(练习/自学):常用基本电路的微分方程及冲激响应,湖南大学教学课件：应用统计学与