随机过程总复习

1、第一章复习内容,一、期望和方差,1,期望,设,离散型,随机变量,X,的分布律为,则,P,X,x,k,p,k,k,1,2,E,X,x,k,p,k,设,连续型,随机变量,X,的概率密度为,f,x,k,1,则,E,X,xf,x,dx,函数期望,Y,g,X,当,X,为,离散型,随机变量,则,E,Y,E,g,X,g,x,k,1,k,p,k,当,X,为,连续型,随机变量,则,E,Y,E,g,X,g,x,f,x,dx,2,方差,称随机变量,X,E,X,的期望,为,X,的方差，即,2,2,var,X,D,X,E,X,E,X,计算方差时通常用下列关系式,2,2,var,X,D,X,E,X,E,X,3,性质,1,

2、E,C,C,D,C,0,2,E,CX,CE,X,D,CX,C,D,X,E,X,i,E,X,i,i,1,i,1,n,n,2,3,若,X,和,Y,相互独立，则,E,XY,E,X,E,Y,二、协方差,Cov,X,Y,E,X,E,X,Y,E,Y,计算协方差时通常用下列关系式,Cov,X,Y,E,XY,E,X,E,Y,三、矩母函数,1,定义,称,e,的数学期望,t,E,e,为,X,的矩母函数,tX,tX,2,原点矩,利用矩母函数可求得,X,的各阶矩，即对,的求法,t,逐次求导并计算在,t,0,点的值,t,E,Xe,n,n,tX,t,E,X,e,n,n,tX,0,E,X,3,和的矩母函数,定理,1,X,r

3、,的,设相互独立的随机变量,X,1,X,2,t,t,t,r,2,1,矩母函数分别为,则其和,Y,X,1,X,2,X,r,的矩母函数为,Y,t,1,t,2,t,r,t,两个相互独立的随机变量之,和,的矩母函数等于它,们的矩母函数之,积,四、特征函数,特征函数,设,X,为随机变量，称复随机变量,的数学期望,e,itX,X,t,E,e,itX,为,X,的特征函数，其中,t,是实数,还可写成,X,t,E,cos,tX,iE,sin,tX,特征函数与分布函数相互唯一确定,性质,X,r,的,设相互独立的随机变量,X,1,X,2,t,t,t,2,r,1,特征函数分别为,则和,Y,X,1,X,2,X,r,的特

4、征函数为,Y,t,1,t,2,t,r,t,两个相互独立的随机变量之,和,的特征函数等于它,们的特征函数之,积,练习,设随机变量,X,的概率密度函数为,1,x,0,x,2,p,x,2,其它,0,试求,X,的矩母函数,2,tX,tx,1,解,t,E,e,e,xdx,0,2,2,1,tx,2,tx,xe,e,dx,2,t,0,0,1,1,2,t,2,t,2,e,e,1,2,t,t,2,t,2,t,2,te,e,1,2,2,t,练习,设随机变量,X,服从参数为,的泊松分布,求,X,的特征函数,解,由于,P,X,k,e,k,0,1,2,k,k,itk,e,所以,X,t,e,k,k,0,k,e,k,0,e

5、,k,e,it,it,k,e,e,e,e,1,it,条件分布函数与条件期望,1,条件分布函数的定义,离散型,若,P,Y,y,j,0,则称,P,X,x,i,Y,y,j,为在条件,Y,P,X,x,i,Y,y,j,P,Y,y,j,p,ij,p,j,y,j,下，随机变量,X,的条件分布律,同样,P,X,x,i,Y,y,j,p,ij,P,Y,y,j,X,x,i,P,X,x,i,p,i,为在条件,X,x,i,下，随机变量,Y,的条件分布律,连续型,称为在条件,Y,同样,f,x,y,f,x,y,f,Y,y,y,下，随机变量,X,的条件分布律,f,x,y,f,y,x,f,X,x,称为在条件,X,x,下，随机变

6、量,Y,的条件分布律,注意：分母不等于,0,2,条件期望的定义,离散型,E,X,Y,y,j,x,i,P,X,x,i,Y,y,j,i,1,其中,P,X,x,i,Y,y,j,P,X,x,i,Y,y,j,P,Y,y,j,连续型,E,X,Y,y,x,f,x,y,dx,其中,f,x,y,条件概率密度,3,全数学期望公式,E,X,Y,是随机变量,Y,的函数，当,Y,y,时取值,E,X,Y,y,因而它也是随机变量,定理,对一切随机变量,X,和,Y,有,E,X,E,E,X,Y,离散型,连续型,E,X,E,X,Y,y,j,P,Y,y,j,j,1,E,X,E,X,Y,y,f,Y,y,dy,练习,设二维随机向量,X

7、,Y,的联合概率密度为,e,0,y,x,1,f,x,y,其它,0,求,1,f,X,x,f,Y,y,2,f,Y,X,y,x,3,E,Y,X,4,讨论,X,Y,的独立性,x,解,f,X,x,f,x,y,dy,e,dy,0,x,x,xe,0,x,1,x,f,Y,y,y,f,x,y,dx,e,dx,y,1,x,e,e,0,y,1,1,1,0,y,x,1,f,XY,x,y,2,f,Y,X,y,x,x,f,X,x,0,其它,x,条件分布是均匀分布,均值为中点,2,3,当,0,x,1,时,E,Y,X,x,y,f,Y,X,y,x,dy,X,E,Y,X,2,x,0,1,x,y,dy,x,2,X,0,1,4,f,

8、XY,x,y,f,X,x,f,Y,y,所以,X,Y,不独立,练习,对于随机变量,X,和,Y,满足条件,E,X,2,E,Y,10,则有,E,E,X,Y,2,结论,1,若,X,是,随机变量,则,E,X,X,a,s,2,若,X,与,相互独立,则,E,X,E,X,a,s,练习,若随机变量,X,和,Y,相互独立，满足条件,E,X,2,E,Y,10,则有,E,X,Y,2,练习,一矿工困在矿井中，要到达安全地带，有三个,通道可选择，他从第一个通道出去要走,1,个小时可,到达安全地带，从第二个通道出去要走,2,个小时又,返回原处，从第三个通道出去要走,3,个小时也返回,原处。设任一时刻都等可能地选中其中一个通

9、道,试问他到达安全地点平均要花多长时间,设,X,表示矿工到达安全地点所需时间,Y,表示,他选定的通道，则,E,X,E,E,X,Y,解,E,X,Y,1,P,Y,1,E,X,Y,2,P,Y,2,E,X,Y,3,P,Y,3,1,1,2,EX,3,EX,3,所以,E,X,6,第二章复习内容,随机过程的分类,T,离散,I,离散,参数,T,状态,I,分类,T,离散,I,连续,T,连续,I,离散,T,连续,I,连续,连续,Poisson,过程是参数,Brown,运动是参数,连续,离散,状态,状态,连续,的随机过程,的随机过程,练习,袋中放有一个白球，两个红球，每隔,单位时间从袋中任取一球，取后放回，对,每一

10、个确定的,t,对应随机变量,t,X,t,3,t,e,分析,如果,t,时取得红球,如果,t,时取得白球,试求这个随机过程的一维分布函数族,先求,X,t,的概率分布,解,对每一个确定的时刻,t,X,t,的概率分布为,X,t,P,t,3,e,1,3,t,t,0,x,1,所以,3,2,t,t,F,t,1,x,1,P,X,t,1,x,1,x,1,e,3,3,t,1,x,1,e,2,3,随机过程的数字特征,1,均值函数,X,t,E,X,t,D,X,t,E,X,t,X,t,2,2,方差函数,E,X,t,X,t,3,协方差函数,2,2,t,1,t,2,E,X,t,1,X,t,1,X,t,2,X,t,2,注,当

11、,t,1,t,2,t,T,有,D,X,t,t,t,E,X,t,X,t,2,4,自相关函数,R,t,1,t,2,E,X,t,1,X,t,2,t,1,t,2,R,t,1,t,2,X,t,1,X,t,2,注,当,X,t,0,时,有,R,t,1,t,2,t,1,t,2,5,互协方差函数,XY,t,1,t,2,E,X,t,1,X,t,1,Y,t,2,Y,t,2,6,互相关函数,R,XY,t,1,t,2,E,X,t,1,Y,t,2,XY,t,1,t,2,R,XY,t,1,t,2,X,t,1,Y,t,2,练习,设随机过程,X,t,U,cos,2,t,其中,U,是随机变量,且,E,U,3,D,U,4,求,1,

12、均值函数,2,协方差函数,3,方差函数,解,1,2,X,t,E,X,t,E,U,cos,2,t,cos,2,tE,U,3cos,2,t,t,1,t,2,E,X,t,1,X,t,1,X,t,2,X,t,2,E,U,3)cos,2,t,1,U,3)cos,2,t,2,cos,2,t,1,cos,2,t,2,E,U,3,cos,2,t,1,cos,2,t,2,D,U,4,cos,2,t,1,cos,2,t,2,令,t,1,2,t,2,t,得,D,X,t,4,cos,2,2,t,练习,设两个随机过程,X,t,Ut,Y,t,Ut,其中,U,是随机变量且,D,U,3,试求它们的互协方差函数,2,解,X,t

13、,和,Y,t,的均值函数,X,t,E,Ut,tE,U,Y,t,E,Ut,t,E,U,2,2,所以,X,t,和,Y,t,的互协方差函数,E,X,t,1,t,1,E,U,Y,t,2,t,2,E,U,2,2,XY,t,1,t,2,2,t,1,t,2,E,U,E,U,t,1,t,2,D,U,3,t,1,t,2,2,2,1,严平稳过程,若对任意的,定义,1,设随机过程,X,t,t,T,t,1,t,2,t,n,T,和任意的,使得,t,i,T,X,t,1,X,t,n,与,X,t,1,X,t,n,具有相同的联合分布,记为,d,X,t,1,X,t,n,X,t,1,X,t,n,则,X,t,称为严平稳过程,严平稳过

14、程的有限维分布关于时间是平移不变的,2,宽平稳过程,定义,2,如,果它满足,设随机过程,X,t,t,T,1,X,t,是二阶矩过程,X,t,E,X,t,2,均值函数为常数，即,3,协方差函数,t,1,t,2,仅依赖,t,1,t,2,即,t,1,t,2,E,X,t,1,X,t,2,则称,X,t,为宽平稳过程,简称平稳过程,2,注,3,可等价描述为,自相关函数,R,t,1,t,2,仅与,t,1,t,2,有关,R,t,1,t,2,E,X,t,1,X,t,2,R,因为,均值函数,X,t,R,2,注,1,严平稳过程不一定是宽平稳过程,因为严平稳过程不一定是二阶矩过程,若严平稳过程存在二阶矩，则它一定是宽平

15、稳过程,注,2,宽平稳过程也不一定是严平稳过程,因为宽平稳过程只保证一阶矩和二阶矩不随时间,推移而改变，这当然不能保证其有穷维分布不随,时间而推移,平稳过程相关函数的性质,1,自相关函数的性质,性质,1,R,0,0,性质,2,R,R,0,说明相关函数,R,在,0,时取得最大值,性质,3,R,为偶函数,R,R,2,协方差函数的性质,性质,1,性质,2,0,var,X,t,0,性质,3,为偶函数,练习,X,t,sin,Ut,设,X,t,cos,Ut,这里,U,是服从,0,2,上的均匀分布,的随机变量,证明,X,t,t,1,2,是宽平稳序列,2,1,cos,utdu,0,解,E,X,t,0,2,1,

16、2,1,当,t,s,t,s,cos,ut,cos,usdu,2,t,s,N,0,2,0,当,t,s,均值为常数,协方差仅与,t,s,有关,故,X,t,是宽平稳随机序列,1,cos,a,cos,b,cos,a,b,cos,a,b,2,1,sin,a,sin,b,cos,a,b,cos,a,b,2,练习,1,设,X,n,n,0,1,2,是相互独立,的,随机变量序列,i,独立增量过程,则,Y,i,i,0,1,2,是一个,_,n,0,令,Y,i,X,n,2,若对任意的,t,t,T,增量,X,t,X,t,的概率分布只依赖于,X,t,为,齐次的,时齐的,而与,无关，则称随机过程,t,第三章复习内容,N,t

17、,t,0,称为计数过程,如果,定义,3.1.1,随机过程,以下两个特点,1,N,t,0,且取值为整数,事件,A,发生的次数,N,t,满足,0,到,t,时刻某一特定事件,A,发生的次数,它具备,2,s,t,时,N,s,N,t,且,N,t,N,s,表示,s,t,时间内,计数过程,N,t,t,0,称为参数为,0,定义,3.1.2,的,poisson,过程,如果,1,N,0,0,2,过程有独立增量,3,在任一长度为,t,的时间区间中事件发生,的,次数服从均值为,t,的,poisson,发布,即对一切,s,0,t,0,有,P,N,t,s,N,s,n,e,t,t,n,0,1,2,n,n,定义,3.1.2,

18、的等价定义,设,N,t,t,0,是一个计数过程,它满足,1,N,0,0,2,过程有平稳独立增量,3,存在,0,当,h,0,时,有,P,N,t,h,N,t,1,h,o,h,4,当,h,0,时,有,P,N,t,h,N,t,2,o,h,显见,Poisson,过程本身不是平稳过程，其增量是,平稳过程,设,N,t,t,0,是参数为,的,Poisson,过程,均值函数,E,N,t,t,方差函数,D,N,t,t,协方差函数,s,t,min,s,t,s,t,0,自相关函数,R,N,s,t,st,min,s,t,s,t,0,2,X,t,E,X,t,t,对,s,t,0,var,X,t,t,R,X,t,s,E,X,

19、t,X,s,E,X,t,X,s,X,t,X,t,2,E,X,t,X,s,X,t,E,X,t,2,E,X,t,E,X,s,X,t,E,X,t,t,s,t,t,t,2,t,s,1,X,t,s,E,X,t,X,s,E,X,t,E,X,s,t,s,1,t,s,t,s,t,min,s,t,s,t,0,2,的,Poisson,过程,试求,练习,设,X,t,t,0,为强度为,1,P,N,2,1,2,P,N,1,1,N,4,3,3,P,N,1,1,N,4,3,解,1,P,N,2,1,P,N,2,0,P,N,2,1,4,4,4,4,e,e,5,e,0,1,4,0,1,2,P,N,1,1,N,4,3,P,N,1,

20、1,P,N,4,N,1,2,3,P,N,1,1,N,4,3,P,N,1,1,N,4,3,P,N,4,3,2,6,6,8,e,e,36,e,1,2,2,3,8,1,2,8,8,36,e,e,3,练习,设,X,t,t,0,为强度为,0,的,Poisson,过程,则,P,X,t,h,X,t,1,he,h,设,X,t,t,0,为强度为,0,的,Poisson,过程,X,n,是,对应的时间间隔序列,则,X,n,n,1,2,的概率密度,函数为,e,t,设,N,t,是参数为,W,W,2,的,Poisson,过程,事件发生时刻,2,1,2,在已知,N,t,2,的条件下的联合概率密度为,_,t,重要结论,Poi

21、sson,过中,各次事件发生的间隔时,间,X,n,服从,参数为,的指数分布,Poisson,过中,第,n,次事件发生时刻,T,n,服从,参数为,n,和,的,分布,在已知,N,t,n,的条件下,事件发生时刻,T,1,T,2,T,n,的,联合分布密度为,n,f,t,1,t,2,t,n,n,0,t,1,t,2,t,n,t,练习,设某设备的使用期限为,10,年,在前,5,年内它平均,2.5,年,需要维修一次,后,5,年内平均,2,年需维修一次,试求它,在使用期限内维修过三次的概率,没被维修过的概率,维修过一次的概率,解,此为非齐次,Poisson,过程,强度函数为,1,0,t,5,2,5,t,1,5,

22、t,10,2,10,5,1,10,1,m,10,t,dt,dt,dt,4,5,0,0,2,5,5,2,3,4.5,4.5,P,N,10,N,0,3,e,3,0,4,5,4,5,4,5,P,N,10,N,0,0,e,e,0,例,1,设顾客到达某商场的过程是泊松过程,已知平均每小,时有,30,人到达,求下列事件的概率,两个顾客相继到达,的时间间隔,1,超过,2,分钟,2,在,1,分钟到,3,分钟之间,解,若以分钟为单位,顾客到达数是强度为,0,5,的泊,松过程,则顾客到达的时间间隔,X,n,n,1,服从参数,为,0,5,的指数分布,其密度函数为,0,5,x,0,5,e,x,0,f,x,故,0,x,

23、0,1,P,X,2,0,5,e,2,3,1,0,5,x,dx,dx,e,1,1,2,2,P,1,X,3,0,5,e,0,5,x,e,e,3,2,例,2,一理发师在,t=0,时开门营业,设顾客按强度为,的泊松过程到达,若每个顾客理发需要,a,分钟,a,是正,常数,求第二个顾客到达后不需等待就马上理发的,概率及到达后等待时间,S,的平均值,解：设第一个顾客的到达时间为,T,1,第二个顾客的,到达时间为,T,2,令,X,2,T,2,T,1,则第二个顾客到达,后不需等待等价于,X,2,a,由定理知,X,2,服从参数为,的指数分布，故,等待时间,练习,考虑一特定保险公司的全部赔偿，设在,0,t,内投保,

24、死亡的人数,N,t,是发生率为,的泊松过程。设,Y,n,是,第,n,个投保人的赔偿价值,Y,n,独立同分布,ae,ay,f,Y,y,0,i,y,0,y,0,N,t,X,t,Y,i,1,表示,0,t,内保险公司必须付出的,全部赔偿,试求,EX,t,VarX,t,解,X,t,是复合泊松过程,它的数字特征为,E,X,t,t,EY,Var,X,t,t,E,Y,2,Y,n,显然服从参数为,a,的指数分布,2,1,1,2,2,2,EY,VarY,2,E,Y,EY,E,Y,2,a,a,a,1,t,E,X,t,t,a,a,2,2,t,Var,X,t,t,2,2,a,a,第四章,1,更新过程的定义,更新过程,设

25、,X,n,n1,是独立同分布的非负随机变量，分布函数为,F(x,且,F(0)1,令,n,T,0,0,T,n,X,k,k,1,记,N,t,sup,n,T,n,t,称,N(t),t0,更新过程,2,更新函数,令,M,t,E,N,t,称,M,t,为更新函数,Theorem,m,t,F,n,t,n,1,3,更新方程,设,M(t,为更新函数，其导数称为更新密度，记,为,m(t,则,M,t,F,n,t,n,1,m,t,f,n,t,n,1,其中,f,n,t,是,F,n,t,的密度函数,定义（更新方程,如下形式的积分方程称,为更新方程,K,t,H,t,K,t,s,dF,s,0,t,其中,H(t,F(t,为已知

26、，且当,t0,时,H(t,F(t,均为,0,当,H(t,在任何区间上有界时称此方程为,适定更新方程，简称更新方程,更新方程的解,定理,设更新方程中,H(t,为有界函数，则,方程存在惟一的在有限区间内有界的解,K,t,H,t,H,t,s,dM,s,0,t,更新定理,1,初等更新定理,设,E,X,n,则,m,t,1,1,lim,其中,0,t,t,2,布莱克威尔,Blackwell,定理,设,F(x,为非负随机变量,X,的分布函数,1,若,F(x,不是格点的，则对任意的,a,0,有,lim,m,t,a,m,t,t,a,2,若,F(x,是格点的，周期为,d,则,lim,P,在,nd,处发生更新,n,d

27、,容易看出，初等更新定理是,Blackwell,定理,的特殊情况,3,关键更新定理,h,t,dt,记,EX,n,设,h,t,0,满足,1,h,t,非负不增,2,0,H,t,是更新方程,H,t,h,t,0,H,t,x,dF,x,的解。那么,t,1,若,F,x,不是格点的,1,0,h,t,dt,lim,H,t,t,0,2,若,F,x,是格点的，对于,0,c,d,d,h,c,nd,lim,H,c,nd,n,0,n,0,注,关键更新定理与布莱克威尔,Blackwell,定理是等价性的,第五章复习内容,马尔可夫性即无后效性,C,K,方程,对一切,n,m,0,i,j,S,有,1,p,ij,2,P,m,n,

28、p,ik,k,S,n,m,p,kj,n,n,P,状态的分类及性质是重点,互通,类,不可约,周期等概念,f,ii,1,非常返,u,i,状态,i,f,ii,1,正常返,零常返,常返,u,i,f,ii,f,ii,n,1,n,u,i,nf,ii,n,1,n,f,ii,表示从,i,出发,有限步内可以到达,i,的概率,u,i,表示由,i,出发再返回到,i,所需的平均步数,状态,i,正常返,且非周期,则为遍历,状态,i,遍历,且,f,ii,1,1,则为吸收态,此时,u,i,1,n,状态,i,为常返,p,ii,n,0,n,状态,i,为非常返,p,ii,n,0,1,1,f,ii,此时,lim,p,ii,n,n,

29、0,1,若状态,j,为非常返或零常返,则对,i,S,有,lim,p,ij,n,n,0,2,若状态,j,为正常返且周期为,d,则对,i,j,i,S,有,lim,p,ij,n,nd,d,u,j,平稳分布与极限分布,重点,对于遍历的马尔可夫链,lim,p,ij,n,n,1,j,u,j,1,2,j,P,j,1,i,i,1,解出,1,2,j,研究状态的关系,重点,练习：设马氏链的状态空间为,1,2,一步转移矩阵为,1,2,P,1,3,1,2,1,2,2,3,3,1,2,1,2,求,f,11,f,11,f,11,f,12,f,12,f,12,解,f,11,1,1,1,1,1,2,3,f,11,f,11,2

30、,2,3,6,1,3,1,2,1,1,2,3,3,9,3,1,2,2,3,f,12,1,1,1,1,1,1,1,1,2,3,f,12,f,12,2,2,2,2,4,2,2,8,练习：设马氏链的状态空间为,1,2,一步转移矩阵为,1,2,P,1,3,1,2,2,3,1,2,试求,f,11,f,22,并研究其状态关系,解,状态转移图如右,f,11,1,f,11,4,1,3,1,1,1,1,1,2,1,1,2,3,f,11,f,11,2,2,3,6,2,3,3,9,1,2,2,1,1,2,3,1,5,f,11,2,3,3,2,3,3,2,1,3,1,9,1,1,2,2,3,1,1,f,11,2,6,

31、故状态,1,为正常返,2,1,1,1,2,f,22,f,22,3,2,3,6,1,1,1,1,3,f,22,2,2,3,12,1,1,2,1,2,1,3,2,3,f,22,4,1,2,1,f,22,12,1,1,3,6,1,2,1,1,2,1,1,1,3,1,5,f,22,2,2,3,2,2,3,故状态,2,为正常返,练习：设马氏链的状态空间为,1,2,一步转移矩阵为,1,2,P,1,3,1,2,2,3,n,n,试求其平稳分布,并求,lim,P,解,显然,此链具有遍历性,1,1,2,3,解得,1,2,1,1,2,2,3,5,5,由,1,2,2,1,2,2,3,2,3,5,5,n,lim,P,1

32、,2,1,n,2,3,5,5,练习：设马氏链的状态空间为,1,2,3,一步转移矩阵为,0,P,1,p,0,1,0,1,2,0,p,0,试求,P,并证明,P,解,P,2,2,P,P,4,3,P,p,0,p,1,p,0,P,P,0,1,1,p,0,p,1,p,0,4,2,2,0,P,P,P,0,1,p,1,p,0,p,0,1,0,1,p,0,p,1,0,0,0,p,1,p,0,0,P,3,1,p,0,2,P,P,0,1,1,p,0,1,0,1,0,p,0,练习：设马氏链的状态空间为,1,2,3,一步转移矩阵为,0,5,P,0,0,5,0,5,0,5,0,0,0,5,0,5,初始分布,P,X,0,1

33、,P,X,0,2,0,P,X,0,3,1,1,求,P,X,0,1,X,2,2,2,求经两步转移后处于状,态,3,的概率,解,1,P,X,0,1,X,2,2,P,X,0,1,P,X,2,2,X,0,1,0,P,12,2,0,2,0,25,0,5,0,25,2,P,0,25,0,25,0,5,0,5,0,25,0,25,经两步转移后处于状态,3,的概率为,0,25,P,X,2,3,0,0,1,0,5,0,25,0,25,练习,设马氏链的状态空间为,1,2,3,4,一步转移矩阵为,1,2,1,P,2,1,4,0,1,2,1,2,1,4,0,0,0,1,4,0,0,0,试研究其状态关系,1,4,1,1

34、,1,1,4,2,2,解,状态转移图如下,1,2,1,2,1,4,1,4,1,1,4,1,1,1,1,2,n,f,11,f,11,f,11,n,2,2,2,2,1,n,2,f,11,f,11,1,1,n,1,1,2,1,1,1,1,1,2,n,f,22,f,22,f,22,n,2,2,2,2,1,n,2,f,22,f,22,1,1,n,1,1,2,1,n,又因为,u,1,nf,11,n,2,n,1,n,1,2,n,n,又因为,u,2,nf,22,n,2,n,1,n,1,2,n,故状态,1,与,2,都是正常返状态,又因周期都是,1,故都为,遍历状态,1,1,1,n,f,33,f,33,0,n,2

35、,f,33,1,4,4,故状态,3,是非常返状态,f,44,1,1,u,4,nf,44,n,1,n,1,1,1,故状态,4,是吸收状态,练习,设马氏链的状态空间为,1,2,一步转移矩阵为,0,8,P,0,2,0,2,求平稳分布,0,8,解,平稳分布满足,1,0,8,1,0,2,2,2,0,2,1,0,8,2,1,2,1,1,1,1,1,解得,1,2,故,2,2,2,2,练习,设马氏链的状态空间为,1,2,一步转移矩阵为,3,4,P,5,8,1,4,3,8,求平稳分布及,lim,P,n,n,P,5,解得,1,2,解,由,7,1,2,1,5,7,n,n,由,j,lim,P,ij,得,lim,P,n

36、,n,5,7,1,还可由,j,知状态,1,与,2,的平均回转时间,u,j,7,7,分别为,u,1,u,2,5,2,2,5,2,故,7,7,7,2,7,2,7,第六章复习内容,了解上鞅,下鞅,鞅的定义,赌博中上鞅体现了,不利,赌博,赌博中下鞅体现了,有利,赌博,赌博中鞅体现了,公平,赌博,Y,n,上鞅,X,n,Y,n,下鞅,X,n,X,n,上鞅,X,n,Y,n,上鞅,X,n,Y,n,下鞅,X,n,Y,n,上鞅,Y,n,X,n,下鞅,X,n,Y,n,下鞅,Y,n,X,n,上鞅,Y,n,下鞅,X,n,下鞅,Y,n,上鞅,练习,若,X,n,为下鞅,Y,n,为上鞅，则有,A,X,n,Y,n,为下鞅,C,X,n,Y,n,为下鞅,B,X,n,Y,n,为上鞅,D,X,n,Y,n,为上鞅,A,第七章复习内容,Brown,运动的定义,随机过程,X,t,t,0,如果满足,1,X,0,0,2,X,t,t,0,有平稳独立增量,3,对每一个,t,0,X,t,服从正态分布,N,0,t,2,1,称为标准,Brown,运动,Brown,运动的性质,正态增量,独立增量,路径的连续性,1,设,B,t,t,0,是标准,Brown,运动,则,P,B,2,0,1,2,2,设,B,t,t,0,是标准,Brown,运动,则协方差函数,s,t,min,s,t,3,设,B,t,t,0,是标准