随机过程知识点概要

1、随机过程复习第一章：预备知识§1.1概率空间随机试验，样本空间记为Q。定义1.1 设是一个集合，F是的某些子集组成的集合族。如果(1) CWF；(2)若AWF ,则A=C AWF；oO(3)若与讣，n=1,2,，则u An" n 1则称F为仃代数(Borel域)。(Q, F)称为可测空间，F中的元素称为事件。 由定义易知：(4)0 WF;(5)若A, BWF,则A BWF;n n(6)若Ai W F,1,2，则U Ai,n A,n a w F.1 4 i 1 i 4定义1.2 设(C , F)是可测耳间，-P( 是定义在F上的实值函数。如果任意A WF,0 <P(A)

2、<1; P。)： 1；(3)对两两互不相容事件 A1, A2,(当i # j时，AAj =0 ,有(oO 、 ooP A C P Ai i w i w则称P是(C,F比的概率，(C, F, P)称为概率空间，P(A)为事件A的概率。定义1.3 设(G, F, P)是概率空间， GuF,如果对任意 A1,A2,，An乏G ,n =1,2,有：pK Ai =n PA )i 1.：i 1则称G为独立事件族。§ 1.2 变量及其分布随机变量 X,分布函数F(x), n维随机变量或n维随机向量，联合分布函数， (Xt,tT 是独立的。§ 1.3 机变量的数字特征定义1.7设随机

3、变量X的分布函数为F(x),若Jx|dF(x) <的，则称qQE(X)= fxdF(x)为X的数学期望或均值。上式右边的积分称为 Lebesgue-Stieltjes 积分。方差，BXY = E «X EX EY X为X、Y的协方差，而:一BXYXY . DX、DY为X、Y的相关系数。若 PXY =0,则称X、Y不相关。(Schwarz 不等式)若 EX2 <0°,EY2 <00,则EXY 2 < EX2EY2.§ 1.4 征函数、母函数和拉氏变换定义1.10设随机变量的分布函数为F (x),称g(t)E(ejtX) = .ejtxdF x

4、 , 一二二 t ：二二为X的特征函数随机变量的特征函数具有下列性质： g(0) =1,g(t) 5g(.t) =g(t)i(2 ) g (t)在(叫空)上一致连续。(3) g(k)(0)=ikE(Xk)(4)若Xi,X2，川，Xn是相互独立的随机变量，则 X =Xi +X2 +|+Xn的特征函数 g(t) =gi(t)g2(t)|gn(t),其中gi是随机变量Xi的特征函数,i=1,2,川，n.定义 1 .11 设 X =(Xi,X2,|,Xn)是 n 维随机变量，t = (ti,t2,|,tn) = R,则称ng(t) =g(ti,t2,|,tn) =E(eitX ) =Eexp(tkXk

5、),k 1为X的特征函数。定义1.12设X是非负整数值随机变量，分布列Pk = P X = Xk ,k =1,2;则称def.:二P(s)=E(sX) = £ PkSkk为为X的母函数。§ 1.5 n维正态分布定义1.13若n维随机变量X =(X1，X2，Xn)的联合概率密度为111 T、f (X) =f(x1,X2，Xn)= n/2exp(x a)B (x-a) (2n)B2式中，a = (&e2,，an)是常向量，B =(bj)n沏是正定矩阵，则称 X为n维正态随机变 量或服从n维正态分布，记作 X N (a, B)。可以证明，若 X N(a,B),则X的特征函

6、数为. 1 _g(t)二g(t1，t2, ,tn)=expiat iBt2为了应用的方便，下面，我们不加证明地给出常用的几个结论。性质 1 若* N(a,B)则 E(Xk)=ak,BXkXl =bj =1,2,，n。性质 2 设XN(a,B), Y = XA ,若 ABA 正定，则 Y N(aA, A'BA)。即正态 随机变量的线性变换仍为正态随机变量。性质3设X =(X1,X2,X3,X4)是四维正态随机变量，E(Xk) = Qk = 1,2,3,4,则E(X1X2X3X4) =E(X1X2)E(X3X4) E(X1X3)E(X2X4) E(X1X4)E(X2X3)§ 1.

7、6条件期望给定Y=y时，X的条件期望定义为E(X |Y = y) = xdF (x| y) = xf (x | y)dx由此可见除了概率是关于事件Y=y 的条件概率以外，现在的定义与无条件的情况完全一E(X|Y=y)是y的函数，y是Y的一个可能值。若在已知 Y的条件下，全面地考虑 X的 均值，需要以丫代替y, E(X|Y)是随机变量 Y的函数，也是随机变量，称为 X在Y下的 条件期望。条件期望在概率论、 数理统计和随机过程中是一个十分重要的概念，下面我们介绍一个极其有用的性质。性质若随机变量X与Y的期望存在，则E(X) = EE(X |Y) = E(X |Y = y)dFy(y) 如果Y是离散

8、型随机变量，则上式为E(X) =' E(X|Y =y)PY = yy如果Y是连续型，具有概率密度 f(x)，则(1)式为-boE(X)= E(X|Y = y)f(y)dy第二章随祝过程的概念与基本类型§ 2.1 机过程的基本概念定义2.1 设(C, F, P)是概率空间，T是给定的参数集，若对每个t曰，有一个随机 变量X(t,e)与之对应，则称随机变量族 X (t, e),t w T是(C, F, P )的随机过程，简记为 随机过程X(t),t WT。T称为参数集，通常表示时间。通常将随机过程X(t,e),t WT解释为一个物理系统。X(t)表示在时刻t所处的状态。X(t)的

9、所有可能状态所构成的集合称为状态空间或相空间，记为I。从数学的观点来说，随机过程X(t,e),t WT是定义在Txq上的二元函数。对固定的t, X(t,e)是定义在T上的普通函数，称为随机过程 X(t,e),twT的一个样本函数 或轨道，样 本函数的全体称为样本函数的空间。§ 2.2 机过程的函数特征Xt=X(t),tb 的有限维分布函数族。有限维特征函数族：中=gti, ,tn0i”2，品)：tl，t2，tn T，n-1其中：ngt(。口,f) =E(exp入x(tk)k 1定义 2.3 设 Xt=X(t),t T 的均值函数 mX def EX(t) , tT。2二阶矩过程，协方

10、差函数： Dx。)=BX(t,t)defEX(t) -mX(t)2,t T相关函数：RX(s,t) = EX(s)X(t)定义2.4 设X(t),t (T , Y(t),t (T 是两个二阶矩过程，互协方差函数，互相关函数。§ 2.3 复随机过程定义2.5设Xt,tWT, Y,tET是取实数值的两个随机过程，若对任意t£T乙=Xt +i"其中i =%i 1 ,则称Zt,t ET为复随机过程.定理2.2复随机过程Xt,tT的协方差函数B(s,t)具有性质(1)对称性：B(s,t) = B(t,s);(2)非负定性§ 2.4 重要的随机过程正交增量过程定义2

11、.6设IX t ,t三'I是零均值的二阶矩过程，若对任意的t1 ：: t2 < t3 :二t4 .一，有公式Eix(t2)-x(ti 诉&mEO=0, 则称x(t证交增量过程。2三1 s,t = Rx s, t -二工 min s,t二、独立增量过程定义2.7设<x(t )t w T是随机过程，若对任意的正整数 n和11ct2 c<tnwT,随机 变量X02 )-X(ti )X(t3 )X& )，X(tn )X(tn)是互相独立的,则称 (X(t)tW丁)是独 立增量过程，又称可加过程。定义2.8设氏(t)tw t是平稳独立增量过程，若对任意s<

12、t,随机变量X(t)-X(s)的 分布仅依赖于t -s,则称 氏。)tw T是平稳独立增量过程。三、马尔可夫过程定义 2.9 设X(t)twT为随机过程，若对任意正整数 n 及 t1 <t2,<tn,P(X(t1) =x1，X(tn)=xn/)>0,且其条件分布pX(tn) =Xn |X(ti )=Xi，X(tn)=4= PX(tn) = Xn | X ')=XnJ, (2.6) 则称k (t)t w t为马尔可夫过程。四、正态过程和维纳过程定义2.10 设X(t)twT是随机过程，若对任意正整数 n 和 ti,t2,twWT，(X(ti )X&2 )一，X(

13、tn是n维正态随机变量，则称 收。)不T是正态过 程或高斯过程。定义2.11 设 W(t),-« <t <主为随机过程，如果(1) W(0) =0 ;(2)它是独立、平稳增量过程；(3)对 Vs,t ,增量 W(t) W(s)N(0产 21t s|)。2 >0,则称如(t),Q <t </ 为维纳过程，也称布朗运动过程。定理2.3 设 W(t),8<t <笛是参数为仃2的维纳过程，则(1) 任意 t-«严),W(t)N(0,。2 |t|)；(2)对任意 <a <s,t <笛，E (W(s) -W(a)(W(t) -

14、W(a) -2 min(s -a,t - a),特另|J：RWs,t )=。2 min(s,t )。五、平稳过程定义2.12设 '(titW丁是随机过程，如果对任意常数7和正整数n,当 t1,，tnW T,L，tn + ”丁 时，(X(t1 汽也 yXftn »与(X(t1 +QX(t2+Q，X(tn+工)箱相同的联合分布，则称X(t)tWT为严平稳过 程，也称狭义平稳过程。定义2.13设 权&)丁是随机过程，如果(1) X(t)tWT 是二阶矩过程；(2)对于任意t wT,m«t )=Ek(t )】=常数；(3)对任意的s,t£T,Rx(s,t)

15、=Rx(t-s),则称X(t )t w T为广义平稳过程，简称 为平稳过程。若T为离散集，则称平稳过程X (t )t w T 为平稳序列。第三章泊松过程§ 3 .1泊松过程的定义和例子定义3.1计数过程定义3.2称计数过程X(t),t之0为具有参数 人>0的泊松过程，若它满足下列条件(1) X(0)= 0;(2) X(t)是独立增量过程；(3)在任一长度为t的区间中，事件 A发生的次数服从参数 九t>0的泊松分布，即对 任意s,t>0,有PX(s t) -X(s) =n =e_'-(-)-,(n = 0,1,2; )(3.1)n!注意，从条件(3)知泊松过程

16、是平稳增量过程且EX(t) = Kt。由于,示单位时间内事件 A发生的平均个数，故称K为此过程的 速率或强度。定义3.3称计数过程X(t),t之0为具有参数 九>0的泊松过程，若它满足下列条件(1) X(0)= 0;(2) X(t)是独立、平稳增量过程；(3) X(t)满足下列两式：(3.2)PX(t h) -X(t) =1 = h o(h),PX(t h) -X(t) -2 =o(h)定理3.1 定义3.2与定义3.3是等价的。3.2泊松过程的基本性质、数字特征设X(t),t之0是泊松过程，mX(t) =E(X(t) = t二 X(t) =D(X(t) = tRX(s,t) = E(X

17、(s)X(t) = , s( -t 1)BX(s,t) = RX(s,t) -mx(s)mX(t) = s一般泊松过程的有 BX(s,t)=九min(s,t)。有特征函数定义，可得泊松过程的特征函数为gX(u)=EeiuX(t) =exp t(eiu -1)二、时间间隔与等待时间的分布Wn为第n次事件A出现的时刻或第n次事件A的等待时间，Tn是第n个时间间隔， 它们都是随机变量。定理3.2设X(t),t之0是具有参数 九的泊松分布，Tn(n之1)是对应的时间间隔序列， 则随机变量Tn(n =1,2，)是独立同分布的均值为1/九的指数分布。定理3.3设Wn,n圭1是与泊松过程 X (t),t之0

18、对应的一个等待时间序列，则Wn服从参数为n与九的分布，其概率密度为©30 fWn(t)=(n-l)!0, t <0三、到达时间的条件分布定理3.4 设X (t),t20是泊松过程，已知在0,t内事件A发生n次，则这n次到达 时间W1 <W2( <叫与相应于n个0,t上均匀分布的独立随机变量的顺序统计量有相同 的分布。§ 3.3非齐次泊松过程定义3.4称计数过程X(t),t之0为具有跳跃强度函数”t)的非齐次泊松过程，若它满足下列条件：(1) X (0) = 0 ; (2)X (t)是独立增量过程；(3) PX(t h)-X(t) =1 = (t)h o(h

19、) PX(t h) -X(t) _2 =o(h)非齐次泊松过程的均值函数为：tmX =0 ' (s)dst定理3.5 设X(t),t之0是具有均值函数 mX(t) =oMs)ds的非齐次泊松过程，则 有PX (t s) - X (t) = n = mX(t s)-mX exp _mX (t s) - mX(t), (n_0) n!或P X (t) = n = mX (t) exp -mX (t)n!上式表明PX(t+s) X(t) =n不仅是t的函数，也是s的函数。3.4 复合泊松过程定义3.5设N(t),t之0是强度为九的泊松过程，K,k =1,2,.是一列独立同分布随 机变量，且与

20、N(t),t之0独立，令N(t)x(t)八 Kt_0,k 1则称X (t), t20为复合泊松过程。N(t)定理3.6设x(t) =zy, t >0,是复合泊松过程，则 k k 1(1)。X(t),t 2 0是独立增量过程；(2) X(t)的特征函数gX(t)(u) =exp九tgY(u) -1,其中gY(u)是随机变量Y的特 征函数；九是事件的到达率。(3)若 E(Y2) <g,则 EX(t) = MEY, DX(t) = KtEY2.第4章马尔可夫链§ 4.1 尔可夫链的概念及转移概率一、马尔可夫键的定义定义1设有随机过程Xn,nWT,若对于任意的整数ne T和任意的

21、i。,*,，*书w i ,条件概率满足PXn4 = in甲 Xo = io,Xi =ii,，Xn = in= PXn邛=in.Xn=in则称Xn，nwT为马尔可夫链，简称 马氏链。二、转移概率定义2称条件概率Pij(n)=PXn 1- j |Xn =i为马尔可夫链Xn,nwT在时刻n的一步转移概率，其中i,j w I ,简称为转移概率。定义3若对任意的i, j w I ,马尔可夫链Xn,nWT的转移概率pj(n)与n无关，则称 马尔可夫链是齐次的，并记pij (n)为pij。定义4称条件概率pjn)=PXmn = j|Xm =i(i, j I,m 0,n)为马尔可夫链Xn,nwT的n步转移概率

22、，定理1设Xn,nwT为马尔可夫链，则对任意整数n20,0 El < n和i, j w I , n步转移概率pjn)具有下列性质：(n)(l) (n) Pijpik pkj ;k.I(2)pjn) = '、p- piki pklk2 " pkn ±j ；ki EIkn j：I(3)P(n)=PP(n)；(4)P=Pn.定义5设Xn,nWT为马尔可夫链，称pj =PX。=j和 Pj(n) = PXn =j,(jI)为Xn,n WT的初始概率 和绝对概率，并分别称ph j w I和p4n), j w I为Xn,nWT 的初始分布和绝对分布，简记为 pj和 pj(n

23、) o定理2 设Xn,nWT为马尔可夫链，则对任意j w I和n1 ,绝对概率pj(n)具有下列性质：(1)pj(n)=" pipjn)iI pj(n) = " R(n -1)pji三I(3)PT(n)= PT(0)P(4)PT(n) = PT(n -1)P定理3设Xn,nWT为马尔可夫链，则对任意i1,i2,，in w I和n之1 ,有Pg - f, /八 pipiiR?pjieI§ 4.2 马尔可夫链的状态分类一、状态分类假设Xn,n0是齐次马尔可夫链，其状态空间I =0,1,2,111),转移概率是pj,i,jWI,初始分布为pj,i, j亡I。定义4.6

24、如集合n: n之1,靖)>0)非空，则称该集合的最大公约数 d =d(i) =G.C.Dn: pi(n) >0为状态i的周期。如d >1就称i为周期的:如d =1就称i为 非周期的。(若对每一个不可被 d整除的n ,有p俨=0,且d是具有此性质的最大正整数， 则称d为状态i的周期。)引理4.1 如i的周期为d,则存在正整数 M对一切n之M ,有pi(nd) >0O定义又i,jwS,记fj0)=0, % (1=)PXi = j|Xo =ifJn)=PXn = j,Xk #j,k=1,2,|,n1|X°=i, n 至2(4.15)f ='、. f.(n)i

25、jijn.T称fj是系统在0时从i出发经过n步转移后首次到达状态j的概率，而(团则是在0时从 i出发，系统在有限步转移内不可能到达状态 j的概率。我们将fj和fj统称为首达概率(又 称首中概率)。引理(1) 0 £ fj(n)£ fj-i,j,n(2) 首达概率可以用一步转移概率来表示：fj, IM' PiilP/llPn"142日一定义4.7 若fii =1,则称状态i为常返的;若fii <1,则称状态i为非常返的。定义4.8如 匕 <8，则称常返态i为正常返的:如 巴二笛，则称常返态i为零常返的. 非周期的正常返态称为遍历状态。从状态是否常

26、返，如常返的话是否正常返，如正常返的话是否非周期等三层次上将状态 区分为以下的类型：非常返态(fii <1)状态!零常返态(匕句常返态(fL1"正常返态(5。*有周期(d1)(非周期(d=1)- 遍历态fj与Pi(n)有如下关系：定理4.4 对任意状态i,j ,及1Wn<8,有nn(n) _ v ( (k) (n/) _ v (n *)(k)pij 一乙 fij pjj 乙 fijpjj .(4.16)k 1k=0引理 4.2 G.C.Dn:n 一1, pi(n) 0 =G.C.Dn:n1,fii(n)0.二、常返态的性质及其性质定理4.5 状态i常返的充要条件为Q0工

27、pii =°°(4.18 )n =0如i非常返，则n =01 - fii定理4.7 设i常返且有周期d,则(4.26)(nd) d hm Pii.n二id其中匕为i的平均返回时间。当匕=空时，=0.Ji(n)1lim Pii= >0°J：推论 设i常返，则 i 零常返 u lim piin)=0； (2) n)：定理4.8可达关系与互通关系都具有传递性，即如果 i T j , j T k ,则 i T k ；如果iHk,上修女，贝卜3女。定理4.9 如ij，则(1) i与j同为常返或非常返，若为常返，则它们同为正常返或零常返；(2) i与j有相同的周期。 4

28、.3 状态空间的分解定义4.9 状态空间I的子集C称为(随机)闭集，如对任意i wc及k袅C都 有a=0。闭集C称为不可约的，如C的状态互通。马氏链Xn称为不可约的, 如其状态空间不可约。引理4.4 C是闭集的充要条件为对任意iwc及k"都有pi(kn)=0, n>10称状态i为吸收的，如Pi =1。显然状态i吸收等价于单点集i为闭集。定理4.10 任一马氏链的状态空间I ,可唯一地分解成有限个或可列个互不 相交的子集口,&12，川之和，使得 每一 Cn是常返态组成的不可约闭集。Cn中的状态同类，或全是正常返，或全是零常返。它们有相同的周期且fjk =1, i,kWCn

29、。D由全体非常返状态组成。自Cn中的状态不能到达D中的状态。定义4.10 称矩阵(aij )为随机矩阵，如其元素非负且每1有£ aij =1。显然k步转移矩阵P(k)= ( p；k)为随机矩阵。引理4.5 设C为闭集，又 矢(pjk) , i”C,是C上所得的(即与C相 应的)k步转移子矩阵，则G仍是随机矩阵。定理4.11周期为d的不可约马氏链，其状态空间C可唯一地分解为d个 互不相交地子集之和，即d 4C=Ug, GA Q/ W ,S(4.31 )r =0且使得自Gr中任一状态出发，经一步转移必进入 Gr书中(其中Gd =G。)。定理4.12设Xn，n20是周期为d的不可约马氏链，

30、则在定理4.11的结论(1)如只在时刻0,d,2d,用上考虑Xn,即得一新马氏链，其转移阵 P(d) =(Pi(d),对此新链，每一 Gr是不可约闭集，且Gr中的状态是非周期的。(2)如原马氏链Xn常返，Xnd也常返。 4.4 4.4Pi(n)的渐近性质与平稳分布(4.33)一、p的渐近性质定理4.13 如j非常返或零常返，则lim pijn) =0, Vi = I n >推论1有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返 状态，从而不可约的有限马氏链必为正常返的。推论2如马氏链有一个零常返状态，则必有无限多个零常返状态。定理4.14 如j正常返，周期为d,则对任意i及0w

31、rwd-1有(4.37)C,则对一切(nd .r)dlim Pjfj(r) 丁n - j推论 设不可约、正常返、周期 d的马氏链，其状态空间为 i,j ",有(nd) nlm0 Pijj，如i与j同属于子集Gs,(4.38)0,否则,d 1其中C = U Gs为定理4.11中所给出。s=0特别，如d=1,则对一切i,j有lim pjn) n J定理4.15对任意状态i, j,有(4.39)1 (k) nimnkJj推论如Xn不可约，常返,1 n -、 limpjn 二 n 定义4.11称概率分布、，。若j是非常返或零常返f“背,若j是正常返则对任意i,j,有1一 .一一二，力=笛时，

32、理解-jj w I为马尔可夫链的平稳分布，若它满足- j 二” - i pij ,i/(4.41 )"二 i =1,二 j -0. j i值得注意的是，对平稳分布%, j乞I,有二 j 八二 ipjn)(4.42)iI定理4.16不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布1，j乏I。uj推论1有限状态的不可约非周期马尔可夫链必存在平稳分布。推论2若不可约马尔可夫链的所有状态是非常返或零常返的，则不存在 平稳分布.推论3若/,jWI是马尔可夫链的平稳分布，则C小 1Pj(n) = = L uj第五章 连续时间的马尔可夫链§5.1 连续时间

33、的马尔可夫链定义5.1设随机过程X(t),t>0,状态空间I =n , n 0若对于任意 0<ti <t2 即 nUMii,i2,|,in+ei 有PX(tn 1)=in.1 |X(ti) =ii,X(t2)=i2J|,X(tn)=in=PX(tni)=ini|X(tn)=身 (5.1)则称X(t),t>0为连续时间的马尔可夫链。记(5.1)式条件概率的一般形式为Pj(s,t) =PX(s t) = j|X(s) =i (5.2)定义5.2 若(5.2)式的转移概率与s无关，则称连续时间马尔可夫链具有平稳 的或齐次的转移概率，此时转移概率简记为Pj (s,t) = Pj

34、 (t)(5.3)其转移概率矩阵简记为P(t)=(pj(t),(i, jw I,t>0)o以下的讨论均假定我们所考虑的连续时间马尔柯夫链都具有齐次转移概率。为方便起见，简称为齐次马尔可夫过程。定理5.1.1齐次马尔可夫过程的转移概率具有以下性质：(1)Pj(t) -0；(2广 pj(t)=1；ji(3) Pij (t s) =" Rk(t)Pkj(s) k. I其中(3)式为马尔可夫过程的 Chapman-Kolmogorov(简称C-K)方程。(1), (2) 由概率定义及加的定义易知，下面只证明(3)。定义5.1.3 对于任一 t >0,记Pj(t) = PX(t)

35、= j, Pj =Pj(0)=PX(0) = j, j I分别称 Pj(t), j亡I和 Pj, j w I为齐次马尔可夫过程的绝对概率分布和初始概 率分布。性质5.1.1齐次马尔可夫过程的绝对概率及有限维概率分布具有以下性质：(1)Pj(t) -0;(2广 Pj(t)=1;jI(3)Pj(t) = " PiPj(t); (4)Pj(t ) f Pi(t)pj(); i三Ii三I(5)PX(ti)=ii,X(t2)=i2,IH,X(tn)=inP Pii(ti)Piii2 (t2 -ti)IH PinJn(tn - tn 4) i 二 I§5.2 柯尔莫哥洛夫微分方程引理5

36、.2.1设齐次马尔可夫过程满足正则性条件，则对于任意固定的 i,j WI,pj(t)是t的一致连续函数。定理5.3设pj(t)是齐次马尔可夫过程的转移概率，则下列极限存在1 - pii G-t).: t二 viPij('t)科一T臼工：二j我们称qj为齐次马尔可夫过程从状态i到状态j的转移速率或跳跃强度。 推论对有限齐次马尔可夫过程，有qii =£ qj <°°(5.2.1 )j 4定理5.4 (柯尔莫哥洛夫向后方程)假设Z qk =q",则对一切i, jSt>0,有P；(t) =X qik Pkj -qii Pj (5.2.4 )k

37、T：定理5.2.3(柯尔莫哥洛夫向前方程)在适当的正则条件下pj八 “ qkj - % qj (5.2.6)k =j定理5.2.4 齐次马尔可夫链过程在t时刻处于状态j I的绝对概率pj(t)满足 如下方程：Pj(t) = -Pj(t)qjj Jpk(t)qkjk；j定理5.2.5 设马尔可夫过程是不可约的，则有下列性质：(1)若它是正常返的,则极限lim pj存在且等于nj a 0, j w I ,这里n j是方程 tjj组n jqM kqkj£ n j=1J哥的唯一非负解，此时称,jWI是该过程的平稳分布，并且有t场 Pj(t)-j(2)若它是零常返的或非常返的，则tm Pij(

38、t)<im；Pj(t)=0,i,j I§5.3 5.3生灭过程定义设齐次马尔可夫过程X(t),t20的状态空间为I =0,1,2, |,转移概率为Pj (t),如果'%书(h) = %h +o(h) (% >0)R,i/h) = »ih +0(h)* >0下0 =0)Pii(h) =1 -( i ")h o(h)Pj(h) =o(h) (|i-j |一2)则称X(t),t20为生灭过程。其中， 人称为出生率，匕称为死亡率。若九i=i九4(九厅为正常数)，则称X(t),t之0为线性生灭过程；(2)若叶三0,则称X(t),t之0为纯生过程；(

39、3)若三0,则称X(t),t之0为纯灭过程。第六章平稳随机过程§6.1平稳过程的概念与例子一、平稳过程的定义1.平稳过程定义§ 6.2联合平稳过程及相关函数的性质、联合平稳过程定义 设X(t),twT和Y(t),twT是两个平稳过程，若它们的互相关函数EX(t)Y(t三)及EY(t)X(t明 仅与E有关，而与t无关，则称X(t)和Y(t)是联合平 稳随机过程。定理6.1 设X (t), t w T为平稳过程，则其相关函数具下列性质： Rx (0) > 0； (2) M = Rx(7)； (3)|Rx(t) <Rx(0)； RxG)是非负定的，即对任意实数ti,t

40、2,IH,tn及复数为e2,川，小，有n、Rx(ti,tj)a4 一0i,j3(5)若X(t)是周期为T的周期函数，即 X(t) =X(t+T),则Rx(t)= RX(T+t);(6)若X(t)是不含周期分量的非周期过程，当7T笛时，X(t)与X(t + T)相互独立,lim RX ( ) = mX mXMb 、 2 一. 、2Rxy <Rx (0)Ry(0), Rxy(t) <Rx (0)Ry(0)；(2)Rxy(- J = RX ( )§ 6.3 随机分析、收敛性概念1、处处收敛对于概率空间(C,短，P)上的随机序列Xn,每个试验结果e都对应一序列。X1(e),X2(

41、e),lll,Xn(e),|l(6.2)故随机序列Xn实际上代表一族(6.2)式的序列，故不能用普通极限形式来定义随机序列的 收敛性。若(6.2)式对每个e都收敛，则称随机序列Xn处处收敛，即满足nXm i l二二)n14其中X为随机变量。2、以概率1收敛若使随机序列Xn(e)满足lim一 Xn(e) =X(e) nj .的e的集合的概率为1,即X(e),或称 Xn (e)几乎处Pe: “m：Xn(e) =X(e) =1我们称二阶矩随机序列Xn(e)以概率1收敛于二阶矩随机变量 处收敛于X(e)，记作X n 三 X 。3、依概率收敛若对于任给的£ >0,若有lim P| Xn(

42、e)X(e)巨酚=0 , n,P _ _则称一阶矩随机序列Xn(e)依概率收敛于二阶矩随机变量X(e)，记作XnX。4、均方收敛设有二阶矩随机序列Xn和二阶矩随机变量X,若有lim E| Xn -X |2 =0(6.3)n :,成立，则称Xn均方收敛，记作Xn-sT X。注：(6.3)式一般记为 l.i.m Xn =X或l.imXn =X。 x 二5、依分布收敛设有二阶矩随机序列Xn和二阶矩随机变量 X,若Xn相应的分布函数列Fn(x), 在X的分布函数F(x)的每一个连续点处，有lmFn(x) =F(x) n 一则称二阶矩随机序列Xn依分布收敛于二阶矩随机变量X,记作XndT X对于以上四种

43、收敛定义进行比较，有下列关系：(1)若 Xn 一X ,则 Xn PT X(2)若 Xn 亘eT X ,则 Xn,T XPd(3)若 Xn PT X ,则 Xn,T X定理2二阶矩随机序列Xn收敛于二阶次I随机变量X的充要条件为lim E| Xn -Xm |2 =0 n_.定理3设Xn,Yn, Zn都是二阶矩随机序列，U为二阶矩随机变量，为常数序列，a, b, c为常数。令 l.i.mXn=X, l.i.mYn=Y, l.i.mZn=Z, l.i.mcn=c。则(1) l.i.mcn = lim cn =c； n :,(2) l.i.mU =U ；(3) l.i.m(cnU) =cU ；(4)

44、l.i.m(aXn +bYn) =aX +bY；(5) lim EXn =EX =El.i.mXn; nnn(6) lim EXnYm = EXY =E(l.i.mXn)(l.i.mYm);n ,m :二特别有_2_2_2nimoE|Xn| =E|X| = E|l.i.mXn| 0定理4设Xn为二阶矩随机序列，则Xn均方收敛的充要条件为下列极限存在lim EXnXm。n,m j：.二、均方连续定义设有二阶矩过程 X (t), t w T,若对t0 W T ,有!imE|X(t0+h)-X(t0)2=0,随机过程复习则称X(t)在t0点均方连续，记作l.imX(t0 h) = X(t。)。若对T

45、中一切点都均方 连续，则 h )0称X(t)在T上均方连续。定理(均方连续准则) 二阶矩过程X (t), t w T在t点均方连续的充要条件为相关函数RX(ti，t2)在点(t,t)处连续。推论 若相关函数RX(t1,t2)在(t,t),twT上连续，则它在TXT上连续 三、均方导数定义7 设X(t),twT是二阶矩过程，若存在一个随机过程X'(t),满足呵 e X(t h) -X(t) _ x (t) |2 =0则称X(t)在t点均方可微，记作X (t)=dX(t)dt叫丁X(t h) -X(t)19并称X (t)为*0)在1点的均方导数。类似的有X “(t)或称d2Xdt2Rx(t

46、l,t2 +h2) Rx(tl,t2)1hih2lim jRx(ti+hi,t2+h2) Rx(ti+hi,t2)h2£hih2为Rx(tl ,t2)在(ti,t2)的广义二阶导数，记为2 -，、：Rx (tl,t2)-：ti 42定理6 均方可微准则 二阶矩过程X(t),twT在t点均方可微的充要条件为相关函数RX (t1,t2)在点(t,t)的广义二阶导数存在。推论1二阶矩过程X(t),twT在T上均方可微的充要条件为相关函数RX(t1,t2)在(t,t),t亡丁上每一点广义二阶可微。推论2若RX(t1,t2)在(t,t),t WT上每一点广义二阶可微，则dmX (t)在T上以及

47、dt-Rx (ti,t2), Rx (ti, t2), - Rx (tj)-ti2- tr- t2在T MT上存在，且有dmx(t)dEX(t)=EX (t)；dtdt史生2=7EX(ti)X) =EX(ti)XJ;ti二 t，Rx(：i,t2) = - EX(ti)X'(t) = EX(ti)XJ;二t2二t2代)"Rx-)一 - 一 - EX (ti)X(t2)功力“cti四、均方积分定义8如果&T 0时，s均方收敛于S,即imE| Sn S|2=0 ,则称f(t)X(t)在a,b上均方可积，并记为bs = a f(t)x(t)dt ”mgf(ti)x(ti)H

48、-ti) 称此为f (t)X (t)在区间a,b上的均方积分。定理7(均方可积准则)f (t)X(t)在区间a,b上均方可积的充要条件为b b a af(ti)f(t2)Rx(ti,t2)dtidt2 a a存在。特别的，二阶矩过程X(t)在a,b上均方可积的充要条件为Rx(t1,t2)在a,bxa,b上可积。定理8 设f (t)X(t)在区间a,b上均方可积，则有 bbE a f(t)X(t)dt= a f(t)EX(t)dtbb特别有E X(t)dt= EX(t)dta-abbb b (2) Ef(ti)X(ti)dtif(t2)X(t2)dt2 =f(ti)f(t2)RX(ti,t2)d

49、tidt2 a- a a ，ab2 b b特别的有E| (X(t)dt|2= L R RX(ti,t2)dtidt2。"aa a定理9设二阶矩过程X(t),twT在a,b上均方连续，则 tY(t) = X( )d , (a <t < b) a在均方意义下存在，且随机过程X(t),twT在a,b上均方可微，且有 Y'(t)=X(t)。推论 设X 均方可微，且 X '(t)均方连续，则tX(t) -X(a) = X (t)dt a特别有 tX(t)-X(a) = J dt a4平稳过程的各态历经性定义9设X(t),3<t <«为均方连续的

50、平稳过程，则分别称1 T 1 T <X(t) -l.i.m 二 X(t)dt,：二 X(t)X(t -)、=l*m 亓 X (t)X (t - .)dt 为该过程的时间均值和时间相关函数。 定义10设X(t),厘ct父芯是均方连续的平稳过程，若<X(t) >Pr.1E(X(t),即1 Tl.i.m 一X(t)dt =mX以概率1成立，则称该平稳过程的均值具有各态历经性。若 <X(t)X(t-丁)>PrjE(X(t)X(t-。)，即1 T 口里 2TjX(t)X(t-T)dt=RX以概率1成立，则称该平稳过程的相关函数具有各态历经性。定义11如果均方连续的平稳过程

51、X (t), t w T的均值和相关函数都具有各态历经性, 则称该平稳过程为具有各态历经性或遍历性。定理10 设X(t),<t <芯是均方连续的平稳过程，则它的均值具有各态历经性的充要条件为1 2T L M 2.clim f 1 -L-L Rx(t)mX dT=0(6.9)T-2T 不1 2T ,定理6.11设X(t), _g<t<M为均方连续的平稳过程，则其相关函数具有各态历经 性的充要条件为(6.15)(6.16)Tim2T 1；1.1)门"=。其中B(Ti) = E X(t)X(t -T)X(t f)X(t -Il) I 定理6.12对于均为连续平稳过程X(t),0 <t<«,充式1 Tl.j,m ° X (. )d ; mX以概率1成立的充要条件为1 T 卜)lim 1 1-U BX(T)dT =0T+2T J、T ,若X (t)为实平稳过程，则上式变为Bx( )dv =01 T lim 1 - T :T 0 , T定理6.13对于均方连续平稳过程 X(t),0 <t <«,等式1 T l.T.m： T 0 X(t)X(t- )dt =Rx()以概率1成立的充要条件为TimT 匚 1 -斗际)-Rx 2 d. = 0其中B(%)与(6.16)式