随机过程连续时间的马尔可夫链

1、第五章 连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程X(t),t _ 0.定义5.1设随机过程X(t),t _0.,状态空间I二in,n _0,若对任意0-1 :“2 :：tn 1 及 ii,i2,.n 1 丨，有PX(tn 半)9“区(切=h,X(t2)=i2,.X.(tn) = in= PX(tnG=inX(tn)=in(5.1)则称X(t),t_O.为连续时间马尔可夫链.由定义知，连续时间马尔可夫链是具有马尔可夫性的随机过程，即过程在已知 现在时刻tn及一切过去时刻所处状态的条件下 ，将来时刻tn 1的状态只依赖于现 在状态而与过去无关.记(5.1)式

2、条件概率一般形式为PX(s+t) = j|x(s)=i = Pj(s,t)(5.2)它表示系统在s时刻处于状态i,经过时间t后转移到状态j的转移概率.定义5.2若(5.2)式的转移概率与s无关，则称连续时间马尔可夫链具有平稳的 或齐次的转移概率，此时转移概率简记为Pij (s,t)二 Pj (t),其转移概率矩阵简记为P(t) =(Pjj(t),(i, j l,t 一0).以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻，比如说时刻0,马尔可夫链进入状态i,而且接下来的s个单位时间 单位中过程未离开状态i,(即未发生转移)，问随后的t个单位

3、时间中过程仍不离开 状态i的概率是多少呢？由马尔可夫我们知道，过程在时刻s处于状态i条件下，在 区间s,s+t中仍然处于i的概率正是它处于i至少t个单位的无条件概率.若记hi为记过程在转移到另一个状态之前停留在状态i的时间，则对一切s,t- 0有P hi s t his = P hi t,可见，随机变量hi具有无记忆性，因此hi服从指数分布.由此可见，一个连续时间马尔可夫链，每当它进入状态i,具有如下性质：(1)在转移到另一状态之前处于状态i的时间服从参数为Vi的指数分布；当过程离开状态i时，接着以概率Pj进行状态j,v Pj =1 .上述性质也是我们构造连续时间马尔可夫链的一种方法.当Vj

4、=3时，称状态i为瞬时状态，因为过程一旦进入此状态立即就离开.Vj =0时,称状态i为吸收状态，因为过程一旦进入状态就永远不再离开了 尽管 瞬时状态在理论上是可能的，但以后假设对一切i, 0乞因此,实际上一个连 续时间的马尔可夫链是一个这样的随机过程 ，它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的 时间服从指数分布.此外在状态i过程停留的时间与下一个到达的状态必须是相 互独立的随机变量因此下一个到达的状态依赖于hi,那么过程处于状态i已有多 久的信息与一个状态的预报有关，这与马尔可夫性的假定相矛盾定理5.1齐次马尔可夫过程的转移概率具有

5、下列性质：(1) Pj -0；、Pj =1；ji(3) Pj (t s)二 Pik (t) Pkj (s).k目其中(3)式即为连续时间齐次马尔可夫链的切普曼一柯尔哥洛夫方程证明只证(3).由全概率公式及马尔可夫性可得Pj(t+s)=PX(t+s) = j|X(0)=i) =二' PX(t s)二 j,X(t)二 kX(0) =ik Wl二' PX(t) =k|X(0) =iPX(t s) - j|X(t) =kk.I八 Pik (t) Pkj (s).k.I对于转移概率Pj(t),一般还假定它满足：，,i = jlim Pj = 一(5.3)0，i 式 j.称(5.3)式为正

6、则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一 状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃，从而消耗无穷多的能量这是不可能的定义5.3对于任一t 一0记Pj(t)二 PX(t) = j.Pj =Pj(0) = PX(0) = j, j I,分别称Pj(t), j E I , pj, j 1齐次马尔可夫过程的绝对概率分布和初始概率分布定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：(1) Pj(t)O, ' Pj(t)，j .i(3) Pj(t)八 Pi Pij(t)；i曰(4) Pj (t h) 7 Pi (t) Pj (h);(5)PX(

7、tJ *,.,X(tn) = in二pi pii1 pi1i2 (t2 _ t1). pin _in (t _ t n J ).i I-例5.1试证明泊松过程X(t),t 一 0为连续时间齐次马尔可夫链.证明 先证泊松过程具有马尔可夫性，再证明齐次性.由泊松过程的定义它是独立增量过程，且X(0)=0. 0 .如：tn < tn 1 ,有PX(g)=inX(t1)=i1,.必化)"=PX(g)-X(tn) = J 卅-in|X(tJ-X(0)=h,.= X(t2)-X(tJ “2 - i1,.X(tn) -X(tn)J -扁,=PX(tn1) -X(tn)"n1 -诂另

8、一方面，因为PX(tn/=inX(tn)f= PX(tn 十)一X(tn)=in+h| X(tn) X(0)=叨= PX(tm) -X(tn) “1 n所以 PX(tnQ RnjXg =i1，.,X(tn) f = PX(tnG =扁 X(J)=".即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性.当j _i时，由泊松过程的定义PX(s t) = jX(s) =i= PX(s t)-X(s) = j -i(jjvi.时，由于过程的增量只取非负整数，故Pij (s,t)二0,所以'-兀(址)2Pij(s,t) = Pij(t)=(j -i)!，j _ ,. O,j<i

9、即转移概率只与t有关,泊松过程具有齐次性.5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率Pij (t)的求解一般比较复杂.下面首先讨论Pj (t)的可微性及Pj (t)满足的柯尔莫哥洛夫微分程.引理5.1设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的i, j I, Pij (t)是t的一致连续函数.证明 设h>0,由定理5.1得Pij (t h) - Pij (t)二 Pir (h) Prj (t) 一 Pij (t)r曰+ Pir (h) Prj (t) Pii(h)Pj(t) - Pj (t)rH二八 Pir (h) Prj (t) -1 - PH (h)

10、 Pj (t)r-i故有 Pj(th) Pj (t) 一1 - pH (h) Pj (t) 一-1- Pi (h),Pij(th) Pj (t)八 Pir (h) Prj (t)八 Pir(h) = 1 PH(h),r/r鼻因此Pj(t +h) - pj(t)| " Pii (h).对于 h<0,同样有 Pj(t+h)Pij(t) GPii(h).综上所述得到Pj(t +h) - Pj(t)| 兰1 Pii(h).由正则性条件知lim Pj(t+h) Pj(t) =0,即Pj (t)关于t 是- -致连续的.以下我们恒设齐次马尔可夫过程满足正则性条件(5.3 )式.定理5.3设

11、Pj (t)是齐次马尔可夫过程的转移概率，则下列极限存在(1)lim t _ Pii(心 二Vj rq” 空二; 一-t lim t 0Pj (览).: t=qj ： ：,i = j.17我们称qj为齐次马尔可夫过程从状态i到状态j的转移概率或跳跃强度.定理中 的极限的概率意义为：在长为：t的时间区间内，过程从状态i转移到另一其他状态 的转移概率为1 - Pii C t)等于qH t加一个比：t高阶的无穷小量,而过程从状态i转移到状态j的转移概率为PjC ：t)等于qjt加一个比:t高阶的无穷小量.推论对有限齐次马尔可夫过程，有qii 八 qj -:j式证明由定理5.1，有、Pj ( ：t)

12、=1,1 - 山(：t)八 Pj( ：t)j Ij -i由于求和是在有限集中进行，故有1 - Pii (辻)t4 八 qj.j“(5.4)对于状态空间无限的齐次马尔可夫过程，一般只有qii - qij .j#若连续时间齐次马尔可夫是具有有限状态空间匸0,1,2,n,则其转移速率构成以下形式的矩阵q01.q0 n-q°0Q =q10qnq1 n.qn0qn1qnn _(5.5)由(5.4)式知,Q矩阵的每一行元素之和为0,对角线元素为负或0,其余,qj -0.利用Q矩阵可以推出任意时间间隔t的转移概率所满足的方法组，从而可以求 解转移概率.由切普曼-柯尔莫哥洛夫方程有Pj (th) P

13、ik(h) Pkj(t),k石或等价地Pj (th) - pj (t)二為 Pik (h) pg (t) - 口- 山(h) pj (t)两边除以h后令h > 0取极限，应用定理5.3得到Pj(t+h) pMt)Pik (h)从小limih olimh 卩 -Pq(t) 7 Pj(t)(5.6)hh假定在(5.6)式的右边可交换极限与求和，再运用定理5.3,于是得到以下结论： 定理5.4 (柯尔莫哥洛夫向后方程)假设a qik二qii,则对一切l,j及t_0,有Pij(t)二' qik Pkj(t) -qii Pij ,(5.7)证明 只要证明(5.6)式右边极限与求和可交换次序

14、.现在对于任意固定的N,有lim h p inf ' Pkj(t) 一 limh Jnf '二 x qikPkj(t)hk#yhkd,k<N因为上式对一切N成立，所以limih Jnf 'gPkj(t)(5.8)k/,hk#为了倒转不等式，注意对于N>i,由于Pkj(t)空1,所以l i m °sup Pik(h)pkj(t)乞k式hPik (h)Pik(h).-lim h)0 sup-Pkj (t)-上k#k<Nhk hPik(h)1-pii(h)、.Pik(h).-lim h ,0 sup 'Pkj (t)-一 二k#k<：

15、Nhhk：#,k<Nh玄送 qik Pkj(t) +qii -送 qik,k,k :Nk 才,k：N令N,由定理5.3和条件得lim h 0 sup'Pikh)Pkj (t) 一 ' qik Pkj (t).k, hk#上式连同(5.8)可得limh 0 ' Pik (h) pq (t)八 qik Pkj (t).k 寸，hkh.定理5.4中pij (t)满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程，是因为在计算时刻t+h的状态的概率分布时我们对退后到时刻h的状态取条件，即我们从Pij(th)二' Px(t h)二 j X(0) =i,X(

16、h)二 k. PX(h) =kX(0) =iPkj(t)Pik(h)k迓开始计算对时刻t的状态取条件，我们可以导出另一组方程，称为柯尔莫哥洛夫向前方程 可得Pj (t h)二 Pik (t)Pkj(h),Pj (t h) - Pj (t)=為 Pik (t) Pkj (h) - Pj (t)k目二工為 Pik (t) Pkj (h) 一口一 Pjj (h) Pj (t), jj所以lim h oPj (th) - Pj (t)h= lim h Pik (t)Pkj (h)h一 Pjj (h)hPj (t) 假定我们能交换极限与求和，则由定理5.3便得到Pj (t) 7 Pik (t)qkj -

17、qH Pj (t),k誚令人遗憾的是上述极限与求和的交换不是恒成立，所以上式并非总是成立.然而在 大多数模型中-包括全部生灭过程与全部有限状态的模型，它们是成立的.定理5.5(柯尔莫哥洛夫向前方程)在适当的正则条件下，Pj(t)八 Pik(t)qq - Pij (t)qjj,(5.9)k/利用方程组(5.7)或(5.9)及初始条件Pii (0) =1,Pj(0n.我们可以解得Pj (t).柯尔莫哥洛夫向后和向前方程虽然形式不同，但是可以证明它们所求得的解Pj(t)是相同的.在实际应用中,当固定最后所处状态j,研究Pj(t) 时(i=0,1,2,n),采用向后方程比较方便；当固定状态i,研究pM

18、t)时(j=0,1,2,),则 采用向前方程较方便.向后方程和向前方程可以写成矩阵形式(5.11)P (t) =QP(t),(5.10)P (tHP(t)Q,其中-p00p10p01P11p02p12P =p20p21p22.-q00q10q01一 q11q02q12Q =q20q21一q22这样，连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问 题，其转移概率由其转移速率矩阵 Q决定特别地,若Q是一个有限维矩阵，则(5.10) 和(5.11)的解为p(t) =eQt 八 一 01.j=oj!方程：Pj(t)二一Pj(t)qjj ' Pk(t)qkj.(5.12)k书证明

19、由定理 5.2,有 Pj (t)二二 Pi Pj (t) t定理5.6 .齐次马尔可夫过程在t时刻处于状态j I的绝对概率Pj(t)满足下列将向前方程(5.9)式两边乘以并对i求和得' PiPj(t)八(- 口 Pj(t)qjj)亠二 二 Pi Pik(t)qkj.i Wli Tli Wl k =j故Pj(t) Pj(t)qjj' Pk(t)qkj.k羽与离散马尔可夫链类似,我们讨论转移概率Pj (t)当t：时的极限分布与平稳分布的有限性质定义5.4设Pj (t)为连续时间马尔可夫链的转移概率，若存在时刻1 ,t2，使得Pij (tl )0,Pij(t2)0,则称状态i和j是互

20、通的.若所有状态都是互通的，则称此马尔可夫链为不可约 的.定理5.7设连续时间的马尔可夫是不可约的，则有下列性质：(1)若它是正常返的,则极限lim“：Pij(t)存在且等于二j 0,r I.这里: j 0, j I.是方程组: jqjj - 7 二kqkjf : j =1 k#jj 曰(5.13)的唯一非负解.此时称匕j 0, f I.是该过程的平稳分布，并且有| m： Pj(t).若它是零常返的或非常返的，则1叽厂 Pj (t) =1叽匚 Pj(t) =0,i, j I.在实际问题中，有些问题可以用柯尔莫哥洛夫方程直接求解，有些问题虽然不 能求解但是可以用方程(5.13)求解.例5.2考虑

21、两个状态的连续时间马尔可夫链，在转移到状态1之前链在状态0 停留的时间是参数为，的指数变量,而在回到状态0之前它停留在状态1的时 间是参数为的指数变量，显然该链是一个齐次马尔可夫过程，其状态转移概率为P01 (h)二 h o(h), P1o(h)八比 o(h).q00=lim h )01P：o(h) = lim Po1(h)hdhP01 (h) h =0 =人=q01,由定理5.3知 Pn(h),： 一 P10(h)q11 -1im h 0lim h )0hhP10 (h) h =0 = " = q10,dh由柯尔莫哥洛夫向前方程得到P00 (t) = -P01 (t) - P00

22、(t)二- !' -) P00 (t),其中最后一个等式来自P01 (t)二1 - P00(t).因为p°0(0) = 1,由常数变易法得P00(t)Poo (t)二类似地由向前方程Po1(t) Vpoo(t)-邛01化)可解得Po1(t) #0 - e' "t,由对称性知Pn(t) =o + 辱阿P1o(t)八U -计转移概率的极限为1叽 匸 Poo(t)二丄0 =limit 匸口0(t), 1叽 匸 Poi(t)仝.0 =1叽 匸 Pii(t),由此可见，当t:时，Pj (t)的极限存在且与i无关.定理5.6知，平稳分布为up = %, 5 =，o若取初

23、始分布为平稳分布，即px(o)=6 = P。= Px(0) “ = pi°,则过程在时刻t的绝对概率分布为Po(t)二 PoPoo (t) Pi Pio(t)Pl(t) = PoPoi(t)Pi Pio(t)=叨o1 -e上旳t +Ao丸o +%_(册=丸o.例5.3机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出 故障.状态转移概率与例5.2相同，即在h时间内，机器从正常工作变为出故障的概 率为Po1(h h o(h),在h时间内，机器从有故障变为经修复后正常工作的概率为p10(h)= o(h),试求在t=0时正常工作的机器，在t=5时为正常工作的概率.解 由例5

24、.2已求得该过程的Q矩阵为Qp根据题意，要求机器最后所处的状态为正常工作，只需计算Poo (t)即可.由例5.2知poo (t) = % + 九0。"初,扎=、:U ,卩。= - : U ,故Poo(5)=丄0 'oe"讪5,因为 PX(0)=0=1= Po,所以PX(5) =6 = Po(5) = PoPoo(5) = Poo(5)=f 卞八肌5.3生灭过程连续时间马尔可夫链的一类重要特殊情形是生灭过程，它的特征是在很短的时间内，系统的状态只能从状态i转移到状态i-1或i+1或保持不变,确切定义如下.定义5.5设齐次马尔可夫过程X(t),t_O的状态空间为 匸0,1,2,转移概率为Pj (t)，如果Pi,i i(h) = 'f；ih o(h), i 0,Pih)-ih o(h),0,%=0,Pi,i(h) =1一)h o(h),Pi，j(h)=o(h),j - j >2,则称x(t),tX0为生灭过程，丸为出生率,Ji为死亡率.若'i = i', Ji二i",(，,"是正常数)，则称X(t),t _ 0为线性生火过程.若叫三0,则称X(t),t _0为纯生过程.若三0,则称X(t),t _ 0为纯灭过程.生灭过程可作如下概率解释：若以X(t)表示一个生物群体在t时刻的大小，则在