随机过程课件：第五章 连续时间的马尔可夫链

1、第五章：连续时间的马尔可夫链第五章：连续时间的马尔可夫链v连续时间马尔可夫链定义连续时间马尔可夫链定义v无穷小转移概率矩阵无穷小转移概率矩阵vKolmogorov向前方程与向后方程向前方程与向后方程v连续时间马尔可夫链的应用连续时间马尔可夫链的应用定义定义5.1：设随机过程设随机过程X(t),t0，状态空间，状态空间I=in, n0，若对任意，若对任意0t1t2tn1及及i1,i2,in+1I，有，有)(|)()(,)(,)(|)(11221111nnnnnnnnitXitXPitXitXitXitXP则称则称X(t),t0为连续时间马尔可夫链。为连续时间马尔可夫链。上式中条件概率的一般表现形

2、式为上式中条件概率的一般表现形式为),()(|)(tspisXjtsXPij定义：定义：若若pij(s,t)的转移概率与的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为次的转移概率，此时转移概率简记为其转移概率矩阵简记为其转移概率矩阵简记为)(),(tptspijij)()(tptijP时间轴时间轴0ss+t状态状态i状态状态i持续时间持续时间i i|tPstsPiii在在0时刻马尔可夫链进入状态时刻马尔可夫链进入状态i，而且在接下来的，而且在接下来的s个单位时间中过程未离个单位时间中过程未离开状态开状态i，问在

3、随后的，问在随后的t个单位时间中过程仍不离开状态个单位时间中过程仍不离开状态i的概率是多少？的概率是多少？一个连续时间的马尔可夫链，每当它进入状态一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质：，具有如下性质：1ijijp当当vi=时，称状态时，称状态i为瞬时状态；为瞬时状态；一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的时间服从指数分布，此外在状态时间服从指数分布，此外在状态i过程停

4、留的时间与下一个到达的状态过程停留的时间与下一个到达的状态必须是相互独立的随机变量。必须是相互独立的随机变量。1、在转移到另一状态之前处于状态、在转移到另一状态之前处于状态i的时间服从参数为的时间服从参数为vi的指数分布；的指数分布；2、当过程离开状态、当过程离开状态i时，接着以概率时，接着以概率pij进入状态进入状态j，当当vi0时，称状态时，称状态i为吸收状态。为吸收状态。定理定理5.1：齐次马尔可夫过程的转移概率具有下列性质：齐次马尔可夫过程的转移概率具有下列性质： 1( )0ijp t 、2( )1ijjIpt、3()( )( )ijikkjkIptspt ps、正则性条件正则性条件0

5、1,lim( )0,ijtijptij定义定义5.3对于任一对于任一t0，记，记IjjXPppjtXPtpjjj,)0()0(,)()(分别称分别称pj(t),jI和和pj,jI为齐次马尔可夫过程的绝对概率分布和初始概为齐次马尔可夫过程的绝对概率分布和初始概率分布。率分布。定理定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：1. 2. 3. 4. 5. 0)(tpj1)( IjjtpIiijijtpptp)()(Iiijijptptp)()()(IinniiiiiiinnttpttptppitXitXPnn)()()()

6、(,)(1121111211定理定理5.3设设pij(t)是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限存在：是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限存在：1. 2. 无穷小转移概率矩阵无穷小转移概率矩阵iiiiitqvttp)(1lim0jiqttpijijt,)(lim0引理引理5.1设齐次马尔可夫过程满足正则性条件，则对于任意固定的设齐次马尔可夫过程满足正则性条件，则对于任意固定的i,jI，pij(t)是是t的一致连续函数。的一致连续函数。iiijj iqq 推论：对有限齐次马氏过程，有 若连续时间齐次马尔可夫链是具有有限状态空间若连续时间齐次马尔可夫链是具有有

7、限状态空间I=1,2, ,n，则其转，则其转移速率可构成以下形式的矩阵移速率可构成以下形式的矩阵nnnnnnqqqqqqqqq101111000100QQ矩阵的每一行元素之和为矩阵的每一行元素之和为0，对角线元素为负或，对角线元素为负或0，其余，其余qij0利用利用Q矩阵可以推出任意时间间隔矩阵可以推出任意时间间隔t的转移概率所满足的方程组，从而的转移概率所满足的方程组，从而可以求解转移概率。可以求解转移概率。9例题：证明泊松过程为连续时间齐次马尔可夫链，并求其例题：证明泊松过程为连续时间齐次马尔可夫链，并求其pij (t) 、qij 。例题：一个城市划分成两个区域例题：一个城市划分成两个区域

8、A和和B，各区被指定一辆消防车，各区被指定一辆消防车1和和2负责。负责。当接到报警电话时，不论其来自当接到报警电话时，不论其来自A区还是区还是B区，只要有一辆消防车空闲就区，只要有一辆消防车空闲就会被服务；当两辆车都忙时，呼叫被拒绝。假设两区的报警电话都是泊松会被服务；当两辆车都忙时，呼叫被拒绝。假设两区的报警电话都是泊松分布（参数为分布（参数为 j ，j=A，B，也用，也用1，2表示表示 ），两辆车服务于不同区的时），两辆车服务于不同区的时间为独立的指数分布（参数为间为独立的指数分布（参数为 ij ，i=1，2 ，j=A，B ），则两辆消防车的），则两辆消防车的状态为连续时间齐次马尔可夫链。

9、状态为连续时间齐次马尔可夫链。定理定理5.4（ Kolmogorov向后方程）向后方程）假设假设 ，则对一切，则对一切i,j及及t0，有，有 iiikikqq )()()(tpqtpqtpijiiikkjikij定理定理5.5（ Kolmogorov向前方程）向前方程）在适当的正则条件下，则对一切在适当的正则条件下，则对一切i,j及及t0，有，有 jjijjkkjikijqtpqtptp)()()(利用利用Kolmogorov向后方程或向前方程及下述初始条件，可以解得向后方程或向前方程及下述初始条件，可以解得pij(t)( 0 )1( 0 )0 ;i ii jppjiKolmogorov向后和

10、向前方程所求得的解向后和向前方程所求得的解pij(t)是相同的是相同的在实际应用中，当固定最后所处状态在实际应用中，当固定最后所处状态j，研究，研究pij(t)时（时（i=0,1, ），采），采用向后方程较方便；用向后方程较方便；当固定状态当固定状态i，研究，研究pij(t)时（时（j=0,1, ），采用向后前程较方便；），采用向后前程较方便；Kolmogorov向后和向前方程的矩阵表达形式为向后和向前方程的矩阵表达形式为QPPQPP)()(t)(ttt连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题，其转移概率由其转

11、移速率矩阵问题，其转移概率由其转移速率矩阵Q决定。决定。若若Q是一个有限维矩阵，则上述矩阵方程的解为是一个有限维矩阵，则上述矩阵方程的解为0!)()(jjQtjQtetP定理定理5.6齐次马尔可夫过程在齐次马尔可夫过程在t时刻处于状态时刻处于状态jI的绝对概率的绝对概率pj(t)满足下列方程满足下列方程jkkjkjjjjqtpqtptp)()()(定义定义5.4设设pij(t)为连续时间马尔可夫链的转移概率，若存在时刻为连续时间马尔可夫链的转移概率，若存在时刻t1和和t2，使得，使得12( )0,( )0ijjip tp t则称状态则称状态i和和j是互通的。若所有状态都是互通的，则称此马尔可夫

12、链是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。为不可约的。转移概率转移概率pij(t)在在t时的性质及其平稳分布关系时的性质及其平稳分布关系定理定理5.7设连续时间的马尔可夫链是不可约的，则有下列性质：设连续时间的马尔可夫链是不可约的，则有下列性质：1. 若它是正常返的，则极限若它是正常返的，则极限 存在且等于存在且等于j0，jI。这里。这里j是是方程组方程组 的唯一非负解，此时称的唯一非负解，此时称j,jI是该过程的平稳分布，并且有是该过程的平稳分布，并且有2. 若它是零常返的或非常返的，则若它是零常返的或非常返的，则)(limtpijt1Ijjjkkjkjjjqqlim(

13、)lim( )ijjjttptpt Ijitptpjtijt, 0)(lim)(lim例题例题5.2考虑两个状态的连续时间马尔可夫链，在转移到状态考虑两个状态的连续时间马尔可夫链，在转移到状态1之前在状态之前在状态0停留的停留的时间是参数为时间是参数为的指数变量，而在回到状态的指数变量，而在回到状态0 0之前它停留在状态之前它停留在状态1 1的时间是的时间是参数为参数为 的指数分布，求该马尔可夫链的平稳分布和在时刻的指数分布，求该马尔可夫链的平稳分布和在时刻t t的绝对分布。的绝对分布。例题例题5.3：机器维修问题：机器维修问题1设例题设例题5.2中状态中状态0代表某机器正常工作，状态代表某机

14、器正常工作，状态1代表机器出故障。状态转代表机器出故障。状态转移概率与例题移概率与例题5.2相同，即在相同，即在h时间内，及其从正常工作变为出故障的概率时间内，及其从正常工作变为出故障的概率为为p01(h)=h+o(hh+o(h) )；在；在h h时间内，机器从有故障变为经修复后正常工作的时间内，机器从有故障变为经修复后正常工作的概率为概率为p p1010(h)=(h)= h+o(hh+o(h) )，试求在，试求在t=0t=0时正常工作的机器，在时正常工作的机器，在t=5t=5时为正常工时为正常工作的概率。作的概率。例题（生灭过程）例题（生灭过程）110( ),0( )0( ),0( )0(

15、),0,0 ( )1 ()0( )( )0( ),2( ),0iiiiiiiiiiiiijX t tphhhphhhp hhhphhijX t t 设马氏链具有转移概率称为生灭过程，求其平稳分布。=( ),0iiiiX t t若，称为线性生灭过程。=0( ),0iX t t若，称为纯生过程。=0( ),0iX t t若，称为纯灭过程。0,1,2,iiI其状态空间为， 为出生率， 为死亡率。16例题（理发店问题）：一个理发店有两位理发师，两个等待座位，顾客的例题（理发店问题）：一个理发店有两位理发师，两个等待座位，顾客的到达率为每小时到达率为每小时5个，理发师一小时可给两个人理发。假定顾客到达为泊个，理发师一小时可给两个人理发。假定顾客到达为泊松分布，理发师的服务时间为指数分布，用松分布，理发师的服务时间为指数分布，用X(t)表示理发店内的顾客数，表示理发店内的顾客数，则则X(t)为生灭过