连续时间马尔科夫链.ppt

1、1,第四章：连续时间的马尔可夫链,连续时间马尔可夫链定义 无穷小转移概率矩阵 Kolmogorov向前方程与向后方程 连续时间马尔可夫链的应用,2,定义： 设随机过程X(t),t0，状态空间I=in, n0，若对任意0t1t2 tn1及i1,i2,in+1I，有,则称X(t),t0为连续时间马尔可夫链。,上式中条件概率的一般表现形式为,定义： 若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为 其转移概率矩阵简记为,3,时间轴,0,s,s+t,状态i,状态i持续时间i,在0时刻马尔可夫链进入状态i，而且在接下来的s个单位时间中过程未离开状

2、态i，问在随后的t个单位时间中过程仍不离开状态i的概率是多少？,4,一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质：,当vi=时，称状态i为瞬时状态；,一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的时间服从指数分布，此外在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量。,1、在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布；,2、当过程离开状态i时，接着以概率pij进入状态j，,当vi0时，称状态i为吸收状态。,5,定理： 齐次马尔可夫过程的转移概率具有下列性质：,正则性条件,6

3、,定义 对于任一t0，记,分别称pj(t),jI和pj,jI为齐次马尔可夫过程的绝对概率分布和初始概率分布。,定理 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：,7,定理 设pij(t)是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限存在：,无穷小转移概率矩阵,引理 设齐次马尔可夫过程满足正则性条件，则对于任意固定的i,jI，pij(t)是t的一致连续函数。,8,若连续时间齐次马尔可夫链是具有有限状态空间I=1,2, ,n，则其转移速率可构成以下形式的矩阵,Q矩阵的每一行元素之和为0，对角线元素为负或0，其余qij0,9,例题：证明泊松过程为连续时间齐次马尔可夫链，并求其p

4、ij、qij 。,例题：一个城市划分成两个区域A和B，各区被指定一辆消防车1和2负责。当接到报警电话时，不论其来自A区还是B区，只要有一辆消防车空闲就会被服务；当两辆车都忙时，呼叫被拒绝。假设两区的报警电话都是泊松分布（参数为 j ，j=A，B ），两辆车服务于不同区的时间为独立的指数分布（参数为 ij ，i=1，2 ，j=A，B ），则两辆消防车的状态为连续时间齐次马尔可夫链。,10,定理（ Kolmogorov向后方程） 假设 ，则对一切i,j及t0，有,定理（ Kolmogorov向前方程） 在适当的正则条件下，则对一切i,j及t0，有,利用Kolmogorov向后方程或向前方程及下述初

5、始条件，可以解得pij(t),11,Kolmogorov向后和向前方程所求得的解pij(t)是相同的,在实际应用中，当固定最后所处状态j，研究pij(t)时（i=0,1, ），采用向后方程较方便； 当固定状态i，研究pij(t)时（j=0,1, ），采用向前方程较方便；,Kolmogorov向后和向前方程的矩阵表达形式为,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题，其转移概率由其转移速率矩阵Q决定。,若Q是一个有限维矩阵，则上述矩阵方程的解为,12,定理 齐次马尔可夫过程在t时刻处于状态jI的绝对概率pj(t)满足下列方程,定义 设pij(t)为连续时间马尔可夫链的转移概

6、率，若存在时刻t1和t2，使得,则称状态i和j是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。,13,转移概率pij(t)在t时的性质及其平稳分布关系,定理 设连续时间的马尔可夫链是不可约的，则有下列性质： 若它是正常返的，则极限 存在且等于j0，jI。这里j是方程组 的唯一非负解，此时称j,jI是该过程的平稳分布，并且有 若它是零常返的或非常返的，则,14,例题 考虑两个状态的连续时间马尔可夫链，在转移到状态1之前在状态0停留的时间是参数为的指数变量，而在回到状态0之前它停留在状态1的时间是参数为的指数分布，求该马尔可夫链的平稳分布。,例题：机器维修问题1 设例题5.2中状态0代

7、表某机器正常工作，状态1代表机器出故障。状态转移概率与例题5.2相同，即在h时间内，及其从正常工作变为出故障的概率为p01(h)=h+o(h)；在h时间内，机器从有故障变为经修复后正常工作的概率为p10(h)=h+o(h)，试求在t=0时正常工作的机器，在t=5时为正常工作的概率。,15,生灭过程,16,例题（理发店问题）：一个理发店有两位理发师，两个等待座位，顾客的到达率为每小时5个，理发师一小时可给两个人理发。假定顾客到达为泊松分布，理发师的服务时间为指数分布，用X(t)表示理发店内的顾客数，则X(t)为生灭过程。,例题（M/M/1排队系统）：顾客到达为参数为的泊松过程，系统内只有一个服务台，每个顾客的服务时间为的指数分布且与顾客到达时间相互独立。用X(t)表示系统t时刻的顾客数，则X(t)为生灭过程，求 1）求平稳分布； 2）系统的平均队长； 3）平均等待的顾客数；,17,例题（机器维修问题2）设有m台机床，s个维修工，s m，机床或是工作，或是损坏等待修理。机床损坏后，空着的维修工立即修理，若维修工不空，则