随机过程连续时间的马尔可夫链

1、第五章 连续时间的马尔可夫链 5.1连续时间的马尔可夫链 考虑取非负整数值的连续时间随机过程 定义5.1 设随机过程,状态空间,若对任意及,有 = (5.1)则称为连续时间马尔可夫链. 由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻及一切过去时刻所处状态的条件下,将来时刻的状态只依赖于现在状态而与过去无关. 记(5.1)式条件概率一般形式为 (5.2)它表示系统在s时刻处于状态i,经过时间t后转移到状态j的转移概率. 定义5.2 若(5.2)式的转移概率与s无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为 其转移概率矩阵简记为 以下的讨论

2、均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程. 假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t个单位时间中过程仍不离开状态i的概率是多少呢?由马尔可夫我们知道,过程在时刻s处于状态i条件下,在区间s,s+t中仍然处于i的概率正是它处于i至少t个单位的无条件概率.若记为记过程在转移到另一个状态之前停留在状态i的时间,则对一切s,t有 可见,随机变量具有无记忆性,因此服从指数分布. 由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质:(1) 在转移到另一状态之前处于状态i

3、的时间服从参数为的指数分布;(2) 当过程离开状态i时,接着以概率进行状态j,.上述性质也是我们构造连续时间马尔可夫链的一种方法.当时,称状态i为瞬时状态,因为过程一旦进入此状态立即就离开.时,称状态i为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, .因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于,那么过程处于状态i

4、已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾. 定理5.1 齐次马尔可夫过程的转移概率具有下列性质: (2) (3) .其中(3)式即为连续时间齐次马尔可夫链的切普曼柯尔哥洛夫方程. 证明 只证(3).由全概率公式及马尔可夫性可得 = = . 对于转移概率,一般还假定它满足: (5.3)称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的. 定义5.3 对于任 一记 分别称 齐次马尔可夫过程的绝对概率分布和初始概率分布. 定理5.2齐次马尔可夫过程的绝对概率及有

5、限维概率分布具有下列性质: (1) (2) (3) ; (4) (5)例5.1试证明泊松过程为连续时间齐次马尔可夫链.证明 先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义它是独立增量过程,且X(0)=0.,有 = = = .另一方面,因为 = = 所以=.即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性. 当 时,由泊松过程的定义 = = j<i.时,由于过程的增量只取非负整数,故所以 ,即转移概率只与t有关,泊松过程具有齐次性. 5.2柯尔莫哥洛夫微分方程 对于连续时间齐次马尔可夫链转移概率的求解一般比较复杂.下面首先讨论的可微性及满足的柯尔莫哥洛夫微分程. 引理5.1

6、 设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的是t的一致连续函数. 证明 设h>0,由定理5.1得 =故有 因此 对于h<0,同样有综上所述得到 由正则性条件知 即关于t是一致连续的. 以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式. 定理5.3 设是齐次马尔可夫过程的转移概率,则下列极限存在 (1) (2) 我们称为齐次马尔可夫过程从状态i到状态j的转移概率或跳跃强度.定理中的极限的概率意义为:在长为的时间区间内,过程从状态i转移到另一其他状态的转移概率为等于加一个比高阶的无穷小量,而过程从状态i转移到状态j的转移概率为等于加一个比高阶的无穷小量. 推论

7、对有限齐次马尔可夫过程,有 证明 由定理5.1 ,有 由于求和是在有限集中进行,故有 (5.4) 对于状态空间无限的齐次马尔可夫过程,一般只有 . 若连续时间齐次马尔可夫是具有有限状态空间I=0,1,2,n,则其转移速率构成以下形式的矩阵 (5.5)由(5.4)式知,Q矩阵的每一行元素之和为0,对角线元素为负或0,其余 利用Q矩阵可以推出任意时间间隔t的转移概率所满足的方法组,从而可以求解转移概率. 由切普曼-柯尔莫哥洛夫方程有 或等价地 两边除以h后令取极限,应用定理5.3得到 (5.6)假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论: 定理5.4 (柯尔莫哥洛

8、夫向后方程)假设则对一切i,j及,有 (5.7) 证明 只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有 因为上式对一切N成立,所以 (5.8)为了倒转不等式,注意对于N>i,由于所以 令,由定理5.3和条件得 .上式连同(5.8)可得 . 定理5.4中满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程,是因为在计算时刻t+h的状态的概率分布时我们对退后到时刻h的状态取条件,即我们从 开始计算. 对时刻t的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得 =, 所以 假定我们能交换极限与求和,则由定理5.3便得到 令人遗憾的是上述极限与求

9、和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中-包括全部生灭过程与全部有限状态的模型,它们是成立的. 定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下, (5.9)利用方程组(5.7)或(5.9)及初始条件 我们可以解得.柯尔莫哥洛夫向后和向前方程虽然形式不同,但是可以证明它们所求得的解是相同的.在实际应用中,当固定最后所处状态j,研究时(i=0,1,2,n),采用向后方程比较方便;当固定状态i,研究时(j=0,1,2,),则采用向前方程较方便. 向后方程和向前方程可以写成矩阵形式 (5.10) (5.11)其中 这样,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程

10、的求解问题,其转移概率由其转移速率矩阵Q决定.特别地,若Q是一个有限维矩阵,则(5.10)和(5.11)的解为 定理5.6 .齐次马尔可夫过程在t时刻处于状态的绝对概率满足下列方程: (5.12) 证明 由定理5.2,有 将向前方程(5.9)式两边乘以并对i求和得 故 . 与离散马尔可夫链类似,我们讨论转移概率 当 时的极限分布与平稳分布的有限性质. 定义5.4 设为连续时间马尔可夫链的转移概率,若存在时刻 ,使得 则称状态i和j是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约的. 定理5.7 设连续时间的马尔可夫是不可约的,则有下列性质:(1) 若它是正常返的,则极限存在且等于这里是

11、方程组 (5.13)的唯一非负解.此时称是该过程的平稳分布,并且有 (2) 若它是零常返的或非常返的,则 在实际问题中,有些问题可以用柯尔莫哥洛夫方程直接求解,有些问题虽然不能求解但是可以用方程(5.13)求解. 例5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前链在状态0停留的时间是参数为的指数变量,而在回到状态0之前它停留在状态1的时间是参数为的指数变量,显然该链是一个齐次马尔可夫过程,其状态转移概率为 由定理5.3知由柯尔莫哥洛夫向前方程得到 =其中最后一个等式来自因为由常数变易法得 若记则 类似地由向前方程可解得 由对称性知 转移概率的极限为 由此可见,当时, 的极限存在且

12、与i无关.定理5.6知,平稳分布为 若取初始分布为平稳分布,即 则过程在时刻t的绝对概率分布为 = =. 例5.3 机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出故障.状态转移概率与例5.2相同,即在h时间内,机器从正常工作变为出故障的概率为在h时间内,机器从有故障变为经修复后正常工作的概率为试求在t=0时正常工作的机器,在t=5时为正常工作的概率. 解 由例5.2已求得该过程的Q矩阵为 .根据题意,要求机器最后所处的状态为正常工作,只需计算即可. 由例5.2知 故 因为PX(0)=0=1=所以 5.3 生灭过程 连续时间马尔可夫链的一类重要特殊情形是生灭过程,它的特征是在

13、很短的时间内,系统的状态只能从状态i转移到状态i-1或i+1或保持不变,确切定义如下. 定义5.5 设齐次马尔可夫过程的状态空间为I=0,1,2,转移概率为,如果 则称 为生灭过程,为出生率,为死亡率. 若是正常数),则称为线性生灭过程. 若,则称为纯生过程. 若,则称为纯灭过程. 生灭过程可作如下概率解释:若以X(t)表示一个生物群体在t时刻的大小,则在很短的时间h内(不计高阶无穷小),群体变化有三种可能,状态由i变到i+1,即增加一个个体,其概率为;.状态由i变到i-1,即减少一个个体,.其概率为;群体大小保持不变,其概率为 由定理5.3得到 故柯尔莫哥洛夫向前方程为 故柯尔莫哥洛夫向后方程为 因为上述方程组的求解较为困难,我们讨论其平稳分布.由(5.13)式,有 逐步递推得 , 再利用,得平稳分布, , 例5.4 生灭过程例子 M/M/S排队系统.假设顾客按照参数为的泊松过程来到一个有s个服务员的服务