连续时间Markov链.ppt

第三节 连续时间Markov链,复习： Markov 链是离散时间参数、离散状态的且满足Markov性的随机过程.,注：Markov链的状态空间是离散的，时间参数集也是离散的.,状态空间的离散性保持不变, 但时间是连续变化的.,即连续时间的Markov链.,Kolmogrov方程及生灭过程.,【教学内容】,连续时间的Markov链的定义和性质、,5.7.1 连续时间Markov链,定义,注: (1)式反映了Markov性，即考虑未来时刻t+s的状态，它只与时刻s的状态有关，而与时刻s之前的无关.,定义中的条件概率,在时刻s处在状态i,经过时间t后转移到j的 转移概率，并,表示过程,为 转移概率矩阵.,我们先看：,时齐性,定义：称连续Markov链是时齐的，,记忆性”，即服从指数分布.,注：我们只讨论时齐的连续时间Markov链，简称连续时间Markov链.,我们学习连续时间Markov链，不仅要考虑它在某一时刻将处于什么状态，,同时还要关心它在离开这个状态之前,会停留多长时间，,由Markov性，此“停留时间”具有“无,证明：只需证,因为,则,上定理说明：连续时间Markov链在某个状态的停留时间 服从指数分布.,连续时间Markov链的另一定义：具有如下两条性质的 随机过程:,注: 直观意义：,由上面的“注”知，当连续时间Markov链不存在瞬过态时,问题：该链在有限长的时间内,转移次数如何呢？,正则性,定义,称一个连续时间Markov链是正则的，,若以概率1,在任意有限长的时间内转移的次数是有限的.,注: 今后我们所考虑的Markov链都满足正则性条件.,由连续性条件，知,例题：,(1) Poisson 过程；,(2) 生灭过程.,5.7.2 转移概率 和Kolmogrov微分方程,回顾：对时齐的离散时间Markov链，,于连续时间Markov链而言，,转移概率,又会怎样呢？,那么对,一般比较复杂.,现在，我们先介绍 的一些性质.,定理: 时齐的连续时间Markov链的转移概率,满足,以下性质：,注: (3) 称为连续时间Markov链的C-K方程, 其矩阵形式：,证明,证明：,(1)和(2)是很显然的.,我们只需证(3).,上面的定理给出 的概率性质, 接下来我们讨论它的,分析性质，即把 看作是t的函数，再考虑这个函数的性质.,Go on,证明：,由上定理中的(3), 知,又由于,所以，,定理:,注: (1) 由定理易知：,定理:,(2) 称作从状态i转移到j的转移概率.,推论:,对有限状态的时齐连续时间的Markov链，有,证明：,由前面的一个定理，知,所以，,注: 对无限状态的情况，一般有,设S=1,2,n, 记,称为连续时间Markov链的Q-矩阵.,称该矩阵为保守的.,补充说明:,当矩阵元素满足,时，,Q-矩阵就是转移矩阵的密度矩阵.,判断:,有限状态的时齐连续时间的Markov链的Q-矩,阵为保守的.,(2)保守Q-矩阵的每一行元素之和为0.,根据上面两个定理及推论，导出重要的微分方程，即,定理,有,注: 向后方程的矩阵形式 ：,向前方程的矩阵形式 ：,Kolmogorov 微分方程.,无论是Markov链还是连续时间Markov链，他们的状态,空间都是离散的，,现在我们进一步学习状态空间是连续