第11讲 Markov链的状态分类

随机数学第11讲Markov链的状态分类与判别教师:陈萍prob123@1马氏链的等价描述：1)(3.1.2）复习2)3)2

C-K方程.或定理3.1.4复习3§3.2Markov链的状态分类与判别例3.2.1

设系统有三种可能状态E={1,2,3}.“1”表示系统运行良好，“2”表示运行不正常，“3”表示系统失效.以Xn表示系统在时刻n的状态,并设{Xn,n≥0}是一Markov链.其一步转移概率矩阵为P用有向图表示为：4定义3.2.1

称状态iE为吸收态，若pii=1.定义3.2.2

对i,j

E，若存在n

N，使，则称自状态i出发可达状态j，记为i

j.如果ij且ji，则称i,j

相通，记为ij.定理3.2.1

相通是一种等价关系,即满足自返性ii;对称性ij,则ji;传递性ij,jk则ik.5定义3.2.3若一Markov链的任意两个状态都相通，则称为不可约链。定义3.2.4

令Tij=min{n:X0=i,X

n=j,n1}，称为系统在0时刻从状态i出发，首次到达状态j的时间，简称为首达时.且规定,若右边为空集，则Tij=∞.EX设{Xn}是无限制的随机游动,且p,q,r都大于0.证明{Xn}是不可约链

.6

定义3.2.5令表示0时刻从状态

i出发，经n步转移后首次到达状态j

的概率，称为n步首达概率；由i出发，经过有限步首次到达状态j的概率为7

定义3.2.6

若fii=1，则称状态i为常返态;若fii

<1，则称状态i为瞬时态（非常返态）。定义3.2.7

如果fij=1,记则表示从i出发到达j的平均转移时间.特别，称为从状态i出发，返回状态i的平均返回时间.若<∞，称i为正常返态；若=∞，称i为零常返状态.例3.2.1（续1）求系统由1出发，经过有限步首次到达状态2的概率.并求fii,i=1,2,38例3.2.2

设马尔可夫链的状态空间E={1,2,3,4}，转移概率矩阵为试判断各状态的常返性。12349引理

对任意i,jE及n1，有

注：由式(3.2.1)可得递推公式:上式也称为M.C从状态i首次到达状态j的分解式，简称首达分解式。推论定理3.2.210i为瞬时态定理3.2.3推论有限状态马氏链的状态空间至少有一个常返态。定理3.2.4

常返态全体构成一个闭集。定义3.2.8

设CE，若对任意的iC，和任意的jC,及任意的nT，pij(n)=0，则称C为E的闭集。i为常返态11

定理3.2.6

设马氏链的状态空间为E，(1)对任意i,jE，若ij，则它们同为常返态或瞬时态；而且当i,j是常返态时，i,j同为正常返态或同为零常返态；(2)不可约的有限齐次马氏链的状态都是正常返的。定义3.2.7

如果集合{n:n≥1,>0}≠φ，称该数集的最大公约数d(i)为状态i的周期.若d(i)>1，称i为周期的，若d(i)=1，称i为非周期的.定义3.2.8

若状态i为正常返态的且非周期的，则称i为遍历状态.

如果Markov链的所有状态都是遍历态,则称该Markov链是遍历的.12小结相通、闭集、不可约状态常返瞬时正常返、零常返周期、非周期遍历定理3.2.7

设马氏链的状态空间为E，

i,jE，（1）若iE是一个周期态，且

ij，则j也是周期态，且di=dj

；（2）若此链不可约，且对iE有pii

>0，则此链是非周期链。133.3状态空间分解定理任意Markov链的状态空间E可唯一分解为有限或可列个互不相交的子集之和其中N由全体瞬时态组成;每个