第12讲极限定理及平稳分布

随机数学第12讲极限定理及平稳分布教师:陈萍prob123@1i为瞬时态i为常返态复习2

定理3.2.6

设马氏链的状态空间为E，(1)对任意i,jE，若ij，则它们同为常返态或瞬时态；而且当i,j是常返态时，i,j同为正常返态或同为零常返态；(2)不可约的有限齐次马氏链的状态都是正常返的。定义3.2.7

如果集合{n:n≥1,>0}≠φ，称该数集的最大公约数d(i)为状态i的周期.若d(i)>1，称i为周期的，若d(i)=1，称i为非周期的.定义3.2.8

若状态i为正常返态的且非周期的，则称i为遍历状态.

如果Markov链的所有状态都是遍历态,则称该Markov链是遍历的.3小结相通、闭集、不可约状态常返瞬时正常返、零常返周期、非周期遍历定理3.2.7

设马氏链的状态空间为E，

i,jE，（1）若iE是一个周期态，且

ij，则j也是周期态，且di=dj

；（2）若此链不可约，且对iE有pii

>0，则此链是非周期链。43.3状态空间分解定理任意Markov链的状态空间E可唯一分解为有限或可列个互不相交的子集之和其中N由全体瞬时态组成;每个或是零常返或正常返态组成的不可约闭集;(3)每个或中的状态同类.它们有相同的周期,且5例3.4.1

设Markov链的转移矩阵为(1)试求状态1,2的n步首达概率并求(2)求Pn并考虑当的情况.3.4极限定理及平稳分布解

(1)6同理例3.4.1

设Markov链的转移矩阵为(1)试求状态1,2的n步首达概率.7例3.4.1

设Markov链的转移矩阵为(2)求Pn并考虑当的情况.取从而8表明9定理3.4.1若状态j是周期为d的常返态,则推论3.4.1若状态j是常返态,则j是0常返态极限定理定理3.4.2

若j是瞬时态或零常返态,则对任意iS,10定理3.4.3

若j是正常返态且周期为d,则对任意i及

,有推论设{Xn}是不可约遍历链,则i,j∈E11定义3.4.1

对于马氏链{Xn，n0},概率分布称为是平稳的,若平稳分布与极限分布定理3.4.4

不可约Markov链是遍历链对任意i,jS，存在仅依赖于j的常数j，使得j称为Markov链的极限分布.且有12例3.3.2设有6个车站,车站中间的公路连接情况如图.汽车每天可以从一个站驶向与之直接相邻的车站,并在夜晚到达车站留宿,次日凌晨重复相同的活动.设每天凌晨汽车开往临近的任一车站都是等可能的,试说明很长时间后,各站每晚留宿的汽车比例趋于稳定.求出这个比例以便正确地设置各站的服务规模.125364P10013>>P100=P^100P100=0.12500.18750.12500.18750.12500.25000.12500.18750.12500.18750.12500.25000.12500.18750.12500.18750.12500.25000.12500.18750.12500.18750.12500.25000.12500.18750.12500.18750.12500.25000.12500.18750.12500.18750.12500.250014Markov链的大数定律(*张)设Markov链{Xn}的状态空间S是由单一相通的常返类组成.令f是状态空间S上的实值函数,表示过程第r次到达状态j的时间.记命题1无论{Xn}的初始分布如何,随机变量{Z1,Z2,….}是独立同分布的.命题2设{Xn}是不可约正常返的Markov链,无论初始分布如何,如果对平稳分布π,Eπ[|f(X1)]<,则