第12讲-极限定理及平稳分布

随机数学第12讲极限定理及平稳分布教师:陈萍1i为瞬时态i为常返态复习2定理设马氏链的状态空间为E，(1)对任意i,jE，假设ij，那么它们同为常返态或瞬时态；而且当i,j是常返态时，i,j同为正常返态或同为零常返态；(2)不可约的有限齐次马氏链的状态都是正常返的。定义如果集合{n:n≥1,>0}≠φ，称该数集的最大公约数d(i)为状态i的周期.假设d(i)>1，称i为周期的，假设d(i)=1，称i为非周期的.定义假设状态i为正常返态的且非周期的，那么称i为遍历状态.

如果Markov链的所有状态都是遍历态,那么称该Markov链是遍历的.3小结相通、闭集、不可约状态常返瞬时正常返、零常返周期、非周期遍历定理设马氏链的状态空间为E，i,jE，〔1〕假设iE是一个周期态，且ij，那么j也是周期态，且di=dj；〔2〕假设此链不可约，且对iE有pii>0，那么此链是非周期链。

43.3状态空间分解定理任意Markov链的状态空间E可唯一分解为有限或可列个互不相交的子集之和其中N由全体瞬时态组成;每个或是零常返或正常返态组成的不可约闭集;(3)每个或中的状态同类.它们有相同的周期,且5例

设Markov链的转移矩阵为(1)试求状态1,2的n步首达概率并求(2)求Pn并考虑当的情况.3.4极限定理及平稳分布解(1)6同理例

设Markov链的转移矩阵为(1)试求状态1,2的n步首达概率.7例

设Markov链的转移矩阵为(2)求Pn并考虑当的情况.取从而8说明9定理3.4.1假设状态j是周期为d的常返态,那么推论假设状态j是常返态,那么j是0常返态极限定理定理假设j是瞬时态或零常返态,那么对任意iS,10定理假设j是正常返态且周期为d,那么对任意i及,有推论设{Xn}是不可约遍历链,那么i,j∈E11定义对于马氏链{Xn，n0},概率分布称为是平稳的,假设平稳分布与极限分布定理不可约Markov链是遍历链

对任意i,jS，存在仅依赖于j的常数

j，使得

j称为Markov链的极限分布.且有12例3.3.2设有6个车站,车站中间的公路连接情况如图.汽车每天可以从一个站驶向与之直接相邻的车站,并在夜晚到达车站留宿,次日凌晨重复相同的活动.设每天凌晨汽车开往临近的任一车站都是等可能的,试说明很长时间后,各站每晚留宿的汽车比例趋于稳定.求出这个比例以便正确地设置各站的效劳规模.125364P10013>>P100=P^100P100=0.12500.18750.12500.18750.12500.25000.12500.18750.12500.18750.12500.25000.12500.18750.12500.18750.12500.25000.12500.18750.12500.18750.12500.25000.12500.18750.12500.18750.12500.25000.12500.18750.12500.18750.12500.250014Markov链的大数定律(*张)设Markov链{Xn}的状态空间S是由单一相通的常返类组成.令f是状态空间S上的实值函数,表示过程第r次到达状态j的时间.记命题1无论{Xn}的初始分布如何,随机变量{Z1,Z2,….}是独立同分布的.命题2设{Xn}是不可约正常返的Markov链,无论初始分布如何,如果对平稳分布π,Eπ[|f(X1)]<,那么15在一计算系统中