随机过程课件冯海林马尔科夫链

1、2 平稳分布定义6.4.2 称概率分布 j , j S一个平稳分布，如果有 j i pij ,马氏链X的是j SiS或矩阵形式为其中 =1 , 2 ,L,P (的转移概率矩阵。显然 若概率分布 j , j S是马氏链X的平稳分布则也有 iSj S, n 1, 2,Lp(n) ,jiij或矩阵形式为n设 i , i S 是马氏链X n , n 0,1, 2,L定理6.4.3的一个平稳分布，如果取i , i S 为Xn , n 0,1, 2,L i) i ,i S,的初始分布，即 P( X 0(1) 则对任意的正整数n，都有P( Xn i) i ,i S,P( Xn i) P(X 0 k )P(

2、Xn iX 0 k)证明： (1)kS kSp(n) i Skkii(2)并且对任意的正整数n，m,以及0 t1 L tn和i1, i2 ,L, in S, 有 i1 , Xt i2 ,L, Xt in )P( X tmmm12n P( X t i1 , Xt i2 ,L, Xt in )12nP( X t m i1 , Xt m i2 ,L, Xt m12n in )证明 (2) P(U( X 0 i0 ), Xt1 m i1, Xt2 m i2 ,L, Xtn m in )i0S P( X 0 i0 , Xt1 m i1, Xt m2 i2 ,L, Xtn m in )i0S (t m)(

3、t t )(t t)ppL pnn1211i0i0i1i1i2 in1ini0S (t t )(t t)ppLnn211i1i1i2 in1in P( X i1)P( Xt i2Xt i1)L P( X in1 )Xttn1121 P( Xt i1 , Xt i2 ,L, Xt in )12n定理说明：若马氏链存在平稳分布,则以平稳分布作为初始分布,就有以下结论：马氏链的绝对分布是确定的,保持不变.该马氏链是一个严平稳时间序列.:思考：一个重要链是否存在平稳分布?如果存在,是否唯一?如何计算?按照以下情况分别不可约的遍历链不可约的正常返的马氏链一般的马氏链链是不可约的遍历链设X= Xn , n

4、 0,1,L是不可约的遍历链，则X存在1唯一的极限分布, j S .jjj且此时的极限分布就是平稳分布.平稳分布可通过求解下列方程组得到,j SpjkkjkS kkS例 1设状态空间为S=0,1,2,的转移概率矩阵为链,其一步0.5P =0.30.20.10.40.40.30.30.5试分析它的极限分布，平稳分布是否存在？并计算此链为不可约遍历链.解故极限分布存在，平稳分布存在唯一，且平稳分布就是其极限分布。= 2362= 2162= 18621 02 101221 23 18 =( 0 ,1 , 2 ) ( 62 , 62 , 62)例2 设链的状态空间S=0,1,2,3,4,其一步转移概率

5、矩阵为120003130200303012P03030120303210033分析平稳分布存在？并计算解是不可约链,且为遍历链.故其平稳分布存在且唯一. 1 01234= 431= 131= 231 8163=314=31201= 1 ，2，16 4 ，8平稳分布为3131 313131链是不可约的正常返链X Xn , n 0,1,L是不可约马氏链定理6 .4.4 设其状态空间S中的每个状态都是正常返状态.1则X有唯一的平稳分布：, j S.jjj平稳分布通过求解方程组j Sp,jkkjkS kkSj S满足方程组 j i pij ,1） 先证 j ,j SiS对任意正整数n,由C-K方程,有

6、n1 1nn( 1nnkSp(m1) p(m) pp(m) )p(ijikkjikkjnm1m1kSm1令n ,由法都引理以及引理6.4.11nn j （lim inf）pkj k(m)pikpkjnkSm1kS而上式对一切j S等号成立. j kkSj S因此对于一切j成立有pkjj S满足 j 1.jS2） 再证 j , j k反复利用pkj可以得到kS j kkS (i pik )pkjiS p L (n)pkjiijkSiS p(n)即有jiijiS令n ，并由 1以及p(n)一致有界，得jijjS iij= (lim p)=( ) j lim(n)(n)piijijnniSiSiS

7、i 1iS3） j ,j S唯一性的证明与6.4.2类似.一般链X设X的状态空间S D U C0 U C1 UL定理6.4.5其中D是非常返状态集，C0是零常返状态集，Cm (m 1, 2,L)是正常返状态的不可约闭集，记H Uk 1 Ck，则X不存在平稳分布的充要条件是H=X存在唯一平稳分布的重要条件是只有一个正常返的不可约闭集。X存在无穷多个平稳分布充要条件是至少存在两个以上正常返的不可约闭集。例3 设有状态空间S=0,1,2,3,4,5,6的其一步转移概率矩阵为链 0.50 0.52 / 300001701 / 32 / 3000170000.50.50170000.50.5017000

8、001170 00 1/ 30 00017P 0 0 1 7 试对S进行分类，并说明各状态类型求平稳分布，其平稳分布是否唯一？为什么？ 1 X 0), P( X 2 Xn 0)(3)求 P( X2156121323012323 4212D C+ C+ C+(1)123= 60,1, 23, 45由(1)知,该链有三个不同的正常返不可约闭集(2)所以平稳分布不唯一三个闭集对应的转移概率矩阵分别为 120 1211=P3 = (1)22P1 = 0P213 132122 10323解方程组(3)(3)(2)(2)(1)(1)321 1(3) 1(2)(2)2 1 1(1)(1)2(1)3 11(3)(1)= 2 , 3 , 3(2)=1 , 1= 188822 =21, 31 , 31 , 2 , 2, , 0平稳分布为38882