马尔科夫链遍历性与极限分布PPT课件

1、遍历性定义2 若马尔科夫链转移概率的极限lim( ),ijjnpnpi jE存在且与 无关，则称此马尔科夫链具有遍历性此时，若满足为转移概率的极限分布定义1 若马尔科夫链中的所有状态互通且均为非周期的正常返状态，则称该链是遍历的i0,1jjjpp则称,jpjE第1页/共16页遍历性111lim( )lim( )1NNNijijjnnjjjpnpnp10,1,1,2,.NjjjppjN即在此称为转移概率的极限分布若马尔科夫链为有限状态的，显然有，满足说明1：,1,2,.jpjN构成一个概率分布有限状态的遍历的马尔科夫链必存在极限分布第2页/共16页遍历性,1,2,.jpjN10,1,1,2,.j

2、jjppj1( )1,ijjpnjE即若马尔科夫链为无限状态的，则有，又因为说明2：不一定构成一个概率分布无限状态的遍历的马尔科夫链不一定存在极限分布，只有其极限概率构成概率分布时才存在极限分布1( )1Mijjpn11lim lim( )lim1MMijjMnMjjpnp第3页/共16页绝对概率的极限( )(0)limlim( )njiijnnippp n(0)(0)lim( )iijijjniippnppp( )limnjjnpp即：绝对概率的极限与转移概率的极限相同即第4页/共16页平稳分布,1.2,.jqj 定义若有限或无限数列满足0, (2)1jjjqq(1)则称它是概率分布如果此概

3、率分布满足=jiijiqq p则称它是平稳分布第5页/共16页具有遍历性的马尔科夫链的平稳分布C-K方程：( )=()( )( )ijijirrjrpnpklpk pl1,l 令则对具有遍历性的马尔科夫链(1)( )(1)ijirrjrpkpk p, 令 k有lim(1)lim( )(1)ijirrjkkrpkpk plim( )irrjrrjkrrpk pp pjrrjrpp p即成立有限马尔科夫链转移概率的极限分布一定是平稳分布无限马尔科夫链转移概率的极限分布不一定是平稳分布第6页/共16页若初始概率是平稳分布，则任意时刻的绝对概率分布等于初始分布，也即为平稳分布(0),1,2,.,iip

4、q i设初始分布：1,2,.iqi 其中，是平稳分布1,2,. ,jqj 又，对于平稳分布，有证=jiijkkiijiikqq pq pp (2)kkiijkkjkikqp pq p=( )jiijiqq pn更一般的，有第7页/共16页若初始概率是平稳分布，则任意时刻的绝对概率分布等于初始分布，也即为平稳分布(0),1,2,.,iipq i设初始分布：1,2,.iqi 其中，是平稳分布证=( )jiijiqq pn更一般的，有又，由绝对分布与初始分布的关系，可得( )=( )=njiijjipq pnq即绝对分布为平稳分布第8页/共16页定理 对有限马尔科夫链，如果存在正整数k，使则此链是遍

5、历的( )0,1,2,.ijpki jN是方程组满足条件的唯一解lim( )ijjnpnp1,2,.jpjN，1,1,2,.Njiijjpp pjN10,(2)1Njjjpp(1)注：此定理给出了求极限分布(平稳分布)的方法且极限分布第9页/共16页例1 直线上带反射壁的随机游动，如果质点只能取1,2,3三个点，一步转移概率矩阵为讨论该链的遍历性，若具有遍历性，则计算其极限分布（平稳分布）000qppqpqp第10页/共16页 解222222(2)2qpqqpppqqppqqppqp2(2)0,ijkp即 当时，有所以，此链具有遍历性， 计算二步转移概率矩阵因而存在平稳分布，极限分布即为平稳分

6、布1,2,3jpj 下面求极限概率 ，121132233qpqppqpqppppppp解方程，可得123=1ppp2 -11=1+() pppqq2 -12=()1+() ppppqqq22 -13=() 1+() ppppqqq第11页/共16页例2 若例1中，质点只能取1,2,3三个点，一讨论该链的遍历性，若具有遍历性，则计算其极限分布（平稳分布）步转移概率矩阵为0100010pqp第12页/共16页解0100010qpp0(2)0100qpqpp010(3)(2)0010qppppp(21)npp一般的，有(2 )(2)n pplim( )ijnpn显然，转移概率的极限不存在，因此此链不具有遍历性第13页/共16页例3 若例1中，质点只能取1,2,3三个点，一讨论该链的遍历性，若具有遍历性，则计算其极限分布（平稳分布）步转移概率矩阵为1000001pqp第14页/共16页解1000001qpp100(2)0=001qppp10