随机过程二章

三常返性的判若i是非常返状态,1p(n1三常返性的判若i是非常返状态,1p(n11)i是非常返状级定理p(n收敛2)i是常返状态(n p1lim(n定理3是非周期正常返状i2)i是周期1lim(n定理3是非周期正常返状i2)i是周期为d的正常返状dlimp(ndi是零常返状态lim(n4)若j是零常返或非常返状态,则都有limp(n 推论如i是常返状态,则i是零常返状limp(n 通状态的性1互通状态的共定通状态的性1互通状态的共定理1若ij,则ij有下列共性返态,则同为正常返或同为常返状i,j有相同的周期ij,mn使证明0,(np(mlN,p(mlnppp(m(l(nss1122sEs12lN,p(mlnppp(m(l(nss1122sEs12p(m)p(l)p(np(lp(mln(lp(n和 (n所以ij同为常返或同为非常返状态 p(mlnln(l((lplimpn)与limpn)若其一为零，另一个必所以ij若为常返态,ij,Ai所以ij若为常返态,ij,Ai与Aj设didj分别为Ai,Aj的所有因素的最大约数0lA,则p(l 0,1)知p(mln(lj|mldi||mp(mn)又由l的任意性知di|dj同理可证dj|di. ddi2互通状态的判定理 设j2互通状态的判定理 设j是常返的且ji,则ij且 推论所有常返状态构成一闭集定理在常返闭集中互通关系是等价关系若ij，则一定有 吗若i,jE,有ij，则一定有 吗当ij时，可由简单状态的性质获知例无限制随机游动问已知马链的E 例无限制随机游动问已知马链的E p,pi0p,q1,pq试讨论各状态的常返性解:由条件知，i,jE都有i所有状态具有相同的常返性。性0Cpppq(n(2mmm2ppCm1(m14 2( (C2ppCm1(m14 2( (C2pq时，级当(np为非常返态1当pq时，该判别法失效2受Stirling公式的启发,考察级(pq)mCmCm(1)m4mm1与的敛散性的关1m2mC 41(2m)!m2m4m(m!)而几何级1根据级数收敛1当p1m2mC 41(2m)!m2m4m(m!)而几何级1根据级数收敛1当pq时2级p(n发散，即为常返态1(2mlim又0为零常返态第四状态空间的分解、有第四状态空间的分解、有限Markov一状态空间的分可唯一的分解为下列不相交的子集之ENC1C2)都是不可分闭集,它们两两互不相通,又为基本常返闭集证明采用构造法(略定理每一周期为d的基定理每一周期为d的基本常返闭Ch Ch(0)Ch(1)Ch(d这些Ch(i)(id1后,则自(k)中任一状态出发,下一步到达Ch(k1),如kd1,则Ch(k1)为Ch000130210000000013000010000013021000000001300001000010P例已01012分解此链求各状态的周期二有限Markov二有限Markov证明 i,jC,则i常返或同为非常返状态i,jC,都有limpnp(n1)0p(n1)0p(n(lim(n.所以C为正常返状态有限齐次马链的E,常返状态有限齐次马链的E中必有正常返状态对有限齐次马链,由一切非常返状定理定理构成的集合N一定不是闭集作业33,48第五极限分布和平稳分说明：本第五极限分布和平稳分说明：本节均讨论齐次马链一1两分布的定极限分定义 若马链Xn的绝对分布{pj(n),j当npjjE}无关的分布{qj,jE}(qj则称{qj,jE}为Xn的极限分布平稳分2定义若马链Xn的一步转移概率矩iip(jEjip(jEji则称{,iE}为X的平稳分布in若马链Xn的初始分布是其平稳分布{,iE则Xin推论若马链X存在平稳分布{,iE},ni(jEp(niji若马链X的P1求两分布01n34,求两分布若马链X的P1求两分布01n34,求两分布若马链X的解n211Pn10n144 4 1111121044()n 141111212141432241121044()n 141111212141432241143311212433P(n)(p(n),p(n))(p,p)P01011213 ,3(p,pn013321二遍历定义 若对于一切i,jE二遍历定义 若对于一切i,jE,极limp(n)0j存在，且qj 则称此链为遍历Xn存在极限分布定理Xn是遍历链事实上，若不可分马Xn的所有状态都遍历态,则Xn为遍历链推非周期、有限不可分链是遍历链定理设P是有限齐次马链Xn整数m使得PmP(m)的所有元素均为正数n定理设P是有限齐次马链Xn整数m使得PmP(m)的所有元素均为正数ni,jE,(m证明即Xn为不可分链E为有限集Xn为正常返链p(m(m), sE, p(m)而有 s0注意到p 至少存在一pp(p(ms0j为非周期状态，故Xn为遍历链三两种分布的关定理不可三两种分布的关定理不可分非周期马链Xn要条件是它存在平稳分布定理若马链Xn的两分布均存在，则{1,j者必为同一分布，且j遍历链X的遍历链X的两分布都唯一存在，且均{1,j j不可分非周期有限马链必存在两分布若存在mN,使得P(m)的所有元素均正数，则Xn的两分布均存在非常返状态的分第六一非常返状态的分第六一ENC1C2iN,P的条件下讨论从i1)进入Ck的概率P(Ck /2)C的平均时间(Ci二计算P(Ck定理1若iN,P(Ck/i)pisP(Ck/s)P(Ck/i)pisP(Ck/证明P(Ck/i)pisP(Ck/证明pisP(Ck/s)/s)pkpisP(Ck/s)推论1设jCk,iN,推论 设j为马链的吸收态,则iN都收壁,左、右移一格的概率分别为161停留在原处的概率为12，求质点从状态出发，分别被吸收于状态和状态由题意解收壁,左、右移一格的概率分别为161停留在原处的概率为12，求质点从状态出发，分别被吸收于状态和状态由题意解01216000131216000131200016P00131根据推论2得16fff即1213ffff161213ffff1612根据推论2得16fff即1213ffff161213ffff1612,,.解(2)(3)得1571所以从吸收的概率为7.同理可求从三计算(C)(注书中记为E(Ti定理 设从i(iN出发,三计算(C)(注书中记为E(Ti定理 设从i(iN出发,(C)表示进iC的平均时间,,(C)1pij由全概率公式得证明(C)PX(1)jX(0)i{从i先ijC吸收的时间}p(1jp(1(C))p(1jpp(C)1pjj定理 对于不可分常返马链,若表示i出发首次到达j的平均时间,1pk定理 对于不可分常返马链,若表示i出发首次到达j的平均时间,1pk已知P0.543答案121121413014