随机过程-第二章

《随机过程》电子返性的判定理1若i是非常返状态,

(npp

1定理21)i

2)i是常返状

(npp

定理31)i

limp(n

1 ilimp(nd d

ii是零常返状态lim

(n

都有limp(n 推论如i是常返状态,则ilimp(n 通状态的性1互通状态的定理1若ij,则i,j有下列i,j有相同的周期 1)ij,m,n使p(p

0,p(n

lN,

p(mln p(m)p(l p(n sEs

p(

p(l

p(n

p(l同理pmln

p(l pn)和

p(n)同收敛或同发散 所以ij同为常返或同为非常返状态又由pmln

p(l)和p(mln

p(l) limpn)与limpn)若其一为零，另一个必 所以ij若为常返态, ij,Ai与AjlA,则p(l

p(l di |mln又p(mn)0于是，有di|l

di|m |dj同理可证dj|di. d

di2互通状态的定理 设j是常返的且ji,则ij且

当i当ij若ij，则一定有fij若i,jE有ijfij推论所有常返状态构成一闭集定理3在常返闭集中互通关系是等价关系 随机游动问已知马链的Epi,i1p,pi 0p,q1,pq解:由条件知，i,jE都有i22pp

(2mpp

0

Cm pmqmCC

(

4pq p

(

pC2C2当 q时，级数

pn)当pq

2受Stirling公式的启发 级CCCC4m4

m(pq)

m

m(1)m 与

mm

m C2 m

(2m)!

m m(m!) 4 而几何级数

比较判别法知当pq 级数

1又limp(2m

0第四节状态空间的分解、有限Markov定理1(分解定理)任一马链的状态空间ENC1C2这里N,Ci(i都是不可分闭集,它们两两互不相通,为基本常返闭集证明 采用构造法(略定理 每一周期为d的基本常返闭集Ch可唯一的分d个不相交的子集之 Ch(0)Ch(1)Ch(d,则自Ch(k)中任一状态出发,下一步必然到Ch(k1),如kd1,则Ch(k1)为Ch例：已知P

0 2 分解此链 求各状态的周期二有限Markov定理1不可分有限集C i,jC,则i常返或同为非常返状态.i,jC,都有limp(n

(npp

1

p(n

(limp(n))

0 n

所以C为正常返状态推论有限齐次马链的E,不可能有定理2有限齐次马链的E. 作业 33,48第五限分布和平稳一两分布的定义极限分定义 若马链Xn的绝对分布{pj(n),j当n时，收敛于一个与初始分pj,jE}无关的分布{qj,jE}(qj则称{qj,jE}为Xn的极限分平稳定义 若马链Xn的一步转移概率矩阵为如存在一概率{iE使i ip

(jE i i 定理1若马链Xn {,iE则X 推论若马链Xn存在平稳分布{i,iE},ijij

p(n

(jE1若马链X的P 1求两分布 1 0 1n 若马链X的Pn

4,求两分布 解 1

0n

1 4 4 4 1

0

1

4

(1

4 1 14 4

3 43

4

1 1 33 4 3 P(n)(p(n),p(n))

(

,

)Pn 1 2p,p) 3 , 3 3历定义 若对于一切i,jE,极限limp(n)q

存在，且qj 则称此链为遍历链 Xn存在极限分布Xn是遍历链事实上，若不可Xn的所有状态都是遍历态则Xn为遍历链.推论非定理5设P是有限齐次马链Xnm使得Pmnn i,jE,p(m p(m

p(m而sE有p(m) 注意到p 0,p(

p(m

s0种分布的 不可分非周期马链Xn是遍历链的充 1,jj1X1{,jj若存在mN使得Pm)的所有元素均为正数，则Xn的两分布均存在.第六常返状态ENC1C2iN,P的条件下讨论从i出发1)进入Ck的概率P(Ck /i2)C的平均时间(Ci二计算 /定理1若iN,P(Ck/i)pisP(Ck/s) 证明

P(Ck/i)pisP(Ck/pisP(Ck/s)pisP(Ck/s) pisP(Ck/s) 推论1设jCk,iN, pis

推论 设j为马链的吸收态,则iN都 pis

收壁,左、右移一格的概率分别为1613，停留在原处的概率为1/2，求质点从状态2解:11

0 0P 1 0 3 301 01 根据推论2得 p22f21p23f31p216 6同理

3

解(2)(3)得：

,

,

1所以从出发被吸收的概率为7同理可求从出发被5吸收的概率为8i三计算(C) (注:书中记为E(T/ii 设从i(iN出发,(C)表示进iC的平均时间,, (C)1p 证明由全概率公式得i(C)PX(1j/X(0)i{从ii j最后被C吸收的时间} (1 p p(1(C)) p(1 pp(C)1p

对于不可分常返马链,若表示i出发首次到达j的平均时间, 1 k例2已知P