Markov过程(随机过程报告)

1、随机过程课程报告离散markov链（李继刚）考虑一个随机过程&,虫t,我们假设随机变量纟的取值在某个集合s中，则集 合s称为状态空i'可.独立随机试验模型最直接的推广就是markov模型.粗略地说，一个随机过程如果 给定了当前时刻t的值未来5> t的值&不受过去&心的影响就称为是有markov 性.如果一个过程具有markov性，则称该过程为markov id：程.特别地，当状态空间s 为至多可列集时,markov过程称为markov链.对于markov链，当指标集t是非负整数时，称为离散时间markov链；当指标集t 是连续时间时，称为连续时间marko

2、v链.在本文中，主要讨论有关时间离散的markov链的性质，有关markov链的概念等。一、markov 性质随机序列n：n>0称为markov链，如果这些随机变量都是离散的，而且对于vn>0及任意状态i,j,i（）,i心,都有pgj n= &l l，§0 = g =户（佥+1这个性质就称为markov性质。这条性质也就是说，如果过程在时刻斤处于状态i,那么不管它以前处于什么状态, 过程以后处于什么状态的概率是一样的。这就说明了，markov链在已知“现在”的条 件下，“将来”与“过去”是条件独立的。此外,对于 markov n : n > 0 v/n &g

3、t; 1,/? > 0及任意状态 i, j,，（）,有p©卄=j i 佥=°、盒-1 =必-1，§0 =，0）= ./ i c = 0对状态空间s上的任意有界实值函数/有egjg丸，,冷）=e（fd严 in）二.概率转移矩阵记p.(n,m) = pm=jn=i)并定义无穷矩阵由于此无穷矩阵的分量都是非负的且不超过1,易见这种无穷矩阵的乘法满足结合 律，又因为pij(n,n) = 6j =)；/所以，= / (无穷单位阵)，特别的，pg/ + 1)称为时刻斤的(一步)转移概 率矩阵。如果markov链的概率转移矩阵p(/?,/? + l)与n无关，则称其为时齐

4、的markov链, 我们把此矩阵简记为p =(pa三、markov链的例独立同分布的随机变暈的部分和序列，称为随机徘徊，它是时间参数离散情形时 的时齐的独立增量过程，又若其中的随机变量只取1和1两个值，则称为简单随机徘 徊。今考虑-个简单随机徘徊©尼°),其状态空间为32 = 全体整数,由盒 的定义其中zk9k>0为独立同分布随机变量序列，满足1 1z& (p + g = l)这里負“0)表示一个粒子分别以概率与9向右与向左走一-格。由于随机徘徊是吋齐的独立增量过程，由第3章可知它也是时齐的markov链。又因为匚厶氛都是z°,z|,乙?的部分和，所

5、以，它们和乙屮独立，故pij = p(§”+1 = j i fn = 0 = p(z“+ +乙=j i - dp 7 = +1 =p(zn+l=j-i © = i) = p(zfl+l =j-i) = q j = i-0 其他即其转移矩阵为q0p00:p =(pij)=0q0p0:0 00/?:ui习题练习1、一次次地用同一种方法独立的投掷骰子。记佥为第次出现的点数。试说明 f = ©， = 0,1,2,为时齐的markov链，并写出§的一步转移概率矩阵。若令 二血=$+金+佥，212,试问是否为markov链？如果是，请写出其 一步转移概率矩阵。解：（

6、）§ = 金,心1,2,，,其中盒为第次岀现的点数，$的状态空间为 5 = 12345,6。由于各次的投掷都相互独立，显然纟为时齐的markov链。且假定 骰子均匀，所以此时一步转移概率矩阵为1/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/61/6二“,心1,2，,其中久为前次出现的点数的总和，的状态空间为s =显然已知前加次掷岀点数总和几时，对任意£>°,前m + k次掷出点数总和只与“川有关，而与

7、加之前各次掷出点数的总和无关，所以为吋齐的 markov链，一步转移概率矩阵为1/6 丿1丿 + 2,i + 6"（从心其中 to其他2、用一枚非均匀的硬币一次次独立地向上投掷。设一次投掷出现正面的概率为0（ov"v1）,记$g2）为第兄-1次和第次投掷的结果，若这两次都出现正面,则1=°；否则= 1 o试说明§二©5 = 2,3,不是“玄畑链。解：由于第次和第n次投掷都出现正面其他我们有p(4=0|2=0,=l)p(=0| = l)事实上，设a为一次投掷出现正面，则p（a） = pfi<p< tp(§4 = 0 i &#

8、167;2 = o' §3 = 1)=p(§4 = 0,金=0,刍=1)p(§2 = °，§3 = 1)p(aaa)但是p4=0$=l) =p(1)pg = i)p(a44)p(aaj aaja)丄hoi_1 + p所以,"©宀2,3,不是markov链。3、设markov链§具有状态空间s =卩,初始分布为p（°）= %必（°）= b和一步转移概率矩阵其中a>o,0>o,q + “ = l;/?>o,g>o, # + g = l.（1）试证:l +（0_g）&q

9、uot; i-（p-qy i_（p_q）" i+（p-q）"试求极限分布卿艸m；（3）试求平稳分布；（4）试求绝对概率卩（力，卩2（力；(5)lim (/?),： = 1,2."t8p =p d_ 12p2q_ 1 l + (p-q)l-(p-q)_q p_22q2p_ 2l_(p_g) l + (p_g)'试求绝对概率的极限解：（1）由于一步转移概率矩阵为p(2) = p2=-i + (“-g)i-(p-q)p q21一（一 g）i + (#-g).q 化所以二步转移概率矩阵为£ p+p(p-q)+q-q(p-q)2 p-p(p-q) + q

10、+ q(p-q)p-p(p-q) + q + q(p-q) p+ p(p-q) + q-q(p q)1 1 + (一 §)21(一 q)22 l-(p-q)2 l + (#-g)2j_ p + p(p-q$ +q-q(p-qy 2卩-(0-9)+ + 4(0-彳)2p-p(p-q)2+q+q(p-qp+ p(p_qy +q_q(p_q)2三步转移概率矩阵为p(3)"二i + (°-q)2 1-(0-？)2p q2-(p-qy l + (/?-q)_q p_丄 1 + (卩一9)' '-(p-q2 1一(一9) l + (/7-q)总之p伙+ 1)

11、= p« p二*11+(卩-,2-(p-q)k1 + (卩-,£ p+p(p-qy +q-q(p-qy2_p- p(p-qy +q+q(p-q$l (p q卢'ps)j_21 + (#-g)" -(p-qy（2）由（1）的结论p(n)丄 ri+(p-r2 1-(p-q)“注意到回d""我们有lim p(刃)=lim ”t87?t8 2l + s q)i(pg)"1 + (卩一,i+s-dl?p-p(p-q)k h(p-qy p+p(p-qy +q-q(p-qyl-(p-g)" l + s q)"1-(/f1

12、 + (q)"i + (p_g)“,v/i>0,v/? >01/2 1/21/2 1/2hm 卩讥(7?) = -,lim pi2(n) = -,z = l,2 即 ht82 ht82（3）极限分布满足p qw、_q p_严2丿si 9 兀2)、兀 +龙2 =1其唯-的解为（龙"）=px () = pi (0)pn o) + pi (0)p2i s)=如 + (p - q)n + 01 _ (p - q)", p2 s) = pi(o)p12 (n)+p2(0)022 s) = qi -(p - q)" +0i+(p - q)"乙 oo<；/- 8"_oo<|/oo&