随机过程课程设计连续马尔科夫过程的转移概率及应用

1、随机过程课程设计各专业全套优秀毕业设计图纸随机过程 课程设计（论文）题 目: 连续马尔科夫过程的转移 概率及应用 学 院： 理学院 专 业： 数学与应用数学 班 级： 数学09-2班 学 生 姓 名： 学 生 学 号： 2009026249 指 导 教 师： 2011 年 12 月 20 日目录 课程设计任务书i摘 要ii第1章 绪论- 1 -第2章 连续时间马尔可夫链基本理论- 2 -2.1定义- 2 -2.2转移概率- 2 -第3章 柯尔莫哥洛夫微分方程- 3 -3.1跳跃强度- 3 -3.2 q矩阵- 3 -3.3柯尔莫哥洛夫向后方程- 4 -3.4柯尔莫哥洛夫向前方程- 4 -第4章

2、马尔可夫过程研究的问题的分析- 5 -4.1连续参数随机游动问题- 5 -第5章 计算结果及程序- 6 -第6章 结论和展望- 11 -参考文献- 11 -评 阅 书- 12 - - 12 -随机过程 课程设计任务书姓名姜德月学号18指导教师蔡吉花设计题目连续马尔科夫过程的转移概率及其应用理论要点连续时间马尔科夫链，转移概率及应用，科尔莫格罗夫向前、向后方程设计目标找实例解决具体问题，用科尔莫格罗夫向前、向后方程求解时编程解微分方程。研究方法步骤了解基本原理，寻找相关实际问题，解决问题。预期结果学习matlab有关求解微分方程的指令；微分方程数值求解法；能够解决随机游动的微分方程。计划与进步的

3、安排1.了解基本要求，整理思路，设计大纲。2 .查找相关书籍，上网查找相关资料。3.初步设计课程设计4 .对设计进行整理，进行排版，检查，审核。参考资料应用随机过程，钱敏平，龚光鲁，北京大学出版社， 1998.随机过程论， 钱敏平 高等教育出版社 2000应用随机过程， 林元烈 清华大学出版社 2002随机过程， 刘次华 华中科技大学出版社 2008matlab在时间序列分析中的应用 张善文 雷英杰 冯有前 西安电子科技大学出版社 2007填写时间2011年12月20日 摘 要马尔可夫过程(markov process)是一个典型的随机过程。设是一随机过程，当过程在时刻所处的状态为已知时，时刻

4、所处的状态与过程在时刻之前的状态无关，这个特性成为无后效性。本文主要阐述连续马尔科夫过程的转移概率定义、性质及其应用，以及科尔莫哥洛夫向前、向后方程，q矩阵。主要研究机器维修，排队，以及随机游动等实际问题，根据实际问题来求解微分方程。并用matlab，对其结果进行了合理性的分析，使得我们能更好的理解和应用连续马尔可夫过程，并能用柯尔莫哥洛夫向前向后方程，q矩阵，matlab求解实际问题。关键字 马尔科夫过程 转移概率 柯尔莫哥洛夫 微分方程数值求解 随机游动连续马尔科夫过程的转移概率及其应用第1章 绪论1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954

5、年前后， w.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。 类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步

6、跳往何处和它以往走过的路径无关。如果将荷叶编号并用分别表示青蛙最初处的荷叶号码及第一次、第二次、跳跃后所处的荷叶号码，那么 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。 关于马尔可夫过程的理论研究，1931年.柯尔莫哥洛夫发表了概率论的解析方法，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在p.莱维和c.h.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。195

7、4年前后，w.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和j.l.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来g.a.亨特研究了相当一般的马尔可夫过程（亨特过程）与 位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。第2章 连续时间马尔可夫链基本理论2.1定义设随机过程，状态空间,若对任意及非负整数及非负整数有，则称为连续时间马尔可夫链。2.2转移概率在s时刻处于状态i，经过时间t后转移到状态j的概率定义.2 齐次转移概率 (与起始时刻s无关，只与时间间隔t有关)转移概

8、率矩阵命题：若i为过程在状态转移之前停留在状态i的时间，则对s, t0有 (1) (2) i 服从指数分布定理1 齐次马尔可夫过程的转移概率具有： (1) ; (2) (3) 正则性条件 定义3(1)初始概率: (2)绝对概率: (3)初始分布: (4)绝对分布: 定理2 齐次马尔可夫过程的绝对概率及有 限维概率分布具有下列性质：(1) (2) (3) (4) (5) 第3章 柯尔莫哥洛夫微分方程3.1跳跃强度状态转移概率 它满足 ，齐次马尔可夫过程的状态转移概率 满足：跳跃强度 其中称为参数连续状态离散齐次马尔可夫过程的跳跃强度当时，当i=j时, 3.2 q矩阵把矩阵叫马氏过程的速率矩阵，简

9、称q矩阵。但考虑到密度矩阵，是由的导数组成即 跳跃强度的性质3.3柯尔莫哥洛夫向后方程假设，则对一切i, j及t 0，有3.4柯尔莫哥洛夫向前方程在适当的正则条件下有 向后方程的矩阵形式： 向前方程的矩阵形式： 其中q矩阵为矩阵的元素为矩阵的元素的导数，而这样，连续时间马尔科夫链的转移概率的求解问题就是矩阵微分方程的求解问题，其转移概率有其转移速率矩阵q决定。若q是一个有限维矩阵，则式和式的解为 定理3齐次马尔可夫过程在t时刻处于状 态的绝对概率 满足方程： 第4章 马尔可夫过程研究的问题的分析4.1连续参数随机游动问题有限图上的随机游动(即有限马尔可夫链)近一二十年来在近似算法设计的重要应用

10、，使它受到越来越广泛的关注。这时算法的有效性大部分依赖于所设计随机游动的性能好坏，而随机游动的性能主要由它的几个重要的参数来决定，如平均首达时间，平均覆盖时间，收敛速度等。例 设在的线段上有一个质点作随机游动，此质点只能停留在诸点上。质点任何时刻都可能发生移动，其移动的规则是：（1）若在时刻t 质点位于中的一点，则在中以概率 向右移动一格，以概率向左移动一格； （2）若在时刻t 质点位于1，则在中以概率向右移动一格；（3）若在时刻t 质点位于5，则以概率向左移动一格；（4）在发生其他移动的概率是。求满足的微分方程。转移速率矩阵状态转移概率矩阵 从给定状态转移到任意状态的转移概率矩阵 记作，为

11、的第i行的行矢量从任意状态转移到特定状态的转移概率矩阵 记作，为 的第j行的列矢量t时刻系统状态的概率分布律矩阵 第5章 计算结果及程序解：写出马尔科夫过程的q 矩阵，则相应的q 矩阵是，根据柯尔莫哥洛夫-费勒前进方程，可以列出满足的微分方程：初始条件：根据柯尔莫哥洛夫-费勒后退方程，可以列出 满足的微分方程：初始条件：程序 x,y,z,m,n=dsolve(dx=-1*x+2*y,dy=1*x-(1+2)*y+2*z,dz=1*y-(1+2)*z+2*m,dm=1*z-(1+2)*m+2*n,dn=1*m-2*n,x(0)=1,y(0)=0,z(0)=0,m(0)=0,n(0)=0,t) x

12、 = -1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)+2/31-1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)-1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)-1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(

13、1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)+1/8*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*20(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)+1/8*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*20(1/2)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)-1/8*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*20(1/2)*exp(-3+1/2

14、*10(1/2)+1/2*2(1/2)*t)-1/8*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*20(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)-1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)+1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)-1/

15、4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)+1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2) y = 1/31+1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)-1/4*(1/62*2(1/2)+15

16、/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)+1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)-1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2) z = 16/31+(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1

17、/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)+(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)+(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)+(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t) m = -(3/620*5(1

18、/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)+1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*10(1/2)-1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)-(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/

19、2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)-1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*10(1/2)+1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)-(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)+1

20、/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)*10(1/2)+1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)-(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)-1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3

21、/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)*10(1/2)-1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)+8/31 n = 1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)+4/31+1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3

22、+1/2*10(1/2)+1/2*2(1/2)*t)+1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)+1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)-1/8*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*20(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)-1/8*(3/620*5

23、(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*20(1/2)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)+1/8*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*20(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)+1/8*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*20(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)+1/4*(1/62*2(1/2)+15/124-3/155*10(1/

24、2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*10(1/2)-1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*10(1/2)+1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)-1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)+1/4*(15/124-3/620