随机过程 第四章_第1页
随机过程 第四章_第2页
随机过程 第四章_第3页
随机过程 第四章_第4页
随机过程 第四章_第5页
已阅读5页，还剩39页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、第四章 马尔可夫链,马尔可夫链定义 一步转移概率及多步转移概率 Chapman-Kolmogorov方程 初始概率及绝对概率 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布,马尔可夫过程,2、马尔可夫性,系统在已知现在所处状态的条件下，它将来所处的状态与过去所处的状态无关。,4.1 马尔可夫链的概念及转移概率,一、马尔可夫链的概念,4.1 马尔可夫链的概念及转移概率,一、马尔可夫链的概念,参数集和状态空间都是离散的马尔可夫过程称为马尔可夫链。,2、马氏链的转移概率,称条件概率,3、一步转移概率及矩阵,称为马氏链的一步转移概率矩阵,4.多步转移概率的确定,通常我们还规定：,(2)、切普曼柯尔莫哥

2、洛夫方程 （Chapman-Kolmogorov）,用矩阵形式表示为：,表明一步转移概率是最基本的，它确定了马氏链的状态转移的统计规律。,全概率公式,若有N个互斥事件Bn（n=1,2,N），它的并集等于整个样本空间，则,（1）离散型随机变量的条件分布律及条件期望,5、初始概率与绝对概率,写成向量形式:,(2) 绝对概率与初始概率的关系,表明n时刻的绝对概率分布完全由初始分布和n步转移概率所确定。,（3）马氏链的有限维分布,总结： 1）齐次马氏链多步转移概率可由一步转移概率确定；,2) 绝对概率可由初始概率及n步转移概率确定,3)有限维分布可完全由初始概率及一步转移概率确定。,赌徒输光问题,解：定义Xn为第n次时甲的赌资，其状态空间为：,例 带一个吸收壁的随机游动,(1)已知开始第一人拿球，经三次传球后又回到 第一人的概率； (2)开始第一人拿球，经三次传球后又回到第一 人的概率； (3)经三次传球后第一人拿球的概率； (4)经三次传球后，又回开始拿球人的概率。,又已知系统经n级传输后输出为1,问原字符 也是1的概率是多少?,由线性代数知识,可将P表示成对角阵,利用类似的方法,可得n步转移概率矩阵为,对齐次马尔可夫链,虽然一步专移概率能够完全

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论