随机过程 5.1.ppt_第1页
随机过程 5.1.ppt_第2页
随机过程 5.1.ppt_第3页
随机过程 5.1.ppt_第4页
随机过程 5.1.ppt_第5页
已阅读5页，还剩11页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

5连续时间的马尔可夫链 内容提要 连续时间的马尔可夫链柯尔莫哥洛夫微分方程生灭过程 连续时间的马尔可夫链 第四章讨论了时间和状态都离散的马尔可夫过程 本章研究另一种情况的马尔可夫过程 即时间连续状态离散的马尔可夫过程 称连续时间的马尔可夫链 也称纯不连续马尔可夫链 过程 5 1连续时间的马尔可夫链 定义 设随机过程 X t t 0 状态空间I in n 0 若对任意0 t1 t2 tn 1和任意的i1 in 1 I 有则称 X t t 0 为连续时间马尔可夫链 定义注解 它表示系统在s时刻处于状态i 经过时间t后转移到状态j的概率 注 1 连续时间马尔可夫链是具有马尔可夫性的随机过程 即将来的状态只依赖于现在的状态而与过去无关 2 记定义中条件概率的一般形式为 其中k I 齐次连续时间马尔可夫链 定义 若Pij s t 与s无关 则称连续时间马尔可夫链具有平稳的或齐次的转移概率 简记为 Pij s t Pij t 转移概率矩阵简记为P t Pij t i j I t 0注 以下只讨论齐次的连续时间马尔可夫链 停留时间的分布 思考 假设在某时刻 比如说时刻0 马尔可夫链进入状态i 而且在接下来的s个单位时间过程未离开状态i 即未发生转移 问在随后的t个单位时间中过程仍不离开状态i的概率 分析 由马氏性知 在s处于i条件下 在区间 s s t 中仍处于i的概率正是它处于i至少t个时间的 无条件 概率 停留时间的分布 记 i为过程在转移到另一个状态之前停留在状态i的时间 则对于一切的s t 0 有可见 i具有无记忆性 因此 i服从指数分布 连续时间马尔可夫链性质 一个连续时间马尔可夫链 每当它进入状态i 具有如下性质 1 在转移到另一状态之前处于状态i的时间服从参数为 i的指数分布 2 当过程离开状态i时 接着以概率Pij进入状态j 连续时间马尔可夫链性质 1 2 可以构造一个马尔可夫链 当 i 时 称状态i为瞬时状态 过程一旦进入此状态立即就离开 当 i 0时 称状态i为吸收状态 过程一旦进入此状态就永远不再离开了 注 考虑的连续时间马尔可夫链一般不存在瞬时状态 即0 i n步转移概率的性质 定理 齐次马尔可夫过程的转移概率具有下列性质 其中 3 式即为连续时间马尔可夫链的C K方程 转移概率的性质 证明 1 2 由概率定义及转移概率的定义可知 下证 3 式 利用全概率公式及马尔可夫性有 正则性条件 对Pij t 一般假设它满足 称上式为正则性条件 正则性条件说明 过程刚进入某状态不可能立即又跳跃到另一状态 也即是说一个系统要在有限的时间内不可能发生无限多次跳跃 从而消耗无穷多的能量这是不可能的 初始概率和绝对概率 初始概率 绝对
人人文库> 全部分类> 生活休闲 > 科普知识

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论