马尔可夫过程.ppt

期末考试时间 1月18日 星期四 9 00 11 00地点 6教301方式 闭卷考试范围 第一章到第五章考试内容 从作业题中选题 第五章MarkovProcess 马尔可夫过程 马尔可夫过程具备 无后效性 在这一章 我们介绍MarkovProcess的最简单的两种类型 离散时间离散状态Markov链 连续时间离散状态Markov链 马尔可夫过程广泛应用于计算机 通讯 自动控制 随机服务 可靠性 生物学 经济 管理 教育 气象 物理 化学等众多领域 也就是说 这些领域中的许多现象可以用马尔可夫过程来近似描述 从而进行分析 5 1基本概念 定义5 1 Markov链 随机过程被称为Markov链 如果对任意的 有 5 1 1 公式 5 1 1 刻画了Markov链的无后效性 5 1 1Markov链的定义 Markov链是离散时间离散状态的马尔可夫过程 由公式 5 1 1 知 给定Markov链的初始分布 其统计特性可以由条件分布 唯一确定 所以如何确定这个条件概率 是Markov链理论和应用中的重要问题之一 5 1 2转移概率 一般情况下 转移概率和时刻有关 如果无关 则称这样的Markov链为齐次Markov链 即 注 齐次Markov链有时也称为时齐Markov链 在这门课中我们只考虑齐次Markov链 为方便记 我们定义如下的矩阵 5 1 2 容易验证 转移矩阵具有如下性质 5 1 3 定义5 4 随机矩阵 如果一个矩阵具有公式 5 1 3 中两条性质 则称此矩阵为随机矩阵 5 1 3一些例子 例5 1 赌徒破产模型 系统的状态是到 反映赌博者A在赌博期间拥有的钱数 当他输光或拥有钱数为时 赌博停止 否则他将持续赌博 假设每次他以概率赢得1 以概率输掉1 显然 上述过程是一个齐次Markov链 其转移矩阵为 5 1 4 例5 2 带有一次赞助的赌徒破产模型 设例5 1中当赌徒输光时将获得赞助1让他接着赌下去 那么转移矩阵为 5 1 5 例5 3 设有一蚂蚁在右图上爬行 当两个节点相邻时 蚂蚁将爬向其中一点 并且爬向任意一个邻居的概率是相同的 则此Markov链的转移矩阵是 5 1 4步转移概率C K方程 定义5 4 步转移概率 称条件概率 5 1 6 为Markov链的步转移概率 相应的称为步转移矩阵 显然 当时 此外规定 5 1 7 即为单位矩阵 由定义5 4知 步转移概率是系统从状态经步后转移到状态的概率 定理5 1 Chapman Kolmogorov方程 简称C K方程 对一切 有 1 2 5 1 8 5 1 9 证明 1 2 是 1 的矩阵表达形式 5 1 10 试求他经过4次赌博输光的概率 例5 5 广告效益的推算 在某鲜奶A改变广告方式后 经调查发现买A种鲜奶及另外三种鲜奶B C D的顾客每两个月的平均转换率如下 假设市场中只有这4种鲜奶 5 1 13 假设目前购买A B C D种鲜奶的顾客的分布为 试求半年后鲜奶A B C D的市场份额 解 令为转移矩阵 则显然有 5 1 14 为得到半年后的市场份额 我们须知 所以 半年后鲜奶A的市场占有率为 半年后鲜奶B的市场占有率为 半年后鲜奶C的市场占有率为 半年后鲜奶D的市场占有率为 所以 A种牛奶的新的广告方式很有效 例5 6 设为齐次Markov链 其状态空间为 其转移矩阵为 5 1 15 又已知初始分布为 试求 解 1 2 由全概公式 乘法公式和Markov链的性质可知 3 与 2 类似 我们有 5 1 5 有限齐次Markov链的遍历性质 5 1 16 则称Markov链具有遍历性 遍历性的直观意义是 不论系统从哪一个状态出发 当转移的 步长 充分大时 转移到某个状态的概率近似于某个常数 因此可用来近似 只要充分大 Question 满足什么条件的Markov链具有遍历性呢 这里我们只对有限齐次Markov链做一说明 有限指Markov链的状态集合中有有限个元素 例5 7 在例5 6中 我们知道 所以 这个有限齐次Markov链满足公式 5 1 17 由定理5 2知 满足上述方程组和公式 5 1 19 的解为 定理5 中的条件是充分但不是必要的 如下例所示 例5 8 考虑Markov链 其状态空间为 转移矩阵为 易验证步转移矩阵为 因为 所以是遍历的 但是 对任意的 不满足公式 5 1 17 例5 4中的Markov链不是遍历的 5 2 状态的分类及性质 定义5 6称状态可达状态 若存在使得 记为 若同时有则称与互通