《概率与数理统计》第10章-马尔可夫链

第十章马尔可夫链 第一节马尔可夫链的概念及转移概率第二节多步转移概率的确定第三节马氏链的有限维分布第四节遍历性 第一节马尔可夫链的概念及转移概率 下面我们只讨论齐次马氏链 并习惯上常将 齐次 两字省略 而且当时 等以后的行为只与有关 而与质点以前是如何到是完全无关的 所以 它是一个马氏链 且为齐次马氏链 其状态空间为 称其为具有两个反射壁的随机游动 若令表示质点在时刻的位置 那末 是一个随机过程 而且当时 等以后的行为只与有关 而与质点以前是如何到是完全无关的 所以 它是一个马氏链 其状态空间为 例 一维随机游动 考虑在直线上作随机游动的质点 且只在非负整数上作随机游动 当质点在时刻时处在位置 在时刻转移到的概率为 转移到的概率为 不动的概率为 而处在别的位置的概率为0 它的一步转移矩阵为 这里 并且 由于它的转移概率与起点无关 所以它还是齐次马氏链 如果称为带一个吸收壁的随机游动 质点一旦到达状态0后就永远停留在0这个状态上 这样的状态称为吸收状态 如果称为带一个反射壁的随机游动 质点一旦到达状态0后下一步它以概率向右移一格 如果状态空间是有限的 且状态0与状态N都为吸收状态 即称为具有两个吸收壁的随机游动 第二节多步转移概率的确定 定理 设为齐次马氏链 则对任意的有 或 证明 利用全概率公式及马尔可夫性 有 这就是有名的切普曼 柯尔莫哥洛夫方程 简称为方程 或 可见齐次马氏链 它的多步转移概率完全由它的一步转移概率所决定 因此 在马氏链中 一步转移概率是最基本的 第三节马氏链的有限维分布 一维分布可用向量形式表示为 初始分布与一维分布的关系可表示为 表明一维分布可由初始分布和n步转移概率矩阵确定 定理说明 马尔可夫链的有限维分布完全由它的初始分布和转移概率决定 例 某计算机房的一台计算机经常出现故障 研究者每隔15分钟观察一次计算机的运行状态 收集了24小时的数据 共作97次观察 用1表示正常状态 用0表示不正常状态 所得数据序列如下 1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111 设为第n个时段的计算机状态 可以认为它是一个齐次马氏链 状态空间为 由于96次状态转移的情况是 因此 一步转移概率可用频率近似地表示为 续例 若计算机在某一时段 15分钟 的状态为0 问从此时段起此计算机能连续正常工作一小时 4个时段 的概率为多少 解 由题意 续例 3 设初始分布 又已知系统经n级传输后输出为1 问原发数字也是1的概率为多少 先求出n步转移概率矩阵 由于 由线性代数知识可将P表示成对角阵 的相似矩阵 具体做法是 求出对应的特征向量 令 则 于是 根据贝叶斯公式 当已知系统经n级传输后输出为1 原数字也是1的概率为 第四节遍历性 定义中平稳性的直观含义是过程在任何时刻处于状态的概率都相等 在定理的条件下 马氏链的极限分布就是平稳分布 且是唯一的 即 若用作为链的初始分布 即 则链在任一时刻的绝对分布永远与一致 事实上由 和 有 例 考虑直线上带反射壁的随机游动 如果质点只能取1 2 3三个点 一步转移概率矩阵为 其中 试说明此链是遍历的 并求出极限分布 解 计算二步转移概率矩阵 可见当 对任意的有 由定理可知 此链具有遍历性 下面求极限分布 列出方程式 由此解得 例 设一马氏链的一步转移概率矩