马氏链模型习题

马氏链模型习题 范萌萌mmfan 2018 7 14 马氏链模型 系统在每个时期所处的状态是随机的 从一时期到下时期的状态按一定概率转移 下时期状态只取决于本时期状态和转移概率 已知现在 将来与过去无关 无后效性 描述一类重要的随机动态系统 过程 的模型 马氏链 MarkovChain 时间 状态均为离散的随机转移过程 具有无后效性的 时间 状态均为离散的随机转移过程 通常用马氏链 MarkovChain 模型描述 马氏链模型在经济 社会 生态 遗传等许多领域有广泛应用 不仅可以解决随即转移过程 还可以处理一些确定性系统的状态转移问题 马氏链的基本方程 基本方程 马氏链的两个重要类型 1 正则链 从任一状态出发经有限次转移能以正概率到达另外任一状态 如例1 w 稳态概率 马氏链的两个重要类型 2 吸收链 存在吸收状态 一旦到达就不会离开的状态i pii 1 且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态 如例2 有r个吸收状态的吸收链的转移概率阵标准形式 R有非零元素 yi 从第i个非吸收状态出发 被某个吸收状态吸收前的平均转移次数 信息传播问题 一条消息在 等人中传播 传播 的方式是 传给 传给 如此继续下去 每次传播都是由 传给 每次传播消息的失真率为 即 将消息传给 时 传错的概率为 这样经过长时间传播第n个人得知消息时 消息的真实程度如何 习题1 第n个人知道消息可能是真 也可能是假 有两种状态 记为 表示消息假 表示消息真 用 表示第 个人处于状态 的概率 即状态概率为 由题意 状态转移概率矩阵为 求解 习题2 若顾客的购买是无记忆的 即已知现在顾客购买的情况 未来顾客的购买情况不受过去购买历史的影响 而只与现在购买情况有关 现在市场上供应A B C三个不同厂家生产的50克袋装味精 若已知第一次顾客购买三个厂味精的概率依次为0 2 0 4 0 4 又知道一般顾客的购买倾向由下表给出 1 求顾客第四次购买各家味精的概率 2 从长期看这三家厂商的市场占有率分别是多少 习题2 习题2 习题3 甲 乙两人进行比赛 设每局比赛中甲胜的概率是p 乙胜的概率是q 和局的概率是r 设每局比赛后 胜者记 1 分 负者记 1 分 和局不记分 当两人中有一人获得2分结束比赛 以表示比赛至第n局时甲获得的分数 1 写出状态空间 3 问在甲获得1分的情况下 再赛二局可以结束比赛的概率是多少 解 1 记甲获得 负2分 为状态1 获得 负1分 为状态2 获得 0分 为状态3 获得 正1分 为状态4 获得 正2分 为状态5 则状态空间为 一步转移概率矩阵 2 二步转移概率矩阵 3 从而结束比赛的概率 从而结束比赛的概率 所以题中所求概率为 习题4 智力竞赛问题甲 乙两队进行智力竞赛 竞赛规则规定 竞赛开始时 甲 乙两队各记2分 在抢答问题时 如果甲队赢得1分 那么甲队的总分将增加1分 同时乙队总分将减少1分 当甲 或乙 队总分达到4分时 竞赛结束 甲 或乙 获胜 根据队员的智力水平 知道甲队赢得1分的概率为p 失去1分的概率为1 p 求 1 甲队获胜的概率是多少 3 甲队获得1 2 3分的平均次数是多少 2 竞赛从开始到结束 分数转移的平均次数是多少 解 1 解 1 解 1 分析 习题5赌徒输光问题 赌徒甲有资本a元 赌徒乙有资本b元 两人进行赌博 每赌一局输者给赢者1元 没有和局 直赌至两人中有一人输光为止 设在每一局中 甲获胜的概率为p 乙获胜的概率为 求甲输光的概率 这个问题实质上是带有两个吸收壁的随机游动 从甲的角度看 他初始时刻处于a 每次移动一格 向右移 即赢1元 的概率为p 向左移 即输1元 的概率为q 如果一旦到达0 即甲输光 或a b 即乙输光 这个游动就停止 这时的状态空间为 0 1 2 c c a b 现在的问题是求质点从a出发到达0状态先于到达c状态的概率 考虑质点从j出发移动一步后的情况 解 同理 根据全概率公式有 这一方程实质上是一差分方程 它的边界条件是 首页 于是 设 则可得到两个相邻差分间的递推关系 于是 欲求 先求 需讨论r 当 而 两式相比 故 当 而 因此 故 用同样的方法可以求得乙先输光的概率 由以上计算结果可知 服务网站问题 习题6 问题分析及符号说明 问题分析服务请求要么被拒绝或者接受 要么到达某个工作站等待处理建模目标分析服务请求被接受或者拒绝的概率 用随机变量 表示第n个阶段的状况 服务请求被拒绝 服务请求被接受 转移概率矩阵为 可以计算为 空气污染问题 有k个城市 每一时刻t 0 1 2 的空气中污染物浓度 从t到t 1 空气 中污染物扩散到去的比例是 有 扩散到k个城市之外的那部分污染物永远不再回来 在每个时刻各城市的污染源都排出一定的污染物 记排出的为 按照环境管理条例要求 对充分大的t必须 习题7 试建立马氏链模型 在已知和的条件下 确定的限制范围 满足管理条例的要求 设k 3 由以下矩阵给出 求的限制范围 基本模型