11-马尔可夫过程.ppt

1、1,马尔可夫预测,马尔可夫链的基本概念 马尔可夫预测方法及应用,马尔可夫预测是应用随机过程中马尔可夫链的理论和方法，研究分析有关现象的变化规律并借此对未来进行预测的一种方法。,2,6.1 马尔可夫链的基本概念,3,一、马尔可夫链,6.1 马尔可夫链的基本概念,4,马尔可夫过程指满足无后效性的随机过程,一、马尔可夫链,6.1 马尔可夫链的基本概念,5,马尔可夫过程指满足无后效性的随机过程,定义1 参数集,（随机变量）,随机过程,一、马尔可夫链,6.1 马尔可夫链的基本概念,6,马尔可夫过程指满足无后效性的随机过程,定义1 参数集,（随机变量）,随机过程,无后效性指将来取什么值只与现在的取值有关，

2、而与过去取什么值无关。,一、马尔可夫链,6.1 马尔可夫链的基本概念,7,马尔可夫过程指满足无后效性的随机过程,定义1 参数集,（随机变量）,随机过程,无后效性指将来取什么值只与现在的取值有关，而与过去取什么值无关。,定义2 如若T 为离散集（设 ）， 同时 的取值也是离散的，则称 为离散型随机过程。,一、马尔可夫链,6.1 马尔可夫链的基本概念,8,设有一离散型随机过程，它所有可能处于的状态的集合为：S=1，2，N，称其为状态空间。,9,则称离散型随机过程 为马尔可夫链。,设有一离散型随机过程，它所有可能处于的状态的集合为：S=1，2，N，称其为状态空间。,若对任意 ，恒有：,10,二、状态

3、转移概率矩阵,11,二、状态转移概率矩阵,当系统由一种状态变为另一种状态时，称为状态转移。,12,二、状态转移概率矩阵,当系统由一种状态变为另一种状态时，称为状态转移。,定义3 一步状态转移概率,13,几个概念：,14,几个概念：,概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。,15,几个概念：,概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。,16,几个概念：,概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。,概率向量,17,几个概念：,概率向量：

4、对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。,概率矩阵 由概率向量作为行向量所构成的方阵称为概率矩阵。,概率向量,18,概率矩阵的性质：如果A、B 皆是概率矩阵，则AB也是概率矩阵；如果A是概率矩阵，则A的任意次幂 也是概率矩阵。,19,概率矩阵的性质：如果A、B 皆是概率矩阵，则AB也是概率矩阵；如果A是概率矩阵，则A的任意次幂 也是概率矩阵。,一步状态转移概率矩阵,与n无关,假设：,（齐次性）,20,例1 设味精销售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以 表示第n个季度的味精销售状态，则 可取1或2的值。若未来的味精市场状态只与现在的市

5、场状态有关，与以前的市场状态无关，则味精的市场销售状态 构成一个马尔可夫链。,21,例1 设味精销售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以 表示第n个季度的味精销售状态，则 可取1或2的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态 构成一个马尔可夫链。,设,则状态转移概率矩阵：,22,1,2,0.6,0.5,0.4,0.5,23,k步状态转移概率,称 为k步状态转移概率， 为k步状态转移概率矩阵，,24,马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。,25,马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。,全概

6、率公式,26,马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。,P 一步状态转移概率矩阵, k 步状态转移概率矩阵,全概率公式,27,例2 设一步状态转移概率矩阵为,则两步状态转移概率矩阵为,28,例2 设一步状态转移概率矩阵为,则两步状态转移概率矩阵为,29,初始状态概率向量,30,初始状态概率向量,记 为过程的开始时刻，,则称,为初始状态概率向量。,31,如果已知齐次马尔可夫链的状态转移概率矩阵 以及初始状态概率向量 ，则任一时刻的状态概率分布可以确定。,初始状态概率向量,记 为过程的开始时刻，,则称,为初始状态概率向量。,32,其中：,33,例3 考察一台机床的运行状态。机床

7、的运行存在正常和故障两种状态。S=1,2。机床在运行中出现故障：12；处于故障中的机床经维修，恢复到正常状态：21。,34,例3 考察一台机床的运行状态。机床的运行存在正常和故障两种状态。S=1,2。机床在运行中出现故障：12；处于故障中的机床经维修，恢复到正常状态：21。,以一个月为单位，经观察统计，知其从某个月份到下月份，机床出现故障的概率为0.3。在这一段时间内，故障机床经维修恢复到正常状态的概率为0.9。,1,2,0.9,0.3,35,36,含义？,37,含义？,如已知初始概率向量 P(0)：,0.1,0.9,0.3,0.7,38,含义？,如已知初始概率向量 P(0)：,0.1,0.9

8、,0.3,0.7,39,40,41,42,43,44,45,P(1)=(0.74 0.26),46,问题：当 k不断增大时， 的变化趋势如何？,P(1)=(0.74 0.26),47,三、平稳分布与稳态分布,48,三、平稳分布与稳态分布,1. 平稳分布,49,三、平稳分布与稳态分布,1. 平稳分布,如 为一状态概率向量，P为状态转移概率矩阵。若,则称 X 为马尔可夫链的一个平稳分布。,50,1. 平稳分布,如 为一状态概率向量，P为状态转移概率矩阵。若,则称 X 为马尔可夫链的一个平稳分布。,若随机过程某时刻的状态概率向量为平稳分布，则称过程处于平衡状态。,一旦过程处于平衡状态，则过程经过一步

9、或多步状态转移之后，其状态概率分布保持不变，即，过程一旦处于平衡状态后将永远处于平衡状态。,三、平稳分布与稳态分布,51,2. 稳态分布,问题：对于系统的状态P(m)，当 m 趋于无穷时，是否存在极限？,52,2. 稳态分布,问题：对于系统的状态P(m)，当 m 趋于无穷时，是否存在极限？,若存在，设其极限为 ，,53,2. 稳态分布,问题：对于系统的状态P(m)，当 m 趋于无穷时，是否存在极限？,若存在，设其极限为 ，,54,2. 稳态分布,问题：对于系统的状态P(m)，当 m 趋于无穷时，是否存在极限？,若存在，设其极限为 ，,55,则称 为稳态分布。,定义 对于概率向量 ，如对任意的

10、，均有,56,则称 为稳态分布。,定义 对于概率向量 ，如对任意的 ，均有,此时，不管初始状态概率向量如何，均有,这也是称 为稳态分布的理由。,57,设存在稳态分布 ，则由于下式恒成立,58,设存在稳态分布 ，则由于下式恒成立,令 ，得,59,设存在稳态分布 ，则由于下式恒成立,令 ，得,即，有限状态马尔可夫链的稳态分布如存在，那么它也是平稳分布。,问题 系统是否存在稳态分布？什么条件？,60,1.对非周期的马尔可夫链，稳态分布必存在。,两个结论：,2.对不可约非周期的马尔可夫链，稳态分布和平稳分布相同且均唯一。,61,6.2 马尔可夫预测方法及应用,一、市场占有率预测,62,一、市场占有率预

11、测,例4 公司A、B、C产品销售额的市场占有率分别为50%，30%，20%。由于C公司实行了改善销售与服务方针的经营管理决策，使其产品销售额逐期稳定上升，而A公司却下降。通过市场调查发现三个公司间的顾客流动情况如表所示。其中产品销售周期是季度。问题：按照目前的趋势发展下去，A公司的产品销售额或客户转移的影响将严重到何种程度？更全面的，三个公司的产品销售额的占有率将如何变化？,6.2 马尔可夫预测方法及应用,63,64,65,66,未来各期的市场占有率：,67,未来各期的市场占有率：,68,未来各期的市场占有率：,69,未来各期的市场占有率：,C保销政策。C的市场份额不断增大。是否可以持续下去？

12、,70,稳态市场占有率,71,稳态市场占有率,72,稳态市场占有率,解得,73,74,上述结果对A厂不利。A厂制定两套方案：,75,上述结果对A厂不利。A厂制定两套方案：,甲方案 保留策略，拉住老顾客。,76,上述结果对A厂不利。A厂制定两套方案：,甲方案 保留策略，拉住老顾客。,77,新的平衡状态下、三公司的市场占有率分别为31.6，26.3，42.1，公司的市场占有率从17.65提高到31.6。,78,新的平衡状态下、三公司的市场占有率分别为31.6，26.3，42.1，公司的市场占有率从17.65提高到31.6。,乙方案 争取策略，挖客户。,79,新的平衡状态下、三公司的市场占有率分别为

13、31.6，26.3，42.1，公司的市场占有率从17.65提高到31.6。,乙方案 争取策略，挖客户。,在新的平衡状态下，、三家公司的市场占有率分别为33.3，22.2，44.5。,80,二、期望利润预测,81,二、期望利润预测,设 是状态空间为 的齐次马氏链，其转移矩阵为 。设r(i)表示某周期系统处于状态i时获得的报酬。称如此的马尔可夫链是具有报酬的。r(i)0时称为盈利，报酬，收益等；r(i)0时称为亏损等。,82,1有限时段期望总报酬,83,记 表示初始状态为 i 的条件下，到第k步状态转移前所获得的期望总报酬(k1，iS)：,1有限时段期望总报酬,84,记 表示初始状态为 i 的条件

14、下，到第k步状态转移前所获得的期望总报酬(k1，iS)：,1有限时段期望总报酬,85,记,86,记,有,87,记,有,88,例5 某商品每月市场状况有畅销和滞销两种。如果产品畅销则获利50万元；滞销将亏损30万元。已知状态转移概率矩阵如下：,试问：如当前月份该产品畅销，则第四月前所获得的期望总利润为多少？,89,解：由题意知,90,解：由题意知,91,结果为：如当前月份该产品畅销，第四月前所获得的期望总利润为67.5万。,解：由题意知,92,2无限时段单位时间平均报酬,93,对iS，定义初始状态为i的无限时段单位时间平均报酬为：,2无限时段单位时间平均报酬,94,对iS，定义初始状态为i的无限

15、时段单位时间平均报酬为：,记,2无限时段单位时间平均报酬,95,对iS，定义初始状态为i的无限时段单位时间平均报酬为：,记,则,2无限时段单位时间平均报酬,96,可以证明：,97,可以证明：,即，无限时段单位时间平均报酬与初始状态无关，均为,98,3无限时段期望折扣总报酬,99,考虑资金的时间价值,3无限时段期望折扣总报酬,100,如将钱存于银行，年息为 ，则 与 有如下关系：,考虑资金的时间价值,3无限时段期望折扣总报酬,，称 为折扣因子。,101,对有报酬的马氏链，定义从状态i 出发的无限时段期望折扣总报酬为,102,对有报酬的马氏链，定义从状态i 出发的无限时段期望折扣总报酬为,于是，,

16、103,对有报酬的马氏链，定义从状态i 出发的无限时段期望折扣总报酬为,于是，,记,则,104,称 为具有报酬的马氏链的三种目标函数。利用其中的任一个目标函数，可以讨论不同策略的优劣。,例6 最佳维修策略的选择。研究一化工企业对循环泵进行季度维修的过程。每次检查中，把泵按其外壳及叶轮的腐蚀程度定为五种状态中的一种。这五种状态是： 状态1：优秀状态，无任何故障或缺陷； 状态2：良好状态，稍有腐蚀； 状态3：及格状态，轻度腐蚀； 状态4：可用状态，大面积腐蚀； 状态5：不可运行状态，腐蚀严重。,105,该公司可采用的维修策略有以下几种： 单状态策略：泵处于状态5时才进行修理，每次修理费用为500元。 两状态策略：泵处于状态4和5时进行修理，处于状态4时的修理费用每次为250元, 处于状态5时的每次修理费用为500元。 三状态策略：泵处于状态3,4,5时进行修理，处于状态3时的每次修理费用为200元,处于状态4和5时的修理费用同前。 目前，该公司采用的维修策略为“单状态”策略。 假定不管处于何种状态，只要进行修理，泵的状态都将恢复为状态1。已知在不进行任何修理时的状态转移概率，如下表所示。,106,问题：确定哪个策略的费用最低。目标为长期运