第6章 马尔可夫预

66 马尔可夫预马尔可夫预测方法不需要大量历史资料，而只需对近期状况作详细分析。它可用于产品的市场占有率预测、期望报酬预测、人力资源预测等等，还可用来分析系统的长期平衡条件，为决策提供有意义的参考。马尔可夫（）是俄国数学家。二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。具有这种特性的随机过程称为马尔可夫过程。设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济和社会行为都可用这一类过程来描述或近似，故其应用范围非常广泛。为了表征一个系统在变化过程中的特性（状态），可以用一组随时间进程而变化的变量来描述。如果系统在任何时刻上的状态是随机的，则变化过程就是一个随机过程。设有参数集T(tTXt与之对应，则称{Xt,tT为一随机过程。T为离散集（Tt0,t1,t2,...,tn,...}），Xt的取值也是离散的，则称{Xt,tT为离散型随机过程。

N}，称nt0,t1,t2,...改变它的状态。为简便计，以下将nXn一般地说，描述系统状态的随机变量序列不一定满足相互独立的条件，也就是说，系统将来的状态与过去时刻以及现在时刻的状态是有关系的。在实际情况中，也有具有这样性质的随机系统：系统在每一时刻（或每一步）上的状态，仅仅取决于前一时刻（或前一步）的状态。这个性质称为无后效性，即所谓马尔可夫假设。具备这个性质的离散型随机过程，称为马尔可夫链。用数学语言来描述就是：马尔可夫链如果对任一n1，任意的i1i2,in1,jSPXnjX1i1,X2i2

,Xn1in1PXnjXn1

则称离散型随机过程{Xt,tT为马尔可夫链N张荷叶，编号为12N。假设有一只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动可看作一随机过程。在时刻tn，青蛙它现在所处的状态ii

,N马尔可夫链是一种描述动态随机现象的数学模型，它建立在系统“状态”和“状态转移”的概念之上。所谓系统，就是我们所研究的事物对象；所谓状态，是表示系统的一组记号。当确定了这组记号的值时，也就确定了系统的行为，并说系统处于某一状态。系统状态常表示为向量，故称之为状态向量。例如，已知、B、C三种牌号洗衣粉的市场占有率分别是0.3、0.4、0.3，则可用向量P0.,0.,0.3来描述该月市场洗衣粉销售的状况。当系统由一种状态变为另一种状态时，我们称之为状态转移。例如，洗衣粉销售市场状态的转移就是各种牌号洗衣粉市场占有率的变化。显然，这类系统由一种状态转移到另一种状态完全是随机的，因此必须用概率描述状态转移的各种可能性的大小。tnXnitn1系统状态为Xn1jpijn与n无关，则称此马尔可夫链是齐次马尔可夫链，并记pijPXn1jXni,i,j1,2,L,pijpij0,i,j1,Npij1,i1,

,N,N转移矩 设系统的状态转移过程是一齐次马尔可夫链，状态空S Np

p1NP

p

p2N

N NN概率向量对于任意的行向量（或列向量），1，则称该向量为概率矩阵由概率向量作为行向量所构成的方阵称为PmPm

A

122方阵，故矩A为概率矩阵。A、BAB也是概率矩阵；如果AAAm(m0)也是概率矩阵。 对 k Pkpk

j,

Npkk步状态转移概率，Pkk步状态转移概率矩阵，它们均与n无关（从下面的式(6.1.4)也可看出）k1pij1pij1k步1步状态转移概率求出。 k1有（P k N

j

PXnk1lXniPxnkjXnk1lN p(k1)p,i,j1,2,..., l其中用到马尔可夫链的“无记忆性”和齐次性。用矩阵表示，即为P(k)P(k1PPkPk

k

记t0pi0PX0Xt0iP0p10,p20,...,pN为初始状态概率向量k1pikPXkipik

k,i1,

,N,k

PkP0P(k)P0

6.1考察一台机床的运行状态。机床的运行存在正常和故障两种状态。由于出现故障带有随机性，故可将机床的运行看作一个状态随时间变化的随机系统。可以认为，机床以后的状态只与以前的状态有关，而与过去的状态无关，即具有无后效性。因此，机床的运行可看作马尔可夫链。运行过程中出现故障，这时从状态1转移到状态2；处于故障状态的机床经维21。现以一个月为时间单位。经观察统计，知从某月份到下月份机床出现故障的0.220.210.8。在这一0.910.9；不能修好的概20.16.1。 6.1机床的状态转移P

p12 p 22 P(0)0.850.15，现要预测机床两个月后的状 P(2)P2

0.81矩阵的第一行表明，本月处于正常状态的机床，两个月后仍处于正常状态的0.820.18。第二行说明，本月处于故障状态的机床，两0.810.19。0.81P(2)P(0)P(2)(0.850.15)0.81 (0.8185统在任意时刻可能所处的状态。现在需要研究当k不断增大时，P(k)的变化趋Xx1x2XP的固定概率向量

xNXPXPXx1x2LxNP即ixi

XPxj

j ,

X为马尔可夫链的一个平稳分布Pk为平稳分布，则称过程处于平衡状态。一旦过程处于平衡状态，则过程经过一步或多步状态转移之后，其状态概率分布保持不变，也就是说，过程一旦处于平衡状态后将永远处于平衡状态。对于我们所讨论的状态有限（N个状态）的马尔可夫链，平稳分布必定存在[1]。特别地，当状态转移矩阵为正规概率矩阵时，平稳分布唯一。此时，求解方程(6.1.8)，即可得到系统的平稳分布。

pijm

limpjmlimpi0pij(m)pi0πj或

m

k

π

i，如果{k:piik01i是非周期状态。如果稳态分布和平稳分布相同且均唯一[1]6.2解：（1）P不可约

P

P2P2

0.3750.375pij0，仅当i2j2p2220，由定义可知，P（2）P2，3P是非周期的。（3）PXPx iX0.4,0.2,0.4马尔可夫预测乃是利用某一系统的现在状况及其发展动向去预测系统未来状况的一种预测方法。它在技术与经济发展以及现代企业的经营管理中，均可为决策者制定决策提供较科学的未来信息。马尔可夫预测范围广泛，如在预测企业的发展规模和产品销售份额，分析顾客（消费者）流向，选择销售及服务地点，选择销售维修策略，制定设备更新方案，以及决定最优工作分配等方面均有显著成效。应用马尔可夫分析，对环境保护、生态平衡等复杂大系统未来状况进行预测，对各种环境污染治理策略的选择等，均可取得良好的效果。6.3伍迪公司、布卢杰.里维公司、雷恩公司(A、B、C代表)是A、B、C产品销50%，30%，20%C公司实行了改善销售与服务A公司却下降。通过市场调查发现三个公司间的顾客流动情况如表6.1所示。其中产品销售周期是季度。现在的问题是按照目前的趋势发展下去，A公司的产品销售额或客户转移的影响将严重到何种程度？更全面的，三个公司的产品销售额的占有率将如何变6.1A、B、CA1的供应公司 ABC—6.1中的数据化为转移概率将对研究分析未来若干周期的顾客流向更为6.26.2中的数据是每家厂商在一个周期中的顾客数与前一周期的顾客数相除所得。表中每一行表示某公司从一个周期到下一个周期将能保住的顾客数的百分比，以及将要丧失给竞争对手的顾客数的百分比。表中每一列表示各公司在下一周期将能保住的顾客数的百分比，以及该公司将要从竞争对手那里获得顾客数的百分比。6.2顾客流动的转移概率ABCABC6.2ABCABCB

P中数据表示一个随机挑选的顾客，从一个周期到下一个周期仍购买某一公A公司的顾客，他在下一周期仍购买A0.7B0.1C公司产品的概率0.2。转移矩阵由（6.2.1）式给出。于是可用式（6.1.6）来计算未来各期的市场占有P1P0 0.5,0.3,0.2 0.050.05由式（6.1.6）P中可以看出，AC公司的市场占有率则将逐期上升（用式(6.1.6)计算出Pk即可验证）理的角度来看，自然希望了解公司的市场占有率最终将达到什么样的水平，亦即需要知道稳态市场占有率。由于式(6.2.1)P是不可约非周期的，所以稳态市场占有率即为平衡状态 0.050.05x1x2x3x1

x2

x3亦即，A、B、C三家公司的市场占有率最终将分别达到17.65%23.53%，对本例来说，当销售份额达到平衡时，所有公司都各占总销售额中的一部分保持不变。但在某些情况下，参与竞争的公司或厂商中能有一个或多个被完全逐出市场。例如对于转移矩阵 C P B 0.050.05 ABC双方得到顾客，而从不失去顾客，容易推知照此趋势发展下去厂A100%的市场。这一点从式(6.1.8)的求解中亦可看出。从本例的上述分析可以看出，A公司的市场占有率将从50%降至最终的17.65%,当然这是假定以状态转移概率保持不变作为分析的前提的。如果公司的经营决策者看到了这种不利趋势，并制订某种策略(如销售策略)来扭转这种不利趋势，使公司在市场上保持较有利的地位。以后我们就两种不同的销售策略，讨论如何利用马尔可夫分析帮助公司管理人员评价销售策略对销售份额的影响。可类似分析其它的经营策略。保留策略，指尽力保留公司原有顾客较大百分比的各种经营方针与对策。如采用提供优质服务或对连续两期购货的顾客实行折价优待等方法。设Ａ公司采70850.85 0.05新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为31.6％，26.3％，42.117.6531.6％。争取策略。指从竞争者拥有的顾客中争取顾客的各种经营方针与对策。如通过广告等方法。设Ａ公司通过争取策略，能从上一周期内向另外两家公司购货15％，则转移矩阵成为 0.75 0.05在新的平衡状态下，Ａ、Ｂ、Ｃ三家公司的市场占有率分别为％，44.5一个与经济有关的马氏型随机系统中，系统获得的报酬(或称收益)也会随状nXn表示：Xn

第n周期正常第n进一步假定，机器正常时，每一个周期可带来v元的收益，并且在下一周期失效周期，下一个周期初修好开始工作，于是{Xn是一个齐次马氏链，其状态空间为P1 p 0 但这是一个带报酬(或称收益、费用)一般地,设{XnS12N的齐次马氏链，其转移矩阵为Ppij)NNr(i)i时获得的报酬。我们称如此的马尔可夫链是具有报酬的。显然，r(i)＞0时称为盈利，报酬，收益等；r(i)＜0时称为亏损，费用等。对于这样一个带报酬的马尔可夫链，n记vk(iik步状态转移前所获得的期望总报kvk(i)第nk=E{r(Xn)X0k=j

p(n)r(若记列向量Vv(1v(2v(N))Trr(1

r(N))T,则上式可 kkVPnr(1PP2k

Nvk1(i)r(i)pijvk(j),k0,i1,2,L,

v0(i)0,i1,2,L,于是可用上式递推求得vk(ii∈Sikv(i)limv(i)/kkNplimP(t)/ki,j1,2,L, kt Pp，则由(6.2.2)Nv(i)pr(

viP*P*并不是件容易的事P非周期即可保证π存在。当π存在时，它也是平稳分布，于是我们有 结论设所考虑的马氏链存在稳态分布π，则{Pt,t0,1,L 与其极限相同,Xx1x2xN

pπ,j1,

N,进而若(6.1.10)有唯一解 pπ j1,2,L

实际上，如果π存在，当(6.1.10)X时，由于稳态分布必为平稳分布特别，对于不可约非周期的马氏链，(6.2.5)恒成立。于是可先求解(6.1.10)X，然而由(6.2.5)求得vi在现实生活中，今年的一元钱将大于明年的一元钱，其实将钱存于银行即可。也就是说明年的一元钱折算到现在计算，就不值一元钱了，如为β∈(0,1)，这个β就称为折扣因子。实际上，在工程问题中，在企业管理中当考虑贷款、折旧等时都必须考虑到钱的增值问题。t

(t

若记向量

1,

t 2vN Vβ

t

与有限时段中的(6.2.3)类似，由(6.2.7)jjt

p(t)rj

jjt

p(t)rj

显然，线性方程组(6.2.9)的解即为(6.2.8)例6.4最佳维修策略的选择。我们研究一化工企业对循环泵进行季度维修的过程。该化工企业对泵进行定期检查，每次检查中，把泵按其外壳及叶轮的腐蚀程度定为五种状态中的一种。这五种状态是：1：优秀状态，无任何故障或缺陷；2：良好状态，稍有腐蚀；3：及格状态，轻度腐蚀；4：可用状态，大面积腐蚀；55500454时的修理费用每次250元,5500元。3,4,53时的每次修理费用为200元,45时的修理费用同前。16.3中所示。6.3不修理时的状态转移概率nn+11234512345 0.3 0.3 0.3