马尔可夫预测

1、第七章马尔可夫分析法本章介绍马尔可夫决策中的几个重本章介绍马尔可夫决策中的几个重要概念，以及如何就市场占有率、要概念，以及如何就市场占有率、期望利润等问题使用状态转移矩阵期望利润等问题使用状态转移矩阵进行预测决策的步骤与方法。进行预测决策的步骤与方法。第一节 马尔可夫决策过程一、马尔可夫决策一、马尔可夫决策 1 1、概念：某事件的第、概念：某事件的第n n次试验经果决定于第次试验经果决定于第n-1n-1次试验的结果，次试验的结果，且在向第且在向第n n次结果的转移过程中存在一转移概率，同时通过这一次结果的转移过程中存在一转移概率，同时通过这一转移概率，第转移概率，第n n次试验结果可依据第次试

2、验结果可依据第n-1n-1次结果推算出。一连串的次结果推算出。一连串的这种转移过程的整体，称为马尔可夫链过程。这种转移过程的整体，称为马尔可夫链过程。应用马尔可夫链以及概率矩阵的原理对随机事件未来变化趋势所进应用马尔可夫链以及概率矩阵的原理对随机事件未来变化趋势所进行的预测决策，称为马尔可夫决策。行的预测决策，称为马尔可夫决策。随机变量和时间参数随机变量和时间参数 连续型随机过程：随机变量和时间都是连续的；连续型随机过程：随机变量和时间都是连续的； 离散型随机过程：随机变量是离散的，时间是连离散型随机过程：随机变量是离散的，时间是连续的；续的； 连续随机序列：随机变量是连续的，时间是离散连续随

3、机序列：随机变量是连续的，时间是离散的；的； 离散随机序列：随机变量和时间都是离散的；离散随机序列：随机变量和时间都是离散的； 2 2、马尔可夫链可以是连续的或离散的。马尔可夫过程的阶数是、马尔可夫链可以是连续的或离散的。马尔可夫过程的阶数是指系统转移至另一状态时，与系统前面的状态的关系。若只与前指系统转移至另一状态时，与系统前面的状态的关系。若只与前一状态有关，称一阶；若和前两状态有关，称为二阶。一状态有关，称一阶；若和前两状态有关，称为二阶。 3 3、马尔可夫方法的研究对象是一个动态系统的、马尔可夫方法的研究对象是一个动态系统的“状态状态”和和“状状态转移态转移”。系统是指我们研究的事物。

4、状态是指系统的在某一时。系统是指我们研究的事物。状态是指系统的在某一时刻的状况，是系统在某一时刻的变量，决定系统在某一时刻的行刻的状况，是系统在某一时刻的变量，决定系统在某一时刻的行为，即状态。常用概率向量表示，称为状态概率向量。系统的状为，即状态。常用概率向量表示，称为状态概率向量。系统的状态概率向量一般表示为：态概率向量一般表示为： K K表示时间；表示时间；N N表示系统互不相容的状态个表示系统互不相容的状态个数；数；), 2 , 1()(niSki 4 4、状态转移，是系统从一种状态转变为另、状态转移，是系统从一种状态转变为另一种状态。描述动态系统从一个状态的变一种状态。描述动态系统从

5、一个状态的变量值转变到另一个状态的变量值，就是系量值转变到另一个状态的变量值，就是系统的状态实现了转移。并且状态的转移完统的状态实现了转移。并且状态的转移完全是随机的。全是随机的。二、马尔可夫链是马尔可夫过程的一种特殊情况 马尔可夫过程是指时间转移，状态转移的随机过马尔可夫过程是指时间转移，状态转移的随机过程。马尔可夫链是马尔可夫过程的一种特殊情况，程。马尔可夫链是马尔可夫过程的一种特殊情况，即马尔可夫链的时间参数取离散数值，其状态是即马尔可夫链的时间参数取离散数值，其状态是有限的，只是可数个状态。把时间和状态作为离有限的，只是可数个状态。把时间和状态作为离散的马尔可夫过程就是马尔可夫链。散的

6、马尔可夫过程就是马尔可夫链。三、转移概率和转移概率矩阵：把经济动态系统的运动过程作为时间离散与状态离散的过程。njijoijnnijnipnjppP1., 2 , 1, 1)2( ;, 2 , 1,) 1 (,)(转移概率矩阵的性质转移概率矩阵的性质 结论： 1 1、一步转移概率与一步转移概率矩阵：一步转移概率与一步转移概率矩阵： 设系统的状态有设系统的状态有N N个，系统在时间个，系统在时间T T（M M）时处于）时处于状态状态I I，在下一个时间，在下一个时间T T（M+1M+1）时转变为状态）时转变为状态J J的的概率为概率为P P（IJIJ），我们称），我们称P P（IJIJ）为一步转

7、移概率）为一步转移概率矩阵。将这些矩阵。将这些P P（IJIJ）依序排列，就构成一个矩）依序排列，就构成一个矩阵称为一步转移概率矩阵，用阵称为一步转移概率矩阵，用P P表示。表示。 nnnnnnPPPPPPPPPP212222111211性质： 1）矩阵中每个元素P（IJ均为非负的，即 2）矩阵中每行元素相加其和为1，即 ), 2 , 1,( , 0njiPijnjijniP1), 2 , 1( , 1 2 2、K K步转移概率矩阵：系统的状态是随着时步转移概率矩阵：系统的状态是随着时间的推移不断发生转移。如果系统的状态不间的推移不断发生转移。如果系统的状态不只经过一次转移，而是经过多次转移，

8、就必只经过一次转移，而是经过多次转移，就必须有须有K K步转移概率和步转移概率和K K步转移概率矩阵。步转移概率矩阵。 )()(2)(1)(2)(21)(1)(12)(11)(knnknknknkknkkPPPPPPPPKP结论： 即系统从状态即系统从状态I I出发经过一步转移到状态出发经过一步转移到状态M M（M=1M=1，2 2，N N），然后再从状态），然后再从状态M M转移到转移到J J的概率的总和。一般的概率的总和。一般对于对于K K步转移概率矩阵有步转移概率矩阵有 可得到可得到K K步转移概率矩阵步转移概率矩阵nmmjimijPPP1)2(nmmjkimkijPPP1)1()( 由

9、上述可以说明，由上述可以说明，K K步转移概率是在以前转步转移概率是在以前转移的基础上再进行一次转移，所以移的基础上再进行一次转移，所以K K步转移步转移概率矩阵是一步转移概率矩阵概率矩阵是一步转移概率矩阵P P的的K K次方。次方。KKPPPKPPKPKP1)(*)1()(K K步转移概率矩阵的性质：步转移概率矩阵的性质： njkijkijniPnjiP1), 2 , 1( , 1)2), 2 , 1,( , 0)1四、马尔可夫链预测模型：四、马尔可夫链预测模型： 设系统有设系统有N N个互不相容的状态，系统的初始状态概个互不相容的状态，系统的初始状态概率向量率向量S(0)S(0)为为 为处

10、在状态为处在状态i i的初始概率，描述马尔可夫链分布情的初始概率，描述马尔可夫链分布情况仅仅取决于它的初始状态概率和转移概率。第况仅仅取决于它的初始状态概率和转移概率。第K+1K+1期的马尔可夫链预测模型为：期的马尔可夫链预测模型为：),2, 1(,)0()0()0(2)0(1)0(niSSSSSin式中 由概率性质得由概率性质得 马尔可夫链预测模型是利用目前的初始状态概率向马尔可夫链预测模型是利用目前的初始状态概率向量与转移概率矩阵，预测事物未来的状态。量与转移概率矩阵，预测事物未来的状态。 nnnnnnnknkkkkPPPPPPPPPSSSSSSPSS212222111211)0()0(2

11、)0(1122111)0()1()()(*11nikiS第二节第二节 马尔可夫链转移概率矩阵的估计马尔可夫链转移概率矩阵的估计 一、确定转移矩阵概率的方法：一、确定转移矩阵概率的方法： 1 1、主观概率法。通常是在缺乏历史统计资料或资料、主观概率法。通常是在缺乏历史统计资料或资料不全的情况下使用的。不全的情况下使用的。 2 2、统计估计法。根据所研究系统状态的历史统计数、统计估计法。根据所研究系统状态的历史统计数据来计算各种比例数或事件发生的频率，依此确定据来计算各种比例数或事件发生的频率，依此确定状态的转移概率。状态的转移概率。二、有关的基本概念： 1、行列式： 2、矩阵的乘法：1）若 则有

12、：A*B=C 2112221122211211aaaaaaaa4241323122211211323122211211434241333231232221131211,ccccccccCbbbbbbBaaaaaaaaaaaaA 2）A*BB*A，矩阵的乘法不满足于交换率。A*X称为用X右乘A，X*A称为用X左乘A。 3、矩阵乘法性质：（AB）C=A（BC） （A+B）C=AC+BC C（A+B）=CA+CB K（AB）=K（A）B=A（KB） 例题：解题：有矩阵方程： X为二阶矩阵 则有 则 ， 解得： 41212112x22211211xxxx4121211222211211xxxx4121

13、22222212211122122111xxxxxxxx2101, 1, 12111xxx则4、矩阵的转置 矩阵的转置：M*N矩阵A的行与列分别互换，得到M*N矩阵，称为A的转置矩阵 ， 2212211122211211,aaaaAaaaaAAATT或 5 5、概率向量：一行向量，如果其中各元、概率向量：一行向量，如果其中各元素非负，且总和为素非负，且总和为1 1，此行向量称为概率，此行向量称为概率向量向量 如 0424141u6、概率矩阵： 若方阵若方阵 若其各行均为概率向量，则此方若其各行均为概率向量，则此方阵称为概率矩阵。如：阵称为概率矩阵。如： 也称状态转移概率矩阵。性质：也称状态转移

14、概率矩阵。性质：1 1）A A、B B均为概率矩阵，则均为概率矩阵，则C=AC=A* *B B亦为概率矩阵。亦为概率矩阵。 2 2）A A为概率矩阵，为概率矩阵， 是概率是概率矩阵。矩阵。0313241412121210nAijpP 7、正规概率矩阵： 一概率矩阵一概率矩阵P P，若它的某次方，若它的某次方 的所有元素均为正数，则称其为正规概率矩的所有元素均为正数，则称其为正规概率矩阵。阵。 如如 这一性质，为充分利用一次调查结果做市场这一性质，为充分利用一次调查结果做市场现象结构问题的连续性研究提供了理论依据。现象结构问题的连续性研究提供了理论依据。mP43412121,2121102PP8

15、、固定向量概率： 任一概率向量 当U右乘一方阵P后，其结果仍为U，即UP=U，称U为P的固定概率向量（或特征向量）。如 nuuuu2132312121103231 设设P P为正规概率矩阵，则必有一固定点，即为正规概率矩阵，则必有一固定点，即当当K K趋于无穷时，趋于无穷时，K K步转移概率矩阵收敛于由步转移概率矩阵收敛于由U U构成的稳定矩阵。构成的稳定矩阵。 概率向量概率向量U U，且，且U U的所有元素皆为正数，的所有元素皆为正数，P P的的N N次方的矩阵次方的矩阵 将趋近于固定概率向量将趋近于固定概率向量U U组成的方阵组成的方阵U U，称之，称之为稳定概率矩阵。为稳定概率矩阵。nP

16、nP 例如： 求稳定概率矩阵U。设固定概率向量为 根据UP=U解方程求得，5 . 025. 025. 05 . 005 . 025. 025. 05 . 0P)1 ,(2121UUUUU)1 ,(5 . 025. 025. 05 . 005 . 025. 025. 05 . 0)1 ,(21212121uuuuuuuu结论： 解方程求得 解得 就市场占有率预测，当转移概率矩阵为正规矩阵时，最终市场占有率平衡于固定概率向量。UPuun4 . 02 . 04 . 04 . 02 . 04 . 04 . 02 . 04 . 0),4 . 0 , 2 . 0 , 4 . 0(则9、几种特殊矩阵： 1）

17、对角矩阵nnnnkakakaAkaaaA22112211*其性质有 乘法亦如此。nnnnbabababbbaaa221121212)数量矩阵aaaaaaaA332211,3）单位矩阵a=1时，记为111In4）三角矩阵A为n阶的上三角矩阵， 同B为n阶的下三角矩阵，nnnnijaaaaaaAjia22211211),(0即)( , 0jibij10、状态：将研究对象视为系统，系统研究变量所涉及的多个状态：将研究对象视为系统，系统研究变量所涉及的多个因素在不同阶段会有不同结果，称为研究变量的状态。（即概因素在不同阶段会有不同结果，称为研究变量的状态。（即概率）。率）。11、状态转移矩阵：转移频数

18、矩阵。 此时，转移步骤矩阵N的各行 分别除以行和，得到的 ， 即得到状态转移矩阵。 ),(cbaxxxx 333231232221131211xxxxxxxxxN1211, xxcbaxxx,1,2111211421ijnnnnnpppppppsssP且有第三节 马尔可夫链在经济预测中的应用 一、应用要求：一、应用要求： 1 1、目的：分析研究一个经济系统的一种状、目的：分析研究一个经济系统的一种状态转移到另一状态的概率或系统的未来状态转移到另一状态的概率或系统的未来状况时，应用马尔可夫链预测模型进行预测。况时，应用马尔可夫链预测模型进行预测。2、前提假设条件 1 1）转移概率矩阵必须逐期保持

19、不变，即转）转移概率矩阵必须逐期保持不变，即转移概率不随时间而变。移概率不随时间而变。 2 2）在所研究期间，系统状态的数目不变。）在所研究期间，系统状态的数目不变。 3 3）状态的转移仅受前一时间的影响，而与）状态的转移仅受前一时间的影响，而与前一时间以前的情况无关。前一时间以前的情况无关。二、预测模型： 110kkkkSS PS PStkk+1是预测对象在时刻的状态向量；P为一步转移概率矩阵S 是预测对象在t=k+1时的预测结果三、预测步骤： 1 1、确定系统的状态。各状态之间应互不相、确定系统的状态。各状态之间应互不相容，且所有的状态构成一完备事件组。容，且所有的状态构成一完备事件组。

20、2 2、确定转移概率矩阵。、确定转移概率矩阵。 3 3、预测计算并分析评价。、预测计算并分析评价。四、马尔可夫预测在预测中的应用： 市场销售状态预测：市场销售状态预测： 例2、某种商品在市场的销售状态有畅销与滞销两种。如果现在（K=0）处于畅销状态，即状态1，则畅销的概率为1，滞销的概率为0。状态概率向量为 假定根据历史资料有：当商品本月处于畅销，下个月仍处于畅销的概率是0.7，下个月转移到滞销的概率是0.3。当商品本月处于滞销时，下个月转移到畅销的概率是0.4，下个月仍处于滞销的概率的是0.6。即转移概率矩阵为 现在要求计算今后半年各个月的状态概率，对该商品的市场销售状态进行预测。0.70.

21、30.40.6P0001201SS S 假定该商品现在K=0的销售状态为畅销，则有初始状态概率向量为 今后半年各月的销售状态概率为 010S 10650.70.3(1/0)(0.7/0.3)0.40.60.70.3(0.57247/0.42753)0.40.6(0.571741/0.428259)SS PSS P 结果显示，随着结果显示，随着K K的增大，分别趋近于的增大，分别趋近于0 0、571571和和0 0、429429。 假设商品现在（假设商品现在（K=0K=0）DE DE 销售状态为滞销，则销售状态为滞销，则有初始状态概率向量为有初始状态概率向量为 同理可计算出今后半年各月的销售状态

22、概率为同理可计算出今后半年各月的销售状态概率为00012(01)SS S10650.70.3(10)(0.4/0.6)0.40.60.70.30.57004/0.429960.40.6(0.571012/0.42988)SS PSS P一直到 可看出，随着可看出，随着K K的增大，分别接近于的增大，分别接近于0 0、571571和和0 0、429429。即可预测六个月后该商品畅销的概率为。即可预测六个月后该商品畅销的概率为0 0、571571，滞销为，滞销为0 0、429429。 即无论初始状态如何，经过多期转移后的情况即无论初始状态如何，经过多期转移后的情况是一致的。是一致的。 结论：当结论

23、：当K K很大时，事物的状态概率将趋近与很大时，事物的状态概率将趋近与一个和初始状态无关的值，并稳定下来，以后一个和初始状态无关的值，并稳定下来，以后不在随着时间的变化而变化。当然，前提条件不在随着时间的变化而变化。当然，前提条件是一步转移概率矩阵不变。用一步转移概率矩是一步转移概率矩阵不变。用一步转移概率矩阵和状态概率向量来预测下一期或下几期的状阵和状态概率向量来预测下一期或下几期的状态可以，但如果需做较长时间的预测，就必须态可以，但如果需做较长时间的预测，就必须根据新的情况和资料来修订一步转移概率矩阵。根据新的情况和资料来修订一步转移概率矩阵。市场占有率预测：可以用来预测短期的市场状况，和

24、稳定条件下长期的市场状况。例例3 3：设地区有：设地区有A A、B B、C C三个农药公司生产同种用途的三个农药公司生产同种用途的产品。该地区市场总客户数假定为一万户，上一生产季产品。该地区市场总客户数假定为一万户，上一生产季节市场占有率分别是节市场占有率分别是A A公司公司50%50%，B B公司公司30%30%，C C公司公司20%20%。C C公司不甘居后，本生产季节改进服务，大力吸公司不甘居后，本生产季节改进服务，大力吸引顾客，关照老客户，结果市场情况如下矩阵，预测以引顾客，关照老客户，结果市场情况如下矩阵，预测以后生产季节的市场占有率以及均衡状态下市场占有率。后生产季节的市场占有率以

25、及均衡状态下市场占有率。1800100100300240030010005003500CBACBA 解：矩阵第一行表示原来购买A公产品的客户有3500户仍购买其产品，另有500户转向购买B公司产品，1000户转向购买C公司产品。以下各行依此类推。矩阵的第一列表明现在购买A公司产品的客户有3500户是老客户，有300户是从B公司转来的，有100户是从C公司转来的。 将第一行除以行和计数5000即得上一季节到本季节A公司的转移概率矩阵同理第二行除以3000，第三行除以2000即得B、C公司的转移概率，得转移概率矩阵如下： 状态转移概率矩阵也可表示一个随机挑选的顾客下一季节购买某一公司产品的可能性。

26、2130.70.10.20.5/0.3/0.20.10.80.10.050.050.90.39 0.30.310.70.10.20.39 0.30.310.10.80.10.050.050.90.319/0.294/0.387SS PS 3）市场份额的变化不会无止境的沿着这一趋势变化下去。因为正规概率矩阵存在均衡点。设均衡状态时A、B、C三公司市场占有率分别为 有 解得X=0.1765 Y=0.2353 Z=0.58820.70.10.05/0.10.80.1/0.050.050.90.70.10.050.10.80.050.20.10.91XYZXYZXYZXXYZYXYZZXYZ作业作业1

27、 1：两个月中三个商店（：两个月中三个商店（A A，B B，C C）客户变化如图：）客户变化如图：1 1求上月、求上月、本月市场占有率向量？该系统发展下去稳定的市场占有率如何？本月市场占有率向量？该系统发展下去稳定的市场占有率如何？A A店认为市场占有率为店认为市场占有率为32%32%与本店经营能力吻合，其提高本店市场占与本店经营能力吻合，其提高本店市场占有率，调整商品结构方案达到有率，调整商品结构方案达到32%32%，其得保证怎样的客户流向方案？，其得保证怎样的客户流向方案？居民居民数数净变净变化化去向去向230230A A245245B B325325C C上月上月本月本月A250230-

28、20A1803040B250245-5B2020030C30032525C3015255产品结构预测： 例例4 4：设某企业生产的产品分成：设某企业生产的产品分成A A、B B、C C三三个大类。根据调查得到企业个大类。根据调查得到企业19941994年年19971997年各类产品占全部产品比例如下，要求预年各类产品占全部产品比例如下，要求预测测19981998，19991999，20002000年的产品结构。年的产品结构。 A B C1994 0.328 0.657 0.0151995 0.349 0.548 0.1031996 0.360 0.466 0.1741997 0.364 0.4

29、04 0.232 设P为一步转移概率矩阵：333231232221131211PPPPPPPPPP根据马尔柯夫链的预测模型，按转移的时间顺序有444333231232221131211333333333231232221131211222222333231232221131211111cbaPPPPPPPPPcbacbaPPPPPPPPPcbacbaPPPPPPPPPcba 若令444333222333231232221131211333222111cbacbacbapppppppppcbacbacba444333222333222111,cbacbacbaBcbacbacbaAAP=B，现在

30、A、B矩阵元素已知，转移概率矩阵待求，因此有232. 0404. 0364. 0174. 0466. 0360. 0103. 0548. 0349. 0,174. 0466. 0360. 0103. 0548. 0349. 0015. 0657. 0328. 01BABApBAPA11,转移概率矩阵，根据公式，得产品结构6464. 01572. 01964. 0200019991999199819981997长期稳定概率矩阵为PPP人力资源预测：例5：某高校为编制师资发展规划，需要预测未来教师队伍构成比例，对教师状况进行分类，可以分为以下状态：助教、讲师、副教授、教授、流失及退休五个状态，目前

31、状况向量为： ，根据历史资料分析，可得各类职称转移概率矩阵如下：要求分析三年后的教师结构及三年后为保持编制不变应进多少研究生充实教师队伍。0601152401350S1000020. 080. 000024. 021. 055. 00015. 0025. 06 . 000004 . 06 . 0P流退教授副教授讲师助教一年后人员分布为由于保持550人总编制，流失走76人，因而第一年需进76位研究生。此时人员分布为第二年人员分布为0,72,123,198,1570,72,123,198,76811S7483117182941000020. 080. 000024. 021. 025. 00015

32、. 0025. 06 . 000004 . 06 . 007212319815712PSS76,72,123,198,8101PSS第二年流失74人，因而补充74位研究生72911111761011000020. 080. 000024. 021. 055. 00015. 0025. 06 . 000004 . 06 . 008311718216823 PSS第三年需补充72位研究生，因而在第四年，各类人员结构是0911101761733S流退教授副教授讲师助教期望利润预测决策：期望利润是由于商品在市场上不同销售状态下利润的概率平均值。期望利润为正，表示盈利，期望利润为负，表示亏损。如果掌握商

33、品销售状态，商品销售状态转移概率即由销售状态变化而带来的利润变化情况，就可以对未来某一时期的期望利润进行预测决策。商品销售状态为 ，状态转移概率矩阵为P状态转移利润矩阵为R，即 ), 2 , 1 (nEinnnnnrrrrrrrrrR2122221131211式中 0，表示盈利；0表示亏损；=0表示不亏不盈。根据状态转移概率矩阵和利润矩阵计算从I状态转移到j状态的期望利润公式为： 特别当N=2时，从I状态经一步转移到其他状态的期望利润为：状态的期望利润。经一步转移到状态表示从式中jivRPvinjijiji,1212111jijijiiiiiRPRPRPv例题6：某商店以周为单位，按某种标准把

34、商品的销售情况分为畅销和滞销两种状态。对过去20周的研究表明，销售状态转移概率矩阵如下：试求当前周的期望利润及三周后的期望利润各为多少？ 状态 1畅销 2滞销 概率 状态 1 畅销 0.6 0.4 2 滞销 0.25 0.75 1 畅销 4 2 2 滞销 2 -1由已知状态转移概率矩阵为为，故当前周期期望利润，状态转移利润矩阵为122475. 025. 04 . 06 . 0RP212222111125. 0) 1(*75. 02*25. 02 . 3)2*4 . 04*6 . 0(jjjjjjRPvRPv即如果本周处于畅销状态，下月期望盈利3.2万元；当本周处于亏损状态，下月期望利润-0.2

35、5万元。), 2 , 1( , ) 1()()(1nikvRpkvjkikvjijijnjii累计期望利润，则的步转移到状态经为状态设三周后的利润：第二周3625. 0)25. 0() 1(75. 0)2 . 32(25. 0) 1 () 1 ()12()2(02. 5)25. 02(4 . 0)2 . 34(6 . 0) 1 () 1 () 12()2(222221212122212121111111vRpvRpvRpvvRpvRpvRpvjjjjjj作业2：某产品每月市场状态有畅销和滞销两种。若1代表畅销，2代表滞销，如果产品从畅销到畅销将获利30万，由畅销转滞获利10万，由滞转畅获利15

36、万，由滞到滞则亏损10万，现有34个月的市场销售记录如下，试求三个月以后的期望利润。 月份： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 市场状态 1 1 1 2 2 1 1 1 1 1 2 2 1 2 1 1 1 1 2 1 2 1 23 24 25 26 27 28 29 30 31 32 33 34 2 1 2 1 1 1 1 2 2 2 1 2五、马尔可夫分析在决策中的应用 项目选址：作业3：首都出租汽车公司在北京国际机场、颐和园、以及北京饭店设三个出租汽车站。经抽样调查，顾客在这三个地方租车、还车的转移概率，该公司

37、欲选一处设立汽车保养厂，问设在何处最好？ 还车处 国际机场 颐和园 北京饭店 租车处 国际机场 0.8 0.2 0 颐和园 0.2 0 0.8 北京饭店 0.2 0.2 0.6在经营管理中的应用：1、最佳维修策略的确定。 例题8：某大型硅铁厂每月对电炉进行检查，根据电炉炉壁的状况，可分为五种状态：1、优，炉壁无任何损坏；2、良，炉壁稍有损坏；3、及格，炉壁有中度损坏。4、带病运行，炉壁大面积损坏；5、停炉，炉壁烂穿，不可运行。第一种维修策略：只有当电炉处于第五种状态才维修，此时维修费8000元；第二种维修策略：当电炉处于第四、第五种状态都进行维修，处于第四种状态的维修费4000元；第三种策略：

38、当电炉处于第三、第四、第五种状态都进行维修，处于第三种状态的维修费3000元。用马尔可夫分析确定最佳维修策略。 K+1期 1 2 3 4 5 K期 1 0 0.6 0.2 0.1 0.1 2 0 0.3 0.4 0.2 0.1 3 0 0 0.4 0.4 0.2 4 0 0 0 0.5 0.5 5 1 0 0 0 0 元时的维修费用为采用单一维修状态策略解得16808000*21. 021. 025. 018. 017. 019. 0)(1543215432154321111MSSSSSSSSSSSSSSSSPS在计算第二种维修策略时的费用： 采用策略2的维修费用：M（2）=0.17*4000

39、+0.9*8000=1400元09.017.024.023.027.000001000012.04.04.0001.02.04.03.001.01.02.06.002543212543212SSSSSSPSSSSSP解得，求：计算第三种策略的费用，比较哪种策略最好。2、最佳经营策略选择。 例题9：设某地区销售的劳保用鞋主要来自A、B、C三个厂家，该地区客户总数为5万，假定厂家从每个客户那里平均每年获利200元，A厂家通过市场调查得到的转移概率矩阵如下（1）： 按此转移概率矩阵转移下去，均衡状态下市场份额S=（0.28，0.34，0.38），显然结果对A厂不利。A厂管理部门制定了两套宣传及改进售

40、后服务的方案，甲方案旨在吸引老客户，实施该方案后，估计转移概率矩阵如下（2）：5 . 03 . 02 . 04 . 05 . 01 . 01 . 01 . 08 . 02,5 . 03 . 02 . 04 . 05 . 01 . 02 . 02 . 06 . 01甲）（）（PCBAP 。实施甲方案需花费100万。乙方案旨在吸引B、C两厂家的客户，实施乙方案后，估计转移概率矩阵如下（3）： 实施乙方案花费150万，试选最佳方案。5 . 01 . 04 . 02 . 05 . 03 . 02 . 02 . 06 . 0乙P令S（甲）=（X、Y、1-X-Y），则有S（甲）*P（甲）=S（甲）0.15

41、*5*200=150，则去掉成本，获利50万），（甲），解得）（30. 027. 043. 027. 043. 015 . 03 . 02 . 04 . 05 . 01 . 01 . 01 . 08 . 01SYXYXYXYXYX 同理求得乙为 0.19*5*200-150=40万 以利润作为衡量标准，显然甲方案比乙方案好。第四节 吸收态马尔可夫链及其应用 应用吸收态马尔可夫链时需将状态空间进行分类，然后引入标准形，研究过渡态向吸收态转移的时间及期望转移步数。 一、状态分类： 连通：若从S（I）状态可以转至S（J）状态并也可以从S（J）转至S（I）状态，则称S（I）和S（J）连通的。 如果状态

42、空间S中的任意两状态都是连通的，则称S为一个连通状态空间。马尔可夫链的状态分类： 1、封闭类。 若连通状态空间内的任何一状态都不可到达状态空间外任何一状态。 若封闭类仅又一个状态构成，则称为吸收态。 2、过渡类： 若一个连通空间内的状态可以到达连通空间之外的状态，但外面的状态不可转入其内。过渡类只可以转出，不可转入。例题10：设有一个四个状态的马尔可夫链，其转移概率矩阵P如下，试对其进行状态分析： 100041414141002121003231pp 1/3 2/3 1/4 1234马尔可夫链的标准形及过渡分析 1、 马氏过渡态分析通常采用标准形，转移状态概率矩阵排成如下形式称为标准形。 其中

43、，P（1）是封闭类矩阵，通常处于吸收态，则此时P（1）等于I，即单位矩阵。0是零矩阵，R是过渡态到吸收态转移概率矩阵，Q是过渡态之间的转移概率矩阵，若P（1）是r阶矩阵，则Q是（n-r）阶方阵，R则是（n-r）*r阶矩阵。例如：下列标准形转移概率矩阵。 这里 IRQPQRPP001标准形也可写成032031052053000520053000100000154321P12354这里0320520530520,310000530000000 ,10011QRIP2、 过渡态分析： 1 1）过渡态分析的目的是确定：）过渡态分析的目的是确定： A A、含有吸收态的马尔可夫链在最终达到吸收态前的、含有

44、吸收态的马尔可夫链在最终达到吸收态前的过渡状态中停留的平均时间。过渡状态中停留的平均时间。 B B、从某一过渡状态出发，在其被吸收前所经历的期、从某一过渡状态出发，在其被吸收前所经历的期望步数。望步数。 C C、转移过程从某一过渡状态出发，最终为某特殊吸、转移过程从某一过渡状态出发，最终为某特殊吸收态或为封闭类所吸收的概率。过渡状态分析常用收态或为封闭类所吸收的概率。过渡状态分析常用于商业贷款回收的研究，解决售后服务的期望费用，于商业贷款回收的研究，解决售后服务的期望费用，企业经营中贷款回收等方面问题。企业经营中贷款回收等方面问题。2 2）基本矩阵）基本矩阵过渡态分析是以马尔可夫链的标准形为基

45、础，并将（过渡态分析是以马尔可夫链的标准形为基础，并将（I-I-Q Q）矩阵的逆阵）矩阵的逆阵 称为基本矩阵，称为基本矩阵，Q Q即标准即标准形中的过渡类子矩阵。数学上可以证明形中的过渡类子矩阵。数学上可以证明M M矩阵是存在矩阵是存在的，并且的，并且 ，M M的每一行和表示从某一状态出发，最终转至吸收态之的每一行和表示从某一状态出发，最终转至吸收态之前的总期望转移步数。前的总期望转移步数。M M中的元素中的元素M M（ijij）表示过）表示过渡状态渡状态S S（i i）转到过渡态）转到过渡态S S（j j）的平均次数。）的平均次数。MQI1)(0211)1 (iiQQQQM3)3)吸收态转移概率矩阵吸收态转移概率矩阵过渡态分析中定义过渡态分析中定义 矩阵中的元素矩阵中的元素b b（ijij）表示从过渡态）表示从过渡态S S（i i）出发，）出发，访问过渡态访问过渡态S S（j j）后进入吸收态的概率。）后进入吸收态的概率。mnmmnnbbbbbbbb