公共经济预测与决策 第6章 马尔科夫预测法

1、2021-4-241 第第6 6章章 马尔科夫预测法马尔科夫预测法 2021-4-242 概概 述述 马尔科夫马尔科夫(A. A. Markov)(A. A. Markov)是俄国伟大的数是俄国伟大的数 学家。学家。 马尔科夫链是人类历史上第一个从理论马尔科夫链是人类历史上第一个从理论 上提出并加以研究的随机过程模型。上提出并加以研究的随机过程模型。 马尔科夫预测法是应用马尔科夫链的基马尔科夫预测法是应用马尔科夫链的基 本原理和基本方法研究分析时间序列的本原理和基本方法研究分析时间序列的 变化规律，并预测其未来变化趋势的一变化规律，并预测其未来变化趋势的一 种方法。这种方法在经济预测与经营决种

2、方法。这种方法在经济预测与经营决 策等方面有着广泛的应用。策等方面有着广泛的应用。 2021-4-243 6.1 6.1 马尔科夫链及转移概率马尔科夫链及转移概率 6.1.1 6.1.1 随机过程随机过程(Stochasitc Process)(Stochasitc Process) 在自然界和人类社会中，事物的变化过程在自然界和人类社会中，事物的变化过程 可分为两类：一类是可分为两类：一类是确定性变化过程确定性变化过程；另；另 一类是一类是不确定性变化过程不确定性变化过程。 确定性变化过程确定性变化过程是指事物的变化是由时间是指事物的变化是由时间 唯一确定的，或者说，对给定的时间，人唯一确定

3、的，或者说，对给定的时间，人 们事先能确切地知道事物变化的结果。因们事先能确切地知道事物变化的结果。因 此，变化过程可用时间的函数来描述。此，变化过程可用时间的函数来描述。 2021-4-244 不确定性变化过程不确定性变化过程是指对给定的时间，是指对给定的时间， 事物变化的结果不止一个，事先人们不事物变化的结果不止一个，事先人们不 能肯定哪个结果一定发生，即事物的变能肯定哪个结果一定发生，即事物的变 化具有随机性。这样的变化过程称为化具有随机性。这样的变化过程称为随随 机过程机过程。 随机过程是一连串随机事件动态关系的随机过程是一连串随机事件动态关系的 定量描述。定量描述。 2021-4-2

4、45 例例6.16.1 设设 是北京市未来一天是北京市未来一天 时刻的温度。时刻的温度。 显然，对任意指定的时间显然，对任意指定的时间 ，事先无，事先无 法确定法确定 的取值，即的取值，即 是一随机变量，是一随机变量， 因此因此 是一随机过程。是一随机过程。 例例6.26.2 设设 是某市电话局在未来时间是某市电话局在未来时间 内收内收 到的呼叫次数，到的呼叫次数， 。由于对任意给定。由于对任意给定 的时间的时间 ，事先无法确定，事先无法确定 的取值，即的取值，即 是一随机变量，因此是一随机变量，因此 是一随是一随 机过程。机过程。 )(tZ 24, 0t t )(tZ )(tZ 24, 0)

5、,(ttZ )(tZt , 0t t)(tZ)(tZ , 0),(ttZ 2021-4-246 例例6.36.3 设设 是未来第是未来第 个交易日收盘时的个交易日收盘时的 上证指数，上证指数， ，则，则 是是 随机过程。随机过程。 例例6.46.4 考查未来第考查未来第 个交易日上证指数的涨个交易日上证指数的涨 跌情况，记跌情况，记 则则 是一随机过程。是一随机过程。 )(tZt , 3, 2, 1TtTttZ),( t 下跌 平盘， 上涨 , 1 , 3, 2, 10 , 1 )(TttZ TttZ),( 2021-4-247 如果对每个给定的时间如果对每个给定的时间 ， 都是一随都是一随

6、机变量，就称机变量，就称 是一随机过程。是一随机过程。 根据随机变量与时间参数根据随机变量与时间参数 连续与离散之连续与离散之 分，随机过程可分，随机过程可分为以下四类分为以下四类： 连续型随机过程连续型随机过程 离散型随机过程离散型随机过程 连续随机序列连续随机序列 离散随机序列离散随机序列 T )(tZTt TttZ),( 2021-4-248 6.1.2 6.1.2 马尔科夫链马尔科夫链 离散随机序列也称时间序列。时间参数空间离散随机序列也称时间序列。时间参数空间 通常取通常取 ， 习惯上记为习惯上记为 。 所有可能的取值构成的集合称为序列的状态所有可能的取值构成的集合称为序列的状态 空

7、间，记为空间，记为 。不妨设。不妨设 是一个整数集合。是一个整数集合。 马尔科夫链是指具有无后效性的时间序列。马尔科夫链是指具有无后效性的时间序列。 所谓无后效性是指序列将来处于什么状态只所谓无后效性是指序列将来处于什么状态只 与它现在所处的状态有关，而与它过去处于与它现在所处的状态有关，而与它过去处于 什么状态无关。什么状态无关。 , 3, 2, 1, 0T )(tZ t Z t Z SS 2021-4-249 例例6.56.5 考察一个考察一个“成熟成熟”股票市场指数的涨股票市场指数的涨 跌情况。记跌情况。记 则则 是一马尔科夫链。是一马尔科夫链。 所谓所谓“成熟成熟”的股票市场的股票市场

8、是指这样的市场：是指这样的市场： 未来一天指数的涨跌只与未来一天将要公未来一天指数的涨跌只与未来一天将要公 布的信息有关，同时对当前指数的涨跌进布的信息有关，同时对当前指数的涨跌进 行必要的修正。以前股票市场的涨跌对未行必要的修正。以前股票市场的涨跌对未 来一天的涨跌不产生任何影响。来一天的涨跌不产生任何影响。 个交易日下跌第， 个交易日不跌第 t t Zt 1 , 1 , 2, 1, 0Tt TttZ),( 2021-4-2410 6.1.3 6.1.3 一步转移概率矩阵一步转移概率矩阵 在例在例6.56.5中，中， 的状态空间为的状态空间为 。在第。在第 个交易日指数不跌的条件下，第个交易

9、日指数不跌的条件下，第 个交易日个交易日 指数可能不跌，也可能下跌。同样，在第指数可能不跌，也可能下跌。同样，在第 个个 交易日指数下跌的条件下，第交易日指数下跌的条件下，第 个交易日指个交易日指 数可能不跌，也可能下跌。记数可能不跌，也可能下跌。记 其中，其中， 表示在第表示在第 个交易日指数下跌的条件个交易日指数下跌的条件 下，第下，第 个交易日指数继续下跌的概率。个交易日指数继续下跌的概率。 t Z1, 1St 1t t 1t 11;11 11;11 11 , 111, 1 11 , 111, 1 tttt tttt ZZPpZZPp ZZPpZZPp 1, 1 p t 1t 2021-

10、4-2411 这些条件概率称为这些条件概率称为马尔科夫链的一步转马尔科夫链的一步转 移概率移概率。一步转移概率通常与时间。一步转移概率通常与时间 有关。有关。 如果一步转移概率与如果一步转移概率与 无关，我们称无关，我们称马尔马尔 科夫链是平稳的科夫链是平稳的。以后提到的马尔科夫。以后提到的马尔科夫 链都是指平稳的马尔科夫链。链都是指平稳的马尔科夫链。 由一步转移概率构成的矩阵由一步转移概率构成的矩阵 称为称为马尔科夫链的一步转移概率矩阵马尔科夫链的一步转移概率矩阵。 t t 1 , 11, 1 1 , 11, 1 pp pp P 2021-4-2412 定义定义6.16.1 设马尔科夫链设马

11、尔科夫链 的状态空间的状态空间 为为 ，用，用 表示已知表示已知 时刻时刻 处于状处于状 态态 的条件下，的条件下， 时刻时刻 处于状态处于状态 的条件的条件 概率，概率，即即 ， 称称 为马尔科夫链的一步转移为马尔科夫链的一步转移 概率，并称概率，并称 构成的构成的 阶方阵阶方阵 为为一步状态转移概率矩阵一步状态转移概率矩阵。 nS, 2, 1 i ), 2, 1,(njipij TttZ),( ij p t t Z 1t 1t Z j ), 2, 1,( 1 njiiZjZPp ttij ), 2, 1,(njipijn nnnn n n nnij ppp ppp ppp pP 21 22

12、221 11211 )( 2021-4-2413 一步转移概率矩阵一步转移概率矩阵 描述了描述了 时时 刻系统内各状态到刻系统内各状态到 时刻系统内各状时刻系统内各状 态的变化规律性。态的变化规律性。 一步转移概率矩阵一步转移概率矩阵 的第的第 行元素实际上行元素实际上 是已知是已知 的条件下的条件下 的条件分布，的条件分布， 因此第因此第 行元素满足如下两个条件：行元素满足如下两个条件： nnij pP )(t 1t Pi iZt 1t Z i ;, 2, 1, 0njpij1 1 n j ij p 2021-4-2414 6.1.4 k6.1.4 k步转移概率矩阵步转移概率矩阵 例例6.5

13、6.5中，在第中，在第 个交易日指数不跌的条个交易日指数不跌的条 件下，第件下，第 个交易日指数可能不跌，个交易日指数可能不跌， 也可能下跌。类似地，记也可能下跌。类似地，记 其中，其中， 表示在第表示在第 个交易日指数下个交易日指数下 跌的条件下，第跌的条件下，第 个交易日指数继续个交易日指数继续 下跌的概率。下跌的概率。 2t )2( 1, 1 pt 11)2(;11)2( 11)2(;11)2( 21 , 121, 1 21 , 121, 1 tttt tttt ZZPpZZPp ZZPpZZPp t 2t 2021-4-2415 这些条件概率这些条件概率 称为称为马尔科夫链马尔科夫链

14、的两步转移概率的两步转移概率； 称由它们构成的矩阵称由它们构成的矩阵 为为马尔科夫链的两步转移概率矩阵马尔科夫链的两步转移概率矩阵。 )2(),2(),2(),2( 1 , 11, 11 , 11, 1 pppp TttZ),( )2()2( )2()2( )2( 1 , 11, 1 1 , 11, 1 pp pp P 2021-4-2416 一般地，设马尔科夫链一般地，设马尔科夫链 的状态空间的状态空间 为为 ，称，称 为为马尔科夫链的马尔科夫链的 步转移概率步转移概率。 由由 构成的矩阵构成的矩阵 为为马尔科夫链的马尔科夫链的 步转移概率矩阵步转移概率矩阵。 TttZ),( nS, 2,

15、1 iZjZPkp tktij )( k k ), 2, 1,(),(njikpij ), 2, 1,(nji )()()( )()()( )()()( )()( 21 22221 11211 kpkpkp kpkpkp kpkpkp kpkP nnnn n n nnij 2021-4-2417 的第的第 行元素描述的是在行元素描述的是在 时刻时刻 处于处于 状态状态 的条件下，的条件下， 时刻时刻 处于各状态的处于各状态的 概率。概率。 由全概率公式及矩阵的乘法可以得到一步由全概率公式及矩阵的乘法可以得到一步 转移概率矩阵转移概率矩阵 和和 步转移概率矩阵步转移概率矩阵 的的 关系：关系：

16、即即 步转移概率矩阵等于一步转移概率矩阵步转移概率矩阵等于一步转移概率矩阵 的的 次幂次幂。 , 3, 2, 1,)(kPkP k i t t Zi kt kt Z P k k )(kP k i )(kP 2021-4-2418 例例6.66.6 设马尔科夫链的一步转移概率矩阵设马尔科夫链的一步转移概率矩阵 为：为： 求三步转移概率矩阵求三步转移概率矩阵 ，并写出，并写出 时刻之时刻之 状态状态3到到 时刻各状态的转移概率。时刻各状态的转移概率。 3 1 3 1 3 1 001 100 P )3(Pt 3t 2021-4-2419 例例6.76.7 为了解顾客对为了解顾客对A,B,CA,B,C

17、三种不同品牌洗衣粉三种不同品牌洗衣粉 的购买倾向，市场调查小组进行了购买倾向调的购买倾向，市场调查小组进行了购买倾向调 查。在本月购买查。在本月购买A,B,CA,B,C品牌的顾客中分别调查品牌的顾客中分别调查 了了100100人、人、150150人和人和120120人，了解他们下月的购人，了解他们下月的购 买倾向，调查结果用矩阵表示如下：买倾向，调查结果用矩阵表示如下： 要求：写出状态转移概率矩阵；求购买要求：写出状态转移概率矩阵；求购买C C品牌品牌 的顾客在未来第二个月购买的顾客在未来第二个月购买A A品牌和品牌和B B品牌的品牌的 概率。概率。 303060 603060 303040

18、2021-4-2420 解解 (1) (1) 状态转移概率矩阵如下：状态转移概率矩阵如下： (2)(2)因为因为 因此，购买因此，购买C C品牌的顾客在未来第二个月购买品牌的顾客在未来第二个月购买A A品品 牌的概率为牌的概率为0.4250.425，购买，购买B B品牌的概率为品牌的概率为0.26250.2625。 3 . 01 . 06 . 0 1 . 03 . 06 . 0 3 . 03 . 04 . 0 P 3125. 02625. 0425. 0 3 . 026. 044. 0 315. 0255. 043. 0 25. 025. 05 . 0 4 . 02 . 04 . 0 3 .

19、03 . 04 . 0 25. 025. 05 . 0 4 . 02 . 04 . 0 3 . 03 . 04 . 0 )2( 2 PP 2021-4-2421 6.2 6.2 转移概率矩阵的固定点转移概率矩阵的固定点 6.2.1 6.2.1 初始分布与绝对分布初始分布与绝对分布 假设某企业的市场调查小组对市场上标号为假设某企业的市场调查小组对市场上标号为1 1， 2 2的两种同类型产品的市场占有率及其变化情的两种同类型产品的市场占有率及其变化情 况作了调查，得到本月两种产品的市场占有况作了调查，得到本月两种产品的市场占有 率分别为率分别为0.30.3，0.70.7，一步转移概率矩阵，一步转移

20、概率矩阵 为为 。 那么问题是：在未来第一个月两种产品的市那么问题是：在未来第一个月两种产品的市 场占有率是多少呢？在未来第场占有率是多少呢？在未来第 个月两种产品个月两种产品 的市场占有率又是多少呢？的市场占有率又是多少呢？ 5 . 0, 5 . 0 4 . 0, 6 . 0 P t 2021-4-2422 首先，将此问题模型化。记首先，将此问题模型化。记 显见，显见， 是一马尔科夫链，其状态空间是一马尔科夫链，其状态空间 为为 ，转移概率矩阵为，转移概率矩阵为 本月两种产品的市场占有率，即本月两种产品的市场占有率，即 的概率分布的概率分布 用行向量用行向量 ，称其为马尔，称其为马尔 科夫链

21、的初始分布。科夫链的初始分布。 2, 2 1, 1 个月购买产品顾客第 个月购买产品顾客第 t t Zt 2, 1 , 0Tt TttZ),( 2, 1S 5 . 0, 5 . 0 4 . 0, 6 . 0 P 0 Z )7 . 0, 3 . 0(),( 0 2 0 1 0 ppp 2021-4-2423 未来第未来第 个月两种产品的市场占有率，即个月两种产品的市场占有率，即 的概率分布用行向量的概率分布用行向量 表示，称表示，称 其为马尔科夫链在其为马尔科夫链在 时刻的绝对分布。时刻的绝对分布。 由全概率公式得：由全概率公式得： 同理可得同理可得 t 53. 05 . 07 . 06 . 0

22、3 . 0 212111 1 010010 1 1 1 ZZPZPZZPZP ZPp 47. 05 . 07 . 04 . 03 . 02 1 1 2 ZPp Ppppp 01 2 1 1 1 5 . 05 . 0 4 . 06 . 0 )7 . 0, 3 . 0()47. 0,53. 0(),( t ),( 21 ttt ppp t Z 2021-4-2424 由此可见，第一个月的市场占有率等于由此可见，第一个月的市场占有率等于 初始分布与一步转移概率矩阵初始分布与一步转移概率矩阵 的乘积。的乘积。 同理，未来第同理，未来第 个月两种产品的市场占有个月两种产品的市场占有 率率 等于初始分布等

23、于初始分布 与与 步转移概率矩阵步转移概率矩阵 的乘积，即的乘积，即 P t p 0 pt t PtP)( ttt PpPpp 00 t 2021-4-2425 一般地，设马尔科夫链一般地，设马尔科夫链 的状态的状态 空间为空间为 ，则，则 的概率分布的概率分布 称为马尔科夫链称为马尔科夫链 的的初始分布初始分布。 的概率分的概率分 布布 称为马尔科夫链称为马尔科夫链 在在 时刻的时刻的绝对分布绝对分布。 , 2, 1 , 0,TtZt nS, 2, 1 0 Z 12n 0 Z p 0 1 p 12n t Z p TtZt, t Z 0 2 p 0 n p t p1 t p2 t n p Tt

24、Zt,t 2021-4-2426 初始分布用行向量初始分布用行向量 表示，表示， 时刻的绝时刻的绝 对分布用行向量对分布用行向量 表示，并称由表示，并称由 概率分布构成的行向量为概率向量。概率分布构成的行向量为概率向量。 马尔科夫链马尔科夫链 在在 时刻的绝对分布时刻的绝对分布 与初始分与初始分 布布 及一步转移概率矩阵及一步转移概率矩阵 有如下关系。有如下关系。 即即t t时刻的绝对分布等于初始分布与一步转移时刻的绝对分布等于初始分布与一步转移 概率矩阵概率矩阵k k次幂的乘积。次幂的乘积。 00 2 0 1 0 , n pppp t n ttt pppp, 21 t TtZt, t p 0

25、 p P t t n t n ttt PptPppppppp 000 2 0 121 )(, 2021-4-2427 例例6.86.8 设马尔科夫链的一步转移概率矩阵为：设马尔科夫链的一步转移概率矩阵为： (1)(1)若初始分布为若初始分布为 ，求，求 时的绝对分布。时的绝对分布。 (2)(2)若初始分布为若初始分布为 ，求马尔科夫链在，求马尔科夫链在 任一时刻任一时刻 的绝对分布。的绝对分布。 3 . 01 . 06 . 0 1 . 03 . 06 . 0 3 . 03 . 04 . 0 P 6 . 0, 2 . 0, 2 . 01t 25. 0,25. 0, 5 . 0 t 2021-4-

26、2428 解解 (1)(1)由题设，初始分布由题设，初始分布 ，于是，于是 即即t=1t=1时刻，马尔科夫链的绝对分布为时刻，马尔科夫链的绝对分布为 6 . 0 , 2 . 0, 2 . 0 0 p 26. 018. 056. 0 1 p )26. 018. 056. 0( 3 . 01 . 06 . 0 1 . 03 . 06 . 0 3 . 03 . 04 . 0 )6 . 0, 2 . 0, 2 . 0( 01 Ppp 2021-4-2429 (2)(2)因为因为 ，所以，所以 因此，因此， 一般地，一般地， 即即该马尔科夫链该马尔科夫链 在任一时刻的绝对分布都等于初始分布在任一时刻的绝

27、对分布都等于初始分布。 25. 0 ,25. 0, 5 . 0 0 p 0 01 )25. 025. 05 . 0( 3 . 01 . 06 . 0 1 . 03 . 06 . 0 3 . 03 . 04 . 0 )25. 0,25. 0, 5 . 0( p Ppp 002002 )()2(pPPpPpPpp 000 )(pPptPpp tt 2021-4-2430 例例6.96.9 设马尔科夫链的转移概率矩阵为：设马尔科夫链的转移概率矩阵为： 初始分布为初始分布为 。求马尔科夫链在任。求马尔科夫链在任 一时刻的绝对分布。一时刻的绝对分布。 n n n uuu uuu uuu P 21 21

28、21 00 2 0 1 0 , n pppp 2021-4-2431 解：因为因为 ，所以，所以 而且，而且， 即即 所以有所以有 ),(),( 21 21 21 21 00 2 0 1 01 n n n n n uuu uuu uuu uuu pppPpp P uuu uuu uuu uuu uuu uuu P n n n n n n 21 21 21 21 21 21 2 ),()( 21 000 n tt uuuPpPptPpp 1 1 0 n i i p PP t 2021-4-2432 6.2.2 6.2.2 固定点与正规矩阵固定点与正规矩阵 定义定义6.26.2 设设 为马尔科夫链

29、的一步转移概率矩为马尔科夫链的一步转移概率矩 阵。如果存在概率向量阵。如果存在概率向量 ，使得，使得 ， 则称则称 为为 的固定概率向量，或称为的固定概率向量，或称为 的固定的固定 点（或均衡点）。点（或均衡点）。 如果马尔科夫链的转移概率矩阵如果马尔科夫链的转移概率矩阵 的所有行的所有行 向量都等于同一向量向量都等于同一向量 ，则称，则称 是由是由 构成的构成的 稳态矩阵。稳态矩阵。 n uuuu, 21 P uuP uP P P uPu 2021-4-2433 定义定义6.36.3 设设 为马尔科夫链的一步转移概率为马尔科夫链的一步转移概率 矩阵，如果存在自然数矩阵，如果存在自然数 ，使得

30、，使得 的所有元的所有元 素都是正数，则称素都是正数，则称 为为正规概率矩阵正规概率矩阵。 例例6.106.10 试判断下列哪些矩阵是正规概率矩试判断下列哪些矩阵是正规概率矩 阵，哪些不是。阵，哪些不是。 P k k p P 100 010 001 P 2 1 2 1 10 P 1 . 03 . 06 . 0 1 . 08 . 01 . 0 2 . 06 . 02 . 0 P 4 1 2 1 4 1 5 2 5 1 5 2 4 1 3 1 2 1 P 2021-4-2434 马尔科夫链的基本定理马尔科夫链的基本定理 定理定理6.16.1 设设 为正规概率矩阵，则为正规概率矩阵，则 (a) (a

31、) 有唯一的由正数构成的固定概率向量有唯一的由正数构成的固定概率向量 (b)(b)设方阵设方阵 的每一行向量都是的每一行向量都是 的固定概率的固定概率 向量向量 ，则由，则由 的各次幂组成的矩阵序列的各次幂组成的矩阵序列 以以 为极限，即为极限，即 (c)(c)设设 是任意概率向量，则向量序列是任意概率向量，则向量序列 以固定概率向量以固定概率向量 为极限，即为极限，即 P u V Pu P , 32k PPPP P VVP k k lim 0 p, 200 PpPp , 0k Ppu uPp k k 0 lim 2021-4-2435 例例6.116.11 设马尔科夫链的一步转移概率矩设马尔

32、科夫链的一步转移概率矩 阵为：阵为： 对充分大的对充分大的 ，求，求 步转移概率矩阵步转移概率矩阵 的的 近似矩阵。近似矩阵。 3 . 01 . 06 . 0 1 . 03 . 06 . 0 3 . 03 . 04 . 0 P kk)(kP 2021-4-2436 解 因为因为P P为正规概率矩阵，所以有固定点为正规概率矩阵，所以有固定点u u。 设设V V是由是由u u构成的构成的P P的稳态矩阵，由定理的稳态矩阵，由定理6.26.2 知：知： 因此，对于充分大的因此，对于充分大的k k，有，有 解线性方程组：解线性方程组： VPkP k kk lim)(lim VkP)( 1 0)( 21

33、n TT uuu uIP 2021-4-2437 即即 得固定点得固定点 因此，对充分大的因此，对充分大的k k，有，有 1 07 . 01 . 03 . 0 01 . 07 . 03 . 0 06 . 06 . 06 . 0 321 321 321 321 uuu uuu uuu uuu 25. 025. 05 . 0 25. 025. 05 . 0 25. 025. 05 . 0 )(VkP )25. 0,25. 0, 5 . 0(u 2021-4-2438 6.3 6.3 马尔科夫链在经济预测等方面的马尔科夫链在经济预测等方面的 应用应用 6.3.1 6.3.1 市场占有率预测市场占有率

34、预测 市场占有率是指某地区消费者使用某一品市场占有率是指某地区消费者使用某一品 牌的概率。牌的概率。 如果假设在某地区经营的某种产品有如果假设在某地区经营的某种产品有 个品个品 牌牌 ，并假定消费者消费这，并假定消费者消费这 种品牌的种品牌的 产品具有马尔科夫链的特征，那么用马尔产品具有马尔科夫链的特征，那么用马尔 科夫链的基本原理和基本方法可以对这科夫链的基本原理和基本方法可以对这 种种 品牌的市场占有率作出预测。品牌的市场占有率作出预测。 n AAA, 21 n n n 2021-4-2439 马尔科夫预测法的基本步骤马尔科夫预测法的基本步骤 第一步，进行市场调查。第一步，进行市场调查。

35、(1)(1)在全体消费此产品的消费者中，调查目在全体消费此产品的消费者中，调查目 前购买前购买 种品牌的消费者各占的比率，获得种品牌的消费者各占的比率，获得 初始分布初始分布 。在实际问题中，只需调。在实际问题中，只需调 查部分消费者，获得近似的初始分布即可。查部分消费者，获得近似的初始分布即可。 (2)(2)调查在调查在 种品牌之间消费者的流动情况，种品牌之间消费者的流动情况， 获得转移频数矩阵，进而获得转移概率矩获得转移频数矩阵，进而获得转移概率矩 阵阵 。 00 2 0 1 0 , n pppp n n P 2021-4-2440 比如，在被调查的目前正在使用第比如，在被调查的目前正在使

36、用第i i种品牌种品牌 的的n ni i个消费者中，在下一时刻将有个消费者中，在下一时刻将有n nij ij个消费个消费 者使用者使用j j品牌品牌 ，于是转移频数矩阵，于是转移频数矩阵 为为 。用。用n ni i去除矩阵去除矩阵NN的第的第i i行各元行各元 素素 ，就得到了转移概率矩阵，就得到了转移概率矩阵 ，其，其 中中 ninj, 2, 1;, 2, 1 nnij nN )( ni, 2, 1 nnij pP )( ), 2, 1;, 2, 1(ninj n n p i ij ij 2021-4-2441 第二步，预测未来第第二步，预测未来第k k时刻的市场占有率。时刻的市场占有率。

37、计算初始分布计算初始分布 与与k k步转移概率矩阵步转移概率矩阵 的的 乘积，就可得到未来第乘积，就可得到未来第k k时刻的绝对分布，时刻的绝对分布， 即第即第k k时刻的市场占有率：时刻的市场占有率： 0 p )(kP )(, 00 2 0 121 kPppppppp n k n kkk 2021-4-2442 第三步，预测均衡状态下的市场占有率。第三步，预测均衡状态下的市场占有率。 如果转移概率矩阵如果转移概率矩阵 是正规矩阵，那么是正规矩阵，那么 有唯一的固定点有唯一的固定点 ，于是，在市场，于是，在市场 最终达到均衡状态下，各种品牌的最终最终达到均衡状态下，各种品牌的最终 市场占有率将

38、分别为市场占有率将分别为 。 PP n uuuu, 21 n uuu, 21 2021-4-2443 例例6.126.12 在北京地区销售的鲜牛奶主要由在北京地区销售的鲜牛奶主要由3 3个厂家个厂家 提供。分别用提供。分别用1 1，2 2，3 3表示。去年表示。去年1212月份对月份对20002000 名消费者进行了调查。购买厂家名消费者进行了调查。购买厂家1 1，2 2，3 3产品的产品的 消费者分别为消费者分别为800800，600600和和600600。同时得到的转。同时得到的转 移频数矩阵为：移频数矩阵为： (1)(1)试对试对3 3个厂家个厂家1 17 7月份的市场占有率进行预测。月

39、份的市场占有率进行预测。 (2)(2)试求市场处于均衡状态时，各厂家的市场占有试求市场处于均衡状态时，各厂家的市场占有 率。率。 18060360 60180360 240240320 N 2021-4-2444 解 (1)(1)计算去年计算去年1212月份各厂家的市场占有率，月份各厂家的市场占有率， 即初始分布即初始分布 用用800800，600600和和600600分别去除矩阵分别去除矩阵NN的第一行、的第一行、 第二行和第三行的各元素，得状态转移概率第二行和第三行的各元素，得状态转移概率 矩阵：矩阵： 于是，第于是，第k k月的绝对分布为：月的绝对分布为： ) 3 . 0, 3 . 0,

40、 4 . 0( 0 p 3 . 01 . 06 . 0 1 . 03 . 06 . 0 3 . 03 . 04 . 0 P )7, 3, 2, 1()( 00 kPpkPpp kk 2021-4-2445 k=1k=1时，时， k=2k=2时，时， k=3k=3时，时， 类似地可以计算出类似地可以计算出 )252. 0252. 0496. 0( )24. 024. 052. 0()3 . 03 . 04 . 0( 22 PPp )24. 024. 052. 0( 3 . 01 . 06 . 0 1 . 03 . 06 . 0 3 . 03 . 04 . 0 )3 . 03 . 04 . 0(

41、1 p )2496. 02496. 05008. 0( )252. 0252. 0496. 0()3 . 03 . 04 . 0( 33 PPp 4 p 6 p 5 p 7 p 2021-4-2446 现将计算结果绘制成市场占有率变动表，现将计算结果绘制成市场占有率变动表， 如表如表6.26.2所示。所示。 2021-4-2447 从表从表6.26.2中可以看出，厂家中可以看出，厂家1 1的市场占有率随的市场占有率随 着时间的推移逐渐稳定在着时间的推移逐渐稳定在50%50%，而厂家，而厂家2 2和和 厂家厂家3 3的市场占有率都逐渐稳定在的市场占有率都逐渐稳定在25%25%。 (2)(2)由于

42、转移概率矩阵由于转移概率矩阵P P是正规矩阵，因此是正规矩阵，因此P P有有 唯一的均衡点唯一的均衡点u u。由例。由例6.116.11知，知，u=u=（0.5 0.25 0.5 0.25 0.250.25）。由定理）。由定理6.26.2知，知， 即随着时间的推移，即随着时间的推移，3 3个厂家的市场占有率个厂家的市场占有率 逐渐趋于稳定。当市场达到均衡状态时，各逐渐趋于稳定。当市场达到均衡状态时，各 厂家的市场占有率分别为厂家的市场占有率分别为50%50%，25%25%和和25%25% )25. 025. 05 . 0(lim 0 uPp k k 2021-4-2448 6.3.2 人力资源

43、预测 例例6.136.13 某高校为编制师资发展规划，需要某高校为编制师资发展规划，需要 预测未来教师队伍的结构。现在对教师状预测未来教师队伍的结构。现在对教师状 况进行如下分类：青年、中年、老年和流况进行如下分类：青年、中年、老年和流 退（流失或退休）。根据历史资料，各类退（流失或退休）。根据历史资料，各类 教师（按教师（按1 1年为年为1 1期）的转移概率矩阵为：期）的转移概率矩阵为： 1000 2 . 08 . 000 05. 02 . 075. 00 05. 0015. 08 . 0 P 2021-4-2449 目前青年教师目前青年教师400400人，中年教师人，中年教师360360人

44、，老人，老 年教师年教师300300人。试分析人。试分析3 3年后教师的结构以年后教师的结构以 及为保持编制不变，及为保持编制不变，3 3年内应进多少硕士和年内应进多少硕士和 博士毕业生充实教师队伍。博士毕业生充实教师队伍。 解解 设目前的教师结构为设目前的教师结构为 ，则，则1 1年后年后 教师结构为教师结构为： 流退人员流退人员9898人，为保持编制不变，第一年学人，为保持编制不变，第一年学 校需进校需进9898人。此时青年教师为人。此时青年教师为320+98=418320+98=418 人，教师结构为人，教师结构为 )0300360400( 0 n )98312330320( 01 Pn

45、n )0312330418( 1 * n 2021-4-2450 两年后教师结构为：两年后教师结构为： 第二年流退第二年流退100100人，因此第二年需进人，因此第二年需进100100名硕士和名硕士和 博士毕业生。此时青年教师为博士毕业生。此时青年教师为334+100=434334+100=434人，人， 教师结构为教师结构为 3 3年后教师结构为年后教师结构为： 第三年流退第三年流退100100人，因此第三年需进硕士和博士人，因此第三年需进硕士和博士 100100人。此时青年教师为人。此时青年教师为347+100=447347+100=447人，教师人，教师 结构为结构为 综上所述，综上所述

46、，3 3年内需进硕士和博士毕业生年内需进硕士和博士毕业生298298名。名。 3 3年后教师结构为：青年教师年后教师结构为：青年教师447447名，中年教师名，中年教师 298298名，老年教师名，老年教师315315名。名。 )100316310334( 1 * 2 Pnn )0316310434( 2 * n )100315298347( 2 * 3 Pnn )0315298447( 3 * n 2021-4-2451 6.3.3 期望利润预测 1) 1)利润矩阵利润矩阵 设市场状态空间为设市场状态空间为 ，转移概率矩阵，转移概率矩阵 为为 。当市场由状态。当市场由状态i i转移至状态转移

47、至状态j j时，时， 厂家的利润为厂家的利润为 ，则称由，则称由 构成构成 的的n n阶方阵阶方阵 为利润矩阵。为利润矩阵。 nS, 2, 1 nnij pP )( ), 2, 1,(nji ij ), 2, 1,(nji ij nnnn n n nnij 21 22221 11211 )( 2021-4-2452 2)2)期望利润预测公式期望利润预测公式 设设 为从状态为从状态i i开始，经过开始，经过k k步转移到各状态步转移到各状态 所获得的期望利润，所获得的期望利润， 。并记：。并记： 且规定且规定 。 由数学期望的定义知，当由数学期望的定义知，当 时时 )(kvi T n kvkvk

48、vk)(,),(),()( 21 , 2, 1 , 0k 0)0( 1k ininiiiii pppv 2211 ) 1 ( ni, 2, 1 2021-4-2453 当当 时，时， 等于由状态等于由状态i i开始，经一步转移开始，经一步转移 到各状态所获得的期望利润到各状态所获得的期望利润 ，再加上经，再加上经 一步转移后所到达的各个状态一步转移后所到达的各个状态j j再经再经k-1k-1步转步转 移到达各状态所获得的期望利润移到达各状态所获得的期望利润 的数学期望，即的数学期望，即 于是，于是， ) 1(,) 1 () 1() 1 ()( 21 1 kvpppvpkvvkv iniii n

49、 j ijjii 1k )(kvi ) 1 ( i v ) 1( kv j ) 1() 1 ( ) 1( ) 1( ) 1( ) 1 ( ) 1 ( ) 1 ( )( )( )( )( 2 1 21 22221 11211 2 1 2 1 kvP kv kv kv ppp ppp ppp v v v kv kv kv k nnnnn n n nn 2021-4-2454 例例6.146.14 设一生产厂家的产品每月市场状设一生产厂家的产品每月市场状 态有畅销和滞销两种，用态有畅销和滞销两种，用1 1表示畅销，用表示畅销，用 2 2表示滞销。假设从畅销到畅销可获利表示滞销。假设从畅销到畅销可获利

50、3030 万元；从畅销转为滞销可获利万元；从畅销转为滞销可获利1010万元；万元； 从滞销转向畅销可获利从滞销转向畅销可获利2020万元；从滞销万元；从滞销 到滞销将亏损到滞销将亏损1010万元。现有万元。现有3030个月的市个月的市 场销售记录。如表场销售记录。如表6.36.3所示。所示。 2021-4-2455 (1)(1)求销售市场状态转移概率矩阵。求销售市场状态转移概率矩阵。 (2)(2)分别预测下个月和未来分别预测下个月和未来3 3个月的期望个月的期望 利润。利润。 2021-4-2456 解 (1)(1)在在3030个状态中，有个状态中，有1515个滞销，个滞销，1515个畅个畅

51、销，最末一个是畅销，无后续状态，故以销，最末一个是畅销，无后续状态，故以 1414个计算。在个计算。在1414个畅销中，有个畅销中，有6 6个连续畅销。个连续畅销。 因此，因此， 在在1515个滞销中，有个滞销中，有7 7个连续滞销。因此，个连续滞销。因此， 于是，转移概率矩阵为：于是，转移概率矩阵为： 。57. 0,43. 014/6 1211 pp 。53. 0,47. 015/7 2122 pp 47. 053. 0 57. 043. 0 P 2021-4-2457 (2)(2) 由已知条件知，利润矩阵为：由已知条件知，利润矩阵为： 由于本月处于畅销状态，所以下月的期望由于本月处于畅销状

52、态，所以下月的期望 利润为：利润为： 由递推公式得：由递推公式得： 1020 1030 )(6 .181057. 03043. 0) 1 ( 121211111 万元ppv )(9 . 51047. 02053. 0) 1 ( 12122221212 万元ppv 53.18 96.29 9 . 5 6 .18 47. 053. 0 57. 043. 0 9 . 5 6 .18 ) 1 () 1 () 12() 1 ()2(vPvvPvv 2021-4-2458 由于本月为畅销，由计算结果可以看出，由于本月为畅销，由计算结果可以看出， 因此，下一个月的期望利润为因此，下一个月的期望利润为18.6

53、18.6万元，未万元，未 来来3 3个月的期望利润为个月的期望利润为42.0442.04万元。万元。 49.30 04.42 59.24 44.23 9 . 5 6 .18 53.18 96.29 47. 053. 0 57. 043. 0 9 . 5 6 .18 )2() 1 () 13() 1 ()3(vPvvPvv 。04.42)3(, 6 .18) 1 ( 11 vv 2021-4-2459 6.3.4 6.3.4 马尔科夫链在其他方面的应用举例马尔科夫链在其他方面的应用举例 1)1)项目选址问题项目选址问题 例例6.156.15 某汽车维修公司在北京市有甲、乙、某汽车维修公司在北京市

54、有甲、乙、 丙丙3 3个维修厂。对客户的调查显示，客户在甲、个维修厂。对客户的调查显示，客户在甲、 乙、丙乙、丙3 3个维修厂之间的转移概率矩阵为个维修厂之间的转移概率矩阵为 由于资金的原因，公司目前打算只对其中一由于资金的原因，公司目前打算只对其中一 个维修厂进行改造，并扩大规模。试分析应个维修厂进行改造，并扩大规模。试分析应 选择哪个维修厂。选择哪个维修厂。 6 . 02 . 02 . 0 8 . 002 . 0 02 . 08 . 0 P 2021-4-2460 解 由于由于 所有元素都大于所有元素都大于0 0，所以，所以 是正规矩阵。因此，是正规矩阵。因此， 存在唯一的固定概率向量存在唯一的固定概率向量 解线性方程组：解线性方程组： 52. 016. 032. 0 48. 020. 032. 0 16. 016. 068. 0 2 P P P ),( 321 uuuu 1 0)( 321 uuu uIP TT 2021-4-2461 得