马氏链模型及matlab程序

1、一、用法，用来干什么，什么时候用二、步骤，前因后果，算法的步骤，公式三、程序四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫预测法是应用概率论中马尔可夫链(Markov chain )的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术。什么时候用应用马尔可夫链的计算方法进行马尔可夫分析，主要目的是根据某些变量现在的情况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依据。马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n季度是畅销还是滞销，用一个随机变量Xn便可以了，但

2、要描述未来所有时期的情况，则需要一系列的随机变量 Xi，X2,，Xn，.称 Xt，t T，T是参数集为随机过程， X 的取值集合 称为状态空间若随机过程 Xi 的参数为非负整数，Xn为离散随机变量，且 Xn 具有无后效性(或称马尔可夫性)，则称这一随机过程为马尔可夫链(简称马氏链)所谓无后效性，直观地说，就是如果把 Xn 的参数n看作时间的话， 那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关.对具有N个状态的马氏链， 描述它的概率性质，最重要的是它在 n时刻处于状态i下一时刻转移到状态j的一步转移概率：P(X j |Xn i) Pij(n)i, j 1,2, N若假定上式与n无

3、关，即卩门(0) Pij(1)Pij(n)，则可记为卩门(此时，称过程是平稳的)，并记P11P12P1 NP21P22P2NP( 1 )Pn 1PN2PN N称为转移概率矩阵.转移概率矩阵具有下述性质：(1)Pi j 0, i, j 1, 2, N .即每个元素非负.N(2)Pij 1, i 1, 2, N .即矩阵每行的元素和等于如果我们考虑状态多次转移的情况，则有过程在 步转移概率：n时刻处于状态i， n+k时刻转移到状态j的kP（Xnk j |Xn i） p（k）（n） i,j 1,2, ,N同样由平稳性，上式概率与n无关，可写成 p（k）.记(k) P11(k) P12(k)P1Np(

4、k)(k) P21(k) P22(k)P2N(k)PN1(k)PN2(k)Pnn(2)称为k步转移概率矩阵.其中 pi（k）具有性质:p(k)0, i,j 1,2,N,N ；p(k)1, i 1,2,j 1一般地有，若p为一步转移矩阵，则k步转移矩阵(k)P11Jk)P12Jk)P1 Np(k)(k)P21(k)P22(k)P2N(k)pN1(k) pN 2(k) pN N（2）状态转移概率的估算(3)估算的方法通常有两种：一是主对事件发生的可能性大小的一现通过实例介绍如下.例3记录了某抗病毒药的阵.在马尔可夫预测方法中，系统状态的转移概率的估算非常重要.观概率法，它是根据人们长期积累的经验以

5、及对预测事件的了解, 种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用二是统计估算法,6年24个季度的销售情况，得到表 1 试求其销售状态的转移概率矩表1某抗病毒药24个季度的销售情况季度销售状态季度销售状态季度销售状态季度销售状态11 （畅销）71（畅销）131（畅销）192（滞销）21（畅销）81（畅销）141（畅销）201（畅销）32（滞销）91（畅销）152（滞销）212（滞销）41（畅销）102（滞销）162（滞销）221（畅销）52（滞销）111（畅销）171（畅销）231（畅销）62（滞销）122（滞销）181（畅销）241（畅销）分析表中的数据，其中有 15个

6、季度畅销，9个季度滞销，连续岀现畅销和由畅销转入滞销以及 由滞销转入畅销的次数均为7,连续滞销的次数为 2由此，可得到下面的市场状态转移情况表（表 2）.表2市场状态转移情况表现计算转移概率以频率代替概率，可得连续畅销的概率P11连续出现畅销的次数出现畅销的次数15 10.5分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1 同样得由畅销转入滞销的概率：畅销转入滞销的次数出现畅销的次数7151 .5滞销转入畅销的概率:滞销转入畅销的次数p?1“1出现滞销的次数0.78连续滞销的概率:p22连续滞销的次数 出现滞销的次数0.22综上,得销售状态转移概率矩阵为:p11 p120.50.

7、5P21P220.78 0.22所求转移概率矩阵从上面的计算过程知，即将表中数分别除以该数所在行的数字和便可:7P的元素其实可以直接通过表2中的数字计算而得到,77777772277PiiPl2p21p22程序:Matlabformat ratclca= 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1;for i=1:2for j=1:2f(i,j)=le ngth(fi ndstr(i j,a);endendfni=(sum(f)for i=1:2p(i,:)=f(i,:)/ni(i);endP由此，推广到一般情况，我们得到估计转移概率的方法：

8、假定系统有m种状态Si, S2，Sm,根据系统的状态转移的历史记录，得到表3的统计表格，以 ?ij表示系统从状态i转移到状态j的转移概率估计值，则由表3的数据计算估计值的公式如下：n ikk 1(3 )带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化.如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中， 有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本.假定连续畅销时盈rii元，连续滞销时亏本 22元，由畅销转为滞销盈利ri2元，由滞销转为畅销盈利元，这种随着系统的状态转移， 赋予一定利润的马氏

9、链，称为有利润的马氏链. 对于一般的具有转移矩阵p11p12p1 NPp21p22p2NPN1PN 2Pn n的马氏链，当系统由i转移到j时，赋予利润rij （i, j=1, 2，N），则称riiri2riNr21r22r2N（5）rN 2rN N为系统的利润矩阵，rij 0称为盈利，rij 0称为亏本，rij = 0称为不亏不盈.随着时间的变化，系统的状态不断地转移， 从而可得到一系列利润， 由于状态的转移是随机 的，因而一系列的利润是随机变量， 其概率关系由马氏链的转移概率决定. 例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量xj、xj的概率分布分别为:(1)X1门1门2概率P1

10、1P12(1)X22122概率P21P22其中 P11+ pi2 = 1 ， p21+ p22 = 1 .如果药品处于畅销阶段，即销售状态为 是多少为此，引入一些计算公式.i =1,我们想知道，经过 n个季度以后，期望获得的利润首先，定义v（n）为抗病毒药现在处于i （i1, 2），经过n步转移之后的总期望利润，则步转移的期望利润为:2(1) 、Vi E(xi ) ri1Pi1ri2Pi2ri j pi jj 1其中E(x(1)是随机变量Xi的数学期望.二步转移的期望利润为：2 (2) (2) (1) (1) (1),ViE(Xi)ri1V1pi1ri2vPi2 Vjpijj 1其中随机变量x

11、（2）（称为二步利润随机变量）的分布为:P(Xirij v(1) Pij, j 1,2例如，若0.50.59 3PR0.40.637则抗病毒药销售的一步利润随机变量:(1)X193X21)3-7概率概率抗病毒药畅销和滞销时的一步转移的期望利润分别为：vJE(X1 )11P1112山29 5 30.5 6vjE(xJ) Qp21r22 P223 0.4 70.63二步利润随机变量为：(2)X19+63-3x22)3+6-7-3概率概率抗病毒药畅销和滞销时的二步转移的期望利润分别为:(2)1Eg)W11V1 P1112VP12(96) 0.5(33) 0.57.5(2)E(x22)21(1)iV1

12、 P21r22v2) P22(36) 0.4(73) 0.62.4一般地定义k步转移利润随机变量 x(k) (i 1,2,N)的分布为：P(x(k)rijv(k 1) Pij j 1,2, N则系统处于状态i经过k步转移后所得的期望利润v(k)的递推计算式为:NVi(k)E(Xi(k)(rij v(k1)pijj 1NN (k 1)(1) N (k 1)rij PijVjPi jViVjPi j( 6)j 1j 1j 1当k=1时，规定边界条件 v(0)0 .称一步转移的期望利润为即时的期望利润，并记Viqi, i 1,2, N .可能的应用题型题型一、市场占有率预测例题1在购买该药的总共 1

13、000家对象（购买力相当的医院、药店等）中，买 A、B、C三药厂的 各有400家、300家、300家，预测A、B、C三个厂家生产的某种抗病毒药在未来的市场占有情 况。顾客订货情况如下表5：表5 顾客订货情况表下季度订货情况合计ABC来A160120120400自B1809030300C1803090300合计5202402401000模型建立与求解一、问题分析目前的市场占有情况为：在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A、B、C三药厂的各有 400家、300家、300家，那么A、B、C三药厂目前的市场占有份额分别 为：40%、30%、30%称（，）为目前市场的占有分布

14、或称初始分布.此外，我们需要查清使用对象的流动情况。流动情况的调查可通过发放信息调查表来了解顾客以往的资料或将来的购买意向，也可从下一时期的订货单得岀。由题已知顾客订货情况如下表5表5 顾客订货情况表下季度订货情况合计ABC来A160120120400自B1809030300C1803090300合计5202402401000模型的建立模型构建假定在未来的时期内，顾客相同间隔时间的流动情况不因时期的不同而发生变化，以1、2、3分别表示顾客买 A、B、C三厂家的药这三个状态，以季度为模型的步长（即转移一步所需的时间），那么根据表 5，我们可以得模型的转移概率矩阵:P11P12PP21P22P31

15、P32P13P23P3316012040040018090300300180303003001204000.4300.6300900.60.30.30.30.10.10.3300矩阵中的第一行（，）表示目前是A厂的顾客下季度有 40%仍买A厂的药，转为买 B厂和C厂的各有30% 同样，第二行、第三行分别表示目前是B厂和C厂的顾客下季度的流向.由P我们可以计算任意的k步转移矩阵，如三步转移矩阵：0.40.30.30.4960.2520.252P(3)P30.60.30.10.5040.2520.2440.60.10.30.5040.2440.252从这个矩阵的各行可知三个季度以后各厂家顾客的流动

16、情况.如从第二行（，）知,3客三个季度后有 转向买A厂的药，仍买B厂的，转向买C厂的药.设s（k）（ p1k）, p2k）, p3k）表示预测对象k季度以后的市场占有率，初始分布则为B厂的顾S(k)s（0）（ p10）, p20）, p30），市场占有率的预测模型为已知S（0）（ 0.4, 0.3, 0.3），由此，我们可预测任意时期A、B、C三厂家的市场占有率例如，三个季度以后的预测值为：0.4960.2520.252s(3)( p1(3),p23),p(33) s(0) p3(0.4 0.3 0.3)0.5040.2520.2440.5040.2440.252(0.5008 0.24960

17、.2496 )大致上，A厂占有一半的市场，B厂、C厂各占四分之一.模型（7）可推广到N个状态的情形：P11p12p1 NkS(k)S(k1)pS(0)Pk(P1(0),p：20),pN0) P21p22p2N(8)pN1pN 2pN N如果我们按公式（7）继续逐步求 A、B、C三家的市场占有率,会发现,当k大到定的程度,S （k）将不会有多少改变，即有稳定的市场占有率，设其稳定值为S(p1 , p2,P3)，满足S(0) pk s(k 1)p(7)Pl P2 P31 事实上，如果市场的顾客流动趋向长期稳定下去，则经过一段时期以后的市场占有率将会出现稳定的平衡状态，即顾客的流动，不会影响市场的占

18、有率，而且这种占有率与初始分布无 关.如何求出这种稳定的市场占有率呢模型求解以A、B、C三家的情况为例，当市场出现平衡状态时，从公式（7）可得方程S = S P,即0.40.30.3(P1, P2, P3) (Pi, P2, P3) 0.60.30.10.60.10.3由此得P10.4P10.6 P20.6 P3P20.3p10.3p20.1P3P30.3p10.1P20.3p3经整理，并加上条件 p1P2 P31，得0.6p10.6p20.6p300.3p1 0.7p2 0.1p300.3p1 0.1p2 0.7p30pi P2 P31上方程组是三个变量四个方程的方程组，在前三个方程中只有二

19、个是独立的，任意删去一个，从剩下的三个方程中，可求出唯一解：pi0.5，p2 0.25， P3 0.25这就是A、B C三家的最终市场占有率.一般N个状态的稳定市场占有率(稳态概率)S (p1, p2,pN )可通过解方程组pi1p12p1 Np21p22p2 N(P1, P2,PN ) ( P1, P2,PN )(9)pN 1pN2pN NNPk 1k 1求得，而(9)的前N个方程中只有 N-1个是独立的，可任意删去一个。MATLAB 程序：format ratP=,;a=p-eye (3) ;o nes(1,3);b=zeros(3,1);1;p_limit=ab题型二、期望利润预测企业追逐市场占有率的真正目的是使利润增加，因此，竞争各方无论是为了夺回市场份额，还是为了保住或者提高市场份额，在制订对策时都必须对期望利润进行预测.预测主要分两步进行：市场统计调查.首先调查销路的变化情况，即查清由畅销