马氏链模型及matlab程序

一、用法，用来干什么，什么时候用二、步骤，前因结果，算法的步骤，公式三、程序四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫展望法是应用概率论中马尔可夫链（Markovchain）的理论和方法来研究剖析时间序列的变化规律，并由此展望其未来变化趋势的一种展望技术。什么时候用应用马尔可夫链的计算方法进行马尔可夫剖析，主要目的是依据某些变量此刻的情况及其改动趋势，来展望它在未来某特定区间可能产生的改动，作为供给某种决议的依照。马尔可夫链的基来源理我们知道，要描绘某种特准时期的随机现象如某种药品在未来某时期的销售状况，比方说第n季度是热销仍是滞销，用一个随机变量Xn便能够了，但要描绘未来全部时期的状况，则需要一系列的随机变量X1，X2，，Xn，．称{Xt，t∈T，T是参数集}为随机过程，{Xt}的取值会合称为状态空间．若随机过程{X}的参数为非负整数，X为失散随机变量，且{X}拥有无后效性nnn（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）．所谓无后效性，直观地说，就是假如把{Xn}的参数n看作时间的话，那么它在未来取什么值只与它此刻的取值相关，而与过去取什么值没关．对拥有N个状态的马氏链，描绘它的概任性质，最重要的是它在n时刻处于状态i下一时刻转移到状态j的一步转移概率：P(Xn1j|Xni)pij(n)i,j1,2,,N若假设上式与n没关，即pij(0)pij(1)pij(n)，则可记为pij（此时，称过程是安稳的），并记p11p12p1Np21p22p2N（1）PpN1pN2pNN称为转移概率矩阵．转移概率矩阵拥有下述性质：（1）pij0,i,j1,2,,NN（2）pij1,i1,2,,Nj1

．即每个元素非负．．即矩阵每行的元素和等于1．假如我们考虑状态多次转移的状况，则有过程在n时刻处于状态i，n+k时刻转移到状态j的k步转移概率：P(Xnkj|Xni)p(k)(n)i,j1,2,,Nij相同由安稳性，上式概率与n没关，可写成pi(kj)．记p11(k)p12(k)P(k)p21(k)p22(k)pN(k1)pN(k2)

p1(kN)p2(kN)（2）p(NkN)称为k步转移概率矩阵．此中pi(kj)拥有性质：Np(k)0,i,j1,2,,N；pi(kj)1,i1,2,,N．ijj1一般地有，若P为一步转移矩阵，则k步转移矩阵p11(k)p12(k)p1(Nk)P(k)p21(k)p22(k)p2(kN)（3）pN(k1)pN(k2)pN(kN)（2）状态转移概率的估量在马尔可夫展望方法中，系统状态的转移概率的估量特别重要．估量的方法往常有两种：一是主观概率法，它是依据人们长久累积的经验以及对展望事件的认识，对事件发生的可能性大小的一种主观预计，这类方法一般是在缺少历史统计资料或资料不全的状况下使用．二是统计估量法，现经过实例介绍以下．例3记录了某抗病毒药的6年24个季度的销售状况，获取表1．试求其销售状态的转移概率矩阵．表1某抗病毒药24个季度的销售状况季度销售状态季度销售状态季度销售状态季度销售状态11(热销)71(热销)131(热销)192(滞销)21(热销)81(热销)141(热销)201(热销)32(滞销)91(热销)152(滞销)212(滞销)41(热销)102(滞销)162(滞销)221(热销)52(滞销)111(热销)171(热销)231(热销)62(滞销)122(滞销)181(热销)241(热销)剖析表中的数据，此中有15个季度热销，9个季度滞销，连续出现热销和由热销转入滞销以及由滞销转入热销的次数均为7，连续滞销的次数为2．由此，可获取下边的市场状态转移状况表（表2）．表2市场状态转移状况表下季度药品所处的市场状态1（热销）2（滞销）1（热销）77本季度药品所处的市场状态2（滞销）72现计算转移概率．以频次取代概率，可得连续热销的概率：连续出现热销的次数p11出现热销的次数

70.5151分母中的数为15减1是因为第24季度是热销，无后续记录，需减1．相同得由热销转入滞销的概率：p12热销转入滞销的次数7出现热销的次数0.5151滞销转入热销的概率：滞销转入热销的次数p21出现滞销的次数

70.789连续滞销的概率：p22

连续滞销的次数出现滞销的次数

29

0.22综上，得销售状态转移概率矩阵为：p11p120.50.5Pp220.780.22p21从上边的计算过程知，所求转移概率矩阵P的元素其实能够直接经过表2中的数字计算而获取，马上表中数分别除以该数所内行的数字和即可：7p11777p12777p21272p2277Matlab程序：formatratclcfori=1:2forj=1:2f(i,j)=length(findstr([ij],a));endendfni=(sum(f'))'fori=1:2p(i,:)=f(i,:)/ni(i);endp由此，推行到一般状况，我们获取预计转移概率的方法：假设系统有m种状态S1，S2，，Sm，依据系统的状态转移的历史记录，获取表3的统计表格，以?i转移到状态jpij表示系统从状态的转移概率预计值，则由表3的数据计算预计值的公式以下：表3系统状态转移状况表系统下步所处状态S1S2Sm系统S1n11n12n1m本Snnn222m步221所处状态Smnm1nm2nmmniji,j1,2,,mp?ijmnik13）带收益的马氏链在马氏链模型中，跟着时间的推移，系统的状态可能发生转移，这类转移经常会惹起某种经济指标的变化．如抗病毒药的销售状态有热销和滞销两种，在时间变化过程中，有时呈连续热销或连续滞销，有时由热销转为滞销或由滞销转为热销，每次转移不是盈余就是赔本．假设连续热销时盈r11元，连续滞销时赔本r22元，由热销转为滞销盈余r12元，由滞销转为热销盈余r21元，这类跟着系统的状态转移，给予必定收益的马氏链，称为有收益的马氏链．关于一般的拥有转移矩阵p11p12p1Np21p22p2NPpN1pN2pNN的马氏链，当系统由i转移到j时，给予收益rij（i，j=1，2，，N），则称r11r12r1Nr21r22r2N（5）RrN1rN2rNN为系统的收益矩阵，rij＞0称为盈余，rij＜0称为赔本，rij=0称为不亏不盈．跟着时间的变化，系统的状态不停地转移，进而可获取一系列收益，因为状态的转移是随机的，因此一系列的收益是随机变量，其概率关系由马氏链的转移概率决定．比如从抗病毒药的销售状态的转移矩阵，获取一步收益随机变量x1(1)、x2(1)的概率散布分别为：x1(1)r11r12x2(1)r21r22概率p11p12概率p21p22此中+p12=1，p+p=1．p112122假如药品处于热销阶段，即销售状态为i=1，我们想知道，经过n个季度此后，希望获取的收益是多少为此，引入一些计算公式．第一，定义vi(n)为抗病毒药此刻处于i(i1,2)，经过n步转移以后的总希望收益，则一步转移的希望收益为：vi(1)E(xi(1))ri1pi12ri2pi2rijpijj1此中E(xi(1))是随机变量xi(1)的数学希望．二步转移的希望收益为：vi(2)E(xi(2))[ri1v1(1)]pi1[ri2v2(1)]pi22[rijv(j1)]pijj1此中随机变量xi(2)（称为二步收益随机变量）的散布为：((2)rij(1))pij,j1,2Pxivj比如，若P0.50.5，R930.40.637则抗病毒药销售的一步收益随机变量：x1(1)93x2(1)3-7概率概率抗病毒药热销和滞销时的一步转移的希望收益分别为：v(1)E(x(1))rprp90.530.561111111212v2(1)E(x2(1))r21p21r22p2230.470.63二步收益随机变量为：x1(2)9+63-3x2(2)3+6-7-3概率概率抗病毒药热销和滞销时的二步转移的希望收益分别为：v(2)E(x(2))[rv(1)]p[rv(1)]p111111112212(96)0.5(33)0.57.5v(2)E(x(2))[r21v(1)]p[r22v(1)]p22221212(36)0.4(73)0.62.4一般地定义k步转移收益随机变量xi(k)(i1,2,N)的散布为：Px(k)rijv(k1))pjj1,2,N(iji则系统处于状态i经过k步转移后所得的希望收益vi(k)的递推计算式为：vi(k)E(xi(k))N(rijv(jk1))pijj1NNN1)pijrijpijv(jk1)pijvi(1)v(jk（6）j1j1j1当k=1时，规定界限条件vi(0)0．称一步转移的希望收益为即时的希望收益，并记vi(1)qi,i1,2,N．可能的应用题型题型一、市场据有率展望例题1在购置该药的总合1000家对象（购置力相当的医院、药店等）中，买A、B、C三药厂的各有400家、300家、300家，展望A、B、C三个厂家生产的某种抗病毒药在未来的市场据有情况。顾客订货状况以下表5：表5顾客订货状况表下季度订货状况共计ABC来A160120120400自B1809030300C1803090300共计5202402401000模型成立与求解一、问题剖析当前的市场据有状况为：在购置该药的总合1000家对象（购置力相当的医院、药店等）中，买A、B、C三药厂的各有400家、300家、300家，那么A、B、C三药厂当前的市场据有份额分别为：40%、30%、30%．称（，，）为当前市场的据有散布或称初始散布．别的，我们需要查清使用对象的流动状况。流动状况的检查可经过发放信息检查表来认识顾客以往的资料或未来的购置意愿，也可从下一时期的订货单得出。由题已知顾客订货状况以下表5表5顾客订货状况表下季度订货状况共计ABC来A160120120400自B1809030300C1803090300共计5202402401000模型的成立模型建立假设在未来的时期内，顾客相同间隔时间的流动状况不因时期的不一样而发生变化，以1、2、3分别表示顾客买A、B、C三厂家的药这三个状态，以季度为模型的步长（即转移一步所需的时间），那么依据表5，我们能够得模型的转移概率矩阵：160120120p11p12p134004004000.40.30.3Pp21p22p2318090300.60.30.1300300300p31p32p330.60.10.31803090300300300矩阵中的第一行（，，）表示当前是A厂的顾客下季度有40%仍买A厂的药，转为买B厂和C厂的各有30%．相同，第二行、第三行分别表示当前是B厂和C厂的顾客下季度的流向．由P我们能够计算随意的k步转移矩阵，如三步转移矩阵：0.40.30.330.2520.2520.496P(3)P30.60.30.10.5040.2520.2440.60.10.30.5040.2440.252从这个矩阵的各行可知三个季度此后各厂家顾客的流动状况．如从第二行（，，）知，B厂的顾客三个季度后有%转向买A厂的药，%仍买B厂的，%转向买C厂的药．设S(k)(p1(k),p2(k),p3(k))表示展望对象k季度此后的市场据有率，初始散布则为S(0)(p1(0),p2(0),p3(0))，市场据有率的展望模型为S(k)S(0)PkS(k1)P（7）已知S(0)(0.4,0.3,0.3)，由此，我们可展望随意时期A、B、C三厂家的市场据有率．例如，三个季度此后的展望值为：0.4960.2520.252S(3)(p1(3),p2(3),p(33))S(0)P3(0.40.30.3)0.5040.2520.2440.5040.2440.252(0.50080.24960.2496)大概上，A厂据有一半的市场，B厂、C厂各占四分之一．模型（7）可推行到N个状态的情况：p11p12kp1NS(k)S(k1)PS(0)Pk(p1(0),p2(0),pN(0)p21p22p2N)（8）pN1pN2pNN假如我们按公式（7）持续逐渐求A、B、C三家的市场据有率，会发现，当k大到必定的程度，S(k)将不会有多少改变，即有稳固的市场据有率，设其稳固值为S(p1,p2,p3)，知足p1p2p31．事实上，假如市场的顾客流动趋势长久稳固下去，则经过一段时期此后的市场据有率将会出现稳固的均衡状态，即顾客的流动，不会影响市场的据有率，并且这类据有率与初始散布没关．怎样求出这类稳固的市场据有率呢模型求解以A、B、C三家的状况为例，当市场出现均衡状态时，从公式（7）可得方程S=SP，即0.40.30.3(p1,p2,p3)(p1,p2,p3)0.60.30.10.60.10.3由此得p10.4p10.6p20.6p3p20.3p10.3p20.1p3p30.3p10.1p20.3p3经整理，并加上条件p1p2p31，得0.6p10.6p20.6p300.3p10.7p20.1p300.3p10.1p20.7p30p1p2p31,上方程组是三个变量四个方程的方程组，在前三个方程中只有二个是独立的，随意删去一个，从剩下的三个方程中，可求出独一解：p10.5，p20.25，p30.25这就是A、B、C三家的最后市场据有率．一般N个状态的稳固市场据有率（稳态概率）S(p1,p2,pN)可经过解方程组p11p12p1N(p1,p2,pN)(p1,p2,p21p22p2NpN)（9）pN1pN2pNNNpk1k1求得，而（9）的前N个方程中只有N-1个是独立的，可随意删去一个。MATLAB程序：formatratp=[，,];a=[p'-eye(3);ones(1,3)];b=[zeros(3,1);1];p_limit=a\b题型二、希望收益展望公司追赶市场据有率的真实目的是使收益增添，所以，竞争各方不论是为了夺回市场份额，仍是为了保住或许提升市场份额，在制定对策时都一定对希望收益进行展望．展望主要分两步进行：①市场统计检查．第一检查销路的变化状况，即查清由热销到滞销或由滞销到热销，连续热销或连续滞销的可能性是多少．其次统计出因为销路的变化，获取的收益和损失状况．②成立数学模型，列出展望公式进行展望．比如，经