马尔科夫预测法课堂

1、1,第五章马尔可夫预测与决策,基本概念,马尔可夫链,状态转移矩阵（转移概率矩阵,平稳分布和稳态分布,马尔可夫预测与决策应用实例,流行病监测,设备维修决策,基因遗传,2,马尔可夫预测,马尔可夫,A.A Markov,预测法是应用概率论中马,尔可夫链的理论和方法来研究随机事件变化并借此,分析预测未来变化趋势的一种方法,随机过程是研究随机动态系统演变过程规律性的学,科,它的研究对象是随时间演变的随机现象,广泛,地应用于通信、控制、生物、地质、经济、管理,能源、气象等许多领域,马氏链模型,Markov Chain Model,是时间、状态均为,离散的随机过程,3,一、基本概念,马尔可夫,A.A Mar

2、kov,俄国数学家,20,世纪初，他在研究中发现自然界中有一类事物的变化过程仅,与事物的,近期状况有关,而与事物的过去状态无关,例,未来第,t,个交易日上证指数的涨跌情况，醉汉在酒醒之,前的运动，青蛙在荷塘中下一步跳向哪片荷叶,所谓,马尔可夫链,就是一种,随机时间序列,它在将来取什么值,只与它现在的取值有关，而与它过去取什么值无关，即,无后效,性,具备这个性质的离散型随机过程，称为,马尔可夫链,4,设随机过程,T,n,X,n,的时间集合,3,2,1,T,状态,空间,3,2,1,N,E,即,T,n,X,n,是时间离散,状态离散的随机过程,若对任意,的整数,T,n,满足,1,1,0,0,1,1,n

3、,n,n,n,n,n,n,n,x,X,x,X,P,x,X,x,X,x,X,P,则称,T,n,X,n,为马尔可夫链，简称马氏链。上式称为过程,的马尔可夫性或无后效性,1,马氏链严格数学定义,5,马氏链模型说明,时间、状态均为离散的随机转移过程,系统在每个时期所处的状态是随机的,从一时期到下时期的状态按一定概率转移,下时期状态只取决于本时期状态和转移概率,已知现在，将来与过去无关（无后效性,概念,状态,6,2,状态与状态变量,状态,客观事物可能出现或存在的状况,如：商品可能,畅销,也可能,滞销,机器运转可能,正常,也,可能,故障,等,同一事物不同状态之间必须,相互独立,不能同时存在,两种状态,客观

4、事物的状态不是固定不变的，它可能处于这种状,态，也可能处于那种状态，往往条件变化，状态也会,发生变化。如某种产品在市场上本来是滞销的，但是,由于销售渠道变化了，或者消费心理发生了变化等,它便可能变为畅销产品,7,用,状态变量,来表示状态,它表示随机运动系统，在时刻,所处的状态为,状态转移,客观事物由一种状态到另一种状态的,变化,如：由于产品质量或替代产品的变化，市场上,产品可能由,畅销,变为,滞销,2,1,2,1,t,N,i,i,X,t,2,1,t,t,2,1,N,i,i,8,3,状态转移概率,客观事物可能有,共,种状态，其中每次只能处,于一种状态，则每一状态都具有,个转向（包括转向自身,即,

5、由于状态转移是随机的，因此，必须用概率来描述状态转移可能性,的大小，将这种转移的可能性用概率描述，就是,状态转移概率,N,E,E,E,2,1,n,n,1,2,i,i,i,N,E,E,E,E,E,E,概率论中的条件概率,P,A,B,就表达了由状态,B,向状态,A,转移,的概率，简称为,状态转移概率,对于由状态,E,i,转移到状态,E,j,的概率，称它为从,i,到,j,的转移概率,记为,它表示由状态,E,i,经过一步转移到状态,E,j,的概率,1,i,x,j,x,P,E,E,P,E,E,P,P,n,n,j,i,i,j,ij,9,某地区有甲、乙、丙三家药厂生产板蓝根，有,1600,个用户，假定在研究

6、期间无新用户加入也无老用户退,出，只有用户的转移。已知,8,月份有,480,户是甲厂,的顾客,320,户是乙厂的顾客,800,户是丙厂的顾客,9,月份，甲厂的顾客有,48,户转乙厂,96,户转丙厂,乙厂的顾客有,32,户转甲厂,64,户转丙厂；丙厂有的顾,客有,64,户转甲厂,32,户转乙厂,计算其状态转移概率,例,10,1,1,1,2,1,3,2,1,2,2,2,3,3,1,3,2,3,3,3,3,6,4,8,9,6,0,7,0,1,0,2,4,8,0,4,8,0,4,8,0,3,2,2,2,4,6,4,0,1,0,7,0,2,3,2,0,3,2,0,3,2,0,6,4,3,2,7,0,4,

7、0,0,8,0,0,4,0,8,8,8,0,0,8,0,0,8,0,0,P,P,P,P,P,P,P,P,P,解,由题意得,6,月份顾客转移表,甲,乙,丙,合计,甲,336,48,96,480,乙,32,224,64,320,丙,64,32,704,800,合计,430,360,210,1600,从,到,例,11,三、状态转移概率矩阵,将事件,个状态的转移概率依次排列起来，就构,成一个,N,行,N,列的矩阵，这种矩阵就是,状态转移概,率矩阵,通常称矩阵,P,为,状态转移概率矩阵，没有特别说明步数时，一,般均为一步转移概率矩阵。矩阵中的每一行称之为,概率向量,转移概率矩阵的特征,基本概念,11,1

8、2,1,21,22,2,1,2,N,N,N,N,NN,P,P,P,P,P,P,P,P,P,P,L,L,L,L,L,L,L,n,1,1,1,2,1,3,2,1,2,2,2,3,3,1,3,2,3,3,0,7,0,1,0,2,0,1,0,7,0,2,0,0,8,0,0,4,0,8,8,P,P,P,P,P,P,P,P,P,P,12,状态转移概率矩阵具有如下特征,1,2,0,1,1,2,i,j,P,ij,N,L,状态转移概率矩阵及其基本特征,1,1,1,2,N,i,j,j,P,i,N,L,状态转移概率的估算,主观概率法,一般缺乏历史统计资料或资料不全情况下使用,统计估算法,13,例,设药品市场的销售记

9、录共有,6,年,24,个季度的数据，见表,求药品销售转移概率矩阵,季度,1,2,3,4,5,6,7,8,9,10,11,12,销售,状态,畅,1,畅,1,滞,2,畅,1,滞,2,滞,2,畅,1,畅,1,畅,1,滞,2,畅,1,滞,2,季度,13,14,15,16,17,18,19,20,21,22,23,24,销售,状态,畅,1,畅,1,滞,2,滞,2,畅,1,畅,1,滞,2,畅,1,滞,2,畅,1,畅,1,畅,1,用,1,表示畅销,用,2,表示滞销,14,季度,1,2,3,4,5,6,7,8,9,10,11,12,销售,状态,畅,1,畅,1,滞,2,畅,1,滞,2,滞,2,畅,1,畅,1,畅

10、,1,滞,2,畅,1,滞,2,季度,13,14,15,16,17,18,19,20,21,22,23,24,销售,状态,畅,1,畅,1,滞,2,滞,2,畅,1,畅,1,滞,2,畅,1,滞,2,畅,1,畅,1,畅,1,共,24,个季度数据，其中有,15,个季度畅销,9,个季度滞销，现分,别统计出,连续畅销、由畅转滞、由滞转畅和连续滞销,的次数,以,p,11,表示连续畅销的可能性，以频率代替概率，得,分子,7,是表中连续出现畅销的次数，分母,15,是表中出现畅销的,次数，因为第,24,季度是畅销，无后续记录，故减,1,1,1,7,5,0,1,5,1,p,2,个状态,1,畅销,2,滞销,15,季度,

11、1,2,3,4,5,6,7,8,9,10,11,12,销售,状态,畅,1,畅,1,滞,2,畅,1,滞,2,滞,2,畅,1,畅,1,畅,1,滞,2,畅,1,滞,2,季度,13,14,15,16,17,18,19,20,21,22,23,24,销售,状态,畅,1,畅,1,滞,2,滞,2,畅,1,畅,1,滞,2,畅,1,滞,2,畅,1,畅,1,畅,1,以,p,12,表示由畅销转入滞销的可能性,分子,7,是表中由畅销转入滞销的次数,以,p,21,表示由滞销转入畅销的可能性,分子,7,是表中由滞销转入畅销的次数，分母数,9,是表中出,现滞销的次数,1,2,7,5,0,1,5,1,p,2,1,7,7,8,

12、9,p,2,个状态,1,畅销,2,滞销,16,季度,1,2,3,4,5,6,7,8,9,10,11,12,销售,状态,畅,1,畅,1,滞,2,畅,1,滞,2,滞,2,畅,1,畅,1,畅,1,滞,2,畅,1,滞,2,季度,13,14,15,16,17,18,19,20,21,22,23,24,销售,状态,畅,1,畅,1,滞,2,滞,2,畅,1,畅,1,滞,2,畅,1,滞,2,畅,1,畅,1,畅,1,以,p,22,表示连续滞销的可能性,分子,2,是表中连续出现滞销的次数,综上所述，得销售,状态转移概率矩阵,为,2,2,2,2,2,9,p,1,1,1,2,2,1,2,2,0,5,0,5,0,7,8,

13、0,2,2,p,p,P,p,p,17,状态转移概率矩阵完全描述了所研究对象的变化过程,正如前面所指出的，上述矩阵为一步转移概率矩阵。对于,多步转移概率矩阵，可按如下定义解释,定义,若系统在时刻,处于状态,经过,步转,移，在时刻,处于状态,那么，对这种转移的可,能性的数量描述称为,步转移概率。记为,并令,4,多步状态转移概率矩阵,n,NN,n,N,n,N,n,N,n,n,n,N,n,n,n,P,P,P,P,P,P,P,P,P,P,2,1,2,22,21,1,12,11,0,t,i,n,n,t,j,n,n,ij,n,P,i,x,j,x,P,0,18,称,为,步转移概率矩阵,多步转移概率矩阵，除具有

14、一步转移概率矩阵的性质,外，还具有以下的性质,P,P,P,n,n,1,1,n,n,n,P,P,2,n,NN,n,N,n,N,n,N,n,n,n,N,n,n,n,P,P,P,P,P,P,P,P,P,P,2,1,2,22,21,1,12,11,n,P,19,例,试求前一药品市场的二步状态转移概率矩阵,二步转移概率矩阵可由一步转移概率矩阵通过公式,P,2,P,2,计算求出,Excel,中矩阵相乘的步骤,1,选中存放计算结果的,区域,输入,MMULT,矩阵,1,矩阵,2,2,按下,F2,同时按下,Ctrl+Shift+Enter,演示结果,20,记,为过程的开始时刻,则称,为,初始状态概,率向量,已知

15、马尔科夫链的转移矩阵,以及初,始状态概率向量,则任一时刻的状态概率分布,也就确定了,对,k,1,记,则由全概率公式,有,5,初始状态概率向量,0,t,0,0,0,i,t,X,X,i,P,1,2,0,0,0,0,N,P,pp,p,L,k,k,ij,P,p,0,P,i,k,pk,P,X,i,1,0,1,2,1,N,k,i,j,j,i,j,p,k,p,p,i,N,k,L,21,若记,向量,则上式可写为,由此可得,1,2,N,P,kp,k,p,k,p,k,L,0,0,k,k,P,k,P,P,P,P,1,P,k,P,k,P,22,例：预计未来两个季度药品市场销售情况,季度,1,2,3,4,5,6,7,8

16、,9,10,11,12,销售,状态,畅,1,畅,1,滞,2,畅,1,滞,2,滞,2,畅,1,畅,1,畅,1,滞,2,畅,1,滞,2,季度,13,14,15,16,17,18,19,20,21,22,23,24,销售,状态,畅,1,畅,1,滞,2,滞,2,畅,1,畅,1,滞,2,畅,1,滞,2,畅,1,畅,1,畅,1,1,1,1,2,2,1,2,2,0,5,0,5,0,7,8,0,2,2,p,p,P,p,p,23,解决,由表知本季度状态向量,P(0) = (1,0,预测,两季度,后的状态,求出两步转移概率矩阵,预测：两个季度后的状态向量,演示结果,2,2,0,P,P,P,24,6,平稳分布与稳态

17、分布,在马尔可夫链中，已知系统的,初始状态,和,状态转移概率矩,阵,就可推断出系统在,任意,时刻可能所处的状态,现在需要研究当,k,不断增大时,P(k,的变化趋势,1,平稳分布,预备定义,如存在非零向量,X,x,1,x,2,x,N,使得,X P = X,其中,P,为一概率矩阵，则称,X,为,P,的固定概率向量,25,平稳分布,如存在非零向量,X,x,1,x,2,x,N,使得,X P = X,其中,P,为一概率矩阵,则称,X,为,P,的固定概率向量,特别地，设,X,x,1,x,2,x,N,为一,状态,概率向量,P,为状,态转移概率矩阵，若,X P = X,即,称,X,为该马尔可夫链的一个,平稳分

18、布,性质,1,1,2,N,i,i,j,j,i,xp,x,j,N,26,若随机过程某时刻的状态概率向量,P,k,为平稳分布,则称过程处于平衡状态,X P = X,一旦过程处于平衡状态，则经过一步或多步状态转移,之后，其状态概率分布保持不变，也就是说，过程一,旦处于平衡状态后将永远处于平衡状态,对于所讨论的状态有限（即,N,个状态）的马尔可夫链,平稳分布必定存在,特别地，当状态转移矩阵为,正则概率矩阵,时，平稳分,布,唯一,正则概率矩阵,27,定义：如果,P,为概率矩阵，且存在,m,0,使,P,m,中诸元素皆,非负非零。则称,P,为正则概率矩阵,例如,均为正则概率矩阵,P,1,为正则概率矩阵是明显

19、的,m,1,P,2,是正则概率矩阵也也易于论证,即存在,m,2,，使,P,2,的元素皆非负非零,1,2,0,40,6,0,1,1,0,60,4,0,40,6,P,P,及,2,2,0,1,0,1,0,4,0,6,0,40,60,40,6,0,2,40,7,6,P,28,是非正则概率矩阵,正则概率矩阵的这一性质很有实用价值,因为在市场占有率是达到平稳分布时，顾客（或用户）的流,动将对市场占有率不起影响。即各市场主体丧失的顾客（或,用户）与争取到的顾客相抵消,1,1,0,2,0,5,0,5,P,29,例：药品销售市场的七步转移概率矩阵,稳态分布,7,7,1,1,1,2,7,2,1,2,2,0,5,0

20、,5,0,7,8,0,2,2,P,P,P,P,P,0,6,1,0,3,9,0,5,0,5,0,6,1,0,3,9,0,7,8,0,2,2,0.61,0.39,0.61,0.39,可以看到每一列都有相同的值。这说,明不管初始状态药品销售情况如何，经,过,6,个季度之后处于状态,j,的概率都是,相同的,即：经过多次转移之后，系统存在,一个处于状态,j,的有限概率，此概率与,系统原始状态无关,30,2,稳态分布,对概率向量,1,2,N,如对任意的,i,j,S,则称,为稳态分布,此时，不管初始状态概率向量如何，均有,或,这也是称,为稳态分布的理由,性质,l,i,m,m,i,j,j,m,p,1,1,l,

21、i,m,l,i,m,0,0,N,N,m,m,j,i,i,j,i,j,j,m,m,i,i,p,p,p,p,1,2,l,i,m,l,i,m,m,j,N,m,m,p,p,m,p,m,p,m,L,31,设存在稳态分布,1,2,N,则,由于下式恒成立,令,k,就得,A,即有限状态马尔可夫链的稳态分布如存在,那么它也是平稳分布,B,当马尔科夫链的状态转移概率矩阵为,正则概,率矩阵,时稳态分布存在，且稳态分布和平稳分布,相同,且,均,唯一,1,P,k,P,k,P,P,32,例,求药品销售市场的平稳分布及稳态分布,0.5,0.5,0.78,0.22,P,解,1,P,是正则概率矩阵，前面已经算到稳态分,布,0.

22、61,0.39,2,由于,P,是正则概率矩阵，求解如下方程组,解得,2,1,1,i,i,X,P,X,x,0,6,1,0,3,9,X,这就是该马尔可夫链的,稳态分布,而且也是,平稳分布,33,马尔可夫链预测法,马尔可夫链预测方法的最简单类型是预测下期最可能出现的状态,步骤,第一步,划分预测对象所出现的状态,从预测目的出发，考虑决策需要来划分现象所处的状态,第二步,计算初始概率,据实际问题分析历史资料所得的状态概率称为初始概率,第三步,计算状态转移概率,第四步,根据转移概率进行预测,由状态转移概率矩阵,P,如果目前预测对象处于状态,E,i,这时,P,ij,就描述了目前状态,E,i,在未来将转向状态

23、,E,j,j,1,2,N,的,可能性,按最大可能性作为选择原则：选择,P,j,1,P,j2,P,jN,中最,大者为预测结果,34,二、马尔可夫链预测法的应用,例,1,流行病预测,问题提出,某市,1995,年至,2010,年肾综合征,出血热,HFRS,的发病率分别为,单位,1/10,万,2.95,6.28,10.28,7.01,7.36,13.78,33.93,35.87,33.40,28.38,30.50,33.79,39.70,30.39,39.70,33.59,预测疾病的发展变化趋势，为预防和控制疾病,提供依据,35,问题求解,首先根据资料将发病率划分为四个状态，统计各,数据的状态归属及各

24、状态出现的频率（初始概率）得下表,某市,HFRS,流行状况,年份,发病率,1/10,万,状态,年份,发病率,1/10,万,状态,1995,2.95,1,2003,33.40,4,1996,6.28,1,2004,28.38,3,1997,10.28,2,2005,30.50,4,1998,7.01,1,2006,33.79,4,1999,7.36,1,2007,39.70,4,2000,13.78,2,2008,30.39,4,2001,33.93,4,2009,39.70,4,2002,35.87,4,2010,33.59,4,状态,1,2,3,4,发病率取值范围,X10,10,X20,20

25、,X30,X,30,36,各状态取值范围及初始概率,状态,发病率取值范围,初始概率,1,X10,4/16,2,10,X20,2/16,3,20,X30,1/16,4,X,30,9/16,37,由上表可得各状态的转移频率即状态转移概率的估,计值，从而得模型的一步转移概率矩阵,875,0,125,0,0,0,1,0,0,0,5,0,0,0,5,0,0,0,5,0,5,0,1,9,7,1,9,1,0,0,1,0,0,0,2,1,0,0,2,1,0,0,4,2,4,2,P,38,分析预测,由于,201010,年处于状态,4,比较,P,的第,4,行,的四个数字知,最大，所以预测,2011,年仍处于状态,

26、4,即发病率大于,30/10,万同样,从二、三、四步转移矩阵知，依然是状态,4,转入状,态,4,的概率最大，所以预测,2011-2014,年该市的,HFRS,发病率将持续在大于,30/10,万（高发区）水,平，这提醒我们应该对此高度重视，采取相应对,策,875,0,44,p,39,可认为,HFRS,下一年的发病率只与当年发,病率有关，而与过去的发病率无关，且任意时,期的一步转移概率矩阵不变，从而满足无后效,性和平稳性的假设，因而可用初始分布为,4/16,2/16,1/16,9/16,，转移概,率矩阵为,P,的,马氏链模型,来预测,HFRS,发病率未,来的情况,40,计算多步转移矩阵,8906,

27、0,1094,0,0000,0,0000,0,8750,0,1250,0,0000,0,0000,0,4375,0,0625,0,2500,0,2500,0,2500,0,0000,0,2500,0,5000,0,2,2,P,P,8887,0,1113,0,0000,0,0000,0,8906,0,1094,0,0000,0,0000,0,5703,0,0547,0,1250,0,2500,0,3438,0,0312,0,2500,0,3750,0,3,3,P,P,41,8889,0,1111,0,0000,0,0000,0,8887,0,1113,0,0000,0,0000,0,6162,0

28、,0713,0,1250,0,1875,0,4570,0,0430,0,1875,0,3125,0,4,4,P,P,n,n,P,lim,1,4,1,4,3,2,1,4,3,2,1,k,k,p,P,p,p,p,p,p,p,p,p,计算极限,或解方程,得模型的极限概率分布（稳态分布,0,0,1/9,8/9,42,注意,1,如果转移概率矩阵始终不变，从极限分布看，最,终,HFRS,发病率将保持在高发区水平，当然，这应,该是不会符合实际情况的，因为随着各方面因素的,改变，转移概率矩阵一般也会发生变化所以,Markov,模型主要适用于短期预测,2,在卫生管理事业中，用,Markov,模型还可预测,医疗器

29、械、药品的市场占有率，药品的期望利润,收益等,43,3,在经济金融领域，用,Markov,模型还可预测股市,中股票价格走势，房地产销售价格预测及销售面积,预测和利润收益预测，销售的存储策略等均有,指导性建议,关键在于转移矩阵的确定及状态概率的确定,4,在工程建设领域，选址问题或者设备维修问题,也都可以应用,Markov,模型,44,例,5-8(P62,一家药厂需对厂里冷却泵进行季度定期维修,每次检查中，把泵按其外壳及叶轮的腐蚀程度定为五种状态中,的一种。这,五种状态,是,状态,1,优秀状态，无任何故障或缺陷,状态,2,良好状态，稍有腐蚀,状态,3,及格状态，轻度腐蚀,状态,4,可用状态，大面积

30、腐蚀,状态,5,不可运行状态，腐蚀严重,45,该公司可采用的维修策略有以下几种,单状态策略,处于状态,5,时才进行修理，每次修理费为,500,元,两状态策略,处于状态,4,和,5,时进行修理，处于状态,4,时的修理费用每,次为,250,元,处于状态,5,时的每次修理费用为,500,元,三状态策略,处于状态,3,4,5,时进行修理，处于状态,3,时的每次修理费,用为,200,元,处于状态,4,和,5,时的修理费用同前,目前，公司采用的维修策略为“单状态”策略,假定不管处于何种状态，只要进行修理，状态都将恢复为状态,1,已知在不进行任何修理时的状态转移概率，如下表所示,泵在周期,n+1,的状态,泵

31、在周期,n,的状态,1,2,3,4,5,1,0.00,0.60,0.20,0.10,0.10,2,0.00,0.30,0.40,0.20,0.10,3,0.00,0.00,0.40,0.40,0.20,4,0.00,0.00,0.00,0.50,0.50,5,0.00,0.00,0.00,0.00,1.00,问题：确定哪个策略的费用最低。目标为长期运行单位时间平均报酬,46,0,0.6,0.2,0.1,0.1,0,0.3,0.4,0.2,0.1,0,0,0.4,0.4,0.2,0,0,0,0.5,0.5,0,0,0,0,1,P,不维修时的状态转移概率矩阵,泵在周期,n+1,的状态,泵在周期,n

32、,的状态,1,2,3,4,5,1,0.00,0.60,0.20,0.10,0.10,2,0.00,0.30,0.40,0.20,0.10,3,0.00,0.00,0.40,0.40,0.20,4,0.00,0.00,0.00,0.50,0.50,5,0.00,0.00,0.00,0.00,1.00,47,1,P,0,1,9,9,0,1,7,0,0,1,8,0,0,2,5,2,0,1,9,9,5,0,0,0,1,9,9,9,9,5,j,v,i,r,j,与,i,无关,0,0,0,0,5,0,0,T,r,单状态策略下,1,0,0.6,0.2,0.1,0.1,0,0.3,0.4,0.2,0.1,0,0

33、,0.4,0.4,0.2,0,0,0,0.5,0.5,1,0,0,0,0,P,解得,从而,48,0,0,0,2,5,0,5,0,0,T,r,两状态策略下,2,0,0.6,0.2,0.1,0.1,0,0.3,0.4,0.2,0.1,0,0,0.4,0.4,0.2,1,0,0,0,0,1,0,0,0,0,P,0,0.6,0.2,0.1,0.1,0,0.3,0.4,0.2,0.1,0,0,0.4,0.4,0.2,0,0,0,0.5,0.5,0,0,0,0,1,P,2,P,0,2,6,6,0,2,2,8,0,2,4,1,0,1,6,8,0,0,9,7,0,1,6,8,2,5,0,0,0,9,7,5,0

34、,0,9,0,5,0,j,v,i,r,j,解得,从而,49,0,0,2,0,0,2,5,0,5,0,0,T,r,三状态策略下,3,0,0.6,0.2,0.1,0.1,0,0.3,0.4,0.2,0.1,1,0,0,0,0,1,0,0,0,0,1,0,0,0,0,P,0,0.6,0.2,0.1,0.1,0,0.3,0.4,0.2,0.1,0,0,0.4,0.4,0.2,0,0,0,0.5,0.5,0,0,0,0,1,P,3,P,0,3,5,0,3,0,0,1,9,0,0,9,5,0,0,6,5,0,1,9,2,0,0,0,0,9,5,2,5,0,0,0,6,5,5,0,0,9,4,2,5,j,v

35、,i,r,j,解得,从而,50,9,9,5,v,i,单状态策略下,两状态策略下,9,0,5,0,v,i,三状态策略下,9,4,2,5,v,i,因此，两状态策略为最优策略，平均每周期的费用为,90.50,元,51,例,基因遗传,背景,生物的外部表征由内部相应的基因决定,基因分优势基因,d,和劣势基因,r,两种,每种外部表征由两个基因决定，每个基因可以是,d, r,中的任一个。形成,3,种基因类型,dd,优种,D,dr,混种,H,rr,劣种,R,基因类型为优种和混种,外部表征呈优势；基因,类型为劣种,外部表征呈劣势,生物繁殖时后代随机地（等概率地）继承父、母的,各一个基因，形成它的两个基因。父母的

36、基因类型,决定后代基因类型的概率,完全,优势,基因,遗传,52,父母基因类型决定后代各种基因类型的概率,父母基因类型组合,后代各种,基因类型,的概率,DD,RR,DH,DR,HH,HR,D,R,H,1,0,0,0,0,1,1 / 2,1 / 2,0,0,1,0,1 / 4,1 / 2,1 / 4,0,1 / 2,1 / 2,3,种基因类型,dd,优种,D,dr,混种,H,rr,劣种,R,完全优势基因遗传,P,D,DH,P,dd,dd,dr,P,d,dd,P,d,dr,P,R,HH,P,rr,dr,dr,P,r,dr,P,r,dr,1,1/2,1/2,1/2,1/2,1/4,53,随机繁殖,设群体中雄性、雌性的比例相等,基因类型的分布相同（记作,D,H,R,每一雄性个体以,D,H,R,的概率与一雌性个体,交配，其后代随机地继承它们的各一个基因,设初始一代基因类型比例,D,H,R,a,2,b,c,a+2b+c,1,记,p=a+b, q=b+c,则群体中优势,基因和劣势基因比例,d,r=p,q,p+q,1,假设,建模,状态,X,n,1,2,3,第,n,代的一个体属于,D, H, R,状态概率,a,i,n