《马氏链及其应用》PPT课件

马尔科夫连原理及其建模实例,马氏链及其应用,1.一个简单的例子,我们知道，人寿保险公司最为关心的是投保人的健康与疾病以及相应的风险。通过下面的例子我们来看保险公司是如何处理这类问题的。,问题的提出,设表示年龄的时段，假定在一年中，今年健康而明年患病的概率是而今年患病明年转为健康的概率为假设一个人在投保时处于健康状态，我们来研究若干年之后他分别处于这两种状态的概率。,建模,用随机变量表示第年的状态，,以表示第年状态为的概率。即,以表示今年状态处于明年状态处于的概率，即,由全概率公式得到：,即,由假设，,再由于投保人处于健康状态，即,由此得到,若投保人在开始时处于疾病状态，即则有,从两张表中可以看到，无论投保人在初始时处于什么状态，当时间趋于无穷大时，该时刻的状态趋于稳定，且与初始值无关。即,意义若将众多投保人处于两种状态的比例，视为投保人处于两种状态的概率，例如健康人占3/4，病人占1/4，即则同样可计算出,由上面的分析可以看出，对于给定的状态转移概率，时的状态概率，趋向于稳定值，该值与初始值无关，这是马氏链的重要性质。,把人的死亡看作第三种状态，用来表示，相应的转移概率如下图表示。,仍以表示状态为时的概率，表示状态转移概率，即有,平行于式，有,设投保人在期初处于健康状态，则由可计算出若干年后他处于各个状态的概率。,表中最后一列数据是通过预测得到的。从表中的数据又可以看到，无论投保人在期初处于什么状态，当时，总有,2.马尔可夫链,假设1.系统是随时间的发展而离散为,2.在任何时刻，系统的状态为有限多个。在时间时，系统的状态的的取值为,3.在时刻时系统处于各状态的概率只与时刻时系统所处的概率与转移概率有关。,满足以上三个假设的系统的随机发展过程称为马尔可夫过程或马氏链。,设在时刻时系统处于状态的概率为,行向量,称为状态概率向量，由概率的意义，向量应该满足,及,设在时刻处于状态的系统转移到时刻处于的概率为它应该满足,1.,引如概率转移矩阵,由假设3，再由全概率公式得,用矩阵的方法来表示的话，可以写成,简单地可以写成,由此可得系统在时刻时的状态向量为,其中为时刻时系统的状态概率向量，又称为状态初始向量。,例在前两例中，初始向量与概率转移矩阵分别为,我们通过下面的例子具体说明：,上式表明在时刻时投保人处于患病状态的概率为：,从上面的例子中可以看出，对于马氏链模型，最重要的是构造状态及概率转移矩阵由此对于给定的初始状态由可计算出任意时刻的状态,正则链,定义一个有个状态的马氏链，如果存在正整数使从任意状态经次的转移，能以大于零的概率到达状态则称这样的链为正则链.,定理1设马氏链的转移矩阵为则该链为正则链的充分必要条件是存在使得,定理2正则链存在唯一的极限状态概率,满足与初始状态概率无关，且,及,例1设,则由此确定的马氏链为正则链。令满足式，即有,由此得到方程组,联系则得到,故方程组的解为,这和前面的结果是相吻合的。,例2设,因,故由此确定的马氏链是正则链。令,由方程，确定方程组,从方程中解出即,吸收链,定义如果存在某个状态转移概率则称状态是吸收的.如果马氏链中含有吸收状态,并且从每一个非吸收状态出发都可以达到某个吸收状态，则称这个马氏链为吸收链。,例如在前面三个状态的转移概率中，转移概率矩阵为,并且从每个状态最终都转移到第三种状态,因而这样的链是吸收链。,注吸收链的特征是：任一状态一旦进入该状态就将停留在该状态。,含有个吸收状态和非吸收状态的吸收链的状态转移概率矩阵的标准形式是,其中是单位矩阵。,定理3对于具有标准形式的状态转移概率矩阵，有如下的性质：,矩阵具有零极限，即,矩阵可逆且,记则矩阵的第行元素之和值是从非吸收状态出发被某个吸收状态吸收之前的平均转移次数。,记则矩阵的元素是从非吸收状态出发而被状态吸收的概率。,在前面的例2中,将改写成,则,则,应用基因遗传问题,生物的外部特征是由生物体内的基因决定的。基因分优势与劣势基因两种。分别表示为对于生物的某个外部特征，体内有两个基因与之对应。由于体内的每个基因都可以是两种基因之一，因此体内的基因对类型可能有三种：分别被称为优种、混种和劣种。按基因理论：含优种和混种的基因个体类型，其外部特征呈优势；而含劣势基因类型的个体，其外部特征呈劣势。,生物在繁殖时，后代随机地继承父亲和母亲的两个基因中的各一个而形成自己的基因对。因此后代成为优种、劣种、混种基因类型的概率是不同的。,下面讨论两种基因繁殖后代的情况,一、永远与混种繁殖后代的情况,假设一个个体是优种，而另一个个体是混种，则它们的直接后代成为优种、混种、劣种的概率分别为,假设一个个体是混种，而另一个个体是混种，则它们的直接后代成为优种、混种、劣种的概率分别为,假设一个个体是劣种，而另一个个体是混种，则它们的直接后代成为优种、混种、劣种的概率分别为,由此得到概率转移矩阵,由前面的例2知该链为正则链，极限状态概率向量为,上式表明，经过长时间的繁殖过程，后代的外部特征呈优势的概率是优种和混种概率的和，这个量与初始的个体所含基因的种类无关。,2.近亲繁殖的结果,假设最初的父母可以是优种、混种或劣种，它们有大量的后代，这些后代又随机地雌雄交配后代，今来分析它们后代的演变情况。,由于每次繁殖都是随机地配对父亲和母亲，而父亲和母亲可以是中的一种，组合后就有六种状态，分别记为当父母都是优种时，后代必然是优种因此有,同理，当父母都是劣种时，后代只能是劣种，由此得,当父母一方为而另一方为时，当前状态可能是因而再次配对产生的可能结果有,因此，有,当父母方为对时，其后代只可能是因而再次配对之后之可能产生所以,当父母方为对时，其后代可能是,甲乙,因而相应的概率为,所以概率转移矩阵为,从上面中