马尔科夫转移矩阵模型

1、马尔柯夫转移矩阵法马尔柯夫转移矩阵法-马尔柯夫过程和风险估计由于风险过程常常伴随一定的随机过程，而在随机过程理论中的一种重要模型就是马尔柯夫过程模型。马尔柯夫转移矩阵法-马尔柯夫预测法马尔柯夫预测以俄国数学家A.A.Markov名字命名，是利用状态之间转移概率矩阵预测事件发生的状态及其发展变化趋势，也是一种随时间序列分析法。它基于马尔柯夫链，根据事件的目前状况预测其将来各个时刻(或时期)的变动状况。1 .马尔柯夫链。状态是指某一事件在某个时刻(或时期)出现的某种结果。事件的发展，从一种状态转变为另一种状态，称为状态转移。在事件的发展过程中，若每次状态的转移都仅与前一时刻的状态有关，而与过去的状

2、态无关，或者说状态转移过程是无后效性的，则这样的状态转移过程就称为马尔柯夫过程。马尔柯夫链是参数t只取离散值的马尔柯夫过程。2 .状态转移概率矩阵。在事件发展变化的过程中，从某一种状态出发，下以时刻转移到其他状态的可能性，称为状态转移概率，只用统计特性描述随机过程的状态转移概率。若事物有n中状态，则从一种状态开始相应就有n个状态转移概率，即。将事物n个状态的转移概率一次排列，可以得到一个n行n列的矩阵：3 .马尔柯夫预测模型。一次转移概率的预测方程为：式中：K第K个时刻；S(K)第K个时刻的状态预测；S(0)对象的初始状态；P一步转移概率矩阵。应用马尔柯夫预测法的基本要求是状态转移概率矩阵必须

3、具有一定的稳定性马尔柯夫转移矩阵法-4.1马尔柯夫过程在一个随机过程中，对于每一t0时刻，系统的下一时刻状态概率仅与t0时刻的状态有关，而与系统是怎样和何时进入这种状态以及t0时刻以前的状态无关(即所谓无后效性)，这种随机过程称为马尔柯夫随机过程。对随机过程X(t)取确定的n+1个时刻t0vt1vt2vvtn,对应实数x0,x1,x2,xn,如果条件分布函数满足：则随机过程X(t)即为马尔柯夫过程的数学描述。依过程参数集和状态集的离散与连续性，马尔柯夫过程可分为马尔柯夫链-时间和状态均离散的过程、连续马尔柯夫链-时间连续和状态离散、连续马尔柯夫过程-时间连续和状态连续。马尔柯夫转移矩阵法-4.

4、2马尔柯夫过程与风险估计从定义中可知，确定某一时刻的风险状态后，该风险转移的下一个状态所服从的概率规律，可以用马尔柯夫过程的数学描述估计出来。马尔柯夫风险过程的重要假定是在一定时间和客观条件下，风险状态的转移概率固定不变。转移概率是在给定时刻风险状态相关之下的下一时刻条件概率；转移概率构成的矩阵称为转移矩阵，矩阵中各元素具有非负性，而且行的和值为1。例如某雷达每次开机状态记录如表4所示。由于雷达下一次开机状态只与现在的开机状态有关，而与以前的状态无关，所以它就形成了一个典型的马尔柯夫链。取P11一开机连续正常状态的概率，P12一由正常状态转不正常的概率，P21一由不正常状态转正常的概率，P22

5、一开机连续不正常状态的概率。由表4可知，在23次开机状态统计中，11次开机正常，3次连续正常，7次由正常转不正常；12次开机不正常，4次连续不正常，8次由不正常转正常；由于最后一次统计状态是开机正常状态，没有后继状态，所以P11=3/(111)=0.3,P12=7/(111)=0.7,P21=8/12=0.67,P22=4/12=0.33因为最后一次统计是正常状态，所以不正常状态的总数不减一。表4某雷达每次开机状态记录表类别开机次序1234567891011121314151617181920212223开机状态不正常正常正常不正常正常不正常不正常不正常常不正常常不正常不正常正常正常不正常正常

6、不正常不正常正常正常不正常正常状态取值21121222121221121221121由此产生出一步转移概率矩阵：这种依据初始状态的结果，利用固定的转移概率推算出下次结果的过程称为一阶马尔柯夫过程，依此类推有二阶、乃至n阶马尔柯夫过程。这一连串的转移过程就是马尔柯夫链。n阶马尔柯夫过程的结果概率向量等于最初结果概率向量乘以转移概率的n次哥：转移概率矩阵P为：显然，第24次开机状态就是下一轮统计的初始状态，假设第24次统计为开机正常状态，正常状态取值k=1,不正常状态取值k=2;则=1(概率为1),=0(概率为0)。所以，第25次统计状态为：第26次统计状态为：以此类推，；在转移概率固定不变的条件

7、下，当转移次数n足够大时，统计结果概率向量趋于稳定状态，当n继续增大时，稳定的概率向量基本保持不变，显然在渐进过程中稳定的概率向量取决于固定的转移概率而与初始概率向量大小无关。示例中固定的转移概率大小源于该雷达研制和生产过程的可靠性。由此可求出稳定的概率向量：设S(川=(x1,x2),则有根据矩阵乘法规则可得到下列联立方程组：求解得：x1=0.49,x2=0.51。S(8)=(0.49,0.51)。也就是说，该雷达由于可靠性决定了它的每次开机状态平均正常状态(k=1)的概率为0.49,不正常状态(k=2)的概率为0.51。示例中给出的初始概率向量为S(0)=(1,0)这一特殊情况，若其向量概率

8、值是介于01之间值时，初始概率向量将决定统计过程的最小次数，因为S(0)决定了马尔柯夫过程中达到稳定平衡状态的速度。如示例中S(n)的n阶次值分别为：S(3)=(0.46317,0.53683)S(4)=(0.4986271,0.5013729)S(5)=(0.485507973,0.514492027)S(6)=(0.49036205,0.50963795)S(7)=(0.488566042,0.511433959)S(8)=(0.489230566,0.510769436)最小次数n取5或6即可。从以上示例可以看出，对于武器装备在论证、研制和生产中形成的可靠性、维修性因素和那些临时替代装备

9、等，具有性能等方面的重复性，其转移概率是基本固定的一类风险，应用该方法十分有效。而对于需求类风险和绝大多数风险来说，转移概率并不固定，只是在不同时期具有一定的阶段固定性，我们可以找分阶段地运用此方法进行分析。这对于研究长远发展战略、规划、计划等预测过程中，带有阶段性转移概率特征的风险是非常有用的。马尔柯夫转移矩阵法基本思路：通过具体历史数据的收集，找出过去人事变动的规律，由此推测未来的人事变动趋势。它的典型步骤如下：(1)根据组织的历史资料，计算出每一类的每一员工流向另一类或另一级别的平均概率；(2)根据每一类员工的每一级别流向其他类或级别的概率，建立一个人员变动矩阵表；(3)根据组织年底的种

10、类人数和步骤(2)中人员变动矩阵表预测第二年组织可供给的人数。对事件的全面预测，不仅要能够指出事件发生的各种可能结果，而且还必须给出每一种结果出现的概率。马尔可夫(Markov)预测法，就是一种预测事件发生的概率的方法。它是基于马尔可夫链，根据事件的目前状况预测其将来各个时刻(或时期)变动状况的一种预测方法。马尔可夫预测法是对地理、天气、市场、进行预测的基本方法，它是地理预测中常用的重要方法之一。马尔柯夫转移矩阵法-马尔可夫过程：在事件的发展过程中，若每次状态的转移都仅与前一时刻的状态有关，而与过去的状态无关，或者说状态转移过程是无后效性的，则这样的状态转移过程就称为马尔可夫过程。例如:例1:

11、人民生活水平可分为三种水平状态：温饱、小康、富裕。例2:企业经营状况可分为：盈利、不盈不亏、亏损。例3:商品销售状况可分为：畅销、平销、滞销。状态转移举例：例4:营业情况由盈利一亏损。例5:商品由畅销一滞销。马尔柯夫转移矩阵法-公式说明：设系统有N个状态曰(i=1,2,，N),以状态变量xt=i表示在时刻tn处于Ei(i=1,2,，N),如果系统在时刻tn处于日而在日刻tn+1转移到Ej的概率只与Ei有关而与tn以前处的状态无关，则此概率可表示为：Pij=P(EiEj)=P(xn+1=jIxn=i)并称为一步转移概率。0WPij<1汇Pij=1所有Pij构成的矩阵为(矩阵图，略)：预测模型：设系统有N个状态曰(i=1,2,，N),用Pi表示系统在k时期处于状态日(i=1,2,，N)的