随机过程报告——马尔可夫链

1、马尔可夫链马尔可夫链是一种特殊的随机过程，最初由 A.A .M arkov所研究。它的直观背景如下：设有一随机运动的系统E (例如运动着的质点等)，它可能处的状态记为E°,Ei,.,En,总共有可数个或者有穷个。这系统只可能在时刻 t=1,2,n，上改变它的状态。随着的运动进程，定义一列随机变量Xn,n=0,1,2,?其中Xn=k,如在t=n时，位于Ek。定义1.1设有随机过程Xn, nT ，假设对任意的整数n T和任意的10,11,门1I,条件概率满足0P X n 1 in1Xo i o X n JPXn1 imXn in那么称Xn，n T为马尔可夫链，简称为马氏链实际中常常碰到具

2、有以下性质的运动系统如果己知它在t=n时的状态,那么关于它在n时以前所处的状态的补充知识，对预言在n时以后所处的状态，不起任何作用。或者说，在己知的“现在的条件下，“将来与“过去是无 关的。这种性质，就是直观意义上的“马尔可夫性，或者称为“无后效性。假设马尔可夫过程Xn，n T的参数集T是离散时间集合，即T=0,1,2,其相应Xn可能取值的全体组成的状态空间是离散状态空间匸1,2,.。定义1.2条件概率PF pXm jXn i称为马尔可夫链X n， n T在时刻n的一步转移矩阵，其中i，j I，简称为转 移概率。一般地，转移概率P(n)不仅与状态i,j有关，而且与时刻n有关。当P(n)不依赖

3、于时刻n时，表示马尔可夫链具有平稳转移概率。假设对任意的i , j I，马尔可夫链Xn,n T的转移概率Pij(n)与n无关，那么称马尔可夫链是齐次的。定义1.3设p表示一步转移概率p,所组成的矩阵，且状态空间 仁1,2，n,那么f_、Pu Pz Pn v=P2P 沁I 称为马尔可夫链的一步转移概率矩阵。它具有如下性质:(2)Rj1,i I(1) Rj 0, i,j I；. j 1定理1.1设Xn, n T为马尔可夫链，那么对任意的 2，.儿I和n 1,有- 。这说明马尔可夫链的有限维分布完全由它的初始概率和一部转移概率所决定。因此，只要知道初始概率和一部转移概率，就可以知道马尔可夫链的统 计

4、特性。定义1.4假设Xn，n 0是齐次马尔可夫链，其状态空间为I，转移概率为Rij， 称概率分布 j , j I 为马尔可夫链的平稳分布，假设它满足I运f工巧=1宀0对于不可约马尔可夫链，假设它的状态是非周期，正常返的，那么它是遍历的；对 于不可约马尔可夫链，假设它的状态是有限且非周期的，那么它是遍历的。值得注意的是，对于一个马尔可夫链，并不是一定存在lim p(n)。例如设马尔可n夫链的一部转移矩阵为：(q np三.oj易知p(2n)I (单位矩阵)，p(2n 1) p，所以lim p(n)不存在在随机过程理论中，马尔可夫链是一类占有重要地位，具有普遍意义的随机 过程。它广泛应用于现代社会的

5、各个领域， 尤其在预测领域有着广泛的应用。 马 尔可夫链的预测方法分为很多种。根据指标值序列分组有3种。1数据序列约定俗成的分组方法：根据人们长久 的经验进行分组：由于人们在现实生活中积累了生活经验，人们对认识的事物有 了感性的了解，就可以对现象进行分组。2样本均值一均方差分组法：对于数据序列捲山2,.,冷，可看作是一个时间序列的前n个观测值，算出样本均值X和样 本均方差s，根据具体情况以样本均值为中心，s为标准进行分组。3有序聚类分组法：有序聚类是对有序样品进行分类的一种方法， 更加充分地考虑序列的数据结构，使划分的区间更加合理。有序聚类实现的经典算法是Fisher算法，其基 本原理为：设时

6、间序列Xi,X2,.,Xn的某一归类是定义其均值向量为将公式沪士眺-鬲0 -為定义为Xi，X2，.,Xn的直径，其含义表示该变量段部各变量之间的差异情况。其 值越小，表示该段变量之间差异越小，或说相互间越接近；反之，表示该段 变量之间差异越大，或说相互间越分散。三种马氏链预测方法：1基于绝对分布的马尔可夫链预测步骤1对历史数据进行分组；步骤2确定观测值的状态，写出频数矩阵nji，j e,和一步转移矩阵fji，j e，n 其中fj二；，其中n为样本容量，当时n ，可用频数估计概率Pj fj, 从而得到一步转移概率矩阵Pl Pij。步骤3 “马氏性检验步骤4时刻I时系统取各个状态的概率可视为马尔可

7、夫链的初始分布, 比方x1取状态2, m=5，那么始分布P0=0，1，0，0，0，于是I+1时的绝对分布pip0pR,p22 , Pa3 ,p44 R，可认为时刻1+1时系统所取的状态j满足Pl maxPi，从而预测1+ t时刻的状态1 i 5步骤5还可以用马氏链的平稳性，遍历性对系统分析。2叠加马氏链预测步骤1对历史数据进行分组；步骤2计算各阶的一步转移矩阵R, P2,.R，I 12k，其中Pfj2i,j En2n- 2，其他类推。步骤3 “马氏性检验步骤4如果要预测时刻1+1的状态，可分别利用1, 1-1, ? ,1-k+1作为初始态，i+1所处的状态j满足匕max p门。列表分析初姑时段

8、状态1P一 :,2345来猾14%P蛙£1-23打2Pj?3屈合计屜图1叠加马氏链预测分析表步骤5重复步骤1-4递推预测；步骤6进行平稳性，遍历性与其他分析。3加权马氏链预测步骤1对历史数据进行分组；步骤2计算各阶的一步转移矩阵R, P2,Pk，I 1,2,.k，其中F2fj2i,j en2)ijn- 2其他类推步骤3 “马氏性检验；步骤4计算各阶相关系数: 工(无-1 匸1计算规的相关系数：A步骤5预测n+1时刻的状态步骤6重复1-5，预测n+2时刻的状态，其余类推步骤7讨论其他性质。马尔可夫预测方法是马尔可夫链在预测领域的一种应用方法。最初这种方法在水文，气象，地震等方面有广泛的

9、应用，之后经济学家将其应用于研究市场占有 率，预测经营利润等方面。在马尔可夫预测方法中，一个非常重要的问题就是对 一步状态转移概率矩阵的估算。下面以实例分析马尔可夫链在现实生活中的应用。下面给出长江水域6类水质所占的比例。年份时闻t1英11类【董IV娄丫类肴V典014托5,5K,92.71,72.5l<W6I12,2lh. 254.49.5183.9199710.513.643.226.0J.23.5I99S313.925.646.2K.22.73.445 041.730 ?2.42Q5.7200057.4扭2加14.95.962(MI60.934. 336 15&37.420(

10、127卩831. 116. 12.QU.42021X1 . 3甥彳41 79,和?,414.5KN4yOS?25.740.2i. i5 2“一0现在要对长江未来10年的水质污染的开展趋势做一个总体的预测。为此可建立长江水质污染的马尔可夫链趋势预测的一步转移概率矩阵估计的最优化模型。设枯水期长江全流域水质在第t年属于I类、U类、川类、W类、V类、劣V类这6类状态的比例向量分别为(t)(Pt(1),Pt(2),.p(6),t0,1,2,.9.设P (Pj)66为6类状态矩阵的一步转移概率，根据误差平方和到达最小的准那么,建立如下最优化模型:min/(尸)=工十 1) -十 1) 一 “Q)尸厂t=

11、0用matlab软件求解得A 46() 7()0.539 30.00() 00. 000 00JXJ0 0()_ 034 5IJ.277 X0- 5(M 9U.061 20.1)60 30.(X11 40. (X)D (1(1.270 5VV)呂(L323 0D, 000 <10.014 2A 000 0L ()00 00* 000 0CL 000 00.000 00.000 0-0_ 000 00.110 70.174 70.000 00. 00() 00.174 6-由下式a(9 + k) = “(9)尸/ = I 20可以对长江未来10年的水质污染属于I类、U类、川类、W类、V类、

12、劣V类这6类状态的比例向量作出预测，预测结果见下表吋间11娄II克喪511)30 3 抽 3-hI4.6IN 63.425 ()L L IK5 72UD61L5.135 72S.655 113.57J 33.S2? H16 g叭2007125. 539 62H.235 137.422 214. 029 3A K22 010.460 4S.784 9|38.04V 3B.976 81792 1ID. 1 的 1200014170 II38. 144 214.016 U丄阴I2DJ0155.W1 bJX. ；h . J,站一 I9L 514.044 tii. 8004虫 K57 b2CII165.7072S.194 3轴洌gU.OfiOrii.血73012175.W7 228.206 738.255 114.(173 7V8D6 69,两42021is5.W7 328.217 3272 914, 082 7乂 808 72021196 .003 K28.22? 238.285 514.0805.SL0 39.614 4从预测计算结果可以看出：枯水期长江全流域水质属于W类、V类、劣V类这3类状态的比例并没有发生根本性的减少，水质污染程度依然十分严重。因此我们要采取积极措施，例如要严加控制企业废水和城市生活垃圾乱排乱 放，政府要大力推进城市开展生态农业和有机农业， 综合防治