Markov链在工程上的应用综述

Markov链在工程上的应用综述马尔科夫链预测法是一种适用于随机过程的科学、有效的动态预测方法，它是应用概率论中马尔可夫链的理论与方法，来研究分析某些动态系统的发展变化过程，并预测其发展变化趋势的一种预测方法，它是现代预测方法中的一种，具有较高的科学性，准确性和适应性，在现代预测方法中占有重要的地位。在国外，它不仅广泛应用在自然科学领域，还应用在经济领域。在我国，它主要应用于水文，气象，地震等自然科学技术的预测，近年在产品市场占有率预测和经济决策中也有所应用。―、Marcov过程简述Markov过程是一类特殊的，也是很普遍的随机过程。原始形式的马尔可夫过程——马尔科夫链最早由Markov（1907年）提出。故名为Markov过程。马尔可夫过程是一种无后效性过程。所谓的“无后效性”是指：当过程在时刻t所m处的状态为已知时，过程在大于t时刻所处的状态的概率特性只与过程在t时刻所处的m m状态有关，而与过程在t时刻以前的状态无关。若把t作为“现在”，t以后的时间作m m m为“将来”，t之前时间称为“过去”，则无后效性也可理解为：过程在已知现在状态的m条件下，将来的状态只与现在的状态有关，而与过去的状态无关。马尔可夫过程还有一个重要特性，即它的稳定性。即在较长时间后，马尔可夫过程逐渐趋于稳定状态，而与初始状态无关•状态是指系统可能出现或存在的状况，如产品在市场上可能畅销，也可能滞销，同一事物的不同状态相互之间是独立的，即事物不能同时存在两种状态。状态转移是指系统由一种状态到另一种状态的变化。系统的状态不是固定不变的，它可能处在这种状态，也可能处在那种状态，往往因条件的变化而发生变化。用于描述状态由一种状态转移到另一种状态的可能性的量度为转移概率。把从一种状态直接变到另一种状态的转移概率称为一步转移概率，它具有两个特性：pjj三0,pjj为从第i状态向第j个状态的转移概率2.i=12.i=1Pij=1.而描述从一种状态经过n步才能到达要求状态的概率称为n步转移概率。条件概率｛P｛x =j/X=i｝称为马尔可夫过程｛Xn,neT｝在时刻m的n步转移概率，当该转移概m+n mpipn-l

ikki率与起始状态时刻mpipn-l

ikki1.pn=X...X...工pp...pikkJ k,1 12 n-1KeI2Pn=•j1 n-1在进行马尔可夫分析时，我们假定：(1)预测期系统状态数保持不变。(2)系统状态转移概率矩阵不随时间变化。(3)状态转移仅受前一状态影响，即马尔可夫过程的无后效性。维纳(wiener)过程和泊松(passion)过程为两个比较重要的马尔可夫过程；泊松过程对应时间连续，状态离散的马尔科夫过程，维纳过称对应时间连续，状态连续的马尔科夫过程。二、马尔可夫链马尔可夫链是时间离散，状态也离散的马尔可夫过程。设随机过程｛x(n),n二0,1,2,...｝离散状态空间E为｛1,2,...｝或｛1,2,...,n｝，当根据实际需要离散状态空间亦可取E二｛0,1,2,...｝或E二2,—1,0,1,2,...｝而有限多个状态空间有时取E=｛0,1,2,...,N｝。定义：设随机序列｛X(n),n=0,1,2,...｝的离散状态空间为E,若对任意m个非负整数n,n，…,n(0<n<n<...<n)和任意自然数k,以及任意i,i，…i,jeE，满足：TOC\o"1-5"\h\z1 2 m 1 2 m 1 2mP｛X(n+k)=jIX(n)=i,X(n)=i，…X(n)=i｝m 11 2 2 mm=P｛X(n+k)=jIX(n)=i｝m mm则称｛X(n),n=0,1,2,...｝为马尔可夫链。式中n表示现在时刻，n,n,...,n为过m 1 2 m—1去时刻，n+k表示将来时刻，此时表示在将来n+k时刻处于j状态仅依赖于n时刻m m m状态，而与过去m-1个时刻n,n,...,n的状态无关。记P｛X(n+k)=jIX(n)=i｝为12 m—1P（n，nk），为马尔可夫链在n时刻的k步转移概率。当k步转移概率与起始时刻n无关ij m时，则称为时齐的马尔可夫过程，记为P（k）。ij三、马尔可夫链在工程上的应用3.1Markov链在可靠性等领域的应用马尔可夫链可用于多方面的故障检测和可靠性分析，比如软件可靠性分析。软件质量问题已成为软件工程领域关注的热点，为了提高软件测试效率、改善软件质量，Prooe在净室软件工程的思想上，重点对基于Markov链使用模型的软件统计测试（简称统计测试）进行了详细论述，强调在测试过程中通过某种方式近似地模拟软件真实的运行，并通过测试被测软件使用全集的某个子集的表现，反映系统整体性能。测试的基本过程要求首先确定一个以概率方式定量描述软件系统使用过程的统计模型，即Markov链使用模型，该使用模型能够以统计方式反映软件结构特性与行为特性，通过对使用模型进行统计学计算、分析，进一步改进和完善模型，并最终完成对模型合理性的验证。依据最终获得的使用模型及其相应的模型分析结果，结合测试资源和测试时间，可以制定出高效、可行的测试计划。测试用例依据使用模型随机生成，用例能够合理地反映软件使用的统计规律，所得到的测试结果能够真实地反映软件的行为特征。最终，利用收集到的失效数据进行软件可靠性定量确认和验证，有效地保证了软件质量。3.2Markov链在科学中的应用马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。马尔可夫链最近的应用是在地理统计学中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学，被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。3.3Markov链理论在卫生经济领域的应用Markov模型是模拟随时间发生的随机事件的过程,近年来逐渐被应用于卫生经济研究，如疾病的筛检或临床干预措施的决策分析、药物经济学评价等等。其原理是将疾病划分为几个不同的健康状态（Markov状态），根据各状态在一定时间内（Markov循环）相互间的转换概率模拟疾病的发展过程,并结合每个状态上的健康效用值和资源消耗,通过多次循环运算估计疾病发展的结局及费用。应用的基本过程：一、 根据研究目的和疾病的自然病程设立Markov状态,确定各状态间可能存在的相互转换。二、 确定循环周期和每个周期中各状态间的转换概率。三、 确定各状态的健康效用值及其在每个周期中的资源消耗。健康效用值(Health-stateutility)是计算质量调整生命年(Qualityadjustedlifeyear,QALY)时所用的生命质量调整权重，通常为0〜1的数值。四、 通过运算估计疾病发展过程及其相应的费用和效用。首先计算出每个循环周期内各状态的分布概率。研究对象在每个周期内存活的时间为£t,ts为非死亡状态Sss=1上的时间。在达到终点之前，所有n个循环周期上的存活时间之和即为研究对象的期望寿命。结合各状态的健康效用值us和费用cs,计算出每个循环周期内的质量调整生命年数£txu和消耗的费用工tXc。累积分析期内所有循环上的值，即可得到研究对象ss sss=1 s=1在整个过程中的QALY或费用。五、 计算卫生经济学评价指标。一项临床干预措施，可能影响病人在各状态上的分布，也可能影响状态间的转换率即疾病的进程，可分别用不同的Markov模型估计不同干预措施下研究对象的期望寿命、QALY或费用，并进行相关的经济学评价。3.4马尔科夫链在金融经济领域的应用利用马氏链可以对股票的价格进行分析和预测。经过检验我们发现：不仅单支股票价格变化的时间序列可以看作是一个马尔可夫过程，而且单支股票的预期收益时间序列、整个证券市场的股指、证券组合的综合价格与预期收益时间序列都符合马氏性。因此，针对我国股市波动幅度较大，受较多不规范因素的影响而表现出极强的随机性，我们可以考虑将马尔可夫链引入到上述的各方面，探讨更加切合我国证券市场实际的投资策略。把证券市场的市价和各种收益的变化的时间序列视为马尔可夫链，则可按转移概率，根据当前的状态预测以后的状态，从而采取相应的策略，这就是运用马尔可夫链的方法进行股市分析的基本思想。对股市行情的预测。将Markov过程理论，应用于股票交易市场，对股价综合指数的涨(跌)幅度，进行状态分类，建立起对市场运行周期、稳态概率、稳定程度、投资利润等的分析预测模型，并利用这一模型对上海证券交易所股价综合的部分历史数据作了相应的分析，得到了较为理想的结果。市场占有率及期望利润的马尔可夫链预测。运用马尔可夫链理论对商品销售的市场占有率预测和期望利润预测进行了研究，实例表明：马夫可夫链是预测市场占有率和期望利润的有力工具。坐■总结马尔可夫链在工程领域有着广泛的应用。由于马尔可夫链有无后效性，可利用现在的状态对未来状态进行预测，由于该方法对历史数据的要求较低、