马尔柯夫状态转移图与转移矩阵(ppt 24页).ppt

16.05.2020,马尔柯夫过程,潘尔顺副教授上海交通大学工业工程与管理系,16.05.2020,主要内容,基本概念马尔柯夫过程马尔柯夫状态转移图马柯夫转移矩阵,16.05.2020,基本概念,随机过程（RandomProcess）随机事件的变化过程。随机过程无确定的变化形式及必然的变化规律，因而不可能用精确的数学关系式来表达，但可用随机函数来描述。随机函数X(t)在时间t1时的取值，称为X(t)在t=t1时的状态，它也是随机变量，而t则称为过程参数。两者所有可能值的集合，分别称为“状态空间”和“参数空间”,16.05.2020,基本概念,当系统完全由定义状态的变量值来描述时，则称这个系统处于一种状态。当描述系统的变量从一种状态的特定值变化到另一种状态的特定值时，则称改系统实现了状态的转移。马尔柯夫过程就是研究系统的“状态”与“状态”间的相互转移关系的。状态转移图-图15-4,16.05.2020,马尔柯夫过程,在系统可靠性的研究中，值得注意的一种性质就是随机变量X(t)在任意时刻tn时的状态X(tn)与过去所有时刻ti(1in-1)时的状态X(ti)间的关系。对于这一性质，可用下述条件概率来描述：当随机过程中出现的系统状态已定时，则出现下一个系统状态X(tn)=xn的条件概率为则称,16.05.2020,马尔柯夫过程,当条件概率为时，则称X(tn)与过去历史无关，即为独立随机过程当条件概率为时，则称X(tn)仅与前一状态X(tn-1)有关而与更前的状态无关。这一随机过程就是最简单的马尔柯夫过程，称为“一步马尔柯夫过程”或“简单马尔柯夫过程”,16.05.2020,马尔柯夫过程,将上述过程推广到一般，则马尔柯夫过程是这样一种随机过程，即其随机变量在任意时刻tn时的状态X(tn)，仅与其前有限次数之内的状态X(tn-i-1),X(tn-i-2),X(tn-i)有关，而与以前的状态无关。马尔柯夫过程所具有的这种更以前的各种状态不影响现状态X(tn)的性质，称为“马氏性”或“无后效性”，“无记忆性”。而马尔柯夫过程又称为“无记忆过程”。,16.05.2020,马尔柯夫过程,为了方便，现将状态X(tn)记为j,X(tn-1)记为i，则式可写为条件概率Pij称为过程从状态i到状态j的转移概率。如果马尔可夫过程从一个给定状态向另一个状态转移的概率仅与两状态的相对时间有关，而与观测时刻无关，或具体观测时间变化时其转移概率值仍不变，即则称为“稳态马而可夫过程”，“平稳”，“齐次”。,16.05.2020,马尔柯夫状态转移图,马尔可夫的状态转移，可用马尔可夫状态转移图来说明例：一台可修复的设备存在着正常运行状态i和故障状态j间的状态转移问题。如果该设备在运行了一段时间后处于状态i的概率为2/3，则它转移到状态j的概率为1-2/3=1/3。简记为Pii=2/3，Pij=1/3。反之，如果该设备处于状态j而经过维修后转移到状态i的概率是3/4，那么它处于状态j的概率则为1-3/4=1/4，简记为Pji=3/4,Pjj=1/4,16.05.2020,马尔柯夫状态转移图,用马尔可夫状态转移图可以简单而清晰地反映这一过程。因此，在用马尔可夫过程求解系统或设备的状态概率时，应首先作出相应的状态转移图，并填入有关概率值，则会一目了然并方便求解。,i,j,图2马尔可夫状态转移图,16.05.2020,马尔柯夫转移矩阵,图2所示的马尔可夫状态转移过程，也可用马尔可夫转移矩阵或简称“转移矩阵”，“概率矩阵”来表达：矩阵中的元素均为转移概率，例如，Pij为由状态i至状态j的转移概率。矩阵行的位置为状态转移的起始位置，矩阵列的位置为状态转移的达到位置。,16.05.2020,马尔柯夫转移矩阵,对于n状态的系统，若可能产生的状态为S1,S2,Sn，且在状态Si产生后，状态j产生的条件概率为Pij（转移概率），若由最初的分布中随机地选出Si的概率为ai，则当此事件群的条件概率为一定值且关系式成立时，称此关系式为马尔可夫链。当可能产生的状态为有限个时，又称为有限马尔可夫链。,16.05.2020,马尔柯夫转移矩阵,且有,n状态系统的转移矩阵为nn的方阵,转移矩阵的各元素均为不大于1的非负元素，而每一行中的各元素之和均等于1。,16.05.2020,马尔柯夫转移矩阵,系统初始状态的概率向量由分量组成：当从某一状态I开始时，通常取该状态的概率分量Pi=1,而其它分量取为0,16.05.2020,例题某系统的状态转移图如图所示。若该系统的初始状态的概率向量，求各次转移后系统所处的状态。当又该如何？,马尔柯夫转移矩阵,解：由图可知转移矩阵为,16.05.2020,由得,马尔柯夫转移矩阵,16.05.2020,当时,马尔柯夫转移矩阵,16.05.2020,马尔柯夫转移矩阵,随着转移步数n的增加，状态趋于稳定。稳定状态的概率称为极限概率。例如上题中最后稳定在：正常状态为4/9；故障状态为5/9，这是极限状态概率。马尔可夫过程的特性之一，就是它的极限状态矩阵与初始状态无关或极限状态概率与初始状态无关。这种过程称为“各态历经过程”或“遍历过程”，其状态转移矩阵称为“遍历矩阵”。,16.05.2020,马尔柯夫转移矩阵,例题试检验矩阵是否为遍历矩阵解：将大于0的元素均以x表示，检验经n次方计算后矩阵的各元素是否均大于0,16.05.2020,马尔柯夫转移矩阵,可见矩阵P为遍历矩阵,16.05.2020,马尔柯夫转移矩阵,当概率矩阵P为正规的遍历矩阵时，则具有以下性质：Pn随着转移步数n的增加而趋于某一稳定矩阵。即各态转移的概率趋于稳定；稳定矩阵的各元素均大于0；稳定矩阵的各行是同一