马尔可夫过程及其应用

1、马尔可夫过程马尔可夫过程(Markov Proce ss)什么是马尔可夫过程1、马尔可夫性(无后效性)过程或(系统)在时刻 to所处的状态为已知的条件下，过程在时刻t > t0所处状态的条件分布，与过程在时刻to之前年处的状态无关的特性称为马尔可夫性或无后效性。即：过程将来”的情况与过去”的情况是无关的。2、马尔可夫过程的定义具有马尔可夫性的随机过程称为马尔可夫过程。用分布函数表述马尔可夫过程：设I:随机过程(X(t),tin T)的状态空间，如果对时间t的任意n个数值：PX(M) £ 5X(0) = (切=1第，=端(注:X(tn)在条件X(ti) = Xi下的条件分布函数)

2、=< 端= X-n-ln 丘 H(注:X(tn)在条件 X(tn- 1) = Xn-1 下的条件分布函数)或写成：-"如_ 1Jj 2 j ' h * r 正丑一11 1 p * j 扁1)| i tn |*n1) 1)这时称过程x(丘具马尔可夫性或无后性，并称此过程为马尔可夫过程。3、马尔可夫链的定义时间和状态都是离散的马尔可夫过程称为马尔可夫链，简记为Xn = X(n)m =-。编辑马尔可夫过程的概率分布研究时间和状态都是离散的随机序列困=xm = o,"-,状态空间为K = 口、业广七叫E H1、用分布律描述马尔可夫性对任意的正整数n,r和0 W力右 m

3、;t撰 n I m E京，有:PXgn = aj|Xtl = Qh, Xg = aiSr h * r =叫= %PXm + n = aj | Xm = di,其中免o2、转移概率称条件概率Pij(m,m + n) = PXm + n = aj | Xm = ai为马氏链在时刻 m处于状态ai条件下，在时刻 m+n转移到状态aj的转移概率。说明：转移概率具胡特点：+门)=撰=12&也 m+m+w)，由转移概率组成的矩阵y称为马氏链的转移概率矩阵。它是随机矩阵。3、平稳性当转移概率 Pij(m,m + n)只与i,j及时间间距n有关时，称转移概率具有平稳性。同时也称些 链是齐次的或时齐的。

4、此时，记 Pij(m,m + n) = Pij(n),Pij(n) = PXm + n = aj | Xm = ai(注：称为马氏链的 n步转移概率)P(n) = (Pj(n)为n步转移概率矩阵特别的，当k=1时,步转移概率： Pij = Pij(1) = PXm + 1 = aj | Xm = Si步转移概率矩阵：P(1)Xz的状态a. a j&P11PnPif的P11Pij二尸(1)状1 -态PilPil Py记为户*.*1编辑马尔可夫过程的应用举例设任意相继的两天中，雨天转晴天的概率为1/3，晴天转雨天的概率为1/2,任一天晴或雨是互为逆事件。以 0表示晴天状态，以 1表示雨天状态，Xn表示第n天状态(0或1)。试定出 马氏链 X心孔 N 1的一步转移概率矩阵。又已知 5月1日为晴天，问5月3日为晴天，5月5日为雨天的概率各等于多少？解：由于任一天晴或雨是互为逆事件且雨天转晴天的概率为1/3，晴天转雨天的概率为1/2,故一步转移概率和一步转移概率矩阵分别为：故5月1日为晴天，5月3日为晴天的概率为:5x)(2) = = 0.416