第14讲-马尔可夫过程课件

1、x1(t)x2(t)x3(t)x4(t)t1t2t3t4随机过程平稳随机过程xtf(x,t)RX(t+,t)各态历经随机过程x1(t)x2(t)x3(t)x4(t)t1t2t3t4随机过程要点回顾随机过程要点回顾从统计特性上分析随机过程性质从统计特性上分析随机过程性质q马尔可夫链、马尔可夫过程概念q齐次马尔可夫链概念q转移概率矩阵q切普曼柯尔莫哥洛夫方程 从信号前后取值状态的联系上分析随机过程目的：内容：重点第五章 马尔可夫过程n马尔可夫过程的特性：随机过程在时刻ti所处的状态已知时，过程在t(tti)所处的状态仅与过程在ti时刻的状态有关，而与过程在ti以前所处的状态无关。x1(t)x2(t

2、)x3(t)x4(t)t1t2t3t4马尔可夫过程分类（时间、状态空间）根据取值的连续性马尔可夫过程链、序列过程马尔可夫链马尔可夫序列可列马尔可夫过程马尔可夫过程根据时间上的连续性马尔可夫序列马尔可夫链x1(k)x2(k)x3(k)x1(k) 2 1 0-1-2可列马尔可夫过程马尔可夫过程x1(t)x2(t)x3(t)x4(t)t1t2t3t4x1(t)x2(t)x3(t)5.1马尔可夫链n定义：对任意的整数s1s2slmm+k，离散随机序列Xn，在m+k时刻的状态Xm+k只与最近时刻m的状态Xm有关，而与以前s1,s2,sl时刻的状态无关，这样的随机序列称为马尔可夫链，简称马氏链。 马尔可夫

3、链含义Xs1Xs2Xs3XmXm+ka1a2ajaN-1aNa1a2ajaN-1aNa1a2ajaN-1aNa1a2ajaN-1aNa1a2ajaN-1aN11|,|( ,)llm kjssssmim kjmiijP XaXaXaXaP XaXapm mk一、状态概率、转移概率及转移矩阵思考：如何掌握马尔可夫链性质？状态空间初始状态转移概率XmXna1a2aiaN-1aNa1a2aiaN-1aN转移),(),(),(),(),(),(),(),(),(),(212222111211nmPnmpnmpnmPnmpnmpnmPnmpnmpnmNNNNNNP转移矩阵性质：XmXna1a2aiaN-1

4、aNa1a2aiaN-1aN转移),(),(),(),(),(),(),(),(),(),(212222111211nmPnmpnmpnmPnmpnmpnmPnmpnmpnmNNNNNNP)(jnjaXPnp11( ),( , )( )NNjminjijiiip nP Xa Xap m n p m1)(1NjjnpNjimjnNjijaXaXPnmp111|),(Xn取值概率转移后概率和所有转移可能二、切普曼柯尔莫哥洛夫方程XmXra1a2aiaN-1aNa1a2akaN-1aN转移Xna1a2ajaN-1aN转移思考：初态、终态、中间态关系初态初态中间态中间态终态终态1( , )( , )(

5、 , ),Nijikkjkp m npm r pr n nrm切普曼柯尔莫哥洛夫方程： ,|),(imjnimimjnijaXPaXaXPaXaXPnmp1,NmirknjkmiP XaXaXaP Xa1,NmirknjmirkkmirkmiP Xa XaXaP Xa XaP Xa XaP Xa1|,|NnjmirkrkmikP XaXaXaP XaXaNkimkrkrjnaXaXPaXaXP1|1( , )( , ) ,Nikkjkpm rpr nnrm三、齐次马尔可夫链三、齐次马尔可夫链 定义：如果马尔可夫链的转移概率pij(m,n)只取决于n-m，而与m和n本身的值无关，则称为齐次马尔可

6、夫过程链，简称齐次链。XmXna1a2aiaN-1aNa1a2aiaN-1aN转移)()()()()()()()()()(212222111211mnPmnpmnpmnPmnpmnpmnPmnpmnpmnNNNNNNP111212122212( , )( , )( , )( , )( , )( , )( , )( , )( , )( , )NNNNNNpm npm nPm npm npm nPm nm npm npm nPm nP齐次马尔可夫链的切普曼柯尔莫哥洛夫方程为： Nkkjikijlmplpmp1)()()(NkkjikNkkjikijpmpmppmp11) 1 () 1() 1()

7、1 ()(mmmmPPPPPPP)2() 1()(转移概率转移矩阵大势任意时刻联合概率,2211kkssssssaXaXaXPNjssssssjkkaXaXaXaXP10,22111111221110|,kkkkkkNssssjjssssssP XaXaP XaXaXaXa,1122111011kkkkssssssjNjkkssaXaXaXaXPssP1211 2111221101() kkkkNsskksskks ssjjPssPssPss P s P Xan例1：设质点M在直线段上作随机游动。假设质点M只能停留在1，2，N点上，且只在t1,t2,tn,时刻发生游动。游动的概率法则是：q若质

8、点M原来处于2，N-1这些点上，则分别以p(0p1)的概率向右移动一步或以q(q=1-p)的概率向左移动一步q若质点原来处于1点，则以概率1移动到2点q若质点M原处于N点，则以概率1移动到N-1点上。123N-1Npq,1,1,12,1,21,210,1,11i ii ii jN NppiNpqiNpjiipp 01001000qpqPpqp 转移矩阵转移概率n例2：在某数字通信系统中传递0、1两种信号，且传递要经过若干级。因为系统中存在噪声，各级将会造成错误。若某级输入0、1数字信号后，其输出不产生错误的概率为p(即各级正确传递信息的概率)，产生错误的概率q=1-p。 求其转移概率：pqPq

9、p一步转移概率二步转移概率222222(2)2pqpqpqpqPPqpqppqpqn步转移概率( )nnpqP nPqpn例3：天气预报问题。若明天是否降雨只与今日的天气（是否有雨）有关，而与以往的天气无关。并设今日有雨而明日也有雨的概率为0.6，今日无雨而明日有雨的概率为0.3。另外，假定将“有雨”称作“1”状态天气，而把“无雨”称为“2”状态天气，则本例属于一个两状态马氏链。试求：q其一步至四步转移概率矩阵q今日有雨而后日（第三日）仍有雨的概率为多少？q今日有雨而第四日无雨的概率为多少？q今日无雨而第五日有雨的概率为多少？111221220.60.40.30.7pqPqp一步一步二步二步21112221220.480.520.390.61pqPqp三步三步四步四步41112421220.43320.56680.42510.5749pqPqp3