北京工业大学研究生概率论和数理统计ppt课件

1、第一节第一节 马尔可夫过程及其概率分布马尔可夫过程及其概率分布一、马尔可夫过程的概念一、马尔可夫过程的概念 二、马尔可夫过程的概率分布二、马尔可夫过程的概率分布 三、应用举例三、应用举例 四、小结四、小结一、马尔可夫过程的概念一、马尔可夫过程的概念 1. 马尔可夫性马尔可夫性(无后效性无后效性)所所处处的的状状态态为为已已知知的的在在时时刻刻系系统统过过程程或或0)(t所处状态的条件分布与所处状态的条件分布与过程在时刻过程在时刻条件下条件下0,tt 特特性性称称为为之之前前所所处处的的状状态态无无关关的的与与过过程程在在时时刻刻0t马尔可夫性或无后效性马尔可夫性或无后效性. .即即: 过程过程

2、“未来的情况与未来的情况与“过去的情况是无过去的情况是无关的关的.马尔可夫资料马尔可夫资料2. 马尔可夫过程的定义马尔可夫过程的定义具有马尔可夫性的随机过程称为马尔可夫过程具有马尔可夫性的随机过程称为马尔可夫过程. .用分布函数表述马尔可夫过程用分布函数表述马尔可夫过程,),(:的的状状态态空空间间随随机机过过程程设设TttXI ,个个数数值值的的任任意意如如果果对对时时间间nt, 3,21Ttntttin 恰有恰有)(,)(,)(|)(112211 nnnnxtXxtXxtXxtXP ,)(|)(11RxxtXxtXPnnnnn 下的条件分布函数下的条件分布函数在条件在条件iinxtXtX

3、)()(下下的的条条件件分分布布函函数数在在条条件件11)()( nnnxtXtX或写成或写成),;,|,(121121|11 nnnnttttttxxxtxFnn),|,(11|1 nnnntttxtxFnn.),(性性具具马马尔尔可可夫夫性性或或无无后后效效这这时时称称过过程程TttX 并称此过程为马尔可夫过程并称此过程为马尔可夫过程.3. 马尔可夫链的定义马尔可夫链的定义 时间和状态都是离散的马尔可夫过程称为马尔时间和状态都是离散的马尔可夫过程称为马尔可夫链可夫链, ., 2 , 1 , 0),( nnXXn简记为简记为研究时间和状态都是离散的随机序列研究时间和状态都是离散的随机序列.,

4、(21RaaaIi 状状态态空空间间为为二、马尔可夫过程的概率分布二、马尔可夫过程的概率分布, 2, 1 , 0),( nnXXn1. 用分布律描述马尔可夫性用分布律描述马尔可夫性;0,21mtttrnr 和和对对任任意意的的正正整整数数,iiTmnmt 有有,|2211imitititjnmaXaXaXaXaXP , |imjnmaXaXP . Iai 其其中中称条件概率称条件概率 |),(imjnmijaXaXPnmmP nmami 在在时时刻刻条条件件下下处处于于状状态态为为马马氏氏链链在在时时刻刻,.的转移概率的转移概率转移到状态转移到状态ja阐明阐明: 转移概率具有特点转移概率具有特

5、点 ., 2 , 1, 1),(1 jijinmmP2. 转移概率转移概率由转移概率组成的矩阵由转移概率组成的矩阵),(),(nmmPnmmPij 称为马氏链的转移概率矩阵称为马氏链的转移概率矩阵.此矩阵的每一行元素之和等于此矩阵的每一行元素之和等于1.它是随机矩阵它是随机矩阵.111213212223313233,1Pm mnPm mnPm mnPm mnPm mnPm mnP m mnPm mnPm mnPm mn此矩阵的每一转移概率矩阵： 行元素之 和等于 3. 平稳性平稳性njinmmPij及及时时间间间间距距只只与与当当转转移移概概率率,),( 有关时有关时, , 称转移概率具有平稳

6、性称转移概率具有平稳性. .同时也称此链是齐次的或时齐的同时也称此链是齐次的或时齐的. .),(),(,nPnmmPijij 记记此此时时 . |)(imjnmijaXaXPnP 称为马氏链的称为马氏链的n步转移概率步转移概率.)()(步步转转移移概概率率矩矩阵阵为为nnPnPij 1112132122233132331111121322122233313233( )( )( )( )( )( ) ( )( )( )1|1 ijijmjminP nPnPnPnPnPnP nPnPnPnPPP XaXaaPPPaPPPPPaPPP在齐次马氏链中， 步转移概率矩阵为：一步转移概率记为：一步转移概率

7、矩阵记为：a1 a2 aj Xm+1的状态的状态Xm一步转移概率一步转移概率.|()1(1imjmijijaXaXPPp 特别的特别的, 当当 k=1 时时,一步转移概率矩阵一步转移概率矩阵的的状状态态1 mX的状态的状态mXiaaa21jaaa21 ijiijjppppppppp211222111211)1(P 记为记为P)1(P三、应用举例三、应用举例, 0)0(,0),( XttX且且是是独独立立增增量量过过程程设设.0),(是一个马尔可夫过程是一个马尔可夫过程证明证明 ttX证明证明由独立增量过程的定义知由独立增量过程的定义知,2, 2 , 1,01时时当当 njtttnnj.)()(

8、)0()(1相相互互独独立立与与增增量量 nnjtXtXXtX,)(0)0(11 nnxtXX与与根根据据条条件件即有即有.)()(1相互独立相互独立与与 nnjxtXtX例例1.2, 2 , 1),()(相相互互独独立立与与此此时时 njtXtXjn是一个是一个即即具有无后效性具有无后效性这表明这表明0),(,)( ttXtX马尔可夫过程马尔可夫过程.阐明阐明: :泊松过程是时间连续状态离散的马氏过程泊松过程是时间连续状态离散的马氏过程;维纳过程是时间状态都连续的马氏过程维纳过程是时间状态都连续的马氏过程.设每一级的传真率为设每一级的传真率为 p, 误码率为误码率为 q=1-p.设一个单位时

9、间传输一级设一个单位时间传输一级,只传输数字只传输数字0和和1的串联系统的串联系统 ( 传输系统传输系统)0X11X2X1 nXnnX2如图如图:是第一级的输入是第一级的输入0X)1( nnXn级级的的输输出出是是第第分析分析:, 2 , 1 , 0,是是一一随随机机过过程程 nXn,1, 0 I状态空间状态空间例例210 ,为已知时为已知时且当且当IiiXn ,1有有关关所所处处的的状状态态分分布布只只与与iXXnn 而与时刻而与时刻 n 以前所处的状态无关以前所处的状态无关.所以它是一个马氏链所以它是一个马氏链, 且是齐次的且是齐次的. 一步转移概率一步转移概率1 , 0,|1 ji,ij

10、qijpiXjXPpnnij一步转移概率矩阵一步转移概率矩阵 pqqp10 P10例例3 一维随机游动一维随机游动.21,5 , 4 , 3 , 2 , 1等时刻发生游动等时刻发生游动秒秒秒、秒、并且仅仅在并且仅仅在上作随机游动上作随机游动在如图所示直线的点集在如图所示直线的点集一随机游动的质点一随机游动的质点 I12345游动的概率规则游动的概率规则1/3的概率向左或向右移动一格的概率向左或向右移动一格, 或以或以1/3的概率留的概率留在原处在原处; 如果如果Q现在位于点现在位于点 i (1 i 5),则下一时刻各以则下一时刻各以12345以概率以概率1移动到移动到2(或或4)这一点上这一点

11、上.如果如果Q现在位于现在位于1(或或5)这点上这点上, 则下一时刻就则下一时刻就1和和5这两点称为反射壁这两点称为反射壁.上面这种游动称为带有两个反射壁的随机游动上面这种游动称为带有两个反射壁的随机游动.12345模拟方法模拟方法:产生均匀分布的随机数序列产生均匀分布的随机数序其中其中1表示左移表示左移;2表示不动表示不动;3表示右移表示右移.单击图形播放单击图形播放/ /暂停暂停 ESC ESC键退出键退出一维随机游动的演示一维随机游动的演示理论分析理论分析:.的的位位置置时时表表示示时时刻刻以以QnXn., 2 , 1 , 0,是是一一随随机机过过程程则则 nX

12、n状态空间就是状态空间就是I.,为已知时为已知时且当且当IiiXn ,1有有关关所所处处的的状状态态分分布布只只与与iXXnn 而与时刻而与时刻 n 以前所处的状态无关以前所处的状态无关.所以它是一个马氏链所以它是一个马氏链, 且是齐次的且是齐次的. 一步转移概率一步转移概率|1iXjXPpnnij . 2, 04, 52, 1, 151, 1, 1,31 ijjijiiiiij或 010003/13/13/10003/13/13/10003/13/13/10001054321P5 4 3 2 1阐明阐明:相应链的转移概率矩阵只须把相应链的转移概率矩阵只须把P 中第中第1行改为行改为改变游动的

13、概率规则改变游动的概率规则, 就可得到不同方式的就可得到不同方式的随机游动和相应的马氏链随机游动和相应的马氏链. 如果把点如果把点 1 改为吸收壁改为吸收壁, ).0 , 0 , 0 , 0 , 1(一步转移概率矩阵一步转移概率矩阵 .0,.01, 1)10(, 10210转移概率矩阵转移概率矩阵并求其状态空间和一步并求其状态空间和一步是一马氏链，是一马氏链，试证试证令令的随机变量序列的随机变量序列取值取值以概率以概率取值取值以概率以概率是相互独立且都是相互独立且都设设 nknknnnSXSpqppXXXX解解, 3, 2, 10的可能取值为的可能取值为由于由于 nkknXS.,11故故它它为

14、为马马氏氏链链的的取取值值无无关关之之前前的的而而与与的的取取值值有有关关的的取取值值的的概概率率只只与与又又因因innnSSSS ., 3, 2, 10 InSn的的状状态态空空间间为为所所以以例例4:.)(假假设设个个人人及及某某种种传传染染病病有有传传染染模模型型N;,)1(可可能能的的且且一一切切成成对对的的接接触触是是等等接接触触个个人人中中恰恰有有两两人人互互相相在在每每个个单单位位时时间间内内此此 N;,)2( 率为率为被传染上病的概被传染上病的概时时当健康者与患病者接触当健康者与患病者接触. 0, 0)3(得病的概率也为得病的概率也为接触接触健康者如果不与患者健康者如果不与患者

15、患病者康复的概率为患病者康复的概率为.数数个个单单位位时时间间内内的的患患病病人人表表示示第第现现以以nXn .,0,一步转移概率矩阵一步转移概率矩阵并写出它的状态空间和并写出它的状态空间和是一马氏链是一马氏链即即试说明这种传染过程试说明这种传染过程 nXn例例5解解, 0NXn最最大大可可能能为为的的取取值值的的最最小小可可能能为为由由于于 ., 2 , 1 , 00,0NInXNn 的状态空间为的状态空间为故故到到之间的任何值均可能达之间的任何值均可能达且且,1的的取取值值有有关关的的取取值值的的概概率率只只与与由由于于 nnXX步步转转移移概概率率矩矩阵阵为为它它的的一一步步转转移移概概

16、率率和和一一.)1, 2 , 1,)1()(2,( NjNNjNjj其中其中,1的取值无关的取值无关之前的之前的而与而与inXX .0,为马氏链为马氏链故故 nXn 其它其它, 0,)1()(211,)1()(20, 11ijNNjNjijNNjNjjiiXjXPnn 1000010000100001000001112211NNP ?55,35,15.1,. )10(,1,0.,21,31,于多少于多少日为雨天的概率各等日为雨天的概率各等月月日为晴天日为晴天月月问问天天日为晴日为晴月月又已知又已知的一步转移概率矩阵的一步转移概率矩阵试写出马氏链试写出马氏链或或天状态天状态表示第表示第表示雨天状

17、态表示雨天状态以以表示晴天状态表示晴天状态以以为逆事件为逆事件任一天晴或雨是互任一天晴或雨是互晴天转雨天的概率为晴天转雨天的概率为雨天转晴天的概率为雨天转晴天的概率为设任意相继的两天中设任意相继的两天中 nXnXnn解解为逆事件且雨天转为逆事件且雨天转由于任一天晴或雨是互由于任一天晴或雨是互转转移移概概率率矩矩阵阵分分别别为为故故一一步步转转移移概概率率和和一一步步,21,31晴天转雨天的概率为晴天转雨天的概率为晴天的概率为晴天的概率为例例6 1, 0,210, 0,211, 1,320, 1,311jijijijiiXjXPnn 323121211010P又由于又由于/p>

18、2510102P,6003. 03997. 05995. 04005. 010104 P又又由由于于日日为为雨雨天天的的概概率率为为月月日日为为晴晴天天月月故故55,15.5995. 0)4(01 P日为晴天的概率为日为晴天的概率为月月日为晴天日为晴天月月故故35,15,4167. 0125)2(00 P排队模型排队模型 设服务系统由一个服务员和只可以容纳两个设服务系统由一个服务员和只可以容纳两个人的等候室组成人的等候室组成:服务规则服务规则假定一个需要服务的顾客到达系统时发现系统假定一个需要服务的顾客到达系统时发现系统先到先服务先到先服务, 后来者需在等候室依次排队后来者需在等候室依次排队.

19、内已有内已有3个顾客个顾客(一个正在接受服务一个正在接受服务, 两个在等候两个在等候室排队室排队), 则该顾客立即离去则该顾客立即离去.随机到达者随机到达者系系 统统等候室等候室服务台服务台离去者离去者例例7分析分析. 1qt的概率为的概率为内有一个顾客进入系统内有一个顾客进入系统时间间隔时间间隔 假设假设:有一原来被服务的顾客离开系统有一原来被服务的顾客离开系统 (即服务完毕即服务完毕)的的.p概概率率为为个个顾顾客客在在这这时时间间间间隔隔内内多多于于一一充充分分小小时时当当,. 2t 进入或离开系统实际上是不可能的进入或离开系统实际上是不可能的.3. 再设有无顾客来到与服务是否完毕是相互

20、独立再设有无顾客来到与服务是否完毕是相互独立的的.以下用马氏链来描述这个服务系统以下用马氏链来描述这个服务系统.时时系系统统内内的的顾顾客客数数表表示示时时刻刻tntnXXn :)(系统状态系统状态., 2, 1 , 0,是是一一随随机机过过程程则则 nXn3 , 2 , 1 , 0 I状状态态空空间间可知它是一个齐次马氏链可知它是一个齐次马氏链.:00p在系统内没有顾客的条件下在系统内没有顾客的条件下, .1.00qpt 后后仍仍无无顾顾客客的的概概率率经经:01p在系统内没有顾客的条件下在系统内没有顾客的条件下, .概概率率后后有有一一顾顾客客进进入入系系统统的的经经t :10p系统内恰有

21、一顾客正在接受服务的条件下系统内恰有一顾客正在接受服务的条件下,).1(.10qppt 后系统内无人的概率后系统内无人的概率经经:11p系统内恰有一顾客的条件下系统内恰有一顾客的条件下,时时间间内内在在 t 他因服务完毕而离去而另一他因服务完毕而离去而另一顾客进入系统或者正在接受服务的顾客将继续顾客进入系统或者正在接受服务的顾客将继续要求服务要求服务,且无人进入系统的概率且无人进入系统的概率.).1)(1(11qppqp .01qp 正在接受服务的顾客继续要求服务正在接受服务的顾客继续要求服务,且在且在:12p正在接受服务的顾客继续要求服务正在接受服务的顾客继续要求服务, 且另一且另一个顾客进

22、入系统的概率个顾客进入系统的概率.).1(12pqp :13pt 间隔内有两个客顾进入系统的概率间隔内有两个客顾进入系统的概率,由假设由假设, 后者实际上是不可能发生的后者实际上是不可能发生的.013 p类似的类似的,).2(0),1(),1)(1(),1(23223221 jippqpqppqpqpppij:33p或者一人将离去且另一人将进入系统或者一人将离去且另一人将进入系统,或者或者无人离开系统的概率无人离开系统的概率.).1(33ppqp 该马氏链的一步转移概率为该马氏链的一步转移概率为 )1 ()1 (00)1 ()1 ()1)(1 (000)1 (00)1 (32103210ppq

23、qppqpqqpqpqqpqq 某计算机房的一台计算机经常出故障某计算机房的一台计算机经常出故障, ,研究者研究者每隔每隔1515分钟观察一次计算机运行状态分钟观察一次计算机运行状态, ,收集了收集了2424小小时的数据时的数据 ( (共作共作9797次观察次观察) . ) . 用用1 1表示正常状态表示正常状态, , 用用0 0表示不正常状态表示不正常状态, , 所得的数据序列如下所得的数据序列如下: :1110010011111110011110111111001111111110001101101分析分析,)97, 2, 1(个时段的计算机状态个时段的计算机状态为第为第设设 nnXn状态

24、空间状态空间: I=0, 1. 例例811101101101011110111011110111111001101111110011196 次状态转移的情况次状态转移的情况: ;8, 00次次;18, 01次次因此因此, 一步转移概率可用频率近似地表示为一步转移概率可用频率近似地表示为:,26818880|0100 nnXXPp,2618188180|1101 nnXXPp,70185218181|0110 nnXXPp.70525218521|1111 nnXXPp;18, 10 次次.52, 11次次以下研究齐次马氏链的有限维分布以下研究齐次马氏链的有限维分布.:1的一维分布的一维分布马氏

25、链在任意时刻马氏链在任意时刻Tn ., 2 , 1,)( jIaaXPnpjjnj特点特点: 1. 1)(jjnp, |100 iiijnjnaXPaXaXPaXP ., 2 , 1),()0()(1 iijijjnppnp即即用行向量表示为用行向量表示为)()0()(nPpnp 一维分布由初始分布和一维分布由初始分布和转移概率矩阵决定转移概率矩阵决定（书（书P362 公式公式1.7）一维分布也可用行向量表示成一维分布也可用行向量表示成p(n)=( p1(n) , p2(n), pj(n),)这样，利用矩阵乘法这样，利用矩阵乘法I是可列无限集时，仍用有限阶是可列无限集时，仍用有限阶矩阵乘法的规

26、则确定矩阵之积的元素，可写成矩阵乘法的规则确定矩阵之积的元素，可写成p(n) = p(0)P(n) (矩阵矩阵)。结论：马氏链在任一时刻结论：马氏链在任一时刻n T1时的一维分布由初始时的一维分布由初始分布分布 p(0)和和n 步转移概率矩阵所确定。步转移概率矩阵所确定。 121,Tttttnin 个个时时刻刻对对于于任任意意,21Iaaaniii 以及状态以及状态马氏链的马氏链的 n 维分布维分布,.,2211nnitititaXaXaXP|)112211itititaXaXPaXP,|112211nnnnititititaXaXaXaXP|112211itititaXaXPaXP|11nnnnititaXaXP).()()(11211211 nniiiiittPttPtpnn有限维分布仍由初始分布有限维分布仍由初始分布和转移概率矩阵决定和转移概率矩阵决定由乘法公式（书（书P362 公式公式1.8） 例例9(续例续例8)若计算机在前一段若计算机在前一段15分钟的状态为分钟的状态为0，问从时段，问从时段起此计算机能连续正常工作一小时起此计算机能连续正常工作一小时4个时段的概率为多少？个时段的概率为多少？ 解解 由题意，前一时段的状态为由题意，前一时段的状态为0就是