第五章2-3(柯尔莫哥洛夫微分方程)-PPT课件

1、第五章第五章2-3(2-3(柯尔莫柯尔莫哥洛夫微分方程哥洛夫微分方程) )知识回忆设参数集设参数集 状态集状态集 定义定义5.1 称随机过程称随机过程 为连续时间为连续时间的马尔可夫链，若对任意的马尔可夫链，若对任意 及任意及任意 有有 ( ( ) ), ,0 0 X Xt tt t 1 12 21 10 0n nt tt tt t+ + L L1 12 21 1, , , , ,n ni ii ii iI I+ + L L 0 0, ,) ), ,T T= =+ + 0 0, ,1 1, ,2 2, , I I= =L L( () ) ( ( ) )( ( ) )( ( ) ) ( () )

2、 ( ( ) ) 1 11 11 11 12 22 21 11 1, , , , , , ( (5 5. . 1 1) )n nn nn nn nn nn nn nn nP PX X t ti iX X t ti i X X t ti iX X t ti iP PX X t ti iX X t ti i+ + + + += = = = = = = =L L马氏性马氏性连续时间离散化连续时间离散化2022-5-82信息工程学院四系三教知识回忆定义定义5.2 假设式的转移概率与假设式的转移概率与s无关，那无关，那么称连续时间马尔可夫链具有平稳的或齐么称连续时间马尔可夫链具有平稳的或齐次的转移概率，

3、此时转移概率简记为次的转移概率，此时转移概率简记为 齐次性齐次性 其转移概率矩阵简记为其转移概率矩阵简记为( ( ) )( () ),( )|(0),( )|(0),ijijijijps tP X tj Xiptps tP X tj Xipt=( () )( () )P P( ( ) )( ( ) ), , , ,0 0 . .i ij jt tp pt ti i j jI I t t= =纬纬2022-5-83信息工程学院四系三教转移概率函数矩阵其中其中 为常数矩阵，且为常数矩阵，且 完全由矩阵完全由矩阵 唯唯一确定一确定2022-5-8信息工程学院四系三教60 00 0P P( () )P

4、 P( (0 0) )P P( () )P P ( (0 0) )l l i i m ml l i i m mt tt tt tt tI IQ Qt tt tD D D D D D- -D D- -= = = =D DD DQ Q1 1P P( ( ) )! !n nt tQ Qn nn nt tt te eI IQ Qn n = = = =+ + P( )P( )t tQ Q转移概率函数的可微性v引理引理5.1 设齐次马氏过程满足正那么性条件设齐次马氏过程满足正那么性条件(3)，那么对任意固定的，那么对任意固定的 ， 是是t的一致连续函数。的一致连续函数。2022-5-8信息工程学院四系三教

5、7, ,i jIi jI ( )( )ijijptpt转移概率的极限性质v定理定理5.3 设设 是齐次马尔可夫过程的转是齐次马尔可夫过程的转移概率，那么以下极限存在移概率，那么以下极限存在( ( ) )i ij jp pt t0 01()1()(1) l i m;(1) l i m;iiiiiiiiiit tptptvqvqt tDD-D-D=D D0 0( () )( (2 2) )l l i i m m, ,. .i ij ji ij jt tp pt tq qi ij jt tD D D D= = D D称称q qij ij为齐次马尔可夫过程从状态为齐次马尔可夫过程从状态i i 到状态到

6、状态j j 的的转移速率转移速率或或跳跃强度跳跃强度。2022-5-88信息工程学院四系三教转移概率的极限性质v注注： (1) 等价于等价于(0).(0).iiiiiiiiiipvqpvq = -= -= -= - (2) 等价于等价于(0),.(0),.ijijijijpqijpqij =注：注：此定理的详细证明要用到较深的此定理的详细证明要用到较深的数学知识，在这里我们不给出详细证数学知识，在这里我们不给出详细证明，只是做一个简单分析，但此明，只是做一个简单分析，但此定理定理的结论很重要的结论很重要，希望大家掌握！，希望大家掌握！2022-5-89信息工程学院四系三教转移概率的极限性质v

7、分析：第一节已定义分析：第一节已定义 为停留在状态为停留在状态i或离开状态或离开状态i 的时间，它服从参数为的时间，它服从参数为 的的指数分布。指数分布。i iT1 1( ( ) )1 1 ( ( ) )| |( (0 0) ) ( ( ) )| |( (0 0) ) i ii ip pt tP P X X t ti i X Xi iP P X X t ti i X Xi i= = = = = = = =P到时刻到时刻t至少有一次跳转至少有一次跳转|(0)|(0)XiXi= = ( ( ) )1 1( ( ) ), ,i iv v t ti iP P T Tt to o t te eo o t

8、 t- -= = + += =- -+ +00001( )1( )1 1l i ml i m.l i ml i m.i iv tv tiiiii ittttptpte ev vtttt- - -=2022-5-810信息工程学院四系三教 到时刻到时刻t至少有两次跳转至少有两次跳转转移概率的极限性质( )( )( )|(0)( )|(0)ijijptptP X tj XiP X tj Xi= i ij ji ip p P P T Tt tP P= = + +=P 第一个到达的状态是第一个到达的状态是 j，+ P第一个到达的状态不是第一个到达的状态不是 j， | | ( (0 0) ) i iT

9、Tt t X Xi i = =( ( ) )| |( (0 0) ) X X t tj j X Xi i= = =|(0)|(0)XiXi= =2022-5-811信息工程学院四系三教转移概率的极限性质 ( ( ) )( (1 1) )( ( ) ), ,i iv v t ti ij ji ii ij jp p P P T Tt to o t tp pe eo o t t- -= = + += =- -+ +其中其中 pij 表示从状态表示从状态i经一步转移到状态经一步转移到状态j的概的概率不考虑其间的停留时间，它和离散时率不考虑其间的停留时间，它和离散时间下的转移概率类似。间下的转移概率类似

10、。0 00 0( ( ) )1 1l l i i m ml l i i m m. . i iv v t ti ij ji ij ji ii ij ji ij jt tt tp pt te ep pv v p pq qt tt t- - - = = = =2022-5-812信息工程学院四系三教转移概率的极限性质v推论推论: 对对有限有限齐次马尔可夫过程，有齐次马尔可夫过程，有证明：证明：由定理，有由定理，有由于求和是在有限集中进行，故有由于求和是在有限集中进行，故有. .( (5 5. .4 4) )i ii ii ij jj ji iq qq q = = ()1()1ijijj Ij Ipt

11、pt D=D= 1 1( () )( () )i ii ii ij jj j i ip pt tp pt t - -D D= =D D 0 00 0( () )1 1( () )l l i i m ml l i i m m, ,i ij ji ii ii ij jt tt tj j i ij j i ip pt tp pt tq qt tt tD D D D 构构D D- -D D= = =D DD D邋邋. .i ii ii ij jj j i iq qq q = = 2022-5-813信息工程学院四系三教转移概率的极限性质v注：注：对于对于状态空间无限状态空间无限的齐次马尔可夫过的齐次马

12、尔可夫过程，一般只有程，一般只有. .iiijiiijj ij iqqqq 2022-5-814信息工程学院四系三教二、密度矩阵的定义v定义：定义：称矩阵称矩阵0 00 00 01 11 10 01 11 1( (5 5. . 5 5) )q qq qq qq qQ Q轾轾- -犏犏犏犏- -犏犏= =犏犏犏犏犏犏犏犏臌臌L LL LL LL LM MM MM MM ML LL LL LL L为转移概率矩阵为转移概率矩阵 的的密度矩阵密度矩阵。P P( ( ( ) ) )i ij jp pt t= =0 0P P( () )P P( (0 0) )P P ( (0 0) )l l i i m

13、mt tt tQ Qt tD D D D- -= = =D D2022-5-815信息工程学院四系三教二、密度矩阵的定义v假设假设 那么称矩阵那么称矩阵Q是保守的，是保守的，v 假设那么称矩阵假设那么称矩阵Q是稳定是稳定的，的，v 此时称过程此时称过程 为为Q过程过程 。, ,iiijiiijj ij iqqqq = = ,iiiiqiIqiI ( ( ) ), ,0 0 X X t t t t 2022-5-816信息工程学院四系三教二、密度矩阵的定义v注：注：v1对于有限状态齐次马氏链，其密对于有限状态齐次马氏链，其密度矩阵一定是保守的。度矩阵一定是保守的。0 0( () ). .i ij

14、 jq qi ij j彻彻（2）若若Q保守，则保守，则Q矩阵的每一行元素之矩阵的每一行元素之 和为零，对角线元素为负或为零，其余和为零，对角线元素为负或为零，其余2022-5-817信息工程学院四系三教三、柯尔莫哥洛夫向后、向前方程v定理定理5.4 柯尔莫哥洛夫向前方程柯尔莫哥洛夫向前方程v 假设假设 那么对一切那么对一切i, j 及及 , 有有v矩阵形式：矩阵形式： , ,ikiiikiikikiqqqq = = 0 0t t ( ( ) )( ( ) )( ( ) ). . ( (5 5. .7 7) )i ij ji ik kk kj ji ii ii ij jk ki ip pt tq

15、 qp pt tq q p pt t = =- - P P ( ( ) )P P( ( ) )P P ( (0 0) )P P( ( ) ), , ( (5 5. . 1 10 0) )t tQ Qt tt t= = =2022-5-818信息工程学院四系三教三、柯尔莫哥洛夫向后、向前方程v定理定理5.5 柯尔莫哥洛夫向前方程柯尔莫哥洛夫向前方程v 设对给定的设对给定的 ，有，有 且且v v 关于关于 一致成立，那么一致成立，那么v矩阵形式：矩阵形式：jIjI . .jjjjq q 0 0( ( ) )l li im m, ,. .k kj jk kj jh hp ph hq qk kj jh

16、 h + += = = =- - - - ( )( )ijijptpt2022-5-827信息工程学院四系三教应用例解：由题设条件知该马氏链的密度矩阵为解：由题设条件知该马氏链的密度矩阵为显然此矩阵即使保守的行和为又是稳显然此矩阵即使保守的行和为又是稳定的定的 故柯尔莫哥洛夫向前、故柯尔莫哥洛夫向前、向前方程都成立。向前方程都成立。0 00 01 11 12 20 00 0( (0 0) )0 00 0Q QP Pl ll ll ll ll l轾轾- -犏犏犏犏- -犏犏 = = =犏犏- -犏犏犏犏犏犏臌臌L LL LL LL LL LL LL L0 0ijijq q 2022-5-831信

17、息工程学院四系三教六、平稳分布v定义定义 称概率分布称概率分布 v为连续时间马氏链的平稳分为连续时间马氏链的平稳分布布v假设假设 ,j jjIjIpppp=( ),0( ),0X ttX tt ( ( ) ), ,0 0. .P P t tt tp pp p= = 注意和离散时间马氏链平稳分布的比较2022-5-832信息工程学院四系三教六、平稳分布v定理定理5.7 设连续时间的马尔可夫链是不可设连续时间的马尔可夫链是不可约的，那么有以下性质：约的，那么有以下性质：v 1假设它是正常返的，那么极限假设它是正常返的，那么极限 存在且等于存在且等于 。这里。这里 是方程是方程组组 v 的唯一非负解

18、。的唯一非负解。l l i i m m( ( ) )i ij jt tp pt t0 0, ,j jj jI Ip p j jp p, ,0 0(5. 13)(5. 13)1.1.1.1.jjjkkjjjjkkjkjkjj jj jj Ij Ij Ij IqqqqQ Qppppp pp p = = = = 镲镲 眄眄= = =镲镲镲镲 2022-5-833信息工程学院四系三教六、平稳分布此时称此时称 是该过程的平稳分布，是该过程的平稳分布，并且有并且有 2 假设它是零常返的或非常返的，那么假设它是零常返的或非常返的，那么 , , j jj jI Ip p l l i i m m( ( ) ).

19、 .j jj jt tp pt tp p= =l l i i m m( ( ) )l l i i m m( ( ) )0 0, , , ,. .i ij jj jt tt tp pt tp p t ti i j jI I= = = 2022-5-834信息工程学院四系三教知识回忆v定理定理5.3 设设 是齐次马尔可夫过程的转是齐次马尔可夫过程的转移概率，那么以下极限存在移概率，那么以下极限存在( ( ) )i ij jp pt t0 01()1()(1) l i m;(1) l i m;iiiiiiiiiit tptptvqvqt tDD-D-D=D D0 0( () )( (2 2) )l

20、l i i m m, ,. .i ij ji ij jt tp pt tq qi ij jt tD D D D= = D D称称q qij ij为齐次马尔可夫过程从状态为齐次马尔可夫过程从状态i i 到状态到状态j j 的的转移速率转移速率或或跳跃强度跳跃强度。2022-5-835信息工程学院四系三教知识回忆v定义：定义：称矩阵称矩阵0 00 00 01 11 10 01 11 1( (5 5. . 5 5) )q qq qq qq qQ Q轾轾- -犏犏犏犏- -犏犏= =犏犏犏犏犏犏犏犏臌臌L LL LL LL LM MM MM MM ML LL LL LL L为转移概率矩阵为转移概率矩阵

21、 的的密度矩阵密度矩阵。P P( ( ( ) ) )i ij jp pt t= =0 0P P( () )P P( (0 0) )P P ( (0 0) )l l i i m mt tt tQ Qt tD D D D- -= = =D D2022-5-836信息工程学院四系三教知识回忆v定理定理5.4 柯尔莫哥洛夫向前方程柯尔莫哥洛夫向前方程v 假设假设 那么对一切那么对一切i, j 及及 , 有有v矩阵形式：矩阵形式： , ,ikiiikiikikiqqqq = = 0 0t t ( ( ) )( ( ) )( ( ) ). . ( (5 5. .7 7) )i ij ji ik kk kj

22、 ji ii ii ij jk ki ip pt tq qp pt tq q p pt t = =- - P P ( ( ) )P P( ( ) )P P ( (0 0) )P P( ( ) ), , ( (5 5. . 1 10 0) )t tQ Qt tt t= = =2022-5-837信息工程学院四系三教知识回忆v定理定理5.5 柯尔莫哥洛夫向前方程柯尔莫哥洛夫向前方程v 设对给定的设对给定的 ，有，有 且且v v 关于关于 一致成立，那么一致成立，那么v矩阵形式：矩阵形式：jIjI . .jjjjq q 0 0( ( ) )l li im m, ,. .k kj jk kj jh h

23、p ph hq qk kj jh h + += = = =+ + = = = =- -+ + + = =- - 则称则称 为为生灭过程生灭过程， 为为出生率出生率， 为为死亡率死亡率。 ( ( ) ), ,0 0X X t t t t i il li im m2022-5-850信息工程学院四系三教生灭过程的定义2022-5-8信息工程学院四系三教51生灭过程的定义 假设假设 ( 是正常数是正常数)，那，那么称生灭过程么称生灭过程 为线性生灭过程为线性生灭过程。, , ,i ii ii ii il ll l m mm m= = =, ,l l m m ( ( ) ), ,0 0 X X t t

24、 t t 若若 ，则称生灭过程，则称生灭过程 为为纯纯生过程生过程；0 0i im m ( ( ) ), ,0 0 X X t t t t 若若 ，则称生灭过程，则称生灭过程 为为纯灭过程纯灭过程.0 0i il l ( ( ) ), ,0 0X X t t t t 2022-5-852信息工程学院四系三教二、生灭过程的密度矩阵v由定理得由定理得因此，生灭过程的密度矩阵因此，生灭过程的密度矩阵Q为为, ,0 0, ,1 1, ,0 0, ,( ( ) )| |1 1, ,1 1, ,0 0, ,| | |2 2i ii ij ji ij jh hi ii ij jj ji ii id dq q

25、p ph hj ji ii id dh hq qi ij jl lm m= = = =+ + = = = = =- - = =- - 0 0( ( ) )| |, ,( (0 0) )i ii ii ii ih hi ii id dq qp ph hi id dh hl lm m= = = - -= =+ + 2022-5-853信息工程学院四系三教二、生灭过程的密度矩阵0 00 01 11 11 11 12 22 22 22 20 00 0( () )0 00 0( () )0 00 0Q Ql ll lm ml lm ml lm ml lm ml l轾轾- -犏犏犏犏- -+ +犏犏犏犏-

26、 -+ += =犏犏犏犏犏犏犏犏犏犏臌臌L LL LL LL LL LL LL LL LL LM MM MM MM MM M O OM ML LL LL L2022-5-854信息工程学院四系三教三、生灭过程的柯尔莫哥洛夫微分方程v由由 (5.10)式式 可得生灭过程的可得生灭过程的柯尔莫哥洛夫向前方程为柯尔莫哥洛夫向前方程为v由由 (5.11)式式 可得生灭过程的柯可得生灭过程的柯尔莫哥洛夫向前方程为尔莫哥洛夫向前方程为1 1, ,1 11 1, ,1 1 ( () )( () ) ( () ) ( () )( () ), , ,i ij jj ji ij jj jj ji ij jj ji

27、 ij jp pt tp pt tp p t tp pt t i ij jI Il ll lm mm m- - -+ + += =- -+ + + 1 1, ,1 1, , ( () )( () ) ( () ) ( () )( () ), , ,i ij ji i i ij ji ii ii ij ji i i ij jp pt tp pt tp p t tp pt t i i j jI Im ml lm ml l- -+ += =- -+ + + P ( )P( )P ( )P( )ttQttQ = =P ( )P( )P ( )P( )tQttQt = =2022-5-855信息工程学院

28、四系三教四、生灭过程的平稳分布因为上述方程组的求解较为困难，我们讨论因为上述方程组的求解较为困难，我们讨论其平稳分布。由式其平稳分布。由式 ，有，有逐步递推得逐步递推得( () )0 00 01 11 11 11 11 11 1, , ,1 1j jj jj jj jj jj jj jj jl l p pm m p pl lm mp pl lp pm mp p- - -+ + + = = + += =+ + 0 01 10 01 11 10 02 21 10 01 12 21 12 21 10 01 11 11 10 01 11 12 2, , ,. . . . . . . ., ,. . .

29、 . . . . .j jj jj jj jj jj jl ll ll l l lp pp pp pp pp pm mm mm m m ml ll l l ll lp pp pp pm mm m m mm m- - - - -= = = = = =0 0Q Qp p = =2022-5-856信息工程学院四系三教四、生灭过程的平稳分布再利用再利用 ，得平稳分布，得平稳分布平稳分布存在的充分必要条件是平稳分布存在的充分必要条件是0 01 1j jj jp p = = = 1 10 01 11 10 01 11 12 21 10 01 11 10 01 11 11 11 12 21 12 2. .

30、 . . . .1 1, ,. . . . . . . . . . . . . . . .1 1, ,1 1. . ( (5 5. . 1 14 4) ). . . . . . . . . . .j jj jj jj jj jj jj jj jj jj jl l l ll lp pm m m mm ml l l ll ll l l ll lp pm m m mm mm m m mm m- - - -= =- - - - -= =骣骣琪琪琪琪= =+ +琪琪琪琪桫桫骣骣琪琪琪琪= =+ + 琪琪琪琪桫桫 0110111 11212. . . . . . . . .j jj jj jl lll l

31、lm mmm mm - -= = - 2022-5-858信息工程学院四系三教五、 泊松过程纯生过程( ( ) ) ( () )| |( ( ) ) ( () )( ( ) )0 0 | |( ( ) )( (0 0) ) ( () )( ( ) )0 0 ( ( ) )0 0 1 1( ( ) ). .i ii ih hp ph hP P X X t th hi i X X t ti iP P X X t th hX X t tX X t tX Xi iP P X X t th hX X t tP P X X h he eh ho o h hl ll l- -= =+ += = = =+ +

32、- -= =- -= = =+ +- -= = = = = =- -+ +故故 ，因此泊松过程为纯生过程。，因此泊松过程为纯生过程。0 0i im m 2022-5-859信息工程学院四系三教小结v本章知识点：本章知识点：n连续时间齐次马氏链连续时间齐次马氏链n转移概率的转移概率的CK方程方程nQ矩阵的定义与物理意义矩阵的定义与物理意义n柯尔莫哥洛夫向后、向前方程柯尔莫哥洛夫向后、向前方程n平稳分布平稳分布n生灭过程生灭过程2022-5-8信息工程学院四系三教60小结v第一章知识点：第一章知识点：v随机变量及其分布随机变量及其分布v随机变量的数字特征随机变量的数字特征v条件数学期望条件数学期望

33、v第二章知识点：第二章知识点：v随机过程的根本概念随机过程的根本概念v随机过程的分布律随机过程的分布律v随机过程的数字特征随机过程的数字特征v几种重要的随机过程几种重要的随机过程2022-5-8信息工程学院四系三教61题题2.4 随机过程随机过程 的均值函数的均值函数 和协和协方差函数方差函数 ，设，设 为普通函数为普通函数, 令令 求随机过程求随机过程 的均值函数与协方差函数。的均值函数与协方差函数。解：解：2022-5-8信息工程学院四系三教62( )( )X tX t( )( )X Xmtmt1212( , )( , )X XBt tBt t( )( )t tj j( ( ) )( (

34、) )( ( ) ), ,Y Y t tX X t tt tj j= =+ +( )( )Y tY t( ) ( )( )( )( )( ) ( )( )( )( )YXYXmtE X ttmttmtE X ttmttjjjj=+=+=+=+1212121212121212121211221122112211221212( , )( , )( )( )( , )( , )( )( ) ( ) ( )( )( ) ( ) ( )( )( ) ( ( )( ) ( ( )( ) ( ( )( ) ( ( )( )( )( ) ( )( )( )( ) ( )( )( , )( , )YYYYYYY

35、YYYYYXXXXX XBt tRt tmt mtBt tRt tmt mtE Y t Y tmt mtE Y t Y tmt mtEX ttX ttEX ttX ttmttmttmttmttBt tBt tjjjjjjjj=-=-=-=-=+=+-+-+= =v第三章知识点：第三章知识点：n泊松过程的定义、等价定义泊松过程的定义、等价定义n时间间隔与到达时间的分布时间间隔与到达时间的分布n非齐次泊松过程非齐次泊松过程n复合泊松过程复合泊松过程2022-5-8信息工程学院四系三教63补补2设设 和和 是两个是两个相互独立的泊松过程，其参数分别为相互独立的泊松过程，其参数分别为 和和 记记 为过程为过程 的第