（应用数学专业论文）一类含单瞬时态markov链的遍历性.pdf

摘要 在m a r k o v 过程的一般理论中，由于m a r k o v 链的轨道结构已经被刻画清楚， 其应用之一是完全刻画了构造论，由于游程公式给出了m a r k o v 链的预解式 本文利用m a r k o v 过程的游程理论，从m a r k o v 链的轨道结构出发，给出m a r k o v 链的平稳分布，从而可以判断出一类含有单瞬时态的m a r k o v 链有遍历性，再 对特殊状态进行处理，从而得到一类含单瞬时态的m a r k o v 链的指数遍历性， 本文利用一类含单瞬时态的生灭过程为例，并且得到一类含单瞬时态的生灭过 程的指数遍历性 关键词：m a r k o v 链，q 一矩阵，局部时，游程测度，平稳分布，遍历性，指 数遍历性 a b s t r a c t i nt h et h e o r yo fm a r k o vp r o c e s s e s ，t h ec o n s t r u c t i o no ft h es a m p l ep a t h so fm a r k o v c h a i n si sd e s c r i b e dc l e a r l y o n eo ft h ea p p l i c a t i o n si st h a ti tc o m p l e t e l yd e s c r i b e st h e c o n s t r u c t i o no fm a r k o vp r o c e s s e s w ec a no b t a i nt h er e s o l v e n to fm a r k o vc h a i n sb yu s eo f t h ef o r m u l ao fe x c u r s i o n i nt h i sp a p e r im a k eu s eo ft h et h e o r yo fe x c u r s i o no fm a r k o v c h a i n s ，io b t a i ns t a t i o n a r yd i s t r i b u t i o no fm a r k o vc h a i n sf r o mt h ec o n s t r u c t i o no fm a r k o v c h a i n s ，s oic a nj u d g et h ee r g o d i c i t yo fm a r k o vc h a i n sw h i c hh a v ei n s t a n t a n e o u sp o i n t s ，t h e n d e a lw i t he s p e c i a ls t a t e ，f i n a l l yio b t a i ne x p o n e n t i a l l ye r g o d i c i t yo fm a r k o vc h a i n sw h i c h h a v ei n s t a n e o n sp o i n t s i nt h i sp a p e r ，im a k ea ne x a m p l eo fb i r t ha n dd e a t hp r o c e s sw h i c h h a v ei n s t a n e o u sp o i n t s k e yw o r d s ：m a r k o vc h a i n s ，q - m a t r i x ，l o c a lt i m e ，e x c u r s i o nm e a s u r e ，s t a t i o n a r y d i s t r i b u t i o n ，e r g o d i c i t y , e x p o n e n t i a l l ye r g o d i c i t y i i 第一章引言 在m a r k o v 过程的一般理论中，游程理论是刻画轨道结构的强有力的工具， 但游程理论要求过程的轨道有“左连右极”的性质，而含瞬时态的m a r k o v 链 不满足这种要求，因此，为了研究含瞬时态的m a r k o v 链的轨道结构，本文利 用m a r k o v 链的游程理论 1 1m a r k o v 链的游程理论 设x = 咒 t 2 0 是定义在完备概率空间( q ，p ) 上的马氏链，其状态空间为 e = 1 ，2 ，) ，其转移概率为p , a t ) ( 1 ，j e ，t 0 ) ，它们是一组满足下列条件 的实值函数： p u ( t ) 0 p i j ( t ) 1 j e e p i k ( t ) p k j ( s ) = p i j ( t + s ) k e e 战w a r ) 2 ( o ) = 其中瓦= 1 ，西= 0 ( i j ) 熟知，这时存在极限 ( 1 1 ) ( 1 2 ) ( 1 3 ) ( 1 4 ) h m 咝! ) 二鱼： (15)t- - 0 t 吖 而且o s o 的密度矩阵，而x = x d 御则称为q - 过程，以表示x = 五 脚与q 有( 1 5 ) 式的关系如果两个q 一过程有相同的转移矩阵，我们把它们看作同一个q 过 程故在下面也称满足( 1 1 ) 一( 1 4 ) 式的( ) 及其拉氏变换都称为q - 过程 定义1 1 1 ：称定义在e e 上的矩阵q = ( ) 为拟q 矩阵，如果q 满足： 0 q * i o o ( i j ) ，0s 岱5 o o ，q i ( i ，j e ) j i e 中的每个元素都称为q 的状态如果q i 0 的轨道的右下半连续性，可知= o 对于任意的t20 ，寇( u ) = 五，( u ) ， 丘) ) 唧是中断时间为的m a r k o v 链 对于任意的t ，歹e ，令： 锄( t ) ： p i x t = 五t 盯 如 i 0 ， o ； i 0 ，j = o ； l = 0 p , a t ) ，i ，j e 是中断的m a r k o v 链 寇 t o 的转移函数，并且岛( ) ，i ，j e 是 一个标准的转移函数 定理1 1 3 寇) 伽的q 矩阵国为。 q = o00 q l oq 1 1 q q 2 1 3 咖 胁 姚； 恤 蚴； 1 2 局部时的引人 设( t ) ( i ，j e ，t o ) 是标准的转移函数，e = 1 ，2 ，) 为其状态空间， 定理1 2 1 ：设x 为给定的m a r k o v 链，则存在关于五的唯一的可加泛函 厶) t 2 0 使得对于任意的i e ， 分p ) = f e - - t d 厶) l d 伽称为x 的在0 状态的局部时，简称局部时 对于任意的u q ，令： l r ( u ) = ve 0 ，l t ( “，) 0 ，厶一。( u ) o 是x 的可加泛函，若对于任意的u q ，亿五( u ) = 0 ) 的 闭包包含单调增连续函数f ( u ) 的l e b s e g u e s t i e l j e s 测度的支撑，则存在常数 南0 ，使得对于任意的i e ，p 几乎必然成立：f t = k 厶，vt 0 推论1 2 1 ：令帆( u ) = 厂l o ( x , ( w ) ) d s = m e a s s ；8 ，咒= o ，v “，q ，t 0 ，则存 在d 0 ，使得对于任意的i e ，p 几乎必然成立：讹0 ) = d 厶，v t 0 。 d 称为x 在0 状态的漂移系数 对于任意的u q ，集合瓦x 面j _ = 可表示 ；咒( u ) = o ) 的闭包，记作z ( u ) 开集( 0 ，o o ) z 可以表示成至多可数不相交的开区间的并，即 4 ( 0 ，o o ) z = u ( 如) ，d n ) ) 每一个( u ) ，如( u ) ) 都称为x ) 的游程区间，如( u ) 一啦( u ) 称为游程区间的 ( u ) ，以( u ) ) 的长度轨道x ( u ) 限制在每个游程区间的部分都称为x 的游程 由推论，厶) 在游程区间上不增长，而在z 上“增长”，由于的所有轨道都条 件满足a ，所以，拖。= 0 对于任意的6 0 ，将长度大于6 的游程从左到右排列如果存在m 个长 度大于6 的游程区间，则钝) 和磙( u ) 分别表示第1 1 1 个长度大于6 的游程区 间的左端点和右端点，否则令靠) = d ： l ( u ) = o o ，显然观( u ) ，m = 1 ，2 ，都 是停时 对于任意u q ，t 0 ，令 岛) = i n f s ；l 。) t ) ； 厅( u ) = i n f s ；厶( u ) = ) ； 过程 屈( u ) k o 称为局部时的右逆， 阿( “，) ) t 0 称为局部时的左逆显然，行( u ) = 叭l i ：m 删风( u ) ； 旷( u ) 是单调增左连续函数；伊( u ) 是单调增右连续函数；20 ， 如果侥 o ，u ( 8 ) e ，如果 u ( ) = 0 ，则怕 ，u ( 口) = o u 上的坐标过程记作 e ( t ) 伽，盯代数盯 e ( t ) ；t o ) 记作“，( u , u ) 称为m a r k o v 链x 的游程空间，每一个钍u 都称为游程令： 印( u ) = i n f u o ；u ( “) = o ， v w 以 a o ( w ) 称为u 的生存时间显然o o 是甜可测的，并且t t o 可以取值o o 5 对于任意的u q ，令d y ( w ) = 托屈( u ) 疗( u ) ，对于任意的t d y ( w ) 脚) ( 。) ： 惭一 讧叭畎肛厅 1 0 i f “屈一厅 显然k ( u ) u ，即 y t ；t d y ) 是游程值过程令e ( u ) = i n f s o ；岛( u ) = o 。) 如果( ( “，) ) ，( o 。) = p o o = o o 则 ( 1 ) n ( ) 是( 0 ，o o 】上的单调减右连续函数 ( 2 ) 对于任意的t 0 ，i i ( t ) 0 ，i e ， z 尹 e 印 一知 = e x p 一a t d + f e mh ( r ) d r l 命题1 2 2 ：漂移系数d 和函数h ( ) 满足规范性条件： o e h ( t ) d r = d + 磊j c 8 4 啦( ) _ 1 命题1 2 3 ：令u t ( i ) = 户 e ( t ) = i ，v i 0 仇( ) ) 踟表示 e ( t ) ) 伽的在户( ) 下的 6 一维分布族，则趴 o 上的测度 仇( ) ) 伽是次转移函数( ( t ) h j ，o 的进入率， 即对于任意的i e ，i 0 ， 啦+ 。( i ) = 仉( 七) 反i ( t ) o 定理1 2 6 ：在p o 下，当a - 0 0 时，a ，。一抛几乎必然收敛于d 一， 7 第二章m a r k o v 链的平稳分布 2 。1m a r k o v 链的预解式 设x = x ) 伽是定义在完备概率空间( f t , 厂，p ) 上的马氏链，其状态空间 为e = l ，2 ，) ，其转移概率为p i j ( t ) ( ，j e ，t2o ) ，x 的预解式为： 当i = 0 ，j = 0 时， 当i = 0 ，j 0 时， r o o ( x )：l “e - x t p o o ( t ) d t = 伊盯e m 酬五( “，) ) m ：础厂e - x t d m 。) _ d 酽 z 。e 州d 厶) = d a 一1 t d + o e hl - l ( r ) d r 】一1 r 町( a ) = z 。e 一嘞( t ) 出 = f fe - x p ( e ( t ) = j ) 疵伊盯e 埘d 厶 = f i f e - x ( ) d t a 一1 d + f o e 。e - x r r i ( r ) d r 】一1 当i ，j 0 时， n j ( a ) = e - , x t ( t ) d t ju = j ( ”e 一。( 托= j ) 疵 ：厂e 枷p ( 五：j ，f t ，) c o = j d t ：户e 埘面薹郇肌咖 “f e 州蚤o o 铀鳓d t + 仍( 蚰) e 0 ( f e - a t 叱 ( x t ) d t ) = 【“。e 二知置蛳岛( ) 出+ 彩( z ，a ) 】 a 【d + ，。e - a ri i ( r ) d r 】，一1 所以 ( a ) = 锄( a ) + 【1 一a 印氟( a ) l d f o ”e - x * 蚤o o ( t ) d t + 仍( 霉， a d + 上8 以r i ( r ) 酬) 1 当i o ，j = 0 时， 9 舶( a ) = z ”e 枷p 帕( t ) 疵 = e 一舸 z ”e 枷( t ) d r =z。e枷劬)批a。e-poo(t)a0j o t j = ( e 一蛔 伽( a ) 2 2m a r k o v 链的平稳分布 定义2 2 1 ：称状态i e 是常返的，如果，”r ( t ) d t ：- i - ，相应地称状态t e 是非常返的，如果。忍( t ) d t 0 称状态i e 是零常 返的，如果n m 只i ( t ) = 0 t _ q - o o 定义2 2 3 ：给定转移函数( ) ，集合 以，i e 是一族非负数且满足死疡( ) = 巧，歹e 且t 0 ，则称饥，i e ) 是岛( t ) 的不变测度如果e7 1 i = 1 ，则称 仃= 机，i 研是不变分布 定义2 2 4 ：给定i ，j e ，称j 可自i 到达，并记为i 一，如果对某t 0 ，有 ( t ) 0 ，称i ，j 互通，记为i j ，如果i 可自到j 达，且j 可自i 到达 定义2 2 5 ：称( t ) 为不可约的，如果状态空间e 组成一个互通类 定理2 2 1 ：假设p , j ( t ) 是一个不可约的转移函数： ( 1 ) 则极限巧= 舰疡( t ) 存在且独立于l ，j e ，数集 仉，i e ) 是不变测度且或 者有 ( 口) 乃= o ，j e ，或者有 ( 6 ) 乃 o ，j e ，磊丌5 1 ( 2 ) 假设t t ，= 陬； e ) 是一个概率向量且对t 0 ，满足w p ( t ) = 叫，则对于所有 t 0 ，有w p ( t ) = w ，w 是一不变分布且w = 7 r 由上节q - 矩阵所对应的m a r k o v 链的预解式得： 1 0 当i = o ，j = 0 时， 当i 0 ，j 0 时， 2 慨 a r ( a ) ) = ! i x a d a 一1 【d + fe 一斯l - i ( r ) d r 一1 ) 一0 、 ，0 d = 丸i 一 d + o i i ( 8 ) d s 丌j 2 溉灯o c a ) 2 溉确( a ) ! 墨竺竺f o o o 曼o o 竺二坐竺 扣。 d + f o e 。e - 、r1 1 ( r ) d r 】 1 1 第三章一类含瞬时态的m a r k o v 链的遍历性 3 1 一类含瞬时态的m a r k o v 链的遍历性 给定e = z + 上的保守q 矩阵q = ( ) ， 定义 n 巧= m o ) ( 1 一吩) 等+ 琅：o ，i ，j e 则( n 巧) 是一个转移概率矩阵且称( n 莳) 为q - 过程的嵌入链 引理3 1 1 ：对一个给定的q 矩阵，最小的q 过程是不可约的当且仅当它的q 一 矩阵是不可约的 定义3 1 1 ：称一个q - 矩阵是正则的，如果q 保守，全稳定且q 过程唯一 定理3 1 1 ：给定一个不可约的保守的q 矩阵，q 为正则的且 岛( 印；t20 ，z ，歹 研是常返的当且仅当方程i i y l y i ，ig h ，对某有限h 妒有一个有限解y i i e e 巧 引理3 1 2 ：设q = ( ) 是一个正则的不可约的q 矩阵，则极限墨恐嘞( t ) = 乃 存在，且乃独立于i ，其中i ，j e ，此外或者有量乃= 1 或乃= 0 j 。d j e 定理3 1 2 ：设q = ( ) 是一个正则的不可约的q 一矩阵，则 ( t ) ，t20 ，t ，jee ) 是正常返的当且仅当方程x i q o = 0 ，j e 没有非常数的有界解 i e e 注：在特殊情况下，q - 过程的正常返和它的嵌入链是等价的 引理3 1 3 ：设q = ( q q ) 是一个保守的，不可约的q 一矩阵，满足0 0 , m a r k o v 链 五) 唧的骨架链 x ( 咒 ) ) 。o 是遍历的，则 x d t o 是遍历的，相应地，m a r k o v 链的骨架链 x ( 礼 ) ) 。o 是指数遍历的( 或强 遍历的) ，则 咒) 伽也是指数遍历的( 或强遍历的) 注：这个定理为m a r k o v 链从离散时间到连续时间的转变奠定了基础 定理3 1 4 ：( 1 ) m a r k o v 链( t ) ) t o 是遍历的，当且仅当0 只( ) 一7 1 0 。= l p , a t ) 一 j 丌j i 一0 ，当t o o ，v i e ( 2 ) m a r k o v 链弘( f ) ) f o 是指数遍历的，当且仅当0 只( ) 一万j k = o ( e 卅) ， t 0 0 ，对某p 0 ，v i e 等价地，7 r0 只( t ) 一7 r0 。= d ( e 一肛) ，t o o 对某 l 口 0 ( 3 ) m a r k o v 链 x ( t ) ) t 0 是强遍历的，当且仅当s u p1 1 只( t ) 一丌i i 。= d ( e 一) ， l t 一，对某p 0 对给定正则不可约q = ( ) 矩阵，设 咒) 伽是定义在概率空间( q ，厂，p ) 上 的m a r k o v 链，它的连续跳记为 t o = 0 1 吒= i n f t ：t t 。一1 ；x t x t ，。，佗21 由正则性，有t = l i mt n = o o n + o 。 设日是e 的非空有限子集且定义为o h i n f t t l ；x t h ) 定理3 1 5 ：( 1 ) m a r k o v 链( 五 t 0 是遍历的当且仅当叼 0 0 ，v i h ( 2 ) m a r k o v 链 五) 伽是指数遍历的当且仅当e 协 o 。，v i h 其中0 a q i v i e 1 3 ( 3 ) m a r k o v 链 五 御是强遍历的当且仅当s u pe a n o 是遍历的当且仅当方程 i 三珊一l ， ig h 【；邑暑鲫 0 ，但a m e ，方程 量荔? 删 ( 3 ) m a r k o v 链 x d 唧是强遍历的当且仅当方程 i q t j y j 一1 ， igh 【锄e 例eq o 珊 有有界非负解 注：以上两定理等价 由于仓矩阵是正则的不可约的q - 矩阵，那么它符合定理3 1 3 和定理3 1 4 的 条件，所以只需考虑特殊状态： 设h = o ) ，假设0 是m a r k o v 链 托 脚的常返态，定义o o = i n f t 噩：咒= 1 4 p e 概= a 岔【妻+ f o o o e 卅 = a 舻【z 。e m 叫+ 1 = a l ( “e 乏抽( x , ) a t j + 1 = a k e e t _ o 。e 3 厶 ( x o i ( o ，m ) d 铂+ 1 = a 乏l ( 。抽钢f ) 矧十l 如果a t f o e x t l 耐船”( t ) 捌 0 是遍历的当且仅当 o o ，v i 日 ( 2 ) m a r k o v 链 托) t o 是指数遍历的当且仅当e e 一 ，且其中0 o ( v i 0 ) 对于x 我们引入q 的特征数：对x 我们引如q 的特征数： m t = 击+ 薹意糕，( 咖飞1 驯) 一去+ 薹老瑚 。， r = m i s = e 4 zo=0 磊= + 薹薏卷， ( ) z = ，魄磊 由于在o 。状态的轨道结构异常复杂，以下主要用游程理论来研究，以下以 1 6 一类含单瞬时态的生灭过程为例，来求出它的预解式，得到平稳分布从而得到 遍历性 例l ：一类含单瞬时态的生灭过程的遍历性 假定6 0 ，a 。，b l , a 。，6 。是一列正数，考虑如下的q 矩阵： q = 则对应的0 矩阵为 q = q 所对应的预解式为 当i = o ，j = 0 时： 当i = o ，j = 1 时， 一o 。 6 0 0 a l - ( a l + b 1 )b l 0 a 2一( 眈+ 6 2 ) 0ooo o a l - ( a l + b 1 ) b l 0 0 0 a 2一+ 6 2 ) 6 20 伽( a ) = j ( 。e 州酬班 = 伊盯e 跏训五( u ) ) 出) = 伊叮e 一机 ：d e o f 。e - x t d l t ) = 上 t ) = d a 一1 【d + ( 。e 一1 71 - i ( r ) 】一1 d r r 0 1 ( a ) ：o oe - a t p 0 1 ( t ) d t j 0 = z 。e 埘户 e ( t ) = 1 出酽 f e - x t d l t ，o 。 =e一ot(1)dta一1【d+e一灯ri(joj o r ) d r 】一1 1 7 0 0 o 0 0 幻 当i = 1 ，j = 0 时， 当i ，j 0 时， ( a ) 籼( a ) = f e - a t p l 。o ) d r 划矿) f e - x * p o o ( ) 出 = j ( ”e 一 扈。( t ) d t ，j ( 。0 。e - a t p o o ( t ) d t = e k ) r o o ( a ) = f e 埘岛( t ) d t - _ o e - x t p i ( x t = j ) d t = f e 砒p 陇硝t o ，j 0 时， 7 t o 2 溉a 伽( a ) ) 。m l i r a k d a - 1 d + j o e 咖1 7 ( r ) d r 】1 0 。 d = 1 i 6 一 d + 上r i ( 8 ) 幽 乃2 j i ! 器a r i j a 【1 一a 篆或。( a ) 】【d z * 。一：。嘶眦p 珏( t ) d t + 仍( z ，a ) 】 【一a 饥( a ) 】【d e 以。三弛岛 + 仍( z ，a ) 】 谗梳d h 黝哥丙丽一 ：开，+ 竺竺f o o o 要o o !o o i 三 ! ：! ! 兰! 兰：兰：! ：兰二! ! ! ! 。d + | i ( r ) d r r = n 量= 2 篱= o o 定理4 2 ：o 矩阵所对应的q 过程正常返( 遍历) 的充分必要条件是 n ：1 + 手坠坠二! ：! ! k ，( i i ) 由定理1 的注得， 一l i m o 。y n = 曼晶= 1 + 瓦1 + 子a _ n a n - 1 a , 2 ：+ o o 及( i i i ) 刍6 n k 一1 1 存在( f 为有限数或+ o o ) ，故由s t o l z 定理，有 舰鲁= 她而x n - x n - - 1 结合( 1 ) ，得变为 = h 各薹l b n + b n 。_ l b 。l ： 。= - 十，薹篙= l b n + b n ，_ l b 石l t a ：x t 5 o 设 e 概；a 【去+ f 抛】 = 璎f 。d t 】十1 ；入分【f 乏蛔) 班1 + 1 一啪e i f f 。e x t n ( 墨) 蚰出1 十1 = a 三f f 矿t i l k ) 船讯( t ) d t l + 1 x o = e o e 概) = 1 螫一 毛笔 唆霉， 臻嬉繁 蒸一 毛= f e 概) 盈+ 1= e ( 印卅h + 下1 ) ) =e机)詈+e1。+口e)警j#o e q y t1 t = 薹芸s 詈q + 熹q i 墅q i丢品琅一a 啦“ 一入 所以( q i a ) z 州= q o x l + 蛳 j # o 由最小非负解理论： 解得： a l z 1 2 a l + b l 所以z 1 o o 黑彻 由递推得：墨 o 。 当h = o ) 时，戤= e t e l n ， 1 k o l m o g o r o v 矩阵对应的q - 过程的不峦测度为； 知2 f ； 1 + 酊1 丌j = _ 1 + 酊1 l = z 同理，进行以上讨论可知：k o l m o g o r o v 矩阵对应的q - 过程也是指数遍历 参考文献 ( 1 j 1 r g ，b l u m e n t h a la n dr k g e t o o r ，m a r k o vp r o c e s s e sa n dp o t e n t a lt h e o r y , a c a d e n t p r e s s ，n e wy o r k ，1 9 6 8 【2 】 r k g e t o o r ，m a r k o vp r o c e s s e s ：r a yp r o c e s s e sa n dr i g h tp r o c e s s e s ，s p r i n g e r v e r l a g b e r l i nh e i d e l b e r gn e wy o r k ，1 9 7 5 【3 】王梓坤，随机过程通论，科学出版社，北京，1 9 8 6 【4 】王梓坤、杨向群，生灭过程