（应用数学专业论文）随机环境中马氏链的一类强极限定理.pdf

江苏大学硕士学位论文 摘要 马氏链作为描述一类实际问题的数学模型，在经济学、生命科学、 随机服务系统、计算科学、随机分形等领域中取得了极为丰硕的应用。 而随机环境中的马氏链是近年来兴起的新课题，对一些具体的模型如 随机环境中的随机游动，随机环境中分枝过程，马氏环境中的生灭链 等已有很多结果。近年来对随机环境中马氏链的极限理论的研究引起 了人们的极大兴趣，现阶段人们已经把非齐次马氏链的众多结果推广 到了随机环境中马氏链。 本文的目的是研究随机环境中马氏链的有关性质以及强极限定 理。第一章主要介绍随机环境中马氏链的相关研究及进展。第二章主 要引入随机环境中马氏链定义及性质。第三章介绍马氏链的基础理论 知识。第四章研究随机环境中马氏链的一类强极限定理。通过随机环 境中马氏链的一般构造性定义，利用鞅方法得到随机环境中马氏链的 一类强极限定理，并推广毕秋香等人的结果。第五章首先引出了随机 环境中马氏链的万一不可约和强万一不可约性的定义，在强万一不可约条 件下，得到了随机环境中马氏链强常返的充要条件以及随机环境中马 氏链常返的判定准则，同时在万一不可约条件下讨论了常返与强常返 的关系，最后在可达条件下讨论了常返与强常返的相关性质。 关键词：随机环境中马氏链强极限定理鞅万一不可约强万一不 可约常返强常返 江苏大学硕士学位论文 m a f k o vp r o c e s s e si s 锄i i n p o n 雅tp r o b a b n i s t i c p r o c e s s e s nh 勰p r o f o 蚰d l e o r e t i cf o u n d 锄e n t ，s u c h 弱t 叩o l o g y ；t h e o 巧o ff i l n c t i o n s ，f u n c t i o n a la n a l y s i s ，m o d e m a l g e b r a 柚dg e o m e n m 觚di th a sc x t e n s i v e 叩p l i e da r e a ，s u c h 勰p h y s i c s ，c h e m i s t r y ， b i o l o g y ，弱t r o n o m y ，c o m p u t e r ，c o m m 吼i c a t i o n ，m a n a g e m 蛐to fe c o n o m y b u tm a r ：k o v c h a i ni i l 删n i l o me n v i r o i l i n e n ti s l en e wp r o b l e mb e i n g0 nn l er i s ei nr e c e n ty e a r s ，t o af e wc o n a e t em o d e l sf o re x 卸叩l et l l er 孤d o mw a l k s ，b r a i l c i lp r o c e s si l lr 舡l d o m e n v i r 0 i 皿e m ，l 虢o re x t e n l l i n a t ec h 洳i i lm a r k o ve n v i r 0 1 m e mh a v ea l r e a d ym 觚y r e s u l t i i lr e c e n ty c a r sl i i n i tt h e o r e 】【n so fm a r k o vc h a i l l si 1 1 册d o me n v i r o 衄e n t sh a v e a r o u dp e 叩l e se n o n l l o u si i l t e r e s t ，l ep r e s e n ts t a g ep e o p l ea l r c a d yp r o m o t e dm e ； n o i 岫m o g c n e o u sm a r ：k 0 vc h a i 嬲f e s u l ti 1 1m er 锄d o me n v i r o l l i 】m i i lt h i sp 印e r ，t h er e l a t e dn a t i l r eo fm a r k o vc h a i l l si i lr a n d o me i i r o i u n e ma n di t s s t r o n gl i i n i tt h e o r e mi sg i v e n i i l t l l ef i r s tc h a p t e r ，w ei i l t r o d u c et l l ef e s e a r c ha i l d p r o g r e s s e sa b o u tm a r ：k o vc h a i l l si i l 姗d o me n v 的姗e n t s i i ln l es e c o n dc h a p t e r ，w c q u o t c dt h e 蜥n i t i o na i l dp f 叩e r t ya b o u tm a r ：k o vc h a i l l si l lr 觚d o me i l v i r o 衄e n t s i n t h et l l i r dc h 印t e r ，w ei l l 仃o d l 赋t l l eb 嬲i ct h e o r yw i l i c hn e e d st ou s ei nt h es u b s e q u c n t c h a p t e r s i i lt l l ef o u 劬c h 印t e rw er e s e a r c hac ：i a u s so fs t i d n gl i l n i tt h e o r e m so fm a 成o v c h a i n si n 珊n d o me n v i r o n m e n t s ，w ep r o v ead 勰so fs t r o n gl i i n i tt h e o r e m so fm a r k o v c h a i l l si i lr 锄d o me m v i r o n m e n t sb y m a r t i i l g a l e m e t h o da n dt h ec o n s t m c t i v e d e 矗n i t i o n0 fm a 成0 vc h a i l l si i lf a i l d o me n v i r o n m e n t s ，b m p r o m o t e sb iq i l j 】【i a n g r e 砌t i nm ef i 劬c h a p t e r ，w ei i l 仃0 d u c em ed e f i n i t i o na b o u tt h e 万- 砌e u c i b m 够孤d s t r o n g 万一i r r d e u c i b i l i 毋f o rm a r k o v ec h a i l l si 1 1r a i l d o me i i r o i 衄e n t s s o m e 嘶t e f i o n t h a ts t r o i 培万- i r r d e u c i b i l i 哆m a f k o vc h a i n si nr a i l d o me n v i r o i u n e n ta r er c c u r r e n ta r e g i v e n ，t h e r e yt h es 嘣c i e n ta n dn e c e s s a r yc o n d i t i o ns t i d n gr c c i l r r e n c eo fs t r o n g 万一i n d e u d b i l i 锣m 烈b v ec h a i n si nr a n d o me n v i r o 皿m e n t si so b t a i n e d a n dt a l ka b o u t t h er e l a t i o nb e 锕e e nr e c u r r e n c e 锄ds t i o n gr e c u m m c ei 1 1 也ec o n d i t i o no fs t r o n g 万一i n d e u c i b i l i t ym a f k o v ec h a i l l si i lr 觚d o me i l v i r 0 i u n e n t s l 勰tw ed i s c u s ss o m e r e l a t i v en a t i l r ea b o u tr e c u 即胱觚ds t r d n gr e c u l l r e i 脱吼d e r l ec o n d i t i o no fa o c e s s 1 ( e yw o 妯s ：m 诎0 vd l 咖si n 舢d o m e n v i f o d m e n t s ；s t r o n gl i l n i tm e o r e n l s ； m a n i i l g a l e ；万一i r r d 朗l c i b i l i 锣；s j t r o i 培万一i f r d e l l d b i l i t y ；r e c u r f e m ； s t r o n gr e c i i r r e n t 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文的复印件和电 子版，允许论文被查阅和借阅。本人授权江苏大学可以将本学位论 文的全部内容或部分内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密彤 学位论文作者签名：说幽敏 钿彩年6 月o 日 指导教师签名： 湖 勿略年6 月l o 日 独创性声明 1 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中己注明引用的内容以外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：夜翻墩 日期： 潲年石月口日 江苏大学硕士学位论文 第一章绪论 1 1 随机环境中马氏链的研究背景 马氏过程是随机过程中历史最悠久且充满活力的一类随机过程，自2 0 世纪 初俄罗斯数学家a a m a r k o v 等人开始研究马氏过程以来，取得了丰富的研究结 果，它有极为深厚的理论基础和广泛的应用空间。但是经典马氏理论，主要研究 转移函数不含随机变量，但是在许多情况下需要考虑随机因素，如人口模型的种 族繁衍，粒子的裂变，都要考虑外在环境的影响。一般来说，环境的变化不是没 有规律的，而是遵循一定的概率分布的。因此，人们需要在研究马氏过程的性质 的时候引入随机环境的因素，即研究随机马氏过程的性质，此类过程其转移函数 含有随机参变量。 从确定环境推广到随机环境，由于环境因素的存在，不仅一些结果会遇到实 质性的问题，如马氏性不一定满足，常返性和瞬时性是否相互排斥等，而且还会 出现新的问题，需要新的定义和新的研究方法，理论和实际的需要，引起了许多 研究者的广泛兴趣。从上世纪7 0 年代以来，随机环境马氏链的理论，作为随机 过程理论的一个新的分支，迅速发展起来。 对于随机环境中马氏链的研究，开始是研究一些特殊的情况和例子，自从 n a w r o t z k i 建立了该主题的一般理论后，经过世界各国几代数学家的努力，已经 发展成为一个重要的数学分支随着科学技术的发展，实际应用不断提出需要，随 机环境中马氏链也相应地演变和深化，或者进行各种推广，以便能够更加逼真地 刻画所研究的客观现象，尤其随机环境中的马氏过程是概率论的一个新的分枝， 其问题可追溯到物理学中的不均匀的传输问题，他在众多的领域有着广泛的应 用。 1 2 随机环境中马氏链的研究现状 关于经典马氏链的研究已有很多结果，而随机环境中的马氏链是近年来兴起 的新课题，对一些具体的模型如随机环境中的随机游动，随机环境中分枝过程， 马氏环境中的生灭链等已有很多结果。其中马氏链的极限理论是随机过程中重要 的研究内容，但那些研究均是对确定的马氏链而言，即它研究的马氏链是固定不 江苏大学硕士学位论文 变的，近年来人们把研究焦点转向随机环境中马氏链，这类研究引起人们的极大 兴趣。 2 0 世纪8 0 年代初rc o g b u r n 嵋1 等人开始研究随机环境中的马氏链的一般理 论，在遍历理论和中心极限定理等领域取得了深刻和丰富的成果，王汉兴研究了 具有离散参数的马氏环境中马氏链的p o i s s o n 极限率，方大凡研究了具有离散参 数的马氏环境中马氏链的s h a n n o n m c m i l l a n b r e i m a n 定理。n a w r o t z k i u l 着重研 究了有限状态的情况，在后来的研究中胡迪鹤讨论了随机环境中马氏链的存在 性，并给出了状态的几个特性函数。同时借用经典环境中马氏链的理论，研究了 绕积马氏链的状态的性质，以及随机环境中马氏链与各个状态之间的关系。李应 求进一步研究了随机环境中马氏链的状态的性质，引入了万一不可约、强万一不可 约、常返和瞬时性等概念，以及研究了随机环境中马氏链的遍历性，讨论了随机 环境中马氏链的强遍历、弱遍历，以及一致强遍历和一致弱遍历。 近年来随机环境中马氏链的理论主要集中在极限理论的研究。c o g b u r n 眩3 1 在一致混合条件下，得到平稳遍历环境中马氏链的泛函的中心极限定理。 s e p a l a i n e n 2 7 1 证明了随机环境中马氏链的大偏差成立。k i f e r 慨翱1 建立了更一般 的随机环境中的马氏链，利用随机动力系统理论，给出了随机环境中马氏链的 p e r o f r o b e n i n 定理、d o n s k e r v a r a d h a n 公式、大偏差、中心极限定理和重对数 率。李应求得到了随机环境中马氏链的强大数定律。 1 3 本文的主要研究结果 本文将在上述文献的基础上，进一步讨论了随机环境中马氏链的极限性质和 一些状态性质，如强常返性，常返性和强极限定理。 本文首先介绍了随机环境中马氏链的相关研究及进展，从近年来对随机环境 中马氏链的各种研究成果来了解它的发展。接着本文引进随机环境中马氏链的一 般定义和性质，以及随机环境中马氏链的基础理论知识。利用这些知识研究随机 环境中马氏链的一类强极限定理，通过随机环境中马氏链的一般构造性定义，利 用鞅方法得到随机环境中马氏链的一类强极限定理，并推广了毕秋香等人的结 果。 本文引进经典马氏链的理论来研究随机环境中马氏链的各种状态性质，并讨 2 江苏大学硕士学位论文 论了各种状态之间的相互关系。类似于经典马氏链，本文首先引出了随机环境中 马氏链的万一不可约和强万一不可约性的定义，在强万一不可约条件下，得到了随 机环境中马氏链强常返的充要条件以及随机环境中马氏链常返的判定准则，同时 在万一不可约条件下讨论了常返与强常返的关系，最后在可达条件下讨论了常返 与强常返的相关性质。 3 江苏大学硕士学位论文 第二章随机环境中马氏链的相关定义 2 1 随机环境中马氏链的定义 设z 表示整数集，n 表示非负整数集，( q 厂，p ) 是一概率空 间，( ，彳) ，( ，) 为任意的两个可测空间。芋= 己，刀= ，一1 ，o ，1 ，) 和趸= x 。，胛= o ，l ，2 ，) 分别是( q ，厂，尸) 上取值于。和的随机序列， 尸( 秒) ，秒o ) 是( ，彳) 上的转移函数族，且假设对任意的彳彳，尸( ，a ) 是 彳可测的， k ( ，) ) 是( ，) 上的转移矩阵，并假设对任意曰，k ( ，曰) 是可测的对任一序列孑= 切。) ，记云：= 切。，七n r ) ，一七r + o o ，设 o ：= 兀o ，贸= 兀侈，其中o j = ，鬈= ， 一o o 后，+ o o j = kj = k 否= 皖 = ( ，晓。，岛，幺，) 是 z 上的坐标过程。万是z 上过程孝的分布，z 是 坐标推移：矿否= 或) ，绣= 皖+ 。( 后= ，一1 ，o ，1 ，) 设e = z ，s = 彳z ，= 彳巧，k 是彳上的计数测度，万是z 上 的分布，= 鬈万定义( e ，f ，) 上转移函数： p ( x ，舀； 小：b ) = p ( 岛；w ) 厶( 丁否) ， 曰俨 对c 设( c ) ，= 刚x ，否) c ，【c 】，= 胁否) ：否( c ) ，) 定义2 1 1 【3 】记m ( 以彳) 为定义在空间上的转移矩阵的全体，称尸( ) ： 岭膨( ，彳) ，是随机转移矩阵，如果对任意的x ，) ，p ( ) ( x ，y ) 关于可 测，有时我们记尸( 护；x ，y ) = p ( 秒) ( x ，y ) ( 乡o ，x ，y ) 定义2 1 2 3 l i 和手是两个定义在完备概率空间( q 厂，p ) 上的随机序列， 邑：qj ，磊：q _ o ，尸( ) 是转移矩阵，如果对任意的y ，曰，露o 下 面条件满足： 4 江苏大学硕士学位论文 尸( k + 。= y ，彘+ 。b l 宏，巳) = 尸( 磊；以，y ) 尸( 磊+ 。b l 巴) a s 则称( j ，手) 是以p ( ) 为随机转移矩阵的随机环境中马氏链，称i 为原过程，芋为 环境过程 定义2 1 3 1 3 】如果对任意的么彳，刀，有 尸( k 彳阱p ( 凰彳 ( 2 1 1 ) 尸h 彳降争p ( 彘；以，彳) ( 2 1 2 ) 则称i 为随机环境手中的马氏链，手为随机环境序列若手是马氏序列，则称叉为 马氏环境手中的马氏链 定义2 1 4 【4 l如果对任意的4 彳，玎，有 尸k 4 吲= 尸( k 彳i 昴) ( 2 1 3 ) 尸( 4 降引= p ( 邑；以，4 ) ( 2 1 4 ) 则称i 为随机环境手；中的马氏链，爵为随机环境序列x 为状态空间，o 为环 境空间若手；是马氏序列，则称i 为马氏环境手；中的马氏链 引理2 1 1 【4 1 下面三个条件等价： ( i ) ( j ，孑) 是以p ( ) 为随机转移矩阵的随机环境中马氏链 ( i i ) 对任意的y ，曰，厅0 有 尸( 以+ ，= y ，磊+ 。b l 霹，己) = 尸( ；以，y ) 尸( 己+ 。曰i 巴) a s ( i i i ) 对任意的五y 尸( k = x 阱p ( = x 尸( b = 巾：，参尸( 磊；以，少) 2 2 随机环境中马氏链与马氏双链的关系 引理2 2 1 f 4 】 ( i ) 如果手是一步转移概率为k ( 幺b ) 的马氏链，i 为随机环境 5 江苏大学硕士学位论文 孝中的马氏链， 则 ( 以，色) ，刀o j 是一步转移概率为 q ( x ，色4 b ) = k ( 口，b ) p ( p ；x ，么) 的马氏双链 ( i i ) 若 ( 以，己) ，z o ) 是一步转移概率为q ( x ，砖么b ) = k ( 秒，b ) p ( 秒；x ，彳) 的马 氏双链，则爵是一步转移概率为k ( 幺b ) 的马氏链 证明( i ) 对任意的a 彳，b 尻厅，有 p ( b 咄召降讣= p p ( b “b 降手：。悟磊 = 吐p ( 磊；鼍，么) p 旧b 刚叉：，磊 = 尸 尸( 彘；以，彳) k ( 舻) 降引 = 尸( 己；e ，彳) k ( 己，b ) ( 2 2 1 ) ( i i ) 因为 ( e ，己) ，胛o ) 是马氏双链，故对任意的曰忍万，有 尸( 己+ 。曰l 手：) = e p ( 己+ 。b l 叉；，手：) j 芋： = e k ( 磊，曰) i 手： = k ( 磊，b ) ( 2 2 2 ) 于是得到爵是一步转移概率为k ( 幺b ) 的马氏链 引理2 2 2 【4 】下面三条件等价： ( i ) i 为随机环境爵中的马氏链； ( i i ) 对任意的a 彳，曰局行，有 p b 咄召降器) = 户( 咒，彳) 尸( 曰阱 ( 2 2 3 ) ( i i i ) 对任意的ae 彳，曰铭，靠，有 尸( 鼍+ 。以墨眵曰p 为爵) = 尸( 氦；瓦，么) p ( 手二曰阵) ； ( 2 2 4 ) 其中罐，= 兀：。髫，群= ，o f o o 6 江苏大学硕士学位论文 引理2 2 3 【2 4 】 爵是一步转移概率为k ( 秒，b ) 的马氏链，i 为随机环境爵中的 马氏链的充要条件是： ( 以，己) ，刀o ) 是一步转移概率为 q ( x ，见彳b ) = k ( p ，b ) p ( 乡；x ，么) 的马氏双链 证明充分性牙的马氏性是由引理2 2 1 ( i i ) 得证，由 ( 以，己) ，胛o ) 是一 步转移概率为k ( 口，b ) p ( 秒；x ，彳) 的马氏双链及穿的马氏性得证引理2 2 2 中条 件( “) ，于是得证i 为随机环境爵中的马氏链 必要性由引理2 2 2 中( 2 ) 及爵的马氏性易证 注2 2 1 对随机环境中马氏链，如果环境过程不是马氏链，则相应的双链和原 例1 设刁是一随机变量，且刁一( 三割，仉f 是同分布的，氓= 仍五，五邑， 恒为1 ，岛= 晏。= 磊= 彘= 磊= = 刁，缶= f ，则 ( 1 ) 爵不是马氏链，于是手亦不是马氏链 ( 2 ) i 是随机环境爵( 或芋) 中的马氏链，尸( 幺x ，y ) = 。 ( y ) ，其中l 为集a ( 3 ) ( 以，彘) ，刀o ) 不是马氏双链 ( 4 ) i 是马氏链 证明( 1 ) 由于p ( 受= 1 l 岛，缶) = 尸( 刁= 1 l f ，7 7 ) 尸( 7 7 = l i f ) = p ( 岛= 1 l 石) ，所以手； ( 2 ) 因为对任意的乡 一1 ，1 ) ，尸( 幺z ，y ) = ) ，显然是转移函数，且对任意的 y 一1 ，1 ，刀，有 p ( 以+ 。= y i _ 以手) = p ( 以+ 。= 少) = p ( 以+ ，= 少l 以，磊) = 尸( 己；咒，y ) 7 江苏大学硕士学位论文 尸( k = y = 尸( 刀= y 胁) = p ( 刀= y 蜘尸( k = j ，l 彘) 故( 2 1 3 ) 式成立；p ( = y 悟) = p ( 野= y f ，蟹) = p ( 蹿= y k ) = 尹( = ) ，降2 ) ， 故( 2 1 1 ) 式成立，所以i 是随机环境爵( 或芋) 中的马氏链 ( 3 )因为 p ( 五= 1 篇= l p k 孑：) = p ( 7 7 = l 旧f ) p ( 刁= 1 i f ) = p ( 鼍= 1 磊= 1 l 一，缶) 所以 ( 以，己) ， o ) 不是马氏双链 ( 4 ) 对任意的y 一l ，1 ) ，疗 o ，有 尸( 以+ 。= y p ：) = p ( 以+ 。= y ) = 尸( 鼍+ 。= 少i 以) 所以i 旱马氏锛 例2 设刁是一随机变量，且刁一( ；封，吼f 是同分布的，= f ， 】。= ：三主乏：i 七= 。，1 ， 靠：胗。銎“扫一，刈，卜 【f ，n = 2 七“ 叫一 则：( 1 ) 爵不是马氏链，于是手亦不是马氏链 ( 2 ) i 是随机环境爵( 或手) 中的马氏链，尸( 幺x ，y ) = 巩( y ) ( 3 ) ( ，己) ，撑o ) 是马氏双链，且一步转移函数为 f ， ( 口) 五。 ( 少) ，刀 o q 而幺y ，口2 t 三， ( 少) ，珂：。 2 2 5 ( 4 ) i 不是马氏链 证明( 1 ) 由于p ( 邑= l l 彘，螽) = p ( f = 1 眵，7 7 ) p ( 彳= l 旧) = 尸( 受= l 悔) ，所以孑； 不是马氏链 ( 2 ) 因为对任意的汐卜1 ，1 ) ，尸( 秒；z ，j ，) = 疗 ( 少) ，显然是转移函数，且对任意的 y 一l ，1 ) ，刀，当刀为奇数时 8 江苏大学硕士学位论文 尸( e + 。= y p ：，芋) = p ( 刁= y h f ) = 尸( 以+ 。= y l k ，磊) = p ( 磊；以，y ) 当以为偶数时 p ( 以+ ，= y i 弼，手) = 尸( f = j ，i ，7 ，f ) = p ( 以+ 。= y i 以，) = p ( 己；鼍，y ) 及( 2 1 2 ) 式成立，从而( 2 1 4 ) 式成立又 尸( k = y 伊p ( f = y 胁) = 尸( k = y 故( 2 1 1 ) 式成立所以i 是随机环境爵( 或手) 中的马氏链 ( 3 ) 对任意的少 一1 ，1 ) ，口 一l ，1 ) ，刀 o ，当刀为奇数时 p ( 以+ 。= y ，色+ 。= 口p ：，磊) = p ( ，7 = j ，f = 口旧f ) = p ( 以+ 。= y ，己+ 。= 口i 鼍，磊) 当，2 为偶数时 p ( 以+ 。= 弘己+ 。= 口i 牙；，磊) = p ( f = 刁= 口旧f ) = 尸( 以+ 。= 弘己+ 。= 口l 咒，己) 所以 ( e ，己) ，刀o ) 是马氏双链，通过直接计算可知其一步转移概率为( 2 2 5 ) 式 ( 4 ) 因为p ( 五= 1 i 霹) = p ( 7 7 = 1 1 7 7 ，f ) p ( ，7 = 1 i f ) = 尸( 五= 1 i 鼍) ，所以i 不是 注2 2 2 对马氏环境中的马氏链，其原过程不一定是马氏链 例3 设叩是一随机变量，且刁一 三割，仍f 是同分布的， 例3 设叩是一随机变量，且7 7 一l1 1l ，7 7 ，f 是同分布的， 22 - 乙2 ：三薹+ 1 后= 。l 磊= 刁+ 六厅= ，一l 。，l 则( 1 ) 芋是马氏链，于是爵亦是马氏链，且一步转移函数为k ( 口，口) = ( 口) ( 2 ) i 是随机环境爵( 或手) 中的马氏链，尸( 幺毛y ) = 阳j ( y ) ( 3 ) ( ，己) ，船o 是马氏双链，且一步转移函数为 9 ( x ，易y ，口) = 田( 口) 口一， ( y ) ( 4 ) i 不是马氏链 9 江苏大学硕士学位论文 证明 ( 1 ) 凼为对任蒽的疗，口 _ 2 ，o ，2 j ，有 j p ( 彘+ 。= 口i 孑二) = 尸( ，7 + f = 口k + f ) = p ( 磊+ 。= 口l 六) 所以手是马氏链，通过直接计算知其一步转移函数为k ( 幺口) = 田( 口) ( 2 ) 对任意的秒 - 2 ，o ，2 ) ，p ( 谚x ，少) = 胁 ( 少) 显然是转移函数，且对任意的 少 1 1 ) ，z ，有p ( 墨= y l 善) = p ( 7 7 = j ，盼刁) = p ( = y 睦) ，即( 2 1 1 ) 尸( = y 降动= 尸( 7 7 = y 刁+ 纠= 尸( 刁= 少胁+ 旬= 尸( = j ，k 磊) = 尸( 磊；鼍，力 当疗为偶数时 尸( 以h = y p ；，手) = 尸( f = y 1 7 7 ，六，7 + f ) = 尸( f = y l 卵，7 + f ) = p ( k 。= y i 以，六) = 尸候；瓦，) 即( 2 1 2 ) 式成立，所以i 是随机环境手中的马氏链 ( 4 ) 因为尸( 墨= 1 p ：) = 尸( 刁= 1 l 矽，f ) 尸( 刁= 1 眵) = p ( 置= 1 i 五) ，所以i 不是 注2 2 3 对随机环境中马氏链，即使原过程、环境过程都是马氏链，相应的双 例4 设刀是一随机变量，且刀一( ；三 ，仉f 是? 分布的，凰= 仍五，置邑， 恒为1 ，岛= 互。= 磊= 缶= f ，参= 磊= = 刁则 ( 1 ) 手是马氏链，于是爵亦是马氏链，且一步转移函数均为 k ( ：一 ( 2 2 6 ) 【( 口) ，拧l ( 2 ) 由( 2 1 2 ) 式成立，于是( 2 l 4 ) 式成立，尸( 谚而少) = 。l ( y ) ：但( 2 1 1 ) 1 0 江苏大学硕士学位论文 ( 3 ) ( 以，磊) ，疗o ) 不是马氏双链 ( 4 ) 叉是马氏链 让明 ( 1 ) 凼为对仕葸明刀，口 一l ，l j ，当刀 l 町 尸( 己+ 。= 口l 手二) = p ( f = 口i f ) = 尸( 彘= 口i 己) 当删时，p b = 口= p ( 7 7 = 口l f ) = p ( = 口l 磊) 当纠时，p b = 口= p ( 刁= 口伽) = p ( = 口盼 所以手是马氏链，通过直接计算可直知其一步转移函数为( 2 2 6 ) 式 ( 2 ) 因为p ( 托= 1 事；) = 尸( 7 7 = 1 i f ，叩) p ( 7 7 = l 眵) = 尸( = 1 l 品) ，故( 2 1 3 ) 式 不成立。又p ( k = 1 眵) = p ( 刁= lj f ，刁) p ( 刁= 1 眵) = p ( = 1 降二) ，故( 2 1 1 ) 式不成立 又对任意的p 一l ，1 ) ，p ( 秒；x ，y ) = ， ( y ) 显然是转移函数，且对任意的 y 一1 ，1 ) ，刀，有 p ( 疋+ 。= y l 弼，芋) = p ( 1 = y ) = p ( 以+ 。= y l 以，己) = 尸( 磊；以，y ) 即( 2 1 2 ) 式成立，从而( 2 1 4 ) 式成立 ( 3 ) 因为 尸( 五乩色= 1 降剐= p ( 纠协) p ( 删阱尸( 蔓_ 1 ，受= 1 睇石) 所以 ( 以，色) ，刀o ) 不是马氏链 ( 4 、叁曰例1 的( ，4 ) 江苏大学硕士学位论文 第三章随机环境中马氏链的相关性质 3 1 条件期望的相关定义及引理 下面涉及的问题将在固定的完备概率空间( q 尸，尸) 上进行讨论 定义3 1 1 【2 6 】设为厂的子仃一域，x 为( 准) 可积随机变量，y 为满足下 歹u 条件的随机变量： ( i ) y 为可测的 ( i i ) 对每个b ，l 磁p = i 胤p ( 3 1 1 ) 船廖 则称y 为石关于的条件期望，记为】，= e ( x l ) 特别地，当= 仃( z ) 时，也 称y 关于z 的条件期望，记为e ( x i z ) 注：e ( l z ) 是仃( z ) 可测的 以下鼠属，磊等都是厂的子仃一域 命题3 1 1 【2 6 1 若x ，y 为可积的随机变量，口，6 为任意常数，则 ( i ) e ( 谜+ 6 】，l ) = 翘( x i ) + 施( 】，l ) ( i i ) e ( 1 i ) = 1 ( i i i ) 若x y ，则e ( x l ) e ( 】，j ) ；特别地，当x o 时，e ( x f ) o ( i v ) i e ( x i ) l e ( 1 x l l ) 定义3 1 2 设( q ，厂，p ) 是完备的概率空间，= o ，1 ，2 ，) 是非负整数全 体，如果厂的子盯一域族，= 石，刀) 满足下列条件： ( i ) z 包含纩中的一切可略集； ( i i ) 对每一个刀，巧c 磊c 厂，即石个 则称，= 石，疗) 为仃。域流( q 尸，尸) 为带流概率空间 定义3 1 3 【2 6 】随机变量序列x = 以，疗 ，若满足： 江苏大学硕士学位论文 ( i ) x 是，适应的，即对每个力，瓦石( 此时称 以，石，胛o ) 为随机适应序 列) ；且对每个刀，x 。是可积的； ( i i ) 对每个玎，e ( 以+ 。i 石) = 以 黜 ( 3 1 2 ) 则称 艺，石，2 o ) 为f 鞅或鞅如果将( 3 1 2 ) 中的等号换成( ) ，则称 以，石，行o ) 为上( 下) 鞅 定义3 1 4 2 q 设 k ，石，甩o ) 为随机适应序列，如果e ( e + 。i 巧) = o v 行 则称 匕，石， o 为鞅差序列 引理3 1 1 p 6 1 如果 匕，石，刀o ) 为鞅差序列，则 邑= 羔k ，石，拧o 为鞅； l 七= o j 反之，设 咒，巧，刀o ) 为鞅，令= k 一咒一。( 玎1 ) ，k = k ，则 匕，石，胛o ) 为 鞅差序列“ 引理3 1 2 【2 6 1 ( d o o b 鞅收敛定理) 设z = 以，刀) 为下鞅，若s u p 口鬈 哆或 等价地s u p 甄 ，则当疗哼o 。时， 以) 口矗收敛于可积的随机变量x 。 推论3 1 1 2 6 】若x = ，z ) 为非负鞅，则邑口矗收敛于可积的随机变量 证明若x = 以，珂) 为非负鞅，则 e 。k = e i 咒l = e i 托l o 定义3 2 2 【1 5 】 称i 是强万不可约的，若对任意的x ，y ，对几乎处处的 否o z ，曰曰z 石口 o ，存在聊1 ，使得否r ”召，”( 五矛；【e 】y ) o 定义3 2 3 称状态x 为常返的，如果对所有的舀o z ，有色，硫= 称状态 x 为瞬时的，如果存在正实数 m ，f 1 ) 和 z 的一个分划 置，i 1 ) ，使得对所有 否噩，有t ，硫帕m ，譬1 ，称链i 为常返的，如果每一个状态x 都是常 返的，称链i 为瞬时的，如果对每一个状态x 都是瞬时的 1 4 江苏大学硕士学位论文 定义3 2 4 【1 1 1 称集合f s 是本质的，若( ( x ，否) ：q ( x ，否；f ) o ) o 。称状态x 是本质的，若【e l 是本质的。否则称x 是非本质的 定义3 2 5 【1 1 】称集合f s 是非正则本质的，若f 是本质的且是可数个非本质 集的并；否则称f 是正则本质的。称状态x 是非正则本质的，若集合【e l 是非正 则本质的，即【e l 使本质的，且存在e b z ，使得【e l = u ( x ) e ) 满足 砂，万( 否：q ( y ，否； x ) 或) = o ) = 1 ；否则称x 是正则本质的 定义3 2 6 【1 1 1 称状态x 是强常返的，若万 否：q ( x ，否；【e 】，) = 1 ) = 1 称状态x 是 弱常返的，若万 否：g ( x ，否；【e l ) = o o = 1 称状态x 是强暂留的，若 万 否：g ( x ，否；【e 】，) o ，眈p ( 墨万) 彳 称a 一致可达d ，若存在占 o ，使三( x ，否；d ) 占，口名( x ，舀) 彳 引理3 2 11 1 4 】如果i 是万一不可约的，则i 是常返的或瞬时的 证明 设i 不是常返的，则存在x ，夏0 2 ，使得t ，现 o 于是由下式可得一矛盾结论： 乓，硫2 善乍，夏) ( 以= x ) 荟气而) ( 疋+ m = x ) 乏气垌( 以= x ) 气妒。夏1 ( 咒= x ) 一= l 、，、 7 = 尸( 嘞，- l ；墨x ) 善，磊) ( 以= x ) = 尸( ，。；x ，石) t p 硫= ( 3 2 1 ) 另辟= 乃o z ：t ，钆，) ，1 由于耳个曰c ，必存在j l ，使得碱 o ，且对 江苏大学硕士学位论文 所有y 以否 z ，有 ，确帖= 善喜以( y ，否；x ，耳) 只，矿否( 兄一t = x ，f 卜手e ) = 艺艺 ( 弘舀；墨b ) e 否( 以= r 手e ) 七= l 力= 0 = 薹以( 乃否；而耳) + 喜五( 乃否；墨耳炫嘞蚋 1 + ，( 3 2 2 ) 对任意y x ，记否，( m ) = 否：萋尸”( 弘乃； x ) 召，) 吉 由( 3 2 5 ) 式，对任意的 对任意y x ，记否，( m ) = 否：尸”( y ，乃； x ) 召，) 吉 由( 3 2 5 ) 式，对任意的 否 z ，有 m ( ，+ ，) 坶，薹薹p ( 弘乃； z 毋) 艺，p ( y ，否；j ) 兰( 缈； 小e ) 月2 0 y x 耳) m 2 1 刍扩( 少如) _ ，( m ) ) 引理3 2 2 【1 4 】设i 是万不可约的 ( 3 2 3 ) ( i ) 如果万是平稳分布，存在x x ，使得三( x ，万；【e 】。) = 1 ，万一口丘乃 z ， 则i 是常返的 ( i i ) 如果i 是常返的，则有 三( x ，乃；吼) = 1 ，万吨口否 z ，z x ( 3 2 4 ) 引理3 2 3 f 4 1 ( i ) 设状态x 是正则本质的且x 可达状态y ，则y 是正则本质的 ( i i ) 设x 是本质的，且x 一致可达状态j ，则y 是本质的 ( i i i ) 若x 是强常返的，且z 一致可达状态y ，则y 是强常返的 1 6 江苏大学硕士学位论文 引理3 2 4 【1 5 】若i 是万不可约的，则x 是弱常返的或者是强暂留的 证明假设x 不是强暂留的，则存在b b z ，柏 0 ，使得v 否曰有 g ( x ，否；【e 】，) = o o ，由i 是万一不可约的，则对几乎处处云o z ，存在m 1 ，使得 夏丁一”b ，p ( ，一。；x ，x ) o ，于是有 g ( 痢e 啦孰司( k = x ) 二钿( l = x ) 铀磊) ( 以= x ) 一= l 、， 、， = 尸( ，。；薯x ) 善气妒一云) ( e = x ) = 尸( ，一。；x ，x ) g ( x ，丁肼夏；【e 】，) = 所以x 是弱常返的 引理3 2 5 【1 5 】若i 是强万不可约的，则对任意的毛y ，下列条件等价： 万 孑：g ( x ，硗【e l ) = o o ) = l 万 矛：g ( y ，否；吼) = ) o 万 否：g ( y ，庭吼) = ) = l 万 否：g ( x ，否；【e 】，) = ) o 证明j ：设成立令召= 否：g ( 墨否；【e 】，) o ，故 g ( 弘否；【e 】，) = 喜喜( 弘否；【e 】，) 气矛) ( 咒 = x ) = 善萎f 。( y ，否；【e 】。) 气；) ( 以= x ) 七= l 一= o 、4， = 善( 少，匆 e l ) + 二( 乃否；【e l 心矛) ( 以= x ) 七= l七= l 一= l 、。 ， 1 7 江苏大学硕士学位论文 = 艺严( y ，否；【昱l ) + f ( y ，否；【e 】，) g ( x ，严否；【e 】，) 七= l七= l f ”( y ，否；【e 】，) g ( x ，丁”舀；【e 】，) = o o v 乃a 。 此