（概率论与数理统计专业论文）随机环境中马氏链的强极限定理的研究.pdf

摘要 随机环境中马氏链理论是近年来国际上随机过程研究中最活跃的研 究领域之一，并取得了丰富的成果，尤其对随机环境中随机游动、分枝 过程等具体模型的研究已很深入国内，戴永隆、胡迪鹤等教授为首的科 研小组，在随机环境中马氏链一般理论研究特别是其状态分类、不变测 度的存在性方面，做了许多有价值的工作国外的著名学者o r e y ，1 9 9 1 年 9 在综述了已有研究成果的基础上，提出了一系列开问题，引起了众 多的概率论学者的广泛关注但这些工作都有待于进一步深入和拓展，对 它的研究将丰富和完善马氏过程的整个理论体系 李应求教授引入了石一不可约性，提出了常返、暂留的概念。并对链 的常返性和暂留性进行了研究，同时讨论了厅一不可约性链不变测度的存 在性，以及随机环境中马氏链的强遍历性。r l t w e e d ie 在文献 2 卜2 7 中研究了确定环境中马氏链的稳定性。l i uw e n 在文献 2 8 4 0 提出 了一种研究强极限定理的分析方法，并把此方法用到一系列经典马 氏链结果中，得到新的证明方法。 本文由七个部分组成：第一章介绍了随机环境中马氏链的研究 历史及现状：第二、三、四章研究了随机环境中马氏链的不可约性、 不交测度、遍历性等一系列性质；第五、六章用分析的方法给出了 马氏环境中马氏链的转移概率与泛函的强极限定理；第七章研究了 随机转移矩阵与双无限环境中马氏链的构造及互通性。 关键词：马氏链；随机环境：马氏环境；不可约；不变测度；强极限 a b s t r a c t a sb r a n c h e so fs t o c h a s t i c p r o c e s s ，l 讧a r k o v c h a i n si nr a n d o m e n v i r o n m e n t si so n eo ft h em o s ta c t i v ea r e a si np r o b a b i l i t yt o d a y ，a n dh a v e b e e nw e l ld e v e l o p e d e s p e c i a l l y ，s o m eo ft h ec o n c r e t er e s e a r c hm o d e l ss u c h a st h eb r a n c h i n gp f o c e s sa n dt h eb r a n c h i n gr a n d o mw a l k sh a v eb e e nd e e p l y s t u d i e d b a s e d0 nt h er e s e a r c h0 fc o b u r n ，o r e ys t u d i e dt h ep r o b l e m so f m a r k o vc h a i n si nd o u b l eb i i n f i n i t ee n v i r o n m e n t sa n d 口r e s e n t e das e r i e so f o p e np r o b l e m s ，a n da r o u s e dm a n yp r o b a b i l i t ys c h o l a r sw i d e s p r c a di n t e r e s t d o m e s t i c ，t h es c i e n t i f i cf e s e a r c hg r o u p sl e db yp r o f e s s o rd a iy o n g l o n g ，a n d h ud i h er e s p e c t i v e l yh a v ed o n em a n yv a l u a b l cw o r ki nm a r k o vc h a i n si n r a n d o me n v i r o n m e n t ss u c ha sc l a s s i f i c a t i o no fs t a t e t h ee x i s t e n c c0 f i n v a r i a n tm e a s u r es oo n h o w e v e r t h ea b o v ew o f kn e e dt of u r t h e rs t u d i e d a n dd e v e l o p e df o rt h ec o m p l e t e n e s sa n dr i c h n e s so ft h eg e n e r a lt h e o r yo f t h ea r e a t os o l v et h e o p e np r o b l e mp r e s e n t e db yo r e y ， l i y i n g q i uf i r s t i n t r o d u c e dt h ec o n c e p t so f7 一i r r e d u c i b l e ，r e c u r r e n c ca n dt r a n s i e n c e ，g a v e t h ec r i t e r i o no ft h er e c u r f e n c eo ft h ec h a i n si nb i i n f i n i t ee n v i r o n m e n t sa n d d i s c u s s e dt h ee x i s t e n c eo fi n v a r i a n tm e a s u r co f 万一i r r e d u c i b l ec h a i n s r l t w e e d i eh a dd i s c u s s e ds t o c h a s t i cs t a b i l i t y0 fm a r k o vc h a i s l i uw e n d i s c u s s e dt h es t r o n gl i m i tt h e o r e mb yt h ea n a l y s i sm e t h o da n du s e dt h i s m e t h o di nas e f i e so fc l a s s i cm a k o vc h a i n sr e s u l t ，o b t a i n e dt h en e wp f o o f m e t h o d t h i sp a p e rc o s i s t so fs e v e np a r t s i nc h a p t e rlt h eh i s t o f ya n dt h e d e v e l o p m e n to ft h em a r k o vc h a i n si nr a n d o me n v i r o n m e n t sa r ei n t r o d u c e d i nc h a p t e r2 ，3 ，4t h ei r r e d u c i b i l i t y ，i n v a r i a n tm e a s u r e sa n dc r 9 0 d i c i t yo f m a f l 【o vc h a i n si nr a n d o me n v i f o n m c n t sa r eg i v e n i nc h a p t e r5 ，6t h es t r o n g l i m i tt h e o r e m sf o rt r a n s i t i o np r o b a b i l i t i e sa n df u n c t i o n a li nm a r k o vc h a i n s i nm a r k o ve n v i r o n m e n t sa r ed i s c u s s e d i nc h a p t e r7t h cc o n s t r u c t i o no ft h e m a r k o vc h a i n si nr a n d o me n v i r o n m e n ti ss o l v e db yu s i n gt h es t o c h a s t i c t r a n s i t i o nm a t r i x i na d d i t i o n ，t h ec o n c e p t s0 fc o m m u n i c a t i n gs t a t ea n d s t r o n gc o m m u n i c a t i n gs t a t ea f ei n t r o d u c e d 1 【e y w o r d s ：m a r k o v c h a i n s ；r a n d o m e n v i r o n m e n t s ；t 讧a r k o v e n v i r o n m e n t s ； i r r e d u c i b i l i t y ； i n v a r i a n t m e a s u r e s ； s t r o n gl a w n 长沙理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律后果由本人承担。 作者签名： 王久 帆川年，月乃日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权长沙理工大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 l 、保密口，在一年解密后适用本授权书。 2 、不保密囝。 ( 请在以上相应方框内打“”) 作者签名：王六日期：冲厂月矽日 名乃忒带眺7 年r 月岁日 第一章前言 随机环境中的马氏链是近年来发展起来的随机过程的一个新的分 支，w l s m i t h z 【1 ，2 】1 9 6 8 年研究分枝过程理论，首次提出了随机环境的 概念随着s o l o m o n 【3 】对随机环境中的随机游动研究的深入，随机环境中 马氏链的理论相起了人们广泛的兴趣。随机环境中的马氏链也具有深刻 的现实背景和广泛的应用，例如：在汽车保险中，通常用随机环境中 p o i s s o n 过程作为保险户事故的数学模型，随机环境中的随机游动对股票 的分析，随机环境中的分支过程对物种的研究，另在物理、气象、水文、 随机振动等方面都有重要应用从确定环境推广到随机环境，不仅由于一 些结果会遇到本质性的困难，还因为随机环境情形会出现许多新问题， 需要许多新概念和新方法，而这些正是随机环境中马氏链理论的精华所 在 随机环境中马氏链一般理论的研究始于c o g b u r n 【4 7 】的系列论文， c o g b u r n ( 1 9 8 0 ) 引入了随机环境中马氏链的定义，并讨论了马氏环境中马 氏链的状态分类b o u r g i n 与c o g b u r n ( 1 9 8 1 ) 【8 】讨论了马氏环境中马氏链的 确定吸收概率他们定义的随机环境中马氏链实质上是有反馈的单无限环 境中马氏链，并讨论了他们的状态分类；c o g b u r n ( 1 9 8 4 ) 引入了双无限随 机环境中马氏链的定义，由于通常都认为单无限随机环境为双无限随机 环境的特殊情形，在以后的随机环境中马氏链一般理论的研究中，都是围 绕着双无限环境情形进行的，讨论了被控制的马氏链与环境过程的关系， 特别地，讨论了反馈问题应用遍历理论给出了双无限平稳环境中马氏链 有限不变测度存在的条件引入了“初始事件”为原点的弱遍历性概念， 利用耦合方法，给出了随机环境中马氏链是弱遍历的一些条件，随机矩 阵乘积的收敛和尾盯一域的结构，讨论了状态的分类和连通 性c o g b u r n ( 1 9 9 0 ，1 9 9 1 ) 讨论了双无限平稳环境中马氏链的转移概率的收 敛性、周期性及中心极限定理成立的条件在随机环境中马氏链的研究中， 在讨论单无限和双无限环境及其对应的双链间的关系时，出现了一系列的 误解甚至错误李应求( 1 9 9 9 ) 【2 0 】在此方面进行了一些有益的尝试并纠正 了其中的一些错误，同时【1 8 ，1 9 】在此研究基础上引入了丌不可约性与不 变测度的存在性。 随机环境中马氏链理论也是近年来国际上随机过程研究中最新的前 沿课题之一，取得了丰富的成果，尤其对随机环境中随机游动、分枝过 程等具体模型的研究已很深入国内，戴永隆、胡迪鹤、杨向群等教授为 首的科研小组，在随机环境中马氏链一般理论研究特别是其状态分类、 不变测度的存在性方面，做了许多有价值的工作国外的著名学者 0 r e y l 9 9 1 【9 ，1 0 】年在综述了已有研究成果的基础上，提出了一系列开问 题，引起了众多的概率论学者的广泛关注但这些工作都有待于进一步深 入和拓展，对它们的研究将丰富和完善马氏过程的整个理论体系 由于随机环境中马氏链的研究内容的丰富性，所以目前其一般理论 并不完善和系统李应求【1 6 2 0 】对0 r e y 提出的问题做出了部分的回答，具 体地，在文献【1 8 ，1 9 】中给出了双无限环境中马氏链的存在性和不可约 性，双无限环境中马氏链的常返性与不变测度：在文献【1 5 】和【1 6 】给出 了随机环境中马氏链的一致强遍历性；状态可数的马氏环境中马氏链 函数的强大数定律尽管如此，对单无限随机环境中的马氏链，双无限随 机环境中的马氏链的各种性质与极限定理仍有待进一步研究。 随机环境中马氏链的研究工作主要沿着二条线索展开。一是将马氏 链中已有的结论在某种意义下拓广到随机环境模型中去，正如将一元函 数的许多性质推广到多元函数一样，这种思路是非常自然的，迄今为止 许多随机环境中研究成果就属于这一种类型另一个是通过对非时齐马 氏链的研究来达到研究随机环境中马氏链的目的因为给定环境过程的一 个现实，随机环境中马氏链即变成了一个非时齐马氏链。但从确定环境 的研究推广到随机环境，不是简单的将原有结论平移就行了，研究中经 常会遇到许多本质性的困难，需要创造许多新概念和新方法。目前有关 随机环境中马氏链的严格数学理论和成果还不是很多，绝大部分的成果 产生于研究具体的过程和模型。 本文在前人工作的基础上，主要做了以下几点工作： 1 第二，三、四章利用确定环境中马氏链已得的一系列经典结 果【2 l - 2 7 】来研究了随机环境中马氏链的不可约性给出了最大不可约 性的构造并在最大不可约条件下得到一系列结果，给出了最大不可 约与7 r 一不可约的关系。在不可约条件下迸一步研究了不变测度与次 不变测度给出了不变测度与常返瞬时的关系。最后研究了遍历性给 出了转移概率与不变测度收敛的充要条件。 2 第五、六章用刘文【2 8 - 4 0 】给出的分析方法( 区间剖分法) 给出马氏 环境中马氏链随机转移概率几何平均的两个用不等式表示的强极限定 理，与泛函的强极限定理。 3 第七章研究了随机转移矩阵与双无限环境中马氏链的构造及 互通性。 2 第二章随机环境中马氏链的不可约性 1 引言与定义 随机环境中马氏链的研究始于2 0 世纪6 0 年代【1 ，2 】，但双无限随机 环境中马氏链的概念由c o g b u r n ( 1 9 8 4 ) 首次引入。2 0 0 1 年李应求【1 9 】引入 了双无限随机环境中马氏链又的万一不可约的重要概念本文对双无限随 机环境中马氏链夏，我们以马氏双链 ( x 。，r 。手) ，n o l 出发，定义了双链的伊 不可约的概念，并进一步研究了它的性质，以及它和万一不可约的关系 设表示整数集，巩表示非负整数集( q ，3 ，p ) 是一概率空间，( j ，月) 是离散空间、( o ，哂) 为任意可测空间，手= l 善。，n = ，一l ，o ，1 ， 和重= x 。，n = o 1 ，2 ，二 分别是( q ，3 ，p ) 上取值于 和z 的随机序列，i p 够) ，口o l 是( 丘月) 上 的一簇转移函数族，且假设对任意a 月，p ( ；， ) 是毋月可测的对任一序 列牙= i 仉l ，记碰= 巩，七s n r ， ：= 兀r l 。 ，磷= 兀二i 。哆，其中 t j 。t ，吗2 毋，七r 佃石= 峨j - ( ，晓1 ，岛，q ，一) 是o ”上的坐标过程，石 是毋”上过程手的分布，r 是坐标推移：丁蚕= 晓) ，晓= 钆。，( 七一，一1 ，o ，1 ，- - ) 设 匹= z t ”，占= 月毋”，t 噬，r 是月上的计数测度，石是毋”上的分布， 2 r 万定义( 匹，e ) 上的乘积测度对任意的c 占，定义( c ) ，= 石：( 石，百) c ( 集合c 在工点关于百的截口集) ，【c l = ( 五百) ：蚕( c ) ， 定义1 1 如果对任意 月，n + 有 p ( x o a ；手) = p ( x 。a l 巴) ， ( 2 1 1 ) p ( x 。a ；i ；，手) = p ( 彘；x ，a ) ， ( 2 1 2 ) 则称贾为双无限随机环境芋中的马氏链，手为双无限随机环境序列。 对集合，s ，记( ，) ，= 蚕o ”：( 工，百) ，l ，【f 】，= i 工l ( ，) ，对于，月) 上 给定的一簇转移函数族【p 秒) ，口0 l ，定义 声( 五万；椰= f p ( 岛；工，匆) ) ，( 力) = p ( 岛；五y ) j q ( 巧) ，v a s ， ( 2 l 3 ) 则 声“( 工，万；a ) = 尸( 岛，鲸1 ；工，) ，) 。) ，( r 4 否) ，v a 占，n l ( 2 1 4 ) 因为0 。，r 关于圆”可测，由复合函数的可测性可知，对给定的 ，声关 于 ，占) 可测，且易证固定工，石；户是匹上的概率测度，所以p 是( 匹，s ) 上的概率 核又 p ”o ，蚕；d ( “，西) ) 声“( “，在； ) j 。争 = j p ( 民乳1 ；工，如) j i ，嚷硐p ( 口。，口+ l ；，匆) ，( 鼽f 丁“昂l = p 觚铊，；毛幽) p ( 以，氏，。孤方) j ( 挑 丁舀l = j p ( 口o 。以+ + i ；工，西7 ) f ( ) ， r “”口l = 声肿“( 工，百；a ) ( 2 1 5 ) 即声满足k c 方程，所以声是( 匹，占) 上的转移函数由k o l m o g o r o v 定理 知，若给定初始点( z ，百) 匹及声，则决定了乘积空间q = 工虬( o ”) 虬上的概 率测度及以j ( ，西为初始分布，声为转移概率的取值于匹的马氏链 定理1 1 如果i 为双无限随机环境手中的马氏链，则 ( x 。，丁”孑) ，n o l 是 以声( 毛百；椰2 p 蛾；毛j q ( 布) 2 蚤p 蛾；五y j q r 面 l 为转移概率的 马氏双链 证：类似于文献 4 1 的定理1 4 2 随机环境中马氏双链l ( x 。，r “善) ，摊o l 的矿一不可约性 令( 墨万；丑) = 尹“o ，蚕；b ) 表示马氏双链 ( x 。，? “手) ，靠2 0 经有限步到达状 态口的概率。 定义2 。l 称马氏双链l ( x 。，? 。手) ，拜芝o 伊不可翁的( 简称为j i 是舻不 可约的) ，如果对任意的妒( b ) o ( 丑e ) ，总存在行1 ，使得户“( 五百；b ) 0 ， 对任意( 五百) e 匹称妒为该双链的不可约测度 易知l ( 而百；b ) o 等价于存在n 1 使得p o ，百；口) o ，所以有下面的等 价定义 定义2 1 称马氏双链 ( x 。，r “芋) ，行o 伊不可约的( 简称为重是伊不 可约的) ，如果对任意的伊( 口) o ( 口e ) ，有工( 工，百；曰) o ，对任意阮万) 定义z 2 称魏仍( 测度识与讫等价) ，若仍吼( 张关于鲠绝对连续) ， 且仍仍 引理2 3任何等价于不可约的测度妒的测度仍是不可约测度 证令是任一等价于不可约测度妒的测度，则对b e ，伊( 丑) o ，由朔伊 知妒( 曰) o 再由矿不可约性，知总存在 l ，使得声4 ( j ，舀；曰) 0 ，对任意 孑) 匹所以矿是不可约测度 令茁k ，百；b ) # 声“( 工，石；b ) 2 1 ”1 卸 引理2 4 置。瓴舀；丑) 是( 匹，占) 上的概率核 证 由p 是往，) 上的概率核，知屯( 毛否；丑) 是伍，上的转移核， 又 置k ( 工，百；e ) ；p 4 ( x ，万；e ) ”o = 一“q = 1 7 所以o ，玩彩是伍，s ) 上的概率核 定理2 5 如果趸是矿不可约的，则存在一个占上的概率测度妒使得 ( i )夏是不可约的。 ( i i ) 对其它任意测度矿，如果x 是伊不可约的充要条件是 y 缈 ( i i i ) 如果缈( b ) = o ，口占，则妒 ( 薯百) ：工( 工，百；口) 0 = o ( i v ) 概率测度等价于 甲( 丑) # p 妣d 田( 工，舀；b ) 对任意f 上的有限不可约测度p 证 由于任何等价于不可约的概率测度仍是不可约测度，不失 普遍性我们假设伊( e ) = l ，先构造y 如下： 缈( 曰) # p 出，d 目k 。( 工，百；b ) ( 2 2 1 ) 则由引理2 4 易知是p 上的概率测度 为了下面的霉明，我们设孙) = p ) ：扩( 埘；b ) 卦 ( i ) 当y ( 曰) o 由( 2 2 1 ) 式3 七使得伊( 百 ) ) o 由于- 面( 露) 个 面：妻p ( 百；b ) 士= e ，由妒不可约性，对任意( 百) 占，j m 使 得声”( 工，百；面( ) ) o 于是有 套声”“b 百；丑) = p ( 舀；c 方，d 厅) ) ( 喜( y ，面；曰) ) 一p ( 万；吾( 七) ) 。 于是i 是不可约的的 ( i i ) 令贾的伊不可约的，如果矿( 口) o ，我们有p ( 工，百；丑) o 对 v ( 五百) e ，由( 2 2 1 ) 式y ( 丑) o 所以y 卜伊 乍如果重是缈不可约的且妒卜妒，如果妒( 丑) o 则( b ) o ，由重是妒不 可约的得到置，i ( 工，百；丑) 0 ，对任意( x ，蚕) 匹，则重也是缈一不可约的 1 1 1 由p ( 出，面户“( 工，百；a ) 2 - ”= p ( 也力) + 一似百；a ) 一，件一+ 9 sp ( 出，面) p o ，石；a ) 一”。邓( a ) = o 6 得到y b 多) ：l ( 毛百；丑) o = o ( i v ) 由y 的构造，并且由( i i ) 可得沙是唯一最大不约测度 注定理2 5 中构造的妒不可约测度称之最大的不可约测度，并且在 等价意义下是唯一的 3 最大5 c ，不可约条件下的一些结果 定义3 1 称集a 匹为满集如果( ) = o 定义3 一 称集a 匹为吸收集如果声( 五舀；a ) = 1 对v ( 五百) 月 命题3 3假设贾是最大妒一不可约的则 ( i )每个吸收集都是满集 ( i i ) 每个满集包含一个非空的吸收集 证 ( i ) 如果a 是吸收集，如果妒( ) o ，则与妒不可约的定义和 定义3 2 是吸收集矛盾，所以妒( ) = o 因此a 是满集 ( i i ) 假设a 是满集，我们设 b = p m ：扩b ) = 0 s ， 由于p ( 工，万；a 。) = 1 当p 时，我们有丑c 由于( ) = o 由命题2 3 ( i i i ) 有y ( 口) o ，特别当丑非空时，通过c h a p m a n k 0 1 m o g o r o v 关系，如果 p ( e ；) o 当e 圆则我们有 萎p “( 百；) p ( 五百；( 也，d 动) i 薹p ( 厅；) 卜o ( 2 3 2 ) 胆u rl 胆uj 与( 2 3 1 ) 定义矛盾。所以口就是吸收集 7 4 、双链 ( x 。，z “手) ，万o 的9 一不可约性与隧机环境中马氏链引 臼 万一不可约 定义4 1i 称作石一不可约的，若对任意毛y 工，口o ”，丑毋”， 廊 0 ，存在n 2 l ，使得口r 1 b ，且p ( 岛，良l ；而) ，) 0 定理4 2贾是万一不可约的等价于马氏双链 ( x 。，r ”芋) ， o l 关于空间 ( 匹= x t ”，奢= 月毋”) 上独立乘积测度七石是不可约的。( 其中七是，月) 上的计数测度) 证设又是万一不可约的，由定义4 1 和式( 2 1 4 ) 知 对任意的y j ，丑e 谚”，万( 曰) 0 ，存在n 2 1 ，使得 p “o ，口；i y l b ) = p ( 岛，色一l ；x ，y ) j 口( r “口) o ，v a ，t 2 l ( 2 4 1 ) 则对任意的t 万( c ) = 万( ( c ) ，) o ，c 匹，由式( 2 4 1 ) 有 声“( z ，百；c ) = p ( 岛，乳。；x ，y ) j ( c ) 蚕) o ，e x 所以马氏双链 ( x 。，r “手) ，n o 关于七万是不可约的 反之，由式( 2 4 1 ) 知定理显然成立 注仿定理2 5 中方法我们可以构造最大的矿不可约测度，则具有 第二、三节中的最大不可约测度的性质 s 第三章随机环境中马氏链的不变测度 1 引言与定义 2 0 世纪8 0 年代初c o g b u r n 等人开始研究随机环境中马尔可夫链 的一般理论，取得了一系列结果，李应求在随机环境中马尔可夫链的 研究领域中，引入了万一不可约性，常返和瞬时性、不变测度、次不变 测度的概念本文将在以上基础上讨论随机环境中的次不变测度、不 变测度的性质，得到其与常返，瞬时的关系 设表示整数集，巩表示整数集( q ，3 ，p ) 是一概率空间，( 工，月) 是离 散空间、( ，圆) 为任意可测空间，芋= f 。，弗= ，一1 ，o ，l ，l 和贾= x 。，n = o 1 ，2 ， 分别是( q ，3 ，p ) 上取值于0 和z 的随机序列， p 够) ，p o i 是何，月) 上 的一簇转移函数族，且假设对任意a 月，p ( ；， ) 是圆月可测的对任一序 列j = 切。 ，记碰= 仰。，七s n sr l ， o ：= 兀2 。o j ，噬= 兀i 哆，其中 t j2 t ，雹。圆，o 。t r 佃口= i 已 = ( - 一，已，岛，b ，) 是 ”上的坐标过程，万 是上过程手的分布，r 是坐标推移：丁万= 砖 ，哦= 6 ：l 。( 七一，一l o ，1 ) 设 匹一z t ”，占= 丑毋”，一a 噬，r 是月上的计数测度，万是上的分布， 2 r 万定义( 匹，e ) 上的乘积测度定义( e ，e ) 上的转移函 数 ： p ( 石，百；l y 丑) = p ( 岛；工，y ) j 。( t 石) ，丑a 旷 设 u ( 工，a ) = 二。p 4 ( 而a ) ， ( c ) ，= 口：( 工，口) c ，【c 】，= p ) ：口( c ) zj ，c 占，仉5 荟氰w 吁h 定义1 1 如果对任意 ，丑月，n 札，有 p ( x 。a 眵) = p ( x 。a 辱：) ， p ( x 。bl 贾；，手) = p ( 磊；x 。，动， 则称夏为双无限随机环境手中马氏链，手为双无限随机环境序列 若手是一马氏序列，则称i 是双无限马氏环境手中马氏链 定义2 1 贾是万一不可约的，如果对任意的工，y z ，百 ”，b 矿， 9 万( b ) o ，存在m 1 ，使得百r 一”口，p ( 岛，幺“；y ) o 定义3 1 贾是强，r 一不可约的，如果贾是万一不可约且对任意的工， ) ，工，舀t ，b 圆，万丑= o 和m 1 ，都有百舌丁一“b 2 次不变测度 定义2 1 称甲为重的次不变测度，如果甲是盯一有限的测度，且满足 甲( c ) 卜( 州p c ) ，c ( 3 2 1 ) 如果等式成立，则称甲为不变测度 命题2 2 如果l l ，为i 的次不变测度，则 l i ，( c ) 卜( 出) p c ) ， 且 甲( c ) 卜( 凼) e ( 墨c ) ， 其中e ( 工，a ) = 二p ( 工，a ) 口( n ) ，n + ，c 占 证由掣为贾的次不变测度定义得，对任意n + ，c 占 甲( c ) 卜( d d p ( 嵋c ) 且卜( 出) p ( 墨d 】p ( 。c ) p ( 出) p 2 阮c ) 2p ( 出) ( 石，c ) 一 于是式( 3 2 2 ) 得证，在不等式( 3 3 2 ) 两边同乘口( n ) 并关于n 求 和得式( 3 2 2 ) 引理2 3 称状态工为常返的，如果对所有p ”，有墨j 仉= a o 称态 工为一致瞬时的，如果存在m 0 ，x 。= 工l 定理3 4 假设贾是石一不可约，如果是重的任意次不变测度 定义( a ) = f ( 玑( ，；a ) ， 占j x 【见 ( i ) 如果是次不变测度，则以是最小的次不变测度有 ( a ) ( a ) ，a 占 ( i i ) 夏是常返的，且对石一几乎所有的百 ”，工x 有工舀； e 】，) = l 则是贾的不变测度若贾是万一不可约且是夏的任意次 不变概率测度，则是i 的唯一不变测度( 最多相差一 常数) ( ii i ) 次不变测度是有限测度当且仅当 ( 西d 【l 】 ( a ) 与p ( 嵋【e l ) o 对所有的 w 【e l ，由又是石一不可约性石( o ”) o ，由的最小性与不变性，的 次不变性，有 1 = ( 【e l ) 上( 咖p ( w ，【e 】，) j l ( 妒( 嵋) h ( 帅她吼) = ( 旧，) = 1 因此我们必有声= ，当贾是常返的则是唯一的不变测度 ( ii i ) 由( 3 3 2 ) 有 ( e ) _ 玑( _ 1 ，；e ) 2h ( 咖凤【】，如是i 声( 【t 】 似( 咖) p ( w ) 则 ( e ) = ( a ) + ( ) j 蠢( 咖) p ( 嵋a ) + 似( 咖) p ( w ，) = 肛( 咖) p ( w ，j | 【) = ( e ) 与( e ) o ，存在m 1 使得蚕t 一“b ，p ( 岛，乳i ；工，y ) o 定义1 3i 是强石一不可约的，如果贾是石一不可约且对任意的工， y x ，万t ，丑毋，万口= o 和m 1 ，都有莎荟t 一“b 2 遍历性：可数空间 令e = z t ”，e z 且矿是可数的，在这节将讨论可数情况下的随机环 境中的马尔可夫链的遍历性问题 定义2 1 首次进入最后出来分解定义，对任何状态( 工，万) e ，口，y x 有： p 矽；毛，= 。p 阮y ，+ 茎 喜。矽；毛n ，p h c r 嘎4 ，口， 。p 仃谚4 ，y ， p 矽；工，y ) = 。p 阮y ) + i 。矽；毛n ) p h ( r 百；4 ，口) i 。p 仃百；口，y ) ，= 1 lt = ll 在讨论随机环境中的马尔可夫链的遍历性阿题时我们主要集中在时 间的变化而非具体的始末状态，为了这个目的 令：巳( 帕；只( l = 帕，( n ) ；艺( 贾= ) 咕，( n ) 霉。p ( 百；n ，) ，) 定义2 2称甲为x 的次不变测度，如果、壬，是盯一有限的测度，且满 足 壬，( c ) 卜( 州p ( 嵋c ) c 占 如果等式成立，则称甲为不变测度 定理2 3 假设重是万一不可约，如果卢是重的任意次不变测度 定义以( a ) = f ( 【，( 川a ) ，a s x x ( 4 2 2 ) i 巩 ( i ) 如果是次不变测度，则也是最小的次不变测度有 ( a ) 疋( a ) ，a g ( i i ) 又是常返的，且对，r 一几乎所有的百 ”，工x 有l “碗【f 】。) = 1 则是贾的不变测度着重是万一不可约且是重的任意次不变概率测 度，则砖是贾的唯一不变测度( 最多相差一常数) ( i i i ) 次不变测度是有限测度当且仅当 f ( o 当v w e ；v ( 口，百) e l 由( 4 2 2 ) 且令【e 】。为可达原子可得 一 令删叫( 如，a ) = 茎巾) 枷 且任意初始点( 口，口) 【e l 有声( a ) 相等因为【e 1 。为可达原子 甲q e 胪( 【f 4 】) - l 蕃n p m y m q e 蟾略朋， ( 伽5 再由首次进入分解与最后出来分解得： p 痧；x ，口) = 只o 。= j ) ，一7 仃蚕；口，口) = q ( j ) 悟 一，) p p ；4 ，y ) = p 痧；n ，) 。p 一。叮7 蚕；口，) ，) = ( ，) 0 ，i ，o 一力 由卷积定义口6 ( n ) = 4 ( j ) 6 ( n j ) 有： ( 曰；五口) = 巳。啊( n ) ，p 旧；4 ，) ，) = + 锄y ( n ) 首次进入最后出来分解可记为： p 够；五y ) = 。p 似y ) + 巳+ h 嘶0 i ，( n ) 定义2 5 称a 是非本质的，如果q ( 工，百；a ) = o ，一口矗瓴石) ，否则称a 是本质的如果一本质集a 是可数个非本质集的并，则称a 为非正则 本质的如果对任意工x ，【e l 都是正则本质的，则称重是正则本质的， 否则，称重是非正则本质的 定义2 6 称重是正链，假设重是万一不可约的，且有一不变概率测 1 6 度、l ，否则称x 是零链 命题2 7 假设贾是可数空间正则本质的正链，不变概率测度为 甲，则对任意( 工，舀) e ，4 ，y x 且【e l 为可达原子有： 咿；枷叫y ) i 筚“纸y ) + l ；一甲( 【e 1 d ) l ( n 坩( 【e 】。) 未。白，( d ( 4 2 7 ) 证：由分解( 4 2 6 ) 有： h h y ) 一、l ，q e 圳。p j | 矽；五) ，) + i q 多循。幻研，一甲q e 】。，言略叫 + 卜】4 ) 弘一甲( 【巩) l 由( 4 2 5 ) l 壬，的表达式得到结论 如果命题3 4 中的不等式中的三项都收敛致零，则有： p 眵；j ，y ) 一甲q e 】，) n a o 其中最关键是中间一项的收敛性l 巳晤一甲( 【e l ) 卜o 。i ( n ) 一o ，由弓 理我们可推出中间项完全独立初始状态工，百，仅用到可达原子【e l 的 性质，假设我们有：k ( n ) 一l l ，q e 】。) i 专o 以一o o 引理2 8 如果 4 ( 帕 ， 矗( n ) 是非负序列使得扫( 帕斗6 ) m 当n j 时，且4 ( j ) m ，则 口+ 扫( n ) j 6 ( ) 4 ( j ) ，口( 1 ) + 譬( 2 ) ) ，三 = 【l 一日( ) ，1 ) ， 其中若q ( 曲= o ，则定义见为空集设见不是空集，将见按比例 g ( 1 ) ：孽伉2 ) ：窖( 毛m ) 分成m 个左闭右开的区间，依次记为 d 。，护o d _ 碱，而刀，岛。) 称为。阶区间，其中若q ( 而，岛) = o ，则规定p 碣为 空集。易知 p ( p 娟) = 窜( 而，岛) ，而z ，岛9 ( 5 - 2 4 ) 一 般 地 ， 当n 1 时，设”1 j l f “1 个n 阶 区 间 嘲，玉z ，岛o ，o i h 已经定义，设d 刚铂不是空集，将d 蚺粥、吒 按比例p ( 以；，1 ) ：p 蛾；，2 ) ：p 蛾；，) 分成个左闭右开区间，记为 d 槲，。刀，其中若p ( 幺；t ，力= o ，则规定d 槲，啡为空集，设 p 砜而即碱不是空集，将p 咖即璃按比例e ( 幺，1 ) ：置( 幺，2 ) ：置( 见，m ) 分成 m 个左闭右开区间，记为d 确粥；e ；加，钆。e e ，其中若瓦( 幺，g ) = o ，则规 定 。帅 为 空集，这样就得到 n + 1阶区 间 。，玉爿，鼋 ，o s f s 行+ l 设各阶区间及区间【o 1 ) 所成的类为， 当n 1 时，易知 p ( d 咖即蚺) = q ( 而，岛) 兀k ( 吒，以