（应用数学专业论文）循环马氏链的强极限定理.pdf

江苏大学硕士学位论文 摘要 概率论是研究随机现象统计规律性的一门数学学科，其理论和方 法在金融、保险、经济管理、工农业、医学、灾害预报甚至社会科学 领域中有着广泛的应用。运用概率论的理论和方法还形成了许多边缘 学科，如信息论、决策理论、生物统计、金融数学以及精算理论等。 马尔可夫过程是一类重要的随机过程，它有着极为深厚的理论基础和 广泛的应用空间。其中，马尔可夫链的极限理论是马尔可夫过程研究 的基本领域之一。有关齐次马氏链的极限理论已有了相当成熟的结果， 并形成了完整的理论体系。关于非齐次马氏链的极限理论的研究，人 们一直在陆续进行中。近年来，许多学者在非齐次马氏链的极限理论 上做了大量的研究，并取得了许多成果，如杨卫国、刘文等瞳 1 对非 齐次马氏链的极限定理的研究。考虑到在实际应用中，非齐次马氏链 的转移矩阵是循环的情形经常出现，所以循环马氏链强极限定理的研 究具有非常重要的理论意义和实践意义。本文主要研究实际生活中更 为常见的一类非齐次马氏链一循环马氏链的强大数定律及循环马氏 信源的渐进均分割性。 本文首先引进了三重循环马氏链的概念，然后利用非齐次马氏链 函数的极限性质，研究了三重循环马氏链关于状态出现频率的强极限 定理，得到了三重循环马氏链关于状态出现频率的强大数定律和三重 循环马氏信源的渐进均分割性，进而推出了循环马氏链关于状态出现 频率的强大数定律，最后给出了关于循环马氏信源的渐进均分割性， 为循环马氏链在实际生活中的应用提供了理论依据。 江苏大学硕士学位论文 关键词：循环马氏链，状态出现频率，熵密度，强大数定律，遍历， 渐进均分割性 江苏大学硕士学位论文 a b s t r a c t p r o b a b i l i t yt h e o r yi sab r a n c ho fm a t h e m a t i c sd e a l i n gw i t l lt h es t a t i s t i c a ll a wo f c h a n c ep h e n o m e n a i t st h e o r e m sa n dm e t h o d sh a v eb e e nw i d e l yu s e di nf i n a n c e ， i n s u r a n c e ，e c o n o m ya n da d m i n i s t r a t i o n ，i n d u s t r ya n da g r i c u l t u r e ，m e d i c a ls c i e n c e ， d i s a s t e rf o r e c a s t ，e v e ni nt h es o c i a ls c i e n c e m a n yb o r d e r l i n ec o u r s e sh a v ee m e r g e d b yu s i n gt h et h e o r e m sa n dm e t h o d so fp r o b a b i l i t yt h e o r y , s u c ha si n f o r m a t i o nt h e o r y , p o l i c y m a k i n gt h e o r y , b i o l o g ys t a t i s t i c s ，f i n a n c i a lm a t h e m a t i c sa n da c t u a r i e s e t c m a r k o vp r o c e s si sa ni m p o r t a n ts t o c h a s t i cp r o c e s s i th a sp r o f o u n dt h e o r e t i c a l f u n d a m e n ta n de x t e n s i v ea p p l i e da r e a t h el i m i tt h e o r yf o rm a r k o vc h a i n si so n eo f t h eb a s i ca r e a so nm a r k o vp r o c e s s e s r e s e a r c h f o rt h el i m i tt h e o r yf o rh o m o g e n o u s m a r k o vc h a i n s ，m a n yr e s u l t sh a v eb e e no b t a i n e d ，w h i c ha r em a t u r ee n o u g ht of o r ma c o m p l e t et h e o r e t i c a ls y s t e m f o rt h el i m i tt h e o r yf o rn o n h o m o g e n o u sm a r k o vc h a i n s ， r e s e a r c h e r sh a v ed o n em u c hw o r ki nr e c e n ty e a r s ，s u c ha sy a n ga n dl i u sw o r ko nt h e l i m i tt h e o r e m sf o rn o n h o m o g e n e o u sm a r k o vc h a i n s s i n c et h ec a s et h a tt h et r a n s i t i o n m a t r i c e so fn o n h o m o g e n e o u sm a r k o vc h a i n sa r ec i r c u l a ro f t e na p p e a r si np r a c t i c a l u s e ，t h er e s e a r c ho nt h es t r o n gl i m i tt h e o r e m sf o rc i r c u l a rm a r k o vc h a i n sh a sg r e a t t h e o r e t i c a la n dp r a c t i c a ls i g n i f i c a n c e t h ep u r p o s eo ft h i sp a p e ri st os t u d yt h es t r o n g l a wo fl a r g en u m b e r sf o rc i r c u l a rm a r k o vc h a i n sa n dt h ea s y m p t o t i ce q u i p a r t i t i o n p r o p e r t yf o rc i r c u l a rm a r k o vi n f o r m a t i o ns o u r c e s ，w h i c hi sam o r ec o m m o nc a s eo f n o n h o m o g e n o u sm a r k o vc h a i n si nr e a ll i f e i nt h i sp a p e r , w ef i r s ti n t r o d u c et h e d e f i n i t i o no ft h r e e - o r d e rc i r c u l a rm a r k o v c h a i n s t h e nb ya p p l y i n gt h el i m i tp r o p e r t yf o rf u n c t i o n so fn o n h o m o g e n o u sm a r k o v c h a i n s ，t h es t r o n gl i m i tt h e o r e mo nt h ef r e q u e n c i e so fo c c u r r e n c eo fs t a t e sf o r t h r e e - o r d e rc i r c u l a rm a r k o vc h a i n si se s t a b l i s h e d ，a n dt h es t r o n gl a wo fl a r g en u m b e r s o nt h ef r e q u e n c i e so fo c c u r r e n c eo fs t a t e sf o rt h r e e - o r d e rc i r c u l a rm a r k o vc h a i n sa n d t h e a s y m p t o t i ce q u i p a r t i t i o np r o p e r t yf o rt h r e e - o r d e rc i r c u l a rm a r k o vi n f o r m a t i o n s o u r c e sa r eo b t a i n e d a c c o r d i n gt ot h i s ，w es t a t et h es t r o n gl a wo fl a r g en u m b e r so n n l 江苏大学硕士学位论文 t h ef r e q u e n c i e so fo c c u r r e n c eo fs t a t e sf o rc i r c u l a rm a r k o vc h a i n s a tl a s t , w eg i v et h e a s y m p t o t i ce q u i p a r t i t i o np r o p e r t yf o rc i r c u l a rm a r k o vi n f o r m a t i o ns o u r c e s t h e s e o f f e rat h e o r e t i c a lb a s i sf o r t h ea p p l i c a t i o n so fc i r c u l a rm a r k o vc h a i n si nr e a ll i f e k e yw o r d s ：c i r c u l a rm a r k o vc h a i n s ，o c c u r r e df r e q u e n c yo f s t a t e s ，e n t r o p yd e n s i t y , t h es t r o n gl a wo fl a r g en u m b e r s ，s t r o n ge r g o d i c ，t h ea s y m p t o t i c e q u i p a r t i t i o np r o p e r t y i v 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 位保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权江苏大学可以将本学位论文的全部内容或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本 学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密哐【 学位论文作者签名：槊仰命 2 d 路年1 2 - ? jf 7 日 指导教师签名： 渺年陟月 桶叫 汨 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：槊唧仰 日期：2 魄年2 月7 日 江苏大学硕士学位论丈 第一章绪论 马尔可夫过程是一类重要的随机过程，它有着极为深厚的理论基础，如拓扑 学、函数论、泛函分析、近世代数和几何学，又有着广泛的应用空间，如物理、 化学、生物、天文、计算机、通信、经济管理等众多领域。正由于马尔可夫过程 在物理学、生物科学、信息理论、自动控制、工程技术及数值计算等方面起到的 异乎寻常的作用，使得人们越来越重视马尔可夫过程的理论及其应用的研究。有 关齐次马氏链的研究，已经形成了较完整的理论体系；关于非齐次马氏链的研究， 人们一直在陆续进行中。在概率论的发展史上，强极限理论的研究一直占有很重 要的地位。概率论是研究大量随机现象的规律的，所谓“大量”，从数学角度来 讲，就是当对随机现象的观测次数趋向无穷时，它的“极限 呈现出来的某种规 律性。因此，强极限定理在概率论中有着极其重要的地位。前苏联数学家 k o l m o g o r o v 和格涅坚科曾说过，“概率论的认识论的价值只有通过极限定理才能 被揭示，没有极限定理就不可能去理解概率论的基本概念的真正含义 。概率论 的真正历史开始于b e r n o u l l i j ( 假设的艺术，1 7 1 3 年) 的大数定律。从那时起 概率论的研究中心之一就是“极限理论。所以对马氏链的极限性质的研究是一 个比较传统的课题，历年来一直成为诸多学者研究的热点。近些年来，刘文和杨 卫国在概率论极限定理方面做了大量的研究工作，尤其是对非齐次马氏链性质的 研究取得了大量突出的成果( 文1 6 1 一文 2 3 】) ，这些成果使得大家对非齐次马氏 链的性质有了更进一步的认识，并且日趋完善。 1 1 研究背景 1 1 1 马尔可夫链的直观背景 马尔可夫链( 简称马氏链) 是一种特殊的随机过程。自1 9 0 7 年苏联数学家 a a m a r k o v 弓i 出马尔可夫链概念以来，人们对马尔可夫链的研究可以说盛久不 衰。如研究有限或可数马尔可夫链u - 3 1 ，研究马尔可夫链及随机稳定性 4 1 ，研究 马尔可夫链的基础及应用 5 - 6 1 ，以及对马尔可夫链基础知识的研究 7 - 1 1 1 。它的直 江苏大学硕士学位论文 观背景如f ： 设想有一个随机运动的体系( 例如运动着的质点等) ，它可能处的状态( 或 位置) 记为，s ，s ，总数共有可列多个或有穷个，这体系只可能在时刻 t = 1 2 ，万，上改变它的状态。随着的运动过程，定义一列随机变量 瓦，咒= 0 ，1 ，2 ，其中 x 。= k ，如在f = , 时，位于瓯 一般地， 以，n o ) 未必是相互独立的。 实际中常常碰到具有下列性质的运动体系，如果己知它在f = 刀时的状态， 则关于它在n 时以前所处的状态的补充知识，对预言在n 时以后所处的状态不 起任何作用。或者说，在已知“现在”的条件下，“将来 与“过去”是独立的。 这种性质，就是直观意义上的“马尔可夫性( 简称“马氏性 ) ，或称“无后 效性”。具有这种特性的随机过程称为马尔可夫过程，简称马氏过程。若马尔可 夫过程弘( f ) ，t r 的状态空间s 为r 中的可列集，则称弘( f ) ，t z 为马尔可夫 链。若r 为可列离散集，则称弘o ) ，t z ) 为离散参数马尔可夫链；若r 为连续的， 则称弘o ) ，t r ) 为连续参数马尔可夫链。 荷花池中的一只青蛙的跳跃是马尔可夫过程的一个形象化例子。青蛙按照它 瞬间跳起的念头从一片荷叶上跳跃到另一片荷叶上。如果青蛙是没有记忆的，人 们自然可以假定，当已知青蛙在某时刻所处的位置时，它下一步跳往何处与它此 前走过的路径无关。如果将荷叶编号( 例如编号为自然数1 ，2 ，3 ，) ，并用蜀表 示青蛙在初始时刻所处的荷叶的号码，用x 。，x ：，分别表示青蛙经过第一次， 第二次，跳跃后所处的荷叶的号码，) g z , ，随机序列 咒，n 0 ) 就是一个马尔 可夫过程。 1 1 2 马尔可夫链强极限问题的研究进展 在实践中所遇到的马尔可夫随机系统，它的转移概率矩阵常常是随时间而异 2 江苏大学硕士学位论文 的，为了更加如实的描述客观现象，获得更逼真的结果，必然导致非齐次情形的 研究，这便大大地增加了研究对象的复杂程度与解决问题的难度，因此与齐次马 氏链已取得的丰硕且深刻的成果相比，显得相当不足，故非齐次马氏链至今仍是 有待深入研究的重要论题。 在马氏链强极限理论的研究领域中，马氏链的强大数定律一直是饶有趣味 并富有意义的课题。大数定律是阐明大量随机现象平均结果的稳定性的理论，是 概率论中的主要内容之一。由于其在理论与实践中有着广泛的应用和重要意义， 受到诸多学者的关注，如文【8 】，【9 】中讨论了强大数定律在数理统计、数论、古典 分析中的应用，c h u n gk l 、叶中行等讨论了强大数定律在信息论中的应用。 关于非齐次马氏链的强大数定律已有不少研究。朱成熹、刘国欣等人研究了 可列非齐次马氏链一元函数的强大数定律 1 3 - 1 5 1 ；九十年代初，刘文、杨卫国研究 了可列非齐次马氏链状态和状态序偶出现频率的强大数定律 1 6 - 1 9 1 ；刘文、杨卫 国还研究了有限马氏链的相对熵密度和随机条件熵的一类极限定理；之后他们又 研究了有限非齐次马氏链的渐进均分割性。近几年来，刘文、杨卫国将分析方法 巧妙地引入到树上马氏链场极限定理的研究，得出齐次树图上马氏链场具有口幺 收敛意义的强大数定律和s h a n n o n - m c m i l l a n 定理 2 6 - 3 1 j 。此外，隐马尔可夫模型 的强大数定律也已有不少研究，如杨卫国、吴小太研究了有限状态下隐非齐次马 氏链的强大数定律。在随机环境中，人们也研究了马氏链的强大数定律，如李炜、 郭先平研究了随机环境中马氏链的强大数定律；郭明乐也研究了随机环境中马氏 链的强大数定律等。 在实际应用中，非齐次马氏链的转移矩阵是循环的情形经常出现，所以循环 马氏链强极限定理的研究具有非常重要的理论意义和实践意义。本文主要研究循 环马氏链的强大数定律和关于循环马氏信源的渐进均分割性。 1 2 本文的研究方法和主要解决的问题 本论文共分五章，第一章为绪论，第二章为预备知识，介绍一些与本论文相 关的基本概念及相关性质。第三章研究三重循环马氏链的强大数定律和关于三重 循环马氏信源的渐进均分割性。首先引进了三重循环马氏链的概念，然后利用非 3 江苏大学硕士学位论文 齐次马氏链函数的极限性质，研究了三重循环马氏链关于状态出现频率的强极 限定理，最后得到了三重循环马氏链关于状态出现频率的强大数定律和关于三 重循环马氏信源的渐进均分割性。第四章将上一部分得到的结论进行推广，得到 了循环马氏链关于状态出现频率的强大数定律和关于循环马氏信源的渐进均分 割性。第五章为结束语。 4 江苏大学硕士学位论文 2 1马氏链的定义 第二章基本理论与概念 相对于一随机试验，设q 是所有样本点 ) 构成的样本空间，f 是q 上的 所有随机事件构成的事件集合称为仃一代数，p 是定义在f 上的概率测度。称定 义在概率空间( q ，f ，p ) 上的随机变量族x = 弘，( 缈) ，t z ) 为一随机过程，其中j f l 为一参数集。若z 是一个含有可列多个元素的无限集，例如弘。( 叫，疗= 0 工，称 为离散参数的随机过程。一个随机过程所有可能取值的集合称为该过程的状态空 间，记作s ，如果s 是可列集或有限集，则称此过程为链。在这些知识的基础上， 我们给出马氏链的定义。 定义2 1 1 设x = 仁。，聆= 0 4 , ，是定义在概率空间( q ，f ，p ) 上离散参数 的随机过程，状态空间s 为可列集或有限集，如果x 具有由下式定义的马尔可夫 性( 简称马氏性) ：即对任意的非负整数疗及任意的状态f 。，f l ”，+ 。s ，只要 e ( x 。= i o ，x 。= i t ，邑= ) 0 ，总有 p ( 以+ 。= 屯+ 。i x o = i o , 五= f l ，以= ) = p ( 以+ 。= + 。l 咒= )( 2 1 1 ) 成立，则称x 为离散参数的马尔可夫链。若s 为可列集或有限集，则称x 分别 依次为离散参数的马尔可夫链和有限马尔可夫链。 下面我们给出马氏链的等价性质【5 】： 定理2 1 1 设x = x 。，n = 0 工，是定义在概率_ 空f o q ( q ，f ，p ) 上的随机序 列，x 的状态空间s 是可列集或有限集，则下列陈述互相等价： ( i ) x 是离散参数的马氏链，即式( 2 1 1 ) 成立。 ( i i ) 对任何正整数疗，任何非负整数列：0 t o t l 0 ，下面不再一一说明。 ( i i i ) 对任何正整数栉，任何非负整数列：o _ t 。 f 1 ，州以及任何 i o ，i 1 ，“，i 州s ，恒有 尸( 甄= o ，_ = 枷，置。= 乇，k = + 。) ：尸( 五= f 0 ) p ( _ = i l i x t o = i o ) p ( 五+ = i n + l l _ = t ) 【2 1 3 ) ：z p ( x o = f ) p ( k = i ox o = f ) 尸( k 。= l n + li - = 屯) ( 2 1 4 ) i e s ( i v ) 对任何正整数肌聊，任何非负整数列0 f 。f l f 。 乙+ l t 。棚以 及任何f o ，f 1 ，i 。，i 。“，i 。+ m s ，恒有 尸( “= 小，。= + ，1 “= o ，五= 1 ，= 乙) = 尸( 相= ，k = + 。l = ) ( 2 1 5 1 ) ( v ) 对任何正整数疗、m ，任何非负整数列0 f o - - t i 乙 f 川 t 。以及 任何i o ，i 1 ，”，i 。，i 槲，i 肘。s ，恒有 尸( 五= f o ，k 。= 书村= 小，k = 屯+ 肼i = ) ：p ( k ：f o ，- 一。= i - i l 五= ) p ( - “= 屯小，k = i n + m i _ = 屯) ( 2 1 6 ) ( v i ) 对任何正整数刀、m ，任何非负整数列0 f 。f l f 。 t l 其中见( f ，) = 尸( 以= i 鼍一。= f ) ，则 p ( x o ，) = p ( x o ) 1 - i p k ( x k 书x k ) k = l ( 3 1 2 ) ( 3 1 3 ) ( 3 1 4 ) 设m 0 ，令 尸( 月) = 己+ 。巴+ 2 ( 3 1 5 ) 一”h 中( f ，) 元素记为p ( m h ( f ，) ，显然p m 1 ( f ，j ) - - p ( 以= jlx m = f ) 。 1 0 江苏大学硕士学位论文 马尔可夫链的极限理论是马尔可夫过程研究的基本领域之一。有关齐次马氏 链的极限理论已有了相当成熟的结果，并形成了完整的理论体系。近年来，许多 学者在非齐次马氏链的极限理论上做了大量的研究，并取得了许多成果，如杨卫 国、刘文等0 6 - 2 5 1 对非齐次马氏链的极限定理的研究。考虑到在实际应用中，非齐 次马氏链的转移矩阵是循环的情形经常出现，所以循环马氏链强极限定理的研究 具有非常重要的理论意义和实践意义。本章的目的是研究三重循环马氏链关于状 态出现频率的强极限定理，最后得到了三重循环马氏链关于状态出现频率的强大 数定律和关于三重马氏信源的渐进均分割性。 定义3 1 1 1 刁设 咒，n o ) 是以( 3 1 2 ) 为初始分布，( 3 1 3 ) 为转移矩阵列 的非齐次马氏链。设号，最，只为三个随机矩阵，若 b f + f = 卑，1 = 1 2 ，3 ，t = 0 ，1 ，2 ，( 3 1 6 ) 则称该马氏链为三重循环马氏链，也称该马氏链为由e l ，昱，只确定的三重循环马 氏链。 定义哆( ) 为s 上的k r o n e c k e r 8 函数，即 t ( 力= 主耄：i 皇 歹s 令( 歹，缈) 是序列( 缈) ，工( 功) ，x n 一。( 国) 中3 t + ( - 1 ) 踊中歹的个数，其中 1 = 1 ，2 ，3 ，t = 0 ，1 2 ，。 令 ，。( 刀) = 爱茎：三：0 二号i 则有 3 2 若干引理 n - 1 ( ，缈) = ，7 ( 七) 4 ( 五( 缈) ) ( 3 1 7 ) k = o 为定理证明的需要，先给出下面几个引理： 1 1 江苏大学硕士学位论文 引理3 2 1 1 卅设留。，胛o ) 是一具有初始分布( 3 1 2 ) 及转移矩阵( 3 1 3 ) 的非齐次马氏链， 以( x ，y ) ，k 1 ) 是定义s s 上的二元函数列，如果六( x ，y ) - 致有界，则 l i m 。( 刀) 喜 以( 五小置) 一再n 丘( 五中) 仇( 鼍书) ) = 。伽( 3 2 1 ) 引理3 2 2 设讧。，拧o ) 是由露，罡，弓确定的三重循环马链。i ，_ s ，彰( ，缈) 如前定义，则 溉 去洲加) 一善u l ( f ，砒( f ，叫= 。觚，m 2 ，3 ( 3 2 2 ) 其中霹( f ，国) = 母( f ，缈) 。 证明：在引理3 2 1 中令五( s ，r ) = ，7 ( 七) 4 ( f ) ，s ，te s ，有 羔k = l 五( 五印咒) 一善以( 以小，) 仇( 鼍书r ) ) 五( 五印咒) 一以( 以小f ) 仇( 鼍书f ) l f = l j f n 1 = ，弘) t ( 鼍) 一，弘) 巧( ，) 见( 五书f ) k = llf = i j = ，7 ( 尼) t ( 鼍) 一，7 ( 尼) 乞( f ) 仇( 噩。，) = ( ，国) 一口( k ) + ，7 ( 玎) 万( 以) 一，7 ( 尼慨( 五小) ( 3 2 3 ) k = l 由式( 3 1 7 ) 与引理3 2 1 即得 l i m l 刀l f s ；( j 纠一喜“帆( b = 。伽( 3 2 4 ) 由于当k = 3 t + ( 1 - 1 ) 时，有 此时有 ，7 ( k ) = 1 p k + ，( f ，) = p 3 ( f ，j ) = p l ( f ，) 则由式( 3 1 7 ) 与式( 3 2 4 ) 有 当，= 3 时，有 则 打一1 江苏大学硕士学位论文 l i m l i s f f ( ，) 一 b - - o o 。 喜广弘) 所( b 七= l j ：嫩三酵t ( j f ，缈) 一 ”。，ll 1 厂 l i m 三l 醉1 ”。甩l n k = ll - l 力 ( ，国) 一 = l i m l 以l s ：+ 1 ( ，缈) 一 i = 1k = l nn - 1 i = 1k = 0 广弘川眦) p k 眦叫 “啦( 砒+ l ( u ) = 。l i m 。l 札v s ：“( ，缈) 一善n 荟n - 1 ，7 ( 七) 谚( 托) 易( “) =lim1sffb-，a0 1 ( 加) 刀 一l y y j _ 一j _ 一 i = 1 七= 0 = l i m l 1 刀s ：+ 1 ( 加) 一善ni 1 荟- ! 以啦( 砌( f ，叫 以啦( 砌( f ，叫 = l i m l 1 甩s ：+ 1 ( 肋) 一善n 1 t ( 细) 研 ，“1 ( 疗) = j 4 ( 聍) = ，1 ( 刀) 竹一1 ( f ，叫= p 碟( f ，缈) = ，4 ( 七) 巧( 五( c o ) ) - - ，1 ( 后) 谚( 鼍( 国) ) = 磷( f ，缈) k = 0 k = 0 ( 3 2 5 ) ( 3 2 6 ) 引理3 2 3 1 刁设伍。，z o ) 是如上定义的三重循环马氏链，f ，j e s ，设 墨= 毋最b ，且蜀遍历。设r = 罡只弓，咫= b 日最，则足，r 遍历。设硝”( f ，) 是 由随机矩阵r 确定的m 步转移概率，则 。l i m 。硝州( f ，) = 衫， 刖 。o 。 ，= i ，2 ，3 其中( 叫，盛) 是由碍唯一确定的平稳分布。 ( 3 2 7 ) 证明：因为r 遍历，则存在常数矩阵q l ，其中q l 的每行均为r 确定的平稳 江苏大学硕士学位论文 分布，有 l i m 群一q ) = 0 ，z 2 ( 3 2 8 ) 刀- - - - ) c o 、 令q = q l 兀：只，k = 2 ，3 ，显然q 仍为常数矩阵，且有 群一q = ( 密只 钟。1 ( 尊只 一( 密) q ( 尊只 = ( 密只 ( 群一q ) ( 尊e ， 刀2 ( 3 2 9 ) 则 ! i r a ( r ? 刮= 舰怕p 训睁 = o 叫0 ) 所以恐，恐遍历，从而有 l i m 砖”) ( f ，) = 万；，= 1 ，2 ，3 朋 。 其中( 群，砖) 为q 的行向量。 3 3 强大数定律 定理3 3 1 设 疋，胛o ) 是如上定义的三重循环马氏链，i e s ，( f ，缈) 如前 定义，设r 由引理3 2 3 定义，并且r 遍历，则 l i m 盟型：互 z ：1 2 ，3 ( 3 3 1 ) n - - _ c o n3 。、7 其中( 彳，硝) 是由r 唯一确定的平稳分布。 证明：由式( 3 1 5 ) 与引理3 2 3 可得 在式( 3 2 2 ) 两边同乘所+ 。( ，) ，将它们对j s 求和，并再次应用式( 3 2 2 ) ，得 舰陪掣帆矿兰i = l 兰j = i 泓砒( f ，加+ l ( ) 1 4 江苏大学硕士学位论文 = 襄巴 姜去彰+ 1 ( ，国) 易“( ，r ) 一去+ 2 ( 国) + 去+ 2 ( ，国) 一善姜去( 国) 所( l ，) 所+ 。( 工，) ) = l i m l 1 力+ 2 ( 徊) 毛喜啪叫川m - o 伽 ( 3 3 2 ) l 剐埋征瓦( 3 3 2 ) 两边l 司乘易+ 2 【f ，k ) ，将。e 制对f s 求利，开冉次他用瓦 得 l i m l l l 疗s t ( 咖) 善啪，缈) p ( t - l , t + 2 ) ( f ，后) - o 伽 即 n ，；- - m ) 0 0 丢( 屯国) 一i i 善n ( l 国) 弓( t 后) = 。口幺 l i m l 1 玎s ：( 咖) 一i 峙- ：r - 蹦n 细) ( f ，尼) = 。伽 ( 3 3 2 ) ， ( 3 3 3 ) ( 3 3 4 ) 由于 l i m 硝”( f ，后) = ( 3 3 5 ) 并注意到 n 盥型哼! ，n - o o ( 3 3 6 ) - i = l n 3 7 、7 由式( 3 3 4 ) ，式( 3 3 5 ) 和式( 3 3 6 ) 即得式( 3 3 1 ) 式。 推论3 3 1 在定理3 3 1 条件下，设 咒，刀0 ) 是如上定义的三重循环马氏链， f s ， 令最( f ，彩) 是序列k ( 国) ，置( 国) ，x 川( 缈) 中i 的个数，则 l i m 盟型：生立立 伽 ( 3 3 7 ) 1 1 - - ) o o n 3 、 证明：因为瓯( f ，缈) = 砩( f ，国) + 群( f ，c o ) + s 。3 ( i ，缈) ，由式( 3 3 1 ) 即得式 ( 3 3 7 ) 。 江苏大学硕士学位论文 3 4 渐进均分割性 设z ( 缈) 为字母集s = 礼2 ，n ) 上的任意信源 z ，0 i n ) 的相对熵密度。 令 ( ) 一1 以1 。g p ( x o ，鼍) ( 3 4 1 ) 则 z ( 缈) = 一言 1 。g g ( ) + 喜l o g 仇( 鼍书以) ( 3 4 2 ) z ( 缈) 的极限性质，即信源的渐进均分割性，简称a e p ，是信息论的一个重要的 问题。s h a n n o n 首先证明了齐次遍历马氏信源的渐进均分割性。m c m i l l a n 和 b r e i m a n 证明了平稳遍历信源的渐进均分割性，这就是著名的 s h a n n o n m c m i l l a n b r e i m a n定理，以后又有许多作者对 s h a n n o n - m c m i l l a n b r e i m a n 定理做了各种推广。叶中行与b e r g e r 研究了齐次树图 上即g 不变随机场遍历性及渐进均分割性。近年来，由于信息论发展的需要， 杨卫国与刘文研究了b e t h e 树与c a y l e y 树上马氏链场的强大数定律及具有口e 收 敛性的渐进均分割性( 文【2 6 】、【2 7 等) 。前面已经提到，在实际应用中，非齐次 马氏链的转移矩阵是循环的情形经常出现，所以循环马氏链的研究具有非常重要 的理论意义和实践意义。本节的目的是研究关于三重循环马氏信源的渐进均分割 性。 定理3 4 1 设 以，n 0 ) 是如上定义的三重循环马氏信源，i ，j s ，z ( 缈) 如 前所定义，则 舰z ( ) = 一荟3 蔷n 等, 1 善n 易( f ，硝o g 易( 元歹) 伽 ( 3 4 3 ) 其中( 彳，盛) 是由r 唯一确定的平稳分布。 证明：在引理4 2 1 中令五( s ，t ) = l o gp k ( s ，f ) ，s , t s ，有 。l i m 。丢喜 o ) 是以( 3 1 2 ) 为初始分布，( 3 1 3 ) 为转移矩阵列的非 齐次马氏链。设置，最，为d 个随机矩阵，若 圪“= j f 7 ，= 1 ，d ，t = 0 ，1 ，( 4 1 1 ) 江苏大学硕士学位论文 则称该马氏链为循环马氏链，也称该马氏链为由毋，昱，b 确定的循环马氏链。 定义色( ) 为s 上的k r o n e c k e r 6 函数，即 驰) = 骺置 脚 令彰( ，缈) 是序列( 缈) ，x n ( 国) ，瓦一。( 缈) 中刃+ ( ，一1 ) 项中的个数，其 中1 = 1 ，d ，t = 0 ，l 。 则有 令 4 2 几个引理 以垆髂笔：湍 ( ，彩) = ，m ) 芬( 五( 缈) ) 为定理证明的需要，先给出下面几个引理 ( 4 i 2 ) 引理4 2 1 设伍。，z o ) 是由毋，最，最确定的循环马氏链，i ，j s ， ( ，国) 如前定义，z = 1 o d ，则 牌巴洲加) 一善n 1i ( f ，缈) 啪 _ o 伽 ( 4 2 1 ) 其中“( f ，缈) = ( f ，缈) 。 证明：在引理3 2 1 中令以( s ，f ) = ，7 ( 忌) t ( f ) ，s ，te s ，有 喜 五( 置，鼍) 一喜五( 鼍书r ) 鼽( 也。力) 五( 置，鼍) 一五( 鼍书f ) 鼽( 也。，f ) 七= llf = l j 以inl = ，弘) 4 ( 以) 一，船) t ( r ) 凤( 五 f ) k = ll f = lj = ( ，缈) 一t ( x o ) + 1 7 ( 疗) 万( 以) 一7 ( 七慨( 以小) ( 4 2 2 ) 江苏大学硕士学位论文 由( 4 1 2 ) 与引理3 2 1 即得 l i m l 刀l f s ：( j 叫一喜以帆( 叫= 。伽 ( 4 2 3 ) 由于当k = 耐+ ( ，一1 ) 时，有 此时有 j 7 ( k ) = 1 仇+ 。( f ，) = 砌+ 心，) = p t ( f ，) 则由( 4 1 2 ) 与( 4 2 3 ) 有 ! i 恶! + ( ，缈) 一窆p t ( 后) 仇( 以小) 一。nl 。百 、 。j 当，= d 时，有 则 = 。l i + m 。l - s i + 1 ( 六国) 一喜；| ；广1 ( 忌) 蕊( 以_ 1 ) 仇( “) = 1 i mn l - s t + 1 ( ，国) 一喜喜广1 ( 后) 谚( 鼍- 1 ) 仇( “) = 。l i m 。1 札1s ” + 1 ( 丘缈) 一善n 荟n - i ，7 ( 后) 谚( 以) 既+ ( l 歹) j o = 。l i m 。1 札s ”t + 1 ( 六缈) 一善n 荟n - i ，。( 尼) 4 ( 置) 奶( “) j 。o i = ! 骢b “( 歹，缈) 一i 1 缶n 荟n - i ，7 ( 七) 谚( t ) a ( “) = 1 i m 1 s ：+ 1 ( 加) 一喜丢啪叫肿 - o 伽( 4 2 4 ) ，“1 ( ，z ) = ，“1 ( 刀) = ，1 ( ，z ) 鄙“( f ，缈) = ，办1 ( 尼) 谚( 置( 缈) ) = ，( 后) 巧( 置( 缈) ) = 砖( f ，) ( 4 2 5 ) 引理4 2 2 1 2 1 设留。，刀0 ) 是如上定义的循环马氏链，f ，j s ，设 墨= 日另，且墨遍历。设r = 最b b 露，岛= 毋弓一，则是，局 2 1 江苏大学硕士学位论文 遍历。设硝”( f ，) 是由随机矩阵r 确定的m 步转移概率，, 1 1 l i m 碍卅) ( f ，j ) = 万：，7 - 1 ，d 朋- - o o 。 其中( 彳，蟊) 是由r 唯一确定的平稳分布。 ( 4 2 6 ) 证明：因为墨遍历，则存在常数矩阵q l ，其中q l 的每行均为r 确定的平稳 分布，有 l i m ( 群一g ) = 0 ，以2( 4 2 7 ) n _ 、 ， 令q = q 1 兀：1 霉，k = 2 ，d ，显然幺仍为常数矩阵，且有 则 群一q i = ( i d l ( 啊n i l k 。1 ( 尊p 一( i i l l k 只) q ( 鳟 群一q i = iil ( i 啊。1l 兀pi i 兀只 q li 兀i f = i一，、 、f = l = dp # i 训 ， 疗2 ( 4 2 8 ) 舰( 群一q ) = l i m ( ( 1 a i p , i ( r 一训 ：o 所以r ，r 遍历，从而有 。l i m 群”( f ，) = 衫，= 1 ，d 其中( 群，砖) 为q 的行向量。 4 3 强大数定律 定理4 3 1 设 以，z o ) 是如上定义的循环马氏链，i s ，爱( f ，缈) 如前定 义，设r 由引理4 2 2 定义，z = 1 ，d ，并且墨遍历，则 l i m 刿：互 # l - - - 1 o 。 以d 其中( 卅，硝) 是由r 唯一确定的平稳分布。 证明：由式( 3 1 5 ) 与引理4 2 2 可得 r = p ( 叫+ 2 ) 2 2 ( 4 3 1 ) 江苏大学硕士学位论文 在式( 4 2 1 ) 两边同乘易+ 。( ，k ) ，将它们对j es 求和，并再次应用式( 4 2 1 ) ， 得 。l i m l - 匀+ l 玎s 。 “( 工缈) 扔+ 1 ( 六七) 一喜喜丢( l 国) 乃( “) 研+ 1 ( 歹，七) 一i i 兰一ii + 叫m 妒去洲如) + 去+ 2 ( 后，缈) 一善姜丢( 缈) 易( l ) 所+ 。( ，尼) ) = 舰 2 ( 抽) 一万1 台n i 缈) p ( 1 - i j + 1 ) 七) = 。触( 4 3 2 ) 由归纳法可证 l i m l l l 嚣s ：( 、如) 弓善啪，国) p ( 1 - l , d + l - 1 ) ( f ，七) = 。伽 即 再次由归纳法可证 由于 并注意到 u m e i s ：(