（基础数学专业论文）非齐次马氏链熵率的指数收敛速度.pdf

江苏大学硕士学位论文 摘要 马尔可夫过程是一类重要的随机过程，它有极为深厚的理论基 础，如拓扑学、函数论、泛函分析、近世代数和几何学，又有广泛的 应用空间，如物理、化学、生物、天文、计算机、通信、经济管理等 等众多领域。有关齐次马氏链的研究，已形成了较完整的理论体系。 近几十年来，人们对非齐次马氏链的极限定理、遍历性和熵率的相关 性质开展了大量研究。多重马氏的链的概念是一般马氏链概念的自然 推广，多重马尔可夫信源是一类很重要的信源，如语声、电视信号等。 本文主要研究一阶非齐次马氏链熵率和m 阶非齐次马氏链熵率的指 数收敛速度。 第一章主要给出马氏链的直观定义，并介绍其相关研究及进展。 第二章介绍后续章节所需用到的基础理论知识。第三章研究一类有限 非齐次马氏链的指数收敛速度。杨卫国研究了非齐次马氏链绝对平均 强遍历性和有限非齐次马氏链相对熵密度与随机条件熵的极限定理， 证明了非齐次马氏链的熵率存在性。在此基础上，本章主要研究给定 初始状态，转移矩阵列绝对平均收敛到一遍历随机矩阵的一类非齐次 马氏链，通过控制转移矩阵列平均收敛的收敛速度，利用c h a n g 研究 齐次马氏链熵率收敛速度的方法，得到该非齐次马氏链熵率的一种指 数收敛速度，这种收敛是一种大偏差，可以推出几何收敛，是一种很 好的收敛。第四章在第二章的基础上给出有限聊阶非齐次马氏链的定 义及相关定义与性质，为下一章研究做准备。第五章研究有限m 阶非 齐次马氏链熵率的一种指数收敛速度。首先在杨卫国，刘文对朋阶非 齐次马氏信源的渐近均分割性研究的基础上，给出了有限m 阶非齐次 江苏大学硕士学位论文 马氏链熵率存在的条件，然后，在此基础上讨论了有限聊阶非齐次马 氏链熵率的收敛速度，推广了第三章的结果。 关键词：非齐次马氏链；有限聊阶非齐次马氏链；随机条件熵；熵率； 遍历矩阵；收敛；收敛速度；大偏差 江苏大学硕士学位论文 m a r k o vp r o c e s si s a l l i m p o r t a n tp r o b a b i l i s t i cp r o c e s s i t h a s p r o f o u n dt h e o r e t i cf o u n d a t i o n ，s u c ha st o p o l o g y , t h e o r yo ff u n c t i o n s ， f u n c t i o n a la n a l y s i s ，m o d e ma l g e b r aa n dg e o m e t r y i na d d i t i o n ，i th a s e x t e n s i v ea p p l i e da r e a ，s u c ha sp h y s i c s ，c h e m i s t r y , b i o l o g y , a s t r o n o m y , c o m p u t e r , c o m m u n i c a t i o na n dm a n a g e m e n to fe c o n o m y t h er e s e a r c h a b o u th o m o g e n e o u sm a r k o vc h a i n sh a sf o r m e di n t e g r a t e dt h e o r e t i c s y s t e m t h er e s e a r c ha b o u tl i m i tt h e o r e m sa n de r g o d i cp r o p e r t i e sh a s b e e n r e s e a r c h i n g i nr e c e n t y e a r s t h e d e f i n i t i o no fm t h - o r d e r n o n h o m o g e n e o u sm a r k o vc h a i ni sa ne x t e n s i o no ft h ed e f i n i t i o no f m a r k o vc h a i n m t h - o r d e rm a r k o vi n f o r m a t i o ns o u r c ei sa ni m p o r t a n t i n f o r m a t i o ns o u r c e s ot h er e s e a r c ha b o u tt h et h e o r yo fn o n h o m o g e n e o u s m a r k o vc h a i ni sv e r yi m p o r t a n t t h i sa r t i c l ei s g o i n gt os t u d yt h e e x p o n e n t i a lc o n v e r g e n c er a t e o fe n t r o p yr a t ef o r n o n h o m o g e n e o u s m a r k o vc h a i n sa n dm t h o r d e rn o n h o m o g e n e o u sm a r k o vc h a i n i nt h ef i r s tc h a p t e r , w ei n t r o d u c et h ea u d i o v i s u a ld e f i n i t i o n , r e l a t i v e r e s e a r c ha n dp r o g r e s s e sa b o u tm a r k o vc h a i n s i nt h es e c o n dc h a p t e r , w e i n t r o d u c et h eb a s i ct h e o r yw h i c hn e e d st ou s ei nt h es u b s e q u e n tc h a p t e r s i nt h et h i r dc h a p t e r , w es t u d yt h ec o n v e r g e n c er a t eo fe n t r o p yr a t ef o r g i v e nn o n h o m o g e n e o u sm a r k o vc h a i n s f i r s t l y , y a n gw e i g u os t u d i e d a b s o l u t em e a ns t r o n ge r g o d i c i t yf o rn o n h o m o g e n e o u sm a r k o vc h a i n sa n d l i m i tt h e o r e m sf o rt h er e l a t i v ee n t r o p yd e n s i t ya n dt h er a n d o mc o n d i t i o n a l e n t r o p yo ff i n i t em a r k o vc h a i n s ，a n dp r o v e dt h ee x i s to fe n t r o p yr a t ef o r n o n h o m o g e n e o u sm a r k o vc h a i n s b a s e do nt h e s er e s u l t s ，w ea r et os t u d y ac e r t a i nn o n h o m o g e n o u sm a r k o vc h a i n sw h i c ht h et r a n s i t i o nm a t r i c e s h i 江苏大学硕士学位论文 a v e r a g ec o n v e r g et oae r g o d i cs t o c h a s t i cm a t r i c e ，a n dc o n t r o lt h ea v e r a g e c o n v e r g e n cr a t eo ft r a n s i t i o nm a t r i c e s ，t h e nw eg e tt h ec o n v e r g e n c er a t e o fe n t r o p yr a t ea b o u tt h en o n h o m o g e n e o u sm a r k o vc h a i n sb yu s i n gt h e t e c h n i q u e si nc h a n g t h ee x p o n e n t i a lc o n v e r g e n c er a t ei sa ni m p o r t a n t o n ew h i c hc a ni n d u c e st h eo t h e rc o n v e r g e n c e i nt h ef o u r t hc h a p t e r , w e i n t r o d u c et h eb a s i ct h e o r i e so ff i n i t em t h o r d e rn o n h o m o g e n e o u sm a r k o v c h a i n so nt h eb a s i so ft h es e c o n dc h a p t e r , w h i c hi st h ep r e p a r a t i o no ft h e n e x t f i n a l l y , w ed i s c u s st h ee x p o n e n t i a lc o n v e r g e n c er a t eo fe n t r o p yr a t e f o rf i n i t em t h - o r d e rn o n h o m o g e n e o u sm a r k o vc h a i n i nt h i ss e c t i o n ，w e m a i n l yp r e s e n t t h ec o n d i t i o n so fe n t r o p yr a t e e x i s i t e n c ef o rf i n i t e m t h o r d e rn o n h o m o g e n e o u sm a r k o vc h a i n sb a s e do nt h er e s u l t so nt h e a s y m p t o t i ce q u i p a r t i t i o np r o p e r t yf o rm o r d e rn o n h o m o g e n e o u sm a r k o v i n f o r m a t i o ns o u r c eg i v e nb yy a n gw e i g u oa n dl i uw e n o nt h eb a s i so f t h ee x i s to fe n t r o p yr a t eo fn o n h o m o g e n e o u sm a r k o v c h a i n s ，w es t u d yt h e c o n v e r g e n c er a t eo fe n t r o p yr a t ef o rf i n i t em t h - o r d e rn o n h o m o g e n e o u s m a r k o vc h a i n ， g e n e r f l i z i n gt h e r e s u l t si nt h et h i r dc h a p t e r k e yw o r d s ： n o n h o m o g e n e o u s m a r k o v c h a i n s ； m t h o r d e r c o n d i t i o n a le n t r o p y ；e n t r o p yr a t e ；e r g o d i cm a t r i x ； c o n v e r g e n c e ；c o n v e r g e n c er a t e ；l a r g ed e v i a t i o n 江苏大学硕士学位论文 厂y 口p e x e 【瓦i 巧d 】 q 芦 p 石 缩写与符号说明 随机变量 几乎处处 随机变量x 的数学期望 随机变量邑的条件期望 全集 空集( 不可能事件) 仃一域 概率 尸的子仃一域 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密 学位论文作者签名：郝婊甬 w 年f z 月胁日 指导教师签名：1 勿胡 硼年月，砂日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：桃厨 。 e l 期：力。司年肛月j z 日 江苏大学硕士学位论文 1 1 概念导入 第一章绪论 马尔可夫过程是随机过程中历史最悠久且充满活力的一类随机过程，其主要 应用于排队论，存储模型，更新模型，信息理论和数学计算等方面。这一类随机 过程的特点是，当过程在时刻气所处的状态已知，则过程在气以后所处状态与过 程在t n 以前所处状态无关，这个特性叫无后效性，也叫做马尔可夫性。通俗地说， 就是“已知现在，将来和过去无关 。若马尔可夫过程仁，t z ) 的状态空间s 为r 中的可列集，则称 x ，t 研为马尔可夫链。若t 为可列离散集，则称 弘 ，t n 为离散参数马尔可夫链；若r 为连续的，则称弘o ) ，t z ) 为连续参 数马尔可夫链。本文主要研究离散参数马尔可夫链，其严格数学定义将在下一章 给出。 自1 9 0 7 年苏联数学家a a m a p k o b 引出马尔可夫链概念以来，人们对马尔可 夫链的研究可以说盛久不衰。如研究有限或可数马尔可夫链【1 一，研究马尔可夫 链及随机稳定性【4 1 ，以及对马尔科夫链基础知识的研究 5 - 9 1 。 为了更好得了解马尔可夫链，我们在此举一个马尔可夫链的例子1 9 。 ( w r i g h t - f i s h e r 遗传模型) 遗传的要素是染色体，遗传性质的携带者称为基 因，它们位于染色体上。基因控制着生物的特征，它们是成对出现的，控制同一 特征的不同基因称为等位基因，记这对等位基因为a 和a ，分别称为显性的和隐 性的。在一个总体中基因a 和a 出现的频率称为基因频率，分别记为p 和1 一p 。 总体中的个体数为2 n ，每个个体的基因按a 型基因的基因频率的大小，在下一 代中转移成为a 型基因。因此，繁殖出的第二代的基因型是由实验次数为2 n 的 b e r n o u l l i 试验所确定的，即如果在第疗代母体中a 型基因出现了i 次，而a 型基 ：b 现t2 n f 次，则下一代出现a 型基因的概率为办2 亩，而出现口型基因 江苏大学硕士学位论文 的概率为1 一a ，记磊为第胛代中携带a 型基因的个体数，则易证 己：，z o 是一 状态空间为s = o 1 2 ，2 7 、7 的时齐m a r k o v 链，其转移概率矩阵为p = ( 岛) ，其 中 岛= p ( 己“= j f l 己= f ) 一c 刍( 1 一b ) 2 一 = ( 去) ( t 一去) 肌 1 2 国内外发展与现状 实际生活中所遇到的马尔可夫随机系统的转移概率矩阵常常是随时间而异 的，为了更加如实地描述客观现象，获得更逼真的结果，必然导致对非齐次情形 的研究，这就增加了研究对象的复杂程度与解决问题的难度，因此与齐次马氏链 所取得的深刻成果相比，显得相当不足，所以非齐次马氏链至今仍是有待深入研 究的重要课题。 在一定意义下，基于其它更多具体模型的分析，依据稳定性给模型分类是 首要的最基本操作，且马氏链理论适用于几乎所有领域【4 1 ，因此对马氏链稳定性 的研究尤为重要。同时，初始分布和转移概率矩阵列决定了非齐次马氏链，而初 始分布是千变万化不可控制的，所以研究马氏链的稳定性，即研究转移概率矩阵 的各种收敛性，亦即马氏链的各种遍历性是极其重要的。d i s a a c s o n ，r m a d s e n 等人在二十世纪七十年代提出的马氏链的弱遍历性、强遍历性、c e s a r o 平均收敛 ( 又称c 一强遍历) 就是转移概率矩阵列以各种形式收敛【1 1 】。随后，对于非齐次 马氏链转移概率矩阵列的各种收敛性质及收敛速度，d i s a a c s o n ，b b o w e r m a n ， h t d a v i d ，b e t h o a d e s 等人相继作了深入研究。1 9 7 6 年，c h e n gc h i h u a n g ， d i s a a c s o n 和b v m a g r a d e 等人首先研究并论证了齐次马氏链的转移概率矩阵p 强遍历，p “的几何收敛速度，随后又研究了转移概率矩阵列假，n q 收敛于一强 遍历转移概率概率矩阵的非齐次马氏链的性质【1 4 】。1 9 7 7 年，b b o w e r m a n ， h t d a v i d 和d i s a a c s o n 等人提出了周期强遍历随机矩阵的概念，并证明了非齐 2 江苏大学硕士学位论文 次马氏链转移概率矩阵列收敛于周期强遍历矩阵，该马氏链的c e s a r o 平均收敛 性，讨论了其收敛速度，并应用于期望平均费用中0 5 。1 9 7 9 年，b e r h o a d e s 也讨论了转移概率矩阵列收敛于周期强遍历矩阵的非齐次马氏链，引进无限正规 矩阵的概念，论证了该马氏链比c e s a r o 平均收敛更强的结论【1 6 1 。随后，陈永义 等人于1 9 9 6 年通过对两个非齐次马尔可夫链的转移概率矩阵列的比较，讨论了 两个遍历性的关系，得到非齐次马尔可夫链是强遍历的充分条件，且分析了非齐 次马尔可夫链的一致强、弱遍历的关系，得到非齐次马尔可夫链是一致强遍历的 充分条件【1 7 1 。九十年代末，杨卫国在前人研究的基础上，进一步减弱条件，研 究一类更广泛的非齐次马氏链，得到了该马氏链的c , e s a t o 平均收敛，推广了 b o w e r m a n 的结论【1 5 1 ，并应用到马氏决策过程和信息论中 2 0 - 2 n 。 信息论是马尔可夫链的一个很重要的应用领域，它作为概率论的一个分支， 就是应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传 输，提取和处理系统中一般规律的工程科学。在信息论的发展过程中，s h a n n o n 作 了很大贡献，s h a n n o n 信息论为概率论开拓了一个新的分支，其中熵是它的基本 概念之一，也是重要概念之一，有些物理学家甚至认为信息论是熵的理论。熵率 是一种极限熵，描述了信源平均不确定性的一种变化趋势，因此熵率一直是饶有 趣味又富有意义的研究课题。1 9 4 8 年s h a n n o n 证明了有限齐次遍历马氏信源熵 密度依概率收敛于常数，此后，b r e i m a n 和m c m i l l a n 等人证明了平稳遍历信源的 相对熵密度平均收敛于常数，其实这个常数就是熵率，1 9 9 3 年杨卫国证明了有限 非齐次马氏链熵率存在性定理【2 2 】，1 9 9 4 年又提出马尔可夫链绝对平均强遍历的 概念，并给出非齐次马尔可夫链满足这种强遍历的充分条件；通过继续研究得到 非齐次马氏链熵率存在的一个定理【净驯；2 0 0 2 年，又把这些结果推广到高阶， 研究了非齐次聊阶马氏信源的渐近均分割性【2 5 1 。2 0 0 5 年，c h a n g 给出了一种研 究马氏链指数收敛的方法，并应用到信息论中研究了有限遍历马氏链熵率的收敛 速度 2 6 - 2 7 】。 本文首先在非齐次马尔可夫链熵率存在的基础上，研究初始状态给定，转移 3 江苏大学硕士学位论文 矩阵列收敛到遍历随机矩阵的一类非齐次马氏链，通过控制转移矩阵列绝对平均 收敛的收敛速度，利用c h a n g 2 6 - 2 7 研究齐次马氏链熵率收敛速度的方法，得到该 非齐次马氏链熵率的一种指数收敛速度；其次利用杨卫国、刘文在文献 2 5 中的 结果，给出了有限m 阶非齐次马氏链熵率存在的条件，并在此基础上利用高阶马 氏链与_ 阶马氏链之间的转化关系，讨论了有限所阶非齐次马氏链熵率的指数收 敛速度。 4 江苏大学硕士学位论文 第二章预备知识 上一章大家只是从直观上对马氏链有了一定的认识，在本章中，我们将给 出马氏链数学上的严格定义和一些基本性质，并给出了后面章节中所涉及到的相 关定义、性质及定理。 2 1 马氏链的基本概念 2 1 1 马氏链的定义和性质 相对于一随机试验，设q 是所有样本点 国) 构成的样本空间，厂是q 上的 所有随机事件构成的事件集合称为仃一代数，p 是定义在厂上的概率测度。称定 义在概率空间( q ，乃p ) 上的随机变量族x 一弘。( 国) ，t e t 为一随机过程，其中r 为一参数集。若r 是一个含有可列多个元素的无限集，例如。( 砷，靠- o 工，称 为离散参数的随机过程。一个随机过程所有可能取值的集合称为该过程的状态空 间，记作s ，如果s 是可列集或有限集，则称此过程为链。在这些知识的基础上， 我们给出马氏链数学上的严格定义。 定义2 。1 1 设工一伐，露苫0 是定义在概率空间( q ，尸，p ) 上离散参数的随 机过程，状态空间s 为可列集或有限集，如果x 具有由下式定义的马尔可夫性( 简 称马氏性) ：即对任意的非负整数n 及任意的状态毛，1 ，以s ，只要 p i l l l i d ，墨- 1 ，瓦一p 0 ，总有 ，x 。n 一+ 。lx o i o , 五h i ，x 。i l l l ) 一呐以1 “i j 乞。屯) ( 2 1 1 ) 成立，则称x 为离散参数的马尔可夫链。若s 为可列集或有限集，则称x 分别 依次为离散参数的可列马尔可夫链和有限马尔可夫链。本文仅研究离散参数的马 尔可夫链，以后简称为马氏链。 注( 2 1 1 ) 式称为马氏性，如果n + 1 代表“将来”，n 代表“现在 ，k n 代 表“过去，马氏性说明将来只依赖于现在，而与过去无关；如果 呐+ 。乇+ 。i 邑一) 与刀无关则称为齐次马氏链，否则为非齐次马氏链。 5 江苏大学硕士学位论文 下面是马氏链的一些重要性质【5 , p 2 - 3 1 ，我们用与文献 5 不同的方法将其简要 证明： 性质2 1 1 设，n 急田是定义在概率空间( q ，厂，p ) 上的马氏链，状态空 间为s = l ，二，2 - 或 1 ，2 ，n ) ，v a e o ( x o ，邑4 ) 有 则 p a r 。+ 。- 1 i x 。一f ，a ) = p ( 邑+ 。tj l x 。一i ) ( 2 1 2 ) 证明设 m = 4 ，钿：a ，“= 蜀= o ，五q = “ ，乇，_ e s ，胛1 仃( 托，以一。) = 仃( m ) 所以，对w o - ( x o ，k 一。) ，有a a ，“，由于 毛，一饵_ 1 则 眠“一j i 五it f ，j 0 4 - 屯4 ，x o 。i d ) 一p a r 。机一j i j lt i ) f ( x 。+ 1 - j ，j 0li , x n _ 1 = - 1 ，x o i o ) = p ( 咒+ 。= j l 咒= f ) 尸( 以= f ，以一。= 巾，x o = o ) ( 2 1 3 ) 在( 2 1 3 ) 式两边x t i o ，o 求和，再由概率的可列可加性知 p 限+ ，一j ，五一f ，a ) = p ( 鼍“= ，i 瓦= 矿p ( 以= f ，a ) ( 2 1 4 ) 故性质成立。 性质2 1 2 设隅，甩乏0 是马氏链，其状态空间为s = l ，2 ， 或 1 ，2 ，n ， v a + l ，a + 2 ，a + tc s 有 尸【x 。“! a + 七，j 0 “a + 1lx ntf ，j 0 - l1 _ 1 ，x oli o ) 一p ( 邑“a + i ，以+ l a 。“l 以1 i ) 证明只要证 ，y 。+ 2 一矗，j 0 “1 五i j 0 i , x n di 4 ，】，o i d ) t 聃+ 21 元，以n 一五i 以- 0 6 ( 2 1 5 ) ( 2 1 6 ) 江苏大学硕士学位论文 即可。事实上，由( 2 1 1 ) 式和条件概率的乘法公式易得( 2 1 6 ) 式成立，又 a n ，a 伽，a + 七为s 中元素的线性组合，再由条件概率的线性性便可知性质成 立。 注此性质说明马氏链更广泛的未来也只与现在有关，与过去无关。 性质2 1 3 设仁。，以0 ) 是马氏链，其状态空间为s ，则对垤1 p ( 邑+ 。一j i 邑一i d ，邑ql h ，邑- i ) - e ( x “lj l 邑- i ) ( 2 1 7 ) 证明在性质2 1 2 中令4 h = = 4 ，+ h = q4 l + 。= j f 即可。 性质2 1 4 设，忍乏0 ) 是马氏链，其状态空间为s ，则对v 乞 l 因为 盯( 五+ l ，- ) = 仃( c ) 所以，由( 2 1 1 0 ) 式可得( 2 1 9 ) 式成立。 注 由性质2 1 4 和2 1 5 知，如果随机序列弘o ，x 1 ，x 。，x 州，是马 7 江苏大学硕士学位论文 氏链，那么 ，j 柚，x ，x 。，x o ) 仍是马氏链。 定义2 1 2 设弘。，刀苫田为马氏链，其状态空间s 为 l ，2 ，) 或 1 ，2 ，n ) ， 马氏链在时刻n 处于状态i 的条件下，经过m 步转移，在时亥l j n + m 到达状态歹的 条件概率p ( k + 历= l 疋= f ) 称为马氏链的所步转移概率，记为。力或 岛( ，l ，h + m ) ，特别令 。2 忙：二童 以。力作为第f 行，第歹列元素的矩阵 。= ( 。力) 称为马氏链弘。，厅乏0 的，z 步转移矩阵；当m = 1 时，将。硝，。p ( 1 分别简记为 n ( f ，) ，只； 以( f ，j ) ，万田称为马氏链弘。，力苫田的一步转移概率，简称转移 概率；若随着，z 的变化只也变化，则称弘。，以乏0 为非齐次马氏链，假，万急吣为 其一步转移概率矩阵列，简称转移概率矩阵列；若随着胛的变化只不变化恒为p ， 则称弘。，一苫吣为齐次马氏链，p 为其一步转移概率矩阵，简称转移概率矩阵。 定理2 1 2 【5 以】对任何正整数m ，1 及非负整数n ，马氏链的转移概率矩阵 。p ( 肼n ，。p 帕，斛。p ( 满足下列方程： 。p ( “+ ) - 。f ) ( 2 1 1 2 ) 即 。孝“= 。以) 。协硝 l ，j e s ( 2 1 1 3 ) 解 称式( 2 1 1 2 ) 或( 2 1 1 3 ) 为切普曼一柯尔莫哥洛夫方程，简称为c k 方程。 2 1 2 非齐次马氏链的遍历性 首先我们给出范数的定义及一些性质： 定义2 1 3 1 1 1 丑珥】 设，- ( f i ，厂2 ， ，) ，g ( 9 1 ，9 2 ，9 3 ，) 分别为定义在s 上 8 江苏大学硕士学位论文 的行向量，列向量，a 一似茸) 是定义在s s 上的实数矩阵，定义，g ，a 的范 刻0 如下： 2 沙i ，i l g l l = s u 。p l g ；i ，1 1 4 s u p 荟i , i 易知这样定义的范数满足范数三个公理，并且还有以下性质n 1 勘1 记 ( 1 ) 对任何矩阵a 与曰有 l i a b i i 1 1 4 i i b i l ( 2 ) 对任何矩阵a ，任何行向量，及任何列向量g 有 l i s 4 - l l s l l 1 1 4 ，i l a g l l - 1 1 4 1 i i g l h 詹f - l l s i l g l i ( 3 ) 若p 为随机矩阵，则有 i i f 0 - 1 现在我们给出非齐次马氏链的几种遍历性的定义： 设q 是一随机矩阵，若q 的各行均相同，则称q 为常数随机矩阵。 尸( m 棚) = 已+ l p r o + 2 e n ，f ( - j ) - ， 砂舢，g 伽乒g ( 0 i x m 乒 其中，与g 是两个初始分布；若马氏链是齐次的，则以，咒q 简记为p ， p ( + 月) 简记为p 。 定义2 1 。4 称马氏链假，n q 是弱遍历的，如果对每个聊有 舰霹，i l l 蜊一i i = o 定义2 1 5 称马氏链促，n 苫廿关于常数随机矩阵q 是强遍历的，如果对任 何正整数m 有 舰p 斛由一q 8 = 0 定义2 1 6 称马氏链假，忍q 关于常数随机矩阵q 是绝对平均强遍历的， 如果对任何正整数m 有 恶言扣如删一q i | ：o 。： 9 江苏大学硕士学位论文 定义2 1 7 称马氏链僻，n q 关于常数随机矩阵q 是c e s a r o 平均收敛的， 又称c 一强遍历的，如果对任何正整数所有 舰瞧一虬q l i = o 注由上述定义可知，若一马氏链僻，n 1 关于常数随机矩阵q 是强遍历 的，则必定关于常数随机矩阵q 是绝对平均强遍历的；若一马氏链假，n h 关 于常数随机矩阵q 是绝对平均强遍历的，则必定关于常数随机矩阵q 是c e s a r o 平均收敛的。 下面给出周期强遍历的定义： 由文献 5 知，一个不可约周期为d 的随机矩阵p 可将状态空间s 分解为d 个互不相交的状态子集c o ，c 1 ，c j 4 ，并且p 4 派生出d 个随机矩阵 t o ，墨，疋4 ，其中每个乃定义在c 。上，如果p 是有限的，则每个乃必是强遍历的； 但如果p 是可列无限的，则诸互不一定是强遍历的。若j p d 派生出的每个五都是 强遍历的，则称这样的随机矩阵p 是周期强遍历的。 2 1 3 相关引理、定理 本小节主要介绍几个后续章节定理证明所需的基本引理、定理，并将重要定 理证明。在此我们首先给出两个定义： 定义2 1 8 n 1 1 设x - x 。，n 田是状态空间为s ，一步转移概率矩阵为 p - ( 既) 的齐次马氏链，如果存在一概率分布协，i e s 满足 p j 一b 嘞 je s( 2 1 1 5 ) 蚝s 则称协，f s 是x 的一个平稳分布 定义2 1 。9 n 1 凡1 设p 是定义在s 上的随机矩阵，p 的万系数万( d 定义为 万。s 叩【功一】+ l ，ij g 且满足以下性质： 1 0 ( 2 1 1 6 ) 江苏大学硕士学位论文 ( i ) 0 8 ( 0 1 ：( 2 1 1 7 ) ( i i ) 万( p ) 2 寺掣l 岛一珊 ( 2 1 1 8 ) l i 声，s 引理2 1 1 【1 4 】设号，只与p 是随机矩阵，则有 忙分只一p i i 囟只一e l l 定理2 1 3 刎 设促，n 1 ) 为一随机矩阵序列，若有 l i m i 疗善 陪p 那么对任意正整数k ，有 溉丢静础卅卅= o 定理2 1 4 t 1 埔h 】一个齐次马氏链弱遍历与强遍历是等价的。 定理2 1 。5 设p = ( 鳓) 是齐次马氏链，则马氏链为弱遍历的充要条件是 3 n ，使万( p ) 1 。 证明首先，设p 为弱遍历的，则由文献 1 1 定理3 1 知 1 i m 万( ) = 0 ， 瑚 、， 于是，j 刀，使万( p ) 1 反过来，设| 刀使万( p ) = 6 1 ，由于 万( 尸斛1 ) 万( 尸”) ， 所以，8 ( p ”1 递减且 万( p b ) l i m b = o ， 则有 万l p ) = 0 ， 瑚 、， 再利用文献 1 1 曰。定理3 1 知p 为弱遍历的。 1 1 江苏大学硕士学位论文 定理2 1 6 设p = ( 岛) 是定义在s 上的随机矩阵，孝为矩阵p 的第f 行， 第列元素，( a ，p 2 ，) 是p 所确定的常数随机矩阵q 的行向量，如果存在正数 口 1 使 霉丢l 助一i 0 甄使得 s u p z 。s i 毋一乃i o 时 e s f x + ，) k ，瓦p 2 点l e r s o 是另一转移矩阵且p 是遍历的，鼠( 国) 如 ( 3 1 6 ) 所定义，如果 则有 嬲蒋仇( “) 一岛i = o v “ ( 3 1 7 ) 熙以( 彩) 一善荟a 刚o g p o 。伽 3 1 8 其中( a ，m ) 是p 所确定的平稳分布。 定理3 1 11 2 9 在引理3 1 1 的条件下，马氏链 咒，以o 的熵率存在，且 风2 舰寺日( k ，瓦) = 一善b