（应用数学专业论文）隐非齐次markov模型的若干强极限定理.pdf

江苏大学硕士学位论文 摘要 m a r k o v 过程是一类重要的随机过程自19 0 7 年苏联数学家a a m a p k o b 引出m a r k o v 链的概念以后，经过世界各国数学家的努力， m a r k o v 链已成为内容十分丰富的数学分支隐m a r k o v 模型的概念是 一般m a r k o v 链概念的自然推广，随着m a r k o v 理论的不断发展和应用， 人们对隐m a r k o v 模型的理论和应用也越来越感兴趣例如在弱相依 变量的建模、发音过程、神经生理学及生物遗传等问题的研究中，隐 m a r k o v 模型提供了强有力的理论依据尽管学者们对隐m a r k o v 模型 的研究取得了很大的成功，但由于实际问题远比数学模型要复杂的多， 观察到的事件并不是与建立的模型一一对应，现有的理论知识还不能 解决所有的问题，因此隐m a r k o v 模型的理论基础有待于进一步的完 善强极限定理有重要的理论意义和应用价值，历来是概率论中研究 的中心问题之一，因此对隐m a r k o v 模型的强极限定理的研究具有十 分重要的意义 本文的目的是利用杨卫国教授提出的鞅方法研究隐m a r k o v 模型 的强极限定理文中首先介绍了马氏链及隐m a r k o v 模型基本知识，包 括隐m a r k o v 模型的定义、隐m a r k o v 模型的应用及其优点、隐m a r k o v 模型的等价定义与性质、相对熵密度及隐m a r k o v 模型的强马氏性 其次给出了可列隐非齐次m a r k o v 模型强极限定理的证明，这推广了 已有的结论，且得到了可列隐非齐次m a r k o v 模型的若干收敛定理最 后在可列隐非齐次m a r k o v 模型强极限定理的基础上，得到了有限隐 t 江苏大学硕士学位论文 非齐次m a r k o v 模型的状态出现频率的强极限定理、有限隐非齐次 m a r k o v 模型的强大数定律及相对熵密度极限定理 关键词：马氏链，隐马尔可夫模型，强极限定理，相对熵密度， 强大数定律 江苏大学硕士学位论文 a b s t r a c t m a r k o vp r o c e s si sa ni m p o r t a n tk i n do fs t o c h a s t i cp r o c e s s s i n c ei t w a sp r o p o s e db ys o v i e tm a t h e m a t i c i a na a m a p k o bi n1 9 0 7 ，i th a s b e c o m eab r a n c ho fm a t h e m a t i c st h r o u g ht h ee f f o r to fm a t h e m a t i c i a n sa l l o v e rt h ew o r l d t h e c o n c e p t o fh i d d e nm a r k o vm o d e l si st h e g e n e r a l i z a t i o n o ft h e c o n c e p to fc l a s s i c a l m a r k o vm o d e l s w i t ht h e d e v e l o p m e n ta n dt h ea p p l i c a t i o no fh i d d e nm a r k o vm o d e l s ，p e o p l e b e c a m em o r ea n dm o r ei n t e r e s t e di nt h et h e o r i e sa n da p p l i c a t i o n so f h i d d e nm a r k o vm o d e l s h i d d e nm a r k o vm o d e l sh a v eb e e nw i d e l yu s e d f o rm o d e l i n gs e q u e n c e so f w e a k l yd e p e n d e n tr a n d o mv a r i a b l e s ，a sw e l la s i ns p e e c hp r o c e s s i n g ，n e u r o p h y s i o l o g y , b i o l o g y , e t c t h o u g hp e o p l eh a v e m a d eg r e a tp r o g r e s si nt h es t u d yo fh i d d e nm a r k o vm o d e l s ，t h ec u r r e n t l y a v a i l a b l et h e o r i e sc o u l d n tr e s o l v ea l lt h eq u e s t i o n s ，b e c a u s et h e a c t u a l p r o b l e m sa r em u c hm o r ec o m p l e xt h a nt h em a t h e m a t i c a lm o d e l s ，a n dt h e i n c i d e n t so b s e r v e da n dt h em o d e l sa r en o to n e t o o n e t h e r ei ss t i l lm u c h r o o mf o r t h ei m p r o v e m e n to fi t st h e o r e t i c a lp r i n c i p l e s s t r o n gl i m i t t h e o r e m sp l a y sal e a d i n gr o l ei nt h e o r e t i c a ls t u d i e sa n dh a si m p o r t a n t a p p l i c a t i o nv a l u e i t sa l w a y sam a j o rp r o b l e mi nt h es t u d yo fp r o b a b i l i t y t h e o r y s ot h es t u d yo ft h es t r o n gl i m i tt h e o r i e sf o rh i d d e nm a r k o v m o d e l sh a sg r e a ts i g n i f i c a n c e t h ep u r p o s eo ft h i sp a p e ri st os t u d yt h es t r o n gl i m i tt h e o r e m sf o r m 江苏大学硕士学位论文 h i d d e nn o n h o m o g e n e o u sm a r k o vm o d e l sb yu s i n gt h em e t h o do ft h e m a r t i n g a l et h e o r yp r o p o s e db yy a n gw e i g u o i nt h i sp a p e r ，f i r s t l y ，w e i n t r o d u c es o m ek n o w l e d g eo nh i d d e nm a r k o vm o d e l s ，i n c l u d i n gt h e d e f i n i t i o n ，t h ea p p l i c a t i o n s ，t h ea d v a n t a g e s ，t h ee q u i v a l e n td e f i n i t i o n s ， s o m ep r o p e r t i e s ，r e l a t i v ee n t r o p yd e n s i t i e sa n ds t r o n gm a r k o v p r o p e r t i e s o fh i d d e nm a r k o vm o d e l s s e c o n d l y ，t h e s t r o n g l i m i tt h e o r e mf o r c o u n t a b l eh i d d e nn o n h o m o g e n e o u sm a r k o vm o d e l si so b t a i n e d a s c o r o l l a r y , w eg e n e r a l i z e t w ok n o w nr e s u l t s w ea l s o g e t s o m e c o n v e r g e n c et h e o r e m sf o rc o u n t a b l eh i d d e nn o n h o m o g e n e o u sm a r k o v m o d e l s l a s t l y ，t h es t r o n gl i m i tt h e o r e m sf o rt h ef r e q u e n c yo fs t a t e s e m e r g e n c e ，t h es t r o n gl a w so fl a r g en u m b e r sa n dl i m i tt h e o r e mo fr e l a t i v e e n t r o p yd e n s i t i e sf o rf i n i t eh i d d e nn o n h o m o g e n e o u sm a r k o vm o d e l sa r e o b t a i n e d k e yw o r d s ：m a r k o vc h a i n s ，h i d d e nm a r k o vm o d e l s ，s t r o n gl i m i t t h e o r e m ，r e l a t i v ee n t r o p yd e n s i t i e s ，s t r o n gl a w so fl a r g e n u m b e r s i v 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文的复印件和 电子版，允许论文被查阅和借阅。本人授权江苏大学可以将本学 位论文的全部内容编入有关数据库进行检索，可以采用影印、缩 印或扫描等复制手段保存和汇编本学位论文。 保密口 本学位论文属于，在年我解密后适用本授权书。 不保密7 - 1 指导教师签名： 2 0 0 9 年0 6 月 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：帮菱尹 日期：2 0 0 9 年0 6 月 江苏大学硕士学位论文 1 1马氏链的定义 第一章绪论 相对于一个随机试验，设q 是所有样本点 缈 构成的样本空间，f 是q 上的 所有随机事件构成的事件集合，且f 是仃一代数，p 是定义在f 上的概率测度称 定义在概率空问( g f ，p ) 上的随机变量族x = x ，( c o ) ，t n 为一随机过程，其中 z 为一参数集若丁是一个含有可列多个元素的无限集，则称x = 弘，( 叫，t 丁) 为离散参数的随机过程，例如弘。( c o ) ，n = 0 工，一个随机过程所有可能取值的 集合称为该过程的状态空间，记作s 如果s 是可列集或有限集，则称此过程为链 在这些知识的基础上我们给出马氏链的定义： 定义1 1 1 【1 】设x - x 。，n = 0 工，是定义在概率空间( q ，f ，p ) 上离散参数 的随机过程，状态空间s 为可列集或有限集，如果x 具有由下式定义的马尔可夫 性( 简称马氏性) ：对任意的非负整数刀及任意的状态乇，i l ，钉s ，只要 e ( x o = i o ，x 1 = ，x 。= f 。) 0 ，总有 p ( x 。+ 1 = f 州i x o = i ox 1 = i 1 ，x 。= i 。) = p ( x 。“= i n + ll x 。= 屯) ( 1 1 1 ) 成立，则称x 为离散参数的马尔可夫链，简称为马氏链 1 2隐m a r k o v 模型的定义 定义1 2 1 1 2 1 设s = 仉2 ，t = n 2 ，为两个可列集， x 。，n 田与 匕，n 田是概率空间 q f ，研上分别取值于s 与z 的随机变量序列设讧。，厅o ) 是 马氏链，假定它的初始分布为，o = 国( 1 ) ，q ( 2 ) ，) ，我们记p ( x 。= j lx 。4 = i ) = a n ( f ，j ) ，则马氏链伍。，n o 的转移矩阵列为只= ( 口。( i ，脚，f ，j s ，n 1 弘。，n d ) 被称为隐藏链，它不能被直接观测到，而能观测到的是 y ：| ，n 町链，称 江苏大学硕士学位论文 y ：l ，n 0 为观测链如果对v f l s ，z ，0 f n 有 p 吼= 1 0x = l , , - - - , y , = z 。i x o = i o ，x 。= i 1 ，x 。= i 。) = p 吼= l oi x o = i o ) p ( y x = l x 。= ) p 以= i ni x = f 。) ，( 1 2 1 ) 则称 ( x 。，l ) ，n 0 为可列隐马尔可夫模型 如果s = 仉2 ， ，t = b 2 ，m ) 为两个有限集，则称 ( x 。，匕) ，n 町为有 限隐马尔可夫模型 我们记p ( 匕= zix 。= i ) = 吃( f ，z ) ，则隐藏链到观察链的转移矩阵列为 b 。= ( 饥( ，f ) ) ，j f s ，z t 若对i ，j s ，z t ，a n ( i ，j ) ，吃( ，z ) 与，2 无关，则此时 的隐马尔可夫模型是一个隐齐次马尔可夫模型，否则称为隐非齐次马尔可夫模 型 1 3 隐m a r k o v 模型的简介 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 作为一种统计分析模型创 立于2 0 世纪7 0 年代，8 0 年代得到了传播和发展，成为信号处理的一个重要方向， 现已成功地用于语音识别、行为识别、文字识别以及故障诊断等领域隐马尔可 夫模型的概念是马尔可夫链概念的推广，与马尔可夫链不同的是，客观存在观测 到的信号不是模型状态的本身，而是状态的概率函数真正的模型的状态变迁我 们是看不到的我们只能看到每个时刻状态所发射的观测信号，通过这些观测的 信号，去推断内在的状态的变迁这也正是模型名称中“隐 字的含义 八 u 马尔可夫链 瞎马尔可夫模型 隐齐次马尔可夫模型的特点是齐次马尔可夫链讧。，靠o ) 是隐藏的，它不能 2 江苏大学硕士学位论文 被直接观察到，而能观察到的是亿，l o ) 链，且在给定讧。，刀o ) 情况下，观测链 戤，n o ) 是条件独立的，而且识，n 吣的条件概率只与弘。，n o 有关我们记 齐次马尔可夫链留。，刀o 的初始分布为，转移矩阵为a 由齐次马尔可夫链 伍。，n o ) 到慨，n o ) 链的转移矩阵为曰 隐齐次马尔可夫模型的基本假定是：参数向量z ，参数矩阵a 与曰都是未知 d e ? 的，将它们合记为参数组力三( ，a ，曰) a 完全确定了状态链与观测链的联合统计 规律所以我们通常用允表示一个隐齐次马尔可夫模型，有时我们也称之为隐齐 次马尔可夫模型名在上面介绍的隐齐次马尔可夫模型中如果假定隐藏链 讧。，n o ) 为非齐次马尔可夫链，则称此时的隐马尔可夫模型为隐非齐次马尔可 夫模型在实际应用中经常遇到隐藏链讧。，n o 是非齐次马尔可夫链的情形，如 在动态图像处理1 3 1 、气候预测【4 l 中，就不能再搬用隐齐次马尔可夫链的理论，而需 要建立隐非齐次马尔可夫模型来进行研究 1 4 隐m a r k o v 模型在应用中的主要方向 在应用中研究隐齐次马尔可夫模型主要有以下三个方向【2 】： ( 1 ) 从一段观测序列敝，0 k 咒) 及己知模型旯= ，a ，b ) 出发，估计x 。的最 佳值，称为解码问题这是状态估计问题，可用于推知内在的状态的变迁在实际 应用的领域中，我们往往只能观测到外在的信号，本方向是利用算法使我们由外 在的观测到的信号计算出内在的状态变迁序列隐马尔可夫模型也正是由于在这 一点上的功能而被广泛应用于文本信息抽取领域 ( 2 ) 从一段观测序列傲，0 k n ) 出发，估计模型参数组五= ，a ，b ) ，称为学 习问题这是参数估计问题，是三个方向中最困难的一个，目前尚无解决这个问题 的解析方法实际上，给定任何有限观测序列作为训练数据，没有一种最佳方法能 估计模型参数，但是可以利用迭代方法或利用梯度技术来选定五，使观测序列 敝，0 k 以) 概率在模型力达到局部最大 3 江苏大学硕士学位论文 ( 3 ) 对于一个特定的观测链敝，0 k 万 ，已知它可能是由已经学习好的若干 模型之一所得的观测，要决定此观测结果究竟得自其中哪一个模型，这称为识别 问题，就是分类问题常常用来在多个隐马尔可夫模型中选优选择的标准是选取 产生观测序列 k ，0 k 疗 概率最大的模型这种技术在语音识别领域应用很多， 人们将声音的信号看作观测序列，通过计算来选择声音信号所对应的字或词 实际问题中，这三个问题有时并不完全能分开，有时也并不需要解全三个问 题例如，在语音识别或手写体汉字或数字的脱机识别中，我们只需要作( 2 ) 与( 3 ) ， 这相当于将一个“标准的 语音音素或一个“标准的”手写体汉字“学习成一 个隐马尔可夫模型，以便把该模型作为这个音素或手写字的代表模板，这是学习 相位；而在进一步用这些模板中的最合适者，作为对于一个需要识别的音素或手 写字的分类归属，这是运转相位至于归属哪个模板最合适，就要用合理的距离， 或准距离( 常用的是相对熵 ) ，在此意义下的优化 1 5 隐m a r k o v 模型的实现 在具体应用隐齐次马尔可夫模型建模时，首先要设定马尔可夫链的状态集及 其规模，即总状态数，这有相当大的弹性，然后，确定相应的观测过程为了使得 观测链与隐齐次马尔可夫链之间有隐齐次马尔可夫关系，常常需要对实际提供的 观测链加以改造在确定了模型规模以后，对于隐齐次马尔可夫模型处理，又可分 为两个不同的相位：学习相位与运转相位学习相位是由给定的观测过程的一组 样本出发，去估计隐齐次马尔夫模型的参数兄= ( ，a ，曰) ，从而完全确定模型；而 运转相位则是用学习相位所确定的模型参数，对给定的某个观测过程的样本，来 估计相应隐齐次马尔可夫模型的状态，或计算出它在各个隐齐次马尔可夫模型下 出现的概率 语音识别各脱机手写汉字最终需要知道的是，给定的语音或脱机手写体汉字 样本应出自哪个模型，这是一个识别过程，通常可以按照b a y e s 方法( 后验概率方 法) 去决定模型，即选取使得给定样本出现的概率最大的模型作为它的分类归属， 这就是识别的结果而在d n a 碱基序列的排序问题中，考虑的方法则与之不同 在d n a 碱基序列的排序问题中，需要知道的是如何排列，也就是需要知道给定的 4 江苏大学硕士学位论文 某个观测过程的样本就所对应的隐齐次马尔可夫链的状态 在学习相位中，面临的是一个不完全数据的参数估计问题，除了运用算法以 外，还可以进行交错估计，即可先设置一组初值参数，由此出发配全观测列按 b a y e s 方法去估计马尔可夫链的状态列，再用此状态列配合观测列用最大似然估 计去重新估计模型参数，交替地不断重复这两个步骤，以达到比较稳定的结果也 可以从设置马尔可夫链的一个状态列作为开始，去估计参数组，再由此参数组对 应的模型去估计状态列，如此交替进行 在应用隐齐次马尔可夫模型于语音识别或手写体汉字识别时，往往把一个 音、一个词、一个字对应于一个隐齐次马尔可夫模型这时当然也可以把一个标 准音或标准字的状态设置为马尔可夫链的初值，再开始上述交替估计的过程 1 6 隐m a r k o v 模型的优点 用隐齐次马尔可夫模型建模有以下优点【2 l ： ( 1 ) 隐马尔可夫模型是一种简单的数学模型它的包容性很大，内涵性很广， 在应用中的弹性相当大，可以很好地利用我们对于被建模的对象所了解的先验知 识，因而有很广的适应性 ( 2 ) 隐马尔可夫模型是一种不完全数据的统计模型( 包含非线性滤波模型) ，它 之所以被广泛采用，在于这种模型既能反映对象的随机性，又能反映对象的潜在 结构，便于利用对象的结构与局部联系性质等方面的知识，以及对研究对象的直 观的与先验的了解 ( 3 ) 隐马尔可夫模型是很少的几个既能从物理模型出发，又与数据拟合直接 联系的算法之一 ( 4 ) 隐马尔可夫模型虽然也具有某些黑箱的特点，但是与纯黑箱操作的人工 神经网络等算法相比，有明显的优点它的参数常常有较为实质的含义，而线性模 型、时间序列模型中的参数一般只是作为被拟合了的参数而出现的，缺少较为真 实含义 ( 5 ) 隐马尔可夫模型有快速而有效的学习方法 以上诸点使隐马尔可夫模型成为随机建模与拟合的基石，在应用中有其普适 性 5 江苏大学硕士学位论文 第二章预备知识 在给出本文的主要内容之前，我们先给出一些预备知识在本章中我们给出 了隐马尔可夫模型的等价定义及性质、相对熵密度、强马氏性的定义及其性质 定理等基础知识，这将为后面的章节做铺挚，且在本章中我们给出了后面章节中 涉及到的相关定义与引理 2 1隐m a r k o v 模型的等价定义及性质 下面给出隐马尔可夫模型的等价定义： 定理2 1 1 1 1 3 1 设 x 。，n 0 ) 与碱，n o ) 是概率空间 q ，f ，毋上分别取值于集 s 与r 的随机变量序列，则下列叙述相互等价： ( 1 ) ( x 。，l ) ，n 0 ) 是如1 2 1 定义的隐马尔可夫模型； ( 2 ) 对v i ，s ，t ，0 f n ，有 p ( x o = f o ，g o = f 0 ，x 。= f 。，l - i 。) = p ( x o = i o ) p ( x 。= i x 。= i o ) p ( y o = l oi x 。= i o ) p ( x 。= i 。l x 。- 1 = l n - 1 ) 尸( y ：l = 厶l x 。= i 。) ；( 2 1 1 ) ( 3 ) 对，s ，i te t ，0 t n ，有 p 伍。h = i 。+ 。lx 。= i n , 匕= l ，x 。q = f 。_ 1 ，k = l o ，x o = i o )( 2 1 2 ) = p 伍。+ 产hi x 。= f 。) ， 尸( k = 厶i j = ，q = 厶 ，爿乙1 = d ，y o = l o ，叉r o = f o ) = p ( 匕= z 。i x 。= i 。) ( 2 1 3 ) 由上面的隐马尔可夫模型的等价定义可以得出隐马尔可夫模型的性质： 定理2 1 2 【1 3 】设 ( x 。，k ) ，以0 】是如1 2 1 定义的隐马尔可夫模型 ( 1 ) 任意a o - ( x o ，y o ，x 。- 1 ，e - 1 ) ，“，f 。+ 。s ，j 斛1 ，j 。+ 。t ，m 1 有 6 江苏大学硕士学位论文 p ( x 。+ 1 = t n + l 匕+ l = 。+ 1 ，x 。= i l l + m ，g l l + 。= j 。+ 。i a ，x 。= i ) ；p ( y 。+ l = l n + l 匕+ 1 = j 。+ 1 ，x 肘。= i l l + m ，g i + 。= j 。+ mi x 。= f ) ， v i s ； ( 2 1 4 ) ( 2 ) t 摅a a ( x o ，r o ，x 。- 1 ，l - 1 ) ，b 仃y 。+ 1 ，l + 1 ，) ，有 p ( bla ，x 。= i ) = p ( bix 。= f ) ，v i s ； ( 2 1 5 ) ( 3 ) 设z 。= ( x 。+ 1 ，匕) ，n 0 ，则弘。，n 0 为马氏链； ( 4 ) 设国( 1 ) ，q ( 2 ) ，q 哗) ) 为隐非齐次马尔可夫模型 ( x 。，e ) ，n 0 ，状态链 弘。，n 0 ) 的初始分布，则对任意乇，s ，j o ，l t 有 p ( x o2 j i d ，r o = j o ，x 。2 l l l ，匕= l ) = q ( i o ) b o ( i o ，j o ) a ，( f o ，) a n ( i n l ，) 玩( i n ，_ 。) ( 2 1 6 ) ( 5 ) 厂仗y ) 为定义在s t 上的任意函数，令只= 盯皤。，t ，o 0 ，必有 p ( x 州= i a ，x ，= i o ) 2 p ( x f + l = f li x ，= 乇) = 口弛， ( 2 ) 如果p ( a ，x 州= i i ) 0 ，必有 p ( e + - 2 ia ，x 州= ) = p ( e h = 矗ix ，h = ) = 定理2 4 2 5 】设f 是隐齐次马尔可夫模型 ( 石。，l ) ，n 田的停时，a 为f 前事 件，对任意正整数朋1 及任何f o ，i 肿s ， ，j 。t ，如果 则有 特别地，有 p ( a ，x ，= i o ，x f + l = i 1y f + 1 = 矗，x ，+ 。= ，一+ 。= l ) 0 ， p ( x ，“= ，匕h = ，x ，协= ，t + 。= li a ，x ，= i o ) = p f ，h = ，y f h = ，x h 慵= ，l + 。= j 。l x ，= i 。) = 口弛口编口。靠气 如气厶 e ( x ，+ 糟= i ，l a ，x ，= f o ) = p ( x ，+ m = i 。i x ，= i o ) 定理2 4 3 n 设r 是隐齐次马尔可夫模型 ( x 。，l ) ，n 田的停时，a 为f 前事 件，对任意 f o ，f m ，cs ， ，l ， t ，如果p ( a ，x ，= i 。) 0 ，则有 p ( x 州= f l ，h = ，x ，棚= 屯，y f + 。= | 。，i a ，x ，= i o ) = e ( x ，h = i it 钉= ，x = i m , 一+ 。= l ，l x ，= i 。) = 丌口“气 m = l 定理2 4 4 5 1 设f 是隐齐次马尔可夫模型 ( x 。，y ：1 ) ，刀0 ) 的停时，a , b 分别为 f 前事件和f 后事件，如果p ( a ，x ，= i ) 0 ，则有 p ( ela ，x ，= i ) = p ( blx ，= f ) 1 0 江苏大学硕士学位论文 2 5 相关定义与引理 定义2 5 1 1 6 1 设 x 。，t ，咒田是非负适应序列，设0 研x 。】 。时少( 砷是正的非降函数，满足喜瓦b 收敛，则喜五蒜收敛 引理2 5 2 【8 】设仁。，只，n o 是一个鞅差序列，则s 。：窆石。在集 艺e 【工； k = lt - 1 ie q 】 的马氏链，其初始分布为 国( 1 ) ，q ( 2 ) ，留( ) ) ，转移矩阵列为只= ( 口。( f ，助n x r , i ，j s ，冗1 若有不可约转 移矩阵尸= p ( f ，助，设( 乃，万) 是由p 决定的惟一平稳分布，并令s 。( f ，砷 是序列工。( 叫，x 。( 砷，x 。1 ( 功中，的个数，即 s 。a ，c o ) = 4 ( x 。q ( 国) ) ， 如果 则 舰耪肿硎，y ) i _ 0 ，吲峨 l i m 丛逊：乃，觚 h k 0 0 n 。 1 2 江苏大学硕士学位论文 第三章可列隐非齐次m a r k o v 模型的强极限定理 近几十年来，人们对非齐次马氏链的极限定理、遍历性开展了大量研究，这些 都取得了深刻的结果隐马尔可夫模型的概念是马尔可夫链概念的自然推广，隐 马尔可夫模型在弱相依变量的建模上得到了广泛的应用，是研究发声过程、神经 生理学与生物遗传等问题的有力工具随着隐马尔可夫模型的广泛应用，人们对 隐马尔可夫模型的研究逐渐深入本章的目的是研究隐非齐次马尔可夫模型的强 极限定理，作为推论，推广了已有的结论，并得到了隐非齐次马尔可夫模型的若干 收敛定理 定理3 1 设 ( x 。，匕) ，n 吣是如1 2 1 定义的可列隐非齐次马尔可夫模型，设 和。，n n 是e q 可测的非零随机变量序列，正似y ，z ) 是定义在s s f 上的三 元函数列， 。( x ) ，n 1 3 r 是一列定义在r + 上的非负可测实函数o t 。1 尾2 ， k 。1 ，m 。1 ( 聆1 ) 使得而x 2 时， 掣甄掣 ( 3 1 ) 譬i h 砖i 、。 与 “ “x 丽a - 鲥一焉 ( 3 - 2 ) 。( 而)“。0 2 ) 、7 成立设 则 a = 缈：k 。研o 。【il ( x 。q ，x 。，l ) 只q l a , 。( i 口。i ) l 口。i ) ie q 】 k 。研。( 1 无( x 。1 ，x 。，k ) i ) ie q 】。( i 口。i ) 口幺，( 3 1 7 ) 由式( 3 1 7 ) 和( 3 3 ) 知 ( 研 f 。q ，石。，k ) 1 只1 卜e 【f 瞄。1 ，z 。，e ) ie q 】) 屈。( 3 1 8 ) 在a 上口e 收敛设瓦= 0 ， 江苏大学硕士学位论文 l = ( 厂( x 。1 ，x 。，匕) 一e g ( x 。q ，x 。，匕) ie 】) 屈。，甩1 ， ( 3 1 9 ) 易知， l ，n 0 ) 是一个鞅差序列，由于 研砰if q 】= 【( f 仁。d ，x 。，l ) ) 2if 一。卜e 2 【f 岱。q ，x 。，匕) le q l a ： 竭( 鲤等冯2 h m 由式( 3 2 ) 知，当il ( 。d ，x 。，e ) l qa 。i 时，有 砰( x 。q ，x 。，l ) a ：ql ( x 。q ，x 。，k ) p i 口。i b 0 2 0 ) m 。【ll ( x 。，x 。，l ) i1 * 。( ia 。i ) ( 3 2 1 ) 由式( 3 4 ) 知 善c oe 【砰l 1 】窆n = le 【( 互半2 le q 】 - l = 缸华2 ，( i l ( x k 驯轧i ) lf q 】 弘e 【业铲划 ( x n - 1 ，x n 驯轧i ) i v 以】 弘研啦铲h 卜a e , o e b ( 3 2 2 ) 由引理2 5 2 知， l = z e ( x 。q ，x 。，v ) - e k ( x 。q ，x 。，l ) le 1 】 知。( 3 2 3 ) 在曰上口e 收敛由式( 3 1 6 ) ，( 3 1 8 ) ，( 3 2 3 ) 及引理2 5 3 知( 3 5 ) 成立 由k r o n c e n k e r 引理知( 3 6 ) 成立 推论3 1 1 7 1 设 ( x 。，l ) ，甩0 】是如1 2 1 定义的有限隐非齐次马尔可夫模型， 设 口。，n 1 1 是e 1 可测的正的非降随机变量序列，l ( x ，y ，z ) 是定义在sx sx t 上的三元函数列， ( 力，刀1 ) 是一列定义在r 上的非负可测偶函数，使得i 工i 增 加时有 1 6 江苏大学硕士学位论文 设 则 ( 工) x 个，沙。( x ) 石2 上 a = ：e 【沙。( ( 石。q ，x 。，l ) ) 1 只q 】缈。( 口。) 。d f k ( x t d ，x t l ，k ) 一研 ( x t q ，x t ，砭) ix t q l 口一= o 口幺，缈曰( 3 2 7 ) 证明在定理3 1 中令。( 砷= ( i x l ) = ( 功，= e = m 。= 1 ，乜= 2 ，由定 理3 1 即司得证 由定理3 1 可以得到有限隐非齐次马尔可夫模型的公平比强极限定理 推论3 2 1 7 1 设 ( x 。，匕) ，n 0 】是如1 2 1 定义的有限隐非齐次马尔可夫模型， l ( x ，y ，z ) 是定义在s xs x t 上的非负函数，当x o 时，虬( 力是正值可测实函数， 当x 增加时 y 。( 力个，沙。( x ) xj ， ( 3 2 8 ) 且罗二_ _ 收敛，如果存在c o ，使v n 有 ：= n 虬( n ) q ( 墨。q ，x 。，l ) 虬( ( x 。q ，x 。，e ) ) ix 。q 】c e f ( x 。q ，x 。，l ) ix 。q 】口名， ( 3 2 9 ) 则 l ( x 冲x 。，k ) ! 觋了二l 一= 1 ，口名g o a ( 3 3 0 ) 一 ：， 研 f h ，x 。，k ) ix 。q 】 1 7 江苏大学硕士学位论文 一一 其中a = 缈：e f k ( x t q ，x t ，v , ) lx t - 1 1 = ) 证明在定理3 1 中，当x 0 时，令。= z ( 曲，并补充定义使。为偶 函数，取k 。= m 。= 口。= 1 成= 2 ，则由( 3 2 8 ) 知。( 功满足定理3 1 中( 3 1 ) 与( 3 2 ) 在定理3 1 中取口。= 5 , e t a ( x 。q ，工。，k ) 】，由( 3 2 9 ) 及引理2 5 1 有 墨【竺! 【厶! 篓! 兰! 茎! ! 垦渔! 茎! 墨3 鲁巾。 。) ：皇【厶垡! 兰! 茎! ! 圣! 笙! ! 厶! 墨! 兰：茎! ! 蔓塑! 茎盟! 鲁a n y 。( 口。) 冬c 争墨【厶坚! 墨! 墨! 蔓必 口幺，国a 于是由定理3 1 该推论成立 推论3 3 设 ( x 。，l ) ，n 0 是如1 2 1 定义的可列隐非齐次马尔可夫模型， 。( 功，刀q ，k 。和m 。如定理3 1 定义，p 。，万廿是一非零序列如果 与 成立，则 塾刿篙音必 o o ( 3 3 1 ) 弘刿昔逊 o 。 ( 3 3 2 ) ( x 。q ，x 。，l ) 一e 【 ( x 。d ，x 。，y ) l x 。q l a 。 ( 3 3 3 ) a 。e 收敛 证明由( 3 3 1 ) 和( 3 3 2 ) 及。的非负性，又瓦，m 。如定理3 1 定义，我们可知 争k 。坐坦掣粤每卿 a 。i 时， 由( 3 3 6 ) 有 il ( x 。q ，x 。，k ) i i 口。1 七， 类似( 3 1 2 ) 的证明，我们可以证得 当il ( x 。1 ，x 。，y ：i ) i 马a 。i ，f l 了( 3 3 7 ) 知， 则 因此， il ( x 柙x 。，r ；) l l a 。酬l ( x 。1 ，x 。，匕) i 尾i 口。1 只i ( 3 4 1 ) ( 3 4 2 ) ( 3 4 3 ) m 。( 1l ( x 。q ，x 。，k ) ) 。( ia 。i ) ，( 3 4 4 ) 一n = l8 。g l 删靴地爵弛 巩( x m - i ，z 以m 斗d l ” l ：冬艺n=l。，。l，：。一，王，：。：；k。，!l_：!；：萨吼( 1 厶( z ，j ，匕h 斗。d 、| “ l ， 嘻p 。螋蒜笋如鲰 五! 垄! 兰! 垄! ! 兰! 一n = l a ” 在以上口幺收敛y b = u b ，则 k 蔓! 茎! 兰! 垄! ! 匕! 鲁 口。 在曰上a e 收敛 由( 3 1 6 ) ，( 3 4 6 ) 矢n ( 3 3 8 ) 成立 ( 3 4 6 ) 七 0 时，