（应用数学专业论文）m重隐马尔可夫模型的强大数定律.pdf

学位论文版权使用授权书 | | i i ii li ii l ll l l ll l i iiil y 18 9 4 6 5 9 江苏大学、中国科学技术信息研究所、国家图书馆、中国学术期刊( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、 缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致， 允许论文被查阅和借阅，同时授权中国科学技术信息研究所将本论文编入中国 学位论文全文数据库并向社会提供查询，授权中国学术期刊( 光盘版) 电子杂 志社将本论文编入中国优秀博硕士学位论文全文数据库并向社会提供查询。 论文的公布( 包括刊登) 授权江苏大学研究生处办理。 本学位论文属于不保密口。 学位论文作者签名j 司乏强 指导教师签名： 阳i f6 弱l 飞日 m 重隐马尔可夫模型的强大数定律 s t r o n gl 越v so fl a r g en u m b e r sf o rm t h o r d e rh i d d e nm a r k o vm o d e l s 2 0 1 1 年5 月 江苏大学硕士学位论文 摘要 隐，与尔可夫模型在近几十年来被广泛应用于弱相依随机变量的建模上，被用 作研究发音过程，神经生理学与生物遗传等方面问题的工具。虽然隐马尔可夫模型 在今天已经得到了广泛的应用，但它的理论基础并不完善，并且如在动态的图象 处理、气象预测等的一些实际应用中，人们需要建立隐非齐次马尔可夫模型来进 行研究。但由于隐非齐次马尔可夫模型难以处理，所以对于隐非齐次马尔可夫模 型的理沦研究基本上还是空白。隐非齐次马尔可夫模型的理论方面的研究具有很 大的研究意义。 本文的主要目的是研究隐非齐次马尔可夫模型的强大数定律。首先，介绍了 隐m a r k o v 模型的有关知识。其次，研究了二阶隐非齐次马尔可夫模型强大数定律。 先给出：阶隐马尔可夫模型的一些性质，其次给出此模型的四元函数一类平均值 的极限定理，作为推论，得到了二阶隐马尔可夫模型状态频率出现的强极限定理， 最后得到二阶隐马尔可夫模型的强大数定律。最后，研究了m 重隐非齐次马尔可 夫模型的强大数定律。先给出了m 重非齐次隐马尔可夫模型的定义，然后利用此定 义得到了m 重非齐次隐马尔可夫模型的一些性质，并给出此模型的m + 2 元函数 一类平均值的极限定理，作为推论，得到了m 重隐马尔可夫模型状态频率出现的 强极限定理，最后得到m 重隐马尔可夫模型的强大数定律。这对进一步研究多重 隐马尔呵夫模型提供了理论基础，且能为实际问题如弱相依随机变量的建模、发音 过程、神经生理学和生物遗传学等领域的研究提供理论依据 关键词：马尔可夫链，非齐次马尔可夫链，隐马尔可夫模型，二阶隐非齐次马尔 可夫模型，m 重隐非齐次马尔可夫模型，强极限定理，强大数定律 m 重隐马尔可夫模型的强大数定律 江苏大学硕士学位论文 a bs t r a c t h i d d e nm a r k o vm o d e l sh a v ed u r i n gt h el a s td e c a d eb e c o m ew i d e s p r e a df o r m o d e l i n gs e q u e n c e so fw e a k l yd e p e n d e n tr a n d o mv a r i a b l e s ，w i t ha p p l i c a t i o n si n a r e a ss u c ha ss p e e c hp r o c e s s i n g ，n e u r o p h y s i o l o g ya n db i o l o g y h i d d e nm a r k o vm o d e l sa r ew i d e l ya p p l i e d ，b u ti t st h e o r e mf o u n d a t i o na r en o t p e r f e c t ，a n dw es h o u l ds e tu ph i d d e nm a r k o vm o d e l si nt h ep r a c t i c e da p p l i c a t i o ns u c h a sd y n a m i cg r a p h i c a lm o d e l s ，d i m a t ef o r e c a s t b e c a u s eh i d d e nm a r k o vm o d e l sa r e d i f f i c u l tt om a n a g e ，t h e o r yr e s e a r c ho fh i d d e nn o n h o m o g e n e o u sm a r k o vm o d e l sa r e b a s i c a l l yb l a n k n e s s i ti si m p o r t a n tm e a n i n gt os t u d yt h eh i d d e nn o n h o m o g e n e o u s m a r k o vm o d e l s t h ep u r p o s eo ft h i si st o s t u d yt h es t r o n g l a w so f l a r g e n u m b e r sf o rh i d d e n n o n h o m o g e n e o u sm a r k o vm o d e l s i nt h i sp a p e lf i r s t l y , i ti n t r o d u c e ss o m ek n o w l e d g e a b o u th i d d e nm a r k o vm o d e l s s e c o n d l y , w es t u d yt h es t r o n gl a wo fl a r g en u m b e r sf o r s e c o n do r d e rh i d d e nn o n h o m o g e n e o u sm a r k o vm o d e l s f i r s t ，i tg i v e ss o m ep r o p e r t i e so f s e c o n do r d e rh i d d e nn o n h o m o g e n e o u sm a r k o vm o d e l s t h e n ，as t r o n gl i m i tt h e o r e mf o r t h ea v e r a g eo ft h ef o u rv a r i a b l e sf u n c t i o no fh i d d e nn o n - h o m o g e n e o u sm a r k o vm o d e li s g i v e n a sc o r o l l a r i e s ，s e v e r a ls t r o n gl i m i tt h e o r e m sf o r t h ef r e q u e n c yo fo c c u r r e n c e s t a t e sf o rh i d d e nn o n - h o m o g e n e o u sm a r k o vm o d e la r eo b t a i n e d f i n a l l y , s o m es t r o n g l a w so fl a r g en u m b e r sf o rs e c o n do r d e rh i d d e nm a r k o vm o d e l sa r eo b t a i n e d i nt h ee n d ， w es t u d yt h es t r o n gl a w so fl a r g en u m b e r sf o rmt ho r d e rh i d d e nn o n h o m o g e n e o u s m a r k o vm o d e l s f i r s t ，i tg i v e ss o m ep r o p e r t i e so fmt ho r d e rh i d d e nn o n h o m o g e n e o u s m a r k o vm o d e l s t h e n ，as t r o n gl i m i tt h e o r e mf o rt h ea v e r a g eo ft h em + 2v a r i a b l e s f u n c t i o no fh i d d e nn o n - h o m o g e n e o u sm a r k o vm o d e li sg i v e n a sc o r o l l a r i e s ，s e v e r a l s t r o n g l i m i tt h e o r e m sf o rt h e f r e q u e n c y o fo c c u r r e n c es t a t e sf o rh i d d e n n o n - h o m o g e n e o u sm a r k o vm o d e la r eo b m i n e d f i n a l l y , s o m es t r o n gl a w so fl a r g e n u m b e r sf o rmt ho r d e rh i d d e nm a r k o vm o d e l sa r eo b t a i n e d t h i sp r o v i d e ss o m e t h e o r e t i c a lb a s e sf o rf u r t h e rs t u d y i n gm u l t i - o r d e rh i d d e nm a r k o vm o d e l sa n ds o m e p r a c t i c a lp r o b l e m ss u c ha sm o d e l i n gs e q u e n c e so fw e a k l yd e p e n d e n tr a n d o mv a r i a b l e s ， s p e e c hp r o c e s s i n g ，n e u r o p h y s i o l o g ya n db i o l o g y i i i m 重隐马尔可夫模型的强大数定律 江苏大学硕士学位论文 目录 第一章绪论。l 1 1 马尔可夫链简介1 1 2 马尔可夫链的定义。1 1 3 二阶马尔可夫链的定义2 1 4m 重马尔可夫链的定义3 第二章预备知识4 2 1 隐马尔可夫模型简介4 2 1 1 隐马尔可夫模型的特点。4 2 1 2 隐马尔可夫模型理论的发展6 2 1 3 在应用中研究隐马尔可夫模型的主要方向。7 2 1 4 隐马尔可夫模型的优点8 2 1 5隐马尔可夫模型的实现。9 2 2 隐马尔可夫模型的定义9 2 3 隐马尔可夫模型的等价定义。1 1 2 4 隐马尔可夫模型的性质1 2 2 5 相关定义与引理1 2 第三章二阶隐马尔可夫模型的强大数定律1 8 3 1 弓i 占1 8 3 2 二阶隐马尔可夫模型的强极限定理2 0 3 3 二阶隐马尔可夫模型的强大数定律2 3 第四章m 重隐非齐次马尔可夫模型的强大数定律2 6 4 1m 重隐马尔可夫模型的定义及性质2 6 4 2m 重隐马尔可夫模型的强极限定理2 7 4 3m 重隐马尔可夫模型的强大数定律2 9 1 当束语：i ：! 参考文献。3 3 1 改谢：1 5 在读期间发表的论文 ：1 6 v 江苏大学硕士学位论文 1 1马尔可夫链简介 第一章绪论帚一早瑁 了匕 马尔可夫链( 简称马氏链) 是一种特殊的随机过程，最初由苏联数学家 a a m a r k o v b 所研究，它的直观背景如下： 设想有一个随机运动的体系( 例如运动着的质点等) ，它可能处的状态( 或位 置) 记为s o ，s 1 ，一，s 。，总数共有可列多个或有穷个，这体系只可能在时刻 t = 1 ，2 ，l ，上改变它的状态。随着的运动过程，定义一列随机变量 x 。，以= ( ) ，1 ，2 ，其中 x 。= k ，如在f = 时，位于瓯 一般地， x 。，n o 未必是相互独立的。 实际中常常碰到具有下列性质的运动体系，如果已知它在f = n 时的状态， 则关于它在行时以前所处的状态的补充知识，对预言在疗时以后所处的状态不起 任何作用。或者说，在已知“现在”的条件下，“将来 与“过去 是独立的。这 种性质，就是直观意义上的“马尔可夫性”( 简称“马氏性”) ，或称“无后效性”。 具有这种特性的随机过程称为马尔可夫过程，简称马氏过程。 荷花池中的一只青蛙的跳跃是马尔可夫过程的一个形象化例子。青蛙按照它 瞬间跳起的念头从一片荷叶上跳跃到另一片荷叶上。如果青蛙是没有记忆的，人 们自然可以假定，当已知青蛙在某时刻所处的位置时，它下一步跳往何处与它此 前走过的路径无关。如果将荷叶编号( 例如编号为自然数1 ，2 ，3 ，) ，并用表 示青蛙在初始时刻所处的荷叶的号码，用置，x ：，分别表示青蛙经过第一次，第 二次，跳跃后所处的荷叶的号码，那么，随机序列 x 。，n 0 就是一个马尔可夫 过程。 1 2 马尔可夫链的定义 对于一随机试验，设q 是所有样本点 国 构成的样本空间，f 是q 上的所有 随机事件构成的事件集合称为盯一代数，p 是定义在f 上的概率测度。定义在q 上 的取值于实数域的f 可测函数x ( o ) 称为随机变量。称定义在概率空问( q ，f ，p ) 上 m 重隐马尔可夫模型的强大数定律 的随机变量族x = x ，( 缈) ，t 丁】- 为一随机过程，其中tc r ( 实数集) ，t 可以为 无穷的或有穷的，可以为可列的或不可列的，称为参数集。若丁为有限集，如 x ，( 缈) ，0 f _ 0 ，总有 p ( x 肿。= + 。l x 。= i o , x 。= ，x 。= ) = p ( x 。+ 。= 乞+ i x 。= ) ( 1 2 1 ) 成立，则称x 为离散参数的马尔可夫链。若s 为可列集或有限集，则称x 分别为 离散参数的可列马尔可夫链和离散参数的有限马尔可夫链。本文仅研究离散参数 的马尔可夫链，以后简称为马氏链。 设 x 。，n 0 是定义在s = 0 ，1 ，2 ，) 上的马氏链，v f ，_ s ，l 1 ，记 以( f ，歹) = p ( 以= ，i 以一，= f ) ( 1 2 2 ) = ( 见( f ，脚， n 1 ( 1 2 3 ) 则称见o ，_ ) 为马氏链 x 。，n 0 的一步转移概率，简称转移概率；若只随着疗的变 化而变化，则称 x 。，l q 为非齐次马氏链， 只，以q 为其一步转移概率矩阵列， 简称转移概率矩阵列；若v 以1 ，恒为p ，则称 x 。，刀田为齐次马氏链，p 为 其一步转移概率矩阵，简称转移概率矩阵。 1 3 二阶马尔可夫链的定义 定义1 3 1 设 x 。，疗0 】- 是在状态空间s = 1 ，2 ，n 中取值的随机变量序列， 如果对任意整数，l 2 及v x , s ，0 f 2 ，当p ( x o = x o ，x l = 五) 0 时，总有 2 江苏大学硕士学位论文 p ( x 。= 毛i x o = x o ，x 1 = x a ，x = 一1 ) = p ( x 。= i x 。一2 = i n _ 2 ，x 。_ l = 毛1 ) ( 1 3 1 ) 成立，则称 x 。，n o 为二阶有限马氏链若条件( 1 3 1 ) 与聆无关，则称 x 。，n o 为二阶有限齐次马氏链；反之称 x 。，n o ) 为二阶有限非齐次马氏链 记 q ( i o ，f 1 ) = 尸( x o = o ，x i = ， p o ( ji , ，之) = 尸( = _ ，l 以一：= f l ，以一。= 之) ， 称q ( o ，) 为二维初始分布，p ( ji a ，之) 为二阶转移概率；称 = ( 以( 巾，乞) ) ( 1 3 2 ) 为二阶转移矩阵这时易知其联合分布 p ( x o2 而，x l2 _ ，x n2k ) 。q ( ，x , ) hp , ( x tx k - 2 ，x k - i ) ( 1 3 3 ) 1 4m 重马尔可夫链的定义 定义1 4 1 m - i 发 x 。，疗0 是在状态空间s = 1 ，2 ，n 】- 中取值的随机变量序列， 如果对任意整数甩m 及弘s ，0 f ，l ，当尸( 扎= 而，x 1 = 五，x m - 1 = 一。) 0 时， 总有 p ( 瓦= f x o = x o ，x 1 = 葺，x 州= 一1 ) = p ( x 。= 苁f x 。一。= 毛一啊，z = 毛一，) ( 1 4 1 ) 成立，则称 x 。，n 0 为m 重有限马氏链若条件( 1 2 1 ) 与刀无关，则称 x 。，n 0 为m 重有限齐次马氏链；反之称 x 。，n 0 ) 为m 重有限非齐次马氏链记 q ( i o ，一。) = 尸( x o = 乇，x i = ，以一，= 一，) ， 见( l 】i ，) = 尸( 以= l 以一。= 秕，以一。= ) ， 称q ( f 0 ，o 。) 为m 维初始分布，p , , ( ji x ，乙) 为m 阶转移概率；称 足= ( 以( i f l ，i m ) ) ( 1 4 2 ) 为m 阶转移矩阵这时易知其联合分布 p ( x o = x o ，x l = 五，x 。= 毛) = q ( x o ，葺，一1 ) - 兀p t ( x kl 吒一。，z h ) ( 1 4 3 ) 3 r n 重隐马尔可夫模型的强大数定律 第二章预备矢“1 4 识 弟一早 耿亩大以 在给出本文的主要内容之前，我们先给出一些预备知识。本章节中给出了马 氏链与隐马尔可夫模型的定义，隐马尔可夫模型的等价定义及其性质，同时给出 了后几章内容中涉及到的相关定义与引理。 2 1隐马尔可夫模型简介 2 1 1隐马尔可夫模型的特点 马尔可夫过程是一类具有马尔可夫性的随机过程。其特点是，当过程在时刻t 。 所处的状态已知，则过程在t 。以后所处状态与过程在t 。以前所处状态无关，这个特 性叫无后效性，也叫做马尔可夫性。通俗地说，就是“已知现在，将来和过去无 关”。若马尔可夫过程 x ( f ) ，t z 】- 的状态空间s 为尺中的可列集，则称 x ( f ) ，t 丁】 为马尔可夫链。若t 为可列离散集，则称 x ( f ) ，t 丁 为离散参数马尔可夫链；若丁 为连续的，则称 x ( f ) ，t 丁 为连续参数马尔可夫链。本文研究的内容中涉及到的 马尔可夫链主要是指离散参数马尔可夫链。 自上世纪六十年代，b a u m ，p e t r i e 和e a g o n 等人开始致力于研究隐马尔可夫模 型以来，人们对隐马尔可夫模型的理论及应用的研究盛久不衰。随后由c m u 的 b a k e r 和i b m 的j e l i n e k 等人将其应用到语音识别当中，后来在2 0 世纪8 0 年代中 期，b e l l 试验室的r a b i n e r 等人对隐马尔可夫模型也进行了深入地研究。隐马尔可 夫模型是马尔可夫链的拓展，与马尔可夫链不同的是，客观存在观测到的信号不 是模型状态的本身，而是状态的概率函数。真j 下的模型的状态变迁我们是看不到 的。我们只能看到每个时刻状态所发射的观测信号，通过这些观测的信号，去推 断内在的状态的变迁。这也j 下是模型名称中“隐”字的含义。 4 江苏大学硕士学位论文 八 u 马尔可夫链 隐乌尔可夫模型 隐马尔可夫模型的特点是马尔可夫链 x 。，甩o 是隐藏的，称为状态链，它不 能被直接观察到，而能观察到的是 l ，n 0 链，称为观测链，事实上，观测链 亿，甩o ) 概率上是依赖于状态链讧。，刀o ) 的，而且以 在给定 x 。，忌刀 的情况 下的条件概率只与 x 。 有关。 从信息论角度看，马氏链式有记忆信源的普通模型，无记忆不变信道是最简 单的通信信道( 信道其实就是一族转移概率) 。马氏链与无记忆( 不变) 信道的组 合就组成了一类比马氏信源复杂的过程，即隐马尔可夫模型。也就是说，在信息 论中隐马尔可夫模型可看作是通过离散时间无记忆( 不变) 信道观察到的离散时 间( 齐次) 马氏链的概率函数。 记齐次马氏链口。，咒o ) 的初始分布为厂( 们，转移矩阵为a ，状态链伍。，疗0 ) 到观测链 ，l o ) 的转移矩阵为b 。当无记忆信道是不变的，且状态链讧。，l 0 ) 是齐次的时，隐马尔可夫模型可由参数( 厂们，a ，b ) 来表示。对于具体唯一平稳分布 的平稳马氏链来说，隐马尔可夫模型可由似，b ) 来表示。隐马尔可夫模型的基本假 定是：参数向量厂( o j ，参数矩阵a 与b 都是未知的，将它们合记为参数组 耐 五三( 厂( m ，a ，b ) 。三元参数组( 厂，a ，b ) 完全确定了状态链与观测链的联合统计规 律。所以，我们通常用力表示一个隐马尔可夫模型，并称之为隐马尔可夫模型五。 值得注意的是：这里讲的隐马尔可夫模型基本假定是状态链是时齐的马尔可夫链， 而且状态到观测的转移也是时齐的。但是在实际应用中经常遇到状态链是非齐次 的情形，如在动态的图像处理1 、气候的预测h 1 等均需要建立非齐次隐马尔可夫模 型来研究。本文研究的重点就是一类非齐次隐马尔可夫模型互信息率存在性以及 任意二维随机变量序列关于齐次隐马尔可夫模型的一类强偏差定理。 5 m 重隐马尔可夫模型的强大数定律 2 1 2 隐马尔可夫模型理论的发展 自从1 9 6 6 年b a u m 和p e t r i e l 3 1 提出了隐马尔可夫模型可作为马氏链的概率函 数以后，人们对隐马尔可夫模型的研究就没有间断过。至1 9 6 9 年，b a u m 和p e t r i e 一同研究了平稳遍历有限状态有限字母集的隐马尔可夫模型的统计性质，给出隐 马尔可夫模型的相对熵密度的几乎必然收敛性；同时证明了m l 参数估计的相容性 和渐近正态性。1 9 7 0 年b a u m ，p e t r i e ，s o u l e s 和w e i s s 4 1 ，【5 】给出了计算一般隐马 尔可夫模型的观测链的某状态的条件概率的向前向后递归公式，并且应用该递归 公式给出了一般隐马尔可夫模型的参数极大似然估计的有效计算机迭代程序，而 d e m p s t e r ，l a i r d 和r u b i n 6 1 又将该计算机迭代程序用于隐马尔可夫模型的最大期 望( e m ) 演算法上。其实c h a n g 和h a n c o c k 7 】在研究符号互扰信道的最优译码中早 已给出了类似的向前向后递归公式。随后l e r o u x 8 1 ，f i n e s s o 9 1 ，l eg l a n d ，m e v e lp o l 及d o u c ，m a t i a s 1 1 1 研究了隐马尔可夫模型的相对熵密度的遍历理论，并且l e g l a n d ，m e v e l1 8 1 及d o u c ，m a t i a s 9 1 也研究了隐m a r k o v 模型的指数遍历性和几何遍历 性，使得隐m a r k o v 模型的理论日趋完善。 隐马尔可夫模型作为重要的研究工具，近年来在弱相依变量的建模，发音过 程、神经生理学、生物遗传等问题的研究上得到了广泛应用。另外在工程学中， 统计学和计量经济学中经常会碰到的许多随机过程也与隐马尔可夫模型有关。隐 马尔可夫模型的观察链不需要是统计上独立的。如自回归过程在每个当时时刻的 动态都只依赖于当i j 时刻马氏链的状态。当自回归系数是零时，开关自回归过程 就沦落为隐马尔可夫模型。在控制论中，另一种与之相关的马氏已调泊松过程， 这种泊松过程的速率是由不能观测到的连续时间马氏链所控制的。一个马氏己调 泊松过程可以被看作为马氏更新过程或是隐马尔可夫模型p 2 1 。除此之外在纯理论 1 1 5 1 1 1 6 l 上，l e r o u x1 1 3 1 给出了隐马尔可夫模型的大数定律，m a x w a l1 1 4 1 与b i c k e l 。等人 给出了隐马尔可夫模型在中心极限定理方面的一些性质。 基于以上诸多理论研究，本文的主要工作包括两方面：引入隐马尔可夫模型 互信息率的定义，利用平均收敛给出了隐马尔可夫模型的平均收敛定理，证明了 可列非齐次隐马尔可夫模型的互信息率存在定理，又结合杨卫国教授研究非齐次 马氏链熵率存在性的方法p 7 l ，得到了一个有限非齐次隐马尔可夫模型的互信息率 6 江苏大学硕士学位论文 存在定理；另一方面，引进任意二维随机变量序列 ( 疋，r o ) ，刀0 相对于隐与尔可 夫模型的相对熵密度偏差( 或称似然比) 的概念，作为随机变量序列相对于隐马 尔可夫摸型的差异的一种度量，并利用这个概念通过构造上鞅的方法研究证明了 有限状念二维信源三元函数一类平均值的用不等式表示的极限性质强偏差定 理( 即小偏差定理) ，将概率论中的强极限定理推广到用不等式表示的情形；同时 作为主要结果的推论，将马氏信源的s h a n n o n m a c m i1l a n 定理推广到隐马尔可夫 模型甚至任意二维随机变量序列 ( 咒，匕) ，n 0 的情形。 2 1 3 在应用中研究隐马尔可夫模型的主要方向 在应用中研究隐马尔可夫模型主要有如下三个方向1 1 8 1 ： ( 1 ) 从一段观测序列 圪，0 k 以) 及已知模型五= ，a ，b ) 出发，估计x 。的最 佳值，称为解码问题。这是状态估计问题。可用于推知内在的状态的变迁。在实 际应用的领域中，我们往往只能观测到外在的信号，本方向是要利用算法使我们 由外在的观测到的信号计算出内在的状态变迁序列。隐马尔可夫模型也正是在这 一点上的功能而被广泛应用于文本信息抽取领域。 ( 2 ) 从一段观测序列 t ，0 k n ) 出发，估计模型参数组力= ，a ，b ) ，称为 学习问题。这是参数估计问题。这是三个方向中最困难的一个，目前尚无解决这 个问题的解析方法。实际上，给定任何有限观测序列作为训练数据，没有一种最 佳方法能估计模型参数，但是可以利用迭代方法或利用梯度技术来选定五，使观测 序列 匕，k 以 概率在模型见达到局部最大。 ( 3 ) 对于一个特定的观测链 e ，0 七刀 ，已知它可能足由已经学习好的若干 模型之一所得的观测，要决定此观测究竟是得自其中哪一个模型，这称为识别问 题。就是分类问题。常常用来在多个隐马尔可夫模型中选优。选择的标准是选取 产生观测序列 e ，0 七n 概率最大的模型。这种技术在语音识别领域应用很多， 人们将卢音的信号看作观测序列，通过计算来选择声音信号所对应的字或词。 实际问题中，这三个问题有时并不完全能分开，有时也并不需要解全三个问 题。例如，在语音识别或手写体汉字或数字的脱机识别中，我们只需要要作( 2 ) 与( 3 ) ，这相当于将一个“标准的语音音素或一个“标准的”手写体汉字“学 习成”一个隐马尔可夫模型相对应起来，以便把该模型作为这个音素或手写字的 7 m 重隐马尔可夫模型的强大数定律 代表模板，这是学习相位；而在进一步用这些模板中的最合适者，作为对于一个 ：需要识别的音素或手写字的分类归属，这是运转相位。至于归属哪个模板最合适， 就要用合理的距离，或准距离，在此意义下的优化。 值得注意的是在应用中，仅用上述隐马尔可夫模型会有很大的局限性，因此 可分别将x 。，k 推广，比如： 1 x 。也可推广为取值于平面有限格点的马尔可夫场，而k 与它的关系如上 述，这就定义了一隐马尔可夫场。 2 一般地，k 还可以是连续型随机变量。如果记在x 。= x 的条件下，k 的条 件分布密度为厂，则允= ( ( 们，a ，六) 也称为一个( 连续的) 隐马尔可夫模型。这时 厂常是分布类型已知而带来未知参数的密度。状态是连续的隐马尔可夫模型至今 还未见有人直接使用。事实上，在实际计算中，只要将厂离散化为直方图，则它 就纳入了有限隐马尔可夫模型的框架。 2 1 4 隐马尔可夫模型的优点 隐马尔可夫模型建模具有如下优点【1 8 】： ( 1 ) 隐马尔可夫模型是一种简单的数学模型。它的包容性很大，内涵性很广， 在应用中的弹性相当大，可以很好地利用我们对于被建模的对象所了解的先验知 识，因而有很广的适应性。 ( 2 ) 隐马尔可夫模型是一种不完全数据的统计模型，它之所以被广泛采用， 在于这种模型既能反映对象的随机性，又能反映对象的潜在结构，便于利用对象 的结构与局部联系性质等方面的知识，以及对研究对象的直观的与先验的了解。 ( 3 ) 隐马尔可夫模型是很少的几个既能从物理模型出发，又与数据拟合直接 联系的算法之一。 ( 4 ) 隐马尔可夫模型虽然也具有某些黑箱的特点，但是与纯黑箱操作的人工 f l j 经网络等算法相比，有明显的的优点。它的参数常常有较为实质的含义，而线 队模型、时间序列模型中的参数一般只是作为被拟合了的参数而出现的，缺少较 为真实含义。 ( 5 ) 隐马尔可夫模型有快速而有效的学习方法。 以上诸点使隐马尔可夫模型成为随机建模与拟合基石，在应用中有其普适性。 8 江苏大学硕士学位论文 2 1 5 隐马尔可夫模型的实现 在具体应用隐马尔可夫模型建模时，首先要先设定马尔可夫链的状态集及其规 模，即总状态数三，这有相当大的弹性，然后，确定相应的观测过程。为了使得观 测链与隐马尔可夫链之间有隐马尔可夫关系，常常；导要对实际提供的观测链加以 改造。例如，一个脱机手写体汉字是一张黑白像素图( 一个取值0 或者1 矩阵) ， 它和刻画笔道的a m a r k o v 场之间的依赖关系并不能满足隐马尔可夫关系的要求。 需要对它进行预加工，也就要先进行“特征提取”。以尽量简化使得隐马尔可夫关 系能成立。 在确定了模型规模以后，对于隐马尔可夫模型处理，又可分为两个不同的相位： 学习相位与运转相位。学习相位是由给定的观测过程的一组样本出发，去估计隐 马尔夫模型的参数五= c - ，a ，曰) ，从而完全确定模型；而运转相位则是用学习相位 所确定的模型参数，对给定的某个观测过程的样本，来估计相应隐马尔可夫模型 的状态，或计算出它在各个隐马尔可夫模型下出现的概率。 语音识别和脱机手写汉字最终需要知道的是，给定的语音或脱机手写体汉字 样本应出自哪个模型，这是一个识别过程，通常可以按照b a y e s 方法去决定模型， 去决定模型，即选取使得给样本出现的概率最大的模型作为它的分类归属，这就 是识别的结果。而在d n a 碱基序列的排序问题中，考虑的方法则与之不同。在d n a 碱基序列的排序问题中，需要知道的是如何排列，也就是需要知道给定的某个观 测过程的样本所对应的隐马尔可夫链的状态。 在学习相位中，面临的是一个不完全数据的参数估计问题。除了运用算法以 外，还可以进行交错估计。即可先设置一组初值参数，由此出发配全观测列按b a y e s 方法去估计马尔可夫链的状态列，再用此状态列配合观测列用最大似然估计去重 新估计模型参数，交替地不断重复此两个步骤，以达到比较稳定的结果。也可以 从设置马尔可夫链的一个状态列作为开始，去估计参数组，再由此参数组对应的 模型去估计状态，如此交替进行。 2 2 隐马尔可夫模型的定义 定义2 2 1 1 1 明设s = 1 ，2 ，n ，丁= 1 ，2 ，m 为两个有限集， x n , n - 0 ) 与 9 m 重隐马尔可夫模型的强大数定律 k ，厅o 是概率空间 q ，f ，p ) 上分别取值于s 与z 的随机变量序列假设 x 。，n 0 ) 是时齐马氏链，它不能被直接观测到，称为状态链，而能观测到的是 k ，l 0 ) ，称为观测链，它们合起来满足如下隐马尔可夫条件( h m m 条件) ： p ( 以+ 。= i t = 厶，以= ，k = t o ，k = 乇) = 尸( 以+ 。= + 。i 以= ) ( 2 2 1 ) p ( 匕= 乙i 以= ，一。= l 一。，x 。一。= 一。，r o = t o ，j ，o = o ) = 尸( = 乇i 叉_ = t ) ( 2 2 2 ) 如果状态到观测的转移也是时齐的则称 ( 以，k ) ，刀o ) 为有限齐次隐马尔可夫 模型，这罩“隐 的含义是说状态链是隐藏起来的令 p = ( p ( f ，川，i ，j s ， ( 2 2 3 ) 与 b = ( 6 ( ，啪，j s ，t ， ( 2 2 4 ) 分别表示齐次马氏链 x 。，n 0 ) 的转移矩阵，状态链到观测链的转移矩阵。其中 p ( i ，) = 尸( 疋= i 以一，= f ) ，z 1 ，6 ( ，) = p ( k = ，i 邑= ，) ，刀0 。 接下来我们类似地给出了隐非齐次马尔可夫模型的定义： 定义2 2 2 设s = 1 2 ，n ) ，丁= 1 2 ，m ) 为两个有限集， 以，刀o 与 k ，l o ) 是概率空间( q ，f ，p ) 上取值于s 与t 的随机变量序列假设 x 。，n o ) 是 非齐次马氏链，它不能被直接观测到，称为状态链，而能观测到的是 k ，以o ) ， 称为观测链，它们合起来满足h m m 条件。记 = ( 仇( f ，川删，f ，j e s ，n l ， ( 2 2 5 ) 与 e ，= ( 钆( ，啪。m ，s ，z 丁，疗o ， ( 2 2 6 ) 分别表示非齐次马氏链 x 。，n o ) 的转移矩阵，状态链到观测链的转移矩阵其中 见( i , j ) = p ( x n = ，i 鼻一。= f ) ，吃( ，) = e ( r o = ，l 以= ，) ，则称 ( 以，匕) ，n o ) 为有 限隐非齐次马尔可夫模型若s ，t 均为可列集，则称 ( 以，匕) ，珂o ) 为可列隐非齐次 马尔可夫模型。 注1 ) ：在上述定义中 x 。，n o ) 为马氏链的条件其实是不必要的，t i i i e 1 0 江苏大学硕士学位论文 明 由( 2 2 1 ) 式有 e ( x 棚= l n + l ，x n = ，= 厶，x o = f o ，k = 乇) = 尸( 以+ 。= + 。i 以- - f ) p ( x o = ，匕= 乙，k = o ，y o = ，o ) ， 上式两边对乇，厶求和有 故有 尸( 义- = + 。，_ = ，叉乙一。= 一。，x o = f o ) = 尸( 鼍+ 。= + 。f = ) 尸( = ，以一，= 小，x o = 乇) ， 尸( 以+ 。= o l | 以= ，以一。= ，k = 毛) = j p ( 以+ 。= o 。i 以= ) ， 因此 x 。，z 0 ) 是马氏链 2 ) 因为由以上定义可推导出 x 。，n o ) 是马氏链，故隐马尔可夫模型的概念 是一般马氏链概念的推广。 3 ) 在信息论中隐马尔可夫模型可以看作是马氏链和无记忆信道的组合，即是 通过无记忆信道观察到的马氏链的概率函数。特殊地，齐次隐马尔可夫模型是齐 次马氏链和无记忆不变信道的组合。 2 3 隐马尔可夫模型的等价定义 下面给出隐马尔可夫模型的等价定义：( 证明参见【2 0 】) 定理2 3 1 设伍。，咒o ) 与 匕，l o ) 是概率空间 q ，f ，毋上分别取值于可列 集s 与丁的随机变量序列，则下列命题相互等价： ( i ) 伍。，l ，l o ) 是如2 2 2 定义的隐马尔可夫模型 ( i i ) 对任意s ，t ，0 t 刀，有 尸( x o = i o , r o = l o ，以= ，= 厶) = p ( x o = 乇) p 儡= 乇l k = 乇) 兀尸( k = 厶i 五= ) p ( 五= 丘i 五一。= 丘一，) ( 2 3 1 ) 七= 1 ( i i i ) 对任意s ，五t ，0 t 厅，有 尸( 虼= o ，= ，匕= 厶i = o ，五= ，以= ) m 重隐马尔可夫模型的强大数定律 = 兀尸( k = 丘i x k = t ) k = o 2 4 隐马尔可夫模型的性质 ( 2 3 2 ) 由定义易知隐马尔可夫模型 ( x o ，匕) ，n o ) 还具有如下性质：( 性质2 4 1 性 质2 4 5 的证明参见【2 0 】) 性质2 4 1 设 ( x 。，匕) ，珂o ) 是隐马尔可夫模型，则 ( 以，匕) ，n o ) 为马氏链 性质2 4 2 设 ( x 。，) ，刀o ) 是隐马尔可夫模型，则 ( 咒 匕) ，z o 为马氏 链 性质2 4 3 设( ? 。，匕，n 0 ) 是如2 2 2 定义的隐马尔可夫模型，则对 v o s o s s n + l s + m ，0 t o t t h + 1 l 简记为p ，p ( “肿) 简记为 设 x 。，_ ，l q 是如( 1 2 1 ) 所定义的非齐次马氏链，其m 步转移概率为 见“( f ，_ ) ，其中 见“( i ，j ) = p ( x 。+ 。= j f x 。= i ) i ，歹s ，刀0 下面给f 乜马氏链各种遍历性的定义n 1 定义2 5 2 称有限马氏链 x 。，n 吣是弱遍历的，当且仅当 l 鲤f 成”u ，后) 一以4 ( _ ，忌) f = 0 m _ + oj 对任何n = 0 ，1 ，以及任何i ，_ ，k s 都成立。 定义2 5 3 称马氏链 x 。，n 吣是强遍历的，当且仅当对所有的珂= 0 ，】， f ， s ，存在极限。l i m 。pm ( f ，) ，而且它不依赖于f s ，记为万，即 l i mp ? q ，n = i t i m 。 注如果该马氏链是齐次的，则弱遍历性和强遍历性是等价的，统称为是遍历 的。 设q 是一随机矩阵，若q 的各行均相同，则称q 为常数矩阵。 定义2 。5 4 t 2 1 1 称有限非齐次马尔可夫链 只) 是强遍历的，若存在常数矩阵q ， 使得对一切m 0 有 坦i m ( p 肘) - q ) = 0 (251)00t _ 定义2 - 5 5 设 以，以o 为定义在s = 1 ，2 ，n 上的聊重非齐次马尔可夫链， 记 。p ( j ，乙) = 尸( 以+ h = i 疋一。= 毛，一一。= 乙) ，( 2 5 2 ) 则称。p