（概率论与数理统计专业论文）对于非参数隐马尔可夫模型的平滑度选取.pdf

摘要 隐马尔可夫模型是一个基于一些参数族 ，( - l f ) ，皿) 的混合模型 珈i s = 七 一f ( y t l k ) ， 其中混合随机过程 s d 是有k 个状态的m a r k o v 链，在c h o p i n ( 2 0 0 7 ) 关于连续有序的隐马 尔可夫模型的模型选择及推断一文中，我们可以解决狮l s 。= 南 一( q 知+ 虞观，盯2 ) 这样的问 题我们注意到正态分布的均值部分 ) = 口知+ a - z 。是线性函数这篇文章解决了均值部 分是未知非线性函数的问题 首先未知非线性部份我们用三次样条函数逼近；其次我们要写出观测值可l ，犰的联合 似然函数；再次我们感兴趣的是在约束条件i a k ( 。hi t 下，样条函数的系数a k ( 。u ；最后利 j 用k u h n - t u c k e r 条件求出这些系数的极大似然估计 关键词：隐马尔可夫模型；变量选择；样条函数；k u h n - t a c k c r 条件 i 皿) ， a b s t r a c t ah i d d e nm a r k o vm o d e li sal ：n i x t u r cm o d e lt h a ti sb a s e do ns o m ep a r a m e t r i cf a m i l y ，( i 车) ， y t s t = ) 一f ( y t l k ) ， s u c ht h a ti t sm i x i n gp r o c e s s s t i sak - s t a t em a r k o vd r a i n u n d e rt h ec a s eo f 饥i _ & = 露) 一 n ( a k + # k x t ，) ，t h ep r o b l e mc a nb es o l v e df r o mc h o p i n ( 2 0 0 7 ) b u tw eh o t et h a tt h em e a ni nt h e n o r m a ld i s t r i b u t i o ni sal i n e a rf u n c t i o n 。t h i sp a p e rs o l v e dt h ep r o b l e mt h a tt h em e a ni sa nu n k n o w n n o n - l i n e a rf u n c t i o n f i r s t l y , w es h o u l df i tt h eu n k n o w nn o n - l i n e a rf u n c t i o nb ys p l i n ef u n c t i o n ；s e c o n d l y , w en e e dt ow r i t et h el i k e l i h o o df u n c t i o no f t h ef i r s tto b s e r v a t i o n sy l ，。，y t ；t h i r d l y , w ea r ei n t e r e s t e d i nt h ec o e f f i c i e n t so ft h es p l i n ef u n c t i o n ，t h a ti sq 知阳b ，w h i c hs a t i s f i e st h ec o n s t r a i n to f i q 知扣ui t ；a tl a s t ，w ec a p r io b t a i nt h em a x i m u ml i k e l i h o o de s t i m a t i o no ft h ec o e f f i c i e n t sb yu s i n gk u h n - t u c k e r c o n d i t i o n s k e y w o r c l s ：h i d d e nm a r k o vm o d e l s ；v a r i a b l es c l c c t i o n ；s p l i n ef u n c t i o n ；k u h n - t u c k e r c o n d i t i o n s 一 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果据 我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研 究成果，也不包含为获得东北师范大学或其他教育机构的学位或证书而使用过的材料与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意 学位论文作者签名昱i 蔓 日期： 立监! ，垒【 i7 学位论文版权使用授权书 本学位论文作者完全了解东北师范大学有关保留，使用学位论文的规定，即；东北师范大 学有权保留并向国家有关部门或机构送交学位论文的复印件和磁盘，允许论文被查阅和借阅 本人授权东北师范大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印缩印或其它复制手段保存汇编学位论文 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 日 期： 学位论文作者毕业后去向： 工作单位： 通讯地址： 指导教师签名： 日 期： 电话： 邮编， 东北师范大学硕士学位论文 引言 数理统计学是数学的一个重要分支它研究怎样有效地收集、整理和分析带有随机性的数 据，以对所考察的问题作出推断或预测，直至为采取一定的决策和行动提供依据和建议数理 统计学在工农业生产，工程技术、自然科学、经济学、社会学等领域都有很广泛的应用，大量 实际问题属于数理统计学的研究范围 隐马尔可夫模型( h i d d c nm a r k o vm o d c l ) 作为一种统计分析模型，创立于2 0 世纪6 0 年代 末期，由b a u m 和其他一些作者在一系列的统计学论文中提出，8 0 年代得到了传播和发展， 成为信号处理的一个重要方向，现已成功地用于语音识别( r a b i n e r ，1 9 8 9 ) ，行为识别，文字识 别，信号处理( a n d r i e ua n dd o u c e t ，1 9 9 9 ) 。生物信息学( l c r o u xa n dp u t e r m a n ，1 9 9 2 ) ，遗传学 ( c h u r c h i l l ，1 9 8 9 ) ，经济( h a m i l t o n ，1 9 8 9 ；a l b e r ta n dc h i b ，1 9 9 3 ) ，金融( r y c d c ne ta 1 ，1 9 8 8 ) 以及 故障诊断等领域( m a c d o n a l da n dz u c c h i n i ( 1 9 9 7 ) ，c a p p ee ta 1 ( 2 0 0 5 ) ，s c o t t ( 2 0 0 2 ) ) 隐马尔可夫模 型的最初应用之一是开始于2 0 世纪7 0 年代中期的语音识别七十年代，当时i b m 的j e l i n c k ( 贾里尼克) 和卡内基梅隆大学的b a k e r ( 贝克夫妇) 分别独立地提出用隐马尔可夫模型来识 别语音，语音识别的错误率相比人工智能和模式匹配等方法降低了三倍( 从3 0 到1 0 ) 八 十年代李开复博士坚持采用隐马尔可夫模型的框架，成功地开发了世界上第一个大词汇量连 续语音识别系统s p h i n x 在2 0 世纪8 0 年代后半期，隐马尔可夫模型开始应用到生物序列尤 其是d n a 的分析中，例如基因组序列中蛋白质编码区域的预测，对于相互关联的d n a 或蛋 白质族的建模，以及从基本结构中预测第二结构元素等等从那时开始，在生物信息学领域隐 马尔可夫模型变的无处不在 c h o p i n ( 2 0 0 7 ) 的关于连续有序的隐马尔可夫模型的模型选择及推断一文，对状态的出 现次序重新标记，革新了隐马尔可夫模型，并且在这一新的模型下解决了玑l s t = 知) 一( q 七+ 觑x t ，盯：) ，这样的问题，我们注意到均值部分厶( 砚) = q 七+ 仇祝是线性的，而实际问题中，均 值并非是线性的，若它为未知非线性函数，问题应如何解决呢? 这就使我们想到了样条函数 样条函数是一种分段多项式，各相邻段上的多项式之间又具有某种连续性，因而它既保持了多 项式的简单性和逼近的可行性，又在各段之间保持了相对独立的局部性质，它具有光滑性和灵 活性的优点，因此它是一类特别有效的逼近工具在这篇文章中我们将利用样条函数在n i c o l a s c h o p i n 革新的隐马尔可夫模型下，对未知非线性函数进行光滑度选取。即变量选择为了求出 我们所感兴趣的样条函数的系数，我们又利用到k u h n - t u c k e r 条件，最终得到极大似然估计。 解决了上述问题 这篇文章第一章介绍了隐马尔可夫模型的背景及发展，并且写出了观测值的极大似然函 l 东北师范大学硕士学位论文 数；第二章主要介绍怎样利用样条函数来逼近未知非线性函数；第三章利用k u _ h n - t u e k e r 条 件，求出约束条件下样条函数系数的极大似然估计，做平滑度选取 2 东北师范大学硕士学位论文 l 隐马尔可夫模型 1 1隐马尔可夫模型简介 隐马尔可夫模型是用来描述含有隐含未知参数的马尔可夫过程的一种统计模型其难点 是从可观测的参数中确定该过程的隐含参数，进而利用这些状态来作进一步的分析隐马尔可 夫模型创立于2 0 世纪7 0 年代。8 0 年代得到了传播和发展，成为信号处理的一个重要方向， 现已成功地用于语音识别，行为识别，文字识别以及故障诊断等领域 隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列 观察到每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具 有响应概率密度分布的状态序列产生所以，隐马尔可夫模型是一个双重随机过程一具有一 定状态数的隐马尔可夫链和显示随机函数集因此，一个隐马尔可夫模型，状态空间记为s ， 它是一个基于一些参数族 ，( i f ) ，皿) 的混合模型， u t l s t = 忌) 一，( 犰l & ) ， ( 1 ) 其中未知参数向量记为三= ( s l ，8 。) ，y = ( m ，k ) 为可观测向量序列，毗，t = l ，2 是有k 个状态的m a r k o v 链，他的转移概率矩阵记为q = ( q k t ) ，这里 p ( s t + l4l i s t = k ) = q k ! ，k ，l = l ，k 并且，8 1 有分布为丌( i ) ，i s 我们记在状态s 时观测到状态y 的撅率为e ( ，y ) 那么则有 t i p ( y j = 协，j = 1 ，n l 三= ( 1 ，靠) ) = e ( 岛，协) j = l 首先，我们所感兴趣的是观测向量的似然函数p ( y ) 我们令0 = ( 1 ，厶) ，y = ( y l ，y n ) 那么我们有， p ( 三= 0 ，y = y ) = p ( e = 0 ) p ( y = l 一= 0 ) 竹n = 丌( - ) i i p ( 白一t ，岛) n e ( 白，珊) j = 2j = l 由此，我们可以得到 p ( y = 剪) = p ( - - = 口，y = ) 口 但是这一求和计算量非常大，因此我们利用一种更简单的算法 向前算法( k c m e n y , s n e l l ( 1 9 7 6 ) ) s 记 a t ( i ) = p ( s t = i ，h = y l ，k = y t ) 3 东北师范大学硕士学位论文 并且有初始值 我们记 口1 ( i ) = p ( s l = i ，y 1 = y 1 ) = 丌( i ) e ( i ，y 1 ) o t t + l ( s ) = p ( s t + l2s ，y 12y l ，y t 。y t ，y t3y t + 1 ) = p ( a t + l = s ，8 t = n h = y l ，m = y t ，k = y t + 1 ) = p ( a t + l = s ，m = y t + 1 i s t = r ，h = y l ，y t = y t ) r p ( 既= r k = y t ，y 1 = | l ，k 一1 = y t 1 ) 】 = p ( s t + l = s ，k ；y t + l l s t = r ) r p ( s = r ，k = y f ，m = y l ，k 一1 = y t 1 ) 】 = 口r s e ( 8 ：y t + 1 ) t ( r ) 从而得到似然函数， p ( y 1 = y l ，y t = 铷) = p ( 8 。= s ，m = y l ，k = ) s e s = o t n ( 8 ) s e s 其次，我们想要知道那些状态是最有用的，为了回答这个问题，需要另外个算法 向后算法( k c m e n y , s n e l l ( 1 9 7 6 ) ) 。记 3 t ( i ) = p ( y t + i = 轨+ 1 ，碥= y , 。j s t = i ) 并且初始值风( ) = 1 ，对于所有的i s 我们记 4 东北师范大学硕士学位论文 定义 屈【s ) = p 【y t + 1 = y t + l ，= y s t = 8 ) = p ( y t + i = y t + l , 8 t + l = n ，碥= 可n 1 8 t = s ) = 【p ( m + 2 = y t + 2 ，碥= y n l y t + l = y t + l ，s t + 1 = 呐= s ) x p ( k + 1 = y t + l ，8 t + 1 = rj s t = 8 ) 】 = p ( y t + 2 = y t + 2 ，= 鼽i s t + 1 = r ) p ( y t + l = y t + l s t + l = r ) 吼r = 屈+ 1 ( r ) e ( r ，y t + 1 ) q 。， 我们可以根据o , t ( i ) 和风( z ) 得到 r t ( i ) = p ( s t = 引h ，k ) - r , ( i ) = p ( s t = 引m ，k ) 仪p ( s t = i ，m ，k ) = p ( m + 1 ，k 1 5 t = i ，y 1 ，m 妒( s f = i ，m ，k ) = e , d i ) 晟( i ) 事实上我们有 俩，= 拦龋 我们利用上式来推断出状态的次序得到 1 2一种革新的隐马尔可夫模型 c h o p i n ( 2 0 0 7 ) 关于连续有序的隐马尔可夫模型的模型选择及推断一文，将原有的马氏 链扩张为如下形式， 岛= ( r a t ，s f ) ， 这里的s t 仍表示当前时刻t 的状态，而舰表示直到t 时刻，出现不同状态的数量那么，马 氏链由原来的k 个状态就变为k 7 = k ( k + 1 ) 2 个状态，从而( 2 ) 式的转移概率应更新为如下 形式： ( m l ，8 1 ) = ( 1 ，1 ) ， 5 东北师范大学硕士学位论文 p ( s t + 1 = l i s t = 知，r n t = m ) = i f ，zsm k ， q k l ti f 南z = 竹l + 1 k ， l o t h e r w i s e ， 盹+ l = m a x ( m r ，8 t + 1 ) ( 3 ) 这个新的转移概率等式实际上于( 2 ) 式是等价的，并且这个扩张的马氏链是根据状态出现的 次序对他们有序的重新标记，即状态更新为如下形式： ( 1 ，1 ) 一1 ，( 2 ，1 ) _ 2 ，( 2 ，2 ) _ 3 ，( 3 ，1 ) 一4 ，( 3 ，2 ) _ 5 ，( 3 ，3 ) _ 6 ，【k ，k ) 一k ( k + 1 ) 2 在时刻t 时，我们有( m t ，8 t ) = ( m ，3 ) ，那么，下一个出现的状态只有两种可能 a 已经出现过的状态f ，f m 。这种情况下新的转移概率即蚴 b 未出现过的新状态，这种情况下的转移概率为 q k t ， l ，= m + l 更新后的转移概率矩阵参见附录a 事实上，革新后的模型它仍然是隐马尔可夫模型，并 且它具有直接的可识别性，不需要对参数附加任何的有序约束条件，同时，通过估计舰就能 知道，究竟我们需要多少状态来模拟数据下一节，我们将介绍对于革新模型的g i b b s 抽样 1 3对于革新模型的g i b b s 抽样 记p 为未知参数向量。由三= ( 毒1 ，k ) 组成，并且将q 的最后一个行向量去掉。记为 饥= ( q k l ，q k ( k 1 ) ) ，k = 1 ，皿设下面的先验结构成立t kk p ( p ) = n 攻( ) d i r k ( q k ；a k ) ( 4 ) i = li = 1 这里耿( ) 是对于缸的一些先验密度函数，d i r k ( - ；q 七) 表示带有参数为q 七= ( 口扎，o l k k ) 的 狄利克莱分布下面的循环迭代模拟，即为革新模型的g i b b s 抽样算法 第一步tp ( s 1 ：t i 三，q ，y l ：t ) 第二步；尸( q i 一，s 1 ：t ，可1 ：r ) 第三步：p ( e i q ，函：r ，秒1 ：t ) 这里的研：r ，y l ：t 分别表示& ，s t y l ，y r ，t 是样本量在第一步中，利用向前 向后递归法模拟出状态( c h i b ，1 9 9 6 ；r o b e r tc ta 1 ，1 9 9 9 ) ；第二步中总计抽出k 个独立慨率分 布，这些分布有以下的形式： 6 o x 一 磊o ，-il-jlli_【 懈 、l ， k瓤+ + 吖 r 横 m n鲰r函 三 p 东北师范大学硕士学位论文 这里q 膏耳= 1 一饥1 一一q 知畔一1 ) ，a k l = 口埘+ n 舰一m ，仃捌= n k l ( s 1 ：t ) 是从状态k 到状态 z 的转移次数当状态l 第一次到达状态k ，那么懈= 懈( s 1 ：t ) 为l ，其他情况为0 ，且分布 满足下式： 这一特殊的狄利克莱分布参看l o c h n c r ( 1 9 7 5 ) 利用马氏链的一些性质，通过模拟狄利克莱分布 并且改变向量骶中一些元素的比例，上述分布可以直接抽样 1 4观测值的似然函数 根据c h o p i n ( 2 0 0 7 ) 的文章，我们知道p i y t m ：t 一1 ，0 】为观测值y t 的条件似然函数，那么 y i ，y t 的联合似然函数即为； 到 p 【剪1 ，y t l o 】= p 【玑i 1 ：一1 ，刎p y t 一1 l y l ：t 一2 ，0 】p y l l o 】 ( 6 ) 那么当y t l 8 t = 七) 一i v ( a ( ，) ( 耽) ，盯2 ( 。) ) ，时，根据隐马尔可夫模型的向前算法，我们可以得 p y , l u , ：卜1 ，0 】 = p 【s t = 5 ，y t y 1 ：一l ，0 】 = p 【& = 3 ，s 一1 = r ，y t l y l ：f 一1 ，0 】 ： 圭圭p 【& 一1 ：轳1 ：一1 ，a p s t ；8 i s , 一1 ：n 暑l ：t ，纠，( 玑l 缸( 。) ) ( 7 ) = 丌( 一1 ) ，q 麓f ( y t l s k ( 。) ) 2 莩莩咐) r 赢高唧一酬珊2 ) 这里后( s ) 表示状态为8 时的那些整数k 的值，例如状态为5 时，( 3 ，2 ) _ 5 ，这里的k 值为 2 ，故七( 5 ) = 2 p i s t 一1 = r 虮t 一1 ，卅记为丌( ) ，r ，赢为革新后模型的转移概率至此，联 合似然函数可以得出 下一章，我们将介绍如何利用样条函数来逼近未知非线性函数 ( 。) ( 娩) 7 一 瓠 u k钆u 国 = 瓠 东北师范大学硕士学位论文 2样条函数 2 1样条函数简介 在实际问题中，通常会遇到这样的问题。给定平面上n + 1 个不同点，要求通过这些点作 一条光滑曲线显然这是一个插值问题，但是当点很多时，作高次多项式插值是不理想的采 用分段插值是一种有效的方法，但是采用分段线性插值，只能构造一个整体上具有一阶连续微 商的插值函数，且对于实际问题，要知道在节点上的微商值是比较困难的因此提出了一种插 值方法即样条函数插值，它能在只给出节点上函数值的情况下构造出一个整体上充分光滑的 函数 所谓样条( s p l i n e ) ，原来是在船体、汽车或航天器的设计中，模线设计员使用的弹性均 匀的、窄的木条( 或钢质条) 模线员在绘制线时，用压铁压在样条的一批点上，强迫样条通 过一组离散的型值点当样条取得合适的形状之后，再沿着样条画出所需要的曲线，这将是一 条光滑的曲线样条函数最初就是来源于这样的样条曲线i j s c h o c n b c r g 在1 9 4 6 年提出了样 条函数的概念，并给出了严格的数学定义 定义1 ；设在区间【a ，6 】上给定一个分划： a ：a = x o z l 现 a x n z + 1 = b( 8 ) s ( z ) 为实值函数，如果它满足条件： a 8 ( x ) 在子区间k ，x i + 1 】( t = 0 ，1 ，厶n ) 上是n 次多项式； b s ( z ) 在k b l 上具有直到几一1 阶连续微商，即s ( x ) c n - - 1 【n ，b i ， 则称y = s ( z ) 为礼次样条函数，常把以式( 8 ) 为结点的n 次样条函数的总体记为 s ( z l ，a ，) 或称& ( ) x n 为榉条结点下面给出n 次榉条函数s ( x ) 的一般表达式： 对于任意给定的以式( 8 ) 为结点的n 次样条函数s ( z ) ，根据定义1 ，其在每个子区间 k ，祝+ 1 】0 = 0 ，1 ，l ) 上均为付次多项式特别地，在子区间【a ，x l 】上式一个n 次多项式不 妨设该多项式为r ( z ) r 考虑8 扛) 于p 1 ，2 2 l 上的表达式，由定义1 知，8 ( z ) 在陋l ，x 2 l 上 的表达式也是一个扎次多项式，设它为( z ) 令 露( z ) = 伪；( 。) 一p 孔( z ) 按n 次样条函数的定义，p n ( 。) 与( z ) 在点z = z - 处的值以及1 阶、2 阶直到n 一1 阶微商 值都相等，于是 ，7 ( 知( z 1 ) = q 乎( z 1 ) 一p 等( z 1 ) = 0 ，k = 0 ，1 ，l ，n 一1 故z = z 1 是叩( 七) 的n 重根，即7 7 ( 知) 含仕一z 1 p 这个因子由于o ( k ) 是一个仃词多项式，所以 ，7 ( 。) = a a ( x z 1 ) ” 8 东北师范大学硕士学位论文 从而 q h ( z ) = 胁，( z ) + a l ( x z 1 ) “ 这样一来，8 ( z ) 在【0 ，x 2 】上的表达式为 s ( z ) ： p “z ) 口z z “ 【( z ) + a i ( x 一2 1 ) “x l z x 2 ， 为了将上式写成一个统一的表达式，引入截断多项式的概念 定义2 ；( 见范剑青，姚琦伟，【m 】非线性时间序列) 设x 和t 是实数，m 0 是整数， c z 一亡，罕= 孑一功仇三三 若t 为固定常数，则称0 一t ) ? 是x 的m 次截断多项式利用截断多项式，8 ( z ) 可以写成 s ( z ) = p 。( z ) + a i ( x z 1 ) ：，a z x 2 继续采用上面的方法，可以得到s ( z ) 在陋，6 1 上的表达式为 2 2利用三次样条函数逼近未知线性函数 三次样条函数是最基本，最重要的样条函数，也是在实际中应用最广的样条函数，样条函 数的理论应用都是从三次样条函数发展起来的我们这篇文章中的未知非线性函数即用三次 样条函数逼近下面介绍三次样条函数 基本概念t ( 见范剑青，姚琦伟，m 非线性时间序列) 设在区间【a ，6 】上给定一个分划 ：o = z o x l x 2 a z j v ：r n + 1 = b ，由定义1 知，任意三次样条函数s ( z ) s 3 ( ) 的一 般表达式为 8 ( z ) = q o + d l z + o r 2 2 2 + a 3 x 3 + 勺( z 一叻) 晕 j = l 有满足条件。 a s ( z ) 在每个子区间b ，巧+ 1 】u = 0 ，1 ，l ，n ) 上式三次多项式； b s ( x ) c 2 f 0 ，h i ； c s ( z ) = y i = ，( 翰) ，i = 0 ，1 l ，n + 1 ， 则称s ( z ) 为区间【口，b l 上具有分划的三次插值样条函数 9 厶 一 z 的极大似然估计这里我们的目标函数即为 j 对数似然函数 l ( 理七t b ) o ，a k ( 。) l ，a k ( 。) 6 ) = l np m ，纨l 明 根据约束条件i q 詹( 。h i t 我们能够得到i a k ( 。b i - t 0 显然，我们关心的目标函数为凸 33 函数，利用k u l m - t u c k c r 条件。我们可以得到 fv l ( a k ( s ) 0 n 坼) l 口小) 6 ) + a ( h s h 卜) = 0 口( ，) j - ts 。，a o ，a ( e u i - t ) ：o ( j ：。，l ，6 ) q 劬 我们记p t = p 协l y l ：t - i ，刎，我们能得到 a l ( q 知( ，) o ，a k ( 。) l ，口o ) 6 ) + a ( f q 七【。) ，l 一) ) ， o a k ( , ) d t8 2 蚤葡1 州( 幽帕一薹叫鹕( , ) j ) s k ( s ) j + a s i g n ( 叫圳 =0 解方程组，最终可以求出n 七( 。h 的极大似然估计 1 3 东北师范大学硕士学位论文 娃；五 ；口- 口 关于变量选择的问题。前人已经做了很多工作，变量选择的方法可以应用到很多模型中， 本文将其应用在隐马尔可夫模型中，在模型中可以选择出影响响应变量的主要因素隐马尔可 夫模型自2 0 世纪8 0 年代以来，被应用于语音识别，取得重大成功到了9 0 年代，h m m 还被 引入计算机文字识别和移动通信核心技术。多用户的检测。近年来，它在在生物信息科学， 故障诊断等领域也开始得到应用但是对于实际问题中，隐含的参数并不一定是线性的，因此 对于非参数的隐马尔可夫模型的平滑度选取，就显的更加有意义，在变量选择之后，进而确定 隐马尔可夫模型的阶数，这样，就提高了模型的预测性 1 4 东北师范大学硕士学位论文 参考文献 【l 】a l b e r t ，j a n dc h i b ，s ( 1 9 9 3 ) b a y e si n f e r e n c ev i ag i b b ss a m p l i n go fa u t o r e g r e s s i v et i m es e r i e s s u b j e c tt om a r k o vr e e d j la n dv a r i a n c es h i f t s j b u s e c o n s t a t i s t 11 ：l 一1 5 【2la n d r i e u ，c a n dd o u c e t ，a ( 1 9 9 9 ) j o i n tb a y e s i a nd e t e c t i o na n de s t i m a t i o no fn o i s ys i n u s o i d s v i ar e v e r s i b l ej u m pm c m c i e e et r a n s s i g n a lp r o c c s s ，4 7 ：2 6 6 7 - 2 6 7 6 【3 】c a p p e ，o ，m o u l i n e s ，e a n dr y d e n ，t ( 2 0 0 5 ) i n f e r e n c ei nh i d d e nm a r k o vm o d e l s n e w y o r k ：s p r i n g e r 【4 】c h i b ，s ( 1 9 9 6 ) c a l c u l a t i n gp o s t e r i o rd i s t r i b u t i o n sa n dm o d a le s t i m a t e si nm a r k o vm i x t u r e m o d e l s j e c o n o m e t r ，7 5 ：7 9 - 9 7 【51c h o p i n ，n ( 2 0 0 7 ) i n f e r e n c ea n dm o d e lc h o i c ef o rs e q u e n t i a l l yo r d e r e dh i d d e nm a r k o vm o d e l s j r s t a t i s t s o c b ，6 9 ：2 6 9 - 2 8 4 【6ic h u r c h i l l ，g ( 1 9 8 9 ) s t o c h a s t i cm o d e l sf o rh e t e r o g e n e o u sd n a s e q u e n c e s b u l l m a t h b i 0 1 ， 5 1 ：7 9 - 9 4 【7ld u r b i nj ，e d d ys ，k r o ga ，m i t c h i s o ng ( 1 9 9 8 ) b i o l o g i c a ls e q u e n c ca n a l y s i s c a m b r i d g e u n i v e r s i t yp r e s s 【8lh a m i l t o n ，j d ( 1 9 8 9 ) an e wa p p r o a c ht ot h ee c o n o m i ca n a l y s i so fn o n s t a t i o n a r yt i m es e r i e s a n dt h eb u s i n e s sc t c l c e c o n o m e t r i c a ，5 7 ：3 5 7 - 3 8 4 【91k e m e n yj g ，s n c hj l ( 1 9 7 6 ) f i n i t em a r k o vc h a i n s s e c o n de d i t i o n s p r i n g e ru n d e r g r a d - u a t et e x t si nm a t h e m a t i c s 【1 0 】l c r o u x ，b a n dp u t c r m a n ，m ( 1 9 9 2 ) m a x i m u m - p e n a l i z e d l i k e l i h o o de s t i m a t i o nf o ri n d e p e n - d e n ta n dm a r k o v - d e p e n d e n th i 1 i f em o d e l s b i o m e t r i c s ，4 8 ：5 4 5 - 5 5 8 【1 1 】m a c d o n a l d ，i a n dz u c c h i n i ，w ( 1 9 9 7 ) h i d d e nm a r k o va n do t h e rm o d e l sf o rd i s c r e t e - v a l u e d t i m es e r i e s l o n d o n ：c h a p m a na n dh a l l 【1 2lr a b i n e r ，l ( 1 9 8 9 ) at u t o r i a lo i lh i d d e nm a r k o vm o d e l sa n ds e l e c t e da p p l i c a t i o n si ns p e e c h r e c o g n i t i o n p r o c 皿e e 。7 7 ：2 5 7 - 2 8 4 【1 3 】r o b e r t ，c p ，r y d c n ，t a n dt i t t e r i n g t o n ，d m ( 1 9 9 9 ) c o n v e r g e n c ec o n t r o l sf o rm c m c a l g o r i t h m sw i t ha p p l i c a t i o n st oh i d d e nm a r k o vc h a i n s j s t a t i s t c o i n p u t