（概率论与数理统计专业论文）隐马尔可夫过程小波变换的参数估计.pdf

￥$ 4 1 8 3 i 隐马尔可夫过程小波变换的参数估计 概率论与数理统计专业 研究生王茂华指导教师马洪 近年来，隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，简记为m 帅在模式识别与随 机信号处理中有着最广泛的应用，最成功的例子如语音识别和文字识别我们知 道，影响模式识别系统识别率的重要因素是输入的信号是否规范因此，为了提高 识别系统的稳健性，我们需要构造一种对输入模式信号自适应、抗干扰的隐马尔 可夫模型由于小波变换具有很强的去噪功能，一个自然的想法是在h m m 识别系统 前串连一个小波滤波器，将待识别模式信号作小波变换后再输入h i m 模式识别系 统以进行识别 本文首先介绍了隐马尔可夫模型中的一些基本元素，对将隐马尔可夫模型应 用到实际中时所遇到的三个基本问题进行了讨论，并且给出了相应的解答然后 还对隐马尔可夫模型中的一些特殊结构类型作了介绍 其次，对小波变换及其相关知识进行了讨论在简单介绍了小波变换的发展 史之后，重点讨论了小波变换中的重要理论一多分辨率分析理论，及其相应的分 解和重构算法m a l l a t 算法 最后，我们提出了一种新的方法来解决通过小波变换后的隐马尔可夫过程参 数的计算问题这个方法使我们不必根据变换后的结果对系统参数进行重新估计 而只需利用变换后输出的小波系数直接来计算参数即可，避免了保留所有训练数 据的繁琐复杂计算过程 关键词：隐马尔可夫过程、小波变换、模式识别、随机信号处理、均值向量、协 方差矩阵 p a r a m e t r i ce s t i m a t eo f 多场v e l e t t r a n s f o r m a t i o no nh i d d e nm a r k o vp r o c e s s e s m a j o r ：p r o b a b i l i t y a n ds t a t i s t i c s g r a d u a t es t u d e n tm a o h u a w a n g i n s t r u c t o r h o n g m a h i d d e nm a r k o vm o d e l s ( h m m ) h a v eb e e nw i d e l yu s e di np a t t e r nr e c o g n i t i o n a n ds t o c h a s t i cs i g n a l p r o c e s s i n gi n r e c e n ty e a r s ，a n dt h eb e s te x a m p l e sa r es p e e c h r e c o g n i t i o na n dc h a r a c t e rr e c o g n i t i o n a sw ek n o w , w h e t h e rt h ei n p u ts i g n a l sa r e n o r m a lh a sb e c o m eo n eo ft h em o s ti m p o r t a n tf a c t o r sf o rp e r f o r m a n c eo fap a t t e r n r e c o g n i t i o ns y s t e m t h e r e f o r e ，i no r d e rt oi m p r o v er o b u s t n e s so far e c o g n i t i o ns y s t e m ， w en e e dt oc o n s t r u c tah i d d e nm a r k o vm o d e lw h i c hc a nw i t h s t a n dn o i s ea n da d a p t i t s e l ft ot h ei n p u ts i g n a l s b e c a u s ew a v e l e tt r a n s f o r m a t i o nh a ss 订o n gc a p a b i l i t yo f w i t h s t a n d i n gn o i s e ，w eh a v ee a s i l yc o n s i d e r e dm a k i n gw a v e l e tt r a n s f o r m a t i o nf o rt h e i n p u ts i g n a l s ，a n dr e c o g n i z i n gt h e m i nh i d d e nm a r k o vm o d e l s i nt h i st h e s i s ，w ef i n s ti n t r o d u c es o m eb a s i ce l e m e n t si nh i d d e nm a r k o vm o d e l s ， a n dc o n s i d e rt h r e eb a s i cp r o b l e m sw es h a l le n c o u n t e rw h e nh i d d e nm a r k o vm o d e l sa r e u s e di nr e a l i t y a 1 s o ，w eg i v et h ec o r r e s p o n d i n gr e s o l u t i o n s t h e nw ei n t r o d u c es o m e s p e c i a ls t r u c t u r e si nh i d d e nm a r k o v m o d e l s s e c o n d ，w ec o n s i d e rw a v e l e tt r a n s f o r m a f i o na n dt h er e l a t e dk n o w l e d g e a f t e r s i m p l yi n t r o d u c et h ed e v e l o p m e n to fw a v e l e tt i a n s f o r m a t i o n w em a l n l yc o n s i d e rt h e i m p o r t a n tt h e o r yi nw a v e l e tt r a i l s f o r m a t i o n m u l t i r e s o l u t i o na n a l y s i st h e o r y , a n d 山e c o r r e s p o n d i n ga l g o r i t i 1 一m a l l a ta l g o r i t h m f i n a l l y , an e wm e t h o dt oa d a p tt h ep a r a m e t e r so fh i d d e nm a r k o vm o d e l si s p r o p o s e dw h e nt h ei n p u ts i g n a l sa r et r a n s f o r m e db yw a v e l e t b yo u rm e t h o d ，w ea r e a b l et ob ef r e ef r o mt h er e q u i r e m e n to fr e t r a i n i n gt h ew h o l er e c o g n i t i o np a r a m e t e r s w h e nt h ei n p u ts i g n a l sa r ec h a n g e da n dm a k e si ts u f f i c i e n tt oa d a p tt h ep a r a m e t e r st o t h eg i v e ni m p u l s er e s p o n s eo fw a v e l e tf i l t e r o k e y w o r d s ：h i d d e nm a r k o vp r o c e s s e s ，w a v e l e tt r a n s f o r m a t i o n ，p a t t e r nr e c o g n i t i o n s t o c h a s t i cs i g n a lp r o c e s s i n g ，m e a nv e c t o r , c o v a n a n c em a t r i x 四川大学硕士学位论文 隐马尔可夫过程小波变换的参数估计 王茂华 摘要：本文首先介绍了隐马尔可夫模型中的一些基本元素，对将隐马尔可夫模型 应用到实际中时所遇到的三个基本问题进行了讨论，并且给出了相应的解答然 后还对隐马尔可夫模型中的一些特殊结构类型作了介绍 其次，对小波变换及其相关知识进行了讨论在简单介绍了小波变换的发展 史之后，重点讨论了小波变换中的重要理论一多分辨率分析理论，及其相应的分 解和重构算法m a l l a t 算法 最后，我们提出了一种新的方法来解决通过小波变换后的隐马尔可夫过程参 数的计算问题这个方法使我们不必根据变换后的结果对系统参数进行重新估计 而只需利用交换后输出的小波系数直接来计算参数即可，避免了保留所有训练数 据的繁琐复杂计算过程 关键词：隐马尔可夫过程、小波变换、模式识别、随机信号处理、均值向量、协 方差矩阵 1 引言 隐马尔可夫过程( 又称隐马尔可夫模型h i d d e nm a r k o vm o d e l ，简记为删) 是一个双随机过程：观测的背后隐藏着系统的真实状态随机过程，并且观测过程 完全由系统的真实状态过程所决定它在模式识别与随机信号处理中有着广泛的 应用自2 0 世纪8 0 年代以来，嗍被成功应用于语音识别和文字识别近年来，人 们又尝试将其应用于移动通信中的多用户检测和生物信息学中的d n a 序列比对 我们知道，影响模式识别系统识别率的重要因素是输入信号的不规范在手写体 文字识别中，由于写字者的不同，手写文字与标准文字之间的差异，造成了识别系 统输入信号的不规范；在语音识别中，不同说话人音调、语速的变化，以及各种实 时环境中的噪声等等，更会导致系统识别率的降低为了提高识别系统的稳健性， 我们需要构造一种对输入模式信号自适应、抗干扰的隐马尔可夫模型 由于小波变换具有很强的滤波去噪功能，一个自然的想法是在h m m 识别系统 前串连一个小波滤波器，即先将待识别模式信号作小波变换，再将变换后的子信 号输入h m m 模式识别系统以进行识别在基于隐马氏模型的识别系统中，人们需对 输入信号提取相关的删模型参数当输入的信号进行了小波变换后，隐马氏模型 的参数也相应发生了改变按一般的方法，如果输入信号发生了改变，我们应该基 于改变后的数据对隐马氏模型参数进行重估与此不同，本文提出的新方法仅仅 四川大学硕士学位论文 通过给定变换后的小波系数来修改h m m 模型参数的值因此，我们提出的方法快捷 方便，避免了要保留所有训练数据的繁琐复杂计算过程 2 隐马尔可夫模型( 删) 2 1 概述 隐马尔可夫模型简记为h m m ( h i d d e nm a r k o vm o d e l 的缩写) 关于隐马尔可夫 的数学模型早在2 0 世纪六十年代末7 0 年代初就有介绍，在8 0 年代中期才流行开 来首先因为这些模型有丰富的数学构架及理论，故为其广泛的应用奠定了较坚 实的理论基础：其次只要应用得当，效果很显著例如，将此模型用来描述语音信 号的产生是8 0 年代语音信号数字处理技术的一项重大进展，用此模型来解决语音 识别问题己取得了很大的成果 在这一节中，我们总是假定状态过程吼和观测过程x t 都是有限状态随机过程 下面，我们将定义h m m 的几种元素，并说明怎样由模型产生观察序列 1 元素n ：它表示模型中的状态个数虽然状态是隐含的，但在实际应用 中经常出现某些依赖模型的状态或显现状态集合的物理意义一般地， 状态之间是互相关联的，即任一状态可由任一个其它状态到达( 如遍 历过程) 令状态空间为s = b ，s ，s 。) ，并且记t 时刻的状态为q 。 2 元素t ：表示模型中的观测数令观测过程x = ( 工。，x 2 ，而 和状态过程 q = 9 1 ，q 2 ，q r ) 3 元素m ：表示每一个状态可观察到的不同符号数，把各个符号表示为 v = h ，v 2 ，v 4 状态转移概率分布a = 口口) ，其中口 s p ( q 。一5 ，i q 。= 量) ， 1 s f ，j s n 在特殊情况下，任一个状态可由任一个其它状态到达对 所有i 、j ，a # o 在其它情况下，有一个或更多的( i ，j ) 使o “2 0 5 状态过程q ，的初始状态分布玎= 仁， ，其中玛一p ( q ，= 毛) ，1 s fs n 四川大学硕士学位论文 且 v 而：1 台。 6 状态5 中可见符号的概率分布b 2 6 ， ) ) ，其中 6 ，( 七) 一p ( _ = v 。i q ，= 5 j ) 1 s ，s ，1 s ks m 给定适当的值，h m m 可用来产生观察序列x = x 。x ：。而，其过程如下 ( 1 ) 根据初始状态分布玎，选择一个初始状态q 。= 毛 ( 2 ) 设t = l ( 3 ) 根据状态墨中的符号概率分布岛 ) ，7 j 盎i t = u ( 4 ) 根据状态丑的状态转移概率分布，转移到一个新的状态吼。一5 ， ( 5 ) 置t = t + 1 ；若t t 返回( 3 ) ，否则结束 上面的过程可看作观察序列的产生器，也可看作由适当的h m m 产生观察序列的模 型 从上面的讨论可知，要完全确定h 删，就需要确定三个概率石、a 、b 为了方 便，记九= 口，b ，万) 表示模型的全部参数集合只要它们一旦给定，就可以完全确定 h 删模型 2 2 删的三个基本问题与解答 将h 删模型应用到实际中时，有三个基本问题需要解决： 问题1 ：给定观察序列x - - x 。x ：。曲和模型 - 口，b ，玎) ，怎样有效地计算 尸僻i 九) ，这里e ( x l x ) 一p ( x ，一v b ，x ：；v k ，r = v b i 九) ，即给定模型的观察序列 的概率? 问题2 ：给定观察序列x - - z ，x ，和模型九，怎样选择一个状态序列 o = q ，q ：坷r ，使它在某种意义下是最佳的( 即最好地解释观察情况) ? 问题3 ：怎样调整模型参数 ；，b ，石) ，使p ( x l z ) 最大? 四川太学硕士学位论文 问题1 是计算问题，即给定模型和观察序列，怎样计算由该模型产生观察序列 的概率可把这个问题看作是评估给定模型与给定序列匹配的程度，后者非常有 用例如，当我们要在几个确定的模型中选择时，对问题1 的解答可使我们选择与 观察序列最匹配的模型 问题2 是试图揭示模型中隐含的内容，即找到“正确”状态序列显然，对于 所有的模型( 退化情况除外) ，找到“正确”状态序列是不可能的因此，在实际问题 中，经常运用最优准则尽可能好地解答这个问题而准则的选择则依模型的工程 背景不同而不同 问题3 是模型参数的优化问题，以便能更好地解释给定观察序列是怎样产生 的用来调整模型参数的观察序列称为训练序列，它可用来“训练”h m m 在h m m 的大多数应用中，训练是很难的，因为它要求我们根据观察到的训练数据找到最 优模型参数一为实际现象构造最好模型 下面我们给出h m m 中三个基本问题的数学解答可以看到，在统计结构中，这 三个基本问题是紧密相联的 1 问题1 的解答：前向一后向算法( f o r w a r d - - b a c k w a r da l g o r i t h m ) 我们希望计算出给定模型九的条件下，观察序列x = x ，x j ，的概率e ( x l z ) 最直接的方法是列举出长度为t 的所有可能的序列，考虑一个固定状态序列 q = q ，q ：哳，其中g 。是初始状态对于固定状态序列，假设观察序列是统计独立时， 观察序列x 的概率为 j _ - e ( x l o ，a ) 一几p o 。i q 。，a ) ( 2 2 1 ) = b q 。 ，b q ：0 2 ) b q ，) ( 2 2 2 ) 由状态过程q ，的马氏性，状态序列q 的概率为 p ( q i x ) = 石m 口自g 。口丑一 ， ( 2 2 3 ) x 与o 的联合概率，即x 与q 同时发生的概率由乘法公式可记为 p ( x ，o l z ) = e ( x l o ，z ) p ( q i z ) ( 2 2 4 ) 在所有可能的状态序列q 上对( 2 2 4 ) 式求和，得到x 的概率( 给定模型) p p ( d i a ) 条件下，模型元比模型九更相似，即我们找到了 一个新的模型元，由它产生的观察序列更相似 1 0 四川i 大学硕士学位论文 酗吐酗1 1 1 机；荟e 阶1 1 s ，s ( 2 2 3 2 ) 驴鑫峨=矗w，；簇-ab(k)op v - i i 仁拍s ， 以面4 口i 、q 博卜 。 啊。藉一口2 疆一渺卜甄焉q 2 3 四川大学硕士学位论文 算模型参数的“最优”值 2 3 h 删的各种结构类型 我们一般情况下，考虑的是遍历或全通h m m 这个特殊情况，即模型中的任一个 状态可由任一个其它状态到达( 一步之内) ( 严格地讲，遍历模型的性质是：任一个 状态可由任一个其它状态在有限步内到达) ，此内模型具有性质：每个a i 系数都是 正的 在某些应用中，已发现应用其它类型的h m m 说明被模拟的信号性质比用标准 遍历好给出一种新的模型称为左一右模型或b a k i s 模型因为同模型相关联的基 本状态序列有性质：当时间增加时，状态标号也增加( 或保持相同) ，即状态从左向 右转移显然，左一右模型的h m m 具有的性质可用来模拟随时间变化的语音信号 所有左一右模型的h 删都具有基本性质： a 。- 0 ，j i + ( 2 3 3 ) 给定一个值，即不允许跳过个状态对于左一右模型的最后状态，状态转移系 数是确定的， a 。一1 ，a 。= 0 ，i - 6 。 ( 3 2 1 ) 定义由c k ( t ) 在r 俾) 空间张成的闭子空间为v 。，称为零尺度空间： v o = s p a n 妒i o ) ) ， k z 对于任意，( f ) v 。，有 ，( f ) 2 ；4 t 丸( f ) ( 3 2 2 ) ( 3 2 3 ) 同小波函数相似，我们假设尺度函数妒( f ) 在平移的同时又进行了尺度的伸缩，使我 们得到了一个尺度和位移均可变化的函数集合： 四川大学硕士学位论文 币j 0 ) = 2 2 庐( 2 t 一七) 一妒t ( 2 f ) ( 3 2 4 ) 则称每一固定尺度j 上的平移系列九( 2 7 r ) 所张成的空间v 为尺度为j 的尺度空 间： v ，一s p a n 仲i ( 2 f ) ) ， k e z ( 3 2 5 ) f 同样，对于任意( t ) e v j ，有 ，o ) 。九( 2 r ) i2 i 刑) 阻6 ) 由此，尺度函数妒( f ) 在不同尺度下其平移系列张成了一系列的尺度空间 v ，) 。若我们把尺度理解为照相机镜头的话，当尺度由大变小时，就相当于将照 相机镜头由远及近地接近目标在大尺度空间里，对应远镜头下观察到的目标，只 能看到目标大致的概貌在小尺度空间里，对应近镜头下观察目标，可观测到目标 的细微部分因此，随着尺度由大到小的变化，在各尺度上可以由粗及精地观察目 标这就是多尺度( 即多分辨率) 的思想 定义1 多分辨率分析是指满足下列性质的一系列闭子空间 v ， ，z ： ( 1 ) 一致单调性：”，c ”，v j e z ( 2 ) 渐进完全性：f lv ，t 0 1 ， u v ，一l 。僻) ，t z，t z ( 3 ) 伸缩规则性：，( r ) ”，f ( 2 t ) e v + 1 ，w z 、 ( 4 ) 平移不变性：f ( o c ，。一f ( t - n ) e v 。，对所有n e z ( 5 ) 正交基存在性：存在( b e v 。，使得静0 一n ) 。是v 。的正交基，即 v 。2 雩厅( f 一玎) ，正妒。一n ( f 一肼) _ 6 m 一 其中正交基存在性条件可放宽为r i e z e 基存在性，因为由r i e z e 基可构造出一组正 交基来 【注】m r a 的物理意义： 1 6 四川大学硕士学位论文 f o ) e v j ，( 帅，低频信号； ，( 2 r ) v j + i , 【，( 2 f ) j 一丢，) ，高频( 倍频) 信号 定理1 若毋( f - n ) 为空间v 。的正交基，则妒m o ) 一2 i 妒( 2 t 一七) 必为子空间v ，的标 准正交基 特别地。1 4 - 2 , ( 2 t 一i ) ，七z ) 构成h 的标准正交基，由于妒( f ) cv ，故妒( f ) 可用此标准正交基线性展开，得到所谓双尺度差分方程 妒( f ) 。荟以锄( 丑一七) 7 ) 其中钆一t 妒( f ) ，动p 一| 】 ) 将( 3 2 7 ) 式两端作傅立叶变换得 ( w ) - ；击以e t 尊= 日t w 沙 9 w = 取日穆 ( 3 - 2 8 ) 这里h ( ) 。；击以e “是数列 击以) 的离散傅立叶变换，是以 去风为 单位脉冲响应的数字滤波器的频率响应 可以证明毒( 0 ) - 1 ，从而日( 0 ) = 1 ，因此乒( 们n i w ) 实质是两个低通滤波器 ( 3 2 8 ) 式表明，低通滤波器乒( w ) ( 即尺度函数妒( f ) ) 是无穷多个低通滤波器 日肖) ，j = 1 ，2 ，的级联 定义2 - 如果f ( f 冲- 0 ，则函数h ( t ) 叫做小波函数 令 g i 一( 一1 ) 。1 再t t ，t f ，o ) - g 。4 - 2 , ( 2 t 一七)( 3 2 9 ) 将( 3 2 9 ) 式两端作傅立叶变换得 妒( 4 ；击即畦峥= g 睁每睁= g 簟i ! 1 日学) ( 3 2 1 0 ) 可以证明妒( o ) - 0 ，即妒( 叻是带通滤波器，另一方面，j 二( f ) 出= 1 7 四川大学硕士学位论文 j 二 ( f 弦。“d t = 妒( 0 ) - 0 ，n 此f h ( 3 2 9 ) 式定义的函数l f ，o ) 是小波函数- 我们看到， d , n n 数实质是一个带通滤波器，且小波带通滤波器妒( 可分解为另一个带通滤 波器g 呼) 和无穷多个低通滤波器日万w ) ，j = 2 , 3 ，的级联 由泛函分析，我们可以将”+ 1 分解为w j 与匕的直和，其中”，上w ，”表示”m 中的低频信号，w ，表示v 中的高频信号因此，我们有 v 州一w ，。v 一w ，w ，。v 一一：蔓m ，工2 俾) 旦w 定理2 设t f ，似( r ) 一2 2 l p ( 2 7 t 一七) ，则仰肚0 ) ，七z ) 构成w ，的标准正交基 综上，我们有 m r a 一妒( f ) 一以一g i t f r 0 ) 上lll 妒沾o ) h ( w ) g ( w ) 1 f l 肚( f ) 3 3m a l l a t 算法 任何物理仪器只可能有有限的分辨率，因此通过物理仪器记录下来的信号， 也只能有有限的分辨率如电视画面，照像机拍摄的像片，雷达图像等等，故可设 待处理信号，( f ) ”，某个j z 引入两个投影算子一j ：三2 僻) 一p q ：( 聊一叶 对任意有限分辨率信号f ( t ) e v ，我们有 ，o ) - a j ( o 。军。妒肚o ) = 彳h ，( f ) + d 一，o ) - 2c 卜。咖，一t ，( f ) + d 卜t 。t f ，卜，( f ) 其中 c ，1 一= a 一1 ，咖卜1 朋 = a ，1 ，+ d 卜1 f ，咖卜l 一 1 8 四川大学硕士学位论文 = 一c ， 妒，j ，妒卜l 。 = c ，t 万t z mt c ，- 元一c ：m t ， 此乃数列 c ， ，七z ) 与 _ - ，七z ) 卷和的隔点抽样，若将 c ) 视为输入离散数字 信号，历一t ，实为低通数字滤波器， c h 。) 则是原始输入数字信号 c ) 经低通数 字滤波器厩一。 滤波处理后输出的低频子信号 同理d h 一 c j , l c 五一：。一c 肚；- ( 2 。) ，此为数列 c ”) 与 - 一t ，卷和的隔点 抽样其中6 一。) 是带通数字滤波器，h ，) 则是原始输入数字信号 c ) 经带通 数字滤波器岳。) 滤波处理后输出的高频子信号一般称c 肚为剩余系数或尺度系 数，d 为小波系数 另一方面，。，t - = ca 卜l ，+ d 卜l ，咖，t = c 卜1 坤母卜1 一，4 , j 上 + c d 卜1 一妒卜1 州，妒 = c m 以“+ j h ，g 一， 综上，我们有： m a l l a t 分解算法 c j - l ，| r n 一乏c 坩瓦一“d ，一，一三c 肚玩一“ m a l l a t 合成算法c j k = c l _ l , m h t m + d h ，g 一h i - 述给出了一种小波的快速算法。此即为著名的m a l l a t 塔式算法 4 一阶隐马尔可夫过程的小波变换 4 1 混合高斯隐马尔可夫过程 对离散状态一阶隐马尔可夫模型来说，它主要取决于以下几个因素：状态过 程q = ( 口，口：，q ，) 和观测过程x = ( x 。，x ：，唧) ，t 代表模型中的观测数；隐状态集 1 9 四川大学硕士学位论文 s = ( s 。，s ：，) ，n 代表模型中状态过程q 的状态数；初始状态q ，的概率分布石= 兀； ，对1 f 弓n ，有 石z - p ( q - - 毛) ，一苫。 且 丑一1 ( 4 _ 1 1 ) 状态转移概率分布a - n 。) ，对1 f ，j 墨n ，有 口目2 尸( g ，一j j k 。- 1 一毛) ( 4 1 2 ) 这里，假设隐马尔可夫模型具有高斯混合模型的形式，并有参数集a 一缸，a ，0 ) = ( i x 。) ， ) ， 8 。) ) ，1 s j ，js n 在高斯混合模型中 0 i = ( 0 3 t ，p * ，女) ) ，1 s 七墨k ( i ) ( 4 1 3 ) k ( i ) 表示状态i 中的混合成分个数， 。) 表示混合权重系数集合，即 2 尸( m t = v k i q ，飞) 且x 荟( o | 1 ，1 。l j ”，n ( 4 工4 ) m 。表示时刻t 时位于状态i 时的第k 个混合成分风和z * 分别代表状态i 时第k 个混合成分的均值向量和协方差矩阵我们可以表达为以下形式： 业= e 工，lq ，= 墨，m 。= v i ，- i k = c o v iq ，= 墨，m ，= 叱 ( 4 1 5 ) e 和c o v 分别表示随机变量的期望和协方差 一个隐马尔可夫模型系统的特性由它的三个特征参数矢量或矩阵玎，a ，0 完全 确定如果给定了此三者，那么该删m 系统产生任意一个观测序列x 的概率可以记 为p ( z i a ) ，并且能够用下式来计算( 这里假设具有连续分布) ： 则伊雎，q 伊善p ( q ) p ( x 2 p ( q ) n 气， ) u t - i 四川大学硕士学位论文 2 善p ( q ) 珥( 荟g m p i t ) ( 4 1 石) 。表示对所有可能状态的求和这里，假设t 具有向量形式，它的概率密度函数 将用下式表示： p u , “) t _ = 兰t e x p 一寺 一肛。) 7 k - 1 一p * ) ) ( 4 - 1 7 ) 4 2 主要结果 我们对给定的向量序列进行小波变换，则变换之后的向量序列可以表示为如 下形式 t 一j i l 托“ 箭 ( 4 2 1 ) 其中z 代表t 时刻小波滤波器的输出， h t ，1 = 1 ，2 ，m 表示小波滤波器的脉冲响 应我们希望通过小波滤波器输出序歹z 。，z ：，z ，来重新估计h m m 参数只要给定 小波滤波器脉冲响应集合 h z ) ，我们的方法是仅对输入向量序列所估计出来的 h m m 参数进行相应地变换，而不用再基于小波变换输出序列z 。，z 2 ，z ，对h m m 参数 进行重估 定理1 对每一( i ，k ) 和0s fs m 定义向量( 2 t + 1 ) ，使得k ( 2 t + f ) ； e 算丑“+ h t + 1 x 各+ f “+ + _ i i ，x 知+ 村i q 2 r “- j f ，m 各“_ v i 贝。声t e z , l q 2 f s i a m2 f v i = 1 l j * ( 2 0 证明：不难发现，对f o ) 是和q 。，m 。相互独立的，并且h m m 系统是时不变的，状态过程q 是 一阶马尔可夫过程，所以有 ( 2 t + ) = h i 肛* + 荟荟吲2 t + l + 1 ) a 刚l i , k ) 眦4 ) 其中a a ，k i i ，七) 2 p ( g a “+ 1 5 ”i n 2 r + ，“；v k , l q a “一8 i ，i n m “v t ) 2 p ( q “+ l - 5 r i q a “一墨) e ( m a “+ l - v k , i q a “+ 1 一s i , ) 2 a f 0 3 ( 4 2 5 ) 如果用风表示变换后的第s ，个状态中第v 。个混合成分的均值向量，则 犀* i l l e z ，i q a s tm a - h = q ：( 2 t ) ( 4 2 6 ) 证毕 为了对协方差矩阵 。) 作变换，我们假定在不同时刻所观察到的信号彼此不 相关，即对f o ，有 e 【x t x t “i q a 一5 f ，i n a - y i 2 e 【x , l q a 一墨，m a v 三【x ，“i q 2 ，一墨，i n a v t ( 4 2 7 ) 类似变换均值向量 1 王么( 2 t ) 的过程，我们有下面的定理2 定理2 对每一个( i ，j ) 和0 s zs m 引进矩阵i i m ( 2 t + ) ，其定义如下： i i 睡( 2 t + f ) 兰c o v f z 丑“+ 啊+ 1 x a + ，+ 1 + + 肼并2 r + 卅| q a “= s is i n 2 t + j = v ( 4 2 8 ) 贝。 艺* - c o v z ，i q a - s i a m 2 ，；v i = * ( 2 t ) 四川大学硕士学位论文 证明：基于( 4 2 7 ) 假设，和推导q 么( 2 t ) 方法类似，我们得到 h t ( 2 t + z ) = h ，2c o v i x 2 f + f i q 2 ，+ ，- s f ，l “一v i + ，芷“ 荟荟叫 h 1 1 x 2 t t + l + + h m x a + u s i ，m 2 t + 1 矿墨 小甜“+ 1 i v i 】p ( 口2 f “+ l 暑s i ，厅1 2 f + + l 蕾v v q2 | “i5 j ，m 丑“lv i ) 卸，2z * + 荟荟如( 2 什1 + 1 ) a ( f 肿，七) 因此，我们有 * ( 2 f + 7 ) _ f 2 n + i i i k , ( 2 t + 。+ 1 ) ( f ，七j ，七) 最后，得到改变后的协方差矩阵为至。= i i ，。( 2 t ) ( 4 2 9 ) ( 4 2 1 0 ) 证毕 f l j ( 4 2 4 ) 、( 4 2 5 ) 、( 4 2 1 0 ) 式，我们能递推地得到经过小波变换后的均值向量 和协方差矩阵对h ) , i m 参数的重估计算过程总结如下： h m m 参数重估算法： 1 ) 初始化 对i = l ，2 ，n 和k = l ，2 ，k ( i ) 有 1 玖( 2 t + m ) = j l l ，p 雎，让( 2 t + m ) = _ i l ，2 砖 2 ) 递推算法 对l = m 一1 ，o ，逐次使用( 4 2 4 ) 、( 4 2 5 ) 、( 4 2 1 0 ) 式来计算 么( 2 t + ) 和 n ( 2 t + 1 ) ) 3 ) 变换后的参数 面* = q ( 2 t ) ，宝* = n n ( 2 t ) ，i = l ，n ，k = l ，k ( i ) 结论： 这篇文章中，我们提出了一个新的算法来对文字进行识别当输入的特征向 量序列经过小波变换后，这个方法能有效地修正具有连续混合高斯模型的h m m 参 四川大学硕士学位论文 数它的主要优点是不必保留所有的训练数据来对h m m 参数重估 参考文献： 【1 】j i n h a ic a ia n dz h i q i a n gl i u ，i n t e g r a