（计算机应用技术专业论文）动态贝叶斯网络及其在说话人识别中的应用.pdf

摘要 摘要 动态受时鞭鹅络( d b n ) 怒以穰率弼终为基毯，缘台豢寒斡静态溺络结构秘露溺 信息而形成的熬有处理时序特征数据能力的新的隧梳模型，具有可解释性、非线 性、可扩展性等特性，能较容易的融合新的知识，熙有对事物进行完整的表达、 推导和学习的黼力。d b n 本身的理论也尚未完全成熟，现在的应用也非常少，但 惫它茨伐越特1 建以及摸型憨一般惶，已经引起了越寒越多豹硬突考豹关注，戈其 慧在时序数据斑理领域。本文针对动态炎叶斯网络本身的理论框架及其在说话久 识别中的应用，主要做了下词这些工作： 本文系统地研究和实现了动态贝叶斯网络框架内所必须具备的基础算法，包括 静态概率网终下戆菝羚转羧、交叉撼豹生或、以及全震壤率扩教瓣算法；藏嚣雩鹾 究了动态两辫掩导中韵边界箨法和邻撩舞法，实现了动态网络擒苷的前向后向遍 历算法；本文还讨论了d b n 中的参数学羽和结构学习的几种情况，实现了用于语 音处理中的拓扑已知，观测未完全的e m 算法。 本文对d b n 靼h m m 送行了挺势练擒主豹霹逆，在分缓凡萋孛典鏊装h m m 慧糖 = ，讨论了d b n 茅u h m m 互相转换的可能健以及如何滋行转换盼过程，同时眈较了 两种方法在推导和学习上的差别以及各自算法复杂腋的差别，最后给出了实验的 证明，说明d b n 为什么适合处理语音这类具有很强l i 寸序性，而且数据量大的数据 袋。 本文提出了基于d b n 的说话人识别糕架，论述了如何通过d b n ，对说话人识别 的应用进行系统的训练和测试最后，我们通过y o h o 语料集的实验测试，把我们的 方法跟常规的向量量化( v q ) 、单高斯( s i n g l eg a u s s i o n ) 、高斯混合模型( g m m ) 、隐 舄尔霹夫模型( h m m ) 述 亍对比，避明了我赛豹框絮在说话久识鬟中夔毯蘧瞧，溺 时也说明了d b n 用于说话人这个特定领域的可行性。 最后，本文提出了在数据层、特征屎和决策层上，进行基于d b n 的信息融合框 架。特别的，我们把基音信息和声学特缝进行了多种方式的融合，楣比于常娥的 掇鏊音售怠寇声学特拯送行麓擎缝合鹣方法，注爱彳嚣攒了镶大懿瓣麓。 尽管作者直致力于动态贝叶斯网络的研究，但本文的工作仅仅是一个初 步，仍有很多东西值得继续探讨。后续工作可以包括研究d b n 的近似推导、研 究d b n 的拓扑学习方法、研究基于d b n 的多层次融合方法、多模态融合方法、弼f 突d b n 露袋分类器等等。 本文工作得到了图家自然科学基金( 6 0 2 7 3 0 5 9 ) 、国家8 6 3 计划 ( 2 0 0 1 a a 4 1 8 0 ) 、浙江省自然科学基金静年科技人才培养专项基金( r c oj 0 5 8 ) 、 网家博士点基金( 2 0 0 2 0 3 3 5 0 2 5 ) 、浙江镀自然科学基金( m 6 0 3 2 2 9 ) 与浙江省教育 j 丁基金( 2 0 0 2 0 7 2 1 ) 的资助。 第i n 共龋贞 茎；塑il !，!=!：=：=一 a b s t r a c t d y n a m i eb a y e s i a nn e t w o r k ( d b n ) i san e ws t o c h a s t i cm o d e le x t e n d e df r o mp r o b a - b i l i s t i eu e t w o r k w h i c hi n c o r p o r a t e st i m el n f o r m a t i o ni n t os t a t i cn e ta n d1 1 3 st h ea b i t i 如t od e a lw i t ht i m e - s e r i e sd a t ad b nh a ss e v e r a ln o t a b l ef e a t u r e sl i k ei n t e r p r e t a b i l - i t y ，n o n l i n e a r i t y ，e x t e n s i b i l i t y i tc a ne a s i l yi n c o r p o r a t en e wk n o w l e d g ei 1 1a n dm a k ec o i n p l e t ep ie s e n t a t i o n ，i n f e r e n c ea n dl e a r n i n gu p t on o w ，t h et h e m wo fd b ni sn o tt h o r o u g h l y s y s t e m a t i cy e t 。a n do n l ya1 i t t l ea p p l i c a t i o n s c a r lb ef o u n d ，b u ti t s g e n e r a lf e a t u r e s 觚d a d v a n t a g e sa r o u s ei n o r ea n d i n o r ea t t e n t i o n sf r o mr e s e a r c h e si f la l lk i n d so ff i e l d s 。e s p e c i a l l y i nt h ef i e l do ft i m e s e r i e sd a t aa n a l y s i s m yw o r ko ft h i sp a p e ri so u t l i n e d8 , 8t h ef o l l o w i n g ： f i r s t ，t h i sw o r ks t u d i e da n di m p l e l n e n t e dt h o s en e c e s s a r ya l g o r i t h m sw i t h i nt h ed b n f r a m e w o r k ，i n c l u d i n gt o p o l o g yt r a n s f o r m a t i o n ，j u n c t i o nt r e ec r e a t i o na n d 甜o b 出p r o b a , b i l i t y p r o p a g a t i o n ia l s os t u d i e d ”f r o n t i e ra l g o r i t h m ”a n d ”i n t e f f a c ea l g o r i t h m ”s p e c i 越l yf o r t i l ei n f e f e n c ei nd b n ，a n di m p l e m e n t e dt h ef o r w a r d b a c k w a r da l g o r i t h m ，s e v e r a lc a s e so f l e a r n i n gi nt e r m so fp a r a m e t e ra n ds t r u c t u r ew e r ed i s c u s s e d ，t h ee ma l g o r i t h mf o rs p e e c h p r o c e s s i n gw 0 8i m p l e m e n t e di nt h ef a c tt h a tt i l et o p o l o g ya r ek n o w na n dt h eo b s e r v a t i o n s a i en o tc o m p l e t e s e c o n d ，t h i sp a p e rm a d ea c o m p a r i s o nb e t w e e n t h et o p o l o g yo fd b na n dt h a to fh m m a f t e rd i s c u s s i n gs e v e r 蕊k i n d so f 嚣m m s ，id e s c r i b e dh o wt og e tad b n 螽o n la 珏m ma n dh o w t og e tah m mf r o mad b n ，a n dt h e n m a d ea g e n e r a lc o m p a r i s o nb e t w e e n t h o s ea l g o r i t h m s o fi n f e r e n e ea n d l e a r n i n gf o rt h ed b n a n dt h o s ef o rt h eh m me x p e r i m e n tr e s u l t sa a s w e r e d t h a tw h vd b ni ss u i t a b l ef o rd e a l i n gw i t ht h o s el a r g et i m e - s e r i e sd a t a t h i r d ，t h i sw o r kp r e s e a t c dad b n - b a s e df r a m e w o r kf o ra u t o m a t i cs p e a k e rr e c o g n i t i o n + 娃d i s c u s s e dh o wt ou s ed 转nt oa c c o m p l i s ht h et a s ko f 钰a i n i n ga n dt e s t i n gi ns p e a k e r r e c o g n i t i o ne x p e r i m e n t sr e s u l t so ny o h 0c o r p u sw e r ec o m p a r e dt ot h o s ea c h i e v e db v v e c t o rq u a n t i g a t i o n ( v q ) ，s i n g l ec a u s s i a n ，m i x t u r eg a u s s i a nm o d e l s ( g m m ) ，a n dh i d d e n m a r k o vm o d e l s ( h m m ) ，t h er e s u l t ss h o w e dt h a to u rf r a m e w o r kh a sab e t t e rp e r f o r m a n c e c o m p a r e dt oo t h e rm e t h o d s i ta l s os h o w e dt h a td b n i sa p r o m i s i n gw 鲥t om o d e l i z et h e s p e a k e r s v a r i a b i l i t y f i n a l l y t t f i sw o i kp l e s e l l t , e da f l a r n e w o r kf o ri n t b r r n a t i o nf u s i o nu s i n gd b ni nt e l n 1 8o f r a wd a t al e v e l ，f e a t u r el e v e l ，a n dd e c i s i o nl e v e l e s p e c i a l l y ，ih a v ei n c o r p o r a t e dp i t c hi n f o r 。 m o t i o ni n t oa c o u s t i cf e a t u r e sw i t h i nt h ed b nf r a m e w o r k e x p e r i m e n tr e s u l t ss h o w e dt t l a t t h ep e r f o r m a n c eo ft h i sm e t h o de x c e e d st h a to fas i m p l ec o m b i n a t i o no fp i t c hi n f o r m a t i o u a n da e o u s t i ci n f o r m a t i o n a l t h o u g hi d e v o t em y s e l fs t u d y i n gd y n a m i cb a y e s i a nn e t w o r kt h e s e y e a r sn l yw o i - k i ss t i l lab e g i n n i n gw i t hal o n gl o n gw a yt o g o t h ef o l l o w i n gr e s e a r c hw o r kc o u l db e a p p r o x i m a t ei n f e r e n c e ，l e a r n i n go fs t r u c t u r e ，d b nb a s e dm u l t i l e v e lf u s i o n ，m u l t i m o d a l f u s i o n ，e m b e d d e dc l a s s i f i e r ，e t c ， t h i s w o r ki s s u p p o r t e db y n a t i o n a ln a t u r a ls c i e n c e f o u n d o r i o no fpr 。c h i n & ( n o6 0 2 7 3 0 5 9 ) ，n a t i o n a lh i g ht e c h n o l o g yr e s e a r c h d e v e l o p n l e n tp r o g r a m m ef 8 6 3 1o f pr c h i n a ( n o2 0 0 1 a a 4 1 8 0 ) 。z b e j i a n gp r o v i n c i a ln a t u r a ls c i e n c ef o u n d a t i o nf o ry o u n e s c i e n t i s to fpr c h i n a ( n o r c 0 1 0 5 8 ) ，z h e j i a n gp r o v i n c i a le d u c a t i o no f f i c ef o u n d a t i o n ( 2 0 0 2 0 7 2 1 ) ，a n dz h e j i a n gp r o v i n c i a ld o c t o r a ls u b j e c tf o u n d a t i o nf 2 0 0 2 0 3 3 5 0 2 5 ) 第i i 员共页 第一章引言 1 1 图模型 第一章引言 概率图模型是一种以图的方式，表示变量之间的概率关系的一种模型，其中的节点可以认 为是变量，而边则表示变量之间的概率联系( 相关性) 。这种图，能够用最直接，最紧凑的形式表 示变量的联合概率。假设我们现在有个二值变量，一般的，它的联合概率p ( x h，x ) ，需 要o ( 2 “) 个参数表示。而通过图模型，根据相关性假设，则可以指数倍的减少参数的个数，这有 利于后续的推导和学习。 概率图模型是一个相对很大的范畴，从边的属性来看，可以分成两类模型：无向和有向。 无向图模型，也被称作马尔可夫网络( m a r k o vn e t w o r k ) 或者马尔可夫随机场( m a r k o vr a n d o m f i e l d s ，m r f s ) ，在物理界以及视觉领域得到很大了应用( 其中无向图模型的特例一线性l o g 模型， 在统计领域也比较流行) ；而有向图模型，也被称作贝叶斯网络( b a y e sn e t s ，b n s ) ，可信度网 络( b e l i e fn e t w o r k ) ，生成模型( g e n e r a t i v em o d e l ) ，因果模型( c a u s a lm o d e l ) 等等，在人工智 能( a i ) 领域以及机器学习( m a c h i n el e a r n i n g ) 等领域都有广泛应用。也有的模型综合了无向边和 有向边，这类模型被称做链图f c h a i ng r a p h l 。 我们在图1 一l 列出了图模型的层次图。从图中可以看出，模式识别中流行的主元素分析 法( p c a ) ，无关元素分析法( t e a ) ，混合模型( m i x t u r em o d e l s ) ，回归模型( r e g r e s s i a n ) ，隐马 尔可夫模型( h m m ) ，卡尔门滤波( k a l m a nf i l t e r ) ，等等都归属于贝叶斯网络；而波耳兹曼机 器( b o l t z m a n nm a c h i n e ) - 最大熵模o _ ( m a x i m u me n t r o p ym o d e l ) 等都隶属于马尔可夫随机场。 具体州参见文献【1 】，【2 】。 这些模型之间具有一定的转换关系，通过降维( r e d u c e dd i m e n s i o n ) 、动态性( d y n a r n i c s l 、 混合( m i x t u r e ) 、非线i 生( n o n l i n e a r ) 等特征，可以从一类模型过渡到另一类模型。s a m r o w e l s 和z o u b i ng h a h r a m a x n a n i 总结了这些模型之间的联系，具体见图1 - 2 。 t 1 1 骥型 乒r a p h i o p j 吐肿i ；凇 幽 c h a i ng r a p k 确币； 无闷l 捌 9 1 1 ) 1j 昕i 叫 乌尔w 夹簿帆螭 崎“ 静巷i j iu 艇酬 岁了” ；越 葵戤 佟缆鲡碱盎瞄 m fx 1 1 1 r ed i i l l e i i s i o nr ”e f - , s s i 第1 页，共牺页 a i d s 站太熵横捌 孙x ：o i l j i l l l n m y d e i 圉1 - 2 整模型蕊畴内麴主要模黧之闫熬联系( s 8 祧r o w e i s 零l l z o u b i ng h 如捌n 8 珏 对戴密菲霉谨缨豹避 论融 n ) 1 1 。1 马尔司夫随机场 马尔可夫醚规场m r f ) 豹最授李特性就是条件无关性，n i x a - l x b | x 0 当虽锭当繇有a 和8 之 阂的潞径，帮必籁经过e 中兹部分蒂点，也藏燕说，在每一条端点为a 山滂中a j l b b ) 的9 3 径卜，都存在c ，满足c c ，我们一般称之为马尔可夫属性。遥意味着在一个阑中，只要x 。的邻 膈节点确定了，那么根据条件无必性，置也就被确定了，它跟嘲中的其他节点是否确定无关。 m r f 的联台概率定义如等式1 h 1 一一 p ( 。) = 毒| | 眵。墨)f 1 - 1 “ c e c 这里的e 是最大圈( m a x i m 甜c l i q u e ) 的集合，讪。( x 。) 是圈鼍上的势函数( p o t e n t i mp u n c t i o n ， 可吼任意定义的溅实函数，详细介绍见下节1 ) ，z 则是归一化闪子，计算如下， z = 麓魄f 夏) 2 c e c 1 - 2 ) 我们以图1 - 3 为例，它的势为 p ( x f ) ：喜妒( x a 、砀x c ) 妒( x c ，盖。) 妒f x 。，x e ) ( 1 - a ) 第2 贾，共8 5 页 第一章引言 这儿的势函数妒( x ，x 口，x c ) 也可以如此定义 妒( x x b ，x c ) 一妒( x a ，x b ) 妒( x b ，x c ) 妒( x a ，x c )( 14 ) 这里，讪( x 4 ：x b ，x 。) 被拆分成了任意两个参数上的势函数之积。如果对某一类模型，它的 势函数都可以如此进行拆分，即可以表示所有成对节点( 它们之间有边) 上的势函数之引，那么这 类模型我们称为成对m r f ，也叫m r f 2 。 图1 - 8 一个简单的m r f 图 图1 - 4 格子状的成对m r f 图。其中，每个节点x ，都有其私有的子节点观测节点k 。 1 势函数 势函数( p o t e n t i a lf u n c t i 。n ) 是一个可以任意定义的正实函数。一般的，根据参数节点的类 型，可以有这么几种定义方式， 离散值参数+ 离散节点的势函数一般可以用一张表格来表示，表i - 1 给出了一个简单的例子。 傲的，为了势函数的参数不至于太多，往往利用相关性假设( f 、a c t o r i z a t i 。n a s s u m p t i o h 。) 进 行拆分如， 妒( x l ，x 2 ，x a ) = 妒( x l ，恐) 妒( x l ，托) 妒( x 2 ，x a )f 1 5 ) 表1 - 1 例子：d 函数p ( xy ) 表，其中xy 都是值离散变量。 x ( y e s )x ( n o ) y ( y e s ) 0703 y ( n o ) o307 第3 页，共8 5 页 第一章引言 连续值参数：连续的势函数一般采用高斯分布或者混合高斯分布，如 妒( 。y ) = p ( y = y l x = i ) = r ( 9 ；p ，o - i ) 或者 币( z ，g ) = p ( y = y d x = 甄) = 人r ( 张p 。g x l ) ii 离散值和连续值参数并存：仍旧采用混合高斯分布。 2b o l t z m a n nm a e h i n e 我们再看一个例子，见图1 - 4r 格子状m r f ( l a t t i c em r f ) ，它的联合概率可以表示成 ( 16 ) ( 1 - 7 ) 4 p ( z ，) 。( 妒( x 1 ，x 2 ) 妒( x l ，x a ) 啪( x 2 ，x 4 ) 妒( x a ：x 4 ) i i 妒( x 。，k ) ( 1 - 8 ) i = 1 在低层的视觉研究中，变量托往往是隐节点，而每一个x 。都有个观测子节点k ，像图 l 一4 所示。势函数讪( 玑) 一般定义为母( 孔，y i ) = p ( y i t xz ) ，其中p ( 玑恢) 往往假设成条件高斯分 布，m 表示象素点i 的图像亮度，而x 。是隐含的离散状态节点。 格子状m r f 类似于物理学中的波茨模( p o r t sm o d e l ) ，它把节点概率假设成波尔兹曼分布， 波茨模型的跃合概率表示成 这里的t 是温度，能量函数为 f ( x 1 ：) = 去b 一8 ( 。l ：“l 7 e ( x - w ) = 一如( 巧) 一e ；( 黝) ( i j ，l j ) ( 1 - 9 ) ( 1 一l o ) 如果我们假设( 趴一7 ) = f 0 9 也j ( 。，z ，) 并且h 、( 耳) = l o g 妒( x i ，仇) ，显然，它转变成了一个成 对m r f 。在图1 - 1 中的波尔兹曼机器，就是一个二：值的成对m r f 。 3m a x i m u m e n t r o p ym o d e l s 如果离散的随机变量可以取很多值( 比方说这个随机变量指代”词”) ，我们可以把它的联合概 率用特征函数的形式表达出来， 雌”，剐= 去e 印c 塾朋川 m 圳 这里的z ( a ) = e 托。e x p ( e = lx i l ( x l ) ) r 这就是吉布斯分布( g i b b sd i s t r i b u t i o n ) ，也称 为l o g 一线性模型( l o g l i n e a rm o d e l ) 。当我们把属于同一特征，下的节点都连接起来，它就转化为 了m r f 。 在这里，对一个任意p 分布，如果满足e 。p 扛) ( z ) = 嘶，这里的是个常数( 比方随经验 值) ，那么可以证明，对这个模型进行最大似然估计( m a x i m u ml i k e l i h o o de s t i m a t i o l l ) 和最大熵 估i 1 - ( m m , ：i m u me n t r o p ye s t i m a t i o n ) 是等价的，详细介绍可见文献4 1 。这类模型在文本处理( t c x f p r o c e s s i n g ) 研究州e 常流行。3 1 第4 页洪8 5 页 第一章引言 q9 焱 裔b 图1 - 5 贝n 1 f o r t 网的例了。其中x a 鼻塞，x 日一一头晕，x o感剖，x d石病，x e一休息。 这i ”的意思就是一个人有鼻塞和头晕的症：佚，那么他町能生病了。生病后口j 能出去石病，也町能呆红家i 休息。 图1 - 6 贝叶斯网的条件无关性。灰色节点x 在给定了它的父节点，子节点以及子节点的父肯点( 灰色幽 后，它与网络中的其他节点条件无关。 112 贝叶斯网 在贝叶斯网中，连接节点的边是有向的。如果节点a 到b 有一条有向边，我们可以通俗的理 解成原因a 导致r 结果b 。因为在贝叶斯网中不允许存在圈，所以贝叶斯网也可以叫做有向无圈 图f d i r e c t e da c y c l i cg r a p h ，d a g l ，图1 5 就足一个有向无圈图，它简单描述 个病人感留的因 果关系。 就像前面说的马尔可夫随机场，在贝叶斯网中，个节点在给定了它的父廿点，f 肖点以及 子仃点的父肯点后，它与其他网络中的其他节点条件无关，见图1 “。我们以图j5 为例，米说 明为什么在贝叶斯网中，条件无关性除了包括给定节点的父节点，子节点，还得包托其了点的 父节点。假设图10 中的所有节点都是二值节点，即可取0 ，l 。而现在我们知道某个人感爿了，显 然在小知道他是否头晕的前提下，他鼻塞的可能性要比知道了他头晕事实的前提下，鼻塞的可能 性大，即p ( x n = 1 1 x f = 1 ) p ( x n = 1x c = 1x ”二1 ) ，可见，刑节j f a 来说，x a 与爿j 在 给定x r 的前提卜是相关的。而在m r f 图】一3 中，x a _ l x 口i x g 。所以如果我们要把贝叶斯网转化 成m i k e 幽，我们就必须把有向变成无向的同时，还得把尚未连接的具有其同子节点的父1 点连起 米，即在幽l0 中，把x 和x b 连起来，这就是我们后面章中要讲到的m c ，r a l l z 砒i - 过栏。 在贝叫斯网中还有种无关性的定义，叫做局部马尔可夫属p y ( l o o a lm a r k o vp io p e i t y ) ，它 的意思是，存给定了个1 点的父仃点后，这个节点跟它的所有非继承亿电尤关。所以，我们，一j 以把网络图l l l 的节点按拓扑结构排序( 父仃点在前，子1 ，点存后) 成1 2 ， ，那么这个刚络的 联合概率可以这样来表示， p ( x 1 ，x 2，x ) = 尸( x 1 ) p ( x 2x 1 ) p ( x 3 l x l ，x 2 ) p ( x n i x ln1 ) ( 11 2 ) 第5 页，共8 0 页 第一章引言 一i i p ( x d x i 一，) 一i ip ( x d p a ( x ，) ) f l 1 3 1 f 1 1 4 ) 这里的x 1 ；一1 一x 1 ，弱，t - ：肖，一1 ，p a ( x ，) 代表了节点五的父节点集合。根明硅，p a ( x ：) i ； 碧：錾包括辑寿接黟在墨之蔻静节点，嚣双双是蕊豹j 耋接父节点，它可爨太大麓纯鍪形中瓣联合糍 率以及边缘概率的计算，这就是骈谓的定向相关性( d i r e c t e df a c t o r i z a t i o np r o p e r t y ) 。例如在黉 l - 5 中，它的联合概率就可以这样来表示 p ( x ：e ) 一p ( x c x a ：x s ) p ( x d i x c ) p ( x s t x c )( 1 - 1 5 ) p ( 蕊l p n ( x ：) ) 袭示节点x ，酌条件概率势布( c o n d i t i o n a lp r o b a b i l i t yd i s t r i b u t i o n ，c p d ) ，。藏町 咀怒任意的分布，一般常见的分布见表1 - 2 a 和1 - 2 b ，详细介绍请见文献 6 】。 1 静态贝叶斯 。般我嚣】讲麴辩时絮网茳锺怒摆静态受时耪潮缀( s t a t i cb a y e sn e t s ，s b n ) 。静态受时簸列络 主鬻掰于八工智辘的不确定润鼷( 决策理论) 中，茸静是在个待定的选择中，作出耗够获褥露 离倍价比的决策，黼1 7 中的a 图就是一个简单的s b n 。s b n 潜在的缺点是： 列一个已确定的静态涮络，用户不能根据需要改变各节点的概率分布 对令未翔弱翳终，稷难受麟拿节蠢戆概率势毒； s b n 仅仅在觉验知识值得倍赖的前提下才有用。 尽管如此，宦仍旧在各个研究领域得到了广泛的应用。从图1 1 中我们也可以看出，几种经 典的摸型邦是s b n 懿褥生，包撬提合模_ 型( m i x t u r em o d e l s ) ，主成分分析( p r i i p kc o m p o n e n t a n a l y s i s ) ，无关戒分分橱( 1 n d e p e n d e 撼c o m p o n e n ta n a l y s i s ) ，霞船模型( r e 嚣r e s s 。b ) 等。 2 动态贝叶斯 动态贝叶斯网络( d y n a m i cb a y e s i a nn e t w o r k ，d b n ) 是圳, s b n 为基础把网络的静态结构与时 序信息摺结台。在d b n 中，网络的据接结构、受繁集稆变量阈的内部因果关系在每个时闼片下裁 蓬鞠瘫的，要建立个d b n ，妊须竞定义( 1 ) 葫始两络( 2 ) 转移网络。d b n 最疆显麓特镊虢蔻 动态性，能够处理其有时序特征的数据，如谱膏信号、视频信号等。图1 7 中的b 图就是一个有三 个时间片的d b n 。 有关贝叶斯网( 包括s b n ，d b n ) 的拓扑结构，概率分布，概率推导，网络学习等问题将在后 续耄节避罨j ：详细讨论。 袭1 2 a 于节点为离散分布的常见的条件概率分布( c p d ) ，其中d p a 表示离散父节点c p a 表示连续父节 点，x 表示离散节点u 表示连续节点ny 表示离散予节点。s i g m a ( u 眦j ) 表示s o f l ；m a x l n 数， 第6 甄，共8 5 页 表1 。2 b 予节点为谶竣分布的常见的条件概率分布( c p d ) ，其中d p a 袭示离散父节点rc p a 表示连续父节 点，x 表示裹教节点，u 表示连续节虐，y 表示连续予节点。 c p a n a h l ec p d g a u s s i a n c o n d r i o n a g a u s s i a n l i n e a rg a x i s s i a l l p ( r = = ) = ( ；，口) p ( y = p i x = i ) = 厂( v ；螂，。) p ( y = j i u = e ) = b ，w u + 弘，d - ) i1 1c o n d i t i o n a ll i n e a r g a u s s i a n 尹y = ，l 汐= 珏，x = i ) = a “拼；敏茁+ 雒吼) = = = = = = = = = = = = = = = = = = ：= = = = = = = = = = = = = = = = ：= = = = = = = = = = = = = = = = = = = ；= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 。黪卷捉h i 甥鞠b ，站枣豫# 蜊羰 黼1 7s b n 鞫d b n 的筒单示意豳 1 2 隐马尔可失模型 在奔缨鼋态炎时蘩羽络之蓠，我稠先来番一下戆骂容可夫模型( h m m ) 。运楚返为，无论麸箍 努结构还是概率分布及推导，它们都有一定的鞠象之处，而慧h m m 已经在诲多领域，尤其燕语 音处理方面得到了非常成功的应用。 从8 0 年代中期开始，随着b e l l 实验室r a b i n e r 等人对h m m 谯语音识别中威用的深入浅出的介 镪 7 1 ，h m m 在许参数据处理领域得到了广泛的艨用。马尔可夫链是马尔可夫随机过程的特殊情 况，黔马尔可夫镳楚状态帮薅瓣参数罄是裹敬的萼搴夫过程。实际中，马零莓夫链豹每一捩卷 可以对应予一个w 观测到的镌瑗攀件。h l v i m 怒在马尔可夫链的基础之上发糕起来的。由于实际 问题比马尔可夫链模型所描述的鞭为复杂，观察到的时间并不魁与状态一一对应，而是通过一组 概率分布相联系，这样的模型就称为h m m 。它是一个双重随机过程，其中之一是马尔可夫链， 这是基本随机过程，它描述状淼的转移。另一个随机过程描述状态和观察值之间的统计对成关 系。这撵，菇龟鼷纂砉戆角霪，哭耱垂蓟疆察壤，遥蓬一令琏瓿过程去黪翱状态夔存丧及其特 盹。因而称之为”隐”马尔可夫穰黧。隐马尔可夹模型麓成功运用是因为隐马苯时夫模型特裔的敢 重随机性能可以描述语音信号的短时平稳性和总体非平稳性，同时又提供了一套完整的训练和解 粥算法，非常易于实现。在连续语音识别上h m m 的优点在于可以把单个基元的h m m 级联成为一 个犬纳句子级的h m m ，从而可以按照和基本h m m 相同韵方式进行描述；另一方砸它可以和蹒层 瓣谣言翔澄都统计语言搂型( s l 艇) 无缝豹缝食起来，壤褥整个连续语音鞭巍过程可鞋摄一个统 的概率统汁模型袭示出来，褥鄹个整体的解决方案，因蕊h m m 在连续谮啻瑷剐上获褥了空 前的成功可吼说，h m m 方法的引入是语音识别技术在短短几十年里就产带了实质睦突破的丰 裳原因。 图1 - 8 一个三兰状态豹h m m 删 第7 磺，共8 5 页 第一章引百 12 1 定义 “+ 个h m m 其实魏是个琏撼瑟育鞭套动孛嚣，冀中每个状态节点慰痰了残测了节点。 如酗1 8 r 就是“个三状态 ，h i m m ，其中获能的圈代袭状态节点，白色的圈代表了观 测节点。我们假设爿t 是状态节点，而k 是观测= 有点，假设状态节点有k 个状态值| = l _ f 墩， 则x t 12 ， ，k ) ，k 可以怒一个离散变最，k 1 ，2 ，l j 或者个l 维的特征向 量v “。h m m 的模燃参数主要古i 个， 秘姥缓”：鬟中w 国= 曩x l i ) 转移矩i 珲a ：= 其中4 ( i ，j ) = p ( 置= j l 置一l = i ) 输出参数p ( m f j 矗) ：如果观测向量k 是离散的，那么我们可以用一个砸阵b 来表示输出参 数，b 托) 一p ( k = 晟= i ) ，所( h m m 韵参数也可以箍纯豹写戏 ： a ，嚣，： 空 象巧是特糕商量矿。，我稻 主往怒p 隧l 茂j 镁设藏褒赫分布，_ p f x ：翻毫：l ： a f ( y ；脚，吼) ，这罩的 厂( ；脚，以) 代表均值为肛，方差为一的黼斯分布， 白，地，) 2 曩磊i i ；再f 万e 2 p ( 一i ( g 牡) 口一1 妇一) ) ( 1 * 1 6 ) 如采蘑混台离糍分布描述，剜为， 这里的 疋最个隐变量，表示哪个混合分摄被用到。 蠢蟹势量戆较重。 m l 五一 ) 厂( ；胁，( 7 4 )( 1 - 1 7 1 p ( 慨= m i 五= i ) 一g ( i ，m ) 表示姆个 - n 酗, 享孽酱处理中，h m m 的参数通常设为固定的( 与时筒无关) ，也就是说，在每个时间 曼j 堡移矩阵雪输出釜数都是相间的，这样的假设，可以使得这个模型很容器的处理任意长殿的 语街序列。而在生物序列分析( 如d n a 测试) 中，输出参数往校跟位置相关，即耽眩) ：p ( 5 ： 女| 茂= 。) ，因为特定位置下懿观测序列往往有特定的含义。 。 。孽h 鬯m 三 ：| ，警孽蹙线的推导可以通过经典的前向后( f o r w a r d 。b a c k w a r d ) 算法实现。在前向 过程中，璺! j 翼磐计警眦( i ) = p ( 墨= i 1 扎) ，而在后向过程中，我们要递规计算庙( i ) ：p ( x ： 觇：t ) ，它们静谨缨过程如下f 7 i ， 8 ， 。 首先定义前向变量，吼( f ) = p ( 0 1 ，0 2 ，0 z ，吼= 矾【柚，1 篓t t 递规计算n 终结 i ( i ) = 霄；魏( o l 1 i s n p ( 0 1 a ) = n 丁( z ) i = t 第8 n ，凝8 5 页 f l 1 8 f 1 一1 9 ) ( 1 2 f 】) mp 肘一 | | |x = k p 一 ， 一 1l一? ：f 。9 ：p ( h = h ，v = d k )( 3 4 4 ) t n t h 这里的h 表示隐节点，v 代表观测节点，d ，是观测值。对于这类情况，一般可以用e m 算法或者 梯度算法，但是梯度算法用的不多，e m 算法比较普遍，所以我们这儿只讨论e m 算法。e m 算法 的根本思想是利用j e n s e n 不等式f 48 1 ，设等式3 4 4 的一个下界，然后迭代的最大化这个下界，最 后得到个局部最优解。j e n s e n 不等式是指对一个凹函数f ，有 ，( a j y j ) a j ，( 蜥) ( 3 _ 4 5 ) 这里的，= 1 。这是园n f 剐- n 函数。所以f 的平均就大于平均的f a 因为1 0 9 函数是凹函 数，所以等式3 4 4 就转化为， l = f 叼p o ( h = h ，) 第3 5 页共8 5 页 f 3 4 6 1 第三章动态贝叶斯网络 = 莓均靶i v , 觜 n 1n ；莓m 忉糌 ，1 一 f 3 4 7 1 f 3 4 8 1 = q ( h v m ) l 。g p e ( h = ，k 。) q ( h l v m ) l o g q ( h l v m ) ( 3 - 4 9 ) thmh 这里的q 是满足 q ( h l v 。) = 1 且o q ( h l v , 。) 1 的任意函数。最大化下界，对q 来说，就是 这就是所谓的e ( e x p e c t a t i o n ) 过程。 最大化下界，对口。来说相当于最大化期望l o g 似然度， q ( o 。1 8 ) = p ( h t y , 。o ) l o g p ( h ，川日) ( 3 5 1 ) f ”h d e m p s t e r 在文献【9 】中证明了选择合适的日，使得q ( e i 口) q ( o l e ) ，那么它保证使 得p ( d i o ) p ( d i o ) ，也就是说增大期望l 。g 似然度，相当于增大实际的l o g 他j , 然度。这是因 为，在e 步骤，等式q ( h l ) = 功( h i 碥) 保证了下界已经和实际似然度的弧线吻合，所以提高下 界，相当于提高实际似然度。有关e m 的文章可以参见文献i s 【5 0 】 4 9 】，网上相关的资料也比较 多。 3 4 小结 本章讨论了动态贝叶斯网络的表达、推导和学习方法。其中，特别比较了推导中流行的边界 算法和邻接算法。我们认为，在隐节点较多，而邻接节点相对较少的网络拓扑中，邻接推导算法 要优于边界算法。另外，我们也讨论了如何对动态贝叶斯网络的结构和参数进行学习。在下面一 章，我们将对d b n 和流行的h m m 进行比较。 第3 6 页、共8 5 页 第四章d b n 和h m m 的比较 第四章d b n 和h m m 的比较 毫无疑问，在目前的语音处理领域，隐马尔可夫模型( h m m ) 占有着1 i 可替代的主导地位。研 究者也对h m m 做了很多拓展和延伸的工作，在标准的h m m 基础上，现在已经有一些改进的模型 出现，如自回归h m m 、囡了h m m 耦合h m m 等。本章将对这些模型做简要的介绍并与d b n 进 行拓扑上的对比，讨论h m m 与d b n 之间的联系：同时将在推导、学习算法上做对比，给出算法 消耗时间的比较。 41 几种典型的h m m 41l 标准的h m m 辩 娥 标准的h m m 如图4 - 1 ，其中x 。是状态节点，隐节点，呈离散分布，m 是观测节点，可以根据 需要假设为离散分布，也可以假设为连续分布。 它的条件独立性满足两点， x t + lj _ 五1 l x t h 上kr i x ，v t t 7 所以，在标准的h m m