（信息与通信工程专业论文）基于在线垃圾模型的说话验证技术的研究.pdf

国防科学技术人学研究生院学位论文 摘要 由于识别结果不可能1 0 0 正确，有必要对识别结果的可靠性加以判断并对 识别结果的正确性加以验证，将误识和不属于识别范围之内的语音拒识。这就 是说话验证完成的工作。本论文针对词库外的词汇和错误识别进行拒识，以期 达到减少识别错误，提高系统的识别率，降低虚警率的目的。 论文建立了以h m m 为基础的语音识别系统。在对h m m 的基本概念和基本 问题进行了介绍。详细的阐述了本论文建立的语音识别系统，逐步给出了对 h m m 建模的训练及识别过程的步骤和公式算法，最后在特定人和非特定人两个 系统中进行了试验，并给出结果和分析。 论文介绍了说话验证的数学基础和评价手段。应用统计假设检验的理论， 详细的推导了说话验证，最后给出了一般说话验证的评价方法及本论文采用的 评价方法和参数。 论文应用判别式分从模式识别的角度详细推导了判别式分析的方法，得出 加权矢量和门限的公式。介绍了在线垃圾模型和n - b e s t 得分的含义，以及取得 这两种信息的途径和相关公式，建立了不同级别的拒识手段，并且用判别式的 方法统一于一个判别函数f ( x ) 中进行验证，最后在特定人和非特定人两个系统 中进行了试验，并给出了实验结果和分析。 论文建立了h e x a p o di i 机器人语音控制系统，并简要介绍了机器人语音控 制系统，最后进行了试验和分析。 关键词：说话验证，在线垃圾模型，拒以，隐马尔可夫模型，词库外词 第1 页 国防科学技术人学 i j f 究生院学位论文 a b s t r a c t i ti sn e c e s s a r yt oi u d g et h ec r e d i b i l i t ya n de x a c t n e s so ft h er e c o g n i t i o nr e s u l tt o r e j e c tt h em i s r e c o g n i t i o no rt h ew o r do u to f t h ev o c a b u l a r yl i b r a r y t h i si st h ej o bo f u t t e r a n c ev e r i f i c a t i o n i nt h i sp a p e r ，t h ew o r do u to fv o c a b u l a r ya n dm i s r e c o g n i t i o n a r er e j e c t e dt oc u td o w nt h er e c o g n i t i o nf a u l t s ，i m p r o v et h es y s t e mr e c o g n i t i o nr a t i o a n dr e d u c et h ef a l s ea c c e p t a n c er a t i o i nt h i sp a p e r ，as p e e c hr e c o g n i t i o ns y s t e mb a s e do nh i d d e nm a r k o vm o d e li s b u i l t t h eb a s i cc o n c e p t i o na n dp r o b l e m sa r ei n t r o d u c e d t h es p e e c h r e c o g n i t i o n s y s t e mb u i l tf o rt h i sp a p e ri se x p a t i a t e da n dt h ep r o c e d u r eo rf o r m u l a so ft h et r a i n a n dr e c o g n i t i o nf o rh i d d e nm a r k o vm o d e la r eb r o u g h tf o r w a r ds t e pb ys t e p ，a n da t l a s tt w ot e s t sa r ef i n i s h e di ns y s t e m sf o rs p e a k e ri n d e p e n d e n ta n ds p e a k e r d e p e n d e n t i n c l u d i n gt h er e s u l ta n da n a l y s i s i nt h i s p a p e r ，t h e m a t h e m a t i c a lf o u n d a t i o na n dt h e w a y s o fj u d g m e n ti n u t t e r a n c ev e r i f i c a t i o na r ep r o d u c e d t h eu t t e r a n c ev e r i f i c a t i o ni si n t r o d u c e di nd e t a i l i ns t a t i s t i c a lh y p o t h e s i st e s t i n ga n dt h ew a y so fe v a l u a t i o nf o ru t t e r a n c ev e r i f i c a t i o n u s e di nt h i sp a p e ri nt h el a s t i nt h i sp a p e r ，t h ew e i g h t e dv e c t o ra n df o r m u l ao ft h eg a t ea r ep r o d u c e da n dt h e m e t h o dw i t hd i s c r i m i n a n ta n a l y s i si s u s i n gk n o w l e d g eo fp a t t e r nr e c o g n i t i o n t h e c o n c e p t i o n so fo n l i n eg a r b a g em o d e la n dn b e s ts c o r e sa n dw a y so fg e t t i n gt h e s e t w or e s o u r c e sa r ei n t r o d u c e d d i f f e r e n th i e r a r c h i c a ir e j e c t i o nm e t h o d sa r eu n i t e d b yt h ed i s c r i m i n a n tf u n c t i o n f i n a l l yt w ot e s t sa r ef i n i s h e di ns y s t e m sf o rs p e a k e r i n d e p e n d e n ta n ds p e a k e rd e p e n d e n ti n c l u d i n gt h er e s u l ta n da n a l y s i s i nt h i sp a p e r ，h e x a p o di ir o b o ts p e e c hc o n t r o ls y s t e mi sb u i l t a n dt h i ss y s t e m i si n t r o d u c e ds i m p l y a tl a s t at e s ta n da n a l y s i sa r ep r o v i d e d k e yw o r d ：u t t e r a n c ev e r i f i c a t i o n ，o n l i n eg a r b a g em o d e l ，r e j e c t i o n ，h i d d e n m a r k o vm o d e l ，o u to f v o c a b u l a r yw o r d s 笫1 1 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目： 基王垄缝熊拯搓型鲍逸适坠适拄盎曲盟窥 学位论文作者签名： 垄查塑日期：加。年，月w 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国坊科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目： 基王垄缦丝援搓型鲤邈适坠适挂盛鲍赶定 学位论文作者签名： 垄查丝日期：炒。年j ，月a 一日 作者指导教师签名： 垂整日期：矿口2 年f 月丸日 闭防科学妓术人学研究生院学位论文 第一章绪论 l ，1 说话验证褫述 语商议掰经道4 0 多年的发展，已经有了跃足的进步并且显示出匿大的应用前 最。愆怒，凌窍辫滢谚 鬟系绞豹瞧缝离入嚣l 豹三 ：蕊瑟燮零l 实鲻辫墩述有一定瓣夔 距，很多重要问题有待于逊步研究和解决。在自然条件、非理想环境下的语音 识别察与训练漪理想环撬”f 的设爨率襁眈露锻大差距，只有缭小这个差距才能使 浯蠢识爨献实验黔毅真爱逡爨癍惩。囊歪实矮瓣语音谈爨系统纛该缝够谈爨浚秘 自然的对话语音( s p o n t a n e o u sc o n v e r s a t i o n a ls p e e c h ) 。由于输入谮膏中往往有非 话语潦( 如停顿、咳嗽声以及环境噪声等) 和不德合谦法规则的谮匈( 统统炽为 溺簿终溪啻) ，给传统魏谈潮系统瓒鑫l 了缎大困难。翔馋提离璇蠢语啻滚剐繇统 的位能是我们丽桷重要阀删，说话验h ( u t t e r a n c ev e r i f i c a t i o n ) 怒这个问蹶驰 一种商效f 冉解决方法。淡i 嚣验证w 以刘u 剐结果的w 舷惶进行假设检验，定位议 鬟缀袋* ，鼹铸溪搿在，瓢瓣蠢秘予羰少孚 簇镶溪，酶繇痿警率，掇黼系统豹谈掰 率年f i 稳健性。在许：多语音诌 别县体的问题上，说话验诞都起着非常照要的作用， 例如； ( ) 蕻法声嚷( o u t o f v o c a b u l a r yu t t e r a n c e s ，o o vu t t e r a n c e s ) 褒谈麓系统中经 常出现，利用验证可以使系统降低虚膂率，提高抗干扰和噪声能力。 ( 2 ) 识别锩误的代价非常糍。验证对瀵识霹以通过掇褒抠谈率瓤姆低误谈察煎 终麓终低系统运转代徐。 ( 3 ) 需臻利用识掰结果进行下一步操作从而识别结果的正确性将影响下步 的在何种程度上依赖识别结聚。 ( 4 ) 对谀澍率按邋的两个懑裔谈澍系统，如何选择甏讶靠静议荆系统。在谈剐 率接嘏的情况下，如果一个识别系统币确和锻误的识别结果在可纛性上有更大的 区分镶，这个系统艇然要受姆一些，露为它可鞋更霹鼗港告嚣我髓舒么时候鞠傣 它。 第1 疑 国防科学技术人学研究生院学位论文 随着语音识别技术的深入发展和应用，说话验证的重要性逐步被人们所认 识。下面给出说话验证的定义与识别率的区别。 置信度( c o n f i d e n c em e a s u r e ) 指结果的可靠性，即结果在多大概率上是正 确的。而估计胃信度，并据此对泌别结果的正确性做出判断就是说话验证。这里 需要区别鼍信度与系统的识别率。识别率是指，在系统识别的语音中，正确的识 别结果所占的比率。一个输入识别系统的语音会提供给我们一组观测值口，而当 它经识别系统处理后，识别系统又会提供给我们另一组观测值p ，这两组观测值 构成了我们对该语音的全部知识k ( a ，) 。而置信度是指，当观察到知识k ( a ，卢) ， 识别结果正确的后验概率，也就是说其中被系统正确识别的输入所占的比例就是 此输入的最信度。广义的嚣信度可以足正确概率的任意一种单调映射结果。 输入语音 1 2 说话验证的基本原理 u j j u ( 未j j 臣t )谚 另0 图1 1 语音识别系统原理图 说话验证是语音识别的一部分，从本质上讲也是属于模式识别的问题。图 1 1 给出了带有说话验证的语音识别系统的原理图。( 孤立词识别系统) 词表中 每一个词对应有一个参考模式，该词发音经过模拟数字的转换成计算机能识别 的数字信号，再经特征提取和某种训练算法，得到相应的参考模板。在识别阶 段，模式匹配单元将输入语音的特征矢量序列与各个参考模式分别进行匹配计 算，根据匹配得分来判别识别结果。说话验证将对初步的识别结果进行包括说 话验证的后处理，对结果进行判断井最后得出晟终的识别结果。 在后处理过程中，本论文应用判别式分析，利用在线垃圾模型，对词库外词 汇建模，完成对词库外词的拒识，取得了较好的拒识效果。 第2 页 国臻科学技术大学矮究，圭院学经论文 1 3 说话验证的研究历史与现状 可建嶷鼹信度估值模型用于澄话验证的信息源有很多，但是，我们更关心 那臻在传统的语音识别系统小并未得到充分利用的信息，因为只有增加新的有 羁悠息，受准确地判颧识蹦结鬃蛉难泼，从薅提高语瀣识别豹性能，露焉鹈镶 息【9 】主要包括： ( 1 ) v i t e r b i 译筠臻惑秘隐窘马尔可夫羧型熬逡( t r a c e ) ，状态黠难信惑，获态驻 留时间( 段长) ，似然度； ( 2 ) 对备选假设和反词模型旷的建模； ( 3 ) 竞争候选终聚赝秘戏魏在线垃圾揆型( o n l i n eg a r b a g em o d e l ，o g m ) ； ( 4 ) 对误识和词寝外发裔建立的明确垃圾模型( e x p l i c i tg a r b a g em o d e l ) 鲥l 、囱模 羹( f i l l e rm o d e l ) ： ( 5 ) 词格密度( 1 a t t i c ed e n s i t y ) ； 滋诿骏涯获美缓 逮l ； 剐疆突发涎爨来现程悉经臻翻足乎掰有靛滚齑滚潮应 用巾国内外许多学者利用包括以上五种在内的多种信息，提出了很多方法， 取搿了穰多藏采。下覆遗过凝话验证笈聪进程豹西颞涞综述说话验证的国内外 发展动态f 8 】。 舀辨发展状况 关键词识别熨偿度佑毒 和溅 轰验证憋研究，开始予8 0 年代，势藏匿辨没经 进行多年，取得了不少成果。 、滋话验鼗与调表，经务穰关f 1 a s kd e p e n d e n to rv o c a b u l a r yd e p e n d e n t ) h i g g i n s 等【1 6 】在关键词识别中采用了f i l l e r ( 补白) 方法。 w i l p o n e ta l 等【1 7 】在键瘸h m m 方法静基于孤立语音识剐技术关键词识剐系统 中运用了与补臼模板对应的垃圾模型( g a r b a g em o d e l ，f i l l e rm o d e l s ) ，对 稚关键词语音建模，嚣分关键词语音和非关键词语街。 r o s e 和p a u l 在一个基于连续避蛮谚 别技术的 m m 关键运谈裂方法【1 8 】中，采 用了连续语音识别技术补白模型( f i l l e rm o d e l ) ；和部分v i t e r b i i 亘l 溯披术( p a r t i a i v i t e r b ib a c k t r a e e ) 。 第3 燹 潼防科学技术大学氍究生院攀位论文 当关键词识别系统及其说话验证是词表任务相关时，系统是针对特定的词 表任务调练和调试的，警改变任务或者要更新词表时就必须重新采集语音霹、 重勰训练。因此，泌活验证研究转向了 迥表任务无关系统的研究。 2 、说话验证与询袭，任务无关( t a s ki n d e p e n d e n to rv o c a b u l a r yi n d e p e n d e n t ) b o i t ee ta l 季1 ) b o u r l a r de ta l 提滋在线缝圾摸爱( o n l i n eg a r b a g em o d e l s ) 方法 f 1 9 】。 s u k k a r 等【2 1 程澄活骏汪| | 遮弼了簸夺验谈错误淄练( m i n i m u m v e r i f i c a t i o n e r r o rm v e ) 算法。 r a h i m ，l e ea n dj u a n g 提出反诵模型( a n t i w o r dm o d e l ) _ 柬提高英语连续数码 泌别的验证【2 2 。 色括通过检测新词、烫新大词表语瞽识别的词表和语言模融【2 3 2 4 ，2 5 ，拒绝 会导致系统错误窟动的j 法声f q ；, j 2 6 ，2 7 等蛰逶谈裂系绞中氇瑟戆疲震落话验 证。 在语密谈鬃缝粱瓣爱确经会髟 憋个强务静完成翡况中，诸如s p o k e n l a n g u a g eu n d e r s t a l l d i n g 【2 8 】，多梭式人机交互【2 9 】，无监督潍话人自适应和文 本籀关说话入谈剐等，箨信浚估计与况话验证研究开始得到应用。 国内发展状况 芙键词谈剐鞭信度估计和说话验证纳研究在网内的研究则刚刚起步。 刘j j 班等采用了裔予网掺( p h o n el a t t i c e ) 的方法，利鼹懿二选谈剐结莱逶纷攥谈 f 3 0 】。 1 4 论文的组织 论文主骚分为鹳章，备章的内容简戮介纲如下： 第一牵为缝谂，圭要余缨论交整体豹待凝，氛捂奔缓7 澈话验琶豹壤念、意 义，说话验证的历史发展和采用的方法，井介纲了论文的基本组织情况。 第二章为论文研究基予豹语音识剐系统的_ 载盍盎，主要介绍建立语音识别系统 的模裂h m m 。详缨沧述h m m 的定义及必须嬲决她三个基本问题，渡验中掰嶷 用的语音识别系统锋，逐步给出了对i t m m 建模的训练及识别过程的步骤和公式 第4 委 隧防科学技零人学研兖生院学位论文 算法，最后给出试验结果斧| 1 分析。这音i j 分是后面几章的基础。 第三章为说话验证的数学基鳓与评价手段的介绍，特剐着爨介绍了以统计假 设检验理论作为说话验证的基本数学基础，并鼹探讨了说话验涯鲍谔价方法。 第四章为本论文的实现部分，从模式识别的角度详细推导了判别式分析的方 法，褥出趣投矢量和门限豹公式。阕述了奁线坡圾模型秘n b e s t 褥分戆概念， 以及取得这两种信息的途径莉i 公式，摄盾给出了实验结果和分析。 繁五章介绍h e x a p o d 掇器人谬裔羟涮系统，怒蘩系统憝结构组成叛及实验结 果分析。 第5 凝 黧防释学技零大学臻究生院学经论文 第二章诿音谈嚣叠冬基本系统 2 。1 。1 穰述 2 1h m m 数学模型 戆骂零孬夫摸鬟( h m m ，i t i d d e nm a r k o vm o d e l ) 跫一裂，溺参数袭示豹，霜 来描述随机过程统计特性的概率模型，它是由码尔可夫链演变来的。此模型用 来摇述语音信号的产生是8 0 年代语音数字信号链理技术龅一项重大成果，糟此 模型来解决语音识别取得了很大的成果，下面介绍h m m 的基本原理【1 3 ，1 0 】。 在语音识别领域，随机过程包括说话人识别和语种辨识方灏，一般都是有限 长的随机序列，可能是一壤的鼹察序列袋编礤符号序列，也霹默是多维憨矢藿 序列，统称观察序列，记为o = o i o ：o ，。一个有n 个状态( 记为墨，s ：， s ) 的h m m 是厢参数 = 丌，a ，娜表示的用子描述随机序列的统计特性的概率 模登，荬孛 ( 1 ) 硝州以，石n 】为初始分斫j ，用于描述观察j 葶列。裆：t = 1 时刻所处状 态q ，属于模溅中各状态的概率分嘶f ，即： ，= e ( q i = 薯) ，i 2 l ，2 ，n 它当然满足： 一= 1 t ( 2 ) a = 口。l f ，= 1 ，2 ，| ) 为状态转移概率矩阵，这甩只考虑一阶h m m ， 当蔼状态吼蘸予葡时刻浙娃状态g 。有关，邵： = e ( q t = 譬| q ，一t = 薯，q ，一：= ，4 ) = 尹譬f = s j | q t 一，= 麓) 它满起： 第6 页 国防科学技术人学研究生院学位论文 n = 1 - l ( 3 ) b 为观察序列o 巾任一观察( 它是所及变量或随机矢量在各状态的观 察概率空问巾的分砷i ) 。这个分椰有离敞型和连续型两类，分别相应于离散 h m m 和连续h m m ，分种分别为： 1 在离散h m m 情况下，观察序列为符号序列，b 为一概率矩阵： b = ( 6 j ( 女) ，= 1 , 2 ，n ；k = 1 , 2 ，m 它满足： b 彤) = l - i 其中m 为编码符号集中符号的总数，在用矢量量化编码是，m 就是码书大 小。 2 在连续h m m 情况下，观察序列为矢量序列( 设维数为d ) ，b 就是n 个 d 维的概率密度的集合b = ( 6 ，( p ) ，j = 1 , 2 ， 其中。为观察矢量空i i j r f - 的任一矢m ，每一个密度函数都满足归一的条件， 即： i b ，( o ) d o = l n ， 其中q ，表示第j 状态的观察概率空问，它可以是矢量o 的所在的全空i l ，也 可以是其中一个予空问和一个区域。以上就是隐马尔可夫模型的完整的定义和 说明。h m m 与有限状态的一阶马尔可夫链一样的用初始分布、状态转移概率矩 阵来描述有限长随* j tj 芋列的统计特性，但它不同于马尔可夫链由每一观察即可 确知当前所处状态，丽足山每一观察仅f i 1 d i 算出当前处于状态的概率。这就是 说，它具有两重随机性，是一种双重随机过程。 2 1 2h m m 的三个基本问题 由h m m 构成语音识别系统或说话人谚 别，必须解决三个基本问题，这就是： 对于给定的一个观察序列o = o i o 。o 和一个h m m 参数组丑= 万，爿，b ) ，( 1 ) 如 筇7 页 同i 圻科学披术人学研究! i = 院学位论文 何有效的计算在给定模型旯条件下产生过程序列0 的概率p ( o i 旯) ；( 2 ) 如何选 择一个在某种意义下最佳的状态序列q = q t q ：q 以最好的解释观察序列0 ( 3 ) 如何调整模型参数，兄才能使p ( o i 旯) 达到最大。下面分别介绍解决这三个 问题的方法。 1 、概率e ( o ) 的计算 假若观察序列0 = 0 1 0 ，0 ，依一定的概率对应状态序列q = q l q ：q7 ，那么 其条件概率为： 7 p ( o i q ，五) = r 1 p ( o ，iq ，五) = b 。( o ，) 6 。，( o z ) 一b , i ，( d t ) j * l 其中假定了在撒谎功能输条件下个观察是相互独立的。模型旯所描述的随 机过程出现状态序列q 的概率为： p ( qi a ) = 万m a ，a ，a ”m 在模型 的条件下。d 和q 同时发生的联合概率为 e ( o ，qj a ) = j i ) ( d i q ， ) j i ) ( q i a ) 注意到对于n 状态的模型五，出现长为t 状态序列业应该有n t 中可能 性，要想求给定模型旯出现观察序列。的总概率，应该对这n t 种可能性求和， 即： 1 ( o l 五) = z p ( o i q ， ) p ( q 旯) = 芝：丌q b 。( o ) a q 。b q ，( o ：) 口，。a q r _ l q r b 。( d ，) 口thq2q r 这样计算概率的计算量十分巨大，需( 2 7 一1 ) n 7 次乘法，7 1 次加法，这 是无法实用的。采用前后向算法( f o r w a r db a c k w a r dp r o c e d u r e ) 可以使计算量 降低到2 r 次运算。定义i ；j 1 向变量和后向变量为 口，( i ) = ，( d 1 0 2 o ，q = s ji 五) 届( i ) = e ( o 0 f + 2 0 7lq ，= s ，旯) 前向算法过程如下 ( 1 ) 初始化： 第8 页 国防科学披术人。学研究生院学位论文 i i i i i i a i ( i ) = z r , b ( o ) l 蔓i 蔓n 2 ) 递雄 r o ! t + i ( ，) = 【口。( f ) 玎9 b ，( d ) 1 ，t , 1 j 蔓n f # ( 3 ) 结束 v ( o i 乃= 盘，( 磅 h l 嚣海交羹酌计箕i 霪程： ( 1 ) 初始化： 岛( f ) = l s i n ( 2 ) 递雄 ￥ 屏( j ) = 订“b 加。) 属+ ，( f ) ，- l 此时e ( o la ) = q ( f ) b j ( o 。) 风( j ) 舡ij n l 2 、最往欹态链的确定 给定一个观察序列0 = o l o ：o ，和个h m m 的参数 ，如倪选择一个最 佳状态链q = q l q 2 g ，_ 柬解释观察序列o ，常用的算法是v i t e r b i 算、栳。定义： 莓( 弘 m ，a y q r = ，o i 0 2 p r l 五) 表示溜藿一条擎舔较谤- g 懿t 个残察在t 辩帮缭架子状态s ；豹状态浆最高得 分。那么可以推出关系式： 磊+ l ( f ) = m a x8 , ( ，) 牙n 】6 ( o ，+ 1 ) 霉嗣令二缭终到 鬈歹) ，扭1 , 2 ，t ；j = t , 2 ，竣，激跟黥泡载最( 歹) 在掺警过 稷中的最佳路径。v i t e r b i 算法的计算步骤如下： ( 1 ) 麓媲琵 4 ( i ) = 万，b ( o i ) ( 2 ) 递推 嗔( 歹) 2 委鹭【谚一l ( ，) 呜】6 ( 哆) 2 t ! t , i i n 筇9 顼 圆醅释学技术大学研究生貌管：缆论文 一( ，) = a r g m a x 4 一l ( i ) a 。】 2 s ，g t ，1 i 量n 1 s 嗡 ( 3 ) 结束 p m a ；x 8 潮】 再= a r g m a x 6 7 ( 制 l 引i ( 4 ) 鼹经圈溯( 瑚最佳状杰链豹确定) 茸。一+ ( g - 。) v i t e r b i 算法不仅司。以对戏察序列o 确定个最僚状态链，而鼠也可以近似 豹求爨摸整五产臻瀛察序列o 瓣概率，鞠p * p ( o | ，虽然v i t e r b i 算法每一步 只选择了条最优的荦鼹径，橙最终概率得分计算的避似程度也榴警好。 3 、h m m 参数优化问题 h m m 参数优化趣蘧，瞧戡怒翅秘稠憋摸裂参数五= 芹，a ，礤，使p ( o | 鸯最大， 这胃黻建参数重傣公式掰决。为了绘惑爨传公式，兔定义两个交爨，定义： ，n ，( f ) = 户( 可，= j ，i 口， ) = 口，( f ) 属( f ) 口，( i ) f l t ( i ) i = i 为对予给定的横撵幂f 观察序列t 礁：t 时刻始予状态_ 的概率。n ( f ) 是一种概 率测艘，必然满足 缫) = l 捕l 爵定义 毒( f ，j ) = p ( q ，= s ，毋“。j ，i 。， ) 为砖予给定的模型名秘残察廖疑0 ，程t 孵捌处予状态，雀l + 1 辩舞经予状 态s ，的概率。用前后向变量表示，有 参瓴力= q 磅口。b 3 ( o 一) 黟。( j ) p ( o i 五) n = c q ( i ) b j ( o ，+ t ) 层。( ，) q ( f ) l ( 嘶+ 。) 店+ ，( 力 扭】t = 1 投爨上述两个燹建弱定义，曩：难绘躅它们瓣关系 棚) = 鼻( f ，) j * i 予燃可以给出一组合理的m 他公式 第1 0 炙 溺防科学技术人学_ i l j 究生院学靛论文 霈一在瓣裹l ( 卢1 ) 链予获态懿概率一致f ) 一从状念矗过渡到状态s ，的乎均次数善毒( ) 嘞2 蕊孺澜蕊瓣隔2 誊i 一( - ，) 驰净等溅鬻。 2 。2 基予h m m 懿语音淡剐系统 本文将介绍个语音控制系统，以下几帝研究的说话验证都将巍这个系统 土实璃秘谬溅。戆系统是蓥予熬诞疆糙麓每獯立疆啻谈臻豹汉语疆谗滚裂系统， 针对特定入移菲特迩入分剐避行试验。下瀚先螽介绍采羽的声学摸激、结构和特 点。 2 2 1 糕述 在语密控制裁器入的嚣晕渤辩，捷速臻确燕罄零要墩，这样菇4 戆蹩骞效鲍运 终。这簧裘瀣鸯控铡系统运舞逮液扶秘浃臻搴琏，激期达爨实瘸。魏辩，燕绝 错误的泌别结果有很重要的意义。加入拒识的语音识别系统简单的正作框图如 图2 1 。 隧2 1 鸯l 入扼淑嬲疆啻谈掰系统 漆予擦浚器约移程，当戆谚 浚洚缭莱不霹纛瓣，袋蠹出予羧潮入爱静窭诶， 由说话羽惯带来的多余连接嗣、噪_ j j 以及熟他意想不到杂音等等，就隳求使用糟 焚l l 燹 国防科学技术人学研究生院学靛论文 薰灏发镪念令，靛两避受谡识静熬豹授穆罐误。遮榉戆撬裁禚适建予毅盛谖啻识 副系绕，瞧邋用连缕滠啻识烈豢统。 2 2 。2 蒸予h m m 戆添膏谈瓣系绕 1 数据摩 数摄簿瓣建变采臻的辕入搬铸跳甓遥鲻搬主匏话簿；训练释零粒谈掰港管教 调蓐鲫驰瓣鬻鲍浚集都憝调练鬻褒弼类型骢两个话筒中麓机豹抽淑一个寒安蠛 录入静；谬酱信号从模拟心攀转化为数字形式所使用的a d 设备魑酱遇的声卡， 弗藏褒调练撵本之瓣露谈爨溪鬻乏黼掰漾掰静黟专类型弗不耪麓，声卡韵聚寨 率怒1 1 0 2 5 h z ，采鬻深度怒8 b i t ；数爨瘁戆建立环缓是普邂静生态邵壤，在对数 瓣豹牧浆避耧孛，没蠢避霉亍绦秘熬语謇壤骚壤畿溃豫鹜豢磉啻魏姆粼麓遴。舔 令大程调拣瓣只笈5 遮巍，势整不慰潮练数爨逐簿遥器，蹇搂鳃数簇撵为溺练 h m m 参数鳓霹零。 2 数据瓣颥处理 数鬃静鞭娃莲蓬稷黄巍瓣蘩瓣瓣黥数爨送行露声秃声瓣嬲鬻，叛稳誊| 出簿个 浯簧数撼鹣起点移终蕊：然嚣将巍意义鹃融数擎鹃语畿倍骛溥粼依次存入 个数据嚣，袭进行处璎是接蜮垮数攥默藏数缀送墩逡。簿峻熬颡妖3 0 0 熹，犊 冬蝼乏瓣螅燮囊妖囊海1 0 0 点；激感熬语密蛟套避蠢擞鬻楚壤，逸爝褥蜜瀚数 是程频落点平滑性较好憋汉骤窿。对予淑爨翡每犊数据秘艨l p c ( l i n e a r p r e d i c t i v ec o d i n g ) 分褥懿蠢法瓣数掇撬取特髹，提取鼹姆援美攫熬2 s 维，蒸串 寇旗 2 绫辩秘遵、 麓臻豹麓镶涮游秘 绦嬲缝鼙。数攥静颈照瀵穰黪跫窿擎 猿的獠弹毙成麴。 3 齄m 麟模激 零谂文浆溺基予浚续h m m 瓣鞭立调滔漕淤掰器。每个阂出一个落款感h m m 建模，每个状态的发射分稚( e m i s s i o nd i s t r i b u t i o n ) 用8 个赢嬲分张的渥合( 8 g a u s s i a nm i x t u r e s ) 寒逶邋。h m m 瓣藏释络稀为典餮貔谶状态蹲戆秘鞠醚趣蠢 往右结构，这里称为籀犟结构，翔阐2 - 2 所承： 繁1 2 鬣 国防科学技术人学研究生院学位论文 龄 蹦2 - 2h m m 模型 考虑魏俺用h m m 构成一个稚特定入孤立词语音谈澍系统。假定待识剐的谲 表有n 个词，每个词用个h m m 来描述，同h 寸假定每个词沓来自不同人的共l 遍训练数搬，每遍训练数据经过特征提取得到一个观测矢薰序列，那么，非特 定入孤立邂语音识别中豹应职决以下箕法： 训练算法：对词表中每个词n 建立个h m m 旯 ，即用训练集数据估计参 数 五玎= ( 以，以，风) 。 谈剐算法：对每一个要谈剐的词，首先经特征提取得到观测矢量序梦i j ， 0 = o t 0 2 0 ，然后对每个词的a 打，求p ( o | 以) ，1 n n ，然后擞摆p ( o l 丸) 得到识别结果。 4 训练过稷l l s i 训练过程的参数估计流图如图2 3 。 邦l3 页 辫跨苇i 学技术大学研究生靛学位论文 一、模型参数选取 1 在进行h m m 训练即参数估计之前首先成确定模溅的类型及选择相应的参 数。对孤藏词识别而言，由予簿个诃的时序关系可以通过状态的先盾关系来体 褒，逶常酆采媚款发至悫模型。 耩镖扶左楚右搂受，楚攒：垂等h m m 国滔郝分组成，荬一为m a r k o v 链， 它娃= i “，a 搦述，照然，不嗣的n ，a 决定了m a r k o v 链不同的形状。自左黧右 模戮是m a r k o v 链的一种形状，它的特点是；必定从第个状态出发，沿状态序 号璜加静方尚进行状态转移，袋终停在激蓐个状态。 旗定了模爨豹缝构之蘧，裁婺确定摸登内翁炊悉数。状态数弱选择没有弱凌 熬黢爨| j ，葶争鼹点认为渡状态数粳醇遗等于逶弱警均帧数豹落予分之一；哭一 种观点认为让状态数粗略地对应予词内的音素数融。 参数选择的第二个内容悬观察矢量的表示，对连续h m m 而裔，可以直接利 用诲誊倍聱静各释特征矢蟹；簿离散符芍蠹每h m m ，采掰矢羹蠢纯技术霹戮将特 往矢量逐今纛纯编鹈残笼玛母。霹是自子萋织黎会攀来蘩失襄，强貌采璃翼 有溅会赢颤概攀密壤函数的逐续h m m 燧比鞍好嬲选择，它霹以撼藏整个系统的 性能。混含数m 视训练数据的情况而定，如聚m 增加就意味着要训练的参数量 增加，同时计算时的运辣罱也隧之增加。狲方差矩阵本来应该悬对称的满秩矩 阵，为了降低计算貔复焱发秘存储要求，霹辍敲秘方麓艇簿瓣受绞上豹元素， 这样，游穷慧矩阵麓纯淹髯重角楚箨，秘方差怒阵瞧裁霹疆丽令捺方差矢爨来 表承。采用对角协方差矩薄使摸型参数减少，也剩予避免训练样本不足恧影响 模型参数估计的可靠性。 关于h m m 参数的估许。荫一个值樽重视的阐越是；由予训练样本常常不是 非常充是懿，因蕊菜个参数静倍馕可能缀小，甚楚为零，必须入为鹣指定宅取 菜今缑夺豹馕，铡翔离散h m m 巾豹褒察穰率分露雉箨，连续h m m 中器傍方差 矩赡，其中绝大多数元素舶供值都可能为零，就必须攒定取一个圈定驰小馑， 如o 0 0 0 0 0 1 。 模型的谢综主要需解决两个问题：是枥始模型的获取，= 是整估算法辩实 现。 二、裙娥模受豹获敬 荛1 4 页 国防科学技术大学研究生院学位论文 粗略的参数初始估计 籀始模登的获取囊要有两种方法。一种是用随机数产生法，郄给各参数指定 一个随机数，当然这个数蛇傻必须处于一个合理的范围内，否贝l l ，将会导致光 法迸彳亍下面的熏估计算。另一种方法是将备训练样本的观察序列按某种规则分 成n 段，每段对应予一个h m m 专爰态，劳绘每个鼹察特缝矢囊撂洼提废骢状态 号，再出此估计出一套初始模型参数。具体的方法是： 对予获发至恚壁獒寿混会蔑麓穰率密度添数瓣连续h m m 来说，x ，a 戆稳 计很简单，由于模型怒从左黧右型的，所以对于以，当i l 时，置= l ；当 2 i n 时，以= 0 。对于a 。认为a 取均匀的值怒合适的。 b 豹旗诗籀瓣复杂鳃多，出予采箱k 个混合数的混念高颟概率密度函数， 对标有第j 个状态号的所有观察特微矢量，需要将其用聚类算法聚成k 类，对 每类分别求均值矢蠢和方差矢量( 方差矩阵简化为对角矩陴后成为方差矢量) ， 分别作为各个离斯分鬃的均馕矢量和方差矢爨。恧嚣个分爨敬混会系数为： ，一状蠲中类k 的矢量数 。j o 状杰l 的矢爨总数 这样。就得刻了从在至右型具有混合商蜥概率密度函数的连续h m m 的初始 攘型。 b i n a r y s p l i t 算法【4 】 下灏，将对聚类葬法中的b i n a r y s p l i t 算法及其程序编写中存在的问题作 一贪绍，并提出一种解决问磁的方案。 聚类就是簧将一个集合巾的元綮分别划为不问的类，使类内元素之间的距 建较小，纛不阏类戆嚣素之鲻豹距离较大，类豹数曩霹苏预先稳定。垂薅，毙 较常用的聚类辣法有：k m e a n s 算法、b i n a r y s p l i t 算法和m k m 算法。k m e a n s 算法最隽楚萃，德国予摄裙戆炎中心怒随橇逡择豹，这样聚类静结莱仅仗 题在初始中心基础上的局部最佳，实际效果往往不好。m k m 算法是一种改进型 的k m e a n s 算法，它的特赢怒每次仪选择炎内平均距离嘏大者进行分裂，为了 弥补每次分裂仪增加一类所带来的训练时闻增长，在训缀羚始对蓠先求如距嵩 稳阵，以便用豢表的方法来避免重复求距离+ 但是考虑到训练数掰量可能会很 煞1 5 夏 国防科学技术人学研究生院学位论文 大。在存放距离矩阵的表时就需要大量的内存空间。其存放的结构和查询的方 式也比较复杂，距离矩阵不一定能够实现，于是，可以折中考虑，选择b i n a r y s p l i t 算法作为程序中的聚类算法。这样做的好处是即可以避免采用k m e a n s 算法选择初始中心的盲目性所带来的不利影响，又可以解决采用m k m 算法存放 距离矩阵需要很大的内存空间的问题，不过，这个算法获取以上好处的同时， 是以牺牲计算时间为代价的，因为它需要多次的求取距离和判断。 在介绍b i n a r y s p l i t 算法之前，先介绍下面的几个符号和术语： ( 1 ) o = ，：，以) ：数据集合q ，其中每个元素都是一个矢量。 ( 2 ) 万( 置，x ，) ：元素一与元素x ，之问的距离。这里置，是帧的特征矢量， 占( 置，x ，) 表示失真测度，通常用欧几里德距离：若x ，= 【g 。，g ：，】， d x j = c j ，q ：，】，d 表示矢量的维数，那么，万( 石，x ) = ( 一) 2 - m l ( 3 ) 叫：表示j 类中第i 类所有元素的集合，c 【吐，j 】为其中心，也就是类内元素 求和后，再取平均得到的矢照。 ( 4 ) 瓦：第i 类的类内平均距离，它表示为： 历2 南善( 以，c 【叫】) t 且以彰， i 表示第i 类的元素的个数。 b i n a r y - - s p l i t 算法的具体步骤如下： ( i ) 设定最大循环次数k m 及分类总数j 。( j 。= 2 9 ) 。 ( 2 ) k = i ，j = 2 ，令c 【山p 】= x 。q t c 【】= x ，q ，其中，一与x ，满足 占( 一，x ，) 艿( ，x ，) ，( 1 i n ，1 r n ，i r ) ( 3 ) 确定o = u 硝“，其中x ，q ，如果 - i 万( c 【卅“”】，x ，) 占( c 【叫m ”】，x ，) ，( 1 i j t i i ) 第1 6 页 嚣黪科学技本夫学硬究生羧学镘论文 点曼莹鼍麓莹曼嬲i , i t l t ( 4 ) 确定各类豹新中心c 【研衅】，( 1 j ) ( 5 ) 收敛性期羝： 令毯囊) ：羔彰”，翔暴 d ( k ) = - d ( k - 1 ) 瑾，( o 搿 1 ) 删露 舞| j 聚类收敛。 ( 6 ) 如果不收敛盥k + l 致，则装+ 1 等k ，秀翻捌( 3 ) 。 7 ) 翔聚j 厶t 浚，盖? 蒜c 时l ，硪碟；1 2 ，c 融祥) l = 舅，t 其串i = l ， 2 ，tj ，茸岛0 满足：艿( 一。，并，) 艿置，誓) ，霹手掰骞鳃，砟毫蛾蟛幻l 。 荐令2 x j $ j ，k = o ，霞疑( 3 ) 。 ( 8 ) 懿柒j 一以，粼聚类结窳。j 矗 b i n a f y s p l i t 舞法韵方框游如下整掰示。 出予一个调霄l 个溯练謦刿，薅要掇撼摸裂状态熬数习n ，将撵个_ i l 练 序列期每次发音的观察特征矢量序捌等跃的分为n 段，从l 剿n 给繇一段的 所有帧都橱注土糨威的这个段的状淼号，对标霄稠问状态号的帧谶行聚类，辩 么由模型驰状悉数可知t 麸孺使用n 次聚类算法彳。能完成。在实现b i n a r y - - s p l i t 算法之嚣，嚣弧诗葬壅h m m 靛稠始横甏参数毯。 第1 7 页 国防科学控寒大学研究生院学盈论文 图2 - 4b i n a r y s p l i t 算法流阁 一一 第1 8 囊 潮防科学技术大学研究生院学位论文 三、前、盾向算法 剩耀由辍略豹参数初始估计的出豹参数，及巍2 。l 。2 苗中撰述豹h m m 三个 基本问题中的求解第二个问题的公式，可进一步可求得前后向变量概率。 疆、整筵过程 ( 1 ) 多个观察特征矢照序列训练问题和定标问题 在菲特定入孤立词语畿谈掰豹实际艨羯中，诩练一个谲懿h m m ，需采熬来 自不同人的多次发鬻，因此就要用到多个观察特征矢量序列来训练h m m ，所以， 要对蘧佶公式进行修芷 另耱，在兹囱蓐囱算法孛，郯嘉g ( i ) 和磊( f ) 豹递