（电路与系统专业论文）基于HMM和ANN的数字语音识别研究[电路与系统专业优秀论文].pdf

摘要 语音识别是一门内涵丰富、应用广泛的技术。由于语音信号的多样性和复杂性， 目前的语音识别效率也不是很高。因而发展高效率识别语音模型成为语音识别研 究中的一个重要课题。 本文首先对语音信号的预处理及反映语音信号特征的三种特征参数( l p c 、 l p c c 、m f c c ) 进行系统的分析。接着对用于语音识别的两种技术( 删m 、a n n ) 进 行研究。重点对基于段长分布隐马尔可夫模型( d d b h 删) 及其训练和识别算法进 行研究，进行了基于h m m 的非特定人汉语数码孤立词语音识别实验，实验证明 d d b h m m 考虑段长分布提高了语音识别率。 最后，本文针对经典h 瑚的缺陷提出将d d b h m m 与自组织特征映射神经网络相 结合而构成新的语音识别模型，给出了基于h m m 和a n n 混合模型的汉语数字语音 识别及仿真实验，证明在低信噪比条件下混合模型比传统的单一h m m 模型能明显 提高识别率，且鲁棒性显著提高，并证明本文提出的d d b h m m s o f 删n 模型在低信 噪比条件下的识别率优于c d h 删s o f 州n 混合模型，验证了本文提出的新的语音识 别模型的优越性、可行性。 关键词：语音识别隐马尔可夫模型人工神经网络d d b h m m s o f m 混合模型 a b s t r a c t s p e e c hr e c o g n i t i o ni sa m e a n i n g f u l ，a p p l i c a t i o ne x t e n s i v e t e c h n o l o g y ，i t sp r a c t i c a b i l i t ya n di n t e r e s tm a k ep e o p l eh a v i n ga nu r g e n t a p p l i c a t i o nd e m a n dt oi t b e c a u s eo fs p e e c hs i g n a l s d i v e r s i t ya n d c o m p l e x i t y ，c u r r e n ts p e e c hr e c o g n i t i o ne f f i c i e n c yi sn o th i g h e f f i c i e n t i d e n t i f i c a t i o na n dd e v e l o p m e n to fm o d e l sa n da l g o r i t h m sh a sb e c a m ea n i m p r o t a n tt o p i ci ns p e e c hr e c o g n i t i o nr e s e a r c hf i l e d f i r s t l y ，p r e p r o c e s s i n g ， e x t r a c t i o nm e t h o d so fl p c 、l p c ca n dm f c c w h i c hr e f l e c t s p e c t r u m c h a r a c t e r i s t i c so f s p e e c hs i g n a l ， a r e s y s t e m a t i c a l l ya n a l y z e da n dr e s e a r c h e d a n dt h e n ，t w om e t h o d so fs p e e c h r e c o g n i t i o na r er e s e a r c h e d ：h i d d e nm a r k o vm o d e l ( m 伽) a n da r t i f i c i a l n e u t r a ln e t ( a n n ) i na ll u s i o nt od i s a d v a n t a g eo fc l a s s i c a lm i m d d b h m m a n di t st r a i n i n ga n dm o d e li d e n t i f i c a t i o na l g o r i t h mw e r er e s p e c t i v e l y d i s c u s s e d s p e e c hr e c o g n i t i o na n ds i m u l a t i o n sf o rm a n d a r i nd i g i tb a s e d o nd d b h m ma n dh m ma r eg i v e n i ti sp r o v e dt h a t ：d d b h m mc o m p a r e dw i t h c o n v e n t i o n a lh 姗c a ni n c r e a s ed i s c r i m i n a t i o n a tl a s t ，t h ed e f e c ts p e c i f i c a l l yf o rc l a s s i c sh 删s u b m i t sa n e wm o d e l o fs p e e c hr e c o g n i t i o nt h a tc o m b i n e db yd d b h m ia n ds e l f - o r g a n i z i n gf e a t u r e m a p p i n gn e u r a ln e t w o r k ( s o f m n n ) s p e e c hr e c o g n i t i o na n ds i m u l a t i o n sf o r m a n d a r i nd i g i tb a s e do nc d t t m m s o f mm o d e la n dd d b h m m s o n na r eg i v e n i t isp r o v e dt h a t ：h n n a n nc o m p a r e dw it hc o n v e n tio n a lh 删c a nin c r e a s e d i s c r i m i n a t i o na n dr o b u s t n e s sa p p a r e n t i ya n dd d b h m m s o f m n nc o m p a r e dw i t h c d m 删s o f mm o d ec a ni m p r o v ed i s c r i m i n a t i o n h a v e v e r i f i e dan e wm o d e l o fs p e e c hr e c o g n i t i o ns u p e r i o r i t y ，f e a s i b i l i t yb yb r o u g h ti nt h i sp a p e r k e y w o r d s ：s p e e c hr e c o g n i t i o nh i d d e nm a r k o vm o d e la r t i f i c i a ln e u t r a l n e td d b h 删s o n 斛nm ix e dm o d el 长春理工大学硕士学位论文原创性声明 本人郑重声明：所呈交的硕士学位论文，基于h m m 和a n n 的数字语音识别研 究是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明 引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对 本文的研究做出重要贡献的个人和集体，均己在文中以明确方式标明。本人完全意识 到本声明的法律结果由本人承担。 作者签名：乏避茸年月卫日 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论文版权使 用规定 ，同意长春理工大学保留并向中国科学信息研究所、中国优秀博硕士学位论文 全文数据库和c n k i 系列数据库及其它国家有关部门或机构送交学位论文的复印件和电 子版，允许论文被查阅和借阅。本人授权长春理工大学可以将本学位论文的全部或部 分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编 学位论文。 作者魏_ 涩狂哔年j 月且日 指导导师签名：年三月丛日 第一章绪论弟一旱硒比 语音识别就是让机器通过识别和理解过程将人类的语音信号转变为相应的文本或 命令的技术。全世界研究语音识别技术的科学家们为了实现机器能听懂人类自己的语 音，已经努力了5 0 多年取得了重大进展，缩短了人们和这一梦想的距离。 1 1 语音识别的历史及现状 1 1 1 国外历史及现状 1 9 世纪，人们发现元音主要是靠第一共振峰和第二共振峰来区别，声母主要靠共 振峰的弯曲方向和力度进行感知。但真正的语音识别始于1 9 5 2 年，当时贝尔实验室 d a v i s 等人采用专用硬件实现了一台1 0 个英文数字的语音识别系统a u d r ys y s t e m 。 1 9 5 9 年，j w r o r g i e 和c d f o r g i e 采用数字计算机识别英文元音及孤立字，开始 了计算机语音识别的纪元。2 0 世纪6 0 年代末语音信号线性预测技术和动态时间规正 ( d t w d y n a m i ct i m ew a r p i n g ) 技术解决了语音的特征提取和不等长匹配问题，其研究 特点：把孤立字作为一个整体来建立模板，以孤立字语音识别为主，这是语音识别发展 新高潮，。2 0 世纪8 0 年代初，l p ( 线性预测) 技术和d t w ( 动态时间规整) 技术催生矢量 量化( v q ) 技术和隐马尔柯夫模型( h m m ) 理论，实现了基于线性预测倒谱和动态时间规整 技术的特定人孤立词小词汇量语音识别系统。语音识别算法一个重要发展是从模板匹 配技术转向基于统计模型技术。研究不再追求细化语音特征，从微观转向宏观，从统计 的角度来建立最佳的语音识别系统。隐马尔柯夫模型( h m m - h i d d e nm a r k o vm o d e l ) 是其 典型，它能很好的描述语音信号的时变性和平稳性。统计语言模型也开始取代基于规则 语言模型的方法( 人们已经建立含有成千上万个规则的规则库，覆盖了相当大的语言 现象，但是从理论上讲，这种过程仍然很有限。因为语言是一个民族经过几千年的积 累，是约定俗成而又动态发展的) 。1 9 8 8 年k a i f ul e e 等人运用v q 和h m m 方法实现了 9 9 7 个词的非特定人连续语音识别系统s p h i n x ，其识别率在有无文法限制的条件下分 别为9 6 和8 2 。2 0 世纪9 0 年代之后，人工神经网络技术成为语音识别的一条新途径， 它具有自适应性、并行性、非线性、鲁棒性、和学习特性，在模型结构和训练算法上都 显示出了很大的潜力。此时，在细化模型的设计、参数提取和优化以及系统的自适应技 术上取得了关键进展。语音识别技术进一步成熟，语音识别系统从实验室走向实用。国 外的i b m 、a p p l e 、m o t o r o l a 等公司投入汉语语音识别系统的开发。i b m 公司于1 9 9 7 年正式推出中文听写机系统v i - a v o i c e ，该系统对新闻语音识别有较高的精度，是目前 比较有代表性的汉语连续语音识别系统。 1 1 2 国内历史及现状 我国的语音识别研究始于1 9 5 8 年，是由中国科学院声学所利用电子管电路识别l o 个元音。而我国的计算机语音识别直至1 9 7 3 年才由中国科学院声学所开始。1 9 8 6 年3 月我国启动高科技发展计划( 8 6 3 计划) ，将语音识别专门列为研究课题，并作为智能计 算机系统研究的一个重要组成部分。1 9 9 8 年的8 6 3 计划评比中，清华大学电子工程系 以王作英教授为首的课题组完成了汉语连续语音识别系统，其字识别率达到9 0 以上； 清华大学电子工程系在汉语小词表语音识别及应用方面以刘润生教授为首的课题组已 推出了基于非特定人汉语数码语音识别的语音拨号机( 该产品是用打电话者的语音， 如呼叫受话方的姓名来代替按键拨出电话号码的电话机) ，并且在还从事语音识别专用 芯片的开发设计。我国语音识别研究工作一直紧跟国际水平，国家把大词汇量语音识 别的研究列入8 6 3 计划，中科院声学所、自动化所及北大等单位进行研究开发，已 经取得了高水平的科研成果，如：中科院自动化所制的非特定人连续语音听写系统和 汉语语音人机对话系统，其字准率或系统响应率可达9 0 0 5 以上。现在我国已经实用的语 音识别系统还有a t & t8 0 0 语音识别服务系统，n r 兀a n s e r 语音识别银行服务系统， n o h e nt e l e c o m 股票价格行情系统，使得原本手工操作的工作用语音就可方便地完成。 1 2 语音识别的分类及过程 语音识别按词汇量大小，分为小词表、中词表和大词表以及无限词汇量语音识别； 按发音方式，分为孤立词、连接词和连续语音的语音识别；按说话人适应范围，分为 特定人、限定人和非特定人语音识别。虽然不同的语音识别系统具体实现细节有所不 同，但所采用的识别的过程却是相似，语音识别过程1 如图1 - 1 。 图1 1 语音识别过程 首先确定语音识别单元。语音识别单元有单词( 句) 、音节和音素等。单词( 句) 语音识别单元广泛应用于中小词汇语音识别系统，不适合大词汇语音识别系统，主要 原因是因为模型库太庞大，训练模型任务繁重，模型匹配算法复杂，难以满足实时性 要求。由于汉语是单音节结构的语言，音节数量相对较少，因此音节单元多用于大词 汇量汉语语音识别。音素语音识别单元以前多用于英语语音识别的研究中，现在也开 始用于大词汇量汉语语音识别。接着进行特征提取。通过特征提取提取出用于语音识 别的有用信息，目前广泛应用二种特征参数是：基于线性预测分析技术提取的倒谱 参数；m e l 参数和基于感知线性预测分析提取的感知线性预测倒谱。线性预测( l p ) 模型应用广泛但是它是纯数学模型，适用于元音的识别，且没有考虑人类听觉系统对 语音的处理特点。m e l 参数应用人类的听觉特性，实验证明，采用m e l 参数能够使语音 2 识别系统的性能进一点提高。最后采用某种语音识别方法，对语音特征参数进行训练 得到模板库，然后对待识别的输入语音信号的进行特征参数提取，将其与模板库中的 模板进行模式匹配，实现识别。 1 3 语音识别的主要方法 语音识别的主要方法有：动态时间归正技术( d t w ) 、矢量量化技术( v q ) 、隐马尔 可夫模型( h m m ) 、基于段长分布的非齐次隐含马尔可夫模型( d u r a t i o n d i s t r i b u t i o n b a s e dh i d d e nm a r k o v m o d e l ，d d b h m m ) 和人工神经元网络( a n n ) 。 1 、d t w 和v q ：d t w 硌3 1 是将时间规整和距离测度结合起来的一种非线性规整技术， 是较早的一种模式匹配和模型训练技术，它应用动态规划方法成功解决了语音信号特 征参数序列比较时时长不等的难题，对于小词汇量，且词条不易混淆的语音识别，d t w 取得了较大的成功，它也在孤立词语音识别中获得了良好性能。但因其运算量大、识 别性能过分依赖端点检测且没有充分利用语音信号的时序动态信息的问题，不适合连 续语音大词汇量语音识别，目前已被h m m 模型和a n n 替代。v q 技术最初是在语音压缩 中提出来和，应用于于语音通信中波形或参数的压缩，将v q 用于语音识别同样只适用 孤立词而不适合连续语音大词汇量语音识别。它是从训练语音提取特征矢量，得到特 征矢量集，然后通过l b g 算法生成码本，识别时从测试语音提取相应的特征矢量序列， 将它们与各个码本进行匹配，计算各自的平均量化误差，选择平均量化误差最小的码 本结应的语音，即为识别结果。 2 、h 删模型是语音信号时变特征的有参表示法，它是由马尔可夫链演变而来用于描述 随机过程统计特性的概率模型。它用两个相互关联的随机过程共同描述信号的统计特 性，其中一个是隐蔽的即不可观测的，具有有限个状态的马尔可夫链，另一个是与可 尔可夫链的每一状态相关联的观察矢量的随机过程即可观测的。不可观测的马尔可夫 链的特征要靠可观测到的信号特征揭示。则语音时变信号的某一段特征就由对应该状 态观察符号的随机过程描述，而信号随时间的变化由不可观测的隐马尔可夫链的转移 概率描述。h m m 模型在算法结构上统一了语音识别中声学层和语音学层，将声学层中得 到的信息和语音学层中已有的信息以概率的形式结合在一起，使连续语音识别效果得 到极大增强。但随着h m m 语音识别研究工作的深入，人们也愈加认识到经典h m m 语音 识别模型在一些重要方面存在严重的缺陷：经典h m m 是一个齐次的马尔可夫模型，状 态转移概率是常数与状态驻留长度无关，这与语音的实际过程不符；经典h m m 现有的 模型训练算法( b a u m - w e l c h ) 和识别算法( v i t e r b i ) 都是假设语音特征帧间是相互独立 的，这语音信号的实际情况也不符合；当经典隐马尔可夫模型用于大词汇量语音识别 系统时，其模型的存储量太大，训练量是灾难性的。 3 、改进的隐马尔可夫模型一一d d b h 删，王作英教授提出了一个基于段长分布的非 齐次隐含马尔可夫模型( d d b h m m ) n 引。语音学的研究表明，语音单位在词中的长度有一 个相对平稳的分布。正是这种状态长度分布的相对平稳性破坏了h m m 模型的齐次性结 构。而王作英教授提出的d d b h m m 模型解决了这一缺陷。它是一个非齐次的h m m 语音识 3 别模型。在此模型中用状态的段长分布函数替代了齐次隐马尔可夫模型中的状态转移 概率矩阵，彻底抛弃了“平稳的假设 ，而从非平稳的角度考虑问题，使模型成为一种 基于状态段长分布的隐马尔可夫模型。段长分布函数的引入澄清了经典隐马尔可夫模 型语音识别模型的许多矛盾，即：语音信号状态的齐次性假设和对语音特征帧间相互 独立的假设，基于段长分布的非齐次隐马尔可夫模型为语音识别研究的深入发展提供 了一个和谐的框架。 4 、人工神经元网络( a n n ) ，人工神经元网络在语音识别中的应用是现在研究的又 一热点问题。人工神经元网络本质上是一个自适应非线性动力学系统，模拟了人类神 经元活动的原理，具有自学、联想、对比、推理和概括能力。这些能力是隐马尔可夫 模型所不具备的，但人工神经网络又不具有隐马尔可夫模型的动态建模能力。因此， 现在人们研究了基于h m m 和a n n 的混合模型，把隐马尔可夫模型的动态建模能力和人 工神经网络的分类决策能力有机结合起来，从而提高整个模型的鲁棒性及语音识别系 统识别率，这也是现在人们研究的一个热点。 1 4 本文研究内容 l 、总结了语音识别的发展历史及研究现状，分析了语音识别一般过程及分类。 2 、研究了语音信号的预处理过程( 预加重、分帧、加窗、端点检测) 及相应的方法， 分析了用于语音识别的三种特征参数，及其提取过程：一、线性预测编码系数l p c ；二、 线性预测倒谱系数( l p c c ) ；三、美尔频率倒谱系数( m f c c ) 。将纯净语音的l p c c 、m f c c 参数与带噪语音的l p c c 、m f c c 参数对比，研究它们的鲁棒性。 3 、详细论述隐马尔可夫模型和人工神经网络模型的原理以及在语音识别中的分析方法 和实现算法。重点研究d d b h m m 模型的最大似然训练和识别算法。并给出了基于 m a t l a b 6 5 开发平台的h m m 的汉语数字孤立词语音识别实验。 4 、用传统的h m m 与a n n 混合进行语音识别，针对经典h m m 的缺陷，提出将d d b h m m 与 a n n 混合进行语音识别，然后采用m a t l a b 6 5 进行仿真实验，对其两种识别结果进行比 较，验证基于d d b h m m 与a n n 混合模型进行语音识别理论上的可行性，及优越性。 4 第二章语音信号预处理及特征提取 2 1 语音信号数字化 根据采样定理，如果采样频率大于或等于信号频率的二倍时，则能从取样信号中 恢复出原信号。对语音信号而言，浊音的频谱一般在4 k h z 以上便迅速下降，而清音语 音的频谱在4 k h z 以上频段反而呈上升趋势，即浊音频率越高幅值越低，而清音却相反， 甚至清音超过8 k h z ，仍没有明显下降的趋势。因此，为了精确的表示语音信号，一般 认为必须保留l o k h z 以下的所有频谱成分，那么采样频率应当等于或大于2 0 k h z 。但在 许多实际应用中并不需要这么高的取样频率。例如i t u ( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ，国际电信联盟) 在g 7 2 9 中提出的语音编解码系统采样频率 为8 k h z ，它只利用了3 4 k h z 以内的语音信号分量，虽然这样的采样频率对语音清晰度 可能有损害的，但受损失的只是少数辅音，而语音信号本身的冗余度比较大，少数辅 音清晰度下降并不明显影响语句的清晰度、可懂度心。因此语音识别时常常用的采样 频率为8 k h z ，i o k h z 或1 6 k h z 。 为了抑制输入信号各频率分量中频率超过f 2 的所有分量( f s 为采样频率) ，防止 混叠干扰及5 0 h z 的电源干扰，语音信号在采样之前必须进行预滤波处理。当前，声卡 通常都带有带通滤波器，其上截频 为3 4 0 0 h z ，下截频艿为6 0 h z 。语音信号经过预滤 波，然后按采样频率对语音信号进行采样，就可以得到离散时域的语音信号，由a d 变换器变换为二进制数字码。语音信号的数字化过程如图2 1 所示。 语号 图2 1 语音信号数字化 2 2 语音信号预处理 语音信号的预处理包括以下几个部分：语音信号预加重、分帧、加窗、端点检测。 2 2 1 预加重 预加重是一种重要的前处理技术。由于语音信号x ( n ) 的平均功率谱受声门激励和 口鼻辐射的影响，大约在8 0 0 h z 以上的高频端，平均功率谱按6 d b 倍频程跌落，所以 频率越高相应的语音信号频谱成分越小，即高频部分的频谱比低频部分的频谱难求。 所以，在分析输入语音信号之前，要对其高频部分进行提升。通常预加重的措施是用 一数字滤波器实现，其公式表示为 日( z ) 一1 一胆0 9s s1 0 ( 2 1 ) 5 式中为预加重系数，其值接近于l ，典型值为0 9 4 ，这样，预加重网络的输出x m l 和输入的语音信号x ( n ) 的关系可用一个差分方程表示： x 0 ) 一x o ) 一 崩0 1 ) ( 2 2 ) 预加重的作用主要表现：从图2 2 中，町看出通过数字滤波器增加一个零点，、信 号频谱变得平坦且各共振峰幅度相近，也就是将高频提升，语音中只剩下声道部分的 影响，所提取的特征更加符合原声道模型，更利于语音信号的识别。 0 。5 0 1 翟佃 卸 2 卯 蝴章 x 1 0 4 图22 未进行预加重与进行预加重后数字4 的语音幅频特性对比图 2 2 2 分帧、加窗 语音信号是一种典型时变非平稳信号，通常我们认为语音信号是短时平稳的( 1 0 m s 3 0 m s ) ，所以对连续的语音信号进行分帧处理。为了保证特征矢量系数的平滑，帧与 帧之问有部分样本重叠使用。这样，就可用平稳过程的分析处理方法柬。每一帧语音 之间彼此经常有一些重叠，对其每一帧的处理结果可用一个数或是一个组数来表示。 因此语音信号经过处理后会产生一个新的用于描述语音信号的特征依赖于时间的数据 系列。设原始语音信号采样系列为x ( n ) ，分帧等效于乘以幅度按一定函数取值的窗函 数w ( n m ) 。 其一般式为： 见= z r 【扣) 】w 0 一m ) ( 2 3 ) 原始语音信号采样序列为x ( m ) ，移动窗w ( nm ) t 是对语音信号的某种变换，该 变换可咀是线性的，也町以是非线性的。例如t 为，) 时，q 。帽当j 葡时能量； t = s g n x ( m ) 卜s g n x ( m 1 ) 时，q 。为短时平均过零率。 对于q 。可咀理解为离散信号y x ( m ) 经过一个单位冲激为 w ( m ) 的f i r 低通滤 波器产生的输出，常用的三种窗函数是矩形窗、汉明( h a m m i n ；) 窗和汉宁( h a n n i n g ) 窗， 其分别定义为： 矩形窗 吣，一r ；嚣。1 ( 2 4 ) 2 、汉明窗 州一r m 4 6 州翟巍1 。弘肌卜1 汜s ， 3 、汉宁窗 吣叶5 “一“x 皱畦肌“1 池e ， l 为窗长，矩形窗、汉明窗、汉宁窗函数都具有低通特性。且窗函数越宽，对信号 的越有显著的平滑作用，如果窗函数过窄，对信号几乎没有任何平滑作用。而语音信 号加窗要求减小语音帧的截断效应。由图23 、2 4 可看出：矩形窗的主瓣比较窄且高， 而且旁瓣太高，会产生严重的泄漏现象；汉明窗的主瓣较宽而旁瓣高度较低，可以 有效地克服泄漏现象，具有平滑低通特性因此应用广泛。同时加汉明窗的主要目的 是要加强帧左右两端的连续性。本文在后续章节的仿真中窗函数均选取用汉明窗。 ；i 晰帆 、；。w m w 罔z3 矩形窗时域、频域图形图24 汉明窗时域、频域图形 2 2 j 端点检测 为了使采集的数据真正是语音信号的数据，要对输入的语音信号进行判断，准确找 出语音段的起止点，从而减少数据量和运算量，从而减少处理时间，这就是端点检测。1 。 晤音的端点检测的准确性和可靠性，对系统识别率的提高起着重要的作用，当系统收 到段包含语音的信号时系统需要对语音的起止点进行定位，剪掉语音前后多余的噪 音，将完整的、有效的语音交付下一级进行特征参数提取。如果语音起l l 点判别不正 确，则语音莳后噪音保留过多，将会对识别产生干扰、使系统误判：而如果语音部分 被切剪掉，则会丢失语音信息，如果丢失的语音信息正是语音的重要特征，则会造成 系统误识。请音段可以是音节，音索，同素或同等。汉语和其它晤占相比有自己的特 点，它的每个字都是单音节的，所以对汉语来讲，就是要准确找出每个单字语音的起 止点。端点检测的算法步骤如下1 1 ) 语音信号分帧。 2 ) 对每一语音帧选取一种特征向量。 3 ) 采用一种判决准则，例如门限判定或模式分类，来检测语音帧与非语音帧 4 ) 对上述结果进行后处理，得到语音的全部区间。 通常的端点检测方法采用将语音信号的短时能量或短时对数能量作为特征参数、短 时平均过零率作为门限判定语音精确的起止点。下面简单介绍几种常用的检测方法。 1 、短时平均幅度 能量是语音的一个重要特性，清音部分的能量比浊音部分的能量小得多。短时能 量为语音信号的平方通过一个线性滤波器后的输出，当选择窗函数时，如果窗长l 太 长，则对应的短时能量曲线随时间变化缓慢平滑作用将很明显，这就不能体现语音的 变化：反之，如果窗长l 太短，短时能量将随时间剧烈变化无法得到平滑的能量函数。 通常窗长的选择应包含1 - 7 个基音周期，折中的选择是选取l o m s - 3 0 m s 的时间作为窗 长。短时能量由于是对信号进行平方运算，因此人为的啬了高低信号之间的差距，可 采用短时平均幅度，其计算如下式 c o + 一l m 。一l 工沏) 1w o 一所) 一i 石o ) 1w o ) ( 2 7 ) 即用窗函数w ( n m ) 选取一段语音信号，然后计算该段语音信号取样值的绝对值的 和，就得到了该段语音信号的短时平均幅度。以短时起点平均幅度为特征的语音起止 点判断法：首先取发音开始前己知为静态的连续1 0 帧数据，然后计算低能量阈值i t l 及高能量阈值i t u 。按式( 2 7 ) 计算每帧的平均幅度，最大值为i m x ，最小值为i m n ， 可得： i l o 0 3 ( i m x i m n ) + i m n 1 2 4 i m n i t l = m i n ( i i , 1 2 ) ( 2 8 ) i t u = s l t l 以起点判别为例，介绍如何进行起止点判别：先根据i t l 及高能量阈值i t u 计算初 始起点n ，定义为最先升到平均幅度的时间帧号，如果随着时间的推移，语音帧幅度在 升到高能量阈值i t u 之前又下降到低能量阈值i t l 之下，则每一次判断的n 不是起始 点，改成下一个升到低能量阂值i t l 的点为起始点n 。，以此类推。 2 、短时平均过零率 短时平均过零率是语音信号时域分析中最简单的一种特征。它就是指每帧内信号 通过零碎的次数。短时平均过零率在一定程度上反映其频谱性质，其计算方法是：用 8 一个移动窗w ( n m ) 选取处于n 时刻的语音段，计算该帧的过零率总数，并除以该帧的 长度。 以短时平均过零率为特征的端点检测算法：根据发音刚开始前己知为静态的连续 1 0 帧的数据，计算过零率的阈值，其公式为 i z c t = r a i n i f ，z c + 2 仃脚 ( 2 9 ) z c ，盯船为所取样值计算的均值及标准差的估值，i f 为固定值，一般取2 5 。 判别语音信号的起止点：根据过零率的阈值i z c t 计算初始起点n ：，其为最先升到 平均过零率阈值的帧号，随着时间的后移，过零率下降到过零率的阈值i z c t 之下，则 这时的n ：点作为语音的终点。这个n ：暂时不能确定为终点，应从它起向后计算若干帧， 看其是否为z c r 的高点，如果有三个以上此种帧，则将终点移到满足z c r 苫i z c t 条件 的最后语音帧号上。 3 、双门限法进行端点检测( 短时能量和平均过零率) 首先，根据浊音的短时平均幅度确定一个阈值m h ，一般设定的较高，当一帧输 入信号的幅度超过地时，可判断此帧语音信号不是无声，可能是浊音，根据可判断 输入语音的前后两点a 。、a 2 ，再在a 。、a 。之间判断语音精确的起止点，为此设一个较低 的门限m l ，由a 。点向前，a 2 点向后找，当短时平均幅度小于m l ，则确定b ，b 。b 。和 b ：之间也肯定是语音段，根据无声情况下的短时平均过零率再设置一个参数z ，在b 。 前b 。后进行搜索，当短时平均过零率小于3 倍z 时，这时的点就为语音的精确起止点。 本文采用双门限法进行端点检测，下图是数字5 的端点检测图形 。 r q ! 眦蛐删幽ik 一一一一 | 1 l 幂撑直藏 - t 矿 j 八 ，1 图2 5 数字5 的端点检测图形 2 3 语音信号特征提取 所谓特征参数的提取，就是从语言信号中提取有用信息用于语音识别。语音信号特 征参数的提取直接关系到语音识别系统性能，其基本思想是：将预处理过的语音信号 9 通过一次变换，去掉冗余部分，把代表语音信号本质特征的参数抽取出来。以后语音 识别就建立在此特征参数之上，一旦特征参数不能很好地反映语音信号的本质特征， 识别率就不会高，可能识别失败。 语音的时域特征参数可选用能量、过零率、短时幅度等，而现在常用的特征参有三 种类型：线性预测系数( l p c ，l i n e a rp r e d i c t i o nc e p s t r u mc o e f f i c i e n t ) 、线性预测 倒谱系数( l p c c ，l i n e a rp r e d i c t i o nc e p s r t u mc o e f f i c i e n t ) 和m e l 频率倒谱系数 ( m f c c ，m e lf r e q u e n c yc e p s t r u mc o e f f i c i e n t ) 。 l p c 参数能对元音的参数特征进行很好的描述，但由于线性预测系数不能够精确的 描述辅音谱，所以在经常使用辅音的场合，l p c 不能清晰，完整的表达语音特征。 l p c c 系数主要是模拟人的发声模型。它计算量小，易于实现。对能较好的描述元 音，对描述辅音的能力及其抗噪性较差。 m f c c 系数则考虑了人耳的听觉特性，对噪声具有一定的鲁棒性，具有较好的识别 性能。 2 3 1 线性预测系数( l p c ) 线性预测作为一种工具，几乎普遍地应用于语音信号处理的各个方面。 l p c 是从人的发声机理着手参数模型。它的中心思想是用最小均方误差逼近的方法 利用若干“过去的语音抽样来逼近当前的语音抽样，进行模型参数的估计。 对于一个l p c 系统，采样点n 的输出s ( n ) 可以用前面p 个样本的线性组合来表示： s ( 以) 一口1 s ( n 一1 ) + a 2 $ ( n 一2 ) + 口p s ( 疗一p ) ( 2 1 0 ) 其中，口l ，口2 ，口p 为常数。 如果给定预测阶系数p ，则l p c 系数的计算如下： e 。一r ( o ) 兄o ) 一口p 见。一j ) k t 。专丽广一 ； 。” ( 2 1 1 ) a ；= k j 。 口y 。口；卜n - k ，口j i 一- ，i ，1 s _ s f e ，= ( 1 一七? ) e ? - 1 公式中，尺一( k - i ) 2 丸 ，f ) ，r 一 ) 2 善口r r 一( i 七一f i ) ，上标1 表示第1 次迭代，每次迭 代计算和更新口，a 2 , - - - , a ，直到f p 时迭代结束。 1 0 2 3 2 线性预测倒谱系数( l p c c ) 线性预测倒谱系数是是由l p c 系数递推得到的一种同态信号处理方法，有很好的 内插性能，对于v q 或聚类分析都十分方便。l p c c 在倒频域做了截断，相当于在频域进 行了倒谱窗平滑，使振峰展宽了，不是线性预测系数的等价参数。 l p c c 其实就是复倒谱。复倒谱是对输入语音信号频谱的模( 也就是幅度谱) 取对数 后，再求它的傅立叶反变换。l p c c 参数是一种非常重要的语音特征参数，它不是由原 始信号x ( n ) 得到，而是由l p c 系数a 。直接递推 c o = l o g g 2 c 肼一口+ m 刍- i i k 叩。一t 1s 朋墨p ”薹知稍舻p ( 2 1 2 ) ( 2 1 3 ) c 。是直流分量，识别中通常不用，无需计算。当l p c c 的阶数小于等于l p c 的阶数时， 用( 2 1 2 ) 式计算l p c c ；当l p c c 的阶数大于l p c 阶数时，则用( 2 1 3 ) 式计算，此时 实际上是一种外推。 2 3 3m e l 频率倒谱参数( m f c c ) m e l 频率倒谱参数( m f c c ) 依据人耳的听觉机理，根据听觉机理的结果分析语音的 频谱，获得了较高的识别率和鲁棒性。m f c c 是在m e l 标度频率域提取出来的倒谱参数。 m e l 标度描述了人耳对频率感知的非线性特性，它与频率的关系可用下式近似表示( 如 图2 6 ) ： m e l ( f ) 一1 1 2 7 l o g o + f 7 0 0 ) ，其中，是频率，h z ( 2 1 4 ) m f c c 参数提取的过程如图2 7 图2 6m e l 频率与频率 x ( n )y ( n )s ( n )x x ( 1 ( ) m f c c 匹 t 至h 一! 麴坦 图2 7m f c c 参数提取的过程 1 、将信号进行分帧、预加重、加汉明窗，进行短时傅里叶变换并得到其频谱。 2 、求频谱平方，即能量谱，并用一组三角滤波器在频域进行滤波即m 个m e l 带通滤波 器进行滤波；将每个滤波器频带内的能量进行叠加，则第k 个滤波器输出功率谱为 z ) 。 3 、将m 个滤波器的输出取对数，得到相应的对数功率谱；进行反离散余弦变换d c t ， 得到l 阶m f c c 系数，一般l 取1 2 1 6 个左右。m f c c 系数为 g 一l o g x ) c 0 s 防 一0 5 咖m ，n 一1 , 2 ，l ( 2 1 5 ) 4 、经过上述过程直接得到的m f c c 特征为静态特征，如果将此静态特征做一阶和二阶 差分，则得到相应的动态特征。差分计算常用以下公式： d ( k ) 一告罗f 木c + f ) ( 2 1 6 ) 撂舄 其中c 和d 都表示一帧语音m f c c 参数。用同样的公式( 2 1 6 ) 对一阶差分参数进 行计算，可得到二阶差分m f c c 参数。语音识别中，将m f c c 参数和各阶差分参数合并 为一个矢量，作为一帧语音信号的m f c c 参数。 本文做了l p c c 参数与m f c c 参数的仿真对比：实验室录制语音为纯净语音，在此 基础上加入l o d b 的高斯白噪声作为带噪语音，见图2 8 、2 9 ，当语音信号加入噪声后， l p c c 参数变化较大，而m f c c 参数变化较小，可见m f c c 参数比l p c c 参数有更好的鲁棒 性。这是由于语音中的信息大多集中在低频部分，而高频部分易受环境噪声干扰。m f c c 参数将线性频率转换为m e l 频标，强调语音的低频信息，突出了有利于识别的信息， 屏蔽了噪声的干扰。而l p c c 参数是基于线性频率的，所以不能够屏蔽噪声的干扰。 1 2 趔 赫 当 0 5 05 趔 巷0 岔 j d5 1 5 0 0 5 0 d 5 0 语音信号中未加噪声的l p c c 语音信号中加1 0 d b 自噪声的l p c c 图28 纯净浯音信号与带嵘语音信号i , p ( c 参数对比图 语音信号中耒加a 噪声的m f c c 语音信号中加人1 0 d b 自噪声的m f c c 5 5 嘏k 遵繁：造羔娄霉。 图29 纯净语音信号与带噪语音信号l p c c 参数对比图 茎嘣 o z 一 r t 一 、o j 一一、攀 -。f _鍪数 犁籁u u 豆l 赫g m f c c 参数将在本文的后边章节中被用来进行语音识别实验。 1 4 第三章基于h m m 的语音识别 3 1 引言 h m m 是隐马尔可夫模型( h i d d e nm a r k o vm o d e l ) 的简称。隐马尔可夫模型是一种 有参表示法，它是由马尔可夫链演变而来用于描述随机过程统计特性的概率模型。当 分析的区间信号是非时变或平稳时，则信号可用线性模型表示；但当分析区间信号是 时变的，则信号的线性模型参数也是时变的。所以，我们应首先在极短的时间内将信 号用线性模型参数来表示；然后，将许多线性模型在时间上串接起来，就成为了马尔 可夫链。由于不能准确地确定信号的时长，所以用马尔可夫链描述时变信号不是最佳 和最有效的。而隐马尔可夫模型是双马尔可夫链，一个是可看到的( 如语音信号的观 测量) ，另一个是看不到的( 状态) ，这样隐马可夫模型即解决了短时模型描述的信号， 又解决了每一个短时平稳段是如何转变到下一短时平稳段的问题。 h m m 应用于是2 0 世纪8 0 年代以来语音识别领域取得的重要成果。与d t w 相比，h 删 一方面用隐含的状态对应于声学层各相对稳定的语音单元( 如：音节、音素、单词、 单句等) ，并通过状态转移、状态驻留概率来描述发音的变化；另一方面它引入了概率 统计模型，不再用动态时间对齐的方法求匹配距离，而是用概率密度函数计算语音参 数，用前向后向算法计算h m m 模型的输出概率，通过搜索最佳状态序列，以最大后验 概率为准则找到识别结果。总之，h m m 模型较为完整的表达了语音的声学模型，并且采 用统计的训练方法将底层的声学模型和上层的语言模型融入统一的语音识别搜索算法 中，获得了较好的识别效果。 3 2 语音识别中的舢 在语音识别中，观察序列就是通过计算得到的一帧帧的语音参数，本文采用m f c c 参数。而状态则是在训练阶段事先规定好的不同语音单元。汉语普通话的语音单元可 以是一个完整的章节，也可以是单句、单词、声母或韵母，还可以是更为精细的音素。 h 删模型由若干个状态组成，各个状态之间随着时间的变化发生转移，也可以在同 一个状态内驻留。每个观察向量即m f c c 参数都对不同的状态有对应的输出概率。如图 3 1 所示的h 姗，是四个状态s s 。严格左右无跳转拓扑结构，状态之间的转移概率或 状态自身的驻留概率用n ；，表示，输入观察序列为d ，o ：，d r 则每个观察序列对应一帧 m f c c 参数。在这个模型中，d 1 ，0 ，一，d r 为观测输入序列，称为观察序列，每一时刻所 处的状态却是隐含的马尔可夫链n 引。 1 5 图3 1 具有四个状态的h m m 3 3h m m 的结构 h m m 模型通常采用a 一似，b ，石) 表示，对于一个连续混合高斯h m m ，定义如表所示 的基本元素的组合。 表3 - 1 一个连续混合高斯h m m 的基本元素组合 模型参数说明 n 模型的状态数 a = a i j 状态转移概率矩阵，a 玎一p q t + 1 一_ iq t f 】，1s i ，j sn 石= 概)各状态的起始概率分布，= p q 1 一f 】，1s isn b - n o ) 输出概率密度函数，6 ，( d ) 2 荟c ( d ，, u j l ) ，1s _ | s 其中输出概率密度函数中参数描述如表如示。 1 6 表3 2 输出概率密度函数中参数描述 参数说明 0 观察