（通信与信息系统专业论文）基于小波变换的语音端点检测及汉语声韵母声学特性研究.pdf

学蝉堑纂丁小渡受挨的语音端点检溉及汉语，；，韵母庙学特性研究 摘要 语音识别以语音为研究对象，是语音信号处理的一个重要研究方向。近二 兰十年来，语音识别技术取得了很大的进展，其产品也广泛应用于各个领域。计 算机与人类的自然交流成为语音识别技术发展的终极目标。需求的迫切性也使语 音识别技术得到国内外研究机构、厂商的广泛重视。 浯音以别建市在语音信号短时分析的基础上，利用语音信号的短时乎稳性， 对语音信号进行时域、频域、倒频域分析，从而得出语音信号短时特征和短时参 数。 ( 1 ) 奉论文提出了一种基于小波变换的语音段起止端点检测算法。传统的语 音段起止端点检测算法大都是在时域上根据能量累积的大小判别语音段和噪声 段。这些算法只是适用于高信噪比的情况。对于低信噪比的情况，这些算法往往 要借助平均过零率等辅助特征。这样做不但增加了算法的复杂度，而且也未必奏 效。本文根据小波变换的特性，针对# 要由白色噪声组成的噪声背景，提出一种 新的语音段起止端点检测算法。这种算法根据白色噪声在小波变换域各个子带的 平均能量变化平缓的特点判别语音段和噪声段。实验结果表明，本论文提出的算 法即使在低信噪比的情况下也能正确判别语音段和噪声段。 ( 2 ) 不论何种语言，都有元音和辅音两种音紊，元音为浊音，辅音则可分类 成清辅音和浊辅音。浊爵能量较大，有一定的周期性。清音能量较小，没有周期 性，但平均过零率较高。对于汉语来浣，汉字的音节由声母和韵母组成。韵母主 要表现为浊音的声学特征，而一部分声母表现为浊音的卢学特征，一部分则表现 为清音。因此，如果要从一段汉语语音信号中提取单个汉字，就必须区分韵母浊 音和声母浊音的不同。本文通过大量的统计观察和分析，首次总结m 一些韵母浊 音和声母浊音的卢学特征。这些声学特征对于研究语音信号中单个汉字的提取算 法有省重要的参考价值。 关键训：语音识别，小波，端点检测，声韵母 兰丝墼二一 堂! ：兰燮丝笪丛生丝塑婆塑塑翌丛丝堕 a b s t r a c t s p e e c hr e c o g n i t i o nt a k e ss p e e c ha si t ss t u d yo b j e c ta n di sai m p o r t a n td i r e c t i o n o f d i g i t a ls p e e c hs i g n a lp r o c e s s i n g t h et e c h n o l o g yo fs p e e c hr e c o g n i t i o nm a k e s g r e a t p r o g r e s s i nr e c e n td e c a d e s ，a n di t s p r o d u c t sa r cw i d e l yu s e di nm a n yf i e l d s t h e n a t u r a lc o m m u n i c a t i o nb e t w e e nh u m a na n d c o m p u t e r i sf i n a l t a r g e t o f s p e e c h r e c o g n i t i o nt e c h n o l o g y w i d e r e g a r d s a r ef o c u s e do nt h e s p e e c hr e c o g n i t i o n t e c h n o l o g yb e c a u s eo f t h eg r e a tn e e do f m a r k e t s p e e c hr e c o g n i t i o ni sb a s e do n t h es h o r t t i m ea n a l y s i so f s p e e c hs i g n a l b e c a u s e o fi t ss h o r t t i m e s t a t i o n a r i t y , s p e e c hs i g n a l c a nb e p r o c e s s e d i nt i m e d o m a i n 、 f r e q u e n c y d o m a i na n dq u e f r e n c y - d o m a i nt og e tt h es h o r t t i m ec h a r a c t e r i s t i c s a n d s h o r t t i m ep a r a m e t r i c i nt h i s p a p e r , w ep r e s e n taw a v e l e t b a s e dm e t h o do fe n d p o i n td e t e c t i o n ，t h e t r a d i t i o n a ls p e e c hs e g m e n te n d p o i n t sd e t e c t i o na l g o r i t h m sm o s t l ys p e c i f yt h es p e e c h s i g n a la n dt h en o i s ya c c o r d i n gt ot h ea c c m n u l a t i o no fe n e r g yi nt i m e d o m a i n a l l t h e s ea l g o r i t h m sa r eo n l ys u i t a b l ei nc o n d i t i o no fh i g hs n r ( s i g n a l n o i s y - r a t i o ) i n c o n d i t i o no fl o ws n r ，t h e yo f t e nr e s o nt os o m eo t h e ra s s i s t a n tc h a r a c t e r i s t i c sl i k e a v e r a g e z e r oc r o s s i n gr a t eo re l s e h o w e v e rs u c ha w a y c a u s e sh i g he x p e n d i t u r eo f c o m p u t a t i o nc o m p l e x i t ya n dm a y n o tw o r k ，h e r e ，a c c o r d i n gt ot h ec h a r a c t e r i s t i c so f w a v e l e t ，w ed e v e l o pan e wm e t h o dt od e t e c tt h ee n d p o i n t so fs p e e c hs i g n a lu n d e r w h i t en o i s eb a c k g r o u n d b e c a u s ei nw a v e l e td o m a i nt h es u b - b a n d sa v e r a g ee n e r g yo f w h i t en o i s yc h a n g e ss l o w l y , t h i sn e wm e t h o dc a nd i f f e r e n ti tf r o mt h es p e e c hs i g n a l e f f i c i e n t l y t h ee x p e r i m e n ts h o w s t h a tt h em e t h o dw e a p p r o a c h e dh e r ep e r f o r m sq u i t e w e l le v e di nc o n d i t i o no fl o ws n r f o ra l lk i n d so fl a n g u a g e ，t h e r ea r et w ok i n d so fp h o n e m e v o w e li sv o i c e d s o u n d s ，a n dt h ec o n s o n a n tc a nb ec l a s s i f i e dt ov o i c e ds o u n d sa n du n v o i c e ds o u n d s t h ee n e r g yo fv o i c e ds o u n d si sh i g h e rt h a nu n v o i c e d ，b u tf o ra v e r a g ez e r o c r o s s i n g r a t e ，t h er e l a t i o ni sj u s tr e v e r s e a n dt h ev o i c e di ss e m i p e r i o d i c ，w h i l eu n v o i c e d i s n t f o rs t a n d a r dc h i n e s e ，t h es y l l a b l eo fc h a r a c t e ri sc o m p o s e do fi n i t i a lc o n s o n a n ta n d c o m p o u n dv o w e l ，t h ea c o u s t i cc h a r a c t e r i s t i c so fc o m p o u n d v o w e li sm a i n l yv o i c e d 学僚论文基i 孙渡变换的话青螭蠢检泌及汉语南韵母声学特一嚏研究 h o w e v e r , f o ri n i t i a lc o n s o n a n t ，s o m ei sv o i c e d ，t h eo t h e ri su n v o i c e d t oe x t r a c ts i n g l e c h i n e s ec h a r a c t e rf r o mc o n t i n u o u ss p c e c h ，w em u s td i s t i n g u i s ht h ed i f f e l e n c eo ft h e v o i c e di n i t i a lc o n s o n a n ta n dv o i c e dc o m p o u n dv o w e l t h r o u g hm a n yo b s e r v a t i o n 、 s t a t i s t i ca n da n a l y s i s ，t h i st h e s i ss u m m a r i z es o m ea c o u s t i cc h a r a c t e r i s t i c so ft h e v o i c e di n i t i a lc o n s o n a n ta n dv o i c e dc o m p o u n dv o w e l ，t b e s ea c o u m i cc h a r a c t e r i s t i c s h a v e i m p o r t a n t r e f e r e n c ev a l u et ot h ee x t r a c tm e t h o ds t u d yo fs i n g l ec h i n e s e c h a r a c t e ri nc o n t i n u o u ss p e e c hs i g n a l k e yw o r d 8 ：s p e e c hr e c o g n i t i o n ，w a v e l e t ，e n d p o i n t sd e t e c t i o n ，i n i t i a lc o n s o n a n t a n dc o m p o u n dv o w e l 翌壁垒寒基丁小波变换豹语音端点检灞及汉语声韵母声学特性研究 第1 章语音识别概述 1 1 引言 语音是人类相互之间进行交流时使用最多、最自然、最基本也是最重要的 信息载体。让计算机能听懂人类的语言，是人类自计算机诞生以来梦寐以求的想 法。语音识别的作用正是将语音转换成等价的书面信息，也就是让计算机听懂人 说话，即在各种情况下，准确地识别出语音的内容，从而根据其信息，执行人的 各种意图。 语音识别以语音为研究对象，是语音信号处理的一个重要研究方向，是模 式识别的一个分支，涉及到生理学、心理学、语占学、计算机科学以及信号处理 等诸多领域，甚至还涉及到人的体态语言( 如人在说话时的表情、手势等行为动 作可帮助对方理解) ，其最终目标是实现人与机器进行自然语言通信。 语音识别从原理上看实现并不困难，但在实际工作中遇到很多问题，如发 音的多变性，不同人、不同条件下的发音参数不同，音变现象、躁声等使机器识 别很不容易。这使得语音识别成为语音数字处理研究领域中的重点和难点技术。 1 2 语音识别的发展历史 语音识别的研究起步较晚，大约开始于二十世纪五十年代，当时a t t b e l l 实验室实现了第一个可识别十个英文数字的语音识别系统 u d r y 系统。 大规模的研究开始于六十年代中后期和七十年代初期，这一方面是因为计 算机产业的迅速发展提出了使用要求，同时又提供了实现复杂算法的软、硬件环 境。另一方面，数字信号处理的理论和算法在那个时代取得了飞跃的进展，如快 速傅里叶变换、倒谱计算、线性预测算法、数字滤波器等。日本学者i t a k u r a 将动态规划( d p ) 的概念用于解决孤立词识别时说话速度不均匀的难题，提出了 著名的动态时间伸缩算法d t w 。当词汇表较小以及各个词条不易于混淆时，d t w 算法取得了很大成功，从而自六十年代末期开始引起了语音识别的研究热潮。并 且逐步取得实质性的进展。从七十年代后期直到现在，人工智能的方法开始用于 语音识别的研究，并引入了模糊规则。 学位论文 基于，l 、波变换的语音端矗捡翩硬汉语声韵母声学特性研究 二十世纪八十年代隐马尔可夫模型h m m 作为语音信号的一种统计模型，在 语音信号处理的各个领域中获得广泛应用，也是语音识别等的主流研究途径之 一。八十年代国内外在语音识别方面的一些重大研究项目，几乎都采取以h 涮为 基本框架的统计途径。它将语音识别的研究和实施纳入了一个系统的、易于在计 算上实现的框架之中。自八十年代中期以来，一些中、小词表的孤立或连续语音 识别系统已进入市场。 在八十年代后期和九十年代，随着多媒体时代的来临。语音识别系统逐渐 从实验室走向实用化。主攻方向是连续语音、大词表、非特定人的语音识别算法 研究和系统开发以及各种菲特定人的语声响应系统的研制。一方面，对声学语音 学统计模型的研究逐渐深入，鲁棒的语音识别、基于语音段的建模方法及隐马尔 可夫模型与人工神经网络的结合成为研究的热点。另一方面，为了语音识别实用 化的需要。讲者自适应、听觉模型、快速搜索识别算法以及迸一步的语音模型的 研究等课题倍受关注。许多发达国家如美国、日本、韩国以及i b m 、a p p l e 、a t t 、n t t 等著名公司都为语音识别系统的实用化开发研究投以巨资。 在噪声环境下的语音识别，作为语音信号处理的非常重要的研究课题，已 经作了大量的研究工作，取得了丰富的研究成果。目前国内外的研究成果大体分 为三类解决方法。一类是采用语音增强算法等；第二类方法是寻找稳健的语音特 征；第三类方法是基于模型参数适应化的嗓声补偿算法。然而，解决嗓声问题的 根本方法是实现噪声和语音的自动分离，尽管人们很早就有这种愿望，但由于技 术的难度，这方面的研究进展很小。近年来，随着声场景分析技术和盲分离技术 的研究进展，利用在这些领域的研究成果进行语音和噪声分离的研究取得了一些 进展。 中国的语音和语言处理技术的研发略晚于国外。清华大学智能技术与系统 国家重点实验室属下的语音技术中心1 9 7 9 年创立( 原名语音实验室) ，至今已有 2 5 年的历史。在以清华大学语音技术中心为代表的顶尖的学术机构的带动下， 我国语音识别研究工作一直紧跟国际水平，国家也很重视，并把大词汇量语音识 别的研究列入“8 6 3 ”计划，由中科院声学所、自动化所及北京大学等单位研究 开发。鉴于中国未来庞大的市场，国外也非常重视汉语语音识别的研究。美国、 新加坡等地聚集了一批来自大陆、台湾、香港等地的学者，研究成果已达到相当 丝丝苎耋互尘型丝塑型堕丝鳖垄堂堂笠型鲨丝! 堕 高水平a 目前，国内除了加强理论研究外，更加快了从实验室演示系统到商品的 转化。 1 3 语音识别系统 1 3 1 语音识别系统分类 语音识别系统按照不同的角度、不同的应用范围、不同的性能要求有不同 的设计方法和分类，一般有以下几种分类方法： 1 )根据对说话人说话方式的要求，可以分为孤立字( 词) 语音识别系统， 连接字语音识别系统以及连续语音识别系统。 孤立字( 词) 语音识别系统要求说话人每次只说一个字( 词) 、一个词 组或一条命令，单词之间有停顿，这可使识别问题大为简化。因为单词的端点检 测( 即检测单词的起点和终点) 比较容易，而且单词之间的协同发音影响可减至 最低。 连接字语音识别系统一般指十个数字( 0 9 ) 连接而成的多位数字识别 或由少量指令构成的连接词条的识别，主要用于电话、数据库查询以及控制操作 系统。 连续语音识别是指说话人以日常自然的方式讲述，并予以识别。随着 近年来的研究和发展，连续语音识别技术已渐趋成熟，这种最自然的说话方式， 已成为语音识别研究及实用系统的主流。 连续语音识别系统有两个重要问题是孤立单词识别系统所没有的：即切分和 发音变化。切分即对单词之间边界位置的确定。因为语言中短语的数量太大，对 整个短语进行识别显然是不可能的，必须把输入的语流切分为更小的组成部分。 这就要求系统必须能够识别单词之间的边界。这一点比较困难，因为确定单词之 间的边界位置没有现成的方法。发音变化即关联语言的发音比孤立单词发音更随 便，受协同发音的影响更为严重。隐马尔可夫模型与人工神经网络的结合是连续 语音识别系统中广泛应用的技术。 因为连续语音识别系统比较复杂，成本自然也较高，所以并不是所有的应用 都必须采用的方式。需要根据实际应用，合理设计和选择识别系统和技术，使整 个系统更实用、更方便操作。 堂竺垄鲨 垄至型! 些壅堡丝堑叠塑生缕堡i 型堡塑丝至堕 语音理解系统是在语音识别的基础上，用语言学知识来判断语音的含 义。即要求计算机也能像人那样“理解”语言，对要说的话有预见性和感知分析 的能力。与其它语音处理问题相比，该系统更加依赖于人工智能的研究。 2 ) 根据词汇量大小，可以分为小词汇量、中等词汇量、大词汇量以及无 限词汇量语音识别系统。一般来说，小词汇量系统是指能识别卜2 0 个词汇语音 识别系统；中等词汇量是指2 0 1 0 0 0 个词汇；大词汇量是指1 0 0 0 个词汇以上。 此外，还有某些特定用途的中词汇量连接词识别和无限词汇连续语音的识别。 在自然语言处理( n l p ) 上，从小规模受限语言处理走向大规模真实文本处 理，是一个意义深远的里程碑式的转折。不管经过多少时间，语料库方法和统计 语言模型依然是当前中文信息处理的主流技术。 3 )根据对说话人的依赖程度可以分为特定人和非特定人语音识别系统。 从讲话人的范围来分，有单个特定人识别系统、多讲话人和与讲话人无关的识别 系统三种。 语音识别系统可以是只针对一个用户的，例如个人专用的语音打字机， 这称为特定人工作方式s d 。 后两种是非特定人语音识别系统，称为非特定人方式s i 。这种识别系 统通用性好、应用面广，但是显然，其实现难度也大得多。 1 3 2语音识别系统组成 语音识别系统是建立在一定的硬件平台和操作系统之上的一套应用软件系 统。它除了包括核心的识别程序，还必须包括语音输入手段、参数分析、标准声 学模型、词典、文法语言模型等，以及制作这些东西所需的工具。实际应用时还 要考虑耐环境技术、输入输出接e l 等。按各部分功能来划分，语音识别系统可分 为语音信号预处理部分、语音识别技术的核心算法部分以及语音识别系统的基本 数据库部分。 语音信号的预处理部分包括：语音信号的电压放大、反混叠滤波、自动增 益控制、模数变换、去除声门激励及口唇辐射的影响等。还包括特征参数的选 择、计算，特征矢量的构成。语音信号的预处理建立在对语音信号特征的认识及 对其进行时域、频域、倒谱分析上。 羔型堕! l 一壅至! ：燮丝重量塑生丝塑丝塑蔓苎塑堡塑丝塑 语音识别部分根据单词字典和文法的约束进行语音特征向量时间序列和语 音声学模型匹配，并输出识别结果。 语音识别系统包括大量的控制参数信息，这些参数以数据库的方式存储在 计算机内，构成了语音识别系统的基本数据库。包括词汇表、语音声学模型参数、 语言模型参数等。 1 3 3 语音识别关键技术和方法 语音识别的关键技术主要包括语音识别单元的选取、特征提取技术、模式 匹配准则及模型训练技术三个方面。 1 )语音识别单元的选取 语音识别单元的选取是语音识别研究工作很重要的第一步，语音识别单元有 单词、音节、音素几种，具体选哪种，是由研究任务决定的。单词单元适用于中 小词汇语音识别系统，不适合于大词汇系统。庞大的模型库意味着繁重的模型训 练任务和复杂的模型匹配算法，所以很难满足实时性要求。 对于日语、英语等语言，多是以半音节、环境依存音素为识别单元。对于汉 语则可用声母一韵母，也可用音节字、词作为识别基元。在识别基元的选择上既 存在着识别正确率与系统复杂度之间的矛盾，也要考虑识别基元的自动分割问 题，即由语音信号流中分割出基元的难易问题。 汉语语音识别多采用音节作为识别单元，主要是因为汉语是单音节结构的语 言。如果不考虑声调的话，汉语大约有4 0 0 个音节，数量相对较少。不过，现在 大、中词汇量的汉语语音识别系统也在越来越多地采用音素作为识别单元。原因 在于汉语音节仅由声母和韵母构成，且大部分声韵母声学特性相差很大。实际应 用中常把声母依后续韵母的不同而构成细化声母，这样虽然增加了模型数目，但 提高了易混淆音节的区分能力。由于协同发音的影响，音素单元不稳定，所以如 何获得稳定的音素单元，还有待研究。 总之，在汉语连续音识别时，采用声母一韵母作为识别的参数基元，以音节 字作为识别基元，结合同音字理解技术以及词以上的句子理解技术的一整套策 略，可望实现汉语全字( 词) 汇语音识别和理解的目的。 丝垒鲨 耋三尘垄墅丝塑墨堡型丝坚堡亟苎堂墅堂丝至堕 2 )特征参数提取 特征参数提取技术，就是从语言信号中提取用于语音识别的有用信息，以使 在语音识别时类内距离尽量小、类间距离尽量大。特征参数选择的好坏直接影晌 到语音识别的精度。 识别参数可以选择以下一种或几种的组合：平均能量、过零数或平均过零数、 频谱、共振峰、倒谱、线性预测系数、p a r c o r ( 偏自相关系数) 、声道形状尺寸 函数，以及音长、音高、声调等超声短信息函数。现在，经过f f t 变换或者l p c 得到功率谱后再经过对数变换和傅立叶反变换所得到的倒谱参数以及根据人的 昕觉特性变换的美尔倒谱参数是较常用的特征参数。除了这些静态参数外，这些 参数随时间的变换反映了语音特性的动态特性。识别参数的选择与难识率及复杂 度的矛盾有关。在通常情况下，参数所包含的信息越多，则分析和提取的复杂度 也越大。 3 )模式匹配及模型训练技术 模式匹配是指根据一定准则，使未知模式与模型库中某一模型获得最佳匹 配。语音识别所应用的模式匹配和模型训练技术有：动态时间规整技术、隐马尔 克夫模型、入工神经网络。 根据语音识别系统采用的模式匹配及模型训练技术的不同。可以把语音识别 方法分为三种：模板匹配法、随机模型法和概率语法分析法三种。这三种方法都 可以说是建立在最大似然决策贝叶斯( b a y e s ) 判决的基础上的。但具体的做法 不同： 模板匹配法： 早期的语音识别系统大多是按照模板匹配的原理构造的针对特定人、小词汇 量、孤立词识别系统。模板匹配法典型语音识别系统的实现过程如图卜l 所示。 圉卜i 语音识捌的实现 识期结莱 学髓论文基于小波变换的语音端点检溅及汉语声韵母声学特性磷究 在训练阶段，用户需要将词汇表依次说一遍，将其特征矢量作为模板存入模 板库。在识别阶段，将输入语音的特征矢量与模板库的每个模板进行比对，将相 似度最高的作为识别结果输出。针对孤立词识别时酷话速度不均匀的难题，采用 了动态时间伸缩算法d t w 。时间规整即时间校正，是把一个单词内的时变特征变 为一致的过程。保证了两模板间存在最大的声学相似性。 随机模型法： 随机模型法是目前语音识别主流的研究途径。最常用的是隐马尔可夫模型 ( h m m ) 。 语音信号可以看成是一种信号过程，它在足够短的时间段上的信号特征近似 于稳定，而总的过程可看成是依次从相对稳定的某一特性过渡到另一特性。h m m 则用概率统计的方法来描述这样一种时变的过程。在该模型中，马尔可夫链中的 一种状态转移到另一状态取决于该状态的转移概率( 状态生成概率) 。由于从观 察的角度看状态转移是隐含的，因此这是一个双重随机过程。可以使用h m m 的概 率参数来对似然函数进行估计与判决，从而得到识别结果。 概率语法分析法： 这种方法是用于大长度范围的连续语音识别。即“区别性特征”与来自构词、 句法、语义等语用约束相互结合，构成一个“由底向上”或“自顶向下”的交互 作用的知识系统。从语音识别的角度看，语音是随机的、多变的，其语法规则既 复杂又不完全确定，这给获取完备的规则以及执行高效的算法都带来了极大的难 度。 除了上面的三种语音谚 别方法外，还有许多其他的识别方法。其中最重要的 是基于人工神经网络的语音识别方法。 人工神经网络a n n 在语音识别中的应用也是目前研究的热点之一。该网络本 质上是一个自适应非线性动力学系统，模拟了人类大脑神经元活动的基本原理， 具有学习、记忆判断、联想、对比、推理、概括等能力。 1 4 语音识别的应用 随着计算机技术、模式识别和信号处理技术及声学技术的发展，使得能满 学位论文 基于小波变换的语音端点检溉及汉语声韵母声学特性研究 足各种需要的语音识别系统得到实际应用。近二三十年来，语音识别在工业、军 事、交通、医学、民用诸方面，特别是在计算机、信息处理、通信与电子系统、 自动控制等领域中有着广泛的应用，并且极有可能成为下一代操作系统和应用程 序的用户界面。 现在，语音识别已经深入到人们生活的方方面面。从电信、交通、税务、 银行、证券、保险等行业到企业和家庭用户，从p c 到手机再到m p 3 和玩具，其 应用几乎无所不在。而中文语音技术的不断进步，将给中国的老百姓带来更多快 捷、便利的崭新服务。 自从互联网普及以后人们难于获取信息的苦恼，很快就变为被过多、庞 杂的信息包围的烦扰。虽然通过搜索引擎、目录、人工编辑等工具，人们可以获 得一定的辅助：但是这些工具的准确性和方便性仍很不足够，急迫需要提供智能 化、精确化、专业化、个性化等以用户为中心的智能信息服务，智能信息服务将 成为下一代互联网的主旋律。而自然语言理解技术可以为信息服务带来革命性的 理念和崭新的应用，有效提高服务的质量和满意度，为相关行业和信息服务业创 造更多的发展空间，是智能信息服务的核动力。用户们呼唤自然语言，因为它是 人机交互的最高境界，是人机交互最自然的方式，以。说话方式来操控计算机网 络系统将彻底改变人们几十年形成的”按键”操控的传统概念和习惯，使人重归 自然”轻松自由。有理由相信，在不远的将来，任何人、在任何时刻、在任何 场所、在任何设备上，都可以通过自然语言方便浏览网页、互相传递信息，实现 随时随地沟通交流的目标。苹果公司将为有视觉障碍的用户推出语音界面。该语 音界面能提供结合了发音、收音提示和键盘导航功能的系统，以帮助盲人用户能 像普通用户一样方便地使用。微软公司也计划开发语音识别系统，使计算机能真 正彻底丢掉键盘和鼠标这将不仅是计算机发展史上的又一场革命，而且将改变 我们的生活。 在电信系统中的应用目前主要集中在电话查询、语音辨识总机服务、语音 拔号、语音订票订位等。最近，美国a u d i o p o i n t 网络公司正式推出名为m y a u d i o p o i n t 的语音服务窗口，该窗口将借助于一种语音识别软件，向不同电话 用户提供不同的网络新闻和信息，用户只需通过电话发出语音指令。即可从该网 站获取新闻、娱乐、体育以及股票等信息。另外，新的呼叫中心正在演变成一个 丝垄鲨 垄至尘塑婴丝壁缕塑塑堡塑塑丝堂堂墅堕 客户联系中心的概念。客户可以发送电子邮件，参与视频会议，或者是在线聊天 一所有这些都在一个i n t e r n e t 站点上进行。由于电话是人们生活中应用最广泛、 最快捷的通信工具，因此，专家们预言，未来的计算机服务网络系统与用户终端 接口都少不了”电话一公共语音识别功能”，而电话就象计算机样是每个网络系 统必不可少的终端装置。甚至可以说，是否具有电话一公共语音识别功能将是衡 量一个网络系统水准和完整性的重要标志之一。 国内厂家也积极在这个领域内有所建树，声硕科技在1 9 9 9 年初开发了 ”s p e e c h d i r e c t s d k ”语音辨识应用软件开发工具，利用这套开发工具，电脑软件 开发厂商可以开发出各式各样的语音相关应用软件。中科信利电话语音谚 别引擎 t s r 是特别为电话语音应用设计的语音识别引擎，是i 0 0 0 个词左右的中等语音 识别系统，其内核基于隐马尔科夫模型，搜算法针对电话语音识别作了针对性的 改进以提高速度和识别率。得意音通公司推出的语音互联网络系统是实现语音上 网查询，把语音门户平台、呼叫中心，以及数据中心有机地结合起来，提供”全 方位一揽子服务”的应用模式。新太集团2 0 0 3 年初也推出了t t s a s r ( 文语转换 t e x tt os p e e c h 自动语音识别a u t o m a t i cs p e e c hr e c o g n i t i o n ) 系统。另外， 不少厂家也在开发语音短信系统，旨在改变短信系统按键输入的不方便性。 由此可见，语音识别产品、系统将成为二十一世纪具有强有力市场竞争力 的高技术产品。美国风险投资家e d p a i s l e y 针对语音识别的市场前景说过这样 一段话：未来技术投资中的”大事4 就是语音识别，或许它将能够与狂热的 i n t e r n e t 投资相抗衡。作为赢家，语音识别将在新的市场中大出风头。 1 5 选题的意义 与目前多方面的迫切需求相比，目前的语音议别技术研究水平还远远不能达 到使计算机与人类之间能够自然交流的这个终极目标，甚至曾有专家比喻其难度 要超过“人类登上月球”! 可见虽然实用语音识别技术的研究是一项机具市场价 值和挑战性的工作，但其所面临的问题和困难也是不可低估的。 从语音识别系统的组成可以看出，语音信号预处理部分对于语音识别的后续 核心算法及整个系统的性能、抗躁能力起着非常重要的作用。其中的端点检测技 术是从包含语音的一段信号中确定出语音的起点以及终点。有效的端点检测不仅 能使处理时间减到最小，而且能排除无声段的噪音干扰，从而使识别系统具有良 9 学位论文基予小波变换的语音端点捡溅及汉语声韵母声学特性磷究 好的识别性能。本文根据小波变换的特性，针对主要由白色噪声组成的噪声背景， 提出一种新的语音段起止端点检测算法。从而在高信噪比和低信噪比的情况下均 能正确判别语音段和噪声段。 语音识别单元的选取、特征提取技术、模式匹配准则及模型训练技术是语音 识别的三个关键技术。在汉语连续音识别时，倾向于采用声母一韵母作为识别的 参数基元，以音节字作为识别基元。汉语音节由声母、韵母和音调构成，且大部 分声韵母声学特性相差很大，但也有部分声母与韵母同为浊音，部分声学特性比 较相近。如何分辨语音段是声母段还是韵母段，从而根据汉字的音节结构组成一 个音节是一个非常值得研究探讨的问题。本文分析了汉语的声母和韵母的发音特 点，并对其基音周期、过零率、平均能量及共振峰等特性参数进行了分析，总结 同为浊音的声韵母的不同声学特性，为迸一步音节识别及单个汉字的提取打下基 础。 1 0 望毽堡塞基于小波变换的语音端点捡翩及汉语毒韵母声学特性 i 究 第2 章语音信号分析 2 1 引言 语音信号是携带语音信息的语音声波，语音信号的数字处理基于语音信号的 数字化表示。通过对语音信号发声过程的研究以及观察记录的各种语音波形，可 知语音信号的频谱分量主要集中在3 0 0 3 4 0 0 1 1 z 的范围内。如果用一个防混叠的 带通滤波器将此范围内的语音信号频谱分量取出，然后按大于8 k h z 的采样率对 语音信号进行采样，就可以得到离散的语音信号数字化采样。 语音信号具有很强的“时变特性”，语音信号从整体来看其特性及表征其本 质特征的参数都是随肘闼丽变化的。即是一个非平稳态过程。但发声器官的的变 化速度较声音的振动速度要缓慢得多，因此可以认为语音信号在一个短时间范围 内( 通常认为在5 m s 5 0 m s ) ，其特性可以认为基本保持不变即相对稳定，即“短 对平稳性”。语音信号的短时平稳性是语音信号数字处理的基础，可将语音信号 看作一个准稳态过程，对之进行“短时分析”，在实现上就是将缓冲区中的语音 数据分为一段一段的数据帧( 一般在1 0 m s 3 0 m s ) ，分别对每一帧数据进行处理， 这个短时分析的语音段称为一个分析帧。由此，对整体语音数据碍到由每一帧特 征参数组成的特征参数时间序列，该序列也就是整体语音数据的特征参数了。在 模型库中保存了所需的语音数据的参数序列，与输入语音数据的特征参数分析匹 配，找出差异最小的且满足经验值要求的作为匹配者。最重要的语音信号短时特 征和短时参数包括它的“短时能量”、“短时过零率”、“短时相关函数”、“短时频 谱”等。 根据所分析出的参数的性质不同，可将语音信号分析分为时域、频域、倒频 域分析等。根据分析方法的不同又可将语音信号分析分为模型分析方法和非模型 分析方法两种。时域分析直接对语音信号的时域波形进行分析，具有简单、计算 量小、物理意义明确等优点，但由于语音信号最重要的感知特性反映在功率谱中， 而相位变化只起着很小的作用，所以相对于时域分析来说频域分析更为重要。模 型分析法是指依据语音信号产生的数学模型，来分析和提取表征这些模型的特征 参数，如共振峰分析及声管分析( 即线性预测模型) 法；而不进行模型化分析的 学缱论文 基于小波变换的语音端点检溅及汉语芦韵母声学特性研究 其他方法都属于非模型分析法，包括时域分析法、频域分析法及同态分析法( 即 倒频域分析法) 。 不论分析什么参数以及采用什么方法，在按帧进行语音分析和提取语音参数 之前，语音信号数字化、端点检测、预处理等必须预先进行，这些也是不可忽视 的语音信号分析的关键技术。语音信号数字化一般包括放大及增益控制、防混叠 滤波、模数变换及编码等。防混叠滤波的目的主要是抑制超出f s 2 的高频分量 及抑制5 0 h z 电源工频干扰。在分析处理之前也必须先进行端点检测，将语音信 号部分从输入信号中找出来。预处理一般包括预加重、加窗和分帧等。预加重的 目的是提升高频部分，使信号频谱变得平坦。 2 2语音的基本声学特性 2 2 1 音素、音节 音素( c o n s o n a n t ) 是语音发音的最小单位，任何语占都有语音的元音 ( v o w e l ) 、辅音( c o n s o n a n t ) 两种音素。 元音是当声带振动发出声音气流从喉腔、咽腔进入口腔从唇腔出去时，使 声腔完全开放，气流可以顺利通过，发音器官均衡地紧张，气流较弱的因素。不 同的元音是出不同的口腔形状形成的。辅音是呼出的气流在发声通道中受到阻 碍，不能畅通，且发音器官中阻碍部分较紧张，气流较强的音素。还有些音素， 虽然声道基本畅通，但某处声道比较狭窄，引起轻微的摩擦声，称为半元音。 由两个或三个元音组合在一起的元音称为复合元音。复合元音有真性复合 元音和假性复合元音之分。 元音鼻化是由于鼻与固耦合作用产生的，一般是由于该原因与鼻辅音临近 而发生的现象。 说话时一次发出的，具有一个响亮中心，并被明显感觉到的语音片段叫做 音节( s y l l a b l e ) 。一个音节可以由一个音素构成，也可以由几个音素构成。元 音构成一个音节的主干，从长度及能量方面来看，元音在音节中占主要部分。辅 音则只出现在音节的前端或后端或前后两端，它的时长和能量与元音相比都很 卅、。 学位论文 基 ；_ 小波变换的语音端点检漉及汉语声韵母声学特性研究 2 2 2 汉语语音的特点 汉语语音的基础是汉语拼音，由1 0 个元音和2 2 个辅音组成，共计2 1 个声 母和3 8 个韵母。元音、辅音与声母、韵母是两个不同的概念，声母、韵母是以 在音节中的位置而论的；元音、辅音是以发音方式而定的。但两者又是相互联系 的，汉语中声母都是辅音，大部分的韵母是元音，少部分韵母由元音加辅音构成， 例如： a n 、 a n g 等。 汉语拼音中的声母根据发音部位和发音方法的不同可塞音、塞擦音、 擦音、鼻音和边音，除零声母外，其他所有声母都是单辅音。 具体分类如下表所示： 表2 - 1 ：汉语声母表 发音部位 发音方法 双唇音唇齿音舌尖前音舌尖中音舌尖后音舌面前音舌根音 不送气b 。玻d ，得g 哥 寒音清音 送气p ，坡 t ，特k ，科 不送气z ，资z h 知 j ，基 寨擦音清音 送气c ，雌c h 。蚩 q ，欺 清音 佛 s ，思s h ，诗 x 希h 喝 擦音 浊音r 日 鼻音 浊音m ，摸n ，讷 边音浊音劣 另外，汉语拼音中还会出现零声母的情况，零声母是指那些直接以元音开 始的音节，即只有韵母没有声母的情况。共有两种情况，种是以 i 、 u 开始 的音节，即以半元音开始；一种是开口呼的零声母，例如： a 等。 汉语拼音中的韵母包括8 个单韵母、1 4 个复韵母、1 6 个鼻韵母。具 体分类如下表所示： 学位论文基于小波交换的语音端点捡翱及汉语声韵母声学特性研究 表2 2 ：汉语韵母表 单元音( 6 个)复合元音( 1 3 个)复合鼻元音( 1 6 个) a 啊，o 喔，e 鹅， a ie i 哀， a n 安，e n 恩，a n g 昂， l 资的韵母，i 知的韵母8 0 熬，o h 欧e n g 亨的韵母，o n g 轰的韵母 i 行i 衣i a 呀。i e 耶，j a n 烟，i n 网，i a n g 央 i a o 腰，i o u 优i n g 英。j o n g 雍 u 行u 乌u a 蛙，u o 窝， u a r l 弯。u e f l 温， u a i 歪u e i 威u g 汪 u e n g 翁 d 行n 遇 u e 约 l l a n 冤u n 晕 汉语普通话除轻音外，有阴平、阳平、上声、去声四种声调。汉语 音节由声母、韵母和声调组成。汉语具有单音节的特点，一个汉字对应一个音节。 2 1 个声母和3 8 个韵母配合组成4 0 0 个左右的音节，再加上四声组成1 6 0 0 个左 右的有调音节，但有的音节没有对应的汉字。实际有调音节大约1 2 0 0 1 3 0 0 个。 汉字有四种音节结构：v 、c v 、v c 。、c v c 。其中c 是除了 n g 以外的 全部辅音，v 是单元音或复合元音：c 是鼻辅音 n 、 n g 。c 为声母，v 或v c ， 称为韵母。这就是汉语的声一韵母结构。 在普通话里，声母和韵母的音征并不总是在各自的音段之内，而且 又可能跨越两者的边界，即声母里可能会带有韵母的信息，韵母里也可能会带有 声母的信息。过渡段处于声母和韵母之间，是跟韵母共振峰平滑衔接的一段高度 动态的浊音音段。 2 2 3 语音的基本声学特性 1 ) 浊音、清音、爆破音 语音按声带振动的激励形式可分为三类：浊音( v o i e e d s p e e e h ) 清音 ( u n v o i c e d s p e e c h ) 爆破音( p l o s i v e s p e e c h ) 。 当气流通过声门时，如果声带的张力刚好使声带发生张驰振荡式的振荡。 产生准周期的气流这一气流激励声道产生浊音。当气流通过声门时，如果声带 不振动，而在某处收缩，迫使气流以高速通过这一收缩部分而产生流，就产生清 音。如果使声道完全闭合，在闭合后建立起气压，然后突然释放，就碍到爆破音。 学位论文 基于小波变换构语音端点检灞及汉语声韵母声学特性研究 元音全部是浊音，而辅音有浊音也有清音，需要根据是否有声带振动来判 断。汉语中的韵母都是浊音。大部分的声母是清音，声母表中只有鼻音 i l 、 m 、 边音 1 及擦音 r 是浊音，另外半元音声母也是浊音。 2 ) 基音周期 当发出浊音时，气流通过声门时声带发生振动，产生准周期激励脉冲串， 这个脉冲串的周期称为“基音周期( p i t c h ) ”，其倒数称为“基音周期”。基音频 率在各个音节的元音段随时间变化。产生了声调。 基音频率与个人的声带长短、厚薄、韧性、劲度和发音习惯有关，一般男 性的基音频率大致在5 0 - 2 0 0 h z 范围内，女性的基音频率大致在2 0 0 4 5 0 h z 范围 内。 3 ) 共振峰 另个重要声学特性是共振峰( f o r m a n t ) 。声道和鼻道均可以看成是一段 非均匀截面的声道管，在发音时起共鸣器的作用。当元音激励进入声道时会引起 共振特性，产生一组共振频率，称为共振峰频率或简称共振峰。共振峰参数是区 别不同元音的重要参数，它一般包括共振峰频率( f o r m a n t f r e q u e n c y ) 的位置和 频带宽度( f o r m a n t b a n d w i d t h ) 。不同的元音对应于一组不同的共