（检测技术与自动化装置专业论文）语音信号动态特征分析及其可视化的关键技术研究.pdf

l j ad i s s e r t a t i o nf o rt h ed e g r e eo fd o c t o ri nm e a s u r e m e n tt e c h n o l o g y & i n s t r u m e n t a t i o n k e yt e c h n o l o g i e sr e s e a r c ho fs p e e c hd y n a m i cf e a t u r e a n a l y s i sa n ds p e e c hv i s u a l t z a t i o n -lll - b yx u el i f a n g s u p e r v i s o r ：p r o f e s s o rw a n gx u n o r t h e a s t e r nu n i v e r s i t y n o v e m b e r2 0 0 9 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人已经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示诚 挚的谢意。 学位论文作者签名：藓万7 芳 日期：劢眇i 6 ， 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年口一年口一年半口两年口 学位论文作者签名：蓖刁芳 导师签名： 签字日期：为d f 签字日期：，p i - ， 东北大学博士学位论文 摘要 语音信号动态特征分析及其可视化的关键技术研究 摘要 语音信息的传递是人们之间交流最方便、最自然的手段。一部分聋哑人不能说话是 因为他们的听觉器官遭到损坏，不能将语音信息采集到大脑，但发音器官是完好的。这 种情况下的聋哑人，如果辅助于一些视觉训练系统，经过一段时间的专j - j n 练，是可以 学会说话并和健全人进行交流。对这种将语音信息转换为可以用视觉识别图像的辅助聋 哑人语音训练系统自上世纪六十年代中期以来国内外都有很多研究，但到目前为止这些 系统大多采用单一的语音特征表示方法，不仅识别率不高，而且显示的信息过于专业化， 不宜为聋哑人理解接受。 本文着眼于研究语音生成和感知的机理，特别是语音生成和感知在大脑中的信息传 递和处理方式，利用现有技术( 小波变换、听觉模型、神经元网络和流行学习方法等) 在语音分析方面的优势，提出一种语音在大脑感知系统中的参数描述，并以图形形式进 行显示的一种新的语音识别方法。该方法与传统语音识别方法相比，原理易于理解，计 算量小；同时又试图证实语音( 至少是元音) 的感知过程是一个简单的拓扑映射。最终 形成的图形易于识别，只需要进行简单的训练，利用聋哑人大脑自身反馈和极强的视觉 补偿功能，即可进行语音的辨识。本文的创新点如下： ( 1 ) 详尽阐述了传统语音识别技术和辅助聋哑人语音训练技术的研究现状，并通过对 语音生成和感知机理的系统研究，论证了将人类的语音信号转化为视觉信息的可 行性和适用性；同时对现阶段在语音分析领域中使用的各种语音图谱及可视化方 法进行了较为深入的研究和探讨，分析了这些方法各自的原理、应用范围、优点 和不足；最后在简要阐述传统手工语音信号的特征提取方法( 包括l p c c 、m f c c 和p l p 等等) 的基础上，基于神经元网络和流行学习方法的基本原理，提出了语 音信号自动特征提取的概念和方法。 ( 2 ) 提出了一种新的语音信号可视化方法，该方法利用基于小波理论( w t ) 的多分辨 率思想，建立听觉模型滤波器组来对听觉系统进行模拟，克服了传统语音分析方 法( s t f t ) 对高、低频段具有相同的时间分辨率和频率分辨率的缺点，这种特性 十分接近入耳对声音信号的感知。对经过小波变换滤波后的语音信号进行特征编 东北大学博士学位论文摘要 码形成语音的组合特征，将该组合特征作为一个新的特征量来表示和反映语音的 特征规律；并将这种特征用简单的图形表示出来，利用聋哑人自身的大脑来识别 语音，在一定程度上实现了语音变图像的设想。 ( 3 ) 创建并描述了一种基于时间自组织映射网络( t s o m ) 的语音可读模式。在自组织 映射网络( s o m ) 基础上，引进了时间增强机制来提高系统性能。该方法弥补了 原自组织映射网络固定的空间拓扑结构和忽视了时间因素( 对于语音信号至关重 要) 的缺陷。时间自组织映射网络( t s o m ) 方法对随时间变化的语音谱的可视化 尤其有效，连续短时谱形成了二维映射平面上的一条轨迹并且随时间的变化可以 观测到语音信号的动态变化规律。 ( 4 ) 提出了一种基于时间线性嵌入( t l e ) 的语音信号可视化方法。局部线性嵌入方 法( l l e ) 是一种进行特征提取的无人监督的学习算法，特征提取的目的就是在 降低语音信号特征维数的同时保留语音信号的大部分关键信息。如果语音变量可 以由一小部分连续特征来描述的话，我们可以把语音数据看作是嵌入在所有可能 波形的高维空间中的低维流形。本文将流形学习算法运用在语音数据处理中，详 细分析并讨论了局部线性嵌入( l l e ) 的基本算法和局限性；在此基础上提出了 基于时间线性嵌入( t l e ) 的改进算法，尽可能从高维的语音信号中提取出有用 的低维结构。该算法在低维空间中分离元音的能力得到了评价并与经典的线性降 维方法( p c a ) 进行了比较；结果表明流形学习算法在低维空间优于经典方法并 能发现语音数据有用的流形结构。 ( 5 ) 提出了一种基于听觉模型的语音信号可视化方法，该方法利用g a m m o t o n e 听觉滤 波器组和m e d d i s 内毛细胞发放模型来获取表征听觉神经活动特性的听觉相关图； 并将听觉相关图中每个频带的频率分量幅值进行特征编码作为表征当前频带特性 的特征向量。与传统语音信号处理方法( 如语谱图) 相比，该方法能反映出更多 听觉模型( a m ) ： e ) 东北大学博士学位论文a b s t r a c t k e yt e c h n o l o g i e sr e s e a r c ho fs p e e c hd y n a m i cf e a t u r ea n a l y s i sa n d s o e e c nv i s u a l l z a t l o n ll - a b s t r a c t i n f o r m a t i o nt r a n s f e rb yv o i c ei st h em o s tc o n v e n i e n ta n dn a t u r a lc o m m u n i c a t i o nm e a n b e t w e e np e o p l e s o m ed e a f - m u t ec a n n o tt a l kb e c a u s et h e i ra u r a lo r g a ni sd a m a g e da n dc a n n o t c o l l e c ts p e e c hi n f o r m a t i o nt ob r a i n ，b u tt h e i rp r o n u n c i a t i o no r g a ni si n t a c t i nt h i sc o n d i t i o n ， t h ed e a f - m u t ec a nc o m m u n i c a t e 、析t ht h en o r m a lp e r s o ni ft h e ya c c e p ts o m es p e c i a lt r a i n t h r o u g hs o m ev i s i o nt r a i ns y s t e ma f t e ram o m e n t t h ev i s u a la s s i s t a n ts p e a k i n gt r a i n i n gs y s t e mi no r d e rt oh e l pd e a f - m u t es t u d ys p e e c hh a s b e e nw i d e l yr e s e a r c h e db yt h ei n s i d ea n do u t s i d et h ec o u n t r ys i n c et h em i d d l eo f19 6 0 s b u t t h em a j o r i t yo fs y s t e ma d o p t ss i n g l ev o i c ec h a r a c t e rt os h o wi m a g e t h e s em e t h o d sa r en o t o n l yv e r yl o wi d e n t i f i c a t i o nr a t eb u ta l s om a k et h ed e a f - m u t ed i f f i c u l t l ya c c e p t e db e c a u s eo f t o op r o f e s s i o n a l b a s e do nt h ep r i n c i p l eo fs p e e c hp r o d u c t i o na n dp e r c e p t i o n ，e s p e c i a l l yt h ei n f o r m a t i o n t r a n s f o r mm e t h o di nt h eh u m a nb r a i no fs p e e c hp r o d u c t i o na n dp e r c e p t i o n ，m a k i n gu s eo ft h e a d v a n t a g eo fp r e s e n tt e c h n o l o g yi ns p e e c hs i g n a lp r o c e s s i n g ，i n c l u d i n gw a v e l e tt r a n s f o r m ， a u d i t o r ym o d e l ，a r t i f i c i a ln e u r a ln e t w o r ka n dm a n i f o l dl e a m i n g ，t h ep a p e rb r o u g h t f o r w a r dap a r a m e t e rd e s c r i p t i o ni nh u m a nb r a i np e r c e p t i o ns y s t e mo fs p e e c ha n dan o v e l s p e e c hr e c o g n i t i o nm e t h o dw h i c hw a sd i s p l a y e dw i t hi m a g em o d e c o m p a r e dw i t ht r a d i t i o n a l m e t h o d ，t h ep r i n c i p l eo fn o v e lm e t h o dw a se a s i l yu n d e r s t o o da n dc o m p u t e ds i m p l ya tt h e s a m et i m e ，t h ep a p e ra t t e m p t e da p p r o v et h a tt h ep e r c e p t i o nc o u r s eo fs p e e c h ( a tl e a s tv o w e l ) w a sas i m p l et o p o l o g ym a p t h eu l t i m a t ef i g u r ew a se a s i l yd i s t i n g u i s h e da n dt h ed e a fc o u l d r e c o g n i z es p e e c ho n l yb ys o m es i m p l et r a i n i n g ，m a k i n gu s eo ft h e i rv i s i o nc o m p e n s a t i n g f u n c t i o n t h ei n n o v a t i o no ft h ep a p e rw a sd e s c r i b e da sf o l l o w ： ( a ) t h ep a p e rd i s c u s s e dt h er e s e a r c hs t a t u so ft h et r a d i t i o n a ls p e e c hr e c o g n i t i o nt e c h n o l o g y a n ds p e e c ht r a i n i n gt e c h n o l o g ya s s i s t a n th e a r i n gi m p a i r e di nd e t a i l ，a n dd e m o n s t r a t e dt h e f e a s i b i l i t ya n da p p l i c a b i l i t yo fs p e e c ht oi m a g et h r o u g hs y s t e mr e s e a r c ho fs p e e c hp r o d u c t i o n a n dp e r c e p t i o n t h ev a r i o u ss p e e c hs p e c t r u mp a t t e r n si nn o w a d a y sw e r ei n v e s t i g a t e dd e e p l y , a n dt h ep r i n c i p l eo ft h e s em e t h o d s ，t h e i ra d v a n t a g ea n dd i s a d v a n t a g ew e r eg i v e n a tl a s t ， b a s e do nt r a d i t i o n a ls p e e c hf e a t u r ee x t r a c t i n gm e t h o d ，i n c l u d i n gl p c c ，m f c c ，a n dp l p e t c ， t h ep a p e r p u tf o r w a r dt h ea u t o m a t i cs p e e c hf e a t u r ee x t r a c t i n gc o n c e p ta n dm e t h o da c c o r d i n g i v f e a t u r ev e c t o re x p r e s s i n gp r e s e n tf r e q u e n c yb a n dc h a r a c t e r i s t i c t h ea u d i t o r ym o d e le x t r a c t e d t h ec r i t i c a li n f o r m a t i o no ft h e s p e e c hs i g n a la n dp r e s e n t e dm o r ef r e q u e n c yi n f o r m a t i o n c o m p a r e d 诵t hc o n v e n t i o n a la c o u s t i cp r o c e s s i n gt e c h n i q u e s ( s p e c t r o g r a me t c ) k e yw o r d s ：s p e e c hv i s u a l i z a t i o n ，c o m b i n e df e a t u r e ，s p e c t r o g r a m ，w a v e l e tt r a n s f o r m ， a u d i t o r ym o d e l ，t e m p o r a ls e l f - o r g a n i z e dm a p ( t s o m ) ，t e m p o r a ll i n e a re m b e d d i n g ( t l e ) v 东北大学博士学位论文目录 目录 独创性声明i 摘要i i a b s t r a c t i v 目录v i 第一章绪论1 1 。1 研究背景概述1 1 1 1 传统语音识别技术的研究现状2 1 1 2 辅助聋哑人语音训练技术的研究现状4 1 2 课题的提出及其可行性研究6 1 3 本文的主要研究内容和章节安排8 1 3 1 研究的主要内容8 1 3 2 章节安排9 第二章语音生理基础1 1 2 1 语音的发音机理1 l 2 1 1 元音1 2 2 1 2 辅音1 4 2 2 语音的听觉机理1 5 2 2 1 基本原理15 2 2 2 听觉系统简介1 6 2 3 本章小结1 8 第三章语音信号处理基础及语音图谱分析1 9 3 1 语音信号预处理1 9 3 1 1 预滤波1 9 3 1 2 量化2 0 3 1 3 预加重2 0 3 1 4 端点检测2 0 3 2 语音图谱分析2 4 3 2 1 语音时域图的分析2 4 3 2 2 语音常用谱图分析2 6 3 2 3 基于小波变换的语音谱图3 0 3 2 4 基于听觉模型的听觉谱图3 2 3 2 5 基于自组织映射神经网络( so m ) 的语音动态轨迹图3 4 3 2 6 相空间语音谱3 7 v i 东北大学博士学位论文 目录 6 2 4 时间自组织映射网络( t s o m ) 8 6 6 3 实验结果与分析8 8 6 3 1 语音信号的获取8 8 6 3 2t s o m 语音映射图8 9 6 4 本章小结9 2 第七章基于时间线性嵌入( tl e ) 方法的语音信号可视化表示9 3 7 1 前言9 3 7 2 基于流形学习的降维方法概述9 5 7 2 1 线性降维方法9 5 7 2 2 非线性降维方法9 7 7 2 3 非线性降维方法统一框架1 0 1 7 3 局部线性嵌入算法( l l e ) 1 0 2 7 3 1 基本算法1 0 2 7 3 2 基本算法的局限性讨论1 0 4 7 3 3 时间线性嵌入算法( tl e ) 1 0 9 7 4 实验结果及分析1 1 0 7 5 本章小结1 1 2 第八章结论与展望1 15 8 1 研究成果和结论1 15 8 2 迸一步的研究工作一1 1 6 参考文献1 1 7 致谢1 2 7 在学期间发表的学术论文1 2 9 东北大学博士学位论文 绪论 第一章绪论 1 1 研究背景概述 语音是人与人之间最自然、最有效、最方便的沟通方式，透过语音，人们无须借助 额外的工具便可以彼此交换各种信息，它也是人类进行思维的一种依托。虽然我们从眼 睛所接收到的刺激比从耳朵所接受到的要来得多，但不可否认的是，要与他人进行沟通， 使用语音绝对比只用眼睛更有效率。因此，语音信息是人们构成思想疏通和情感交流的 最主要的途径。现在人类已开始进入了信息化时代，计算机的使用已普及到人类社会的 各个领域，随着计算机的便携化的发展和计算环境的1 7 1 趋复杂化，人们越来越迫切的希 望让计算机能理解人类语言，使其使用更自然化、人性化。所以用现代化手段研究语音 处理技术，对促进社会的发展有十分重要的意义。 语音的本质有哪些? 语音是一种声波，它本身带有语言学上的相关信息，即我们说 出的这段语音所对应的文字信息。除此之外，语者的声调高低、抑扬顿挫，以及语者说 话当时的情绪，也可以从语音中得知。因此，使用语音交换信息，在我们的日常生活中 占有相当重要的地位。我们可以回想一下和别人讲话时的情景，在高兴时和悲伤时所讲 的话，语气是不是不一样呢? 在和好朋友聊天时和与喜欢的男( 女) 生讲话时，语气是 不是也不一样呢? 在回答老师所提的问题时和主动去指导同学时，语气是不是也不相同 呢? 这些都是语音本身具有的信息，而我们人类可以从中得知对方于交谈中不断变换的 语意、语气及情绪。至于电脑呢? 就目前而言，还没有办法达到这样的境别”。 基本上，可以从两个方面来观察一段语音信号的特性。其一是语音波形，这是经由 声卡将语音信号转换成数字信号后，以时间为横轴，将每一个时间点所对应的能量绘出 的图形；另一则是频谱图，如果我们视语音为一种密码，那么频谱图就是提供一种用来 将语音归属到不同密码类别的最佳方式。 图1 1 给出了“今天天气很好 的语音波形与其对应的频谱图。上半是语音录制到 电脑中直接根据时间轴所绘出的波形图，我们可以观察到不同的字词在波形上有不同的 表现；下半的频谱图则是将语音以不同于波形的另一种形式表达出来的。 ( 3 ) 1 9 5 9 年，在英格兰的u n i v e r s i t yc o l l e g e ，f r y 和d e n t s 开发了一个语音识别器， 可以识别4 个元音和9 个辅音，主要使用波谱分析器和模式识别器进行识别。这 种方法的创新之处在于利用了音素序列的统计特性来提高对含有多个音素的单 词的识别率。 ( 4 ) 1 9 5 9 年，m i t 的林肯实验室，f o r g i e 研制了一个针对非特定人的元音识别器。通 过对声道共振的时间变化估计来决定说出的是哪个元音。 东北大学博士学位论文绪论 在6 0 年代，出现了语音识别方面的几种基本思想；而且在6 0 年代初，日本进入了 语音识别的研究领域并且开发了具有特定用途的语音识别硬件。主要的研究成果有： ( 1 ) 1 9 6 0 年，日本的无线电研究实验室开发了一个元音硬件识别器； ( 2 ) 1 9 6 2 年，日本k y o t o 大学开发了一个音节硬件识别器； ( 3 ) 1 9 6 3 年，n e c 实验室开发了一个数字硬件识别器。 6 0 年代出现的三个研究项目对后来的语音识别研究产生了非常深刻的影响： ( 1 ) r c a 实验室m a r t i n 的一些研究工作，在对语音起始和终止可靠检测的基础上， 解决了语音事件中因时间度量的不一致性引起的一系列问题。最后m a r t i n 开了一 家公司t h r e s h o l d ，专门从事语音识别方面的产品开发和销售。 ( 2 ) 苏联科学家v i n t s y u k 提出了一种用动态规划方法使一组语音发音在时间上进行 对齐，其中包含了动态时间折弯( d t w ) 的思想和进行连续语音识别的一些基本 算法。 在7 0 年代，语音识别方面取得了许多具有里程碑意义的成果，非连续语音识别在以 下几个人的努力下已经变得实际可行： ( 1 ) 苏联：v e l i c h k o 和z a g o r u y k o 将模式识别思想引入到语音识别领域中来； ( 2 )日本：s a k o e 和c h i b a 将动态规划方法应用到语音识别中； ( 3 ) 美国：i t a k u r a 将线性预测编码( l p c ) 技术扩展到语音识别领域。 在8 0 年代，语音识别研究的特点是集中在连续语音识别技术上，其特点有： ( 1 ) 技术上从模板匹配方法转向统计建模方法，特别是隐式马尔科夫模型( h m m ) 的引入，这种方法最先在i b m 等少数公司得到应用； ( 2 ) 另外一种新技术就是神经元网络( a n n ) 思想在语音识别领域得以应用； ( 3 ) 美国国防部远景计划局在最大词汇量的、连续语音识别系统中的大量资助。 9 0 年代后，d a r p a 进行第二次语音研制计划，研制内容为“不特定人大词汇量连 续语音识别”( 计划4 年完成) 。这次计划对上次研制过程中的诸多问题提出了解决要求。 还有，以i b mv i a v o i c e 为代表的大量商用化语音识别系统开始涌现。 1 1 1 2 对后期研究有较大影响的三项技术 1 动态时间折弯( d t w d y n a m i ct i m ew a r p i n g ) 在语音识别匹配过程中，采用参考样本和测试样本的响应部分在时间上对齐的方 法，借助动态规划和选择恰当的规整函数，可以使参考样本和测试样本得到更好的匹配， 从而使识别率大幅度提高，这种方法在1 9 6 8 年首先用于语音识别。 东北大学博士学位论文 绪论 2 线性预测技术( l p c l i n e a rp r e d i c t i o nc o e m c i e n t s ) 其基本概念就是一个语音抽样可以用过去若干个语音抽样的线性组合来逼近。通过 使实际语音抽样和线性预测抽样间的“平方和 最小，即可唯一确定一组预测参数。将 l p c 用于语音识别和合成都有很显著的效果。 3 隐马尔科夫模型( h m m ：h i d d e nm a r k o vm o d e l ) 采用马尔科夫模型进行语音识别，实质上是一种概率运算。设待识别语音信号为彳， 符号串集为彬( f - 1 ，2 ，n ) ，则p ( 彬i 彳) 为在已知条件下形的条件概率。分别计算形的 条件概率，取最大值为识别结果。由于马尔科夫过程各状态间的转移概率和每个状态下 的输出都是随机的，故这种模型更能适应语音发音的各种微妙变化，使用起来要比模板 匹配灵活得多。训练需要运算量大，但识别的运算量比较小。 1 2 1 3 语音识别技术局限性讨论 随着计算机技术的迅猛发展，语音识别也得到前所未有的飞速发展( h m m 、a n n 技术) 。与此同时，也引发出一系列的实际问题：环境的改变、噪声干扰等使得识别率 迅猛下降，这也是语音识别一直不能真正从实验室走进实际应用的瓶颈所在。另外，即 便是性能良好的语音识别系统，它的能力与人耳的功能也是远远不能相提并论的。 目前大多数的语音识别系统都采用模板匹配的方法，即先把语音分成一帧一帧的片 段，然后逐一计算出各帧的特征参数，用多组数据对这些参数进行训练之后形成用作识 别的模板。识别时先比较待识别语音与各模板之间的特征距离，再根据距离门限进行识 别判定。该方法没有利用每一分类所必需的内在特性而是盲目地使用对声音硬性量化的 模式匹配，而模式匹配的处理往往忽视了在模式信息中语音信息与说话者个人特性的信 息同时并存，因而在说话者数量较大时很难取得成功。 语音识别是一个综合性学科，结合语言学、语音学、语音生理学、语音心理学、数 字信号处理、模式识别等综合知识。故要想从根本上解决以上问题，仅仅利用某方面的 知识是远远不够的，必须将各个学科融合起来，从一个新的角度挖掘语音识别的新方法。 1 1 2 辅助聋哑人语音训练技术的研究现状 据1 9 8 7 年国家统计局对全国残疾人抽样调查公布的数字，由于听力及智力残疾导致 的语言障碍有2 7 8 7 万人，每年有新生聋哑婴儿也近2 0 万人，是残疾类型中比例最高。 听力损失作为名列第十五位的世界疾病，对社会造成了很大的影响【5 】。但对于其中一些 听力障碍者，他们的发音器官是好的，但听觉神经系统受损后，听不清甚至听不到周围 的声音和人们的语音，尤其7 岁以内的聋儿正处在语言、智力等诸方面发展的关键时期， 4 东北大学博士学位论文 绪论 无法进行模仿学习，同时听神经长期得不到有效的刺激，导致大脑皮层的听觉、言语和 语言中枢发育迟滞，语音能力低下。所以尽管大多数聋儿的发音器官完全正常，但由于 无法通过听觉反馈校正自己的发音而存在有严重的语音问题。现阶段一些学者研究发现 聋哑儿章的视觉鉴别能力和对色彩刺激的视觉记忆能力较强。由于生理的补偿，他们的 视觉记忆和想象力有可能高于正常儿童【6 】。如果帮助这一部分人进行语言训练，建立、 完善听觉认知、形成正确的言语反射，重建听觉言语链，可以最大可能的恢复语音功能。 可见，聋哑人的语言康复是残疾人康复中的一个重要课题。 聋哑人语言康复训练始于6 0 年代，随着计算机技术的发展，计算机辅助语音训练系 统也得到了不断地发展，其原理如图1 2 所示。8 0 年代e l 本开发了能使听觉障碍者进行 发声和发音训练的装置，同期其它国家也研制了具有类似功能的训练装置，中国科学院 也开发了耳聋儿童汉语教学系统等。 、，- _ p ，- ， 图1 2 计算机辅助语音训练系统 f i g1 2t h es y s t e mo fs p e e c ht r a i n i n ga s s i s t a n t e db yc o m p u t e r 2 0 世纪8 0 年代起，就有许多学者研究计算机言语训练方法【8 1 【9 1 ，这些方法可主要分 为2 种：一种是利用聋哑人的残存听力借助助听器或通过人工耳蜗植入进行听力重建听 取自身发音以纠正发音的听觉反馈。借助助听器虽然造价低，但效果较差，对重听、重 度耳聋、全聋的患者效果更差或完全无效。而移植人工耳蜗虽然可以使极重度耳聋者得 到听觉恢复但价格昂贵，一些家庭由于经济的原因或地区医疗条件的限制无法进行手 术。另一种是在聋哑人视觉代偿的基础上进行的，聋哑人因听觉通道受阻无法形成对自 己声音的反馈，但借助于视觉通道，他们发出的声音可以形象显示，从而可据此对发音 行为进行调节。虽然，借助视觉代偿功能形成合适的条件反射机制没有直接地借助听觉 形式来得快，但是经过一段时间的训练之后，完全可能建立合适的发音机制。这种方法 又可以分为以下三种形式： 有语音识别技术本身也存在着难以逾越的障碍。这些是这类系统的最大缺点【1 团。 1 2 课题的提出及其可行性研究 人体作为一个系统也许是到目前为止已知系统中最完善的一个，如果我们想建立一 个智能系统的话应该首先考虑怎样把人的功能赋予它。本文的出发点是探索和学习人的 语音功能和认知机理并试图把它应用于辅助聋哑人语音训练系统中去。 有关语音合成与语音识别的研究就是想通过计算机来实现人的语音生成和感知功 能。但是它们应用的原理及方法和我们人的机理相差甚远，所以遇到许多难以克服的困 东北大学博士学位论文 绪论 难。在人的语音生成和感知的研究中，上个世纪初人们就注意到人说话时语音生成和感 知之间的相互作用，即有名的l o m b a r d 效应。在此之后，人们通过延迟听觉反馈和变形 听觉反馈等方法来探索语音生成和语音感知的原理及其相互之间的联系；h o n d a 在运用 肌电图的生理学研究中根据语音的运动和感知表象的拓扑相似性提出了一个假设，即语 音在大脑中的信息传递和处理可能是通过语音生成和感知之间高效率的拓扑映射实现 的。这个研究表明人们会话的时候在生成语音的同时也感知和处理别人和自己的语音， 完成这么大的计算量如果应用现在的语音参数和信号处理方法是不可想象的【1 7 1 。这说明 了人在语音生成和感知过程中可能使用了更简洁的参数和更有效的匹配方法。 通过对语音信号的分析，可以看到它同人的许多生理信号有着共同性，如视觉信号、 肌电信号等，都很难用常规度量信号的量和方法来加以说明，如频率、振幅、共振和谐 振等。因此想要用单一的特征来反映语音发音特征是很困难的。 我们都知道人对外界的感知和交互都是通过人的生理器官在大脑的指挥下，对信息 的采集并传递给大脑，大脑对这些外部的语音信号进行存储和处理得到可以理解的信 息。如果我们能找到一种和人类听觉系统对语音采集方式、大脑对语音存储、理解原理 相近的方法来表达语音的特征，并直接将这些特征反映在c r t 上，利用聋哑人自身视 觉器官和大脑来识别这些语音，即可达到训练其发音的目的。 我们先从听觉系统的组成入手研究，听觉系统由耳廓、外耳道、鼓膜、听小骨、耳 蜗及听觉神经组成。耳廓收集音经外耳道到鼓膜到听小骨到耳蜗到听觉神经送入大脑。 在这段路程中，由于外耳道的形状，在声音到鼓膜前将声压放大3 - 6 d b ，通过听小骨形成 的一套机械杠杆，再次将声压放大1 5 倍，然后是骨传导产生更大的放大约2 2 倍。 k g o n b e k e s y 用正弦信号对耳蜗中的基底膜进行研究，得出以下结论： 基底膜的听觉响应与刺激频率有关，频率较低时，靠近耳蜗尖部的基底膜产生响应； 反之，频率高时，则靠近圆形窗的窄而紧的基底膜产生响应，基底膜频率响应的空间分 布，导致基底膜上不同的位置的柯蒂氏器官的纤毛细胞对不同频率的声音弯曲，从而刺 激附近的听觉神经末梢产生电化学脉冲，并经听觉神经传递给大脑。整个过程类似一组 滤波器。 那么大脑是如何对语音信号进行识别和理解的呢? 举例来说当听到元音 a 】的时候 听者是如何分辨出来的? 可以肯定的是人脑中存储了一个【a 】音的模式，当听到的声音信 号传导至大脑时，如果能与这个模式匹配上则得出结论，这个音是【a 。那么对大脑的模 式库的研究和匹配过程就是关键点了。 7 o ，o 东北大学博士学位论文 绪论 通过对一系列音素研究表明，大脑的模式库中的每条记录存放的是语音信号的识别 特征，而不是语音信号的全部，这可以从不同人的说话者均可识别而简单推得。模式库 中的数据是动态数据，它包含的是语音波形的基本样式及这种样式随时间变化的情况。 这一点很像短时频谱分析但又不同于短时频谱分析，它对频率的具体数值不十分关心， 更关心的是这些频率之间的关系，包括频率之间的比例关系和这些频率的信号强度关 系。 那么基于这种模式库，人的听觉系统包括大脑在内的匹配过程就应该是这样的： 从时刻0 起，人听到第一个声音信号开始，听觉神经将通过“过滤器 ( 耳蜗与柯蒂 氏器官及听觉神经束) 的声音，按不同频率用不同的神经束送入大脑，大脑根据它们频 率与幅度关系，得到第一个数据，在根据这些比例关系随时间的变化情况，得到其它的 一系列数据，根据这些数据决定模式库中的某一存储位置，这个位置的输出值便是听到 的语音【1 8 】。 本文着眼于研究语音生成和感知的机理，特别是语音生成和感知在大脑中的信息传 递和处理方式，利用现有技术( 小波变换、听觉模型、神经元网络和流行学习方法等) 在语音分析方面的优势，提出一种语音在大脑感知系统中的参数描述，并以图形形式进 行显示的一种新的语音识别方法。该方法与传统语音识别方法相比，原理易于理解，计 算量小；同时又试图证实语音( 至少是元音) 的感知过程是一个简单的拓扑映射。最终 形成的图形易于识别，只需要进行简单的训练，利用聋哑人大脑自身反馈和极强的视觉 补偿功能，即可进行语音的辨识。但要证实人的语音生成和感知系统的原理还需要许多 定量的实验，本文作者希望我们的研究能起到一个抛砖引玉的作用，引起更多研究者的 关注和兴趣。 1 3 本文的主要研究内容和章节安排 1 3 1 研究的主要内容 本文基于语音生成和感知的机理以及信号处理和模式识别领域的新理论和方法，通 过对语音信号的基本特征和语音图谱的研究和分析，设计了一系列语音信号可视化方 法： ( 1 ) 利用基于小波理论( w t ) 的多分辨率思想，建立听觉模型滤波器组来对听觉系 统进行模拟；对经过小波变换滤波后的语音信号进行特征编码形成语音的组合特 征，将该组合特征作为一个新的特征量来表示和反映语音的特征规律；并将这种 - r 东北大学博士学位论文绪论 特征用简单的图形表示出来，利用聋哑人自身的大脑来识别语音； ( 2 ) 在自组织映射网络( s o m ) 基础上，引进了时间增强机制来提高系统性能；时间 自组织映射网络( t s o m ) 方法对随时间变化的语音谱的可视化尤其有效，连续 短时谱形成了二维映射平面上的一条轨迹并且随时间的变化可以观测到语音信 号的动态变化规律； ( 3 ) 将流形学习算法运用在语音数据处理中，详细分析并讨论了局部线性嵌入( l l e ) 的基本算法和局限性，在此基础上提出了基于时间线性嵌入( t l e ) 的改进算法， 尽可能从高维的语音信号中提取出有用的低维结构； ( 4 ) 利用g a m m o t o n e 听觉滤波器组和m e d d i s 内毛细胞发放模型来获取表征听觉神经 活动特性的听觉相关图；并将听觉相关图中每个频带的频率分量幅值进行特征编 码作为表征当前频带特性的特征向量，试图反映出更多的语音频率特性。 在仿真试验中，本文对从语音提取到最后的图形表示各个环节进行了仿真，通过实 验证明了该方法的有效性。本文的意义在于将这些新方法用于辅助聋哑人进行发音训练 系统中。以上所列举的方法比较易于理解、计算量小，又符合人类自身生理器官对语音 的感知的过程，取得了比较好的效果。现阶段本文提出的方法还有很多不足，谨希望给 在语音信号处理领域中研究的学者提供一些帮助。 1 3 2 章节安排 本论文共分为八个章节。 第一章为绪论，详尽阐述了传统语音识别技术和辅助聋哑人语音训练技术的研究现 状，并通过对语音生成和感知机理的系统研究，论证了将人类的语音信号转化为视觉信 息的可行性和适用性；提出了该课题的意义并介绍了本论文的布局。 第二章则详尽地介绍了语音的发音特征( 包括元音和辅音) 和听觉机理( 即声音的传 导过程：从外耳、中耳、内耳、听神经、耳蜗核、到听觉皮层) ，为课题的设计提供了理 论依据。 第三章简要介绍了语音信号的预处理技术，在此基础上对语音信号的几种端点检测方 法：如短时能量法、短时能量和短时平均过零率法、短时能零积法进行了比较；同时对 现阶段在语音分析领域中使用的各种语音图谱及可视化方法进行了较为深入的研究和探 讨，分析了这些方法各自的原理、应用范围、优点和不足；最后在简要阐述传统手工语 音信号的特征提取方法( 包括l p c c 、m f c c 和p l p 等等) 的基础上，基于神经元网络 东北大学博士学位论文绪论 和流行学习方法的基本原理，提出了语音信号自动特征提取的概念和方法。 第四章提出了一种新的语音信号可视化方法，该方法利用基于小波理论( w t ) 的多 分辨率思想，建立听觉模型滤波器组来对听觉系统进行模拟，克服了传统语音分析方法 ( s t f t ) 对高、低