（通信与信息系统专业论文）声调识别因素及在电子耳蜗语音信号处理方案中的应用(1).pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人 承担。 论文作者签名：壅焘! 銎日期：型丝：! z 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保 留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅；本人授权山东大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本 学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：盎查堕导师签名： 山东大学硕士学位论文 中文摘要 电子耳蜗是唯一能使全聋患者恢复听力的医疗仪器，语音信号处理方案是电 子耳蜗系统中最关键的技术，它对耳蜗的性能有重要的影响。本论文在前人研究 的基础上，通过实验分析了影响声调识别的时域和频域因素并结合汉语的声调特 点，探讨了适合于汉语特性的电子耳蜗语音信号处理新方案，并对有关问题进行 了较深入的探讨、分析。论文采用声音模拟的方法对提出的方案进行了初步测试， 证明了方案的有效性。其具体内容为： 1 ) 改变语音信号频域和时域的参数，将处理后的语音信号用现有语音信号处 理方案特别是c i s 方案进行声音模拟，找出影响声调识别的关键因素； 2 ) 采用小波变换的方法提取声调。 3 ) 讨论如何改进已有的电子耳蜗语音信号处理方案，用较少的电极把汉语 语音识别的关键因素有效地传递给听神经。 本文较深入地研究了时域信息和频域信息对电子耳蜗语音信号处理方案汉语 声调识别的贡献，并通过对刺激模式的改变有效地将这些关键因素传递给听神经， 从而构成了一个新的、基于汉语声调特征的语音信号处理方案的电子耳蜗解决方 案。希望通过本论文的研究工作，将来能研制出性能好、价格低的电子耳蜗，真 正造福于中国的全聋患者。 关键词：电子耳蜗，语音信号处理方案，电刺激，声调感知 时域信息，频域信息 山东大学硕士学位论文 一j ! ! l _ _ l _ _ _ 自e _ _ i _ _ _ 日h _ _ _ _ l _ l _ _ _ - l l i _ l - - | 目- 1 日l j _ _ _ i _ _ _ _ _ a b s t r a c t c o c h l e a ri m p l a n t , a st h eo n l ya v a i l a b l em e d i c a ld e v i c et or e s t o r eh e a t i n ga b i l i t yt o t o t a l l y d e a fp e o p l e ，i so n eo ft h em a i nr e s e a r c hf r o n t i e r si nt h ea r c ao fo t o l o g ya n d r e h a b i l i t a t i o ne n g i n e e r i n g s p e e c hs i g n a lp r o c e s s i n gs t r a t e g yp l a y sa ni m p o r t a n tr o l ei n t h ed e v e l o p m e n to fd i f f e r e n tt e c h n i q u e sf o rd e r i v i n ge l e c t r i c a ls t i m u l if r o mt h es p e e c h s i g n a l t h i st h e s i sa n a l y z e st h es p e c t r a lc u e sa n dt e m p o r a lc u e st h a th a v ei n f l u e n c eo n t o n er e c o g n i t i o na n dt h e np r o p o s e san e ws p e e c hp r o c e s s i n gs 廿a t e g yf o rc o c h l e a r i m p l a n t sb a s e d o i lc h i n e s et o n a l i n f o r m a t i o n f i n a l l y ，p r e h i n i n a r yt e s t sb yu s i n g a c o u s t i cs i m u l a t i o n ss h o wt h a tt h ep r o c e s s o rw i t ht h i ss t r a t e g yc a r lg e tg o o dc h i n e s e s p e e c hp e r c e p t i o n t h et h e s i sc o n s i s t so f t h ef o l l o w i n g p a r t s ： 1 ) w et r i e dt of i n do u tt h ec u e st h a th a v ei n f l u e n c eo nt o n er e c o g n i t i o nu s i n g a c o u s t i cs i m u l a t i o n sa f t e r c h a n g i n gt h es p e c t r a l c u e sa n dt e m p o r a lc u e so fs p e e c h s i s a l 2 ) w ed i s c u s s e dh o wt ou s e d y a d i cw a v e l e tt r a n s f o r mf o rp i t c h p e r c e p t i o n 3 ) t h i st h e s i sa n a l y z e ds y s t e m a t i c a l l yi m p r o v e ds p e e c hp r o c e s s i n gs t r a t e g i e sf o r c o c h l e a r i m p l a n t s b a s e do nt h e p r i m a r ys t r a t e g i e s ，s ow ec a nd e l i v e rt h ev i t a l i n f o r m a t i o no fc h i n e s el a n g u a g et oc o c h l e a t h o u g hm a k i n gg o o du s eo ff e w e rn u m b e r o f e l e c t r o d e s 。 i n s u m m a r y ，t h i st h e s i sd e e p l yi n v e s t i g a t e dt h ec o n t r i b u t i o n so ft e m p o r a la n d s p e c t r a lc u e st o c h i n e s et o n er e c o g n i t i o na n dd e l i v e r e dt h e s ev i t a l c u e st oa u d i t i o n n e r v et h o u g hc h a n g i n gt h em o d eo fe l e c t r i c a l s t i m u l a t i o ns oan o v e l s p e e c hs i g n a l p r o c e s s i n gh a sb e e np r e s e n t e db a s e do nc h i n e s et o n a li n f o r m a t i o n f r o mt h ew o r k so f t h i st h e s i s ，w eh o p et o d e v e l o pn e w c o c h l e a ri m p l a n td e v i c e sw i t hh i g h p e r f o r m a n c e a n dl o w - c o s tf o r p r o f o m a d l yd e a f p e o p l ei nc h i n a k e yw o r d s ：c o c h l e a ri m p l a n t ，s p e e c hp r o c e s s i n gs t r a t e g y ，e l e c t r i c a ls t i m u l a t i o n p i t c hp e r c e p t i o n ，t e m p o r a lc u e s ，s p e c t r a lc u e s 4 山东大学硕士学位论文 l _ _ l _ - l _ i _ _ _ - _ _ _ _ - j _ _ - 目_ _ - _ _ _ - _ _ 1 1 问题的提出 第一章引言 听觉系统是人类获取信息的主要器官，也是人类赖以生存的基本功能之一。 听觉器官的任何一部分有缺陷或发生病变，都会产生听觉障碍。据统计，我国现 有各类耳聋患者2 4 0 0 多万，其中老年耳聋患者1 3 3 5 万，儿童耳聋患儿1 8 4 万，7 岁以下的全聋患儿8 0 多万，而且每年新增加全聋患儿3 5 万，是我国最大的残 疾人群体。 根据听力的情况来划分有微聋( 2 5 5 5 分贝) 、重听( 5 5 - 7 0 分贝) 、全聋 ( 7 1 分贝以上) 。对于轻度耳聋患者，由于他们尚有一定的残余听力，可以借助 于助听器( h e a r i n ga i d ) 对声音信号进行放大，部分恢复听觉能力。在我国有很 多开发生产助听器的厂家，虽然助听器可以在某些程度上帮助有较弱听力障碍者 恢复听力，但它只是放大声音以帮助尚有残存听力的人，不能从根本上解决全聋 人的听力问题，另外它们携带也不方便。对于重度耳聋( 纯音平均阈值 9 5 d b ) 患 者，已无法通过配戴大功率助听器来改善听力，或提高言语分辨能力来适应正常 的社会交往。为了从根本上解决听力障碍者的听力问题，就必须寻找其他的的方 法从根本上来恢复耳聋患者的听觉感知特性。重度耳聋患者的治疗，一直是耳科 学的难题之一，目前，在i | 缶床上还缺乏有效的治疗方法。 研究表明，多数聋人听觉致聋的主要原因是由于毛细胞的损伤而不是听神经 元。从5 0 年代后期起，研究者们就开始考虑能否设法复原感觉神经性听觉丧失患 者由于听毛细胞缺失残损的电讯号。1 9 5 7 年，法国学者d j o u r n o 和e y r i e s 首先报 告了一例全聋病人应用电极进行直接刺激听神经的试验，患者可以感受到语音韵 律的变化，可以判定别人讲的是单音节词还是双音节词，通过测定神经尖峰讯号 可以对音高有所感觉，这些对唇读都有实质性的帮助。6 0 年代以来，随着人们对 听觉生理功能的深入了解，许多学者致力于研究一种能恢复全聋人听力的电刺激 装置，该装置被称为电子耳蜗“”，英文名称为c o c h l e a ei m p l a n t ( 简称c i ) ，有 的学者也称之为耳蜗埋植或人工耳蜗。 人工耳蜗植入术是治疗重度感觉神经性耳聋的极佳方法，也是目前唯一能使 全聋患者恢复听觉的装置，被称为是一种革命性的产品。它是根据人体生理特点， 精心设计的一种电子仪器。由语音处理器、方向性麦克风及传送器组成。在植入 人体耳部后，声音由麦克风接收转换成电信号后，传送到语音处理器，将信号放 大、过滤、数字化，并编译成适当的信号，经由传送器传送到接收器，产生电脉 山东大学硕士学位论文 一自_ e e e _ - - _ _ _ _ _ i _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ - _ _ - - 冲，再输送到相应的电极，电极直接刺激内耳的听觉神经末梢，并传送到大脑形 成听觉。经过一段时间的语言训练，使聋哑人达到说话的能力，从此结束聋哑人 终生听不到声音、不会说话的痛苦，真正成为聋哑人的福音。 电子耳蜗通过功能性电刺激( f u n c i o n a le l e c t r i c a ls t i m u l a i o n ，简称f e s ) 的方法直接兴奋残存的听神经。当用微弱的电流脉冲作用于听神经时，可以诱发 听神经的兴奋，该兴奋沿听觉通路传递给大脑，并解释为声音。目前，f e s 技术还 应用于残疾人其他功能的康复，如：盲人视觉功能和截瘫病人运动功能的恢复等， 而且f e s 技术和电子耳蜗被列为1 9 9 6 年美国国家关键技术。 电子耳蜗正是基于以上原理，避开了外耳、中耳和部分内耳器官等，直接用 微弱电流兴奋听神经纤维，模仿外周听觉系统的生理功能，产生与正常人耳相似 的神经发放模式。因此，电子耳蜗也被称作仿生耳，它是对正常人耳功能进行模 仿的一种电子装置。 我国是世界上人口最多的国家，全聋人的数量也最多，而国外的电子耳蜗产品 价格昂贵，每套约2 3 万美元，难以适应国内的消费水平。另一方面，国外的语 音信号处理方案没有充分考虑汉语的特点，汉语是有声调的语言，汉语的声调有 表词达意的作用，发音类似但声调不同的字代表完全不同的含义。充分利用汉语 的声调特征将更有效地帮助中国聋人恢复语言能力。同时，利用汉语的特征，有 可能进一步研究性能价格比高的电子耳蜗，降低电子耳蜗的成本，造福于更多的 全聋患者。由此可见，基于汉语特征的电子耳蜗的研制具有较高的经济利益和较 远的社会意义。 1 2 国内外研究现状 1 2 1 国外研究现状 澳大利亚的n u c l e u s 2 2 导人工耳蜗”“”在成人和儿童都获得了巨大成功，分别 在1 9 8 4 年和1 9 9 0 年经f d a 获准在成人和儿童身上使用。n u c l e u s 2 2 导人工耳蜗 是6 0 年代末由澳大利亚墨尔本大学的g r a e m e c l a r k 教授及其同事首先发明的多导 人工耳蜗植入系统，并由c o c h l e a r 公司与墨尔本大学合作研制成功了最终的定型 产品。1 9 9 7 年c o c h l e a r 公司与墨尔本大学合作又推出了n u c l e u s 2 4 型人工耳蜗， 代表了当今世界人工耳蜗发展的先进水平。美国旧金山的加利福尼亚大学( u c s f ) 、 t r i a n g l e 研究机构( r t i ) 和高级仿生学有限公司设备制造商合作研制的c l a r i o n 耳蜗植入系统，在近来研究试验中，获得了较高的语音识别率，也获得了f d a 的 山东大学硕士学位论文 认可。其他的还有美国的i n e r a i d 和奥地利的m e de l 等耳蜗产品，也已进入了临 床使用。 但是，这些电子耳蜗装置，一方面价格较高，普通的中国家庭还难以承受，另 一方面没有充分考虑汉语的特征，为使中国耳蜗植入者较准确理解语音内容，还 必须改进现有的语音信号处理策略。 1 2 2 国内研究现状 在国内，1 9 7 9 年，北京协和医院邹路得、王中直等在动物实验的基础上首次 为聋人植人工耳蜗装置。1 9 8 2 年改进为感应式环境声，并提高了唇读的能力。此 后，上海王正敏，西安高荫藻，广州陈成伟等相继开展了这方面的工作。我国近年 来在自行研常q 和引进多导新处理方案人工耳蜗“1 的同时，一些单位针对汉语4 声的 特点，对人工耳蜗植入的有关问题作了进一步的研究。国内的耳蜗植入以单导为 主，尚不能直接听懂语言。 同仁医院于1 9 9 6 年在国内率先开展多导人工耳蜗植入研究，5 年来先后为5 0 名患者成功施术，其中大部分是儿童，年龄最小的仅1 8 个月。2 0 0 2 年2 月，全国 最大的电子耳蜗中心一北京同仁医院人工耳蜗中心成立。2 0 0 3 年1 2 月，我国第 一家听力国际国家( 中国) 中心人工耳蜗植入基地在哈尔滨医科大学第一医院成立。 这是国际防聋组织首次与我国医疗机构合作。2 0 0 3 年1 2 月，复旦大学附属眼耳鼻 喉科医院研制成功国产多道程控人工耳蜗，患者能分辨各种环境声，元音和辅音， 尤其能分辨汉语四声，可与国外先进的同类产品媲美，但目前尚处于实验室条件 下的少量产品。 由于国外的电子耳蜗产品价格较高，而国内尚处于研究开发时期，因此，国 际目前已在l 临床手术约4 万例，而国内仅进行了约1 8 0 0 例手术。研制适合中国人 消费水平，而且性能较高的电子耳蜗系统是解决电子耳蜗在国内广泛应用的关键 所在。 本论文的主要研究内容如下： 一、通过实验的方法，对影响声调识别的时域因素和频域因素进行了较深入 的研究，找出了时域因素和频域因素对声调识别的贡献。 二、讨论如何用小波变换进行声调的提取，对如何选择小波、如何确定小波 系数等进行了较详细的分析。 三、探讨如何把影响声调的因素有效地应用于电子耳蜗语音信号处理方案， 山东大学硕士学位论文 对已有的信号处理策略进行了改进，使其能反映汉语的声调特征。 本课题研究存在的问题： 一、需继续研究反映声调特征的因素，并通过有效的方式引入电子耳蜗语 音信号处理方案中，使电子耳蜗更加能反映汉语的特点。 二、 需继续对声调提取算法的进行研究，如何快速而准确的提取声调是实 现基于汉语特征的电子耳蜗语音信号处理方案的关键。 三、 开展噪音环境和同时有多个说话人的情况的算法，使耳蜗植入者更好 的在各种环境下与人交流。 山东大学硕士学位论文 第二章电子耳蜗的机理及汉语的特征 电子耳蜗是对人的听觉系统感知声音机理的一种模仿，对电子耳蜗系统的研 究，必须了解听觉系统模型以及耳蜗是如何分析声音信息的。同时，本章对汉语 的主要特征进行了讨论。 2 1 听觉模型 对电子耳蜗语音信号处理方案的研究必须了解听觉系统的基本构成及其原 理。任何有关语音信号处理的通信系统和过程总是涉及到说( 产生语音) 和听( 接 受语音) 两个方面。因而对于语音信号的产生与其表征的分析只有与对它的感知 过程有机联系起来，才能更好的解决问题。若干研究证明，在语音识别系统中考 虑到听觉系统的处理特点而引入一些预处理，会提高整个系统的识别率。 2 1 1 耳的结构及惑音原理 耳由外耳、中耳和内耳三部分组成。外耳由耳翼、外耳道和鼓膜组成，一般 认为外耳在对声音感知中的作用：一是对声源的定位，二是对声音的放大。中耳 内含由三块听小骨锤骨、砧骨及镫骨构成的链，其作用是进行阻抗的变化，即将 中耳两端的声阻抗匹配起来：另一个是保护内耳。内耳( i n n e re a r ) 的主要构成 部分是耳蜗( c o c h l e g ) 。它是听觉的受纳器，把声音通过机械变换产生神经发放 信号。 正常情况下，声波撞击鼓膜即引起鼓膜的振动，鼓膜的振动通过听骨链的传 动，将声波传送至内耳，内耳的耳蜗管道里排列着数以千计的毛细胞，它们的顶 部长有很细小的纤毛，纤毛受到冲击，发生偏折，经过一系列生物电活动，产生 神经冲动，传导到昕神经纤维，听神经纤维在蜗轴处汇集成听神经，向大脑皮层 传导，大脑再把送达的信息加工、整合，就产生了听觉。 声波传递通路上的任何部分发生病变或受损都有可能引起听力障碍。内耳耳 蜗内的听毛细胞是负责将声音的机械信息转化为神经信息( 即听觉器官的核心部 分) ，如果这些毛细胞损坏，这种转换通路被中断，声音振动无法变为神经发放信 息传递到大脑，从而导致听力丧失。对于轻度听障碍患者，还有部分残余听力， 因此可以通过助听器对声音信号进行放大，提高他们对声音的感知能力：而对于 深度耳聋患者，其听毛细胞或神经元大部分都被损伤，再借助于助听器也无法听 山东大学硕士学位论文 到声音。研究表明，大多数听力障碍的原因都是由于毛细胞损坏引起的，而不是 由于听觉神经元的受损，他们尚有完整或部分完整的听神经元，所以，可以通过 微弱电流刺激的方法来帮助恢复听力。 2 1 2 耳蜗的结构及其在听觉中的作用 耳蜗是内耳的主要构成部分，语音信号就是在耳蜗内进行分析和编码的，它是 听觉系统中最关键的器官。耳蜗园形似蜗牛壳而得名。人的耳蜗长约3 5 c m ，最宽 处约为0 3 2 c m ，呈螺旋状盘绕2 5 2 7 5 圈。它是根密闭的管子，内部充满了 淋巴液。图2 1 画出了一个耳蜗截面的示意图。由图中可知，耳蜗由三个分割的 部分组成，靠近耳蜗外轮廓的部分称为鼓阶( s c a l at y m p a n i c ) ，而沿耳蜗内轮 廓的部分称为前庭阶( s c a l av e s t i b u l i ) ，这两个部分在耳蜗的顶端即蜗孔 ( h e l i c o t r e m a ) 处是相通的，处在这两个部分之间的是中阶( s c a l am e d i a ) ，又 称耳蜗管( c o c h l e ad u c t ) 。前庭阶与中阶之间由前庭膜( r e i s s n e r 膜) 分隔， 而中阶的底膜称为基膜( b a s i l a rm e m b r a n e ) 。在基膜之上是柯蒂氏器官( o r g a n o fc o r t i ) ，它由耳蜗覆膜、外毛细胞( o u t e rh a i rc e i l s ，约2 万个) 以及内毛 细胞( i n n e rh a i rc e i l s ，约3 5 0 0 个) 构成。这些耳蜗内的听毛细胞约和3 0 ，0 0 0 根听神经纤维相连。当耳蜗基底膜振动时，会引起柯蒂氏器官的振动，进而引起 纤毛的弯曲，使耳蜗的电位发生变化并产生动作电位，经神经纤维传入中枢系统 引起听觉。所以，柯蒂氏器官是一种传感装置，在听觉系统中，它就是声音的感 受器。 ( b ) 图2 - 1 耳蜗截面示意图 山东大掌硕士学位论文 上个世纪五十年代，g e o r gv o nb e k e s y 用正弦信号对耳蜗的特性进行了研究， 发现声音振动波在耳蜗淋巴液内以行波的方式传播。内耳的基底膜负责把声音信 号分解成不同的频率，其峰值出现在基底膜的不同位置上，在频率低时，基膜振 动的幅度峰值出现在靠近蜗孔处，即蜗项位置，随着声音频率的升高，该峰值向 基底膜根部( 郎靠近前庭窗处) 移动。 因此，耳蜗可以被简单地认为是一个空间的机械式频率分析器，不同部位对 应不同的频率，如图2 - 2 示。因为每条传入听神经只连到一个内毛细胞上，所以 它只对一定频率范围的声音信号发生响应，即某一特定的频率引起耳蜗基底膜对 应位置的听神经纤维发放神经脉冲，也就是耳蜗具有调谐作用；并且昕神经对某 一特定频率最为敏感，该频率称之为听神经的特征频率( c f - - c h a r a c t e r i s t i c f r e q u e n c y ) 。耳蜗的这种对频率信息进行编码的机理称作部位理论( p l a c e t h e o r y ) 。 图2 2 耳蜗的感音原理示意图 耳蜗的部位编码理论是电子耳蜗的基础“1 。昕神经可以通过微弱电流的刺激产 生兴奋，并沿神经纤维传递。因此，可以将一组电极通过耳蜗的鼓阶植入基底膜 的不同部位，用语音处理器对语音信号的特征进行分析，产生对应电极的刺激电 流信号，直接诱发听神经的发放。 电子耳蜗正是对正常人耳蜗特性的一种仿生。耳蜗的频率特性可以用电子电 路完成，用与正常人耳蜗功能相似的方法去模拟听神经的发放模式，进而恢复全 聋人的声音知觉。 2 2 功能性电刺激的基本原理 电刺激啦是使一定波形、幅度、持续时间、重复频率或能量的电流，按一定 的方式经负电极( 正电极取为无关电极) 作用至可兴奋组织，使之兴奋，以达到 山东大学硕士学位论文 治疗和控制的目的。电刺激能使神经和肌肉等可兴奋组织，改变钠、钾等离子的 通透性，在组织中产生离子电流。用电刺激的方法来恢复全聋人听觉，涉及到电 刺激的原理、电刺激的特性，以及如何选择适当的刺激波形和刺激参数等。 2 2 1 电刺激的电生理基础 可兴奋组织细胞处于静息状态时，细胞膜两侧存在着内负外正的电位差( 静 息电位) 。膜两侧的正、负离子层构成极化状态，具有电容器的性质。由于细胞 膜对离子的通透性具有电阻性能，因而，可兴奋组织细胞从电性能看，可模拟为 电容、电阻组合的等效电路。负电极( 不论其在细胞内或细胞外) 附近的可兴奋 组织，在有脉冲电流通过细胞膜时，会引起膜两端电位变化，使膜去极化，若外 加电刺激引起的去极化达一定阅值时，就会引起被刺激细胞中钠、钾等离子的通 透性瞬时急剧改变而发生动作电位，并由负电极动作区开始，沿神经或肌纤维向 邻近的细胞扩布，产生扩布性兴奋。凡能使可兴奋组织兴奋的最小刺激称为阈刺 激。阈刺激包括时间和强度两个基本参数。在一点的刺激作用时间( 即脉冲宽度) 下，引起可兴奋组织兴奋所需的最低刺激电流强度( 即脉冲幅度) 称为电流强度 阈值。 正常情况下，动作电位的产生由神经递质的释放产生。而对于受损的神经细 胞，如听神经或视神经，无法产生动作电位，因而导致信息传递通道的中断，引 起失聪或失明。但是，在静息状态下，如果人为地对神经细胞施加一个刺激电流， 依据h o d g l d n 和h u x l e y 在1 9 5 2 年建立的无髓神经纤维的h o d g k i n h u x l e y 模型( 简 称h - h 模型) ，神经细胞将在该电流的作用下也可以产生动作电位，即细胞具有 电可兴奋性。图2 3 为h h 的简化模型。 细胞外 细胞膜 细胞内 2 j + y 图2 - 3h h 的简化模型 图2 - 3 中，c 。为膜电容，g 。和g 。为电导，g 。为漏电导，e 。和e 。为n a 和k 离子的n e r n s t 电位，i ，为刺激电流，i s = i 。+ i + i r + i 。 由h - h 模型可以求得施加刺激电流i ，时，n a 、k 离子电导g 。和g r 的变化 山东大学硕士学位论文 和膜电位的变化。当施加刺激电流后，g 。快速增大，膜对n a 的通透性增强，引 起膜电位开始去极化。由负变正。之后，g 。逐渐变大，而g 。逐渐变小，使得 膜电位又重新极化，逐渐回到静息电位。 基予以上分析，在外加电流的作用下，细胞可以产生兴奋，动作电位还可以 沿神经纤维传导。这一技术称为功能性电刺激( f u n c t i o n a l e l e c t r i c a l s t i m u l a t i o n - - - f e s ) 。基于f e s 技术，可以设计电子耳蜗、人工视网膜或截瘫患者 运动功能重建装置。 2 2 2 刺激电流模式 为保证电刺激的安全性和有效性，还需要选择合适的刺激电流波形和刺激模 式。在临床上刺激电流通常选择双相模式，如图2 - 4 示。每一个刺激脉冲包含一 个负相的电流脉冲和一个正相的电流脉冲。双相刺激可以保证电荷的平衡，使得 刺激时射入的净电荷为0 ，避免因电荷积累对刺激部位造成的损伤。负相电荷脉冲， 即阴极刺激，使膜电位去极化，产生动作电位。对于电子耳蜗而言，刺激脉冲的 宽度w 一般为1 0 2 0 0us ，刺激电流的幅度小于2 m h 。延迟时间d 为经验值，对 于听神经的刺激，延迟d 可以为0 。 叫w - 图2 4 刺激电流波形示意图 电子耳蜗需要在相应硬件的支持下，产生如图2 - 4 所示的电流脉冲序列，并 根据语音信号的特征调整刺激模式，即刺激幅度a 和刺激频率的变化，以产生与 正常耳蜗动作电位发放模式相似的神经兴奋。 2 3 电子耳蜗系统 电子耳蜗系统m 1 一般可分为体外和体内两部分。体外部分主要包括麦克风、 语音处理器、编码发射器、发射线圈等，植入体内的部分为接收线圈、接收解码 器、刺激器和电极阵列。图2 - - 5 为电子耳蜗的系统结构图。 山东大学硕士学位论文 一目_ _ 1 日j 自l _ l - _ _ _ _ _ _ _ _ - _ - _ - _ _ _ l _ _ _ 图2 5 电子耳蜗的系统结构图 人工耳蜗的工作原理是，外界声音( 包括语言) 先由麦克风采集并转换成电 信号，再经过特殊的编码处理，生成一种能保留语言特点和规律的电脉冲，再由 发送装置变为无线电波通过戴在耳后的电磁感应线圈发射到体内。植入体内的接 收线圈收到信号后，按照指令通过植入耳蜗内电极刺激听觉神经使聋人产生听觉。 体外和体内装置之间的信号传输或通过电磁感应完成，二者之间为皮肤相隔，没 有导线连接，或者是经皮的直接连线传送。 2 4 电子耳蜗的语音信号处理方案 语音信号处理部分的功能是将声音信号转换为耳蜗中电极相对应的电刺激信 号。语音信号处理方案是电子耳蜗系统中最关键的技术，它对电子耳蜗的性能有 重要的影响。 现在不同的信号处理策略的研究主要是针对多电极的耳蜗系统“小”儿”，可根 据如何从语音信号中提取信息以及提取的信息激励电极的方法，大致分为两种不 同的类型：一类是基于特征提取，即提取语音信号中的不同谱特征信息，如语音 基频和共振峰等特征，然后产生相应电极的刺激信号；另一类是基于滤波器组的 方法，即对语音信号进行分频段滤波处理获得各频段的语音信息波形( 模拟或 脉冲形式) ，直接作为对应电极的刺激信号。 4 。2 ，1 基于特征提取的语音信号处理方案 1 ) f o f 2 方案 f o f 2 方案是澳大利亚n u c l e u s 公司的多导电子耳蜗系统在8 0 年代采用的一 种方案。这种方案直接用过零检测法提取语音的基频f o 和第二共振峰f 2 ，共振峰 f 2 的频率位置由1 0 0 0 h z 4 0 0 0 h z 的带通滤波后进行过零检测得到。f 2 的幅度由 整流和低通滤波( 3 5 h z ) 得到。f 2 的频率位置决定电极电流的刺激位置。在浊音 4 磊 而擞一 目 一解 一 口圈 犹 辨 h呱燃 圈 一 器一一音理一匡 ，赢 山东大学硕士学位论文 期间，刺激频率为f o 个脉冲秒，f 2 的幅度决定利激电流脉冲的电平；在清音期 间，以随机刺激速率进行刺激( 均值为i 0 0 个脉冲秒) 。 这种方案仅仅包括了共振峰f 2 的信息和f o 的变化信息，而且f o 的提取度较 低。病人实验结果表明，该方案使耳聋患者获得了一定的音感，而且有助于唇读。 2 ) f o f i i f 2 策略 f o f l f 2 方案是在f o f 2 的基础上加以改进，除提取出有关语音的f o f 2 信息 外，还有语音第一个共振峰频率f 1 及其幅度。截止频率为2 7 0 h z 的低通滤波器的 输出进行过零检测可获得f 0 的大小，3 0 0 - - 1 0 0 0 h z 和1 0 0 0 - 一3 0 0 0 h z 的两个带通 滤波器分别用于检测第一共振峰f 1 和第二共振蜂f 2 。在此系统中，共有2 0 个电 极，其分成两组：位于耳蜗顶部的一组( 5 个，对应低频部分) 对应于f 1 的有关 信息；位于耳蜗底部的一组( 1 5 个，对应于高频部分) 对应于f 2 的有关信息。处 理器分别根据f 1 和f 2 的大小确定每一组中对应的某一电极产生刺激电流。刺激 电流的速率由f 0 决定。 3 ) i a p e a k 方案 图 6m p e a k 方案 m p e a k ( m u l t i p e a k ) 方案( 图2 - 6 ) 和采用f 0 f l f 2 的处理策略相似，但又 有不同之处，它是对f o f 1 f 2 方案的扩展，包括了更多的高频信息。它除了提取 出f o 伊1 f 2 三个频率及其相关幅度外。还提取出一些更高频率的信息( 其最高频 率高达6 k h z ) ，而且第二个共振峰f 2 的频率范围被扩大到8 0 0 - - 4 0 0 0 h z 。因而此 山东大学硕士学位论文 法能在每一激励周期内同时激活四个电极，除f l 、f 2 激励的电极外，激励另两个 电极的信号来自于2 k h z 以上的三个高频率段，用来刺激位于耳蜗底部的电极。另 外，它还采用了一种新的编码算法，称为m u l t i p e a k ( m p e a k ) 法，此法即由此 得名。m p e a k 方案提供了更多的高频信息，有助于对语音的理解，特别是对辅音， 因为辅音的能量一般集中于高频。 2 4 2 基于滤波器组的电子耳蜗语音信号处理方案 1 ) s m s p 方案 s m s p 方案是将语音信号( o 6 k h z ) 预加重后通过一组带通滤波器分为1 6 个 通道，每一通道经过全波整流、低通滤波( 2 0 0 h z ) 检测出该频带内信号的谱包络。 对每一时刻，可以得到1 6 个频带内语音信号的强度大小，然后选取其中6 个幅度 最大作为对应电极的刺激信号，最后用对数或平方律函数将信号压缩到适当的动 态范围，并且以固定的速率2 5 0 p p s ( p u l s e sp e rs e c o n d ) 刺激听神经。这种方法 既减少了无限传输时的数据量，又最大限度地利用了语音信号中的主要信息。该 方案用于澳大利亚n u c l e u s 公司的电子耳蜗产品。其基本原理如图2 7 示。 2 ) c l s 方案 图2 7 s m s p 方案 1 9 9 1 年t r i a n g l e 研究院的科研人员美国学者w i l s o n 在n a t u r e 上的篇文章中 提出了对压缩模拟法的改进，称为连续交替取样( c i s ) 语音信号处理方案，它使用 山东大学硕士学位论文 非同时、交替脉冲来避免通道间的相互影响。c i s 方案”是电子耳蜗目前采用的 信号处理方法之一，其语音信号处理方案原理见图2 8 。 该方案中，语音信号( 0 6 k h z ) 先经预加重处理，以补偿语音信号的高频成分。 然后，进行频率分段处理，从低频到高频将语音信号经n 个带通滤波嚣划分为与 电极相对应的n 个频段。对每一个频段内的信号，经整流、低通滤波等检测出其 包络，为了提高动态范围、作对数或平方率压缩。在产生刺激信号时，c i s 方案与 s m s p 完全不同c i s 方案对每一频段内的信号包络分别用对称双相脉冲序列进行 调制，且调制脉冲序列在时序上是不同的，脉冲交替出现。最后，调制后的离散 序列即作为电极的刺激信号。 c i s 方案通过利用交替的刺激脉冲，有效的克服了通道之间的相互干扰。同时， 对每一个通道而言，它还具有相对较高的刺激速率，因为相邻通道间的脉冲时延 很小，可以达至q 较高的刺激速率，如大于$ o o p p s 。所以，c i s 方案能更好的跟踪 语音信号的变化细节。 调翩 3 ) p p s 方案和q p s 方案 图2 - 8c i s 方案 电极1 电极2 电极n p p s 方案是双相同时刺激并与c i s 方案有一些共同点的脉冲刺激序列语音方 案。与c i s 不同的是，p p s 方案不是仅刺激一个电极，而是同时刺激两个电极， 对p p s 方案来说，只有三组非同时交替的电极组。例如：l 和5 ，2 和6 ，3 和7 等同时受刺激。由于这种刺激模式，所以p p s 的刺激速率是c i s 的两倍 ( p p s ：1 3 3 0 0 p p s ，c i s ：6 5 0 0 p p s ) 。两种方案的脉冲宽度是一样的( 7 5 u s p b a s e ) ，刺 激速率的提高能提高时域的分辨率，从而有可能改善瞬时语音的识别率。 q p s 与p p s 非常相似，但是同时刺激四个而不是两个。例如，奇数电极同时 受刺激，然后偶数电极的同时受刺激。q p s 的脉冲宽带与p p s 和c i s 是一样的， 山东大学硕士学位论文 l _ _ - _ - _ e _ _ l _ l _ _ _ i - - - - - _ _ _ _ _ _ - - _ _ _ _ _ 只是刺激速率变成了3 3 k p p s ，因此q p s 的刺激速率比p p s 和c i s 都高。 4 ) s a s 方案 s a s 语音信号处理方案【1 5 】同时向i 一7 通道传递模拟波形，刺激的速率是 9 1 0 0 0 p p s ，s a s 是双极性刺激方式。对标准的c l a r i o n 电极来说，一个有效电极以 邻近的一个基电极做参照电极，这两个电极产生双极性电流。因此，第八个电极 由于没有基电极组成电极组而没有刺激电流。 图2 - 9s a s 、p p s 、c i s 三种方案的刺激波形 总之，选择合适的语音信号处理方案是由电刺激诱发听觉的关键，目前电子 耳蜗的语音信号处理方案很多，并且电子耳蜗的研究者还在不断地推出新的方案， 如上面提到的p p s ，q p s 和s a s ，其中p p s 和q p s 都是在c i s 上进行改进的，改变 同时刺激电极的数目，s a s 对刺激波形进行改变，由原来的脉冲序列改成了模拟 波。 2 5 汉语的特征 汉语是世界上使用人口最多的语言，约有1 5 亿人口使用汉语。汉语在语义学 方面有其独特的、不同于其他语系的内容。对一种语言来说，音节是发声的最小 单位。一个音节由元音( v o w e l ) 和辅音( c o n s o n a n t ) 构成。元音构成一个音节的主 干，无论从长度看还是能量看，元音在音节中都占主要部分。所有元音都是浊音。 辅音则出现在音节的前端或后端或前后两端。在汉语普通话中，每个音节都是由 “辅音一元音”构成的( 其中包括只有元音而没有辅音的纯元音音节，例如“啊”， 这种情况称为“零辅音”) ，在汉语中辅音也称为声母元音也称为韵母。 山东大学硕士学位论文 2 5 1 清浊音的特点及其不同的发音机理 我们知道，所有的韵母都是浊音，而大部分的声母都是清音，下面我们就来 介绍一下这两种音素的发声机理及它们各自不同的特点。 发声器官由三部分组成：喉、声道和嘴“。喉中有两片肌肉，称为声带，它 们的一侧由甲状软骨支撑，另一侧则由两块杓状软骨支撑和控制。后者又与环形 软骨连接。当它们分开时声带是张开的， 1 0 ( a ) ) ，正常呼吸时就处于这种倩况。 空气可自由地流过喉和气管“”( 见图2 一 两片声带之间的空隙称为声门。说话时 两片声带在杓状软骨的作用下相互靠近但不完全封闭，这样声门变成一条窄缠( 见 图2 1 0 ( b ) ) 。当气流通过这个窄缝隙时其问的压力减小，从而两片声带完全合拢 使气流不能通过。在气流阻断时压力恢复正常，因此声带间的空隙再次形成，气 流再次通过，这一过程周而复始的进行，就形成了一串周期性的脉冲气流送入声 道。这一周期气流脉冲串的周期称为“基音周期”用t 。表示，其倒数称为“基 音频率”，用l 表示。用上面所述方式发出的语音是“浊音”。 ( - ) 声蕾静彳f( b ，声带 ，忧 图2 1 0 喉的解剖结构 语音的另一种产生方式是声门完全封闭，这时声道不是受声门周期脉冲气流 的激励而是利用口腔内存有的空气释放出来而发声。由于该气流通过一个狭通道 时在口腔中形成湍流，因而明显地具有随机噪声的特点，从图2 一1 1 我们可以清 图2 1 1 清音的一段时域波形图( 横坐标表示抽样点 纵坐标表某一抽样点对应的幅度值) 山东大学硕士学位论文 2 5 2 四种声调及其声调曲线 汉语有一个不同于其他语音的特征是：汉语有它的声调。汉语普通话中具有 四种声调，它们是阴平、阳乎、上声、去声，或称之为一声、二声、三声、四声。 相同声母和韵母构成的音节随声调的不同而具有完全不同的意义，对应着不同的 方块字，例如妈、麻、马、骂，声调在普通话中承担着重要的构字辨意作用，而 在其它很多语种中声调没有这样重要的作用。 浊音的声带振动基频称为基音频率，可以用f d 或f 。来表示。无论在说一个单 音节或说一段连续语音时，各个音节中韵母段的f 。都是随时间而变化的，f 。的不 同轨迹称为声调。 声调曲线1 ，即f 。的轨迹，从一个韵母的起始端开始，到韵母的终止端结束。 图2 1 2 就是单独说一个音节时四种声调的曲线。我们可以看出，阴平( 1 声) 曲 线的特点是几乎与横轴平行保持在2 4 0 h z 。阳平( 2 声) 曲线的特点是从2 0 0 h z 的频 率一直上升到较高的2 7 0 h z 频率，或者起始处稍稍下降后一直上升。上声( 3 声) 曲线的特点是先降后升。去声( 4 声) 曲线的特点是从较高的频率出发一直下降到极 低的频率。 d 规童畦3 图2 - - 1 2 韵母a 四种声调典型的声调曲线( 女性说话者) 山东丈学硕士学位论文 3 1 引言 第三章影响声调识别的时域信息和频域信息 电子耳蜗是用有限的电极去刺激听神经以恢复全聋人的听觉，因此，电诱发 的听觉必然与正常人的听觉存在差异。 首先，电子耳蜗的电极数目( 即通道数) 有限【1 8 】 1 9 】。语音信号包含非常丰富 的频率信息，其中对语音理解比较关键的频率范围为3 0 0 h z 3 6 k h z 。正常人对声 音频率的分辨率约为几h z 左右，如：当声强固定为4 0 d b ，频率为5 0 0 h z 时音高 差阀约为2 3 h z ：频率为2 0 0 0 h z 时音高差阀约为5 6 h z ，可见，人耳具有非常 高的听辨能力。而电子耳蜗通常是用若干个电极直接兴奋听神经，仅仅激活了3 0 ， 0 0 0 根听神经纤维中有限的听神经元，因此电刺激诱发的听觉只能感受到语音信号 中的部分频率信息，大部分频率信息或者频率细节无法感受到。 其次，电刺激是用电极上电流的变化来兴奋昕神经元，电流的电场有一定的 分布范围。对于单个的刺激脉冲，刺激电流将兴奋其电场分布范围之内的一组神 经元，而且电流电场存在叠加效应。因此，电刺激的频率分辨率比较低，无法与 正常人的耳蜗对语音的频域分析相比。 同时，电刺激诱发的神经发放模式与正常耳蜗响应语音信号振动波刺激的模 式之间存在一定的差别。正常人的耳蜗有双音抑制现象和锁相特性等，可以用部 位编码和时间编码方式同时对语音的细节进行编码，而电子耳蜗只能依靠部位编 码和刺激速率对语音信号进行编码。 另外，耳聋患者的听神经的残余状况还存在着个体