（检测技术与自动化装置专业论文）基于DSP实现的人工电子耳蜗MPS言语处理方案.pdf

摘要 人【一电子耳蜗是一种为重度、极重度或全聋的成人或d , j l 恢复或获得听力 的电子装置，它能把声音信号转变为电信号直接刺激听神经纤维，从而产生听 觉。当前国外公司已经丌发出一系列具有较好语言识别能力的人工电子耳蜗产 品，使j 。大 一f 聋患者受益。近年来，我国的人工电子耳蜗技术也有长足的进步， 但与因外相比还有很大的差距。丌发具有自主知识产权，符合国内耳聋患者的 需求及消费的人工电子耳蜗系统应当成为我国研制电子耳蜗系统的发展目标。 古。语处理方案在人工电子耳蜗的发展中起了一个举足轻重的作用，决定着 人丁电子耳蜗的性能，本课题是在对国内外相关文献充分研究和分析的基础上， 追踪陶外先进技术，利用高速的通7 4 d s p 处理器芯片实现m p s - k 语处理方案。 本义的主要研究有： 1 讨论和分析了人体语音信号的特征参数，探讨了相关的多种人工电子 耳蜗言语处理方案，确定了课题中采用的多脉冲刺激( m p s ) 的言语处 理方案。 2 本人基于t m s 3 2 0 v c 5 4 0 2 ，研制出人工电子耳蜗的硬件和软件模块， 其中包括对数据处理芯片的选取、外设芯片的接口以及模拟电路，对软 件设计中的关键模块给出了构造思路和实现方法。 3 用m a t l a b 对d s p 芯片的语音信号处理过程进行了仿真，论证了本 文采用的占语处理方案的可行性。 本课题是人体医学和电子信息科学的交叉产物，它以听觉的基础理论为依 据，应用了现代的语音信号处理技术、数字信号处理器以及可编程逻辑器件等 诸方面知泌。研制人工电子耳蜗并实现其言语处理方案，目的是为困内自主研 制人工电子耳蜗提供一些借鉴，以造福广大耳聋患者。 关键词：人t 电子耳蜗，d s p ，言浯处理方案，m p s a b s t r a c t c o c h l e ai m p l a n ti so n ek i n do f e l e c t r o n i ca p p a r a t u sf o rd e a f a d u l t so rc h i l d r e nt o r e s u m eo re n a b l eh e a r i n g ，w h i c hc a nc h a n g et h es o u n ds i g n a li n t ot h ee l e c t r i cs i g n a lt o s t i m u l a t et h ea u d i t o r yn e r v ef i b r ed i r e c t l y ，a n dp r o d u c et h es e n s eo f h e a r i n g c u r r e n t l y f o r e i g nc o m p a n i e sh a v ea l r e a d yd e v e l o p e da s e r i e so f c o c h l e ai m p l a n t sw i t hb e t t e r r e c o g n i t i o nc a p a b i l i t yo f l a n g u a g e ，w h i c hb e n e f i t st h ev a s td e a f p a t i e n t s i nr e c e n t y e a r s ，t h e r ei sa l s om u c hp r o g r e s so ft e c h n o l o g yo fc o c h l e ai m p l a n ti no u rc o u n t r y h o w e v e r ，a st os u c ht e c h n o l o g y ，r & di nc h i n ai ss t i l ll a g g e db e h i n df o r e i g n c o u n t r i e s i ti st h eg o a lf o rc h i n at od e v e l o pc o c h l e ai m p l a n t st h a th a v ei n d e p e n d e n t i n t e l l e c t u a lp r o p e r t yr i g h t s ，a n da c c o r d i n gw i t ht h ed e m a n da n dc o n s u m p t i o no f d o m e s t i cd e a fp a t i e n t s t h es p e e c hs i g n a lp r o c e s s i n gs t r a t e g yp l a y sa ni m p o r t a n tr o l ei nt h ed e s i g na n d d e v e l o p m e n to fc o c h l e ai m p l a n t ，w h i c hd e t e r m i n e st h eo v e r a l lp e r f o r m a n c eo ft h e c o c h l e ai m p l a n t o nt h eb a s i so ff u l l ys t u d y i n ga n da n a l y s i n gd o c u m e n t sr e l e v a n tt o d o m e s t i ca n di n t e r n a t i o n a la d v a n c e m e n t ，t h i ss t u d ya d o p t st h ef o r e i g na d v a n c e d t e c h n o l o g y ，a n dm a k eu s eo fh i g h - s p e e dd s pp r o c e s s o rc h i p ，s o a st or e a l i z em p s s p e e c hp r o c e s s i n gp r o t o c 0 1 t h ea r e a ss t u d yi nt h i sd i s s e r t a t i o na r el i s t e da st h eb e l o w ： 1t h ec h a r a c t e r i s t i cp a r a m e t e r so ft h es o u n ds i g n a la n do t h e rr e l a t e ds p e e c h p r o c e s s i n gd e v e l o p m e n ta r ea n a l y z e d a n dt h em u l t i p l ep u l s a t i l es t i m u l a t i o n ( m p s ) s p e e c hp r o c e s s i n gp r o t o c o lc o n f i r m e d 2 o nt h eb a s i so ft m s 3 2 0 v c 5 4 0 2 ，ac o m p l e t es y s t e mo f h a r d w a r ea n ds o f t w a r e m o d u l e sw a sd e v e l o p e di nt h ea r t i c l ew ed e t a i l e dt h ef r a m e w o r ko fv c 5 4 0 2 ， i n t e r f a c e so fc h i p s ，a n ds i m u l a t i o nc i r c u i t s ，a n dg a v et h em e t h o do ft h ef l o w c h a r t o fk e ym o d u l eo fs o f td e s i g n 3 m a t i 。a bs i m u l a t i o no fs o u n ds i g n a lp r o c e s s i n go fd s rp r o v e dt h ef e a s i b i l i t y o fs p e e c hp r o c e s s i n gs t r a t e g y v 塑：叁兰：塑1 兰! ! 丝兰一 a st h ei n t e r s e c t i n gs u b j e c to fm e d i c i n e ，e l e c t r o n i c sa n di n f o r m a t i o ns c i 。”。3 ，t h l 5 s t u d vh a sb e c nb a s e do na u d i t o r yf f m d a m e n t a lp r i n c i p l e s 。u s i n gm o d e r ns o u n d 5 1 9 n a l d r o c e s st e c h n i q u e d i g i t a ls i g n a lp r o c e s s o ra n dp r o g r a m m a b l el o g i cd e v i c e , t o r e a l l 2 。 t h es d e e c hp r o c e s s i n gs t r a t e g yo fc o c h l e ai m p l a n t t h ep u r p o s e l st oo f i e 。5 0 m 。 r e f e r e n c ef o rd e v e l o p i n gc o c h l e ai m p l a n ti n d e p e n d e n t l yi nc h i n a ，a n db e n e f i t t h ev a s t n l l m b e ro fp a t i e n t s 。v i t hh e a r i n gi m p i r e m e n t k e vw o r d s ：c o c h l e ai m p l a n t ，d s p , s p e e c hp r o c e s s i n gs t r a t e g y ，m p s v 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除r 文中特别加以标注和致谢的地方外，论文一f j 不包含其他人己发 表或撰写过的研究成果。参与同一1 二作的其他同志对本研究所做的 任何贡献均已在沦文中作了明确的说明并表示了谢意。 签名： 金2 墨日期：! ：! ：! ：! 本论文使用授权说明 本人完伞r 解上海人学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复e | j 件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：金生盘 导师签名：勇粝日期：矽6 7 1 第一章序论 1 1 人工电子耳蜗简介 在全球，据统计，耳聋患者大约有8 0 0 0 万，而中国有将近2 0 0 0 万的耳聋 患者，其中包括3 0 0 万聋儿，而且每年还有约3 万新生聋儿。耳聋分神经性耳 聋和传导性耳聋，助听器对传导性耳聋有效，却不能够帮助神经性耳聋患者恢 复听觉，耳蜗植入术( c o c h l e a ri m p l a n t ) ，又称人： 。电子耳蜗是一种治疗神经性 耳聋最佳解决方法。人丁电子耳蜗是一种电子装置，能帮助重度及极重度王f 聋 患者获得或重新恢复听觉。它代替病变受损的听觉器官，把声音转换成编码的 i 电信号传入内耳耳蜗，刺激分布在那里的听神经末梢，末梢纤维产生了电位的 变化，这种电位的变化再经螺旋神经节细胞传至大脑中枢就产生了听觉。 人： 电了耳蜗在英浯，= = 称( c o c h l e a ri m p l a n t ) ，中译名有电子耳蜗，耳蜗植 入，仿生耳，电子仿生耳。神经性耳聋的病人由于内耳基底膜e 的毛细胞有不 同程度的病变和减少，导致不同程度的听力损失。对于轻度、中度和一部分重 度耳聋的病人来说，助听器是有效的。可是对i f 深度耳聋及全聋的病人来说， 大量的毛细胞的损失以及声音的畸变使得最好的助听器也效果甚微，甚至无能 为力。而这类病人往往还保留着一定数量的听神经纤维和螺旋神经节细胞。如 果把外界的声音转化为电信号送入耳内直接刺激听神经末梢则有可能产生听的 感觉。人工电子耳蜗植入是目前治疗深度或重度耳聋的唯一有效的办法。 1 2 人工电子耳蜗的发展及现状 国外自5 0 年代开始进行人工电子耳蜗的实验研究工作，1 9 5 7 年，d i o u r h o ， e y r i e s 首次将一电极植入一取侧耳聋患者的神经上，虽然患者不能理解听到的 语言，但能感受到语音的节奏变化，从而对他利用唇读理解语言有很大的帮助， 这标志着人二乜子耳蜗研究的开始。在2 0 世纪7 0 年代期间，美国3 m 公司 丌始生产3 m h o u s e 单导人工耳蜗，这是世界上第一个进入市场并得到美国 f d a ( 药品与食物管理局) 批准使用的人工耳蜗。1 9 7 8 年，澳大利亚墨尔本大 学的c l m 。k 在实验室研制出1 0 导的人1 一耳蜗，l9 8 1 年，澳大利亚c o c h l e a r 公司 j 一 蕾大学坝l 。学位陡艾 研制出具有2 2 环状电极的n u c l e u s 人工耳蜗。1 9 8 5 年，美国f d a 正式批准 n u c l e u s 人l l q ：蜗投a i h , , 床应用，标志着耳蜗植入临床应用阶段的开始。目前， 随若电子技术和计算机技术的发展，耳蜗植入装置已从早期的插座式发展为感 应式，从印道屯极发展成为多道电极。在这些产品中语音信号的处理方案有 较大的差异，各种装霄都有特定的处理方法。 目前国外= j 二! 要的多道电于耳蜗产品厂商有澳大利亚c o c h l e a r 公司、美国 a d v a n c e db i o n i c s 公司和欧洲m e d e l 公司等。在它们的产品中，语音信号的 处理方案有较大的筹异，各种装置都有特定的处理方法，采用的语音处理方案 有下面两大类：1 基于特征提取的信号处理方案。即从第一代w s p ( f 。f l i f 2 ) ， 剑第二代m s p ( m p e a k = f 0 f l f 2 + 固定高频滤波器) 方案。2 基于波形的分频 方案。包括有最大i 峰声音处理法( s p e c t r a lm a x i m as o u n dp r o c e s s ，s m s p ) ，菅峰 z ( s p e c t r a ip e a k ，s p e a k ) ，压缩模 = 以( c o m p r e s s e da n a l o g ，c a ) 方案，连续间隔采 样( c o n t i n u o u si n t e r l e a v e ds a m p l i n g ，c i s ) 方案，多脉冲刺激方案( m u l t i p l ep u l s a t i l e s t i m u l a t i o n ，m p s l 等 1 。 我固人y _ l - e 蜗研究始于7 0 年代术8 0 年代初，在北京协和医院、上海眼耳鼻喉 医院、兰州空军医院、西安陕西省人民医院等研究所进行了人工耳蜗的研制工作。 】9 8 4 年上海医科大学眼耳鼻喉科医院进行了感应式单导电于耳蜗植入的临床实 践并进行了报道i1 9 8 9 年上海医科大学眼耳鼻喉科医院报导了1 8 例脉冲式单导电 子耳蜗植入。1 9 9 7 年上海又研制, q l s p i c 多道程控耳蜗并取得了可喜的效果i 。 2 0 0 3 年1 2 ) q ，由复旦大学附属眼耳鼻喉科医院王正敏教授领衔的仿生耳研究小 组，历时8 年，终于研制成功了我匡i 首个拥有自主知识产权和独立创新技术的“多 道程控人工耳蜗”f 4 】。该耳蜗打破了“洋电耳_ 统天下的垄断局面，并已经通过 了临床验证：荣获上海市临床医学成果等奖。这意味着我国自行研制的质优、 价廉、获专利权的困产人工电子耳蜗临床科研进入新阶段。 目前，我国的人工电子耳蜗技术有了长足的进步，但与国外相比还有很大 的差距，主要在基础理论方面的研究，类似“多道程控人工耳蜗”这类具有自主 缸i 识产权，符合国内耳聋患者的需求及消费的人工电了耳蜗系统应当成为我国 研制电子耳蜗系统的发展方向。 1 3 人工电子耳蜗的组成 图1 1 人工耳蜗系统各构成部分 如图1 _ 1 所示，电子耳蜗的由麦克风，言语处理器，信号传送和接收部件， 以及电极组成，具体构造和功能如下： 1 麦克风负责拾取语音信号。人工耳蜗系统的麦克风不仅要求微型化， 还必须具备较宽的频响反应，但要求它对低频的反应有限，以免头颈部活动或 行走等运动引起不必要的干扰噪声。传统的麦克风选择为全向型麦克风，现在， 应用于现在数码助听器的方向型麦克风或多个麦克风系统也开始被人工耳蜗系 统采用。 2言语处理器的作用是将传来的言晤信息进行分析，并转换成电刺激方 式以刺激神经。良好的言语处理器应能提取关键的言语信息并产生适宜的电刺 激方式使人：【耳蜗使用者获得言语识别的能力。言语处理器内的言语处理方案 是达到这一目的的关键。 3 信号传送和接收部件是将言语处理器产生的指令有效地传达p t l j ：e f 蜗内 的电极。有两种方式来传送言语处理器的指令，即直接地经皮肤法通过插座的 方式和间接地跨皮肤通过无线电波的方式。 4 多导人工耳蜗的电极实际上是线性排列的电极束，它由电极载体和 多个电极绢成，丽者常为胶硅类7 h 物兼容利料，最新的载体t q - i 既可以用来包 裹住电极体，电可以填充在电檄体的r a 腔”1 。通常，电极束经耳蜗造口插入耳 蜗鼓阶，以便电刺激螺旋神经节细胞及其外周末梢。各电极在鼓阶由蜗底向蜗 尖依次排列，旨在刺激对由高到低不同频率敏感的听神经。 二絷釜影 图1 2 澳大利亚c o c h l e a r 公司的人工耳蜗系统 ( 1 ) 耳背式言语处理器及头片；( 2 ) 体携式言语处理器及头片羊| ：| 麦克风； ( 3 ) 接收器一刺激器及电极求和一球形电极：( 4 ) l i t 极束的放大图像。 1 4 本文所做的研究内容 人工电于王 蜗是生物医学和电子信息学、材料科学等诸门学科的交叉产物， 纵观国内外人工电子耳蜗发展现状，研制具有创新性，适合本固国情的电子耳 ! f 【呙产品，需要微电子、材制、通信等各个学科领域的共同进步。本课题的主要 研究方向是基于人体浯音信号的生理特征，针剥目前幽内对于人工电子耳蜗言 晤处理方案研究的薄弱环节，跟踪国外产品的最新技术，力图研制出高性能的 适合中围人语音信号特点的人工电子耳蜗言语处理方案。 本论文内容主要包括： 第章：序论。讨论分析了课题的研究背景、意义及研究现状。 第二：章：概述了人体听觉生理系统及其特性，并对耳聋的病因作了说 明。 第三章：分析了语音信号的特征参数，列人工电子耳蜗言语处理器的 多种言语处理方案作了洋细的描述和比较，选定课题所采用的言语处理方 案。 第叫章：人工电子耳蜗系统的硬件系统研制。采用模块化的设计架构， 设h 了电源电路、语音采集、外围存储器以及双相脉冲电流发t l 器等诸多 。， ， | 1 ： 一 ， 若毪 编语言在t m 号处理软件。 第六章： 出结沦。 咀多脉冲刺激( m p s ) 方案为系统的言语处理方案，采用汇 $ 3 2 0 v c 5 4 0 2 d s p 处理平台上，编制了人：叫邑子耳蜗的语音信 软件仿真，使用m a t l a b 软件仿真语音信号的处理过程，并得 札芷l。第 块莫 第二章人耳听觉生理学系统 2 1 耳朵的结构与功能 如图2 1 所示，= e 朵的生理构造可分成三部分：外耳、中耳和内耳”i 。在 声音从自然环境中传送至人类大脑的过程中，人耳的三个部分具有不同的生理 作用。 图2 - 1 人耳构造图 外耳是指能从人体外部看见的 - t 朵部分，耻耳廓和外耳道。耳廓对称地位 于头两侧，主要结构为软骨。耳廓具有两种主要功能，它即能排御外来物体以 保护外耳道和鼓脱，还能起到从自然环境中收集声音并导入外耳道的作用。当 声音向鼓膜传送州，外耳道能使声音增强，此外，外耳道具有保护鼓膜的作用， 耳道的弯曲形：l 犬使异物很难直入鼓膜，耳毛和耳道分泌的耵聍也能阻止进入耳 道的小物体触及鼓膜。外耳道的平均眨度2 5 c m ，可控制鼓膜及中耳的环境， 保持耳道温暖湿润，能使外部环境不影响和失策以中耳和鼓膜。外耳道外部的 2 3 是由软骨组成，靠近鼓膜的为颅骨所包围。 中耳由鼓膜、中耳腔和听骨链组成。听骨链包括锤骨、砧胃和镫骨，悬于 中耳腔。中耳的基本功能是把声波传送到内耳。声音以声波方式经外耳道振动 鼓膜，鼓膜斜位t 外耳道的末端呈凹型，正常为珍珠白色，振动的空气粒子产 生的压力变化使鼓膜振动，从而使声能通过中耳结构转换成机械能。由于鼓膜 前后振动使听骨链作活摩状移动，鼓膜表而积比镫骨足板大好几倍，声能在此 处放大并传输到中耳。由于表面积的差异，鼓膜接收到的声波就集中到较小的 空删，声波在从鼓膜传到i 河庭窗的能量转换过程中，听小骨使得声音的强度增 加了3 0 分贝。为了使鼓膜有效地传输声音，必须使鼓膜内外两侧的压力致。 当l 。轫夺内的压力与体外大气压的变化相同时，鼓顺爿能正常的发挥作用。耳 咽管连通了中耳腔与l = _ 】腔，这种自然的生理结构起到平衡内外压力的作用。 内耳的结构不容易分离出来，它是 可以把内耳看成三个独立的结构：半规 的、不规则开关的空腔，是半规管、镫 知各个方向的运动，起到调节身体平衡 一样的结构，内耳在此将中耳传来的机 蜗内充满着液体并被基底膜所隔开，位 经电脉、巾的结构，耳蜗横断面显示了螺 后运动时，耳蜗内的液体也随着移动。 2 2 听觉的产生及耳聋的原因 位于颞骨岩部内的一系列管道腔，我们 管、6 庭和耳蜗。前庭是卵圆窗内微小 骨足扳、耳蜗的汇合处。半规管可以感 的作用。耳蜗是被颅骨所包围的像蜗牛 械能转换成神经电冲动传送到大脑。耳 于基底膜上方的是螺旋器，这是收集神 旋器的构造。当镫骨足板在前庭窗处前 声音经过外耳的收集及中耳的增益后传入充满液体的内耳，内耳的液体的 压力变化引起基底膜的振动。在基底膜上座落有15 0 0 0 个毛细胞，由于基底膜 的振动，位于毛细胞顶端的静纤毛左右摆动，从而导致毛细胞内电压的改变， 后者呈去极化偏阳辛1 删使得毛匀l l 胞底端的化学物质，即神经递质谷氨酸释放出 来，整个过程将机械振动转换成电化学反应。听神经术梢在谷氨酸这。兴奋性 神经递质的刺激下产生神经动作电位并经中枢端传入中枢听觉。 图2 2 耳蜗基底膜上频率的分布 听觉系统的主要功能是频率分析及编码，根据耳蜗基底膜的力学特性，不 同频率的声音在基底膜不同部位引起最大的振动，低频声在耳蜗内部形成行波， 并在靠近蜗尖的基底膜处引起最大位移，而高频声则相反，其行波的波峰靠近 蜗底，耳蜗基底膜将人耳听觉频率范围( 2 0 2 0 0 0 0 h z ) 由蜗尖剑蜗底有序地排列 下来，因此，耳蜗的功能便像是一个频谱分析仪，将复合的声音分解为各自的 频率成分i ”。 2 2 2 耳聋的病理学原因 在听觉系统中，内耳毛细胞将机械振动转换成电化学反应，听神经将这一 反应以神经动作电位方式传入听觉中枢。没有毛细胞的传感，声波的振动无法 转换成神经动作电位。因此，中枢听赏神经系统无法感受声音( 目口耳聋) 。绝大 多数感音神经性耳聋的病理基础源自毛细j 地的挺失或功能缺陷，医学上称之为 感音性耳聋，只有少数感音神经性耳聋的病理基硎j 是听觉中枢通路或皮层上的 病变，称之为神经性耳聋，人工电子耳蜗恰好是针对感音性聋( 即毛细胞病变) 的一种康复手段。 许多疾忠可引起耳蜗毛细胞的病变，这些疾患常见的有先天性耳聋病因( 遗 传。h - ：e i ：聋；早产、出生时缺氧，或者其它产伤等) 和后天性病因( 噪声暴露； 疾病，如：梅尼埃病、脑膜炎；病毒感染，如：腮腺炎病毒和麻疹病毒等) 。 2 3 听力学概要 响度、声强和声压f 8 1 都是表示声音强弱的物理量，响度指声音的大小，是 人的主观感觉，我们所听到的声音的响度，不仅与它的音调或频率有关，而且 还与它的振j 幅或声压级有关。声音的响度与音源的功率：周围的环境有密切关 系，一个明显的例予是：在哺杂的马路上听随身听要丌到的音量和在安静的卧 室听州丌到的音量不同。 声压是声波引起空气质点的振动，使大气压产生的起伏。在物理学中，定 义p 为在声场的某一微小区域中，冈声波传播而使某一时刻的气压由p 。变为 p 。，那么这州的声压p 就是这两个气压差 ) 2p o p 所以声压就是有声波存在时，在单位面积上大气压的变化部分。声压( p ) 以 p a ，即帕( 斯卡) 为单位，有时也有即微帕作单位。我们听到的最弱的声音声 压为2 1 0 p a ，即o 0 0 0 0 2p a ，最强的声音的声压为2 0p a 。 声源每秒发出的能量 播丽积成反比。我们将单位 积声能的平均值定义为声强 声强通常不易直接测量 声压都是表示声音大小的量 雎强关系。为了计算上的方 为源的功率，声的强度与源的功率成j e 比，与传 问内通过与声波传播方向垂直的丽上某一单位面 往往要根据测出的声压通过换算来求得。声强和 但两者是有区别的，声强是能量关系，而声压是 同时也符合人耳听觉分辨能力的灵敏度要求， 所以从最弱的声音( 2 10 。p a ) 到最强的声音( 2 0p a ) ，按对数方式分成等级， 以此作为衡量声音大小的常用单位，分级单位称为d b ( 分贝) ，这就是声压级。 声压级上定义为： = 2 0 l g ( 1 ，p o ) ( d b ) 称删 。 ， ，便 相应的声强级为 = l0 i g 】g ( ，。) ( d b ) 其中胁和。是人听到的最弱的声音( 听闽) 的声j z $ 1 ：1 声强，引入声强级的 概念后，就把声强相差1 0 “倍的变化范围，改变为o 1 4 d b 的变化范围，方便 了许多。声压级和声强级简称为声级，从声级的公式可以看出，声级每变化l o d b ， 就相当于声强或声压变化1 0 倍；而变化2 0 d b ，就相当于声强或声压变化1 0 0 倍。因此声级增大或减小2 0 d b 或3 0 d b ，声强或声压的变化是很大的。 正常人可听到的频率范围为0 0 1 6 16 k h z ，年轻人可听到2 0 k l l z 的声音， 而老年人可听到的高频声音要减少到1 0 k f i z 左右。人的自由场听阈是指人进入 声场后能听- 5 7 i j 的自 扣场最低声压级。纯音听蚓是与频率有关的量，在1 0 0 0 h z 时 约为4 d b 左右，而在4 0 1 i zi q 上升为5 0 d b 友右，在1 5 k l i z 时j ：- 于l - 为2 4 d b 左右。 音明用于描述听觉感受声音高低的特性。对于频率低的声音，听起来感觉 它的音渊“低“，而频率商的声音，听起来感觉它的音调“高”。但是音调与声 音的频率并不成口= 比关系，它还与声音的强度及波形有关。 i f = ：常人刺频率同定的声音所能辨别的最小强度差值称为强度差闽，它与测 量方法有关，也与测量频率有关。一股认为，在中频频段，可辨的纯音强度大 约是3 2 5 个。频率差闽则与频率、强度有关。在频率较低时，频率差阈较易于 检测。在声强为4 0 d b 时，对于2 k h z 的纯音可区别的差阂为3 h z ；而对于1 0 k h z 的纯音，可辨差值为3 0 h z 。如果声音强度降低，则鉴别能力_ f 降，差闽值增加： 声音强度过大，也会导致类似的结果。一般认为，在中等强度下，频率可辨别 的纯音约为15 0 0 个。 第三章语音信号处理 3 1 语音信号的基本特征 3 】1 发音器官 人的发音器官包括n 0 、气管、喉( 包括声带) 、咽、鼻和口等f 9 j ，如图3 一l 所示。这些器官共同形成一条形状复杂的管道，其中喉以上的部分称为声道， 随着发出声音的不同其形状是变化的；而喉的部分称为声门。 图3 1人的发音器官图 喉部是呼吸系统的一部分，电是重要的发音器官，位于颈前部。喉的结构 比较复杂，e b 软骨7 支架田成的喉腔向上与咽相通，向 、与气管内腔相续。喉部 的声带是对发音影响很人的器官，声带的声学功能是为语音提供主要的激励源。 由声带振动产生声音，是形成声音的基本声源。呼吸时左右两声带打开，讲话 时则合拢起来。两声带之间的部位就是声门。讲话时，合拢的声带受声门f 气 流的冲击而张丌；但由于声带的韧性又迅速地闭合：随后又张丌又闭合声 带开启和闭合使气流形成一系列地脉冲。每丌启和闭合一次的时削即振动周期 称为基音周期，其倒数称为基音频率，也简称基频。声带振动的频率即基音决 定了声音频率的高低，频率快则音调高，频率慢则音凋低。一般男性既话者的 基音频率大致分稚在6 0 2 0 0 h z 范围内，女性说话者和小孩的基音频率在 2 0 0 i i z 15 0 1 i z 之间。 语音l b 声替振动或不经声带振动咏产生，其中山声带振动产生的音统称为 浊音，而不由声带振动产生的音统称为清音。浊音包括所有的元音和一些辅音， 而清音中包括另部分辅音。 声道在声学上是截面不均匀的管道，是气流从喉向卜经口腔或鼻腔向外辐 射的传输通道。它的一端为丌口的( 如嘴或鼻孔) ，而另一端基本是闭合的。声道 确f i ：多自然谐振频率( 即在这些频率上声道的传递函数具有最大值) 。若声道截面 为均匀 i 9 ，则谐振频率应发生在： f ：堕二1 2 1n ：1 船 其中c 为声速，在空气中声速c = 3 4 0 米秒，然而实际上声道的截面面积并非 常数，这就使得谐振点之间的间隔也t , i ，目等，但声道谐振点的平均密度仍然大约 为每l k l l z 有一个。这些谐振点称为共振峰，它是声道的重要声学特性。声门脉冲 申中丰富的谐波成分与声道的共振峰之间相互作用的结果剥语音的音质有很大 的影响。 共振峰用依次增加的多个频率表示，如f 、f ! 等，称为第共振峰、第二 共振峰，表3 1 给出了前三个共振峰的大致范围。 频率范围h z 成年男子 成年女子带宽 f 2 0 0 8 0 0 2 5 0 1 0 0 04 0 7 0 r6 0 0 2 8 0 07 5 0 3 3 0 05 ( ) 9 0 一 f 13 0 0 3 4 0 01 5 0 0 4 0 0 06 0 8 0 表3 1前三个共振峰的频率范围 根据上而的介绍，语音的特性完全由声门、声道和口鼻决定。 3 1 2 语音信号的产生 语音信号模型的产：生主要是用于通信： 程中的语音传输中的信源编码部分， 通过分析语音信号的特性，提取少数重要的参数，从而达到在有限的带宽中尽可 能多地传递声音信息的f t 的。 图3 2 为一种经典的语音信号产生模型。这里，语音信号被看成线性时不变 系统( 声道) 在随机噪声或准周期脉冲序列激励下的输出。 该模型的控制参数包括：清浊音丌关、浊音的声门丌放频率以及声道的频 率转移特性等。参数变换间隔为53 0 m s ，清浊语音的幅度分别山增益因予a 。和 n 来控制。清音的激励信号源为宽带随机噪声发生器，压缩空气流使之通过一 个细缝可产生摩擦音；在阻塞后建立压力，然后移走阻塞，令压力突然释放， 用这利i 方法可以产生爆破音。浊音的激励源为脉冲序列发生器，它产生的周期 脉冲信号通过声门脉冲滤波器后激励声道模型，辐射模型决定气流的向外辐射 方式。 图3 - 2 语音信号产生模型 通过这个模型，可以看- # j x , l 于连续变化的复杂的语音信号。只需l 。1 1 对较少的 参数就可以表达语音信号的信息内容，通常要求这些参数能够给出激励信号的类 型( 如清音、浊音还是混合音) 和声道的传递函数。 3 1 3 语音信号的分析与合成 语音分析是将语音信号分解成包含语音特性的参数并对其进行编码的过程。 根据参数性质的不同，语音分析可p g x l l j f 成波形编码和参数编码。波形编码是对 声葺波形进行抽样、量化、编码。在信号采样和量化过程中，考虑到人的听觉特 性，使编码后的音频信号与原始信号的波形尽可能匹配，但波形编码法易受量化 海人学坝l j 学位论文 噪声影响，进一步降低编码率也较困难。参数编码方法是以声音信j 弓产生的模型 为基础，将声音信号转换成参数后再进一步编码。声音的基本参数是基音周期、 共振峰、语音谱、声强等。利用这些参数，就可以不对声音的波形进行编码，只 要记录和传输这些参数就能实现声音数据的压缩。声音的基本参数可以由声音生 成机构模型通过实验得到。典型的分析合成技术有通道声码器、同态声码器和线 性预测声码器。人工耳蜗的言语处理过程依据语音分析的原理，相应地也可划分 成波形方案和特征提取方案。 语音合成是语音分析的反过程，它通过将分析得到的参数以 定的规则构成 与分析时的声源非常接近的语音信号。在人工耳蜗系统中，语音合成是通过患者 本身残留的功能完好的听觉神经来完成的。 3 2 人工耳蜗言语处理器 人： 耳蜗i ；语处理器的目的在于将麦克j x l 输出的电信号转变成包含语音以 及其它声音信息的电刺激信号，利用有限的电极高效地传递尽可能多的晤音信息、 给听觉神经纤维。 能传递给人工耳蜗的信扈、远比正常人所能听到的声音信息少得多。因为埋 植的电极数目远远少于听觉神经的数目，而且电刺激形成的听觉感知与声刺激 的有所不同，电刺激引起的听觉幅度的动态范围为比声刺激的要小，电刺激听 力的幅度可分辨步长也小于正常听力。 近年来，随着电极数目的增加和微型化工艺、电檄设计等的改善，使用多 导人工耳蜗的病人的言语识别能力逐渐提高，真正决定因素的改变时在言语处 理方案上岬) 。从病人的平均结果来看，2 0 世纪8 0 年代初和8 0 年代中的f o f 2 、 f n f ，p ，方案分别获得近2 0 和4 0 的开放句子识别率，8 0 年代底的m p e a k 方案和9 0 年代中推出的s p e a k 方案则分别获得近6 0 和8 0 的开放句子识别 率。其他现代言语处理方案如a c e 、c l s 、m p s 、和s a s 等方案，也都取得超过 8 0 的开放句子识别率。 言语处理方案电称为编码策略，它决定如何分析言语信号并如何刺激各电 极，它可以大致分为两类，第一类为特征提取方案，如f o f 2 、f o f , f 2 和m p e a k i 海大学坝卜学位论文 方案，其策略是首先提取言+ 语信号中的重要特征，然后将这些特征传送到不同 电极以刺激听神经；第二类为波形方案，其策略是将言语信号的波形以不同的 方式传送到电极，这一类方案又可分为模拟刺激方案( 如s a s 方案) 和脉冲刺 图3 - 3f o f 2 ( 实线) 和f o f 1 f 2 ( 实线和虚线) 方案流程 激方案( 如a c e 、c i s 、m p s 方案) 等。 3 2 1f o ，f 2 方案 f o f 2 方案首先用于c o c h l e a r 公司八十年代初研制开发的n u c l e u s 人工耳蜗 装置1 。其流程图如图3 - 3 所示，首先，言语处理器将言语信息的基频( f 0 ) 和 第二共振峰( f 2 ) 提取，f o 的提取是通过一2 7 0 h z 低通滤波器和一零交叉鉴测器 而实现的，f 2 的提取则是通过一1 0 0 0 至4 0 0 0 h z 带通滤波器和一零交叉鉴测器 而实现的，刘带通滤波器的输出进行包络提取后便获得f 2 的振幅( a 2 ) 。这样 f 2 的频率将决定电极束上2 2 个电极中的哪一个被刺激，r 2 的频率越高，选择 的电极越靠近蜗底，反之，f 2 的频率越低，选择的电极越靠近蜗尖。电脉冲的 振幅由f 2 的振幅( a 2 ) 决定。言语信号的嗓音信息通过以f o 为刺激速率( 即，每 秒f o 个脉冲) 而传送，例如，言语信号的f o 为1 4 0 h z 那么电脉冲的速率办取 1 4 0 1 z 。无i 嗓音的言浯段，刺激速率在1 0 0 h z 左右随机取值。 3 2 2f o f i f 2 方案 几年后，人们在f o f 2 方案中增加弟一共振峰( f 1 ) 的信息便h k tf o f l f 2 方案，见图3 - 3 中的虚线及实线部分。此方案在f o f 2 方案的基础e 添加 3 0 0 至1 0 0 0 h z 带通滤波器，其输出送往一零交叉鉴测器以提取f 。的频率。言 语处理器根据f i 和f 2 频率选择两个电极来刺激，5 个靠近蜗尖的电极供f l 刺 激用，剩下1 5 个靠近蜗底的电极供f 2 刺激用。电刺激脉冲为双相脉冲，每相 位为2 0 0 “s ，f 2 与f i 刺激之阳j 间隔8 0 0us ，以消除电刺激之间的相互作用。 刺激速率的决定与上述的f o f 2 方案j k l 同。 放大器 风卜 卜_ 叫a c g 4 6 k h z 低通 滤波器 28 4 k h z 低 通滤波器 2 2 8 k h z 低 通滤波器 8 0 0 - 4 0 0 0 i t z 低通滤波 3 0 0 i 0 0 0 h z 低通滤波器 2 7 0 h z 低通滤波器 竺竺兰p 野 磊赢习皇军 零交叉鉴测器f f 2 包络提取器i a 2 零交叉鉴测器i f o 包络提取器i 图3 4m p e a k 方案流程图 脉冲 产生 器 脉冲 速率 3 2 3m p e a k 方案 c o c h l e a r 公司在8 0 年1 i , b , ! i i i ( i i ；的m i ) e a k 方案1 ”】，是在f o fl f 2 方案的基 础上添加三个高频段的信扈、，此三个频段分别为2 0 0 0 2 8 0 0 1 f z 、2 8 0 0 4 0 0 0 t i z 和q 0 0 0 6 0 0 0 h z ，并分别指定分配于从蜗底数起的第7 、第4 和第1 个电极。 电刺激幅度由各频段的包络的幅度来决定。m p e a k 方案的流程图如图所示。与 f o i ：l 邝2 方案相同之处是r 。、f l 和l j 2 的频率分别| = | = | 三个零交叉鉴测器提耿，提 取l ? 2 的带通滤波器改为8 0 0 至4 0 0 0 h z 。 m p e a k 方案通过添加三个高# i i 蛩y i 信息使得言语信号的n 得到较好的体现， 同时许多辅音的高频信息也得到良好的体现。临床使用结果表明，病人使用 m p e a k 方案后，辅音识别能力明显优于使用l ? o f l f 2 方案，开放句子的识别桐 “1f o f 1 f 2 方案时的识别提高到2 0 到3 0 左右。 带越滤波器 包络提墩器 图3 - 5s m s p 、s p e a k 方案流程图 3 2 3s m s p 方案 9 0 年代初，一种新型的高语处理方案，即频潴最大值处理器( s m s p ) 方案 ”被推出。如图3 - 5 所示s m s p 方案流程图。首先言语信号经过前置放大后送往 一绷由i6 个带通滤波器组成的滤波器库，其总频率范围为2 5 0 5 4 0 0 h z 。每一 滤波器的输出经过一包络提取器，即先经过整流，然后再经过一2 0 0 h z 低通滤 波器滤波以获取各频道的包络的振幅。下一步便是选择6 个振幅最大的频道用 柬刺激。s m s 方案运算周期为4 m s ，每个频道e 乜脉冲刺激速率为2 5 0 1 l z 。 3 2 4s p e a k 方案 9 0 年代中期推出的谱峰( s p e a k ) 方案5 i 在s m s p 方案成功经验的基础上做 了细微的改进，s p e a k 方案使用2 ( ) 个带通滤波器，总的频带由s m s p 方案的2 5 0 5 4 0 0 1 l z 扩大到】1 6 7 8 7 1 h z 。与s m s p 方案一样，各带通滤波群的输出经过整流 和2 0 0 h z 低通滤波以提取包络。在每一运算周期内，2 0 个包络中振幅最大的5 到10 个被选出来刺激相应的电极。所选最大值的数e - - f 取决于声信号的频暗成 分，3 f 均为6 个。s p e a k 方案的脉冲刺激从蜗底( 即高频) 的频道向蜗尖( 即 低频) 的频道以相问刺激方式出现。s p e a k 方案的电脉冲刺激速率在1 8 0 到3 0 0 h z 不等，平均为2 5 0 h z 左右，其值主要取决于所选最大值的数目及病人个体参数。 3 2 5 c a 方案 带通滤波器 放大器电极 图3 - 6c a 方案流程图 2 4 压缩模拟( c a ) 方案m 是种模拟刺激方案，c a 方案最早用于8 0 年代初 的l n e r a i d 公司的4 导人工正f 蜗装置，现在不再使用。c a 方案的流程图如图所 不，声信号经过自动增益控制分别送往4 个带通滤波器，带通滤波器的截至频 率如图所示，滤波器的输出经过放大后直接送往电极以刺激听神经。 c a 方案的效果与其同时代的其他方案( 如f 1 r 2 方案) 并无差异。但是， i 听神经剥电刺激有效的反应局限于较低频率( o l i 3 0 0 h z ) ，因此，许多高频的 模拟电刺激不一定能达到有效的信息传送的目的。另一个潜在的问题是，c a 方 案在不同频道的电刺激是同时发生的，因此，各频道之间的相互作用或干扰可 能会很人。 3 2 6s a s 方