（生物医学工程专业论文）一种改善人工耳蜗音质的新型语音编码方法的研究.pdf

摘要 的原因，也是中枢进行信息加工整合的依据。没法表现听觉中枢的时间编码、 传递和处理特性，以及前后掩蔽的生理特性。 由于现有人工耳蜗所实现的对非人类平常对话语音分辨效果并不十分理 想。本课题研究是在c i s 语音编码方法的基础下，结合听觉生理刺激产生的机 制，提出一种使用“幅度一时问一频率”( a m p l i t u d e - t i m e f r e q u e n c y ) 编码方法。 该方法将语音信号的强度分别转换为刺激起始时间、频率和幅度。我们称之为 a t f 编码方法。a t f 编码方法是由单一采样幅度生成一串电脉冲序列，最后整 合出适合刺激耳蜗神经的电脉冲序列。该方法使位置编码和时间编码有机地结 合起来，不仅成功地保留了声音的原始特性，又融入突触的时间编码作用，从 而可能最大限度地恢复听觉的生理功能。 本文详细介绍了a t f 语音编码方案的理论依据，数学模型，以及通过计算 机模拟人工耳蜗的语音信号处理方法，实现a t f 语音编码方案的过程，并且得 到具体的结果。结果表明a t f 编码方案中，经过a t f 编码后，语音信号保持原 始语音信号的绝大部分的信息量，在语音编码中是可行的；随着声音强度的不 同产生不同幅度、不同起始时间和不同频率的刺激脉冲，使得不同电极给予电 刺激的时间和幅度变异性更高，从而解决同时刺激电流干扰的影响。 在论文的最后对研究工作中的遗留问题进行了讨论，并对今后的工作进行 了展望。 关键词：人工耳蜗，语音编码，时间编码，电刺激，a t f 编码 i i a b s t r a c t an e w s p e e c hc o d i n g f o rc o c h l e a r i m p l a n t n a m e ：c h e nw e i - b i n g s u p e r v i s o r ：c h e ng u a n g - j i e x i a o z h o n g - j u a b s t r a c t c o c h l e a ri m p l a n ti sam e t h o dt or e s t o r et h ef u n c t i o no fh u m a nc o c h l e av i a e l e c t r i c a ls t i m u l a t i o no ft h ea u d i t o r yn e r v e ( a n ) c o c h l e a ri m p l a n td e v i c e sh a v eb e e n d e v e l o p e do v e rt h ey e a r s a l lt h ei m p l a n td e v i c e sh a v et h ef o l l o w i n gf e a t u r e si n c o m m o n ：am i c r o p h o n et h a tp i c k su pt h es o u n d ，as i g n a lp r o c e s s o rt h a tc o n v e r t st h e s o u n di n t oe l e c t r i c a ls i g n a l s ，at r a n s m i s s i o ns y s t e m 搬懿t r a n s m i t st h ee l e c t r i c a ls i g n a l s t ot h ei m p l a n t e de l e c t r o d e s ，a n da ne l e c t r o d eo ra l le l e c t r o d ea r r a y ( c o n s i s t i n go f m u l t i p l ee l e c t r o d e s ) t h a ti si n s e r t e di n t ot h ec o c h l e ab y a s u r g e o n 。 i nn o r m a lc o c h l e a ，f r e q u e n c i e so fs p e e c hs i g n a la r er e p r e s e n t e db yt h ee x c i t a t i o n o fi n n e rh a i rc e l l sa n da na tt h el o c io fb a s i l a rm e m b r a n e ( b m ) ，a n dt h ea m p l i t u d e s a r ec o d e di nt h es p i k et i m i n ga n dr a t e t h ec o c h l e a ri m p l a n ti sb a s e do nt h ei d e at h a t t h e r ea r ee n o u g ha u d i t o r yn e r v ef i b e r sl e f tf o rs t i m u l a t i o ni nt h ev i c i n i t yo ft h e e l e c t r o d e s o n c et h en e r v ef i b e r sa r es t i m u l a t e d ，m e yf i r ea n dp r o p a g a t en e u r a l i m p u l s e st ot h eb r a i n t h eb r a i ni n t e r p r e t st h e ma ss o u n d s c o c h l e a ri m p l a n t sh a v eb e e nv e r ys u c c e s s f u li nr e s t o r i n gp a r t i a lh e a r i n gt o p r o f o u n d l y d e a fp e o p l e m a n yi n d i v i d u a l sw i t hi m p l a n t sa r en o wa b l et o c o m m u n i c a t ea n du n d e r s t a n ds p e e c hw i t h o u tl i p - r e a d i n g , a n ds o m ea r ea b l et ot a l k o v e rt h e p h o n e c h i l d r e nw i t hi m p l a n t sc a nd e v e l o ps p o k e nl a n g u a g es k i l l sa n da t t e n d n o r m a ls c h o o l s 。h o w e v e r , t h ec o c h l e a ri m p l a n t ss t i l lc a nn o th a v eg o o dp e r f o r m a n c e a sw i l l i n g c a u s eo n l yt h ec o n v e r s i o nf r o ms p e e c hs i g n a lt oe l e c t r i c a ls i g n a li s c o n s i d e r e dw i t h o u tt e m p o r a le n c o d i n gi nt h es p e e c hs i g n a lc o d i n gm e t h o d so ft h e p r e s e n tc o c h l e a ri m p l a n t t h u s ，t h ee f f e c to ft h ec o c h l e a ri m p l a n ti s n o tp e r f e c t e n o u g h 硕士学位论文 t h i sp a p e r ，f r o mt h et e m p o r a l c o d i n gm e c h a n i s mo fh e a r i n gp h y s i o l o g y , d e m o n s t r a t ean e ws p e e c hc o d i n gm e t h o d ，i nw h i c has e q u e n c eo ft h ee l e c t r i cb i p h a s e p u l s e sf o rs t i m u l a t i o no fa u d i t o r yn e v e rf i b e r sa r eg e n e r a t e di nd i f f e r e n ta m p l i t u d e s ， s t a r t i n gt i m ea n dr e p e t i t i o nr a t e ( o rd e l i v e r yf r e q u e n c y ) d e p e n d e n to nt h es a m p l e d a m p l i t u d eo fs o u n d ，i e ，“a m p l i t u d e - - t i m e - f r e q u e n c y ( a t f ) m e t h o d a t fs p e e c h c o d i n gm e t h o di sr e a s o n e dt oi m p r o v et h ef u n c t i o no fi m p l a n t e dc o c h l e aw i t ht h e t e m p o r a lc o d i n gm e c h a n i s m t h er e s u l to ft h ea t fc o d i n gw h i c hh a v eb e e n s i m u l a t e di nm a t l a br e t m n e dt h es o u r c es p e e c hs i g n a li n f o r m a t i o n a tt h ee n do ft h i st h e s i s ，w ea l s od i s c u s ss o m ep r o b l e m sw h i c hh a v e n tb e e n c o m p l e t e d i na d d i t i o n ，s o m ew o r k sw h i c hw i l lb ed o n ei nt h ef u t u r ea r ep r o s p e c t e d k e y w o r d s ：c o c h l e a ri m p l a n t ，s p e e c hc o d i n g ，t e m p o r a l c o d i n g ，e l e c t r i c s t i m u l a t i o n 硕士学饿论文 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得 的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个 人或集体已经发表或撰写的成果作品。对本文的研究徽出重要贡献的个人和集 体，均已在文中以明确方式标明。除与外单位合作项目将予以明确方式规定外， 本研究已发表与未发表成果的知识产权均归属南方医科大学。 本人承诺承担本声明的法律效果。 作者繇- 印乏 嘞加孵石月嚣 学位论文版权使用授权书 本学位论文作者完全了解学校有关傈留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阕。本人授权南方医科大学可以将本学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于( 请在以下相应方框内打“寸) ： 1 、保密口，在解密后适用本授权书。 2 、不保密旷 僚者签名： 导师签名； 霉期：潲孑年6 月6霸 日期：加韶年6 月。 网 5 3 硕士学位论文 1 1 人工耳蜗的历史 第1 章绪论 人王耳蜗的历史可以追溯n 2 0 0 年以前的意大利科学家a l e s s a n d r ov o l t a ，他 发明了电池，电压单位伏特( v o l t ) 就是以他的名字命名的。他利用电池为研究 工具证实了电激励可以直接激起人体的听、视、嗅和触觉感知( v o l t a , 1 8 0 0 ) 。 当他将一个5 0 伏电池的正负极分别贴近双耳时，它感觉到：“当电路接通的那一 刻，我觉得我的头被震了一下，过了一会我开始听见一种声音，或者说是种 噪音，我无法确切描述：那是一种带着电火花的噼啪声，好像有什么粘稠的东 莲被煮沸了，这种可怕的感觉让我不敢露继续重复这个实验，因为我觉得对大 脑的电击很危险”。 在此后的1 5 0 年里，没有出现关于听觉系统的电刺激效果的安全面系统的研 究的相关报道，直至现代电子技术的出现。1 9 3 7 年，s s s t e v e n s 和他的同事运用 真空管振荡器和放大器，证实了至少三个与“电声感知”有关的机制 首 先被刺激，在高频率的信号( 底端) 被最后刺激。另外一种刺激顺序是“交错顺 痔 ，即：6 3 5 2 4 一l ，使得刺激空闻最大化，以降低运道之闻的干扰。压缩函 第3 章人工耳蜗语音编码方法的介绍 数是c i s 方案中一个必需的部分，他将声音信号幅度转换成刺激电流信号幅度。 这种转换是必要的，是因为通常的交流的声音幅度比耳蜗植入患者所能接受的 电刺激动态范围大的多。在c i s 方案中经常使用非线性压缩函数【3 6 。7 1 ，以使声 音幅度能够适合患者的电刺激动态范围。经常用到的非线性压缩函数由二种： 一种是对数函数，其公式如下： y = a t o g ( x ) + b ( 3 1 ) 另一种压缩函数是指数函数，其公式如下： y = a x p + b 俨 矽( 3 2 ) 其中，4 ，b 为常数，y 为压缩后的电流幅度。常数a ，丑由输入的声音幅 度加o 和患者使能感受的刺激电流动态范围 t h r , m c l 决定，其中t h r 是 患者能感受声音的最低幅度，m c l 是患者能感受到最舒服的声音幅度，不同患 者，t h r ，m c l 得值不同。对于指数压缩函数，常数彳，b 可以由以下公式计算 得： -：mcl：i-y一hr-4 ( 3 3 ) = = _ 一i j j x 咖，一i n p 、 b = t h r a r m i n p ( 3 4 ) 由一些科研机构对c a 方案和c i s 方案之间的性能进行比较的研究表明， c i s 方案有比c a 方案更高的识别率。c i s 比c a 性能的优越性主要是因为以下 几个因素：( 1 ) 非重叠刺激减少通道之间的相互干扰：( 2 ) 利用六个刺激通道， 而不是四个；( 3 ) 利用高速脉冲刺激，更好的包含了快速变化的包络信号。 3 9a c e 编码方案( a d v a n c e dc o n f i n e de n c o d i n g ，高级结合编码) a c e ( a d v a n c e dc o n f i n e de n c o d i n g ，高级结合编码) 方案【3 8 】与s p e a k 方案大同 小异，近几年来的临床应用中颇受人工耳蜗患者青睐。a c e 方案优于s p e a k 方 案之处是结合了下面将要介绍的c i s 方案高刺激速率的特点，使得各频道电脉 冲刺激速率大幅度增加，由s p e a k 方案的2 5 0 h z 左右提升至最大为2 4 0 0 h z 左 右。可供选择的刺激速率为2 5 0 h z 、5 0 0 h z 、7 0 0 h z 、9 0 0 h z 、1 2 k h z 、1 8 k h z 及2 4k h z ，但是各频道在每一分析周期内的刺激速率的总和不得超过1 4 4 k h z 。 硕士学位论文 从理论上讲，电脉冲速率的增加应能更好地体现言语信号的时域信息。此外， a c e 方案的频率分析通道也由s p e a k 的2 0 增加到2 1 ( 双极耦合构式) 或2 2 ( 单极 耦合构式) 。供刺激用的所选包终最大值的数墨也陵s p e a k 方案的5 量e 扩大到 1 - 2 0 。 a c e 方案如同其缝波形方案一样，不蔽赖于共振峰的提取，辅音的高频信 息也得到良好的体现。因此，高脉冲速率的a c e 方案似乎能提供丰富的言语信 息。临床应用皆，许多人工耳蜗患者从s p e a k 方案转换为a c e 方案，使得言 语识别又进一步提高，但是，仍然有一部分患者偏爱于s p e a k 方案。 第4 章a t f 语音编码方案的理论研究 第4 章a t f 语音编码方案的理论研究 医学上把听阈在9 0 分贝以上的患者统称为全聋患者。大部分患者全聋的原 因是毛细胞的损伤而不是听神经的功能衰退。因此，尚存在电刺激兴奋的可能 性，即通过电刺激的方法可以恢复听觉。人工耳蜗就是基于这样的前提下而设 计出的一种用于治疗耳聋的新兴医疗电子产物【l 】。人工耳蜗是对耳蜗特性的一 种模仿，即依据耳蜗对语音的部位编码原理，将若干个电极植入耳蜗的鼓阶内， 体外的语音信号处理器处理后产生相应电极的电刺激脉冲，直接兴奋耳蜗内不 同部位电极附近的听神经，使患者产生真实的听觉感受，从而达到恢复患者听 力的目的。 耳蜗进行声音信号向生物电信号转换包括两部分：1 、机械波向感受器电位 的转换，即转换成耳蜗微音器电位，主要是毛细胞的功能。2 、内毛细胞的电变 化向神经纤维的动作电位转换，主要是内毛细胞与听神经纤维形成的突触功能； 基底膜上的内毛细胞均与多个螺旋神经节的节细胞相联( 人类平均为2 0 左右) ， 这些与同一内毛细胞相联神经元的突触大小不同，大的阈值低、纤维粗、自发 放电率高，其产生动作电位的时间早；不同毛细胞在响应同一频率声音刺激时 表现为与共振性程度高的毛细胞相联的神经元产生动作电位早；同一神经元响 应同一频率不同强度时，对强度高的产生动作电位的时间早【3 9 4 0 4 1 1 。其特点是在 非线性转换过程中具有时间特性。但是，上面所述的语音编码方法只是考虑了 语音信号到电信号的转换过程，即相当于机械波向感受器电位的线性转换，并 没有从内毛细胞与听神经纤维形成的突触特性及其时间转换功能等生理因素出 发。因此，现有人工耳蜗不能表现多神经元响应同一声强时的不同时序性，也 不能够体现同一神经元对不同声强响应的时间不同( 声强强响应早) ，也就没法 表现听觉中枢的时间编码、传递和处理特性，以及前后掩蔽( 时程上出现较晚 的强声音掩盖了较早的弱声音现象) 的生理特性。故而现有人工耳蜗不可能达 到十分理想的效果。 本研究针对上述不足，提出一种使用a t f 编码策略改善人工耳蜗音质的语 硕士学位论文 音编码方法，在原有语音信号提取结果的前提下，使用幅度一时间一频率 ( a m p l i t u d e - t i m e f r e q u e n c y ) 的编码方案( a t f ) 改善人工耳蜗声音感觉的质量， 使人工耳蜗植入后能实现无异于正常听觉的功能效果。 4 1a t f 语音编码方案的理论基础 声音的基本成分为频率和声强，频率表现为基底膜的振动部位，而声强则 表现为振动的幅度和纵向宽度。人工耳蜗就是利用了这一耳蜗基本生理特性而 研发的电子设备。 不过，基底膜上内毛细胞与听神经纤维相联则另有特点。基底膜上的内毛 细胞均与多个螺旋神经节的节细胞相联，同一内毛细胞相联的神经元是用来分 级反应声音强度的，阈值低的主要反映低强度，阈值高的反映高强度【3 9 1 。这些 不同阈值响应同一频率的神经元初始产生反应的时间不同，阈值低的神经元延 时( 即初始反应距声音刺激开始的时间) 短，阈值高的则延时长【3 9 1 ；而不同的 神经元自身兴奋的阈值却基本相同，只是因为分布在内毛细胞的不同部位才具 备其强度反应特性m 】。我们的实验结果和以往研究表明( 图4 1 ) ，任一神经元对 高强度声音刺激产生兴奋的时间短同时产生上传动作电位频率高( 并随刺激时 间延长而降低) ，低强度则相反，并能为一降指函数很地拟合。即声音在转化为 动作电位上传时具有很强的时间编码特性；这些也正是动物听觉具有前掩蔽和 后掩蔽的原因。 af r e q u e n c yo fa u 蛳cs f i n n u l u $ a t2 5k h z 善：! 至。 毒 箩 蕈 岁 ：。 ；：。7 ：二 1 0 b 2 8 g2 6 嚣 呈2 0 喜1 8 乳 1 2 4 0 2 03 04 05 06 07 08 09 01 0 0 l a t e n c yo fa c d o np o t e n t i a li nm a m p l i t u d eo f a c o u s t i cs l i m u h 8i nd bs p l 图4 1 ：不同声音强度所产生动作电位的时间不同 f i g4 1d i f f e r e n ts p i k et i m ew i m d i f f e r e n ti n t e n s i t y 3 l 碍矗i嫣弱万笛 一以可ii!宴lne薯若l芎p耋a毒 第4 章a t f 语音编码方案的理论研究 然而，现有人工耳蜗任一电极只是对应于声音幅度的单个强度刺激，即所 有电极附近的反应高低声强的神经元要么同时兴奋或不兴奋( 图4 2 a ，b ) 要么 随强度大小兴奋的范围或数目不同( 图4 3 ) ，而且刺激开始的时间基本一致，因 此根本无法体现出神经元反应因强度按时间上传和前后掩蔽的生理特性，以至 于现有人工耳蜗并不能达到十分理想的效果。 c o c h l e a a c t i o np o t e n t i a l si n t e r v a l i nn e r v ef i b e r s h i s t o g r a m a c 。u s “c r 钥 e l e c t r i c b 善 ( 嚣胁 黔 目 + 十 卜 卜 _ j 工0 0 l 二二毒二- l _ _ - 叫l 一 - _ 一 。j l 二i j l j k 。j l 。 i l j ：j i ：j l l ：_ j l 1 j j l 二j - 二上 二j l j 0 j j l _ j ，j ?j： ： ：! ：；：； ： ： ：j ：。：j l j ：；。- j ：；：i ：j ： ： ? ，一 p 一4 一卜 一 l j l j l 二 _ l p 图4 2 - 听神经元受到自然声刺激和电刺激所产生的不同反应。上图是听神经元受到自然声 刺激产生的反应，该反应的特点是相位的改变；下图是听神经元受到电刺激产生的反应， 该反应没有相位的改变，神经元要么同时兴奋要么不兴奋。 f i g4 2ad i a g r a mo ft h eu n i tr e s p o n s e so ra c t i o np o t e n t i a l si na i le n s e m b l eo f a u d i t o r yn e u r o n sf o r e l e c t r i c a la n da c o u s t i cs t i m u l a t i o ns h o w i n gt h ee f f e c t so ft h ep h a s eo ft h eb a s i l a rm e m b r a n e t r a v e l i n gw a v e t o p ：t h ep r o b a b i l i t yo ff i r i n gi na ne n s e m b l eo fn e u r o n st oa c o u s t i ce x c i t a t i o n d u et op h a s ed e l a y sa l o n gt h eb a s i l a rm e m b r a n e b o t t o m ：t h ep r o b a b i l i t yo ff i r i n gd u et o e l e c t r i c a ls t i m u l a t i o n 3 2 卿p 脚 硕士学位论文 s t i m u l a t i n ge l e c t r o d e b i 。s t 。t 。i 卅。盼 c l 。佃。协。洲。i 。i e 。雌 l l p u l s o 垂r , d l l i i i a c s o np o t e n t i a l s i l ；o + n dl i p u b e i l l a c t i o np o t e n t i a l s ，t l凡竺。，i 7 i - t 辈嗍：哥剥h 州 iii illi ll i -i- ll a c t i o np o t e n t i a l si ip u l s e 一i s o b n d 。m 二n | l 一_ _ j illll |l a c t i o np o t e n t i a l = l 图4 。3 ：本方法所生成的刺激脉冲及其对耳蜗神经元的兴奋与以往其它方法的典型区别示意 图。a ：刺激电极的位置与组织神经元的分布关系；b ：以往编码方法兴奋备层神经元的特 点；e 本方法兴奁各层享孛经元熬特点。 f i g 4 3t h ed i a g r a mo ft h ee x c i t a t i o nd u et oa t fc o d i n ga n dp r e s e n tc o d i n gf o rc o c h l e a ri m p l a n t at h en e u r o n sa c t i v a t e db yas t i m u l a t i n ge l e c t r o d e 。t h es t i m u l a t e dr a n g e s ( c i r c l e sw i t hn u m b e r s ) e x p a n d e d ( t h ev e r t i c a la n dh o r i z o n t a la r r o w s ) w i t l ls t i m u l a t i n gi n t e n s i t yi n c r e a s i n g bt h e s c h e m a t i cs p i k et i m i n g ( s h o r tb a r ) o fa c t i v a t e dn e u r o n sw i t hp r e v i o u ss p e e c hc o d i n ga st h e s t i m u l a t i n gi n t e n s i t y ( o p e nb a r s ) r e a c h e do rw a sa b o v et h en e u r o n s t h r e s h o l d s ( t h el i n e s ) ct h e s c h e m a t i cs p i k et i m i n gw i t ha t fc o d i n g 本研究根据以上神经反应声音强度的时闯特性，提出一种由单一采样幅度生 成一组电刺激序列的语音编码方案( 图4 3 c ) ，即幅度一时间一频率一编码方 案( a 疆) ，序列中各刺激脉冲的幅度、产生时阗和频率以及串长均取决予采样 声强，幅度越大串刺激最大幅度越大、产生时间越早、频率越快、刺激串越长。 并将位置编码和时闻编码有机地集合起来，这能够很好地保涯语音信号的频率 细节之间的相干性和相关性，从而可以实现正常人耳的前后掩蔽的生理功能。 3 3 蠡， 母嚣罅蚺辫一爨搿辩_薹黛。纛赞 ，2 3 4嚣意一|ol|9u 盯 衅 刚aumas 第4 章a t f 语音编码方案的理论研究 4 2a t f 语音编码方案的数学推导 宽带的音频信号首先通过各种滤波器分成若干窄带并整流包络化。然后从 每个窄带的整流包络波中在一个所设定的时间段中提取出声音幅度信号，如图 4 4 所示。这一步骤是目前人工耳蜗都能实现的过程。 图4 4a t f 编码方法流程图 f i g4 4a t fc o d i n gm e t h o di nc o c h l e a ri m p l a n t 人工耳蜗首先通过一个麦克风( 图4 5 第一步) 采集到一段声音信号后，再 经过预处理( 图4 5 第二步) ( 包括自动增益放大和抗混叠滤波) ，然后经过a d 转换成数字信号，得到的声音信号通过一系列的带通滤波器分成多个不同频带 的信号( 图4 5 第三步) ，各个通道的信号再经过整流低通得到所需的包络信号 ( 图4 5 第四步) ，最后输出刺激。如图4 5 方框以外部分就是当前人工耳蜗语 音信号处理的过程；方框内部分是a t f 编码过程。 硕士学位论文 图4 5a t f 语音编码方案的流程图 f i g 。4 5 b l o c kd i a g r a mo f a t fc o d i n gf o rc o c h l e a ri m p l a n t s t e pl ，s o u n d - d e c 畦ct r a n s f o r m a t i o n w i t ham i c r o p h o n e s t e p2 ，p r e - p r o c e s s i n g , t h es o u r c es i g n a lt h r o u g ha l la u t o m a t i cg a i nc o n t r o l ( a g c ) ，a n da n t i a l i a s i n gf i l t e r s s t e p3 ，f i l t e r i n go ft h es i g n a lw i t hab a n ko fb a n d - p a s sf i l t e r s s t e p4 ，e x t r a c t i o no ft h ee n v e l o p so ft h ef i l t e r e dw a v e f o r m sb yf u l l - w a v er e c t i f i c a t i o na n d l o w - p a s sf i l t e r i n g s t e p5i st h em a i nf l o wo fa t fc o d i n g 。f i r s tp i c k i n gu pt h ea m p l i t u d eo ft h e s i g n a lf r o me a c hc h a n n e l ；a n dt h e nt r a n s f e r i n ga st h es i g n a la m p l i t u d et o i n t e n s i t y , s t a r t i n gt i m e a n dt o f r e q u e n c yo fp u l s e sf o rs t i m u l a t i n ge l e c t r o d e f i n a l l y , i n t e g r a t i n gt h ea b o v et h r e e p a r a m e t e r sa n do u t p u t t i n gi nas e r i a ls t i m u l a t i n gp u l s e sa f t e rc o m p a r i s o n a t f 编码方法设想源子心理学反应时间和刺激强度的一个指数转换公式【拶l ： r t - r t = i n = p 奉p 一，其中r t 为反应时间，r 加为最小反应时间，p 为刺激强 度，a ，夕分别为转换系数。由此便产生了a t f 语音编码的理论基础，根据这个 公式，通过提取各个通道的强度，把提取到的强度分别以该公式为基础进行刺 激起始时间转换，刺激间隔时间( 刺激频率) 转换，刺激脉冲幅度转换。最后 把转换后得到的结果进行整合，最终得到各个刺激电极上不同起始时间、不同 间隔时间( 刺激频率) 和不同幅度的脉冲序列。转换的详细步骤如下： ( a ) 刺激起始时间转换 将提取到声音幅度信号按照公式( 4 1 ) 进行时间转换； 五= 掰母g 一7 。( 4 。1 ) 3 5 第4 章a t f 语音编码方案的理论研究 公式( 4 1 ) 中，为提取到的声音信号的幅度；乃为产生刺激的起始时 间；口、是刺激起始时间与声音幅度的转换系数。 ( b ) 刺激间隔时间( 刺激频率) 转换 将提取到的声音信号的幅度按照公式( 4 2 ) 、( 4 3 ) 、( 4 4 ) 、( 4 5 ) 进 行刺激间隔时间( 刺激频率) 转换。 瓦= 口l | i 已一向”。( 4 2 ) 乃= 死宰e 岛叶( 4 3 ) 由公式( 4 2 ) 、( 4 3 ) 可得： 乃= 死乖p 岛= 口l 幸p 一届7 宰口岛叶= 口l , e p 2 岬一所“( 4 4 ) 互= i o + 正( 4 5 ) i = 1 其中： 公式( 4 2 ) 表示起始间隔时间与声音幅度的转换关系。 ，屈是起始间隔时间与声音幅度的转换系数。 公式( 4 3 ) 和公式( 4 4 ) 是表示第i 个刺激脉冲的间隔时间的大小。 口。、屈、以是间隔时间与声音幅度的转换系数。 公式( 4 5 ) 表示表示第f 个刺激脉冲产生的时间。 乃为产生刺激的起始时间。 ( c ) 刺激脉冲幅度转换。 将步骤a 中所提取到的声音幅度信号按照公式( 4 6 ) 进行刺激幅度 与声音幅度的转换。 ：口，e岛ei ，。乃( 4 6 ) i= 口3 e 闻 ( 4 6 ) 其中：公式( 4 6 ) 表示第i 个刺激脉冲幅度与声音幅度的转换关系。 硕士学位论文 口，、屈是产生刺激幅度与声音幅度的转换系数； ，为一可调常数。 ( d ) a t f 整合过程 综合a c ，形成某一采样幅度所生成的电刺激串。在连续采样过程 中，就一定时间内多个采样幅度所生成的多串电刺激脉冲序列在很短的时 间段t 里面比较选取一个最大值作为脉冲输出点，脉冲宽度为3 0 l s ，下一 个刺激脉冲就产生在紧接着的时间段t 中的最大值。如此就得到a t f 编码 方法的连续刺激脉冲。 3 7 笫5 章a t f 语音编码方案的实验结果与讨论 第5 章a t f 语音编码方案的实验结果与讨论 上一章详细表述了a t f 语音编码方法的理论依据和数学模型。为了验证 a t f 语音编码方法的可行性，本章应用m a t l a b 7 0 1 进行计算机模拟，研究该方 法的可行性。 5 1a t f 语音编码方案实验结果 图5 1 ( a ) 是通过麦克风，由计算机采集到的一段信号，该信号是单词 “f l o w s ”的语音，采样频率为2 2 0 5 0 h z 。图5 1 ( b ) 是把“f l o w e r s ”的语音信号分 别通过四个不同的带通频率的带通滤波器，四个带通滤波器的带通频率由低频 到高频逐渐变化，各个带通滤波器的频带范围分别为：2 8 0 6 6 4 h z ，6 6 4 1 3 8 6 h z ， 1 3 8 6 3 4 8 2 h z ，3 1 8 2 8 4 4 2 h z 。如表5 1 所示，根据不同的上限截止频率对应不同 的四通道带通频率。其结果是在m a t l a b 中使用巴特沃斯滤波器来实现的。 8 4 k h z9 9 k h z c e n t e rb a n k 谢d t hc e n t e rb a n k - w i d t h f r e q u e n c y ( h z )f r e q u e n c y ( h z )f r e q u e n c y ( h z )f r e q u e n c y ( h z ) b a n ki4 7 22 8 0 6 6 4 4 8 1 3 3 5 6 2 7 b s i n k 21 0 2 56 6 4 1 3 8 61 2 2 76 2 7 18 2 7 b s i l l k 32 3 2 01 3 8 6 3 1 8 22 5 3 ll8 2 7 3 2 3 5 b a n k 45 8 1 23 1 8 2 8 4 4 26 5 7 33 2 3 5 9 9 1l 表5 1 四通道中心频率带通频率细述表 t a b l e5 1t h ef r e q u e n c yo fe a c hc h a n n e l 图5 1 ( c ) 是将各通道的分频信号分别整流后的结果。图5 1 ( d ) 是低通 滤波的仿真结果，这个过程采用一个上限截止频率为3 0 0 h z 的低通滤波器。图 5 1 ( e ) 是a t f 编码后的计算机模拟结果。图5 1 ( f ) 是经过a t f 编码整合后 产生刺激的结果，从图中可以看到所得到的刺激结果与c i s 编码方法【5 】的结果都 有较高刺激频率的特点。c i s 采用固定的刺激频率【5 】，不能表现刺激脉冲序列的 时间编码信息，而在a t f 编码方法中，输出的刺激脉冲频率不是固定的，与声 音的强度紧密相关，保留了语音信号输出刺激时的时间分辨的特点。 3 8 硕士学位论文 - 蝴鞋- ； ( a ) r e c t i f i c a t i o n 0 0 4 c h a n n e l4 0 蚴 0 88 0 2 0 3 0 。48 5魏5 8 7 覆8 ( c ) 0 0 0 5 珏 0 0 s 旺1 0 0 5 0 1 0 0 5 覆2 c b 一2 o m 2 00 10 20 30 40 50 60 70 ，e ( b ) 撑f 0 1 c l d 2 & 衢 0 c h j r m e i4 0 们 0 0 20 3 0 , 48 占 毒毒0 7 彝8 ( d ) 80 。0 28 。30 ，40 。50 s0 8o + g 。2e 。30 40 s0 ，60 7 80 10 20 30 40 50 60 7 80 10 20 30 ，40 50 60 7 ( e ) 3 9 第5 章a t f 语音编码方案的实验结果与讨论 00 10 20 ，30 40 50 60 7 00 10 2o 30 4o 50 60 7 00 10 20 30 40 50 6d 7 0 0 1 0 2 0 ，3 0 4 0 5 0 60 7 ( f ) 图5 1a t f 语音编码方案计算机模拟结果。a 是通过计算机采集到的“f l o w e r s 语音信号；b 是经过四带通滤波器分频后得到的语音信号；c 是各个通道进行整流后的结果图示；d 是提 取包络波后的信号图示；e 是各个通道经过a t f 语音编码后得到的结果图示；f 是经过a t f 整合后得到输出刺激的图示。 f i g 5 1t h er e s u l to f a t fc o d i n gw i t hc o m p u t e r ( a ) s h o w e dt h es p e e c hs i g n a l “f l o w e r s s a m p l e d t h r o u g ham i c r o p h o n e ( b ) t h er e s u l t sa f t e rt h es i g n a lp a s s e dt h r o u g hf o u rb a n d p a s sf i l t e r s ( c ) t h er e s u l t so fr e c t i f i c a t i o no ft h eu p s t r e a ms i g n a l s ( d ) t h ee n v e l o p e st h r o u g hl o wp a s sf i l t e r s ( e ) a l lp u l s e se x t r a c t e df r o ma t f