（基础心理学专业论文）字母识别任务中的视听整合.pdf

两南人学硕+ 学位论文 摘要 字母识别任务中的视听整合 基础心理学专业硕士研究生文小辉 指导教师孙弘进教授 摘要 我们的感官系统如何整合来自不同感官通道的信息，从而获得对环境的统一知觉，一直 是行为和神经科学研究的热f j 领域，而该领域中研究得最多的课题则是视听整合。目前，有 关视听整合的研究多数都集中于言语感知，提出人脑左后侧的颞上沟在视听整合中起关键作 用。该区还能通过反馈投射调整特定通道皮层区( 这里指的是视觉运动加工区v 5 ，以及颞上 皮层中的听觉相关区域) 的活动；除此之外，前额皮层和顶区似乎也涉及其中。但是最近的 研究表明，由于视觉字母言语声音之问的特殊联系，字母识别过程中的视听整合与言语感知 中的整合不尽相同。深入了解字母识别过程中视听整合的神经机制和特征，能为教育神经科 学做出一定贡献，而且这方面的研究对训练语言学习者和语言丧失者学习语言能起到重要作 用。 本研究通过一系列实验米考察字母识别过程中视听整合的特点和神经机制。以人们通过 长时间学习获得的、彼此之间具有特殊联系的视觉字母和听觉语言为刺激，采用目标识别任 务，来考察字母识别过程中视听整合的特点及其所涉及的神经机制，以及空间因素对视觉字 母和听觉语音整合效应的影响。实验过程中，要求被试始终注视止中央的注视点，对小概率 目标刺激的呈现尽快按键反应，而对于非目标刺激的出现则不按键。本研究欲检验的问题有3 个：第一，字母识别过程中，视听整合的行为效应符合同激活模型。第二，左、右视野中的 字母视听整合效应存在差异，早现在右视野的视听刺激更容易被整合。第三，考察空间因素 在视听整合中的作用，在视听刺激同步呈现的条件下，视觉字母和听觉语音之间的空间位置 一致与否影响其整合效应强度，位置一致的刺激更容易进行整合，而且其整合效应更强。 实验1 通过行为实验米验证冗余目标效应符合竞争模型还是同激活模型，从而证明行为水 平上是否体现出视听整合效应。结果发现，和单一视觉和单一听觉单独呈现时相比，在视觉 和听觉刺激同时呈现的条件下，被试识别字母时的反虑时更短、正确率更高，表明视听同时 呈现条件下发生了视觉整合。而且，这种反应时促进效应是由于视觉和听觉刺激的同激活产 生的交互导致。 在实验2 中，采用和实验1 类似的字母识别实验范式，分别在左、右视野呈现刺激，考 察不同视野中的整合效应是否存在差异。结果发现，当刺激呈现在右视野时，整合差异波中 存在两个显著的e r p 成分：n 1 3 6 ( 表征同时呈现的视听刺激调整听觉皮层的激活) ，以及 n 2 6 2 ( 表征多感官区的视听整合事件) ；当刺激早现在左视野时，并没有显著的整合成分出 1 两南大学硕十学位论文摘要 现。该结果表明，呈现在右视野的视听字母更容易被知觉为一个统一的整体，更容易被整合。 实验3 通过调控视觉字母和听觉言语之间的空间位置关系，考察空间因素对视听整合的影 响。结果发现，对丁双差异波来说，存在一个显著的整合成分，该成分在1 4 0 m s ( p 1 4 0 ) 处达 到峰值，显著分布于顶叶区，表征空间位置对多感官区视听整合的影响。这些结果表明，视 听整合基于的某些类型的整合神经加j = ，这些加工有的依赖于视觉和听觉刺激之间的空间一 致性。 关键词：视听整合事件相关电位( e r p ) 视野空间 i i 两南大学硕十学位论文 a b s t r a c t t h ea u d i o v i s u a li n t e g r a t i o nd u r i n gl e t t e r 1j _ - l c i e n t n l c a t i o nt a s k p o s t g r a d u a t es t u d e n to fb a s i cp s y c h o l o g y ：w e nx i a o h u i s u p e r v i s o r ：p r o f s u nh o n g j i n a b s t r a c t h o wo u rs e n s es y s t e m si n t e g r a t em u l t i p l ei n f o r m a t i o nf r o md i f f e r e n ts e n s o r ym o d a l i t i e sf o r u n i f i e dp e r c e p t i o ni ne n v i r o n m e n t ，i st h eh o tf i e l di nb e h a v i o r a la n dn e u r o i m a g i n gs t u d i e s ，i nt h i s f i l e d ，m o s ts t u d i e sa r ec o n c e r n i n go na u d i o v i s u a li n t e g r a t i o n a tp r e s e n t ，s t u d i e sa b o u ta u d i o v i s u a l i n t e g r a t i o nm a i n l yf o c u s e do ns p e e c hp e r c e p t i o n ，w h i c hh a v em e n t i o n e dt h ek e yr o l eo ft h el e f t p o s t e r i o rs u p e r i o rf o ra u d i o v i s u a li n t e g r a t i o na n dm o d u l a t i n gt h em o d a l i t y s p e c i f i cc o r t i c e sb yb a c k p r o j e c t i o n s m o d a l i t y - s p e c i f i cr e g i o i l si n v o l v e di nt h i sm e c h a n i s ma r et h ev i s u a lm o t i o np r o c e s s i n g a r e av 5a n da u d i t o r ya s s o c i a t i o na r e a si ns u p e r i o rt e m p o r a lc o g e x e x c e p tf o rt h e s e ，t h ef r o n t a l c o d e xa n dp a r i e t a lr e g i o ns e e m i n g l yb ei n v o l v e di n w h i l er e c e n ts t u d i e sh a v es h o w nt h a t ， a u d i o v i s u a li n t e g r a t i o nd u r i n gl e t t e ri d e n t i f i c a t i o nt a s ki sd i f f e r e n tf r o mt h a ti ns p e e c hr e c o g n i t i o n ， b e c a u s eo ft h es p e c i a la s s o c i a t i o no fv i s u a ll e t t e ra n da u d i t o r ys p e e c h u n d e r s t a n d i n gt h o r o u g h l yt h e n e u r a lm e c h a n i s m sa n di t sf e a t u r eo fa u d i o v i s u a li n t e g r a t i o nd u r i n gl e t t e ri d e n t i f i c a t i o nt a s k ，c o u l d c o n t r i b u t et ot h en e u r o s c i e n c ee d u c a t i o n i na d d i t i o n ，r e s e a r c h e sa b o u tt h i sf i e l dc o u l dp l a ya s i g n i f i c a n tr o l ef o rt r a i n i n gs p e e c hl e a r n e r t h eg o a lo ft h er e s e a r c hd e s c r i b e di nt h i sp a p e rw a st oi n v e s t i g a t et h en e u r a lm e c h a n i s m sa n d i t sf e a t u r eo fa u d i o v i s u a li n t e g r a t i o nd u r i n gl e t t e ri d e n t i f i c a t i o nt a s k ，v i as e r i a le x p e r i m e n t s u s i n g v i s u a ll e t t e ra n di t sc o r r e s p o n d e n c es p e e c hs o u n d ，w h i c hh a v eb e e na s s o c i a t e dw i t he a c ho t h e rb y t o t a l l ya r b i t r a r yr u l e st h r o u g hl i f e l o n gl e a r n i n g ，a ss t i m u l u sm a t e r i a l ，t h er e s e a r c hw a sa i m e dt o e x p l o r et h en e u r a lm e c h a n i s m sa n di t sf e a t u r eo fa u d i o v i s u a li n t e g r a t i o nd u r i n gl e u e ri d e n t i f i c a t i o n t a s ka n dt h ee f f e c t so fs p a t i a lc o n g r u i t yf o ra u d i o v i s u a li n t e g r a t i o n d u r i n gt h ep r o c e d u r e ， p a r t i c i p a n t sw e r ei n s t r u c t e dt om a i n t a i nt h e i rg a z eo nac e n t r a lf i x a t i o np o i n ta n dt op r e s sab u t t o nt o m a k ear e s p o n s et ol o wf r e q u e n tt a r g e ts t i m u l it h a tc o u l da p p e a ri ne i t h e rm o d a l i t y ( o rb o t h ) t h ep u r p o s e so fo u rr e s e a r c hw e r et ot e s tt h r e ep r o b l e m s ，t h ef u - s to n ei sa b o u tw h e t h e rt h e b e h a v i o r a le f f e c to fa u d i o v i s u a li n t e g r a t i o nw a sf i tf o rc o a c t i v a t i o nm o d e ld u r i n gl e t t e ri d e n t i f i c a t i o n t a s k t h es e c o n do n ew a st h a t ，t h ea u d i o v i s u a li n t e g r a t i o ne l i c i t e db yl e t t e r s s p e e c hs o u n dp r e s e n t e d i nl e f tv i s u a lf i l e dw o u l dd i f f e r e n tf r o mt h a ti n d u c e db ys t i m u l ip r e s e n t e di nf i g h tv i s u a lf i e l d ，a n d m u l t i m o d a ll e t t e ri n f o r m a t i o np r e s e n t e di nr i g h tv i s u a lf i e l dc o u l db ei n t e g r a t e dm o r ee f f e c t i v e ， c o m p a r e dw i t ht h a tp r e s e n t e di nl e f tv i s u a lf i e l d t h et h i r do n ew a s t oe x p l o r et h ee f f e c to fs p a t i a l i ! i 两南大学硕十学伊论文a b s t r a c t c o n g r u i t yo na u d i o v i s u a li n t e g r a t i o n ，t h em u l t i m o d a ll e t t e ri n f o r m a t i o np r e s e n t e dmt h es a n l es p a t i a l l o c a t i o nc o u l db ei n t e g r a t e dm o r ee f f e c t i v ea n dp r o c e s s e d r e p r e s e n t e de a s i e r , c o m p a r e dw i t ht h o s e p r e s e n t e di nd i f f e r e n tl o c a t i o n s i ne x p e r i m e n tl ，u s i n gb e h a v i o r a le x p e r i m e n tt ot e s tw h e t h e rt h er e d u n d a n t t a r g e te f f e c ti sf i t f o rr a c em o d e lo rc o a e t i v a t i o nm o d e l o u ra i mw a st op r o v ew h e t h e rt h e r eo c c u r r e da u d i o v i s u a l i n t e g r a t i o ni nb e h a v i o r a ll e v e l t h er e s u l t sh a ds h o w nt h a t ，c o m p a r e dw i t hc o n d i t i o n si nw h i c h u n i m o d a lv i s u a la n du n i m o d a la u d i t o r ys t i m u l iw e r ep r e s e n t e d ，p a r t i c i p a n t s r e s p o n d e dm o r e a c c u r a t e l ya n df a s t e rw h e nm u l t i m o d a ls t i m u l iw e r ep r e s e n t e d t h o s ef i n d i n g sp r o v i d e dt h a t ，t h e a u d i o v i s u a li n t e g r a t i o no c c u r r e dw h e nm u l t i m o d a ls t i m u l iw e r ep r e s e n t e d ，a n dt h ef a c i l i t a t i o no f r e a c t i o nt i m ew a sd u et ot h ei n t e r a c t i o ne f f e c to nc o a c t i v a t i o no fa u d i t o r ya n dv i s u a ls t i m u l u s i ne x p e r i m e n t2 ，w eu s es i m i l a re x p e r i m e n tp a r a d i g ma se x p e r i m e n tlt o i n v e s t i g a t ew h e t h e r t h e r ew e r ed i f f e r e n c e sf o ra u d i o v i s u a li n t e g r a t i o nw h e ns t i m u l iw e r ep r e s e n t e di nd i f f e r e n tv i s u a l f i e l d s t h er e s u l t sr e v e a l e dt w os i g n i f i c a n te r pc o m p o n e n t si nt h ed i f f e r e n c ew a v e f o r mw h e n s t i m u l ip r e s e n t e di nr i g h tv i s u a lf i e l d ，t h en 13 6w h i c hr e p r e s e n t e dt h ec r o s s m o d a lm o d u l a t i o ni n a u d i t o r ya s s o c i a t i o nc o r t e x ，a n dt h en 2 6 2t h a td e m o n s t r a t e dt h em u l t i s e n s o r yi n t e g r a t i o ne v e n to n m u l t i m o d a lr e g i o n s w h i l et h es t i m u l iw e r ep r e s e n t e di nl e f tv i s u a lf i e l d ，t h e r ew e r en os i g n i f i c a n t c o m p o n e n t so c c u r r e d t h o s ef i n d i n g sp r o v i d e dt h a t ，m u l t i m o d a ll e t t e ri n f o r m a t i o np r e s e n t e di nr i g h t v i s u a lf i e l dc o u l d b ei n t e g r a t e dm o r ee f f e c t i v e ，c o m p a r e dw i t ht h a tp r e s e n t e di nl e f tv i s u a lf i e l d t h ee x p e r i m e n t3w a st oi n v e s t i g a t et h ee f f e c t so fs p a t i a lc o n g r u i t yo na u d i o v i s u a li n t e g r a t i o n v i am e d i a t i n gt h es p a t i a ll o c a t i o no fv i s u a ll e t t e ra n da u d i t o r ys p e e c h t h er e s u l t sr e v e a l e dt h a ti n d o u b l e d i f f e r e n tw a v e f o r m ，t h e r ew a sas i g n i f i c a n ti n t e g r a t i v ec o m p o n e n tp e a k e da t1 4 0 m si n p a r i e t a lc o r t e x t h o s er e s u l t sp r o v i d e dt h a t ，a u d i o v i s u a lm u l t i s e n s o r yi n t e g r a t i o nw a sb a s e du p o n s o m ei n t e g r a t i v en e u r a lp r o c e s s e st h a td e p e n d e do nt h es p a t i a lc o n g r u i t yo ft h ea u d i t o r ya n dv i s u a l s t i m u l i k e yw o r d s ：a u d i o v i s u a li n t e g r a t i o n ，e v e n t - r e l a t e dp o t e n t i a l s ( e r p s ) ，v i s u a lf i e l d ，s p a t i a l 独创性声明 本人提交的学位论文是在导师指导下进行的研究工作及取得的研究成果。论 文中引用他人已经发表或出版过的研究成果，文中已加了特别标注。对本研究及 学位论文撰写曾做出贡献的老师、朋友、同仁在文中作了明确说明并表示衷心感 谢。 学位论文作者：丈】、蜂 签字日期少7 年争月舢 学位论文版权使用授权书 本学位论文作者完全了解西南大学有关保留、使用学位论文的规定，有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。 本人授权西南大学研究生院( 筹) 可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书，本论文：口不保密， 口保密期限至年月止) 。 学位论文作者签名：火 、样 签字日期：0 1 , 护罗年争月弘日 导师签名：烈、弘雉 签字日期：少p 尹年4 - 月岁d 日 两南大学硕十学伊论文 前言 一上- j i - 1 刖舌 日常生活中，大多数事件都同时传递着多种感觉信息，这些信息被大脑通过不同的感官 通道加以登记，例如，一列火车驶过，不仅呈现出视觉、听觉信息，并且通过带动空气运动， 传递皮肤触觉信息。人们在感知复杂的外部环境的过程中，各种感觉器官都接收到大量的刺 激信息，包括视觉、听觉、嗅觉、触觉等。虽然人们接收到的是不同的信息源从不同的感觉 通道输入的信息，但是并没有将世界知觉为支离破碎的各种形状、颜色、方向、距离、声音、 气味和材质。这种将同一感官通道内的不同线索和信息、不同通道的感觉信息有效地合并为 统一、连贯、强健的知觉的过程，被称作多种感官通道信息的知觉整合，简称多感官整合。 在现实生活中多感官整合现象随处可见，例如听某人说话的同时看着他的嘴唇运动，将 更容易听清对方的言语，尤其在嘈杂的环境中；用锤敲打物体时，用一只手拿着物体会使敲 打更准确。多感官整合在行为上的表现是，和只有单一通道刺激呈现相比，双通道刺激条件 下能显著增强对外界刺激的检测和辨别，而且能加速对刺激的反应能力( f r a s s i n e t t i ，b o l o g n i n i ， l a d a v a s ，2 0 0 2 ；s e k i y a m a ，k a n n o ，m i u r a ，e ta l ，2 0 0 3 ；i h i j ，u u t e l a ，h a r i ，2 0 0 0 ；m u n h a l l ， v a t i k i o t i s b a t e s o n ，2 0 0 4 ) 。这是由丁来自不同感官的信息是相互补充的，因此感官输入的整合 通常能提供任意单个感官所不能提供的信息。例如，我们对味觉的主观体验来自味觉和嗅觉 线索的联合。对这种感知和行为上的多感官整合增强所涉及的神经机制的研究已经在动物和 人身上进行，但是我们对其潜在机制的了解仍处于初级水平。然而，并不是在所有条件下来 自多种感官通道的信息都能发生整合，影响多感官整合的两个决定因素即是时间同步和空间 接近。当两个或两个以上感官刺激发生在相同的时间和地点时，通常认为他们来自同一个物 体或事件，冈此比单一通道输入条件下更容易被检测剑。相反，如果两个不同通道刺激开始 呈现的时间和地点存在差异，则其激发的反应将弱于分离的单一刺激。鉴于人类经历中多感 官整合的酱遍存在及其在日常生活中的重要作用，关于其潜在的神经机制的研究对于理解人 脑功能就至关重要。 在多感官整合中，研究得最多的课题是视听整合。目前，有关视听整合的研究多数都集 中于言语感知。在行为研究中，总的发现是言语感知受嘴唇运动和言语卢音的影响。s u m b y 和p o l l a c k 提出，唇读不仅能促进言语感知，而且也可能改变我们所听到的内容，即著名的 m c g u r k 效应( 例如，在看说话者说“g a ”的同时听“b a ”的发音，则我们感知到的可能是另 一个音节“d a ”) 。考察视听言语整合的神经机制的研究则认为，在视觉和听觉言语信息的整 合过程中起关键作用的主要脑区是人脑左后侧的颞上沟( s u p e r i o r t e m p o r a ls u l c u s ，s t s ) ，该 区还能通过反馈投射调整特定通道皮层区( 这里指的是视觉运动加工区v 5 ，以及颞上皮层中 的听觉相关区域) 的活动；除此之外，前额皮层( f r o n t a lc o r t e x ) 和顶区( p a r i e t a lr e g i o n ) 似 乎也涉及其中，但是这些区域的激活在不同的研究中缺乏一致性。不同于生物进化过程中同时 出现的口头语言，阅读和写作是人类文明创造的结果，视觉字母和言语声音之间的联系是人 两南大学硕十学伊论文前言 为定义、并通过长期的学习所获得的，但是大多数人都能轻易地学习和掌握视觉字母及其相 应的言语声音之间的联系，并将二者知觉为一个统一的整体。那么，视觉字母和语音整合的 神经机制到底是什么，其整合与口头语言的视听整合有何异同，则成为研究者们关注的问题。 深入了解字母识别过程中视听整合的神经机制和特征，能为教育神经科学做出一定贡献，而 且这方面的研究对训练语言学习者和语言丧失者学习语言能起到重要作用。 1 1 多感官整合研究 1 1 1 多感官整合中的冗余目标效应 早期多感官整合的研究发现，当被试对一系列单一形态和双形态刺激( 例如听觉和视觉) 反应，对双形态( 冗余) 目标的检测或识别将快于单一形态目标呈现时的反应，即和只有单 一形态刺激早现相比，双形态刺激能更快、更准确的被检测和辨别( f r a s s i n e t t i ，b o l o g n i n i ，& l a 、d a v a s ，2 0 0 2 ；f r e n s ，v a no p s t a l ，& v a n d e rw i l l i g e n ，1 9 9 5 ) 。这种效应即“冗余目标效应” ( r e d u n d a n t - t a r g e te f f e c t ；m i l l e r ，1 9 8 2 ，1 9 8 6 ) 。对于该效应的解释，目前存在两个模型：竞争模 型( 或单独激活模型) 、同激活模型。根据竞争模型，双形态事件在分离的通道中被加工， 最先完成加j 二的通道首先触发反应。以此类推，掷两颗骰子比掷一颗骰子得到六的几率大的 多。类似的，双形态刺激( 例如视听，a v ) 比单一形态刺激( a 或v ) 条件下获得反应时低于 给定时间t 的比率要高，从而导致较低的平均反应时。这种效应被称为统计促进( r a a b ，1 9 6 2 ) 。 相反，持同激活模型观点的研究者不同意分别加工观点，认为米臼两个通道的信息在某个特 定的加上水平整合，然后被加工为一个联合的实体。启动反应所需要的激活水平在呈现多种 信号的情况下( 比呈现单一信号时) 更容易建立。因此，冗余刺激的同激活加工比单一形态 的竞争模型情况下反应更快。为了验证竞争模型和同激活模型，m i l l e r ( 1 9 8 2 ) 推导出竞争模 型不等式： p ( r t tl s la n d s 2 ) p ( r t t s 1 ) + p ( r t a + v ) ；( 3 ) 在视听非一致条件下有负交互效应( a v q 针v ) 。 火脑中唯一符合三个标准的区域位于左s t s 的腹侧后部，其他的脑区对一致和不一致的叔形 5 两南大学硕十学位论文前肯 态刺激显示正交互效应或负交互效应，但是不会同时显示。最突出的是视听语言语义一致时 视觉和听觉皮层中反应的超累积效应，由丁这些区域的反应比s t s 中的要弱，所以作者认为 它们反映的是多感官增强，而不是整合，验证了早期的研究( c a l v e r te ta 1 ，1 9 9 9 ) 。鉴于并不是 所有的表现出正整合反应的m s i 细胞都会表现出反应抑制，尤其是在皮层( w a l l a c ee ta 1 ，1 9 9 2 ) ， 符合两条标准可能对于检测那些涉及整合加上的区域来说太保守了。但是，s t s 符合那些标准 的事实表明至少在视听语言加工中s t s 起着显著作用。 这些交互效应反映的是多感官整合反应，而不是注意或理解的增强或减弱，这些得到最 近的单一扫描e e g 研究的数据支持( c a l l a ne ta 1 ，2 0 0 1 ) 。在这个实验中，在有噪音( 多个说话 者不停地说) 和无噪音条件下呈现听觉英语单词的同时里现说话者说同一单词( 一致条件) 的图 象影片镜头或非言语面部运动( 控制条件) 。根据反转效应原贝j j ( s t e ma n dm e r e d i t h ，1 9 9 3 ) ，当单 一形态刺激效戍最小时，多感官整合反应最强。因此，可以预测，当听觉信号由于噪音而降 低时，一致的视觉语言能在m s i 细胞产生巨大的反应增强。另一方面，如果c a l v e r t 等( c a l v e r t e ta 1 ，2 0 0 0 ) 观察到的跨形态交互效应简单地反虑一致和不一致嘴唇运动早现时语言理解和注 意的增强或减弱，则最大的增强应该在视听语言无噪音的情况下被检测到。尽管预期的更好 反席出现在无噪音的视听语言情况下，但是e e g 数据中最大的交互效应则在视听语言加噪音 的条件下铍检测到。随后的数据独立组分分析揭示，这些是由于在高频范围( 4 5 7 0 h z ) 两个独 立组分比另一种条件拥有更多的能量。第一个组分位于左颞上沟，其蜂值出现在刺激早现后 人约1 5 0 3 0 0 m s ，被认为是由刺激诱发效应导致的。第二个组跨度信号的整个时间进程，散布 包括顶叶、枕叶、颞叶、前额以及感觉运动区在内的网络区，这是由任务诱发效应导致的。 这些数据和c a l v e r te ta 1 ( c a l v e re ta 1 ，2 0 0 0 ) 在颞上区辨别多感官整合反应所报告的一致，表明 联结加工和其他反应发生在反应任务相关现象的脑区网络中。 1 2 4 视觉字母言语声音整合的神经机制 在现代社会，书面语言在人们的生活中占有重要地位。然而，与口头语言不同，阅读和 写作是人类文明创造的结果，视觉字母和言语声音之间的联系是人为定义、并通过长期的学 习所获得的，人脑中似乎不可能存在自然进化的脑区来整合这种类型的视听刺激。尽管如此， 大多数人都能轻易地学习和掌握视觉字母及其相应的言语声音之间的联系，并将二者知觉为 一个统一的整体。那么，视觉字母和语音整合的神经机制到底是什么，其整合与口头语言的 视听整合有何异同，则成为研究者们关注的问题。迄今为止，关于视觉字母和言语卢音整合 的研究屈指可数，对其整合所涉及的神经机制也知之甚少。最早的直接考察字母和语音整合 神经机制的研究是r a i j 及其同事2 0 0 0 年的m e g 实验。在该实验中，以视觉、听觉或视听三种通 道形式呈现罗马字母，要求被试对小概率目标刺激的呈现做出反应：其中视听刺激包括匹配 ( 视觉字母及其对应的言语声音) 和非匹配( 随意配对的字母和言语声音) 两种类型。结果 揭示了字母和语音整合的一系列加工：首先，刺激呈现后6 0 1 2 0 m s ，在特定的初级感官皮层 6 两南大学硕十学位论文前言 记录到相应的激活增强；随后，2 2 5 m s 左右在外侧颞中皮层( 1 a t e r a lm i d t e m p o r a lc o r t e x ) 出现 视觉和听觉激活的会聚；从2 8 0 m s 开始则在右侧颞一枕一顶接合处( t h er i g h tt e m p o r o o c c i p i t a l - p a r i e t a li u n c t i o n ) 出现视觉和听觉反应的交互效应；刺激警现后3 8 0 5 4 0 m s 之间，在人 脑左后侧的颞上沟记录到匹配刺激对和非匹配刺激所诱发的交互效应存在差异。这些结果和 c a l v e r t 等提出的颞上沟是言语整合的多感官区的结论类似。但是，以往研究所发现的视听交互 效应都对脑区的激活起促进作用，该实验中却发现视听交互效应抑制脑区的活动( 即 a v a + v ) 。作者对此所做出的解释是，言语声音和视觉字母之问的特定联系( 人为定义、并 通过长时间的学习所获得) 导致视觉和听觉信号的加工相互抑制。鉴于m e g 技术在空间分辨 率上的不足，v a n a t t e v e l d t 等2 0 0 4 年使用i m r i 技术进一步考察字母和语音整合的神经机制。不 同于r a i j 等的目标识别任务，该实验中仅要求被试被动地听或看以单一通道或双通道形式呈现 的字母或语音，从而避免了认知冈素导致的任务相关活动对刺激加工的影响。结果和r a i j 等的 研究类似，进行特定通道加上的脑区分别是颞上皮层和颞枕皮层，而进行视听信息会聚和整 合的脑区则是颞上沟。该研究还揭示，视听刺激的同时呈现能调整早期听觉皮层颞平面 ( p l a n u mt e m p o r a l e ) 的活动，但是在视觉初级皮层却没有观察剑类似的调整效应。这与视听 言语整合存在差异，后者中两种感官系统是相互联系、相互影响的。该研究从另一角度证明 字母一语音整合的主要神经机制( 颞上沟) 类似于视听言语整合的脑区，但是字母和语音之间 的特定联系也导致其整合在某些方面不同于其他类型的视听整合。在此研究的基础上，v a n a t t e v e l d t 等2 0 0 7 年采用类似的实验范式，通过f m r i 技术考察字母和语音整合的过程中，视觉字 母和听觉言语刺激呈现的时间先后关系对字母视听整合加工的影响。结果发现，字母一语音同 时呈现是听觉相关皮层( 颞上平面前部以及颞平面) 上出现视听整合效应的必要条件：相比 而言，在呈现视觉字母之前或之后3 0 0 m s 的时间范围内呈现听觉言语声音，颞上沟上的整合都 能发生，这和一些视听言语整合研究所提出的观点类似：在特定的时间范围内，颞上沟区域 的视昕整合并不受视觉和听觉刺激之间时间差异的影响。根据上述结果，作者认为时问因素 对听觉相关皮层上视听整合效应的影响不同于以往研究，是因为静态的字母和动态的语音之 间缺乏某些共同特征( 例如，随时间而改变的频率一振幅等信息) ，所以视听刺激同时呈现这 一条件在其整合过程中更显重要。 1 3 多感官整合中的空间位置效应 在现实世界，来同同一物体或事件的、不同通道的信号通常在时间和空间上是一致的， 根据这种观点，单一刺激在时间和空间上相差很远时，多感官整合应该减弱或消失，因为在 这种情况下感知到的是两个物体或事件而不是单一个体。 根据行为结果来看，当视觉线索模糊时，动物确定其方向的能力因相同位置上同时呈现 的声音而增强，但是却因不同位置上的声音的呈现而遭到破坏。关于人类的研究也发现，双 形态a v a i l 激对信号检测和反应速度的促进效应也依赖于刺激的空间一致性( f r a s s i n e t t ie t 7 两南大学硕+ 学伊论文前言 a 1 ，2 0 0 2 ；h a r r i n g t o n & p e c k ，1 9 9 8 ；c o m e i l & m u n o z ，1 9 9 6 ；f r e n se ta 1 ，1 9 9 5 ) ，当在某一不知位置 呈现闪光之前先在该同一位置上呈现短暂的声音，被试对闪光的检测和辨别将更快( 和声音 呈现在不同位置上相比) ( d r i v e r & s p e n c e ，2 0 0 4 ；s p e n c e & m c d o n a l d ，2 0 0 4 ) 。然而，s t e i n ， l o n d o n ，w i l k i n s o n 以及p r i c e l 9 9 6 年的生理心理研究却发现了相反的结果：不管听觉刺激的呈 现位置和视觉刺激的位置一致还是位于视觉刺激左边或右边4 5 0 ，听觉刺激都能改变所感知到 的闪光的视觉强度。与此类似，w e l c h ，d u r o n h u r t ，a n dw a r r e n ( 1 9 8 6 ) 报告，不管声音和闪光是 来自同一位置还是相隔4 5 。或9 0 0 ，摆动的声音都能改变所感知到的闪光频率。t c d e r - s a l e j a n ，i 等发现，对多感官刺激小概率目标的检测比单一感官刺激的检测更容易，但是这种效应在行 为水平上不依赖于空间一致性( t e d e r - s a l e j a r v i ，d ir u s s o ，m c d o n a l d ，h i l l y a r d ，2 0 0 5 ) 。在j e a n v r o o m e n 等2 0 0 0 年的行为研究中，考察声音和闪光之间的空间不一致性能否影响时间口技效 应。结果发现，声音和闪光之间的空问非一致并不影响这种效应。根据这些例子，可以认为 如果实验任务的空间属性或空间注意并没有涉及，多感官整合的空间规则并不适用。 考察空间一致影响人类多感官整合的神经机制，大多数研究使用的是视觉触觉刺激。 m a c a l u s o 等的f m r i 研究( 2 0 0 0 ，2 0 0 4 ) 中，给被试呈现空间位置一致或非一致的触觉和视觉刺 激，以此来考察同时呈现的视触刺激对人类视觉皮层活动的影响。结果表明，触觉刺激的呈 现确实能增强闪光对侧枕叶的激活强度，但是这种跨形态影响依赖丁触觉和视觉感官输入的 空间关系：即只在触觉刺激和视觉刺激的空间位置一致的情况下出现。s c h u 。r m a l l r l ，k o l e v ， m e n z e l 等2 0 0 2 年的e r p - e 录中发现单侧性的视觉和躯体感觉之间的跨形态交互：尤其令人感 兴趣的是当两种刺激的空间位置一致时，在7 5 1 0 0 m s 潜伏期观察到跨形态交互促进效应。然 而，m u r r a y 等2 0 0 5 年的e r p 研究发现，在5 0 5 9 m s 单侧性的听觉和躯体感觉的脑神经反应之 间存在跨形态交互促进效应。这种早期的视触交互被定位于听觉相关皮层，而且对于空间一 致和非一致刺激来说并无显著差异。因此，这些结果表明，某些类型的跨形态交互促进效应 并没有依赖于刺激的空间一致性。而类似的视听( a v ) 领域的研究却相对较少。s t e i n 和 m e r e d i t h l 9 9 3 年发现，当视觉和听觉刺激呈现在接近的空间范围时，能观察到神经反应的多感 官增强( 6 炒a + ；而当刺激之间的空间位置差异较人时，则观察到反应抑f 蠡i j ( a v a + v ) 或没 有发现交互( a v = a + v ) 。在最近的一个p e t 研究中，m a c a l u s o 等( 2 0 0 4 ) 改变听觉和视觉刺激( 1 2 1 语单词和发音该单词的人脸) 的空间一致和时间同步。空间不一致的情况下后侧枕区的激活 强度更大，而腹侧枕区和颢上沟并不受相对位置的影响。m a t t h i s ag o n d a n 等( 2 0 0 5 年) 使用e r p 技术，通过调控双形态刺激的空间关系来考察多感官整合的相关神经机制以及空间一致对其 的影响。结果发现空间一致和不一致的a v * i j 激所激发的e r p 波形的不同最早是1 5 0 1 8 0 m s 之 间、分布于顶叶皮层后部的交互成分。g o n d a n 使用e r p 记录考察空间一致性对a v 多感官整合 的影响。他们观察到空间一致和非一致a v 刺激的e r p 交互成分之间的差异，这种差异在潜伏 期为1 5 0 1 8 0 m s l f f 达到最大。t e d e r - s a l e j a r v i 等( 2 0 0 5 年) 使用高密度的e r p 记录和源定位技 术更细致地分析随空间一致性改变的a v 交互的神经基础，结果表明，a v 多感官会聚基于某些 8 两南大学硕十学伊论文前言 整合神经加