唇动对视听语言知觉的影响

1、LOGO报告人：张青格，邓雅菱，雷寰宇唇动现象对婴儿视听语言知觉的唇动现象对婴儿视听语言知觉的影响影响整理课件LOGO结构引言与实验设计实验方法与结果讨论与实验结论整理课件整理课件LOGO引言v婴儿视觉听觉通道很早建立连接。v行为研究：婴儿注视说话者的时间长于倾听者。(Kuhl & Meltzoff, 1982, 1984; Kuhl, Williams, & Meltzoff, 1991; MacKain, Studdert-Kennedy, Spieker, & Stern, 1983; Patterson & Werker, 1999, 2003).v电生

2、理研究：当视觉听觉相匹配时，大脑出现独特 的电生理电位。(Bristow et al., 2009) 整理课件整理课件LOGO引言v视听通道连接的作用机制是什么呢？v一种假设认为视觉听觉通道通过口齿清晰发音构建语言信息。 (Kent & Vorperian, 2007; Kuhl & Meltzoff, 1984, 1988)v婴儿在视觉听觉语言环境下出现一致的口型。(Kuhl & Meltzoff, 1982, 1984, 1996; Legerstee, 1990; Patterson & Werker, 1999)v 婴儿阶段唇动是否与语言知觉有关呢？整理

3、课件整理课件LOGO引言v对成人的研究是双向的。v只呈现视觉或听觉语言会影响语言的输(Galantucci, Fowler, & Goldstein, 2009; Kerzel & Bekkering, 2000)； 动作口型反过来也能影响视觉或听觉的语言知觉(Sams, Mttnen, & Sihvonen, 2005)。v对婴儿的研究是单向的。v母语声音模式影响新生儿的哭泣 (Mampe, Friederici, Christophe, & Wermke, 2009)或婴儿的发音(Ruzza, Rocca, Boero, & Lenti, 2006)

4、。v本研究是一种以往单项研究的不足。整理课件整理课件LOGO引言v成人研究中嘴型和语言知觉的对应关系是明确的，但是在婴儿阶段是否有同样的语言机制存在是有待研究的。v对于视听通道连接的作用，前人提出视觉-听觉匹配的研究方法(Baier, Idsardi, & Lidz, 2007; Kuhl & Meltzoff, 1982, 1984; Kuhl et al., 1991; Patterson & Werker, 1999, 2003)。v具体研究问题：婴儿不同嘴型会不会影响对于视觉听觉相匹配任务的注视。整理课件整理课件LOGO引言v婴儿时期的语言运动动作还不成熟。不能

5、发出清晰语音。唇动是非语言口型。v如何利用非语言口型的知觉动作进行测查。v婴儿咀嚼与吮吸的动作，是与成人的圆唇、扁唇相似性很高的。利用含着东西的方法，模拟不同的口型。整理课件整理课件LOGO实验设计v实验假设v发音同化效应 唇音匹配时，激活与所听到元音相一致的嘴型，抑制不一致的嘴型。 唇动扁唇，听到i，注视视觉/i/的时间增长。v发音对比效应 导致相反的知觉偏向，注视新异刺激。 嘴唇扁唇，听到i，注视视觉/u/的时间增长。整理课件整理课件LOGO实验设计v自变量： 唇动与声音匹配 唇动与声音匹配 婴儿唇动口型：扁唇/i/，圆唇/u/。 听觉声音刺激：元音/i/，元音/u/。v因变量： 儿童注视

6、时间，利用眼动设备测量。被试间变量整理课件整理课件LOGO整理课件整理课件被试v96v4个月-5个月，平均4个月18天v三个组： 基线组（32）：嘴里什么也没有，无嘴型 唇音匹配组（32）：婴儿嘴型与听到的发音一致 唇音不匹配组（32）：婴儿嘴型与听到的发音不一致LOGO整理课件整理课件实验设计v实验流程v口型“u”9s，左v口型“i”9s，右v一起v无声v3秒黑屏v2分钟有声v其中一个匹配v婴儿间平衡LOGO整理课件整理课件实验设计v小婴儿：3232LOGO整理课件整理课件结果v比较两张面孔的注视点时间v3（组别：基线、匹配、不匹配）2（性别：男、女）2（听到的发音：i、u）2（匹配方向：左

7、、右）方差分析LOGO整理课件整理课件结果v看每张面孔的比例（描述统计结果）LOGO整理课件整理课件结果v方差分析结果：只有组别效应v看与声音匹配的面孔的比例LOGO整理课件整理课件实验一讨论pattern1基线组：看嘴型与发音匹配的比例更大contrast effectpattern2不匹配组：同基线组，看嘴型不匹配组：同基线组，看嘴型与发音匹配的比例更大与发音匹配的比例更大no facilitation effectLOGO整理课件整理课件实验二v目的：什么导致了对比效应？v同样的程序，不同的婴儿，32v把音频换成了“a” 2AV-motor interaction：不同实验一：不同实验一

8、 1facial-expression matching：结果同实验一LOGO整理课件整理课件实验二结果v把实验一有嘴型组婴儿的结果一起比较v因变量：婴儿看与自己嘴型相同的面孔的时间v实验的主效应显著v实验一中很少看与自己嘴型匹配的面孔，实验二相反LOGO整理课件整理课件讨论Text in here 没有表现出对不匹配嘴型的面孔的偏向 说明：实验1的结果不是面孔表情匹配的结果，是存在交互作用的LOGO整理课件整理课件讨论讨论感觉信息在婴儿早期就与视听言语加工有着直接的关系感觉信息在婴儿早期就与视听言语加工有着直接的关系 实验1表明在匹配组存在选择性偏向，在不匹配组退回到基线水平 实验2表明这些结果能够反应一种视听觉与动作技能的交互效应LOGO整理课件整理课件v本研究观察到的对比效应不同于成人：成人的言语信息是由于他们发音清晰发音清晰才会有所偏向性v本研究与之前文献相一致：在视觉感知和身体动作上都有对比效应。v圆唇或者扁唇对于视听言语都有相似的影响，会使感觉信息偏向于相对的元音LOGO整理课件整理课件讨论v不同的任务要求可能会选择性地诱发对比效应和同化效应v这些注视模式可能作为发展水平的函数而变化：当婴儿掌握很多技能，对比效应就不稳定了，可能在某年消失，然后作为同化效应再出现LOGO结论v视听言语技能与动作技能是有交互作用的。v发音器官的粗略感觉信息对于感知系