（基础心理学专业论文）不同效价的面部表情图片加工差异的研究.pdf

辽宁师范大学硕士学位论文 摘要 探讨正负效价面部表情图片识别在速度以及正确率方面的差异，分析产生差异的原 因，并通过眼动记录技术记录表情图片识别过程中的眼动过程。 实验中使用e - p r i m e 软件编程，通过t o b i ix 1 2 0 眼动仪记录数据，对不同效价的 面部表情图片在不同的呈现条件下( 改变呈现时间或者是采用不同位置的提示线索) 进 行识别，并按键做出反应，记录相应的反应时、正确率以及眼动指标。 研究发现：( 1 ) 对积极面部表情的识别快于对消极面部表情的识别。长呈现时间条 件下对面部表情的识别快于短呈现时间条件下。表情效价与呈现时间的交互作用显著， 在长呈现时间的条件下，积极面部表情的识别速度要快于消极面部表情的识别速度。( 2 ) 对积极面部表情识别的正确率高于对消极面部表情的识别的正确率。表情效价与呈现时 间的交互作用显著，在短呈现时间的条件下，积极面部表情识别的正确率显著高于消极 面部表情识别的正确率。( 3 ) 和提示线索位置在眼部相比，提示线索位置在嘴部时被试 对面部表情识别的速度更快。( 4 ) 在o 一0 2 时间段内，眼部的首次注视时间、总注视时 间和注视点个数均显著多于嘴部。在0 6 - 0 8 时间段内，眼部的首次注视时间、总注视 时间和注视点个数均显著多于嘴部。 基于以上结果，可以得出如下结论：( 1 ) 在不同的呈现时间下，对积极面部表情的 识别速度及正确率都高于对消极面部表情的识别速度及正确率，显示出了“积极表情优 势”。( 2 ) 通过改变提示线索的位置，我们发现提示线索在嘴部有利于快速而准确的对 面部表情进行识别。( 3 ) 无论是积极还是消极的面部表情的识别轨迹都遵循“眼部一嘴 部一眼部”的规律。被试通过眼部来判断表情性质时需要更多的资源，相对于嘴部而言 更难。 关键词：面部表情；效价；呈现时间；提示线索；眼动 不同效价的面部表情图片加工差异的研究 t h ed i f f e r e n tr e c o g n i t i o np r o c e s so f p i c t u r e so f f a c i a le x p r e s s i o n sw i t h d i f f e r e n tv a l e n c e s a b s t r a c t t h e a i mi st od i s c u s st h ed i f f e r e n c e so ff a c i a l e x p r e s s i o n sp i c t u r e sw i t hd i f f e r e n t v a l e n c e s ，t oa n a l y s et h ed i f f e r e n c e si nt h er e s p o n s et i m ea n da c c u r a c yr a t e ，a n dt of i n dt h e r e a s o n so ft h i sa n da n a l y s et h ee y em o v e m e n td a t a u s i n gt h ee p r i m es o f t w a r et ow r i t et h ep r o g r a m sa n dr e c o r dt h ed a t aw i t ht o b i ix 1 2 0 ， b yc h a n g i n gt h ep r e s e n tt i m eo rh i n tp o s i t i o n ，t h ep a r t i c i p a n t sr e c o g n i z et h ev a l e n c e so ft h e f a c i a le x p r e s s i o n sa n dp r e s st h ek e y b o a r dt or e a c t ，a n dr e c o r dt h ed a t ao fr e s p o n s et i m e ， a c c u r a c yr a t ea n de y em o v e m e n td a t a r e s u l t sa r ea sf o l l o w s ：( 1 ) i nt h er e s p e c to fr e s p o n s et i m e ，t h er e c o g n i z a t i o ns p e e do f p o s i t i v ef a c i a le x p r e s s i o n si sf a s t e rt h a nt h er e c o g n i z a t i o ns p e e do fn e g a t i v ef a c i a le x p r e s s i o n s t h er e c o g n i z a t i o ns p e e do ff a c i a le x p r e s s i o n si nt h el o n gt i m ep r e s e n t a t i o ni sf a s t t e rt h a nt h e r e c o g n i z a t i o ns p e e do ff a c i a le x p r e s s i o n si nt h es h o r tt i m ep r e s e n t a t i o n t h ei n t e r a c t i o ne f f e c t b e t w e e nt h ev a l e n c eo ff a c i a le x p r e s s i o n sa n dt i m ep r e s e n t a t i o ni sr e m a r k a b l e ，i nt h e c o n d i t i o no fl o n gt i m ep r e s e n t a t i o n ，t h er e c o g n i z a t i o ns p e e do fp o s i t i v ef a c i a le x p r e s s i o n si s f a s t e rt h a nt h er e c o g n i z a t i o ns p e e do fn e g a t i v ef a c i a le x p r e s s i o n s ( 2 ) t h ea c c u r a c yr a t eo f p o s i t i v ef a c i a le x p r e s s i o n si sh i g h e rt h a nn e g a t i v ef a c i a le x p r e s s i o n s t h ei n t e r a c t i o ne f f e c t b e t w e e nt h ev a l e n c eo ff a c i a le x p r e s s i o n sa n dt i m ep r e s e n t a t i o ni sr e m a r k a b l e ，i nt h e c o n d i t i o no fs h o r tt i m ep r e s e n t a t i o n ；t h ea c c u r a c yr a t eo fp o s i t i v ef a c i a le x p r e s s i o n si sh i g h e r t h a nn e g a t i v ef a c i a le x p r e s s i o n s ( 3 ) i nt h er e s p e c to fr e s p o n s et i m e ，w h e nt h eh i n tp o s i t i o ni s i nt h em o u t h ，t h er e c o g n i z a t i o ns p e e di sf a s t e rt h a nt h eh i n tp o s i t i o ni si nt h ee y e s ( 4 ) d t l d n g t h ep e r i o do f0 - 0 2 s ，t h ef i r s tf i x a t i o nd u r a t i o n ，t h et o t a lf i x a t i o nd u r a t i o na n dt h ef i x a t i o n c o u n ti nt h ee y ea r e ao fi n t e r e s ti sm o r et h a nt h a ti nt h em o u t ha r e ao fi n t e r e s t d u r i n gt h e p e r i o do f0 6 - 0 8 s ，t h ef i r s tf i x a t i o nd u r a t i o n ，t h et o t a lf i x a t i o nd u r a t i o na n dt h ef i x a t i o nc o u n t i nt h ee y ea r e ao fi n t e r e s ti sm o r et h a nt h a ti nt h em o u t ha r e ao fi n t e r e s t c o n c l u s i o n ：( 1 ) i nd i f f e r e n tt i m ep r e s e n t a t i o n ，t h er e c o g n i z a t i o ns p e e do fp o s i t i v ef a c i a l e x p r e s s i o n si sf a s t e rt h a nt h er e c o g n i z a t i o ns p e e d o fn e g a t i v ef a c i a le x p r e s s i o n s ，w h i c hs h o w s t h a tt h e h a p p yf a c ea d v a n t a g e ”( 2 ) b yc h a n g i n gt h ep o s i t i o no ft h eh i n t ，w ef i n dt h a tt h eh i n t p o s i t i o ni nt h em o u t ha r e ai sb e n e f i c i a lt ot h er e c o g n i z a t i o no ft h ef a c i a le x p r e s s i o n s ( 3 ) t h e t r a c ko ft h er e c o g n i z a t i o nf o l l o w st h et r a c ko f “e y e - m o u t h - e y e ”w h e nt h e p a r t i c i p a n t s r e c o g n i z et h ef a c i a le x p r e s s i o n sb yt h ee y ea r e a ，i ti sm o r ed i f f i c u l tt h a nb yt h em o u t ha r e a ， a l t h o u g ht h ee y ea r e aa t t r a c tm o r ea ：t t e n f i o n a lr e s o u r c e s k e yw o r d s ：f a c i a le x p r e s s i o n s ：v a l e n c e ：p r e s e n t t i m e ：h i n tp o s i t i o n ；e y e m o v e m e n t 辽宁师范大学硕士学位论文 引言 人际交往有两种形式，一种是言语的，一种是非言语的。言语交往是基本的交往形 式，传达出人们的思想。而非言语交往则传达出人们的潜意识的情感。非言语交往包括 眼神、体态、面部表情、触摸、手势、声调等等，我们可以看出，非言语交往限制少， 没有固定形式，因而可以说无处不在。我们一直在通过非言语行为来有意或无意的对他 人进行判断，因而正确识别非言语行为对我们的交际就非常重要。a l b e r tm e h r a b i a n 认为信息获取模式是一个简单的线性模型【1 】：信息的总效果= 7 言语( v e r b a l ) + 3 8 声音 ( v o c a l ) + 5 5 面部表情( f a c i a l ) 。由此可见，面部表情在人际交流中占有相当重要的 地位。人们的情感，无论喜、怒、哀、惧、厌恶，无一例外会通过姿势和面孔体现出来。 面孔是人类最显著的外部特征之一，它包含着复杂而又丰富的信息。面孔可以帮助 我们认识周围的人，也把自己的状态通过面孔向周围传达着。在缺乏外部线索的情况下， 通过面孔，我们就可以快速而且又比较准确的对他人的情绪状态、性别、年龄和种族等 方面有一个清晰的而又比较全面的认识。面部表情是人类情感的外部表达，我们通过面 部表情判断别人对我们的喜欢、厌恶，也传递出我们自己的喜欢或不满。因此正确识别 和表达面部表情是人际交往的重要工具和途径，也是人类生存的一项重要技能。面部表 情的识别与加工是情绪心理学研究的重要内容，也是认知神经科学研究的热点问题之 一。 本文在总结了前人研究的基础上，从相关研究中找到两个矛盾点作为研究的出发 点，对正负效价的面孔的识别速度正确率以及时间进行研究。以往对表情识别的研究评 价，很多都是根据实验结果进行推测，无法做即时性记录与测量( o n l i n em e a s u r e m e n t ) 。 本研究使用眼动技术很好地解决了这个问题，利用眼动记录技术对被试识别过程的眼动 指标与识别速度和正确率结合进行分析，为探讨识别正性、负性面部表情速度差异的原 因提供了可能。而且这一方法可以在被试自然浏览过程中进行记录，没有对图片进行截 图来单独呈现眼睛、嘴部等局部特征，而是呈现完整面部表情图片，使眼动实验更趋于 生态化。 不同效价的面部表情图片加工差异的研究 一、概念界定 第一部分研究综述 情绪是心理过程的重要组成部分，也是影响个体行为的重要因素。心理学界对于情 绪的研究纷繁复杂，不同流派从不同层面解释情绪。情绪的生物观点强调情绪产生的生 理基础，情绪的认知理论重视情绪的认知基础，情绪的功能主义者从个体和环境的关系 和活动的倾向性来界定情绪。情绪是个多层面、多成分的复杂现象，不同的研究者试图 将某一或某些层面作为核心参照内容，因此给情绪下定义，但这样难免有以偏概全的缺 陷。一般而言，情绪包括内在体验、外显表现和生理激活三个成分。情绪发生时通常都 有明显的外在表现，具体表现为面部、言语、身体姿势、手势等活动，这种外在表现又 称为表情。 表情( e x p r e s s i o n ) 是情绪的外在体现，它是在情绪和情感状态发生时身体各部分的动 作量化形式，包括姿态表情、语调表情和面部表情。姿态表情分为身体表情和手势表情 t 2 。身体表情是表达情绪的方式之一。人在不同的情绪状态下，身体姿态会发生不同的 变化。手势表情常常是表达情绪的一种重要形式。手势既可以作为语言的辅助手段，也 可以独自表达情感。语调表情也是表达情绪的重要形式，表现形式是言语的声调、频率 和速度等方面的变化。其中最引人关注，也是非常重要的表情就是面部表情。 面部表情( f a c i a le x p r e s s i o n ) 是指通过眼部肌肉、颜面肌肉和口部肌肉的变化来表现 各种情绪状态【l 】。面部表情是情绪的发生机制，它是最敏感的情绪发生器，也是显示器。 它能精细的表达不同性质的情绪和情感，因此面部表情是鉴别情绪的重要标志。 面部表情性质的分类有很多种。我国古代有“七情六欲 之说。这里“七情”指的 是“喜、怒、哀、乐、爱、恶、欲”。i z a r d 将基本情绪分为兴趣、惊奇、痛苦、厌恶、 愉快、恐惧和悲伤八种，后又增加害羞、轻蔑和自罪感三种。e k m a n 对基本表情的分类 得到了很多认可。e k m a n 将基本的面部表情分为六种 2 】，即快乐( h a p p y ) 、生气( a n g r y ) 、 惊奇( s u r p r i s e ) 、悲伤( s a d ) 、恐惧( f e a r ) 、厌恶( d i s g u s t ) 。不同的学者有不同的分类 方式，结果不一致，为了避免这一困境，有些学者采用维度来对表情进行分类。比如将 表情性质分为三个极性：积极、消极和中性，或者是分为两个维度：强度和愉悦度 ( l a r e s n & d i e n e r ，1 9 9 2 ) 等等。一种广为接受的维度理论将情绪分为效价和强度两个维度。 在本文中我们采用效价和强度来对面部表情图片进行分类。 二、面部表情识别的研究 2 1 面部表情识别的“模块性” 李清、王晓辰从心理模块性一书中归纳出心理模块的概念：首先，心理模块本 2 辽宁师范大学硕士学位论文 质上是“功能主义”的，是功能的概念。其次，心理模块是计算的单元。他们认为，一 个模块系统最重要的特性是天赋性、领域特殊性和信息封闭性，“面孔识别”是典型的 心理模块【3 1 。 关于面孔识别的天赋性，在人和动物身上都可以找到证据。s l a t e r m 认为出生几小时 甚至几分钟的婴儿都表现出对面孔的偏好。之后的大量研究验证了这个观点，m o r t o n 【5 】 发现，出生3 0 分钟的婴儿对面孔刺激的注视时间长于对非面孔刺激的注视时间。这种 面孔偏向出现在经验与学习之前，能充分证明面孔识别的天赋性。对动物的研究也得到 了相似的结果。s a c k e t t t 6 发现出生后就隔离饲养的恒河猴对猴子的面部图片比对其他的 复杂图像更感兴趣，由于猴子没有经验没有经过学习，因此他认为猴子存在先天的种类 识别系统。 关于面孔识别的特殊性，主要表现在识别面孔与物体识别的不同。最有力的证据来 自脑损伤病人识别物体和识别面孔的功能的分离。脑损伤病人表现出“面孔失认”，他 们能正常识别物体，却无法识别面孔。与此相反，“物体失认症”的病人虽然无法识别 物体，却可以识别人的面孔。m c n e i l 和w | 锄血酉0 n 【刀在研究中也发现，有些病人可以识 别汽车或者是动物，却不可以识别人的面孔。这些说明物体识别与面孔识别是单独的。 随着科学的进步，人们使用p e t 、e r p 和f m r i 等技术进行的实验研究，为面孔识别的 特异性提供了更为可靠的证据。对人类大脑的e r p 研究【8 】发现，只有完整的人的面孔才 能引起n 1 7 0 波，而同等方式呈现的其它刺激则无法引起。对动物的脑电研究也有类似 的结果。f a r a h 在实验中对j 叵河猴的脑细胞电活动与损毁研究【9 】表明，恒河猴选择性加工 面孔的脑区位于下颞叶( i n f e r i o rt e m p o r a l ) 及颞上沟( s u p e r i o rt e m p o r a ls u l e u s ) 的边沿。 这两个部分包含很多面孔神经元，它们对面孔刺激有强烈的反应，但是对非面孔刺激却 只有微弱的反应或没有反应。此外，面孔加工的功能单侧化【l o 】也是面孔加工特殊性的重 要证据。割裂脑研究证实了面孔加工的右半球优势，而物体加工则未表现出功能单侧化 的倾向。比如罗跃嘉【1 1 】等人在研究中发现社会情绪存在右半球优势。使用电生理、脑成 像以及对脑损伤病人进行神经心理学检查等手段，研究者已经找到人类选择性地对面孔 刺激进行加工的脑区，即梭状回面孔区( f a c ef u s i f o r ma r e a ，f f a ) l l 引。 2 2 面部表情的知觉方式 面部表情的加工方式是面部表情识别研究的一个重要的内容。我们在对面孔进行识 别时是基于面孔的局部特征还是基于面孔的整体结构进行加工，关于这个问题，目前主 要存在三种理论，即特征说、结构说和整体说。 目前大部分的研究结果支持面孔识别的整体说。整体说认为面孔识别是基于面孔的 整体结构，很少是基于部分特征。而物体识别大多是基于局部特征。t a n a k a 与f a r a h 【l 纠 研究发现，被试在对整个面孔和整所房子的识别的绩效并没有明显的差异，但对面孔的 部件识别却显著差于对房子的部件的识别。w h i t n e ys t r e e t u 4 发现单独呈现一个面孔比 不同效价的面部表情图片加工差异的研究 单独呈现一个房子时，被试对变化发现的更快，表明单独呈现一个面孔更能吸引被试的 注意力。然而，这种优势只在单独呈现面孔时发生。在他的实验中，当很多面孔呈现在 屏幕上的时候，面孔的变化探测并不比房子好。 特征说认为面孔加工时主要是对特征信息进行加工，整体面孔只不过是各个特征信 息的简单总和【l5 1 。局部特征是指面孔上相对独立的器官，比如眼睛、鼻子、嘴巴等，而 且这些特征信息在面孔加工过程中具有不同的重要性，从大到小依次为内轮廓、外轮廓、 眼部、嘴部和鼻子【1 5 】。显然，特征说支持的是面孔的局部加工方式。 结构说认为面孔加工过程除了加工特征信息之外，更主要的是对结构信息的加工。 结构信息是指面孔上特征之间的空间关系以及版面布局信息等，比如两眼间距离，眼睛、 鼻子、嘴部相互之间的距离等。在支持结构说的研究者当中，有些研究者是把结构加工 等同于整体 j 1 - f 1 6 】，也有部分研究者认为，在面孔加工过程中起关键作用的是特征之间 的空间关系，而不是整体模板【1 7 1 ( l e d e r & b r u c e ，2 0 0 0 ) 。面孔倒置效应( f a c ei n v e r s i o ne f f e c t ) 有力的支持了结构说。如l e d e r 等人【l8 】考察了结构信息( 两眼间的距离) 在正向和倒置 面孔中的作用，发现局部结构信息在面孔加工过程中起着关键作用，不需要进行整体加 工就可以识别面孔( l e d e r , c a n d r i a n ，h u b e r & b r u c e ，2 0 0 1 ) 。 2 3 面部表情识别的研究范式 已有研究使用过的经典实验范式有 1 9 】：情绪s t r o o p 范式、视觉搜索范式、线索一 靶子范式、负启动范式、g a r n e r 范式等。 ( 1 ) 情绪s t r o o p 范式 情绪s t r o o p 范式是早期研究中常见的范式。对情绪面孔的颜色命名的反应时与对 中性面孔的颜色命名的反应时之差就代表了对表情信息产生的注意偏向时间。如果差值 为正，表明情绪面孔的情绪信息得到了加工，干扰了对颜色的命名。在s t r o o p 任务中， 刺激呈现2 0 毫秒时出现负性偏向 1 9 】。m o g g 2 0 1 等人发现，刺激呈现1 4 毫秒时，负性偏向 与特质焦虑呈现显著相关，而当刺激呈现时间在意识阈限以上时，没有产生类似的结果： 对正性刺激，无论呈现时间是在意识阈限之上还是之下，都没有发现注意偏向。v a nh o n k 和t u i t e n 等人【2 1 】发现( v a nh o n k ；t u i t e na ，2 0 0 1 ) ，当情绪面孔只呈现3 0 m s 并被中性 面孔所掩蔽时，特质焦虑被试对愤怒表情的颜色命名要慢于对中性表情的颜色命名，支 持了情绪信息在无意识状态下得到加工的观点。 ( 2 ) 视觉搜索范式 在人群中，带有表情的面孔总是特别吸引引人注意，这被称为表情的p o p o u t 效应。 e a s t w o o d 等【2 2 】利用视觉搜索范式，发现在中性面孔中搜索负性面孔( 愤怒表情) 比在中性 面孔中搜索正性面孔( 高兴表情) 要快( e a s t w o o djd ，2 0 0 i ) 。刘蓉晖、王垒等人采用视觉 搜索范式发现，对表情的搜索基于表情面孔的局部特征而非群组特征，并且受环境的影 响【2 3 1 。o h m a n 发现【2 4 1 ，在中性刺激背景( 蘑菇，花朵) 下搜索恐惧相关刺激( 蛇，蜘蛛) 时， 4 辽宁师范大学硕士学位论文 反应时、错误率均小于在恐惧相关背景下搜索中性刺激，说明人类对潜在的威胁性刺激 会优先注意。在对蛇或蜘蛛具有特殊恐惧的被试身上，这种偏向更为明显。搜索恐惧相 关刺激的时间不依赖于其所处的位置，而搜索与恐惧不相关刺激的反应时则因其位置不 同而变，离注视点近的刺激更易发现。 ( 3 ) 线索一靶子范式 首先在注视点的一侧出现情绪面孔或情绪词，作为线索，一段时间后在线索提示的 位置出现探测刺激( 线索有效位置) ，或者在线索提示位置的对侧出现探测刺激( 线索无 效位置) 。研究发现，与线索是不带情绪色彩的刺激条件( 如中性词或中性面孔) 相比， 如果线索是负性情绪刺激( 如愤怒、恐惧等与威胁相关的刺激) ，焦虑个体对出现在有效 提示位置的靶刺激的探测要显著加快( a v i l ac ，p a r c e tma ，2 0 0 2 ) ，说明情绪信息影 响人们空间注意的定向【2 5 1 。e t z k o w i m 在高社会焦虑个体和低社会焦虑个体间做了接近一 回避任务。所有被试对呈现的生气、快乐、中性图片做出反应。实验要求被试把操纵杆 推离他们或者是拉向他们。和低社会焦虑群体相比，高社会焦虑者在避免生气面孔( 推 离操纵杆) 时比接近生气面孔( 把操纵杆拉向自己) 反应的更快【2 6 。 ( 4 ) 负启动范式 n e i l 等提出的负启动范式是一种区分选择注意的促进激活和抑制成分的实验设计 阳，在这个范式中，前一个项目中的干扰刺激在当前项目中作为目标刺激，此时相对于 中性项目来说，对目标的反应时会延迟。这种效应反映了在加工前一项目时对干扰刺激 的抑制。许多负启动实验发现了老年人群、幼年儿童、精神分裂症患者抑制功能的不足。 3 0 0 r m a n n 在情绪信息的负启动实验中考察了抑郁症候与对情绪信息抑制功能障碍之间 的关系，发现抑郁程度高的被试在对情绪词进行极性判断时没有表现出负启动效应，说 明抑郁与对负性信息的抑制缺陷相关【2 7 | 。 ( 5 ) g a r n e r 范式 g a r n e r 效应是g a r n e r 提出的研究两个维量之间交互干扰程度的一种测量指标，经 典的g a r n e r 实验范式包括两个实验组段，考察两个维量之间的交互影响。g a n e l 等瞄驯 以g a r n e r 效应作为测量指标，考察了面孔身份识别与面部表情识别之间的交互作用。 g a n e l 等的实验结果验证了面孔身份对表情识别的干扰以及面部表情对面孔身份识别的 干扰。在面孔身份与表情识别的交互影响实验中，典型的g a r n e r 任务设计是：在组段 一中要求被试只根据一个维量进行快速分类作业而另外一个维量保持恒定( 称为基线组 段) ，而在组段二中要求被试同样根据维量一进行快速分类但维量二则是变化的( 称为 过虑组段) ，分别记录两个组段中的反应时成绩，然后以两个组段中被试的平均反应时 成绩差作为维量二对维量一的干扰效应量。g a r n e r 范式的一个优点是，能够使用更多类 型的刺激，除词汇外，还可以用照片、图片等材料。此外，与点探测任务主要考察的是 注意定向或注意施加( e n g a g e m e n t ) 相比，g a r n e r 任务考察的是注意的保持。g a r n e r 范式 不同效价的面部表情图片加工差异的研究 广泛应用于研究两种维度的交互作用。一般按照基线条件和混合条件将实验分为不同区 组。在基线条件的各区组中，保持任务无关的维度恒定，任务相关维度则在不同水平上 变化；在混合条件下，两种维度随机变化 2 9 ( p o m e r a n t zjr ，2 0 0 3 ) 。 三、对面部表情识别研究的差异 3 1 识别速度的差异 无论是对幼儿还是对成年人的研究都发现，在识别速度方面，情绪类型的主效应显 著。即我们对不同的情绪类型的反应速度是不一样的。王振宏等以幼儿为研究对象，对 幼儿正确识别的表情图片在性别、年龄、情绪类型上的平均成绩进行方差分析，面部表 情识别的年龄主效应显著，情绪类型主效应显著，性别主效应不显著【3 0 1 。c a l v o 3 1 1 等用 六种基本面部表情做研究，发现在识别速度上，情绪类型主效应显著。纵观以往研究， 我们发现，在对面部表情识别的研究中，关于正负性情绪加工速度的问题，存在着两种 看法，即积极表情优势和负性情绪偏向。目前国内的研究很多基于负性情绪偏向的基础， 而国外有大量关于积极表情优势的研究。 ( 1 ) 关于积极表情优势的研究 m i t s u o ，e n d o ，t a k a h i r o 和k i r i t a 等人在1 9 9 5 年的实验得出了积极表情优势( h a p p y f a c ea d v a n t a g e ) 现象【3 引。他们从快乐面部表情的识别模式和空间特征两方面检验了积 极表情优势的原因。在实验一和实验二中，以与中性刺激相比同样程度偏差的快乐和悲 伤概要图作为刺激材料，采用分类任务范式，给被试呈现两类材料。实验一表明，只有 当快乐表情直立呈现时，快乐表情才比悲伤表情识别的快。相反的，当刺激图片反转呈 现时，积极表情优势不显著。实验二表明，对快乐表情的识别模式在左右视野内是有差 异的。当快乐表情在右侧视野呈现时，比在左侧视野呈现时，反转效应更明显。从这些 结果中可以看出，快乐表情更容易整体识别，而悲伤表情在局部模式中识别的更快。这 个假定没有被实验三的数据推翻。实验三中是没有控制的快乐和悲伤面孔的现实刺激作 为刺激材料。 m i t s u o ，e n d o ，t a k a h i r o 等人的实验中， 性面部表情图片在副中央窝呈现1 5 0 毫秒， 快乐、惊奇、厌恶、生气、悲伤、恐惧和中 ( 离注视点2 5 度) ，随后呈现探索词( 实验 一) ，或者是探索场景。当不注视面孔的时候，快乐识别的比其他面孔快。当面孔直立 或者是倒立的时候，同样模式出现。当情绪一致探索场景出现时，快乐表情促进情绪效 价的判断。这种主要的效应发生在7 5 0 毫秒而不是2 5 0 毫秒。 这种“积极表情优势”在快乐和悲伤的比较【5 3 】中( k i r i t a e n d o ，1 9 9 5 ) 、快乐和厌 恶的比较【5 4 】中( l e p p a n e n ，j a r ik ，2 0 0 4 ) 、快乐和生气的比较 5 5 1 中( j u t h ，l u n d q v i s t ， k a r l s s o n ，o h m a n ，2 0 0 5 ) 、快乐和恐惧的比较【5 5 】中( j u t he ta 1 ，2 0 0 5 ，) 都有发现。 另外，在c a l v o 的研究中【5 6 】对六种基本表情做了比较。每一个研究中的发现都有相同的 辽宁师范大学硕士学位论文 模式，那就是对快乐的识别更快更准确。事实上，不同的面部图片刺激系统( 1 【d e f 或者 是p f a 或者是其他的刺激库) ，或者是不同的反应系统( 手动的或者是口头的) ，都得出 了相同的结论。e m i l y 和f a r r a n 等人【5 7 】用孤独症患者做研究，也得出了积极表情优势。 孤独症患者对基本情绪图片进行视觉搜索任务，生气、恐惧、悲伤进程被损坏，但是对 快乐表情的识别显著好于其他表情，显示了传统的积极表情优势。 ( 2 ) 关于负性情绪偏向的研究 负性情绪偏向( n e g a t i v ee m o t i o n a lb i a s ) 是指相对于愉悦的表情或者表现愉快生 活场景的材料，负性事件可以吸引更多、更快、更强的注意与心理资源【3 3 1 。蒋长好【3 4 】 等人认为，负性效价的面部表情具有更大的加工优势。从进化的观点来看，负性情绪对 个体的安全具有更重要的价值，对负性情绪作出更快的反应，有助于个体的生存 ( d a r w i n ，1 8 7 9 ) 。相对于正性事件或正性表情，负性事件或负性表情引起反应的速度更 快，效应更显著，能引起更为极端的反应，能迅速激活战斗、逃跑行为，这一特点对于 有机体在自然界的生存具有重要意义。 大量研究表明，人对负性情绪刺激具有某种特殊的敏感性，与正性和中性事件或面 孔相比，负性刺激似乎拥有一种加工上的优先权【3 5 1 。行为学研究表明，负性情绪可以更 快的吸引注意力资源。比如h a n s e n 等【3 6 】发现，被试挑出混杂在微笑面孔中的一张愤怒 面孔所用的时间短于从愤怒面孔中挑出一张微笑面孔的时间，提示愤怒面孔更能吸引人 的注意。负性情绪吸引注意力资源可能是无意识的，威胁性面孔在人群中会“突出”( p o p o u t ) 3 7 】。e r p 研究表明，人类大脑对负性情绪敏感，比如d e l p l a n q u e 等人【3 8 】、 d e l p l a n q u e s i l v 豇 t h o t & s e q u e i r a 3 9 】等人的研究。李红等m o 采用执行标准偏差分类任务， 通过极端负性刺激( e n ) 、中等负性刺激( ) 和中等刺激，研究人类大脑对不同效价 积极情绪的敏感性。实验一表明极端负性情绪比中等负性情绪刺激引起更多的负性波。 相反的，实验二中，极端正性和中等正性刺激引起的振幅或潜伏期没有差异。这表明大 脑对效价不同的负性刺激敏感，即使集中注意于情绪无关的认知任务( 标准偏差分类) ， 负性情绪内容仍然难以忽视。罗跃嘉等人 4 1 】的研究认为负性情绪刺激在信息加工过程中 至少在注意、评价及反应准备这几个阶段具有某种优先权，注意偏向也可在内隐任务下 发生，负性刺激对注意资源不足具有某种补偿作用。 3 2 对局部特征的线索作用的研究差异 局部特征是指面孔上相对独立的器官，比如眼睛、鼻子、嘴巴等，面部表情是通过 眼睛、鼻子、口唇、眉毛等处的肌肉变化传达出主体的情绪状态，正确的识别面部表情 需要观察这些局部特征的信息。而且这些局部特征信息在面孔加工过程中具有不同的重 要性，s c h w a n i n g e r ，c a r b o n 等人 4 2 】认为从大到小依次为眼部、嘴部和鼻子。我们通常 认为人的眼睛在传达情绪的时候作用是最大的，我们经常说：眼睛是心灵的窗口。然而 有些研究却认为嘴部在面部表情识别中的线索作用是最大的。鼻子的线索作用是最小 不同效价的面部表情图片加工差异的研究 的，所以我们讨论眼部和嘴部在面部表情识别中线索作用的大小。主要观点有以下两种： ( 1 ) 眼部在面部表情识别中的线索作用大 眼睛在传达情绪情感中起着很重要的作用，正如“画龙点睛”这个成语传达出的意 思，眼睛能够更生动形象的传达出人物的情绪状态、精神风貌。刘义庆在世说新语 中这样说：传神写照，尽在阿堵( 指眼睛) 中。的确，眼睛可以表达不同的情绪，比如 高兴时眉开眼笑，生气时怒目圆睁，专注时目不转睛，惊讶时目瞪口呆等等。很多研究 者认为在面部表情识别中眼睛的线索作用是最大的。比如，b a r o nc o h e n ( 1 9 9 7 ) 4 3 】给被 试观看面部表情图片、从面孔中截取的眼部和从面孔中截取的嘴部的照片，在对复杂心 理状态的判断中，面部条件下的判断显著好于眼睛和嘴部条件下的判断，而且眼睛和面 部没有显著差异，但它们都显著好于嘴部条件下的判断。这说明眼睛在传递个体的心理 状态中几乎承载和面部同样多的信息。莫书亮、苏彦捷】以儿童为被试，呈现实验材料 分为三种：完整面孔、单独眼部、单独嘴部，识别高兴，难过，生气和害怕四种基本表 情。结果发现，眼睛作为情绪表情识别的线索，要显著优于嘴部的成绩。就4 - - 7 岁儿童 来说，眼睛单独几乎可以传递和脸部同样多的基本情绪信息。 ( 2 ) 嘴部在面部表情识别中的线索作用大 嘴部在面部表情的传达中起了重要的作用，比如恐惧时“张口结舌 、“目瞪口 呆”，憎恨时“咬牙切齿”等。m a s a k iy u k i 4 5 】等人以美国人和日本人为被试，识别面 孔为高兴表情时，嘴部线索作用高于眼睛线索作用。他们认为文化规范在识别面孔中起 了很重要的作用。王柳生【4 6 】等人将每张照片的眼部和嘴部进行重新组合，眼部和嘴部传 达的信息是不同的，比如某张面孔的眼部是快乐的，嘴部是悲伤的，如果被试选择悲伤 则表明被试是按照嘴部线索来识别表情。对每张照片眼睛线索判断和嘴鼻部线索判断的 次数进行统计，对于每张照片，嘴鼻部线索判断的次数都明显多于用眼睛线索判断的次 数。 3 3 造成差异的可能原因 通过对以往文献的分析，我们发现，造成这两种结论的原因可能是实验的范式、实 验材料、实验环境、实验任务、凝视方向( g a z ed i r e c t i o n ) 、材料呈现时间等原因造成的。 比如，凝视方向不同影响了杏仁体对愤怒和恐怖面部表情感知的清晰度。较之环视愤怒 的面部和直视恐惧面部，在直视愤怒的面部和环视恐怖的面部时，人能更快和更准确地 进行辨认。本研究欲从注意资源量和局部特征影响两方面来分析。 ( 1 ) 注意资源量 注意资源量匮乏与否的观点是罗跃嘉 4 7 】等提出的。在注意资源量十分匮乏时，机体 无法区别对待正性和负性刺激。他们发现，有效提示条件下的反应正确率高于无效提示 下的情况，当注意资源相对充足时，正性与负性刺激引起的l p c 波幅无显著差异，而当 注意资源相对短缺时，负性条件引起较大的l p c 波幅。这一研究表明，情绪加工受到注 辽宁师范大学硕士学位论文 意因素调节，负性刺激在资源紧张时可以得到优先加工，而当资源充足时，机体可以调 节资源分配而使正性刺激也得到充分加工。 ( 2 ) 局部特征 林传鼎( 1 9 4 4 ) 的实验研究证明：口部肌肉对表达喜悦、怨恨等情绪比眼部肌肉重 要；而眼部肌肉对表达如忧愁、惊骇等情绪，则比口部肌肉重要 2 】。 艾克曼【4 8 】( 1 9 7 5 ) 的实验证明，人脸的不同部位具有不同的表情作用。例如，眼睛 对表达忧伤最重要，口部对表达快乐最重要。 李强等人【4 9 】发现，不同情绪模式图片的眼动特征有差异，注视点总数与平均注视时 间、最大瞳孔尺寸与平均瞳孔尺寸主效应显著。平均瞳孔尺寸指标是评价情绪图片的较 好指标，人们观看正、负性图片比观看中性图片时瞳孔更大、注视点更多。 四、眼动技术 眼动( e y ei n o v e m e n t ) 即眼球的运动。人类可以从眼睛、耳朵、鼻子、皮肤、舌头等 多处获得信息，但是获取信息最多的就是眼睛，即人类的视知觉。人类在信息处理的过 程中，有8 0 以上的信息是靠视觉获取的。心理学家认为眼球运动是视觉过程的直接反 应，并且具有即时性，反映了多种人类认知活动，受到多种认知因素的影响，如眼球的 运动与注意、预期、记忆、推理、阅读等认知活动都有密切的关系，眼动研究犹如直通 大脑的一扇窗户。眼动技术是指利用眼动记录仪对眼动轨迹进行记录，从中提取诸如注 视点、注视时间和次数、眼跳距离、瞳孔大小等数据，分析人们在注视过程中的各项眼 动指标，并以此揭示人们的心理加工过程和规律。眼动技术是研究面部表情识别的重要 技术。 眼动有3 种基本方式：注视、眼跳和追随运动【5 0 1 。( 1 ) 注视：是指将眼睛的中央窝对 准某一物体的时间超过1 0 0m s ，在此期间被注视的物体成像在中央窝上，获得更充分的 加工而形成清晰的像。( 2 ) 眼跳：是注视点或注视方位的突然改变，这种改变往往是个体 意识不到的。眼跳过程中可以获取刺激的时空信息，但几乎不能形成刺激的清晰像，所 以眼跳可以实现对视野的快速搜索和对刺激信息的选择。( 3 ) 追随运动：当被观察物体与 眼睛存在相对运动时，为了保证眼睛总是注视这个物体，眼球会追随物体移动。上述3 种眼动方式经常交错在一起，目的均在于选择信息、将要注意的刺激物成像于中央窝区 域，以形成清晰的像【5 。 早在1 9 世纪就有人通过考察人的眼球运动来研究人的心理活动，通过分析记录到的 眼动数据来探讨眼动与人的心理活动的关系。眼动记录最初是作为生理学任务进行的。 此后，眼动技术随着科学技术的进步而发展，先后经历观察记录法、机械记录法、光学 记录法、影视记录法等几代方法【5 1 1 。现在，主要使用的是集成了光学技术、摄影技术、 计算机硬件技术和计算机软件技术的眼动记录系统现代化大型精密的眼动仪。 9 不同效价的面部表情图片加工差异的研究 常见的眼动指标有：单一注视时间( s i n g l ef i x a t i o nd u r a t i o n ) 、首次注视时间 ( f i r s tf i x a t i o nd u r a t i o n ) 、凝视时间( g a z ed u r a t i o n ) 、总注视时间( t o t a lf i x a t i o n d u r a t i o n ) 、眼跳( s a c c a d e ) 、眼跳距离( s a c c a d ed i s t a n c e ) 、回视( r e g r e s s i o n ) 、 回视路径时间( r e g r e s s i o n p a t hd u r a t i o n ) 、回视次数( r e g r e s s i o nc o u n t ) 、瞳孔 直径( p u p i l ) 、注视点个数( f i x a t i o nc o u n t ) 等等。 虽然对面部表情识别己经有了大量研究，但是对于图片呈现条件对识别产生差异的 研究相对较少；以往关于面部表情识别的研究多采用行为实验和脑成像技术，这在一定 程度上符合表情固有的特点，揭示了表情与认知的关系及其潜在的神经基础。但同时存 在其他有效的研究手段，如眼动记录法。眼动分析在情绪效价的认知方面有重要意义。 本研究试图采用眼动记录法探讨情绪图片识别的速度，综合行为学研究的数据共同分析 不同效