人类面孔认知模型和脑机制的研究

1、项目可行性报告及经费概算项目题目：人类面孔认知模型和脑机制的研究（一）立项的背景和意义1.1 研究目的面孔是人们日常生活中最常见的事物，通过面孔认知（Face Recognition）这种基本而重要的社会行为，人们可以获得许多重要的社会信息（如年龄，性别，种族和情绪等）。面孔认知是认知心理学研究的重点之一，至今已经积累了大量的研究成果。PYSYCINFO近5年的文献检索表明面孔研究有两条主线。一条主线是研究面孔的结构和特征信息的认知加工规律。例如，McKone在2008年发现面孔的结构信息加工并不受观察角度的影响，而特征信息加工却会随着观察角度偏离而被削弱1。其中，面孔特征信息指的是单独的面孔

2、特征，比如面孔的眼睛、鼻子等部件的信息；而结构信息指的是这些部件之间的空间结构关系2。通常，结构信息由这些部件之间的实际距离来表征，比如眼睛之间的距离。另一条研究主线是研究面孔认知的脑机制问题，例如，2008年，Cloutier等人采用fMRI技术对面孔中静态信息和动态信息研究，发现了眼睛注视的加工和面孔性别信息加工的不同神经回路3。目前来说，近10年中虽然国内外研究者采用各种研究技术在面孔认知研究中已经取得了大量研究成果，但我们认为在该领域仍然还有大量的关键性问题亟待解决。第一，有关面孔认知中结构和特征信息认知加工规律的研究还停留在较为零散的、定性层次上对问题进行描述，缺乏对面孔认知规律的深

3、入系统研究。这些研究目的主要是探讨结构信息以及特征信息变化对人脸认知的影响趋势或方向，实验中大多数也只采用静态面孔作为实验材料。本课题将通过本课题研究系统考察对于静态和动态面孔认知过程中，结构和特征信息的不同维度变化如何在数量层次上影响面孔认知的加工，从而建立面孔认知的认知模型。第二，虽然已经有大量研究采用ERP（事件相关电位）以及fMRI（功能性核磁共振）等技术开始研究面孔认知的脑机制问题。比如对大脑枕颞结合部的腹侧皮层（Ventral occipital temporal cortical system, VOT）内的特殊皮层区域梭状回面孔区（Fusiform face area, FFA

4、）的功能一直受到研究者的争议。由于目前对于面孔认知的脑机制研究还处于探索发展阶段，还有大量关于面孔认知的脑机制问题没有进行深入研究。比如Haxby等人在1999年提出的面孔知觉的分布式神经系统模型中提到面孔可变部分的加工更多地是位于颞上沟的面孔反应区的功能4，但是这一推论并没有直接的实验支持，需要进一步的实验进行验证。因此，本课题研究将在前期已有的研究基础上，采用实验心理学的方法，结合ERP脑电与fMRI等脑成像技术，深入研究静态和动态面孔结构信息、特征信息认知加工的脑机制规律和特点，解决一直以来困扰面孔认知研究的脑中枢特异性问题。1.2 研究意义本课题的研究无论是在理论研究上还是实践应用上都

5、有重要的价值和意义，具体来说：在理论上，本课题研究意义包括：l 揭示结构信息和特征信息在静态和动态面孔识别中的认知规律和特点，构建基于特征和结构信息的多维面孔认知模型，说明人类面孔认知的基本机理，并从解决面孔认知规律和特点为出发点，说明人类对各种客观物体的认知加工的规律和特点。l 揭示结构和特征信息加工的脑机制及其规律和特点，进一步说明面孔认知加工规律和特点及其脑机制此外,本项目的实验数据也可以进一步应用于基于面孔识别基本数据的一些实际应用：l 为计算机面孔识别提供基本的科学数据。计算机已具有识别简单面孔的能，但尚不具备识别动态面孔和人的表情功能，本项目成果将为计算机的面孔识别提供基本的科学数

6、据，使计算机的面孔识别智能化。l 为机器人视觉提供科学的设计参数。解决了人类面孔认知的奥秘将为机器人视觉的智能化提供基本的设计参数，使制作具有和人相同的、能识别不同面孔的机器人视觉成为可能。l 面孔认知研究成果还有许多实际应用，由此可派生出许多新的产品和构想。例如，可以根据面孔识别的原理制作银行保安密码（面孔锁），进行脸部整容，在公安系统帮助对罪犯的识别等等。我们认为我们的研究工作将进一步推动我们省的基础心理学方面的研究工作，研究的成果也可以应用于我们省的具体生产实践。 1.3 研究基础我们的研究小组从2001年开始就与加拿大女皇大学心理系、加拿大多伦多大学心理系以及美国加州大学圣地亚哥分校心

7、理系等国外知名科研结构合作，对面孔结构、特征信息认知规律进行了数年研究。本课题组得到的国内外合作项目主要有：1、 Development of face and chinses character processing；Natural Science and engineering Research Council of Canada，nserc pin 185791，20082012（进行中）2、 Development of face processing expertise in children，the National Institutes of Health, U S A（NIH）

8、：1 R01 HD046526-01， 20032008（已经结题）3、 The face recognition research, Natural Science and engineering Research Council of Canada 0313048-I,2001-2005,（已经结题）在国内得到的资助主要有：1、 动态面孔认知规律和特点的研究,国家自然科学基金项目，项目批准号：30770710， 0708年,（已结题）。2、 动态面孔认知规律和特点及其脑机制研究，浙江省自然科学基金，项目批准号：Y207234，07-09年，（进行中）。3、 人脸认知规律及其脑机制的研究,教

9、育部高等学校博士点科研基金，0105，项目编号：20020335063，（已结题） 本课题组近三年已经发表在国外学术期刊的与本课题相关文章有：1、 The roles of visual expertise and visual input in the face inversion effect: Behaviral and neurocomputational evidence, Vision research，2008，48，7037152、 Infant preference for female faces occurs for same- but not other-race fa

10、ces. Journal of Neuropsychology, 2008,15-26.3、 An inner face advantage in childrens recognition of familiar peers. Journal of Experimental Child Psychology, 2008,101(2), 124-136.4、 Preference for attractive faces in human infants extends beyond conspecifics. Developmental Science, 2008,11, 7683.5、 C

11、ross-race preferences for same-race faces extend beyond the African versus Caucasian contrast in 3-month-old infants. Infancy, 2007,11(1), 87-95.6、 Cross-Race Preferences for Same-Race Faces Extend Beyond the African Versus Caucasian Contrast in 3-Month-Old Infants. Infancy, 2007,11(1), 87-95.7、 The

12、 other-race effect develops during infancy: Evidence of perceptual narrowing. Psychological Science, 2007,18(12), 1084-1089.8、 The effect of face expertise activation on the inversion effect. Psychological Science, 2006,17(1), 12-16.9、 Activation of Face Expertise and the Inversion Effect， Psycholog

13、ical science，2006，V17，No1，1216，10、 Three-month-olds, but not newborns, prefer own-race faces. Developmental Science, 2005，8(6), 31-36.本课题组在国内一级刊物上发表的相关文章有10余篇。本课题组发表的相关文章在2007年获得浙江省自然科学优秀论文一等奖。上述研究工作基本上都是围绕着静态面孔的认知规律进行的，在面孔认知的脑机制上也主要采用脑电技术。本课题组希望能在现有的实验基础和条件下上，进一步改进现有的实验手段，例如，实验刺激除了静态面孔之外，还将采用动态连续的视

14、频画面（动态面孔）；在结构信息和特征信息变量改变上，除了单维信息的改动之外，还将采用两维以及三维结构信息、特征信息同时变化的面孔刺激来探索静态和动态面孔认知的规律和特点，在量化层次上建立面孔认知的模型，以更深入的揭示面孔认知的规律和特点。在面孔认知的脑机制研究中，我们经过ERP脑电实验研究，也得到了一些重要的研究发现。比如我们的研究结果初步表明：反转和正立的面孔相比，在枕颞叶的N170波上，波幅明显要大；结构信息不一致和特征信息不一致的面孔相比，在枕颞叶的N170波上，潜伏期明显要短；并且结构信息反转的面孔会引起一个波幅明显加大的N170波，而特征信息反转的面孔引起的波幅较小。由于脑电研究结果

15、受实验刺激、实验条件的影响较大，因此本课题研究将继续这方面的工作，特别是采用脑电和fMRI等先进分析技术，采用多种面孔刺激（如静态面孔、动态面孔、不同结构信息或特征信息差异类型）来深入探索在面孔结构和特征信息加工的特异脑区。基于以上考虑，本课题将采用静态面孔和动态面孔作为实验材料，通过不同维度的面孔结构和特征信息量化操作，研究在面孔静态和动态呈现条件下面孔认知规律和特点并建立面孔认知模型，同时采用脑电和fMRI等先进分析技术探究人类面孔认知加工的脑机制和特点。（二）国内外研究现状和发展趋势从达尔文时代开始，人们就对面孔的认知规律进行了研究，到目前为止，已经积累了大量的研究成果。下面是和本项目相

16、关的面孔认知的国内外研究现状及未来发展趋势：2.1 特征信息和和结构信息认知加工特点的研究特征和结构信息的研究开始于Yin(1969)关于面孔倒置效应的经典研究5。根据多年的实验结果，关于特征和结构两种信息在面孔认知中的规律和特点，心理学家们提出了各种理论来说明特征和结构信息在面孔认知中的规律和特点，这些观点主要有：l Garner的特征信息理论认为，面部识别主要是依赖于面部特征信息6。l Carey的双重加工理论认为，面部识别同时依赖面部特征和结构信息2。l Tanaka的整体假设理论认为，人们通过使用结构信息和特征信息两种信息进行面部识别的，但是，这两种信息是作为一个整体加工的7。l Va

17、lentine的多维空间假设认为，面孔加工不仅包括结构信息和特征信息而且还包括肤色、年龄等其它信息8。l Rakover的图式层次理论认为很多复杂的多维刺激都是根据已经储存在认知系统中的图式来加工的，其中结构信息和特征信息两种信息在面孔认知中起到了非常主要的作用9。l Bruce和Young的面孔加工的多阶段认知模型认为，面孔认知加工的第一阶段是主要对面孔信息进行知觉结构编码加工；第二阶段中，一条支路通过面部再认单元（FRU）加工最终的面孔识别；而一条支路则根据面孔结构和特征进行性别和表情的加工10。2.2 面孔认知的脑机制的研究从一百多年前法国医生布洛卡在治疗和研究失语症病人时发现语言中枢布

18、洛卡区（Broca area）以来，神经生理学家和解剖学家一直按机能定位的思想寻找各种认知功能的特异性脑中枢。有关面孔认知的脑机制研究最初主要是采用脑电及其相关技术进行的。1965年，Sutton采用对脑电的平均叠加法发现了与心理因素相关的内源性成分的P300认知电位后11，Allision和Benin 等人开始通过ERP这种研究方法对人的面孔认知机制进行了一系列的研究12。在2007年，Itier等人通过ERP发现与面孔加工相关的N170认知电位主要收到面孔中眼睛部位加工的影响13。近十年来，由于技术的发展，fMRI（功能性磁共振成像，Functional Magnetic Resonanc

19、e Imaging）、PET（正电子发射计算机断层扫描，Positron Emission Tomography）等脑成像技术也大量的应用于面孔认知的脑机制研究14。这些研究主要围绕着N170 面孔特异性效应和脑中梭状回面孔区（Fusiform face area, 简称 FFA）功能的特异性展开的。面孔特异性假设（Face Specificity Hypotllesis,FSH）观点认为在大脑枕颞结合部的腹侧皮层（Ventral occipital temporal cortical system, VOT）存在着具有不同的功能模块，每个模块对某种特定类型的刺激具有选择性的反应。如面孔或其他

20、物体。有fMRI研究证明VOT在结构上可以分割成若干个小的区域，每个小区域都对应一个特定类别的刺激，并且该类别刺激在该区域所引起的激活最大15。其中包括面孔选择区，即面孔刺激相对于其他物体刺激在这些区域引起更强的反应，如“梭状回面孔区”(Fusiform face area, FFA)1518、“枕叶面孔区”(Occipital face area, OFA)19等。当然也包括其他物体选择区域，如被称为“旁海马风景区”(Parahippocampal place area,PPA）的旁海马皮层对包含风景信息的视觉刺激有选择性反应20。然而，还有另外一种观点即视觉专家知识假设（Visual Ex

21、pertise Hypothesis, VEH）对FFA 的面孔选择性提出了另外一种解释。根据该观点，导致FFA 激活的不是刺激物的特点而是对刺激物所进行的分类或识别的视觉加工。侧重于视觉加工水平的研究为这种基于加工的观点提供了大量的证据16-17。当人们对物体进行视觉分类的时候，不同类别的物体可能采用不同的分类水平，这些分类的水平从高到低主要分为以下几个水平：领域水平（如：生物和非生物）、基本水平（如：鸟类和犬类）、亚级水平（如：猎犬和牧羊犬）和个体水平（如：特指的一条狗）。不同种类的物体具有不同的习惯或“默认”加工水平，如面孔通常在个体水平上进行加工，而大多数非面孔物体都是在基本水平上进行

22、加工。VEH 认为FFA 的激活与亚水平的视觉加工有关，并且进一步指出：从亚水平加工中积累的大量经验所得到的专家知识能够影响对物体进行视觉加工时的习惯加工水平。国内的研究者主要采用ERP技术对面孔认知的脑机制问题进行了探讨。比如在2003和2004年，彭小虎老师等人采用ERP技术研究了面孔识别的特异性脑机制问题21，22。2004年，黄宇霞、罗跃嘉老师等人的ERP研究证明了人的情绪活动存在着大脑的偏侧化23；2005年，郑能慆，周曙等人研究了面孔加工中面孔加工事件相关电位时空模式24。2005年，杜英春，吕勇等人采用事件相关电位方法考察了N170面孔特异性效应25。2006年，陆雪松，周曙等人

23、，采用ERP技术研究了面孔表情识别中的性别效应26 。根据面孔认知的脑机制的研究，Haxby J等人在2002年提出了面孔认知加工的人类面孔知觉的分布式神经系统模型（distributed human neural system for face perception）。如下图1所示，该模型包括核心和外围 2个系统。核心系统由位于外侧纹状视皮层的枕颞区构成，这些脑区主要负责面孔的视觉分析。在核心系统中，面孔可变部分的加工更多地是位于颞上沟的面孔反应区的功能，而不变部分的加工更多地是位于梭状回的面孔反应区的功能。外围4个脑区在参与面孔加工的同时也负责其它认知功能的加工27。目前，Haxby等人提

24、出的这一神经系统模型并没有得到直接的实验支持，需要开展进一步的实验加以验证。图1 面孔知觉的分布式神经系统模型2.3未来发展趋势近年来，随着研究的深入，对面孔认知的研究在以往静态面孔研究的基础上，动态面孔认知的研究逐渐成为研究的热点。在检索到的15篇文章中，06年发表的就有4篇。而最早的动态面孔的实验研究是Campbell等人对活动面孔的面部表情进行的研究28。这些研究内容主要围绕着动态面孔认知的动态增益效应（the Benefits of Facial Motion）展开的。Knight等人1997年，通过对动态和静态的名人和陌生面孔的辨认实验，证明了面孔认知的动态增益效应（the Bene

25、fits of Facial Motion）29。Pike, Graham E.等人通过对动态图像、多幅静态图像以及单幅静态图像辨认绩效的比较证明了面孔动态面孔认知的增益效应30。Lander等人发现在模糊的脸部图像的辨认中当动态图像的绩效要高于静态图像31。Lander的研究提出：面孔认知动态增益效应是一个普遍的规律32。针对面孔动态增益效应产生的原因，Yakel和Deborah A等人认为是说话时面孔的活动能为面孔认知提供信息33；而Lander等人则认为熟悉面孔的动态增益效应是由于熟悉面孔提供了动作模式这一附加线索造成的34。Toole等人在总结了先前的研究的基础上35，提出：l 动态信

26、息在视觉条件不佳的情况下能够提供更多的识别信息。l 动态信息在识别中的作用随着个体拥有的经验的增加而增大。l 脸部活动中的结构分析能为面孔识别提供知觉线索。由于在现实生活中，人对面孔认知多半是在面孔动态的情况下完成的,因此有必要在对静态面孔认知规律进行深入研究的基础上，进一步结合动态面孔认知的动态增益效应进行相关面孔认知的研究，对揭示人类面孔认知规律具有重要科学意义。同时，由于目前对于面孔特异区VOT的脑机制仍然存在较大的争议，包括Haxby等人提出的面孔知觉的分布式神经系统模型中提到面孔可变部分的加工更多地是位于颞上沟的面孔反应区的功能27，仍然需要进一步的实验研究。从以往典型研究来看，研究

27、者大多单一采用ERP脑电或者fMRI进行研究。由于ERP脑电技术与fMRI技术在时间性以及定位准确性等方面各自有着不同的技术优势。 在今后，将两种方法进行结合来深入探讨面孔认知加工的特异性脑区激活问题，将有助于研究者对面孔认知加工脑机制更为深入的探讨。（三）项目主要研究开发内容、技术关键及主要创新点。3.1主要研究内容本课题的研究内容主要有心理物理学实验和脑机制实验两个方面：1）心理物理学实验具体实验有：l 单维和多维结构信息变化对静态面孔识别的作用和特点的研究实验目的是研究在面孔静态呈现条件下眼睛、嘴巴和鼻子等单维结构信息变化以及多维同时变化对面孔识别的认知规律（包括这些特征变化时，面孔识别

28、的特点，眼动模式和认知阈限，下同）。l 单维和多维结构信息变化对动态面孔识别的作用和特点的研究实验目的是研究在面孔动态呈现条件下眼睛、嘴巴和鼻子等单维结构信息变化以及二维、三维同时变化对面孔识别的认知规律。l 单维和多维特征信息变化对静态面孔识别的作用和特点的研究实验目的是研究在面孔静态呈现条件下，眼睛、嘴巴和鼻子等单维特征信息变化以及二维、三维同时变化对面孔识别的认知规律。l 单维和多维特征信息变化对动态面孔识别的作用和特点的研究实验目的是研究在面孔动态呈现条件下，眼睛、嘴巴和鼻子等单维特征信息变化以及二维、三维同时变化对面孔识别的认知规律。l 多维结构和特征信息组合情况下的静态面孔识别的研

29、究；实验目的是研究在面孔静态呈现条件下眼睛、嘴巴和鼻子等多维结构和特征信息组合变化对面孔识别的认知规律。l 多维结构和特征信息组合情况下的动态面孔识别的研究；实验目的是研究在面孔动态呈现条件下眼睛、嘴巴和鼻子等多维结构和特征信息组合变化对面孔识别的认知规律。l 比较采用不同类型的面孔对静态面孔识别的影响作用及其规律。实验目的是研究在静态面孔呈现的条件下，不同类型面孔对这种识别规律的影响作用。不同类型的面孔包括熟悉面孔，陌生面孔和自我面孔。l 比较采用不同类型的面孔对动态面孔识别的影响作用及其规律。实验目的是研究在动态面孔呈现的条件下，不同类型面孔对这种识别规律的影响作用。不同类型的面孔包括熟悉

30、面孔，陌生面孔和自我面孔。l 面孔认知过程中特殊认知现象的认知规律研究实验目的是研究在静态和动态面孔呈现的条件下，面孔认知中较为特殊的认知现象如种族效应和倒置效应的影响因素及内在规律研究。上述实验中，将采用静态和动态平均面孔作为实验刺激、通过E-prime专用心理学实验软件系统和动态面孔呈现交互实验系统（VIAS）进行刺激呈现，计算机记录被试的绩效（反应时和正确率），ASL眼动仪记录被试实验中的各眼动指标，分析被试的各种绩效指标的变化特点、认知阈限和眼动模式，揭示特征和结构信息对静态和动态面孔认知的作用规律和特点，并在此基础上构建人类面孔结构信息和特征信息的认知模型。2）静态面孔和动态面孔识别

31、的脑机制研究：脑机制研究包括脑电和fMRI的研究两个部分。脑电部分的研究有以下具体的实验：l 单维特征信息变化的ERP研究实验目的是研究面孔单维特征信息变化时，静态和动态面孔识别的脑机制（包括：N170等ERP指标是否是特征信息的特异性指标，特征信息加工的特异脑区，和面孔加工的右半球优势效应）l 多维特征信息变化的ERP研究实验目的是研究面孔二维或多维特征信息变化时，静态和动态面孔识别的脑机制（包括：N170等ERP指标是否是特征信息的特异性指标，特征信息加工的特异脑区，和面孔加工的右半球优势效应）l 单维结构信息变化的ERP研究实验目的是研究面孔单维结构信息变化时，静态和动态面孔识别的脑机制

32、（包括：N170等ERP指标是否是结构信息的特异性指标，结构信息加工的特异脑区，和面孔加工的右半球优势效应）l 多维结构信息变化的ERP研究实验目的是研究面孔二维或者多维结构信息变化时，静态和动态面孔识别的脑机制（包括：N170等ERP指标是否是结构信息的特异性指标，结构信息加工的特异脑区，和面孔加工的右半球优势效应）l 特征和结构信息同时变化条件下的ERP研究实验目的是研究面孔单维或者多维结构和特征信息同时变化时，静态和动态面孔识别的脑机制（包括：N170等ERP指标是否是结构和特征信息的特异性指标，结构和特征信息加工的特异脑区，和面孔加工的右半球优势效应。）l 人脸面孔与其它对照物（汉字）

33、认知的ERP对比研究通过人脸面孔和其它参照物（例如汉字）的ERP对比实验，研究面孔识别脑中枢的特异性问题。在这个系列实验中，我们将采用平均面孔作为实验材料，记录被试在进行面孔认知时的行为指标（反应时和正确率），并通过EGI公司的System 200脑电测量系统测量被试实验中的事件诱发电位，分析被试在对面孔结构信息和特征信息进行加工过程中相应的左右脑颞枕叶区域早期N170波和额叶晚期N400波的波形和潜伏期的特征，并采用LORETA的分析方法探索面孔结构信息和特征信息加工的特异脑区定位。fMRI研究的具体实验有：l 单维特征信息变化的fMRI研究实验目的是研究面孔静态和动态呈现条件下，单维特征信

34、息变化时，动态面孔识别的特异性加工脑区（比如颞上沟的面孔反应区的功能特异性）。l 多维特征信息变化的fMRI研究实验目的是研究面孔静态和动态呈现条件下，二维或多维特征信息变化时，动态面孔识别的特异性加工脑区。l 单维结构信息变化的fMRI研究实验目的是研究面孔静态和动态呈现条件下，面孔单维结构信息变化时，动态面孔识别的脑特异性加工脑区。l 多维结构信息变化的fMRI研究实验目的是研究面孔静态和动态呈现条件下，面孔二维或多维结构信息变化时，动态面孔识别的脑特异性加工脑区。l 特征和结构信息变化的fMRI研究实验目的是研究面孔单维或者多维结构和特征信息同时变化时，对于静态面孔和动态面孔识别的特异性

35、加工脑区。l 人脸面孔与其它对照物（汉字）认知的fMRI对比研究通过人脸面孔和其它参照物（例如汉字）的fMRI的对比实验，研究面孔识别脑中枢的特异性问题。在这个系列实验中，将采用陌生制作的平均面孔作为实验材料，用MRVision 2000 ULTRA(Resonance Technology, Inc.)呈现视觉材料，采用AFNI软件对实验结果进行后期处理，求出不同刺激条件下的脑部不同激活区，以确定大脑在不同实验条件下的特异性加工脑区。3.2技术关键在本课题的心理物理学研究部分的技术关键主要是动态面孔的呈现方法问题。在目前公开发表的相关研究论文中，大都是用采用静态的面孔照片作为实验刺激。为了完

36、成本课题研究中动态面孔呈现的实验要求，我们将专门采用动态面孔呈现的交互实验系统（Virtual Interactive Adult System ，VIAS），该系统可以呈现连续动态的面孔，并记录被试的反应。该系统已经在我们前期的实验中得到了很好的应用。研究面孔认知的脑机制问题上ERP技术包括脑电各种指标的后期处理方法以及fMRI技术是研究中的重要技术关键。课题组自2000年以来，在本系列研究中对ERP进行时频分析主要是采用System 200系统附带的NetStation波形分析软件。重点分析当面孔结构信息和特征信息发生变化时引发的大脑左右半球的枕颞叶区域的面孔加工早期特征波N170和额叶的

37、晚期波N400在潜伏期和波幅值的变化。在ERP的定位分析上，我们将采用目前在脑电信号分析上较为先进的LORETA分析方法对各种脑电数据进行分析处理。重点分析当面孔结构信息和特征信息发生变化时引发的大脑特异性加工区域和动态面孔加工时的大脑大脑特异性加工区域。该技术我们在前期的实验中已经得到应用，完成的研究论文也已经提交送审。fMRI研究技术是本课题的另一个重要关键技术，该研究采用的设备将由本项目协作单位杭州邵逸夫医院提供。该医院有美国GE Signa 1.5T超导型磁共振成像系统（准备购买3T磁共振扫描仪），拥有双通道（视觉通道及听觉通道）刺激设备MRVision 2000 ULTRA(Reso

38、nance Technology, Inc.)。在本系列研究中对实验数据处理主要是采用ANFI分析软件。图像分析包括图像预处理（包括切片采集时间校正，头动校正，结构功能图像对齐（co-registration），空间位置校正和空间过滤）和统计分析（包括对单个被试的一般线性模型分析和对总体 统计推论）。重点分析当面孔结构信息和特征信息发生变化时引发的大脑特异性加工区域和动态面孔加工时的大脑特异性加工区域。3.3主要创新点本课题研究的主要创新点包括以下三个方面：1）对静态面孔和动态面孔认知规律的系统研究虽然静态面孔和动态面孔认知在这几年有较大数量的研究，但有关面孔认知中结构和特征信息认知加工规律的

39、研究还停留在较为零散的、定性层次上对问题进行描述，缺乏对面孔认知规律的深入系统研究。对于动态面孔的研究只是围绕着动态增益效应进行的。研究基础薄弱，其特点和规律有待于进一步的研究。本项目将系统地研究特征和结构信息对静态面孔和动态面孔认知加工影响规律和特征，从数量层面上说明特征和结构信息变化时，静态面孔和动态面孔认知加工的绩效变化和眼动模式，从而揭示静态面孔和动态面孔认知加工的特点和规律。其结果在理论上可以构建一个模型来说明面孔认知加工的特点，并在人计算机交互和生物认证技术上有着广泛的应用前景。2）采用了一种新的方法来研究面孔认知的规律以往研究中，陌生人面孔是用自然人的图像作为实验材料的，但是由于

40、个体的图像会有其特异性，比如，斑点、肤色等会影响被试对图像的识辨，因此本项目实验材料中陌生人的图像采用平均人面孔作为实验材料，以抵消实验的误差（具体方法见研究方案上）。对实验变量进行量化操作是实验的基本要素。以往实验中，对面孔的结构信息常用部位间的距离（比如两眼之间的距离）来表征。但是对于作为特征信息的面孔部件（比如眼睛）就无法进行操作。在本研究中，我们将采用通过控制自然面孔特征和平均人面孔特征在平均合成后的特征中所占的各自比例来实现的，从而达到面孔的特征信息进行了量化的操作的目的。3）采用脑电和fMRI相结合的方法探讨静态面孔和动态面孔认知中的脑机制脑机制一直是认知研究中的难点问题。脑电指标

41、的时间采集时可以达到毫秒级，但是定位功能较差，而fMRI的时间解析度（主要取决于血流动力反应函数，HRF）只达到秒级，空间定位（主要取决于观察域，FOV）则可以达到毫米级。以往研究研究脑机制时，较多采用脑电或者fMRI中的一种方法进行。本研究在脑电的定位分析中采用定位最好的LORETA方法进行，同时脑电和fMRI方法结合起来进行脑机制的探讨，取长补短，以更好地揭示面孔认知加工的脑机制的特点。（四）项目预期目标4.1主要研究结果通过本项目研究我们将得到以下主要研究结果：l 静态面孔认知的特点和规律n 不同维度结构信息、特征信息变化的静态面孔识别绩效的曲线变化n 不同维度结构信息、特征信息变化的静

42、态面孔识别认知阈限n 不同维度结构信息、特征信息变化的静态面孔识别的眼动模式n 不同类别面孔在静态面孔认知条件下的认知差异和特点n 不同维度结构信息、特征信息在静态面孔识别中的不同作用和特点n 不同维度结构信息、特征信息的静态面孔认知模型l 动态面孔认知的特点和规律n 不同维度结构信息、特征信息变化的动态面孔识别绩效的曲线变化n 不同维度结构信息、特征信息变化的动态面孔识别认知阈限n 不同维度结构信息、特征信息变化的动态面孔识别的眼动模式n 不同类别面孔在动态面孔认知条件下的认知差异和特点n 不同维度结构信息、特征信息在动态面孔识别中的不同作用和特点n 不同维度结构信息、特征信息的动态面孔认知

43、模型l 静态面孔和动态面孔认知加工的脑机制n 确认静态面孔和动态面孔认知的脑加工特异性脑区n 确认N170等脑电指标对于结构和特征信息加工的特异性n 确认结构信息和特征信息脑加工的特异性脑区n 确认左右半脑对于结构和特征信息加工的作用和特点4.2发表论文计划从2010年至2012年，我们计划每年发表23篇SCI、SSCI、EI,或者国内一级刊物的论文。4.3学生培养计划通过本课题的资助研究，培养至少4名从事认知心理学、脑科学方面研究的本专业年轻教师同时还将至少培养6名在认知心理学、脑科学方向打下深厚基础的研究生。（五）项目实施方案、技术路线、组织方式与课题分解5.1 实施方案（1）心理物理学实

44、验1）实验材料的制作实验用照片是用彩色正面照片。面孔结构信息的改变在Photoshop中完成。特征变量的变化采用Morph软件完成（详见下）；平均人面孔采用Morph软件完成（详见下）。2）静态面孔呈现的方法静态面孔呈现将采用心理学专业实验软件E-prime在计算机上呈现，包括自然陌生面孔、自我面孔、平均人面孔等。实验中包括两种实验任务：l 一种实验任务同时给被试呈现两张面孔照片，其中1张是原面孔，另1张是结构或者特征信息变化的面孔。要求被试进行判断这两张照片是否相同，并在计算机上进行按键操作。l 另一种实验任务依次给被试呈现两张面孔照片，其中第1张是原面孔，第2张是结构或者特征信息变化的面孔

45、。要求被试进行判断这两张照片是否相同，并在计算机上进行按键操作。3）动态面孔呈现的方法动态面孔呈现将采用专用的动态面孔呈现的交互实验系统（Virtual Interactive Adult System ，VIAS）在计算机上呈现，如面孔动态呈现示意图所示，其基本的步骤如下。l 首先呈现一段各种表情、运动状态下的原面孔录像。其中各种表情和动作在各面孔之间进行严格的控制。陌生人的面孔是通过录像拍摄的，而自我面孔和平均人面孔的动作表情是通过加工完成的。该软件可以将录像上的人物A的面孔表情、动作移植到另一个人物B的面孔上。l 然后出现两张照片，其中1张是原面孔，另1张是结构或者特征信息变化的面孔。l

46、 要求被试进行判断这两张照片是否相同，并在计算机上进行按键操作。4）实验任务被试的实验任务主要三种条件：第一种是静态面孔呈现，静态面孔辨认；第二种是动态面孔呈现，静态面孔辨认（详见图2 面孔动态呈现示意图）；第三种是动态面孔呈现，动态面孔辨认。在静态面孔呈现，静态面孔辨认中，被试的任务有以下两种：l 结构信息变化的面孔识别任务：判断同时呈现或者依次呈现的一张面孔与结构信息变化的另一张面孔是否相同。l 特征信息变化的面孔识别任务：判断同时呈现或者依次呈现的一张面孔与特征信息变化的另一张面孔是否相同。在动态面孔呈现，静态面孔辨认（详见图2 面孔动态呈现示意图）中，被试的任务有以下两种：l 结构信息

47、变化的面孔识别任务：首先是观看一组原面孔的动态画面，然后判断原面孔和结构信息已经改变或者没有改变的新面孔是否相同。l 特征信息变化的面孔识别任务：首先是观看一组原面孔的动态画面，然后判断原面孔和特征信息已经改变或者没有改变的新面孔是否相同。图2 面孔动态呈现示意图在动态面孔呈现，动态面孔辨认的条件下，被试的任务也有以下两种：l 结构信息变化的面孔识别任务：首先是观看一组原面孔的动态画面，然后观察动态呈现的原面孔和结构信息已经改变或者没有改变的新面孔，最后判断原面孔和结构信息已经改变或者没有改变的新面孔是否相同。l 特征信息变化的面孔识别任务：首先是观看一组原面孔的动态画面，然后观察动态呈现的原

48、面孔和特征信息已经改变或者没有改变的新面孔，最后判断原面孔和特征信息已经改变或者没有改变的新面孔是否相同。5）实验的流程l 预备实验l 正式实验n 主试交代实验的基本做法n 被试进行实验操作，完成实验任务6）实验变量和实验指标l 实验变量主要有：n 结构信息的变化：用眼睛、鼻子这些面孔部件之间的空间距离表征。n 特征信息的变化：某一个面孔特征信息（如眼睛、鼻子等）改变量的百分比来定义（制作方法如下）。n 面孔类型：自我面孔，他人面孔和平均人面孔。l 实验指标n 被试反应时和正确率n 眼动指标（首视点，注视点的分布等）7）实验的设计实验主要采用被试组内设计的方法进行。8）主要的实验设备l 高性能

49、计算机：用于实验材料的呈现，被试反应的记录，和数据分析和统计；l 用于实验材料呈现的（Virtual Interactive Adult System ，VIAS）系统，该软件系统可呈现动态面孔图像，并记录各种实验指标。l ASL 5000系列504眼动仪：记录被试实验过程中的眼动指标（首视点，眼动轨迹等）；l 实时监控设备：用于对实验过程的监控。9）实验数据统计实验数据由SPSS软件统计分析。眼动数据由眼动系统自带的EYENAL软件分析。10）本项目在实验中要控制的无关变量主要有l 年龄因素：1925岁的青年男女l 经验因素：参加过本实验的被试均没有参加面孔认知的相关实验经验。l 左右手的操

50、作：所有被试均维优利手，均采用右手食指在计算机标准键盘上反应。l 被试的人数：每组16人。对每种刺激每个被试的反应不少于30次。l 被试的疲劳：每个被试参加实验的时间不超过1小时。实验过程中，每隔15分钟，被试休息5分钟。眼动实验，被试实验时间不超过45分钟。每隔10分，被试休息5分钟。l 其它因素：实验时的噪声、照度等。（2）脑电和fMRI实验1）实验材料的制作实验用照片与心理物理实验基本相同，均采用彩色图片。面孔结构信息的改变在Photoshop中完成。特征变量的变化采用Morph软件完成；平均人面孔采用Morph软件完成。2）面孔呈现的方法 面孔采用静态或动态呈现方法呈现。l 脑电实验静态面孔在计算机上，用心理学专用实验软件E-prime软件呈现。l 脑电实验动态面孔在计算机上，用动态面孔呈现的交互实验系统（Virtual Interactive Adult System ，VIAS）呈现。l fMRI实验面孔采用 MRVision 2000 ULTRA(Resonance Technology, Inc. )。3）实验设计l 脑电实验采用组间设计，每组