（发展与教育心理学专业论文）冲突监测范式下人类面部表情快速识别的研究.pdf

两南人学硕十学位论文 摘要 曼n 量曼皇皇曼曼曼曼曼舅舅曼鼍量笪曼曼曼曼曼曼曼曼曼曼量曼曼曼曼曼曼曼曼曼皇曼曼曼曼皇量曼曼曼曼曼曼量曼皇寰曼曼曼曼曼篁舅鼍曼曼曼曼 曼篁曼鼍鼍量曼篁 冲突监测范式下 人类面部表情快速识别的研究 发展与教育心理学专业硕士学位申请人邹朝华 指导教师陈安涛副教授 摘要 情绪是有机体适应生存和发展的一种重要方式 它具有传递信息 沟通思想的功能而面 部表情更是人类表达 认知情感的重要工具和途径 正确地识别面部表情是人类生存的一项 重要的技能 以前的研究虽然较多地研究了人类面孔识别和人类面部表情识别 但在快速识 别条件下的识别和冲突范式下的识别几乎是个空白 人类在快速识别面部表情时有什么特 点 面部表情的识别是自动的还是受控制的 是否会受现时情绪的影响 是值得研究的重要 问题 本研究通过两个实验研究了人类面部表情识别过程中的特点 实验一探讨了不同面部表 情识别时的特点 实验二研究了在冲突范式下 面部表情识别是否会受到不同启动刺激类型 的影响 实验一中在电脑屏幕上随机呈现高兴 悲伤或无表情的面部图片 让被试既快义准 地判断呈现的面部图片是否有表情 结果发现对高兴面部表情的图片反应显著快于对悲伤面 部表情图片的反应 而对悲伤面部表情图片的反应又显著快于对无表情图片的反应 正确率 方面 对高兴面部表情图片的反应正确率最高 且与悲伤和无表情面部表情图片反应正确率 有显著差异 但悲伤与无表情面部图片反应正确率没有显著差异 实验二首先呈现会诱发正 性 负性或中性情绪图片 然后呈现面部表情图片 让被试既快又准地判断该面部表情图片 是否带有表情 结果发现反应时指标上 情绪类型的主效应不显著 面部表情的主效应显著 两者的交互作用不显著 结合平均反应时分析看出对高兴面部表情图片反应最快 对悲伤图 片反应次之 对无表情图片反应最慢 配对比较发现对无表情面部图片的反应时与对悲伤面 部图片的反应时之间无显著差异 但高兴反应时与无表情和悲伤反应时之间均有显著差异 正确率指标与反应时指标的结果类似 情绪类型主效应不显著 面部表情主效应显著 两者 的交互作用不显著 配对比较发现高兴 悲伤 无表情面部表情图片的反应正确率均有显著 差异 高兴条件下的正确率最高 无表情条件下次之 悲伤条件下正确率最低 单纯从实验二的结果来看对面部表情的判断不受所诱发的情绪类型的影响 但将实验一 与实验二的结果进行比较发现似乎诱发的情绪促进了对无表情面部图片的判断 使对无表情 面部图片的判断更快 关键词 冲突监测面部表情快速识别 两南大学硕 学位论文 摘要 曼ii 曼量曼曼曼蔓 曼皇曼量曼曼曼曼曼曼曼曼曼量曼皇曼曼曼曼曼蔓曼曼量曼曼曼曼皇笪曼曼曼曼量舅曼曼量 曼曼曼皇曼曼曼曼皇曼曼曼曼蔓曼曼曼皇曼曼曼皇皇曼蔓 r a p i d i d e n t i f i c a t i o no fh u m a nf a c i a le x p r e s s i o ni n c o n f l i c tm o n i t o r i n gp a r a d i g m a b s t r a c t e m o t i o ni sa l li m p o r t a n tw a yf o ra no r g a n i s mt oa d a p tt os u r v i v a la n dd e v e l o p m e n t i th a st h ef u c t i o no ft r a n s m i t i n gi n f o r m a t i o na n dc o m m u n i c a t i n gi d e a s t h ef a c i a l e x p r e s s i o ni sa ni m p o r t a n tt o o lf o re m o t i o n a le x p r e s s i o na n d i d e n t i f i c a t i o n t oc o r r e c t l y i d e n t i f yt h ef a c i a le x p r e s s i o n so fh u m a ni sa ni m p o r t a n ts k i l l a l t h o u g hp r e v i o u ss t u d i e s h a v es t u d i e dm u c hh u m a nf a c ei d e n t i f i c a t i o na n dr e c o g n i t i o no fh u m a nf a c i a l e x p r e s s i o n t h eq u i c ki d e n t i f i c a t i o n o fh u m a nf a c ei d e n t i f i c a t i o na n dt h e q u i c k i d e n t i f i c a t i o no fh u m a nf a c i a le x p r e s s i o na r ea l m o s tb l a n k w h a ta r et h ec h a r a c t e r i s t i c s i nt h er a p i di d e n t i f i c a t i o no fh u m a nf a c i a le x p r e s s i o n s i sf a c i a le x p r e s s i o nr e c o g n i t i o n a u t o m a t i co rc o n t r o l l e d w h e t h e rf a c i a e x p r e s s i o nr e c o g n i t o ni m p a c t e db yt h ec u r r e n t e m o t i o n a l lo ft h e s ei m p o r t a n ti s s u e sa r ew o r t he x a m i n i n g b yt w oe x p e r i m e n t t h ea u t h o rs t u d i e dt h ec h a r a c t e r i s t i c si nt h ep r o c e s s e so fh u m a n f a c i a le x p r e s s i o nr a p i dr e c o g n i t i o n e x p e r i m e n t1e x p l o r e dt h ef e a t h e r so fd i f f e r e n t f a c i a l e x p r e s s i o n r e c o g n i t i o n w h i l ee x p e r i m e n t 2e x a m e dw h e t h e rt h ef a c i a l e x p r e s s i o nr e c o g n i t i o n w a sa f f e c t e d b y d i f f e r e n te m o t i o n a l p r i m e s i nc o n f l i c t p a r a d i g m s i ne x p e r i m e n t1 h a p p y s a do re x p r e s s i o n l e s sf a c e sp i c t u r ew e r ep r e s e n t e do na c o m p u t e rs c r e e n a n dw e r ej u d g e dw h e t h e rt h ef a c ep i c t u r e sw e r ee m o t i o n a l i tw a s f o u n dt h a tt h er e s p o n s et oh a p p yf a c ep i c t u r e sw a ss i g n i f i c a n t l yf a s t e rt h a nt h er e s p o n s e t os a df a c ep i c t u r e s w h i l et h er e s p o n s et os a df a c ep i c t u r e sw a ss i g n i f i c a n t l yf a s t e rt h a n t h er e s p o n s et o t h ee x p r e s s i o n l e s si m a g e s t h ec o r r e c tr a t eo nt h eh a p p yf a c i a l e x p r e s s i o nw a sh i g h e s ta m o n gt h r e et y p e so ff a c ep i c t u r e s a n dw a ss i g n i f i c a n t l y d i f f e r e n tf r o mt h es a da n dn e u t r a lf a c i a le x p r e s s i o ni m a g er e s p o n s ea c c u r a c y t h es a d a n de x p r e s s i o n l e s sf a c ei m a g er e s p o n s ea c c u r a c yw e r en o ts i g n i f i c a n t l yd i f f e r e n t e x p e r i m e n t2f i r s tp r e s e n t e dp o s i t i v e n e g a t i v eo rn e u t r a le m o t i o n a lp i c t u r e s t h e ns h o w 1 1 两南人学硕十学位论文 摘要 f a c i a le x p r e s s i o np i c t u r e s s u b je c t sw e r ea s k e dt oju d g ew h e t h e rt h ef a c i a li m a g ew i t h f a c i a le x p r e s s i o n sa ss o o na sp o s s i b l ew h i l ea sa c c u r a c ya sp o s s i b l e t h er e s u l t ss h o w e d t h a tr e a c t i o nt i m ei n d e x e s t h em a i ne f f e c to fe m o t i o nt y p ew a sn o ts i g n i f i c a n t t h em a i n e f f e c to ff a c i a le x p r e s s i o ns i g n i f i c a n t l y n os i g n i f i c a n ti n t e r a c t i o nb e t w e e nt h et w o c o m b i n e dw i t ht h ea v e r a g er e s p o n s et i m ea n a l y s i st os e ep i c t u r e so ft h eh a p p yf a c i a l e x p r e s s i o nw a sq u i c k e s to nt h es a dp i c t u r er e s p o n s es e c o n d t h es l o w e s tr e a c t i o no f t h e e x p r e s s i o n l e s si m a g e p a i r e dc o m p a r i s o nw a sf o u n d o nt h ee x p r e s s i o n l e s sf a c ei m a g eo f t h er e s p o n s ep i c t u r ew i t ht h es a df a c en os i g n i f i c a n tr e a c t i o nt i m ed i f f e r e n c e s b u tt h e r e a c t i o nt i m ea n dt h ee x p r e s s i o n l e s sf a c e s h a p p ya n ds a dr e s p o n s ew a ss i g n i f i c a n t l y d i f f e r e n tf r o me a c ho t h e r a c c u r a c yi n d i c a t o r sa n dr e s p o n s ei n d i c a t o r sw a ss i m i l a r t h e m a i ne f f e c to fe m o t i o nt y p ew a sn o ts i g n i f i c a n t as i g n i f i c a n tm a i ne f f e c to ff a c i a l e x p r e s s i o n n os i g n i f i c a n ti n t e r a c t i o nb e t w e e nt h et w o f o u n dt h a tp a i r i n go fh a p p y s a d n e u t r a lf a c i a le x p r e s s i o n t h er i g h tp i c t u r eo fr e a c t i o nr a t e sw e r es i g n i f i c a n t l yd i f f e r e n t h a p p yc o n d i t i o n s t h eh i g h e s ta c c u r a c yr a t e n e u t r a lc o n d i t i o n st h en e x tt i m e f i g h tu n d e r t h el o w e s tr a t eo fs o r r o w r e s u l t sf r o mt h es e c o n de x p e r i m e n ts h o w e dt h ej u d g m e n t so ff a c i a le x p r e s s i o n so f e m o t i o nw a sn o ti m p a c tb ye m o t i o n c o m p a r i n ge x p e r i m e n t1a n de x p e r i m e n t2r e s u l t s i ts e e m e dt h ei n d u c e dm o o dw a st op r o m o t et h ej u d g m e n to ft h ee x p r e s s i o n l e s sf a c e t h a ti s t h ej u d g m e n to ft h ee x p r e s s i o n l e s sf a c ei m a g ew a sf a s t e r k e yw o r d s c o n f l i c tm o n i t o r i n g h u m a n f a c i a le x p r e s s i o n r a p i di d e n t i f i c a t i o n i i i 独创性声明 本人提交的学位论文是在导师指导下进行的研究工作及取得的研 究成果 论文中引用他人已经发表或出版过的研究成果 文中已加了 特别标注 对本研究及学位论文撰写曾做出贡献的老师 朋友 同仁 在文中作了明确说明并表示衷心感谢 学位论文储 铆岛l f 签字日其l j 2 年4 月2 日 学位论文版权使用授权书 本学位论文作者完全了解西南大学有关保留 使用学位论文的规 定 有权保留并向国家有关部门或机构送交论文的复印件和磁盘 允 许论文被查阅和借阅 本人授权西南大学研究生院 筹 可以将学位 论文的全部或部分内容编入有关数据库进行检索 可以采用影印 缩 印或扫描等复制手段保存 汇编学位论文 保密的学位论文在解密后适用本授权书 本论文 口不保密 口保密期限至年 月止 学位论文作者鲐铆龟l j i 孙签名 7 脯 签字日期 2 0 10 年4 月20 日 签字日期 年月 日 两南人学硕十学何论文 1 文献综述 冲突监测范式下 人类面部表情快速识别的研究 情绪是有机体适应生存和发展的一种重要方式 它具有传递信息 沟通思想的功能 而 这种功能正是通过情绪的外显形式 表情来实现的 即表情是情绪的外部表现 它已经成 为非语青交流的一个重要组成部分 而面部表情更是人类表达 认知情感的重要工具和途径 正确的表达和识别面部表情是人类生存的一项重要的技能 近年来有关人类面部表情识别的 研究已经成了心理学 计算机科学等学科的重要研究内容和热点 1 文献综述 1 1 情绪的定义 功能及理论研究 人类是有感情的动物 我们认识和改造客观世界的同时 也无时无刻地体验着内心世界 的喜 怒 哀 乐这些情绪 这些有声与无卢的情绪表达 正是人们彼此沟通 表达内心需 求的桥梁和工具 1 1 1 情绪定义 心理学家根据对情绪和情感实质的研究 提出了诸多不同的看法 美国心理学家阿诺德 a r n o l d m b 1 9 6 0 对情绪定义是对趋向知觉有益的 离开知觉有害事物的一种体验倾向 这种体验倾向是为一种相应的接近或退避的生理变化模式所伴随 这种模式在不同的情绪中 是不同的 拉扎勒斯 l a r z a r u s r 1 9 8 5 的定义是 情绪是来自正在进行的环境中好的或不好 的信息的生理反应的组织 它依赖于短时的或持续的评价 扬 y o u n g p t 1 9 7 3 认为 情 绪起源于心理状态的感情过程的激烈扰乱 它同时显示出平滑肌 腺体和总体行为的身体变 化 利伯 l e e p e r r w 1 9 7 3 又认为情绪是一种具有动机和知觉的积极力量 它组织 维持和 指导行为 伊扎德 i z a r d c e 1 9 7 7 指出情绪是动机 并同知觉 认知 运动反应相联系而 模式化 我国心理学家孟昭兰将情绪总结成多成分组合 多维量结构 多水平整合 并为有 机体生存适应和人际交往而同认知交互作用的心理活动过程和心理动机力量 1 1 2 情绪的功能和作用 1 适应功能 情绪是适应生存的心理工具 婴幼儿在生病时哭闹 在安全时微笑 通 过各种情绪 我们可以了解自身或他人所处的环境 适应外界需求和更好地生存和发展 2 动机功能 我们普遍认为 生物内驱力是动机的基本来源 内驱力是生理需要 情 4 两南大学硕十学何论文1 文献综述 绪是心理反映 情绪放大了内驱力 从而成为动机力量 3 组织功能 什劳费 s r o u f e 1 9 7 6 1 9 7 9 认为情绪作为脑内的一个检测系统 对其他 心理活动具有组织的作用 这种作用表现在 正情绪起协调的 组织的作用 而负情绪起破 坏的 瓦解的或阻断的作用 4 信号功能 表情是情绪的外部表现 在日常生活中 我们经常通过表情来传递信息 从种族进化历史来看 可以确信 情绪的传递先于言语交流 例如 新生婴儿同成人之间建 立最初的社会性联结 就是通过感情传递米实现的 1 1 3 情绪理论研究 1 情绪理论的研究发展历史 赫拉克利特 h e r a c l i t u s 认为情绪状态通过身体的一些参数来同时呈现 比如身体温度 的高低 出汗量的多少等 柏拉图 p l a t o 第一次提出了一个三状态理论 认为情感是中性 高兴和痂苦三种状态 高兴和痛苦两种状态从中性状态中分离而来 亚里士多德 a r i s t o t l e 认为 所有感情都是建立于高兴和痛苦基础之上的 他认为高兴是一种相对独立的情感 高 兴根源于中性的情感 痛苦却来源于高兴的反方向 如果没有感官和精神上的刺激 则不会 存在高兴和痛苦了 斯多葛派 s t o i c 提出 因为人们有不正确的信念和不恰当的目 所以为多数情绪是有害 的 柏罗 j p l o t i n u s 提出了反馈理论 他认为所有的情绪是对身体变化以及表现形式的 有意识理解 大卫 休姆 d a v i dh u m e 提出情绪的动态观点 认为情感不由动机产生 而是 受强烈的情绪控制 英国生物学家查尔斯 达尔文 c h a r l e sd a r w i n 提出情绪的表达在行为 学上的意义 相当于解剖学里已退化的器官 从进化历史或个体发展的早期过程衍生而来 到了成熟阶段不一定有用 精神分析学派创始人弗洛伊德 f r e u d 提出的情绪失调理论 认为严重的情绪波动 无 论是创伤还是冲突 都会损害理性的作用 干扰人们的生活 后来 几种颇有影响的学说开始强调认知 强调情绪的功能 明确提出情绪不是非理性 的 还是非常理性化的 这些学说的成果之一 就是拓展了 认知 的概念 使它包括了情 绪 第一 勃比 b o w l b y 的学说 他认为婴儿对其母亲或其他照顾者怀有深深的眷恋情绪 是与行为学中的印记说极其相似 第二 美国心理学家阿诺德 mba r n o l d 的学说 m a r 6 0 她提出情绪评估一兴奋学说 强调经过人的评价与估最 来自外界环境的影响才会产生情绪 第三 由t o m k i n s 提出 t s s 6 2 1 t s s 6 2 2 他认为 情绪是以身体 特别是以面部表情 的反馈为基础 对某些动冈体系 m o t i v a t i o n a ls y s t e m 所做的放大 个性由心理图示构成 有完全不同的情绪主题 5 两南大学硕十学位论文1 文献综述 第四 将詹姆斯的观点同认知说协调起来 最著名的是沙赫特 s s c h a c h t e r t s s 6 2 2 和辛格 s i n g e r 和詹姆斯一样 他们提出情绪是一种生理上的干扰 跟詹姆斯所说的方式 相反 他们为情绪的起因贴上明显的认知标签 即评估理论 2 情绪的分类 情绪应该怎样分类 是否存在彼此独立的 具有人类普遍性的基本情绪类型 简单的维 度空间是否能够表示出千姿百态的情绪 总而言之 情绪有以下三种分类 a 基本情绪论 一种观点认为人类的情感由分离的基本情绪构成 称为基本情绪论 基本情绪论认为情 绪在发生上有原型模式 即存在在多种泛人类的基本情绪类型 每种类型有其独特的体验特 性 生理唤醒模式以及外显模式 从个体发展角度而言 基本情绪的产生是有机体自然成熟 的必然结果 从生物进化观点来看 情绪原型是适应和进化的产物 也是适应和进化的手段 基于不同的研究基础以及背景 不同科研人员对基本情绪的定义也不尽相同 目前国际 上一些主要研究成果中的基本情绪定义如表1 所示 b 维度空间论 维度空间论认为 人类所有情绪都是由儿个维度空间所构成 特定的情绪状态只能表明 一个从亲近到退缩 或者是从快乐到痛苦的连续空间中的位置 不同情绪之间不是独立的 而是连续的 可以实现逐渐的 平稳的改变 不同情绪间的相似性以及差异性也是根据它们 在维度空间中的距离来显示的 表1 基本情绪定义研究 研究人员敞奉伪绪定义 o r a 9 0 p l u t c h i k a c c e p t a n c e a n g e r a n t i c i p a d t m d i s g u s t j o y l e a s s a d n e s s s u r p r i s e a r n o l d a n 嚣e r a v e r s i o n c o a g e d e j e c t i o n d e s i r e d e s p m r f e a r h a l e h o p e 1 0 v e s a d n e s s e k m a f l f r i e r g e l l s w o r l h a n g e r d i s g u s t f e a r j o y s a d n e s s s u r p r i s e f r q d ad e s i r e h a p p i n e s s i n l e r e s s u r p r i s e w o n d e r s o r r o w g r a yr a g ea n dt e r r o r a n x i e t y j o y l z a r d a n g e r c o n t e m p t d i s g u s t d i g r e s s f e a r g u i l t i n l e r e l j o y s h a m e s u r pr i s e j a r n e f e a r g r i e f 1 0 v e r a g e m c d o u g a l ia n g e r d i s g u s t e l a t i o n f e a r s u b j e c t i o n t e n d e r e m o t i o n w o n d e r m o w r e r p a i n p l e a s u r e o m l e y j o h n m n l a i a la n g e r d i s g u a n x i e t y h a p p i l l e s s s a d n e s s p a n k s e p pe x p e c t a m y f e a r r a g e p a n i c t 0 m k i n s a n g e r i m e r e s t c o n t e m p t d i s g us t d i s t r e s s f e a r s oy s h a m e s u r p r i s e w 越s d nf e a r 1 0r e r a g e w e i i l e ra n dg r a h a m h a p p i n e s s s a d n e s s 6 登喜銮 譬 2 兰銮 吝蝥薹兰 效价度 唤醒度二维情绪空间是最普遍的 维度模式 具体内容是 1 艘价度 v a l e n c e 或者快乐度 h e d o n i ct o n e 理论基础是正 负情绪的分离激活 主要体现为情感主体的情 绪感受t 是对情绪和主体的一种度量 2 唤f 醒度 a r o u s a l 或者激活度n e t i v a t i o n t 指 跟情感状态相联系的机体能量檄活程度 是对 情绪内在能量的一种度量 在唤醒度和效价组 成的二维空间里 基于i a p s 国际情绪图片系 统 和1 a d s 冒际情培数字声音系统 的情绪 反应 组成了一个抛物线形状 如图1 所示 围1 基于l p s 和l a d s 的基本情绪反应 还有一些心理学家提出 情绪模式分布在一个三维的情绪空间里 在效价度 唤醒座的前 提上 提出了控制维度 它体现了人对情感的控制能力与主动程度 比如轻蔑和恐惧 就处 在控制维度不同的两端 h e r os m i t h 和s h u u i c h i r o ui k e 以日本人的情感作为研究对象 采 用定蕾评估方法 描绘出了生气 恐惧 悲伤 高兴 满意五种情绪在三维情绪中的定位 如幽2 所示 触 黔 国2 日本人的5 类基本情感的三维空间分布 jgt a y o r 等让被试识别陌牛人的表情 包括中性 快乐 悲伤 愤怒四种表情 井要 求分别从评价 相当于快乐度 唤醒和行为 相当于趋避度 三个维度值对这些陌生人的面孔 进行表情识别 结果发现 以上4 种以基本情绪分类的表情荐自分布在三维空间中 虽然也 存在某些离散的分布 但也不投有影响规律性分布的趋势 如圈3 所示 两南大学硕 卜学位论文1 文献综述 7 t 螭嚣 一 篓 一 一 j i 一 k k 7 i 一 卜 卜 二 一 善一7 j l 一一夕f 心 一 二 j l 一 7 o 一 一 一 一又 姨一 图3t a y l o r 的实验中愤怒 中性 快乐 图4p i u t c h ik 提出的情绪三维模式 悲伤面部表情在三维空间的规律分布 虽然心理学上关于以上两种理论之观点存在大量争论 但他们所包含的基本观点似乎是 一致的 人类确实存在先天的基本情绪 但这跟正负情绪的分离不矛盾 美国心理学家 r p l u t c h i k 提出的一种情绪三维模式 如图4 所示 就承认了基本情绪的存在 普拉切克 的三维情绪模型反映了情绪在强度上的变化以及它们彼此的对立性质 他以强度 相似性和 两极性来划分情绪 构成了如图所示的锥体模型 该模型的八个扇面表示8 种基本情绪 狂 喜 警惕 悲痛 惊奇 狂怒 恐惧 接受和憎恨 在图4 中 基本情绪在二维空间中具有 一定的定位 比如快乐属于高唤醒 高正性 悲伤属于低唤醒 高负性 3 情绪的表达 情绪虽是一种内心的态度体验 但是它时刻伴随着外部表现 例如人的面部表情 身体 姿态以及言语表达等 情绪的外部行为特征就叫做表情 在人际交往中 表情是传达信息 交流情感不可或缺的手段 也是了解他人主观心理状态的客观指标 借助表情 观察他人的 举手投足 才能洞悉他们的内心感受 根据不同表情的部位与方式 可将表情分为面部表情 体态表情和言语表情 面部表情通过眼 眉 嘴和脸颊部肌肉变化来表现情绪状态 人的眼神变化是面部表情 最重要的体现 其次才是嘴角与眉头肌肉的变化 一个人兴高采烈时 眉头舒展 双目含笑 颧肌收缩 嘴角上提 悲痛欲绝时 则双眉紧锁 两眼呆滞 嘴角下垂 愁容满面 义愤填 膺时 双眉倒竖 怒目圆睁 颧肌抽搐 嘴角外撇甚至咬牙切齿 如图5 所示 为e k m a n 数据库中不同情感 从左至右 从上至f 依次为高兴 愤怒 悲 伤 惊讶 厌恶 惊恐 下的面部表情 言语表情是指情感发生时 个体在语言的声调 节奏和速度等方面的特征 言语表情强 调的是语音的高低 强弱 以及语调的变化 而不是言语的内容 例如当弱女子在深夜遭遇 8 西南大学硕士学位论文 1 文献综述 暴力行径时 语音尖锐 急促 语调高亢 有时甚至卢嘶力竭 渲染出一种紧张而恐惧的情 感 当为至亲至爱的人致悼词时 则用缓慢 低沉的语调 更能渲染一种庄重和肃穆的气氛t 表选出悲痛 猷绝的情感 图5 不同情绪下的面部表情 体态表情是身体各部分的表情动作 高兴时手舞足蹈 悲伤时捶胸顿足 生气时紧握职 拳 惊恐时四肢僵硬 这些躯体和手 足的动作特征 昂原始地流露山了卟人的内在情感 另外 手势作为一种体态表情的袁达形式 在语言表达中的作j 独特的且不可替代 例如 聋哑人就是通过手语和面目表情来实现相互交流和相互沟通的 1 2 面部表情的研究概况 1 2 1 面部寝情 表情是情绪的外在体现 它是在情绪和情感状态发生时身体各部分的动作量化形式 包 括姿态表情 语调表情和面部表情 姿态表情分为身体表情和手势表情 在不同情绪状态f 人类的身体姿态会发生相应的变化 而手贽既可以作为语言的辅助手段 也可以独自表i 皇情 感 语调表情的表现形式是言语的声调 节奏和速度等方面的变化 面部表情 r a c i a le x p r e s s i o n 是指通过眼睛 额眉 鼻颊 口唇等肌肉变化所表现出米 的再种情绪 它能精细的表达不同性质的情绪和情感 因此表情是鉴别情绪的重要标志 面 孔是人类表i 占 认知情感的重要工具及于段 正确的表达和识别面部表情是人类生存的一项 两南大学硕十学佗论文1 文献综述 重要技能 在面部表情中 不同的眼神可以表达不同的情绪和情感 例如 喜悦时 眉开眼笑 生 气时 怒目而视 惊恐时 目瞪口呆 悲痛时 两眼无光 惊呀时 双目凝视 等等 眼 睛不仅能传达感情 还可以交流思想 在很多情形 f 通过观察人的眼神可以了解他 她 的 心理活动和内心愿望 推知他们的态度 从而实现心领神会 可见 眼神作为一种非言语交 往手段 非常重要 艺术家在描写人物特征 刻画人物性格时 也都擅长于通过眼神的描绘 来表现人的内心情绪和情感 使人物形象跃然纸上 栩栩如生 1 2 2 面部表情的理论 1 达尔文的生物进化理论 达尔文经过长达三十三年有关人类和动物表情的研究发现 人类的面部表情最初并非是 对情绪有意识的表达 而是由于它们具有生存适应的后才被延续保留下来 并在漫长的生物 演化进程中 逐渐发展成为表达情绪的固定面部肌肉模式 他认为 表情有如下基本特征 1 对有机体的生存有重要价值 所以在适应过程中得到完善和发展 2 具有传递信息或信 号的作用 达尔文指出 生气时咬牙切齿 鼻孔张大的面部模式是人类祖先准备与敌人或生 存对手搏斗时的适应性动作 而啼哭时嘴角下撇 眉眼皱起则是起源丁在困苦环境中求援的 适应性动作 达尔文还提出了三个假设以进一步阐释表情 第一 表情的作用 某些表情可 以实现满足内心的愿望的目的 例如 如果咬牙切齿的表情可以恐吓他人或减少他人对自己 产生的威胁 那么这一表情对个体来说就具有生存的价值 第二 表情的对立性 如果某种 感觉与某种表情相对应 那么相反的感觉将会产生一个相反的表情来与之相对应 例如 微 笑时嘴朝上呈u 形 而悲伤时嘴朝下呈倒u 形 这样就很容易对个体的表情加以识别和区分 第三 神经系统的直接作用 指神经系统的强烈刺激影响身体的各个系统 导致脸发红 脸 色苍白 冒汗和颤抖等生理反应 2 面部表情的外周理论 p e r i p h e r a lt h e o r i e so ff a c i a le x p r e s s i o n 美国心理学家詹姆斯 w i l l i a nj a m e s 于1 8 8 4 年提出了情绪的外周理论 之后 很多心 理学家开始致力于将这一理论运用丁面部表情的研究 他们普遍认为面部肌肉产生感觉反馈 并且通过对这些感觉反馈的评估而产生情绪 i z a r d 1 9 9 0 认为有1 0 种基本情绪 并且每种 基本情绪都有一个单独的 先天的神经机制 个体可以通过对面部运动的自主控制来改变t l 身的情绪强度 例如 疼痛是强化或抑制面部表情 能增加或减少对疼痛的自我报告 以及 生理上的反应 3 面部表情的中枢理论 c e n t r a lt h e o r i e so ff a c i a le x p r e s s i o n 多数人认为面部表情反映人类内心的情绪状态 悲痛时就哭泣 高兴时就微笑 可是 当很多研究都力图关联情绪的面部表情等级与自我报告的情绪状态时 结果发现二者的相关 性很低 l o 两南火学硕十学位论文l 文献综述 一些研究中被试报告产生了某种情绪 但他们表现出很少的相应的面部表情 或者根本 就没有面部表情 通常是由于社会化的个体潜意识地使用了某些社会规 1 1 0 这些规则要求他 们在什么情况 卜 呈现什么表情 例如 生活中我们要求女孩可以像表现愉快一样表现悲伤 而 要求男孩不许哭或表现恐惧 许多人故意避免自己的面部表情揭露自己真实的情绪 前提是 这样做对他们是有益的 1 2 3 面部表情的研究概况 1 面部表情普遍性的研究 达尔文 d a r w i n 1 8 7 2 在 人类和动物的情绪表情 一书中认为 不同的面部表情是天 生的 同有的 并且能为全人类所理解 面部表情是进化的产物 人类基本情绪具有先天性 和全人类普遍性 当代的一些研究者为以上观点提供了有力的佐证 艾克曼等人对来自1 0 个不同国家和地 区 纽约 新几内亚 阿根廷 婆罗洲 巴两和日本等 的被试呈现了3 0 张不同情绪面孔的照 片 愉快 恐惧 发怒 悲伤 惊奇和厌恶等 要求他们辨认每张图片的情绪 结果表明被 试在识别这些情绪的照片时出现了高度的一致性 e k m a n e ta l 1 9 8 7 关于表情是天生固 有的观点 也得到了近期一些研究成果的支持和肯定 研究发现 当母亲和1 0 周的婴儿进行 愉快和不愉快的交流时 婴儿会出现愉快 感兴趣 悲伤和发怒的表情 i z a r d e ta l 1 9 9 5 2 面部表情类别的研究 s c h l o s b e r g 首先提出了表情描述的三个量化尺度 注意一拒绝 a r 高兴一不高兴 p u 和活跃程度 例如 轻视 厌烦两种表情就有很大的 不高兴 值 前苏联心理学家雅克布松曾创作了一幅画 画中的每一张脸因其眼睛 口唇 眉毛的配 置不同 所传达的表情也不相同 林传鼎 1 9 4 4 的实验研究证明 口部肌肉对表达喜悦 怨恨等少数情绪比眼部肌肉重要 而眼部肌肉对表达其他的情绪 如忧愁 怨恨 惊骇等 则比口部肌肉重要 汤姆金斯 t o m k i n s 1 9 7 0 假定存在八种原始的情绪 兴趣 欢乐 惊奇 痛苦 恐俱 羞愧 轻蔑 愤怒 并假定每种情绪都是在某种先天性的皮下神经 丘脑 的控制下出现的 一种面部肌肉反应 因此有相应的面部表情模式 1 3 面部表情的识别的研究 1 3 1 人脸面部表情识的研究内容 人脸表情的识别是人机智能交互的重要基础 该课题属丁模式识别领域 同时还涉及到 计算机视觉 数字图像处理 心理感知学 生理学和生物数学等相关领域 由于表情识别的 特殊性和复杂性 所以给表情识别的研究带来了诸多困难 现在很多学者将表情识别的任务明确为识别6 种单一的表情 即生气 厌恶 恐惧 高 两南人学硕十学位论文1 文献综述 兴 悲伤 惊讶 或者再加上一种中性表情 然而现实生活中人类面部的表情通常更加复杂 而且是复合表情 例如厌恶中带着恐惧或是惊讶中带着生气等 目前所研究的用机器来识别 人的表情通常只是识别单一的表情 表2 给出了6 种单一的表情及其表现特点 面部表情识别即是从静i f 人脸图像或者动态人脸图像序列中 利用已有的人脸表情数据 库及表情识别算法 确定图像中的一个人或者多个人的面部表情 面部表情识别的研究内容 主要包括以下三个方面 1 人脸检测 定位与跟踪 f a c ed e t e c t i o n l o c a t i o na n dt r a c k i n g 即从各种不同的 场景中检测出人脸的存在并确定其位置 对丁视频图像 不仅要求检测出人脸存在的确切位 置 还要求能够跟踪人脸 实验本身主要的影响冈素是背景 光照及头部倾斜度 2 表情描述 e x p r e s s i o nr e p r e s e n t a t i o n 即采取何种表示方式表示己被检测出的面 部表情图像或数据库中的面部表情图像 可以使用原图像的灰度信息或频率信息 也可以使 用基于图像内容的几何信息 还可以根据解剖学的知识建立物理模型来进行描述 3 表情识别 e x p r e s s i o nr e c o g n i t i o n 使用模式识别中的分类方法 将待识别的表情 分类到己知类别中的一类 这一过程也是表情识别的研究重点 核心是选择跟所采用的表情 描述方式适合的分类策略 表26 种单一表情的表现特点 表情额头 弱毛 鼹睛脸的 f 卜郝 眉毛抬起 变高变弯 陬鳞睁人 卜h 奠皮抬崭 惊讶 魍毛f 的皮肤披拉伸 卜眼皮卜 卜颁卜 落 嘴张开 释和齿分歼 但 眼向可能扫 晦扎的i 边嘴部不紧张 也4 拉伸 皱纹可能横跨颁头 艉l 或卜边戤i l 米 眉毛抬起剪皱在 起 恐惧 锨头的皱纹只集中在 上1 i 鲢睑抬起 卜 暇皮拉紧张嘴 嘴唇轻微紧张喊嘴角向后拉 中郝 两不横跨整个t 撷 头 上藤抬起 在卜眼皮卜 部出现横纹 脸 脂与上籍紧 l j 推动上群向l 茨恶髑毛豫低 并豫低上暇睑嘴角下拉 脬轻微凸起 颊雄动其向上 t 口艿不紧张 鼻予皱起 脸颊抬起 眉毛皱住一起 骶低 下眼皮拉紧 抬赳或不 台 胁有两种基本偷簧 紧闭 藉角 愤怒 在橱宁问出现竖直皱 起 手龟焱或向卜 张开 仿佛耍喊 上眼皮拉紧 眉毛堠低 纹 鼻孔可能张人 暇睛瞪人 可能鲑起 f 眼睑 f 边可能订皱纹 羼角向后拉井抬高 可能鼓起 但并不紧强 嘴可能被张人 牙齿可能霸出 高兴 眉毛稍微卜 弯 一道皱纹从鼻子一直沿伸剑嘴角 鱼尾纹从外眼角向外扩 外部 张 脸矮破抬起 眉亳内角皱在一起 抬高 嘴角下拉 悲伤眼内角的上眼皮抬赢 带动崩毛 f 的皮肤 嘴角可能颤抖 1 2 两南大学硕十学位论文1 文献综述 面部表情的识别过程 大致如图6 所示 首先获取 包含人脸的图像 可以通过摄像机来获取 也可以通过i 人脸丽部图像获取 扫描仪从静态文件中读取 然后对获取人脸图像进行预 一 t 一一 处理 以便于精准地进行人脸检测 然后使用某种人脸j 人脸枪测图像预处理 检测算法 将人脸图像从原图像模板中剪切下来 根据 i l n 蠡函1 后面特征提取与表情分类方法的不同 剪切的人脸图像 一 一 一 上 的比例也不相同 如果是动态图像还要进行人脸跟踪 接 i 表情特征提取嘲像预处理 下来根据下一个步骤所使用的特征提取方法的要求 对 一 图像再次进行处理 包括儿何处理和灰度处理 然后对i 壅孽堡堡毽曼j 毒 该处理后的图像进行特征提取 最后对这些特征进行分r 夏痞芬奚 类 从而识别出表情 图6 面部表情识别过程 1 3 2 人脸面部表情识别的研究状况 由丁面部表情的多样性和复杂性 并且涉及生理学及心理学 表情识别具有较人的难度 但是表情识别对于人机交互意义重大 因此国内外很多研究机构及学者都致力于这方面的研 究 并且己经取得了一定的成果 1 9 7 8 年e k m a n 和f r i e s e n 开发了面部运动编码系统 f a c i a la c t i o nc o d i n gs y s t e m 来描 述面部表情和人类的认知行为 成为行为学中测量面部运动的首要方法 后来又出现了光流 o p t i cf l o w 法 基丁主成分分析法 p r i n c i p a lc o m p o n e n ta n a l y s i s 线性判别分析 1 i n e a r d i s c r i m i n a n ta n a l y s i s g a b o r 小波的方法