（计算机应用技术专业论文）人脸面部表情识别方法研究.pdf

人脸面部表情识别方法研究 摘要 人机智能交互技术旨在为人类使用计算机提供自然的交流方式。为了与人类 交流，计算机必须具备人类的交流技能，即理解、分辨和识别人类情绪状态的能 力。表情包含丰富的情感信息，是人们理解情感的重要途径。近年来，随着人们 对人机交互兴趣的增加，表情识别逐渐成为研究的热点。 本文在分析总结国内外心理学和计算机领域关于面部表情识别研究工作的基 础上，针对基于静止的单帧人脸图像和局部化的脸部运动编码系统的特征，提出 一种改进的基于高斯混合隐马尔可夫模型的动态人脸表情识别方法，在一定程度 上更真实地反映了人脸表情变化的特征和情绪心理。主要成果如下： 1 提出了一种基于相位形式描述面部表情运动特征的方法。该方法将面部表 情特定区域的运动特征表示成相位形式，对其降维后构造特征向量，并组成时序 特征序列，简化了构造特征向量的计算过程。实验结果表明，该方法简化了计算， 减少了后续表情分类过程的处理时间。 2 针对传统的离散隐马尔可夫模型在对表情特征序列进行矢量量化方面的不 足，提出基于单步左一右高斯混合隐马尔可夫模型描述面部表情时序特征序列的方 法，直接在特征向量空间上分配概率，并假设表情时序特征序列服从高斯混合分 布，从而减少矢量量化误差。 3 在采用商矩混合模型箍述面部表情时序特征序列的过程中，提出利用 k m e a n s 聚类算法指定该概率模型初始值的方法，该方法能够精确地描述表情特 征序列的概率分布。 实验结果表明本文提出的方法提高了分类效率，减少了矢量量化误差，具有 较好的性能。 关键词：表情识别：运动特征；时序特征序列；高斯混合隐马尔可夫模型 儿 a b s t r a c t t h ea i mo fh u m a n c o m p u t e ri n t e l l i g e n ti n t e r a c t i o n ( h c i i ) i st o p r o v i d en a t u r a l w a y sf o rh u m a n st ou s ec o m p u t e r sa sa i d s t oi n t e r a c tw i t ht h eh u m a n ，t h ec o m p u t e r m u s tb ee q u i p p e dw i t hh u m a nc o m m u n i c a t i o ns k i l l s ，s u c ha st h e c a p a c i t yo f u n d e r s t a n d i n g ，d i s t i n g u i s h i n g a n d i d e n t i f y i n g h u m a ne m o t i o n a ls t a t e f a c i a l e x p r e s s i o ni n c l u d e sr i c hi n f o r m a t i o na b o u th u m a ne m o t i o n 。i ti sa l li m p o r t a n tw a yo f u n d e r s t a n d i n ge m o t i o n s i nr e c e n ty e a r s ，t h er e a s o n sf o rr e n e w e di n t e r e s ti nf a c i a l e x p r e s s i o nr e c o g n i t i o na r em u l t i p l e ，b u tm a i n l yd u et op e o p l eh a v em o r ei n t e r e s t s a b o u th u m a n c o m p u t e ri n t e l l i g e n ti n t e r a c t i o n i nr e c e n t y e a r s ，i n t e r e s ti nf a c i a l e x p r e s s i o nr e c o g n i t i o n i s r e n e w e d ，d u em o s t l yt ot h ei n c r e a s i n gi n t e r e s ti n h u m a n c o m p u t e ri n t e l l i g e n ti n t e r a c t i o n t h i sp a p e rh a sa n a l y z e da n ds u m m a r i z e ds o m er e l a t e dr e s e a r c hw o r ko nf a c i a l e x p r e s s i o ni np s y c h o l o g yf i e l da n dc o m p u t e rf i e l d t h ep r e v i o u sr e s e a r c hw o r kw a s m o s t l yb a s e do nt h e ，s t a t i ch u m a nf a c i a li m a g e sa n dl o c a l i z e df a c i a la c t i o nc o d i n g s y s t e m h e r e ，t h i sp a p e rp r o p o s e da ni m p r o v e dm e t h o do fd y n a m i cf a c i a le x p r e s s i o n r e c o g n i t i o nb a s e do ng a u s s i a no fm i x t u r eh i d d e nm a r k o vm o d e l s ，b yw h i c hp r e v i o u s s y s t e m sd e f i c i e n c i e s c a r lb eo v e r c a m e ，a n dt h er e a lf a c i a le x p r e s s i o nm o v e m e n t f e a t u r e sa n de m o t i o nm e n t a l i t yc a nb er e f l e c t e dm o r et r u l y t h em a i nc o n t r i b u t i o n s a r ea sf o l l o w s ： 1 am e t h o dd e s c r i b i n gh u m a nf a c i a lm o t i o nf e a t u r e sb a s e do np h a s ef o r mi s p r o p o s e di nt h i sp a p e r w eg e ts o m es p e c i a lf a c i a le x p r e s s i o nr e g i o n s ，i nw h i c ht h e m o t i o nf e a t u r e sa r ee x t r a c t e da n dd e s c r i b e da sp h a s ef o r ma n dt h e nc o n s t i t u t e dt o t i m e b a s e de i g e n - s e q u e n c e s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sm e t h o ds i m p l i f i e d t h ep r o c e s so fc a l c u l a t i n ge i g e n s e q u e n c e sa n dr e d u c e dp r o c e s s i n gt i m e 2 t h i sp a p e rd e s c r i b e df a c i a le x p r e s s i o nt i m e b a s e de i g e n s q u e n e e sb a s e do n 1s t o r d e rl e f t r i g h tg a u s s i a no fm i x t u r eh i d d e nm a r k o vm o d e l s t r a d i t i o n a lh i d d e n m a r k o vm o d e ln e e d sv e c t o rq u a n t i z a t i o n ，w h i c hi n e v i t a b l yw i l li n t r o d u c ev e c t o r q u a n t i z a t i o ne r r o r s ow eu s e d g a u s s i a no fm i x t u r eh i d d e nm a r k o vm o d e l st o d e s c r i b ef a c i a le x p r e s s i o ns e q u e n c e s ，w h i c hd e s c r i b e sp r o b a b i l i t yd i s t r i b u t i o nb a s e d o nt h ev e c t o rs p a c ed i r e c t l y a n dw ea s s u m e dt h ef a c i a l e x p r e s s i o nt i m e - b a s e d e i g e n - s q u e n c e ss a t i s f i e dg a u s s i a no fm i x t u r em o d e l ，w h i c hr e d u c e dc l a s s i f i c a t i o n e r r o r 1 1 1 垒些塑堡耋堡堡型乏鎏竺：i 3 w ea s s u m et h eo u t p u tp r o b a b i l i t yf o ra n ys t a t ei nt h eh m m ，n a m e l yt h ef a c i a l e x p r e s s i o n s e i g e n s e q u e n c e si so b t a i n e db yac o n t i n u o u sp r o b a b i l i t yd e n s i t yf u n c t i o n ， s u c ha sg a u s s i a no fm i x t u r em o d e l a n dw ee x p l o i tk - m e a n sc l u s t e r i n ga l g o r i t h mf o r o b t a i n i n gt h ei n i t i a lv a l u eo ft h eg a u s s i a no fm i x t u r em o d e l ，w h i c hc a nd e s c r i b e e i g e n s e q u e n c em o r ep r e c i s e l y t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ec o m p u t i n gt i m ea n dt h ee r r o ro fv e c t o r q u a n t i z a t i o na r er e d u c e d ，w h i l et h ec l a s s i f i c a t i o ne f f i c i e n c yi si m p r o v e d k e y w o r d s ：f a c i a le x p r e s s i o n sr e c o g n i t i o n ；m o t i o nf e a t u r e ；t i m e b a s e d e i g e n - s e q u e n c e ；g a u s s i a no fm i x t u r eh i d d e nm a r k o vm o d e l i v 硕士学位论文 插图索引 1 1 人类语言的结构2 1 2 表情的起因3 l _ 3 人脸上半部分基本形变单元名称及对应的表情图像5 1 4 情绪的三维度量6 2 1 面部表情识别框架图1 4 2 2 本文设计的面部表情识别基本框架图2 1 2 3b f e d 库表情序列样例帧2 2 3 1 人脸面部模型一2 5 3 2 人脸功能模型2 5 3 3 动态面部表情模型2 5 3 4 几种表情的时间一空间运动能量模板( a ) 愤怒( b ) 厌恶( c ) 高兴 ( d ) 惊奇( e ) 抬眉毛2 6 3 5 愤怒表情眉眼区域的光流计算2 7 3 6 基本等式所确定的约束线2 9 3 7 迭代求解过程一2 9 3 8 光流分量的相位表示3 l 3 9 运动向量相位划分3 1 3 1 0 时序特征序列获取过程3 l 3 1 1 特征区域的光流场3 2 3 。1 2 愤怒表情眉眼特征区域时序特征序列3 3 4 1 ( a ) 前向变量a o ) ( b ) 网格计算c t t ( i ) 3 7 4 2 后向变量b 。( i ) 3 7 4 3 计算昏( i j ) 的过程3 9 4 4h m m 模型的类型( a ) 4 状态遍历模型( b ) 4 状态2 步左右模型4 1 4 5 单步左右m h m m 模型结构4 1 4 6m h m m 模型参数训练结构图4 5 4 7 状态数n 对实验结果的影响4 5 4 8 混合项数m 对实验结果的影响4 5 图图图图图图图图图图图 图图图图图图图图图图图图图图图图 表 表 表 表 表 表 附表索引 1 1 六种基本表情的主要特点7 2 1 人脸检测问题的分类1 5 2 2 脸部特征提取方法1 6 2 3b f e d 库主要参数2 1 4 1 愤怒表情模型参数4 6 4 2 基于m h m m 模型的面部表情识别结果 v i l l 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法 律后果由本人承担。 作者签名：渤嗣君日期：2 伪6 年歹月2 2 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被 查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编 本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打“”) 日期：上略年石月3 2 - 日 日期：加年，月z z ，e l 硕士学位论文 第1 章绪论 1 1 面部表情识别研究的目的和意义 在人类交往中，除了语言交流以外，脸部表情是非常重要的交流方式。它作 为信息的载体和自愿或自发的行为，包含有很多的因素，能够表达非语言信息。 表情包含了丰富的情感信息，是情绪的外在表现，情绪通过表情的渠道达到人们 互相了解，彼此共鸣。心理学研究表明，在我们的交流中，一个听众是否喜欢你 的讲话，7 取决于你所用的词汇，3 8 取决于你的声音，而余下的5 5 则取决于 你的面部表情。可见，表情是人类交流中信息传递的主要媒介，在人类的日常生 活中扮演着重要的角色，是非语言交流的最主要的方式之一，是语言交流的重要 补充。 面部表情识别技术随着人们对表情信息的日益重视而受到关注，成为目前的 研究热点。如何捕捉人脸面部的运动信息、如何对脸部特征的形变特征进行分类、 如何利用得到的表情信息推测人的心理状态等等都是表情识别技术需要解决的问 题。面部表情分析与识别技术的发展，对实现自然的、智能化的人机交互和计算 机自动图像理解都有重要的意义。目前人机交互主要采用键盘和鼠标的形式，这 相对于以前的板片式开关和插入式卡片来说，已是不可否认的进步，计算机已经 具备看、听和说的能力。但是目前人机交互仍停留在基于符号和对我们来说并不 自然的行为上，不需要人们进行特殊或者深奥的训练，自然、童观的交流方式仍 然是众多科学家奋斗的目标。实现自然和谐的人机交互，让计算机具备善解人意 的能力和理解人类情感能力，具有创造性和智能行为，就要使机器具有像人类那 样的技能，如识别人脸、体势、语言、情感，而不是继续让人具有机器一样的技 能。 人类语言分为自然语言( n a t u r a ll a n g u a g e ) 和人体语言( b o d yl a n g u a g e ) 两类， 如图1 1 所示川。其中人体语言的认知与理解，包括手势、表情、头部运动的身 体动作等，表情的识别是其中很重要的一部分。虽然，对于自然的人机交互的目 标来说，最重要的是能提供连续的语音处理，非特定人的识别以及自然声音的合 成等。但是，可靠的处理方法也需要重要的辅助，即需要模仿非语言的信息等， 如手脸的示意动作。在人机交互环境中，加入人脸表情的识别与合成，有利于促 进自然、拟人化的人机交流的发展。 面部表情的分析与识别不仅是实现智能化人机接口必不可少的一个重要方 面，同时对促进计算机视觉通信、人体语言与自然语言的融合以及语言与表情的 人脸面部表情识别方法研究 连接模型的建立都有重要的作用；在语言学中，面部表情的识别可以辅助唇读； 在行为学中，面部表情的识别能帮助人们研究和建立交流中的可信度；在商业应 用方面，可视电话和电视会议方面以及国际间商业政治的交流方面，面部表情研 究有利于降低电视数据传输带宽，带来可观的商业利益；在医疗系统中，面部表 情研究可用来辅助诊断人的精神和神经方面的问题；另外，在工业以及特殊部门 如律师、公安和智能安全结构中，解释脸部信号都很重要。 图1 1 人类语言的结构1 1 1 综上可知，面部表情的分析与识别涉及到人们日常生活的许多方面，对改善 和提高人们的生活质量有重要的作用和意义。 1 2 面部表情识别的研究现状 1 2 1 生理和心理学领域的研究 人类对面部表情的研究有着悠久的历史，最初与表情相关的研究主要集中在 生理学和心理学领域“1 。生理学家和心理学家主要关注表情和情绪之间的联系和 区别，表情的统一性，脸部表情含义的表述以及表情的分类等问题。 】表情与情绪的关系 对于表情和情绪之间的关系，生理心理学关注表情能够传递什么信息，表情 和情绪是否有依赖关系，以及是一种什么样的依赖关系；情绪能否离开表情以及 是否存在不包含情绪的纯粹表情；不同人之间相同表情所表达的情绪的差异等。 对于表情识别而言，表情和情绪关系问题决定了表情识别是否等同于情绪识别， 以及通过表情识别能否完成情绪理解。 面部表情不是孤立的，它和情绪之间存在着千丝万缕的联系。情绪影响表情， 但是情绪不是表情的唯一决定因素。表情是精神状态、非语言交流、语言交流和 生理状态综合作用的结果。图1 2 给出了表情的起因分析图“1 。同时，表情体现 情绪，但是表情不是情绪的唯一外在表现。面部表情、声调表情和身体姿态三方 面构成了情绪体现。而情绪体现、情绪体验和情绪生理这三种因素又组成了情绪 的心理。尽管情绪主要表现在表情改变、语调变化和身体状态的不同，但是表情 2 硕士学位论文 仍是情绪最主要的一种表现形式。通过表情可以部分或者全部理解情绪，这一点 说明表情识别不完全等同于情绪理解。所以，对表情和情绪的关系应该描述如下： 情绪是表情发生的起因之一，而表情也只是反映情绪的方式之一。 控制器疼痛疲倦解说者昕者反应调整者 图1 2 表情的起因 表情识别的重要性是不言而喻的，它是非语言交流中信息传递的重要载体。 它包含了大部分非语言交流中传递的情感信息，是情感理解最有效的途径之一。 通过对表情和情绪关系的分析，也可以说明表情识别研究具有重要的意义，是机 器理解人类情感的前提和最有效的途径。 2 表情的统一性 表情统一性是指不同种族不同文化背景的人们之间对表情是否有统一的理 解。这个问题是表情识别的基础问题，对表情识别的方法论有着重要影响。 面部特征运动和形变的多样性产生了人类面部表情的多样性。大家知道，由 于表情产生的原因，表情表现的程度以及人们对表情的控制能力等诸多方面的原 因，使表情的变化细微而复杂，因此，人们表现出来的表情特点也显得复杂而多 样化，这给表情识别工作带来了一定的难度。达尔文“3 最早对人类表情的相似性 以及表情的延续性进行了研究，指出不管是何种民族、何种性别以及何种年龄的 人，对于同种类型的情感，总是表现出相似的表情变化特征，并且在人类的繁衍 过程中，表情行为能被继承下来。达尔文还指出，在所有表情类别中，有几种表 情是比较基础的，这凡种表情起源于人的生活习性并与人的生活紧密相关。1 8 7 2 年，达尔文“1 论证了人和动物表情的统一性和连惯性。现在虽然对这个问题还存 在着一定的争论，但是表情的统一性已经是一种较为普遍的麸识。1 9 7 1 年e k m a n 和f r i e s e n “确定了六种基本表情：愤怒( a n g e r ) 、厌恶( d i s g u s t ) 、恐。瞑( f e a r ) 、高兴 ( h a p p i n e s s ) 、悲伤( s a d n e s s ) 和惊奇( s u r p r i s e ) ，他们认为这六种基本表情是和种族 文化相独立的，是具有全人类性的。这一点使得表情识别研究可以抛开人种、文 化以及性别等因素，集中为一个多类别分类问题即一个模式分类问题。 3 面部表情的生理基础 人脸面部表情识别方法研究 面部表情的分析涉及到生理学和解剖学。我们所表现出的每一个细微的表情， 都是脸部的骨骼、软骨、肌肉、神经、血管、脂肪组织、结缔组织、皮肤和毛发 等相互协作的外在表象”1 ，可见表情是细微而复杂的。但是，上述解剖模型中各 个组成部分对各种表情的作用也是有差别的，其中有一些是辅助性的、从属的， 另外一些则是主要的，例如表情肌的运动、面部皮肤的纹理、器官的形状以及骨 骼的位置等。而面部皮肤的纹理、器官的形状以及骨骼的位置无一不与表情肌肉 紧密相关，人们做出各种表情，更是表情肌肉运动的结果。所以我们主要关心涉 及各种表情的每种表情肌肉的运动情况。 人有许多面部表情肌肉，在表情的产生过程中，不同面部肌肉发挥着不同的 作用。通常来说，使脸部表现出各种表情特征所涉及的主要肌肉有口轮匝肌、鼻 肌、颧肌、眼轮匝肌、皱眉肌等。 肌肉是在神经系统的支配下运动的，但我们并不讨论这些，我们只是分析各 种典型表情下，人脸面部是怎样表现的，相对来说有什么表象，以便使训练中获 取的训练样本更加规范，更加符合人们的一般习惯。在识别上，我们据此确定表 情区域，以突出重点，提高识别率。 4 脸部信号系统 脸部是主要的感知输入和主要的信息输出地带。它是一个多信号 ( m u l t i s i g n a l ) 、多信息( m u l t i - m e s s a g e ) 的响应系统，有很大的柔韧度和弹性“3 。这 个系统通过四种普通的信号或信号载体来携带信息。( 1 ) 静止的脸部符号表征相对 永久的脸部特征，如构成个人形象的骨骼结构和软组织群；( 2 ) 缓慢的脸部信号表 征脸部表象的变化，这随着时间逐渐的发生，如永久性皱纹的产生和皮肤纹理的 变化；( 3 ) 人工信号，脸部的决定性特征是源于外部的，如化妆等；( 4 ) 快速的脸部 信号，是神经肌肉行为的阶段性变化，产生可见的能检测到的脸部表现的变化。 这四种信号都对人脸表情分析和识别产生贡献，然而我们只关注快速的脸部 信号。脸部肌肉的运动拉伸了皮肤，暂时性的使眼睛、眉毛、嘴唇的形状变形， 使不同的皮肤产生重叠、皱纹和突起。一般这些变化在脸部肌肉行为上持续的时 间很短暂，只有几秒钟，很少持续超过5 秒或者少于2 5 0 毫秒“3 。 5 。快速脸部信号系统 对于快速的脸部信号的测量，即对于肌肉运动产生的脸部动作的测量，存在 很多方法”3 ，其中被人们广泛采用的是人脸运动编码系统( f a c i a la c t i o nc o d i n g s y s t e m ，简称f a c s ) 。 f a c s ：从解剖学的知识出发，1 9 7 8 年e k r n a n 和f r i e s e n 0 1 提出了的一种人脸 面部表情运动的描述方法一一人脸运动编码系统f a c s ，该系统用来建立人脸表 情与局部特征变化之间的关系。f a c s 系统是通过判定每块肌肉是怎样单独或与 其它肌肉结合在一起运动而发展形成的，用5 0 0 0 多种肌肉运动的不同组合的录像 4 硕士学位论文 带来分析表面上所发生的不同的变化和彼此怎样区分。f a c s 系统据面部肌肉的 类型和运动特征，定义了4 4 个导致脸部运动的基本的运动单元( a c t i o n u n i t ，简 称a u ) ，以及一些用来描述头部和眼睛的方位变换的单元，譬如头部左右偏转等 等。在这4 4 个运动单元中的3 0 个，与人脸特定部位的肌肉伸缩有关，这3 0 个运 动单元中有1 2 个分布在人脸的上半部分，有1 8 个分布在人脸的下半部分。这些 运动单元有时单独发生，有时几个同时发生，当几个同时发生时若呈现的表情不 改变每一个运动单元的运动幅度则称其具有可加性，否则称其不具有可加性。相 应的，这4 4 个基本运动单元又可分为单个运动单元和联合运动单元两个部分。对 每个单个运动单元，系统中都提供了单元号码、单元名称以及与之相关的肌肉名 称。基于这套理论，人脸面部的各种表情最终能分解对应到各个a u 上来，分析 表情特征信息，也就是分析面部a u 的变化情况。 虽然基本的运动单元只有4 4 个，但现在人们观察到的有7 0 0 0 多种可能的组 合。这说明用f a c s 至少可以表示( 或分辨) 7 0 0 0 多种不同的人脸表情，也就是 说人脸表情的细微变化都可以用这种方法刻画，或者说这种方法用来分辨人类表 情有很高的精度。图l 3 是人脸上半部分基本形变单元名称及对应的表情图像样 例。人脸的所有可辨认的表情都可以由这4 4 个运动单元中的一个或几个的组合来 表示，因此如果判断一张人脸照片属于什么表情，只要分析他脸上对应于该表情 的那个或那些运动单元是否发生变化即可。 图1 3 人脸上半部分基本形变单元名称及对应的表情图像 尽管f a c s 方法具有很强的表情分辨率，也很适合用来描述人脸表情的细微 变化，但是采用这种方法建立人脸表情识别系统首先需要有专家来判断一张人脸 表情照片中到底哪些运动单元发生了变化，发生了什么变化，变化的程度有多大 等问题。普通人是做不到这一点的，然而全世界受过这方面特殊训练的人并不多。 因此这是一般的研究机构、个人在做这方面研究时碰到的首要困难。况且这种方 法采用静止的单帧图像进行识别，反映不出表情动作的变化，没有包括脸部形变 的时间和运动信息，只是一个简单的启发式信息。因此，本文回避了这种方法， 尝试采用种动态表情特征提取方法对自然界中普遍存在的六种基本表情进行识 别研究。 另外，与f a c s 相似的编码系统还包括e m f a c s 系统“1 ( e m o t i o n a lf a c i a l a c t i o nc o d i n gs y s t e m ) ，m a x 系统“”( m a x i m a l l yd i s c r i m i n a t i v ef a c i a lm o v e m e n t 人脸面部表情识别方法研究 c o d i n gs y s t e m ) 和a f f e x 系统3 ( s y s t e mf o ri d e n t i f y i n ga f f e c te x p r e s s i o n s ) 等， 本文在此不再详细说明。 6 表情的分类 到目前为止，对表情的分类有两个不同的体系，一类是对情绪的维量分析， 另一类是对情绪的分类。 多数的维量分析把情绪划分为三维。早在十九世纪，冯特就提出情绪的三维 度量：愉快不愉快，激动平静，紧张轻松，这种两极分类的方法至今被人们所 采用，如图1 4 所示。施洛斯伯则提出愉快一不愉快，注意拒绝，唤醒水平这种 三维度量，还有人提出更多维的度量方法，如“控制维”，“强度维”，“简单复杂 维”等。近年来，普拉奇克提出了强度、相似性和极性的三维度量方法，并提出 了一个情绪的复合维模式，他在一个倒立的锥体上列出八种情绪，椎体从顶到底 的核心标志强度，椎体断面上分割的八种情绪按相似性和极性排列。经过研究者 大量的归类工作，得到了以上各种维量分析方法。尽管这些维量划分不尽相同， 也还不能对情绪有明确的分析，但在一定程度上反映了人们对情绪的认识，它们 在情绪的研究中是有影响的。 紧张 平静 愉快 激动 图1 4 情绪的三维度量 有许多研究者对情绪进行过分类。汤姆金列出了八种基本情绪：兴趣、快乐、 惊奇、痛苦、恐惧、愤怒、羞怯、轻蔑。伊扎德在此基础上又增加了厌恶和内疚 两种情绪。e k m a n 所进行的面部表情的识别工作不仅在方法上超过了前人，而且 在理论上作了极为广阔的表述和深远的发展，它定义了六种最基本的表情：愤怒、 厌恶、恐惧、高兴、悲伤和惊奇，并且被广泛的采用。 因为维量分析的方法比较简单、笼统，所以目前计算机研究者对面部表情的 分析与研究一般不采用这种方法，而应用e k m a n 定义的六种基本表情作为表情分 析的类别。同样，本文也采用e k m a n 定义的划分为六种最基本表情的分类方法对 表情进行分析。表1 1 概括了这六种基本表情的主要特点。 1 2 2 基于计算机技术的人脸表情识别研究 利用计算机研究人脸表情识别技术是近几十年才逐渐发展起来的，现在逐渐 6 快 愉 + 币 一 一 # 表1 1 六种基本表情的主要特点 衰情额头、眉毛眼睛脸的下半部 下眼皮非常紧张，可能被或唇有两种基本位置：紧闭，唇角拉 眉毛皱在一起，井且被压低 可能不被抬起。 直或向下；张开，仿佛要喊。 愤怒 了，上眼皮是紧张的在眉的动鼻孔可能是张大的这并不是必要 在眉宇间出现r 竖直皱纹。作下可能被压低。 的。 眼睛愤怒地瞪着，可能鼓起。 上唇被抬起来。 在下眼皮下部出现了横纹，脸 下唇与上唇紧闭，推动上唇向上， 厌恶 眉毛压低了，并压低了上眼睑。嘴角下拉，唇轻微凸起。 颊推动其向上，并不紧张。 鼻子皱起来。 脸颊被抬起。 眉毛抬起来并皱在一起。 上跟硷抬起来，下眼皮菲常紧嘴张开了，嘴唇或者轻苇 l 紧张，向后 恐惧 额头的皱纹只集中在中部， 张，并且被拉上来。拉；或拉长，同时向后拉。 而不横跨整个额头。 唇角向后拉并抬高。 下眼睑下边可能有皱纹可嘴可能被张大，牙齿可能嚣出来。 高兴 眉毛稍微下弯能鼓起，但并不紧张。 一道皱纹从鼻子一直沿伸到嘴角 鱼尾纹从外眼角向外扩张。外部。 脸颊被抬起。 眉毛内角皱在一起，抬高，带嘴角下拉。 悲伤 眼内角的上眼皮被抬高 动眉毛下的皮肤。嘴角可能在颤抖。 眉毛被抬起来，以致于变高眼睛睁大了，上艰皮被抬高， 变弯。下鞭皮下落。 下颁下落，嘴张开，以致于唇和齿分 惊奇 眉毛下的皮肤被拉伸。 眼白可能在瞳孔的上边露出开，但嘴部并不紧张，也不拉伸。 皱纹可能横跨额头。来，下边的也可能露出来。 成为科研热点。国内外很多机构都在进行这方面的研究，尤其是美国、日本。进 入9 0 年代，对人脸表情识别的研究变得非常活跃，吸引了大量的研究人员和基金 支持，e i 可检索到的相关文献就多达数千篇。美国、日本、瑞士、荷兰、新加坡 等都有专门的研究组进行这方面的研究。国内的清华大学、北京大学、哈尔滨工 业大学、中科院、北京科技大学、西南交通大学、北方交通大学等都有人员从事 人脸表情识别的研究。 l ，在国际上：对人脸面部表情识别及其相关方向的研究主要有美国的麻省理 工大学( m i t ) ，卡耐基梅隆大学“”( c m u ) ，马里兰大学“( m a r y l a n d ) ，伊利诺大学 香槟分校。“”1 ( u t u c ) ，日本的名古屋大学”( n a g o y a ) 、城蜈大学“”( s e i k e i ) 、东 京大学“州( t o k y o ) 2 和la t r 研究所，瑞士的戴尔莫尔感知人工智能研究所强1 ( i d i a p ) 等。m i t 提出的一个新的高技术前沿研究方向一一情感计算，是关于、产生于和 影响于情感方面的计算，它赋予计算机识别、理解、表达和适应人情感的能力， 表情识别的研究是其中的核心内容。 7 人脸面部表情识别方法研究 最早的人脸表情研究见于文献【1 2 】，s u w a 和s u g i e 等人于1 9 7 8 年对表情识别 做了一个最初的尝试，他们跟踪一段脸部视频动画，得到每帧图片上2 0 个关键点 的运动规律，将此运动规律与预先建立的不同表情的关键点运动模型相比较，这 还只是初步的尝试。直到1 9 8 1 年才有人用仿生学方法从肌肉角度的观点为面部表 情建立模型。 m a s e 等人1 的表情分析思想分为从上至下和从下至上两个方向。在这两种情 况下，焦点都是在计算脸部肌肉的运动，而不是特征的运动。( 1 ) 从上至下；假设 脸部图像被分解成肌肉单元( 对应于a u s ) ，把肌肉单元集合成矩形，在矩形中 计算光流。然而，这种方法当这些肌肉单元对应平滑和无特征的表面时，严重依 赖于定位这些包含有肌肉的矩形。他建立了一个适合于合成的模型，但在识别中 还没有实验。( 2 ) 从下至上：在矩形区域中计算光流，量化成四个方向，每个窗口 提取一个主要的肌肉收缩的方向。定义并提取一个1 5 维的特征向量用来表征表情 序列中光流变化量活跃的点( m o s ta c t i v ep o i n t s ) 。实验中分类了四种表情：高兴、 愤怒、厌恶和惊奇，采用基于k 最近邻的方法，识别率为8 0 。数据的来源是作 者本人的若干组各种表情图像序列：2 0 组作为样本数据( 每种表情5 组数据) ， 3 0 组作为测试数据，图像大小为2 5 6 2 4 0 。这个实验是在同一个人的人脸上做的， 并在结果上与人的主观识别结果做了比较。 y a c o o b 和d a v i s “”基于f a c s 编码，集中分析人脸上嘴、眼睛和眉毛边缘的 相关运动，在八方向上检测运动，在一张脸上预定义、手工初始化的六个矩形区 域，使用简化的f a c s 规则识别六种表情。同时建立了一个时间模型： b e g i n n i n g - a p e x e n d i n g ，规定每种表情的整个过程以中性表情作为开始和结束； 并定义了变化中每个阶段的开始与结束的规则来检测各个阶段，如( f i , f 2 ，) 为 b e g i n n i n g 阶段，( f 2 ，f 3 1 ) 为a p e x 阶段，( f 3 ，f 4 ) 为e n d i n g 阶段。实验数据来自 3 2 个人的各种表情，每个图像序列是1 5 1 2 0 帧，大小为1 2 0 1 6 0 。对各种表情 的识别率：高兴为8 6 ，惊奇为9 4 ，厌恶为9 2 ，愤怒为9 2 ，恐惧为8 6 ， 悲伤为8 0 。 r o s e m b l u m 和y a c o o b 等人“”用r b f n ( r a d i a lb a s i sf u n c t i o nn e t w o r k ) 结构， 学习脸部特征与人类情绪之间的相关性，在最高一级识别情绪，在中间一级决定 脸部特征运动，在低一级恢复运动方向。特征提取中不关注脸部的肌肉运动模型， 而是关注特征部件边缘的运动。当检测到所有的特征部件都向个方向运动时， 说明发生了头部的刚体运动，并标注该帧为无效帧，该系统也能实现六种基本表 情的识别，识别率为8 8 。 s a k a g u c h i 等人“7 1 利用小波变换提取脸部图像眉眼区域和嘴部区域的频率域 特征，并采用离散隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，简称h m m ) 来刻画表 情出现时脸部动态时间信息，进而识别六种基本的面部表情，实验数据库采自4 8 硕士学位论文 个对象，每人分别采集六种基本表情，每种表情5 个序列，共1 2 0 组表情序列， 识别率近似为8 4 1 。但是因为在建立离散隐马尔可夫模型时需对观察矢量采取 矢量量化操作，因此不可避免的引入了量化误差。 美国c m u 的l i e njj 1 8 1 运用离散隐马尔可夫模型分析人脸表情的细微变化， 自动区别各种基于f a c s 表情活动单元a u 的细微面部表情。为实现自动识别运 用了三种提取面部表情信息的方法：特征点跟踪，流跟踪和边缘检测。作者将人 脸分为上、下两部分，分别对其提取特征并进行p c a 处理得到权重矢量序列 ( w e i g h tv e c t o rs e q u e n c e ) ，然后分别矢量量化这些权重矢量序列，最后输入到离散 隐马尔可夫模型进行训练和测试。文中提出了一种构造离散隐马尔可夫模型拓扑 结构的方法，对后人学习如何训练离散隐马尔可夫模型具有参考价值。作者历时 两个月采集了9 0 个成年人和4 个婴儿的表情数据，年龄从1 至3 5 岁，包括3 5 的男性，6 5 的女性( 其中包括8 1 的白种人，1 4 的非洲美国人，4 的亚洲和 印度人，1 的西班牙人) ，共4 0 0 个图像序列，8 0 0 0 幅图片。 o t s u k a 等人“基于隐马尔可夫模型对面部表情进行了分析研究。文献 1 9 中采用小波变换提取面部特定表情区域的特征，基于用户独立模型，针对四种表 情进行分析，识别率达到8 4 。实验中采集了3 个男性对象的1 8 0 组图像序列。 文献 2 0 针对文献 1 9 中只能处理一个人而不能处理多个人的表情，以及不能处 理多个连续出现的表情的情况，进行了改进。当多个表情连续出现在同一个序列 中时，假设前一个表情的高峰期即为下一个面部表情的开始。同时，对文献e 1 9 的数据库进行了扩充，加入了1 个女性对象的表情数据，共2 4 0 组图像序列。 c o h e n 等人“根据隐马尔可夫模型( h m m ) 的基本理论和算法设计了一个人脸 表情识别系统。该系统由两层h m m 组成：低层由六个h m m 组成，分别对应六 种特定表情。人脸表情特征向量进入系统后，经过低层h m m 初步识别，其结果 组成高层h m m 的观察向量，经过高层h m m 解码，确认出表情。结果表明h m m 是一种非常有效的基于统计的识别表情的方法。共缺点是离散余弦变换虽然具有 压缩比高且能较好地保持原始图像信息的优点，但是在人脸表情识别系统中作为 人脸表情特征向量，数据量仍然太大，影响系统速度。 h a it a o 和t h o m a sh u a n g o ”基于分段b e z i e r 体积形变模型( p i e c e w i s eb 6 z i e rv o l u m e d e f o r m a t i o nm o d e l ，简称p b v d ) ，提出了一种基于解释的脸部运动跟踪算法。p b v d 模型适合合成和分析脸部图像，它是线性和独立的脸部网络结构。在这个模型中，交互 定义了脸部运动或者说脸部运动单元，通过改变这些运动单元的系数，可以产生人脸动 画图形。这些运动单元的系数可以利用基于模型的跟踪算法从视频序列中计算得出。 z h uy 等人o ”将不变矩( m o m e n ti n v a r i a n t ) 和离散隐马尔可夫模型引入表情识别，识 别了四种基本面部表情：愤怒、厌恶、高兴和惊奇，识别率达到9 3 7 5 。其识别的表 情数量有限，同时因为采用离散隐马尔可夫模型丽引入了矢量量化误差。 9 人脸面部表情识别方法研究 2 在国内：赵力庄把入脸识别方面的特征脸( e i g e n f a c e ) 的思想应用到表情 识别中，用静止的单帧表情图像作为训练集，把表情投影到不同的空间区域，用 距离大小判定表情的类别。吕岩”1 曾对表情的运动图像序列作了分析识别，但是 所提取的特征只是帧内的静止灰度信息，而没有帧间的运动信息。他们工作的不