（生物医学工程专业论文）面部表情自动分类的方法与系统研究.pdf

摘要 方法的有效性。 5 设计了一种基于神经网络树的面部表情自动分类方法。神经网络树的整体结构为决策 树，通过在决策树的中间结点上嵌入专家神经网络增强了分类特征的能力，从而使得它 在分类能力上优于多层感知器和决策树方法。另外，它不仅可以完成复杂的模式识别任 务而且在有效特征的发现与验证方面也具有较高的能力。 关键词：小波分析神经网络小波矩模态分析方法主分量分析矩方法 面部表情分类神经网络树 l i a b s t r a c t i nd a i l yl i f ea n ds o c i a li n t e r c o u r s e ，f a c i a le x p r e s s i o n sc a nd y n a m i c a l l yr e 们e c to n e se m o t i o n s t a t ea n dp e r c e i v es t a t e t h e r e f o r e ，i t sa n a l y s i sh a sr e c e i v e dc o n s i d e r a b l ea n e n t j o ni nt h e 矗e l d s s u c ha sb u s j n e s sn e g o t i a t i o n s ， c h i l d r e n sc h a r a c t e r sa n a l y s i s ，c r i n l i n a l j n q u e s t ， a n dp a “e n t s 。 p s y c l l o l o g i c a ls t a t ee s t i r n a t i 。n i na d d i t i o n ，i t i sa l s ov e r y i m p o r i a n ti n t h ed e v e l o p m e n lo f v i s u a l - p h o l l ea n dh u m a nc o m p l i t e ri n t e l a c t i o ns y s t e m ( h c i s ) w i t ht 1 e d e v e l o p m e n to fi m a g ea n a l y s i s ，c o m p u t e rv i s i o n ，a n dp a n e mr e c o g n j t i o n ，t h e c o m p u t e rs c i e n c eb a s e da u t o m a t i cf a c i a le x p r e s s i o nc l a s s 讯c a “o nh a sg a i n e de x t e n s i v e l yp r o g r e s s i nr e s e n ty e a r s t h i sd i s s e n a t i o nf o c u s e do nd e a l i n gw i t ht h ek e yp r o b l e m si n a c c o m p l i s h i n g a u t o m a t i cf a c i a le x p r e s s i o nc l a s s i 啊c a t j o n t h em a i nr e s e a r c hc o n t e n t sa r el i s t e da sf o i l o w s ： 1 an o v e lf a c ed e t e c t j o nm e t h o d ，w h i c hc o m b i n e dt h em e r i to fn e u r a ln e t w o r ka n d w a v e l e t ，w a sp r 叩o s e d t w os t a g e sw e r ei n v o l v e di nt 1 1 j sm e t h o d j nt h et r a i n i n gp h a s e ， s o m eb a c k g r o u n dn l a s k sw e r eg e n e r a t e da n da d d e dt ot h eb a c k g r o u n do ft 1 1 ea rf a c e d a t a b a s ee x a m p l e s t 1 1 e nt h ep r e t r e a t e da rf a c e i m a g e sw e r ed e c o m p o s e db yt h e w a v e l e tt r a n s f o r m a t i o na n dt h ec o r r e s p o n d i n gw a v e l e tc o e 筒c i e n t sw e r es e ta st h ei n p u t s a m p l e sf o raw e i l - d e s i g n e dn e u r a ln e t w o l k 1 nt h ef a c ed e t e c t i o np h a s e t h en e u r a i n e t w o r kw a su s e dt oj u d g ew h e t h e rt h ei n p u tr e g i o no ft h er e s i z e di m a g e sc o n t a i n e da f a c et h ed e t e c t i o nr e s u l t sw e r ev a l i d a t e da n dc o m b j n e db yt h er u l e - b a s e dm e t h o da n d s u s a n( s m a i l e s iu n i v a l u e s e g m e n ta s s i m i l a t i n gn u c l e u s ) - b a s e dm e t h o d t h e e x p e m e n t a lr e s u l t ss 1 1 0 w e dt h a tt h i sm e t h o dc o l i l da c c o m p l i s hd e t e c t i o nw e l ia n db e r o b u s tt ob o t hl i g l l t n e s sv a r i a t j o na n dn o i s e 2 af a c i a lf e a t u r ep o i n t sm a t c h i n ga n dp r e d i c t j o n m e t l l o d ，w h i c hw a sb a s e do n1 1 1 e c o m b i n a t i o no fp y r a m i dd e c o m p o s i t i o na n dw a v e l e t m o i n e n i ， w a sp r e s e n t e dt h e w a v e l e tm o m e n tm e t h o dp e r f o r m e dt h em u l t i s c a l er e p r e s e n t a t i o no fi m a g ei n f o r m a t i o n w 1 1 i l e p y r a m i dd e c o m p o s i t i o n m e t l l o da c h l e v e dt h ec o n n e c “o nb e t w e e nt h e1 0 c a l i n f o r m a t i o na n dg l o b a li n f o n n a t i o n f i n a l iy ，t h er e l i a b l ef a c i a lf e a t u r ep o i n t sm a t c h i n g a 1 1 dp r e d i c “o nr e s u l t sc o u l db eg o tb yt h ep m p o s e dm e t l l o d 3 a ne f 如c i e n tm e t l l o d ，w 1 1 i c hc o u l dc h a r a c t e r i z et h ef a c i a ld e f o r m a t i o l lu s i n gt h e e i g e n m o d e s ，w a sd e s i g n e dw 1 1 i l et h em e d i a lp a r t so ft h ee i g e n - m o d e sw e r es e l e c t e d ， r e l i a b l ed e f o r i n a t i o nm f o r m a t i o no ft h ef a c i a l r e g i o l l sc o u l db ee x t r a c t e d a r e r1 1 1 e 1 e g u l a r i z a t i o nm e t l l o dw a su s e d ，t 1 1 ec o e 用c i e n t smt h e1 1 e wb o d y c e n t e r e dc o o r d i n a t e s y s t e mc o u l db e c a l c u i a t e d t h em o d u l u so ft 1 1 e s ec o e f f i c i e n t sc o m d o s e dt h ef e a c u r e i i i 4 5 v e c t o ra n dt h e yw e ie l l s e df o ra u t o m a t i c a lf a c i a le x p r e s s i o n sc l a s s 讯c a “0 1 1 am e t h o d ，w h i c hc a ne 币c i e n 削yc o m p u t et h et w o - d i m e n s i o n a lt c h e b i c h e fm o l l l e n l s ， w a sp r o p o s e d f i r s t ，af a s to n e d i m e n s i o n a it c h e b i c h e fm o m e n tc a l c u l a “n gr n e t h o dw a s d e d u c e db yu s i n gt 1 1 et c h e b i c h e fr e c u r r e n c ef o i m u l a t h e n ，i tw a se x t e n d e dt oi h e t w o - d i m e n s i o n a lt c h e b j c h e fm o m e n t sc o m p u t a t i o nc o m p a r e dw i t ht 1 1 ed j r e c tm e t h o d ， t h ee x p e r i m e n t a lr e s u l t ss h o w e dt h a tt h i sn e wa l g o r i t h mc o u l dg r e a t l yr e d l i c et h e c o m p u t a t i o n a lc o m p l e x i t y an e u r a ln e t w o r kt r e e ( n n t r e e ) b a s e df a c i a le x p r e s s i o nc l a s s 讯c a t i o na p p r o a c hw a s d e v e l o p e d i ti n t r o d u c e da nn n l l e em e t h o dt oi m p l e m e n tf e a t u r es e l e c t i o na n df a c i a l e x p r e s s i o nc l a s s m c a t i o n t h eo v e r a l ls t r u c l u r eo fa nn n t r e ei s ad e c i s i o nt r e e ( d t ) w h o s ei n t e r n a ln o d e sa r ee m b e d d e dw i t hm o d u l a re 。p e r tn e u r a in e t w o r k ( e n n )i n f a c i a le x p r e s s i o n sc l a s s i 打c a 廿o n ，t 1 1 ee x p e r i m e n i a lr e s u l t ss h o w e dt h a tt h i sm e t h o dw a s m o r ee 币c i e n tt h a nt h en l u l t i l e v e lp e r c e p t r o no rd e c i s i o nt r e e t h ep r a c t i c a b 川t yo fi h e n e u r a ln e t w o r kt r e e ，t h ei n n u e n c eo f t h en e u r a ln e t w o r kt r e s s 。sc o m p l e x i t ya n di t sa b i l j t y i ne f f j c i e n c yf e a t l l r ed i s c o v e 叫w e r ea l s od i s c u s s e d k e yw o r d ： w a v e l e ta n a l y s i s ，n e u r a ln e t w o r k ，w a v e l e tm o m e n t ，m o d a l a n a l y s i sm e t j l o d p c a a n a l y s i sm o m e n t - b a s e dm e t h o d ，f a c i a le x p r e s s i o nc l a s s m c a t i o n ， n e u r a ln e t w o r kt r e e 论文中专用名词注释 论文中专用名词注释 s u s a n ：s u s a n 是s m a l l e s tu n i v a l u es e g m e n ta s s i m i l a t i n gn u c l e u s 的简称。 a a m ：a a m 是a c t i v e a p p e a r a n c em o d e l 的简称。 面部特征：特指面部的嘴巴，鼻子，眼睛，眉毛区域。这个名词与用于进行表情分类的特征 向量是有所区别的。 人脸窗：指图像中包含全部面部特征的矩形区域。 中性脸：指没有发生表情处于自然状态下的人脸形态。 峰值信噪比( p 田氓) ：一种度量图像叠加噪声前后差异的量。其定义式为： e 2 删。2 0 1 0 9 】0 蠢锄 式中姗e 表示叠加噪声前后图像的均方误差 w l d h t h c x h f ( ，。一( x ，y ) 一，一( x ，y ) ) 2 脚= 旦生彳丽丽面一 w l d l n n e l 2 m g v f ：g v f 是g m d i e n tv e c t o rf l o w 的简称。 g g v f ：g g v f 是g e n e r a l i z e dg r a d i e n tv e c t o rf l o w 的简称。 e n n ：是e x p e r tn e u m ln e t w o r k ( 专家神经网络) 的简称。在本文中用于神经网络树中间节点 的e n n 是多层感知器。 第一章绪论 1 1 课题背景与研究意义 1 1 1 课题的背景简介 第一章绪论 面部是人类传递信息的窗口。与声音一样，面部表情是人类重要的表达工具。自愿或自 发的面部表情能够表达丰富的非语言信息。从面部表情信息中可以获得【l l ： 情感状态：包括害怕、愤怒、快乐、惊奇、悲伤、厌恶等瞬间情绪以及诸如兴高采烈、 烦躁不安、急躁易怒等持久的状态。 感知状态：如困惑混乱、聚精会神、聊无生趣等。 气质个性：包括敌意、友善、是否善于交际、是否胆小羞怯等。 真实性信息：包括内心世界的泄漏、说谎时的暗示等。 精神病理学方面：包括与沮丧、癫狂、精神分裂症以及另外一些轻度心理疾病相关的诊 断信息。另外还可以实现对于治疗过程的监测。 这些信息可以应用于许多领域，主要包括： 医学研究领域：例如研究人的氏期的情绪状态对于冠心病的影响。 教育领域：研究老师与学生之间的表情信息交流对于教学效果的影响。 刑侦反谍领域：判断信息的可信程度。 商业领域：在商业谈判中分析对手的心理状态。 另外在可视通讯、新的人机交互界面、电影特效、辅助唇读、计算机视觉等方面，面部 表情信息也具有重要的潜在应用价值，因而面部表情信息的分析与处理在科研与应用方面都 具有很高的价值。 1 1 2 研究目的与意义 本课题致力于从图像处理以及计算机视觉的角度实现面部表情自动分类。课题的主要研 究内容包括三个方面，分别是人脸区域定位、面部表情区域形变信息与整体信息的获取、面 部表情的自动分类方法研究。本课题的最终目标是建立面部表情的自动分类系统。 由于本课题主要应用图像处理技术与计算机视觉技术进行表情自动分类与识别，因而它 的研究重点与研究方法有别于基于心理学与生理学的面部表情分析研究重点与方法。本文通 过介绍基于心理学与生理学的表情分析方法以及这种方法与基于图像处理与计算机视觉技 术的表情分析方法的差异来说明后者的研究目的与意义。 从心理学的角度进行面部表情分析的重点是为了从面部表情中得到人的情感状态( 高兴 东南大学博士论文 或悲伤) 、认知状态( 注意力集中或分散) 、探究特定的心理过程( 在接受外界的信息后的反 应) 。在获得这些信息的基础上，为实际的人与人的交流方式( 社交或者教学) 以及特定的 工作( 谈判、公安检察的刑侦、儿童的性格特征分析、精神病医学研究) 提供参考与帮助。 他们所使用的方法主要是人工生理参数测量以及通过专业人员进行面部表情识别。 尽管心理学家们对于在面部表情与情绪之间是否存在对应关系还有分歧，但是谁都无法 否认面部表情在揭示人的精神状态与生理状态方面的相对容易实现与相对可靠。总体而言， 从图像处理以及计算机视觉的角度进行表情分析的目标大致可分为两类。第一类研究目标是 为了达到辅助专业人员进行表情分析的目的。因为在实际工作中，需要进行长期训练才能成 为专业人员，另外在通过心理学或者生理学的常规方法进行表情分析的工作中也会由于工作 时间较k 而带来身心的疲劳。这种身心的疲劳在某些时候会造成一些分析结果的偏差。而在 这方面，一旦研究出了基于计算机技术的方法就可以通过简易的操作步骤获得稳定可靠的分 析结果，因而通过应用计算机技术开发辅助的软件系统具有较高的现实意义。第二类研究目 标是从图像处理以及计算机视觉技术的发展方面着眼的。通过对面部表情自动分类方法的研 究可以进一步促进这些技术的发展，而且随着这方面研究的开展也会对日常生活以至于社会 产生一定程度的影响。通过对表情信息进行编码可以使得可视电话的传输效率更高，可以实 现对图像中的人脸进行某种形变使得图像中的人脸表现出某一种表情，这在某些娱乐( 电影， 电视中的夸张表演) 以及日常生活( 照片的处理) 中可以带来许多乐趣。不仅如此，在人机 界面方面表情分析与识别同样具有可观的应用前景。目前计算机与人的交流方式是单向的。 如果使得计算机可以通过计算机视觉的方法分析出用户的面部表情信息，那么就可能使得计 算机表现出更多人类所特有的本领。也许它会知道你喜欢什么歌曲，喜欢哪个影星表演的电 影，知道你所处的情绪状态( 正面情绪还是负面情绪) ，甚至可能做出一些人性化的举动， 例如在人机界面中出现安慰与鼓励等方面的文字、图像与声音。 面部表情分析与识别是一个复杂而且带有一定主观性的任务。人的面相以及表情的形式 各不相同，而且即使对同一个人而言也会随着年龄、种族、光照、姿态不同而产生差异。更 重要的是表情的分析与识别是带有一定主观性的事情，不同的人对于表情的判断结果都是不 尽相同的，因而从图像处理以及计算机视觉方面入手进行相对客观的面部表情分析与识别烂 具有巨大挑战性的工作。在这方面国内外的科研_ l 作者进行了大量的：f 作，本文首先简单地 介绍一下这方面的研究现状。 1 2 国内外研究现状 从文献记载中可以发现，心理学家是首先关心这个方面内容的群体。早在十，l 世纪，达 尔文通过观察发现人类与哺乳动物的表情具有关联性。到了1 9 7 1 年e k m a n 提出人类六种基 本情绪( 快乐( h a p p j n e s s ) 、悲伤( s a d n e s s ) 、害怕( f e a r ) ，厌恶( d i s g l i i s e ) 、惊奇( s u r p r i s e ) 、愤怒( a n g e r ) ) 并认为每一种情绪与特定的面部表情相关联。到2 0 世纪7 0 年代末，s u w a 等人【2 1 开始提出 基于图像处理方法的面部表情分析方法。到9 0 年代，随着面部检测、面部识别、计算机硬 2 第一章绪论 件的发展，基于图像分析与计算机视觉的表情分析与处理方法获得了持续的发展。从面部表 情分析的综述文献 3 】_ 【5 1 中可以总结出如图1 1 所示的基于图像处理面部表情分类基本流程。 图1 1 面部表情基本流程 在这四个主要模块中，后面两个模块更为核心。在基于计算机科学的面部表情自动分类 流程中，特征抽取模块的关键是为了获取便于计算机处理且能较好刻画图像中的表情信息的 特征向量。模式分类模块的关键是设计出能以较高的识别率对图像中的面部表情进行分类的 模式识别方法。两者都是难点而且相互关联。关联性表现为两个方面：一个方面是如果所抽 取的特征越能较好的表征图像中的表情信息则分类器的分类效果就会越好。另一个方面是分 类器的功能越强大则对于特征的要求越低。由于这两个方面都对最终的结果起举足轻重的作 用，因而需要从这两个方面共同努力才有可能得到较好的结果。对于特征的设计，目前在理 论上没有方法可以进行指导说明，因而特征的选择依靠启发性方法。本文从特征的设计角度 对目前面部表情分析的各种方法进行说明和介绍。采用这种方式进行介绍与说明原因有两 点。第一是由于面部表情分析方面的论文众多，选择一种关键因素进行介绍说明远胜于简单 罗列：第二是由于面部表情特征信息的获取是本文的一个研究重点，因而本文选择这个角度 介绍目前的表情分析的研究现状。 经过文献调研发现从面部特征信息的表征这个角度可以将当前表情分析领域的文献分 为如下的五类：变换域特征、几何特征、五官的位置以及位置上的灰度特征、形变和运动特 征、基于模型的特征。下面分别予以介绍： 基于变换域特征的表情自动分类方法包括直接将人脸图像的灰度信息作为特征向量进 行识别的方法以及通过对人脸图像进行变换或投影后获取特征向量进行识别的方法。这类方 法的优点是比较直观，容易理解。m a 等人【6 1 所提出的方法的基本流程如图l 一2 所示。他们 采用将表情发生后的面部区域图像与表情没有发生时的面部区域图像相减求得两者的著值 图像，然后对差值图像进行离散余弦变换，最后以低阶的离散余弦变换系数构成特征向量井 通过神经网络训练实现四种表情( 高兴、愤怒、悲伤、惊奇) 的识别。这种方法的识别率达 到9 3 7 5 。尹星云等人1 1 1 通过计算表情状态莉l 中性状态下的面部图像的离散余弦系数的差 值实现了表情特征向量的构建，然后通过两层隐马尔可夫模型方法实现了表情分类。依据低 层马尔可夫模型的初步识别结果构建高层马尔可夫模型的观察向量。通过这种方法达到了平 均9 7 的视频表情序列的表情识别率。e d w a r d s 等人p 应用活动形态模型( a a m ) 进行面部信 息表征。a a m 模型( 如图1 3 所示) 的优点在于它同时包含了形状信息与灰度信息。它的具 体操作可以分为两个阶段。在训练阶段首先建立一个训练集合，然后在训练集合的每一幅人 脸图像上手工取定一组点构成形状信息并通过对训练集的各幅幽像的形状进行相互调整以 消除刚体变换带来的影响，然后通过灰度插值方法得到灰度信息，最后将这两种信息进行综 合并以主分量方法去除冗余信息得到a a m 的基向量。在应用阶段首先需要对新的图像进行 东南大学博= i 论文 m b l 园+ | 园一圈 图】2m a 等人【6 】提出的表情识别流程 图 3e d w a r d s 等人p 1 提出的a a m 模型 手工形状定位与灰度信息获取，接下来计算这些信息在各个a a m 基向量上的投影，然后调 整模型参数使得通过a a m 模型合成图像与真实图像之间的差异达到最小并以满足这个条 件时的模型参数构建表征面部特征信息的特征向量。通过分析这组特征向量可以实现人脸识 别以及表情分析。l a n i t i s 等人【9 j 通过建立同一类表情的a a m 参数分布并使用基于距离的方 法进行表情分类，他们对所有表情进行分类达到了7 4 的分类效果。p a d g e t t 等人l | 随机选 取一组脸部3 2 3 2 区域并进行主分量分析得到本征向量，然后计算嘴部与眼部3 2 3 2 区域 内的灰度信息在这些本征向量上的投影系数并以此作为特征向量，最后将得到的系数进行基 于神经网络的表情分类。这种方法采用本征向量实现从整体上刻画图像区域灰度信息，它具 有较强的可操作性。z h u 等人在面部图像中定义了七个包含表情信息的矩形区域并分别计 算出这些区域上的h u 矩不变量和他们自己设计的一组正交矩不变量。设计一组新的正交矩 不变量的目的是为了分析由表情所带来的面部特征形变。最终通过对这两类不变量进行加权 构建了特征向量并实现表情识别。姜璐等人【j “将z e r n i k e 矩和小波矩应用于面部表情识别问 题。以类间距为依据，分别提取了面部图像的z e r n i k e 矩和小波矩的最好特征和次好特征并 对悲伤羊愉快进行了表情分类。对这两类表情，两类矩的最高识别率分别达到了9 5 与 1 0 0 。赵力庄等人i ”1 提出了两种变维分类方法：静态变维分类和动态变维分类用以改进本 征脸( e i g e n f a c e ) 多子空间分类方法在表情自动分类中的效果。他们根据脸部不同区域所含表 情成分的不同，将人脸图像划分成表情子区域，进而分别对各类表情子图像集求解其表情特 征子空间。在识别时，用变维分类方法把表情子图像分别投影到各个表情特征子空间上，根 据该图像在表情特征子空间的投影的相似性来进行表情分类。 基于几何特征的表情自动分类方法通过在图像上测定面部特征的位置之间的距离以及 对称性实现表情分类。这类方法往往首先确定眉、眼、口、鼻等部位的特征点，然后计算这 些特征点之间的距离、距离比例关系、对称性强弱进行表情分类。其中高文等人i i “选抒面 部五官之间的关键距离构建了面部六元组并通过可形变参数模型方法求出面部六元组的数 值，最后依据分类判别树实现了表情识别。b o u r e l 等人f 】”定义了如图l 一4 所示的面部特征点 之间的九个距离并通过它们构建了表情特征向量进行表情分析。他们的研究着重于面部部分 4 第一章绪论 图1 4b o u r e l 等人i j ”构建的面部几何特征 遮挡以及噪声对于表情识别结果的影响。c h i b e l u s h i 等人i ”1 也采用了如图l 一4 所示的面部几 何特征点并采用k a n a d e t u c a s t o m a s i 特征点跟踪算法旧实现特征点跟踪，然后通过计算表 情发生时特征点位置之问的距离以及夹角得到如图1 4 所标记的九个特征系数，而这九个系 数在表情视频序列中的变化构成了特征流。这九个特征流描述了由于表情的发生而引起的面 部特征点的几何关系的变化，他们还设计了如图1 5 所示的基于多特征流的面部表情识别流 一“f 1 j 矗饥 ：i ：d 旧 r i 芦一 阻mi _ 了k l p 0 3 曲帅y - 嘭 c o m b i 删o n f u z z v $ e b 哟1 日- b a s o d e 珊0 b 目0 n 图l 一5c h i b e l u s l l i 等人【”1 设计的分层的图 程进行表情分类。在这个流程中首先通过矢量量化方法对每种特征流内部的特征空间进行 划分并得到流内层，然后通过对流内层进行关联得到流间层的刻画，最后通过对流内层以及 流间层的概率组合实现表情分类。这种方法通过引入模糊集的方法实现了相对稳定的表情识 别。p a n t i c 等人i l i ”1 进行面部特征检测并确定面部几何关系。他们通过设计可以同时拍摄 正面与侧面人脸图像的头盔式摄像装置克服头部运动给基于图像序列的表情分析带来的影 响。另外侧面图像可以对正面图像中观察到的面部特征的变化进行一些补充。他们所设计的 基本流程如图1 6 所示。在文章中他们分别建立了如下三种情况下的转换规则：1 ) 仅正面 模型可以准确定位面部特征情况下的转换规则；2 1 仅侧面模型可以准确定位面部特征情况 下的转换规则：3 ) 正、侧面均可以获得可靠面部特征定位情况下的转换规则。在面部特征 定位方面他们提出结合真方图、边缘抽取、曲线拟合、s n a k e 形变跟踪、神经网络、模糊规 则推理等方法的检测思路。这种思路尽管它没有提出新的方法，但是这些检测方法都可能在 某些特定情况下取得好的结果，然后该文对这些检测方法的可靠性设置可信度值并对检测结 果进行标记( 论文中分别标记为漏检、检测不准确、准确) ，最后在这些信息的基础上进行 东南大学博士论文 图】6p a n t i c 等人l i ”设计的面部表情分析流程图 综合分析得到面部特征的检测结果。在综合分析判断过程中首先以手工方式定位侧面图像的 轮廓，然后他们通过规则推理系统将这种面部j l 何关系转化为面部动作单元的活动，最终通 过专家系统实现表情识别。m i t r a 等人【2 0 】通过面部对称性分析构建特征向量并进行表情识别。 在计算对称性之前先对图像进行调整，通过调整建立一个可供进行对称性计算与比较的数据 集。在调整过程中对于序列的第一帧图像通过手工方法定位左右眼角与人中这三个特殊的位 置，然后通过l u c a s - k a n a d e 方法进行特征位置跟踪并依据特征点位置进行图像调整。经过 调整的图像两个眼角的连线是水平的，人中与两个眼角中点的连线垂直于两个眼角的近线， 两个眼角间的线段距离以及两个眼角连线的中点与人中的线段 图1 7m i t r a 等人口”使用的原始图像、差值图像、相似性图像 距离都为固定常数。对于经过调整的数据集合中的每一幅幽像，接f 朱沿着垂直于两个眼角 连线且通过两个服角中点的直线进行镜像反转得到其镜像，然后计算原始图像与其镜像的灰 度差得到差值图像并计算图像中边缘方向与镜像中边缘的方向的夹角的余弦得到相似图像。 最后通过p c a 方法得到差值图像以及相似性i 訇像的前6 0 个本征向量。在表情分析阶段通过 将调整后的待分析的人脸区域投影到这两个本征向量空间得到投影值并以这些投影构建特 征向量进行面部表情分析。 基于面部特征点的位置变化以及特征点上的灰度变化的方法通过度量面部特征点集的 位置以及这些位置上的灰度变化实现表情信息的分类。其中k o b a y a s h i 等人口”建立了由3 0 个面部特征点构成的人脸特征点集。首先通过仿射变换进行模型的尺度凋整，其次依据虹膜 之间的距离，手工确定1 3 条纵向穿过面部特征点的线的长度，最后将灰度归一化后将特征 位置上的灰度信息送入神经网络进行分类与训练。这种方法的重点放在刻画随表情而变化的 面部灰度信息，通过特定位置上的灰度值实现表情信息的刻画。h o n g 等人口“进行通过如图 1 _ 8 所示的线框图实现面部表情信息的表征。在线框图中的每个节点上计算多尺度多方向的 g a b o r 变换系数构成特征向量并应用弹性匹配的方法实现线框图与实际人脸数据的匹配，最 终通过比较两幅图像上的线框图的相似性实现表情分析。该方法最大的特点是结合了特征点 的位置关系以及g a b o r 多尺度多方向的变换域的信息进行表情识别。在他们建立的数据集 第一章绪论 ly 2 们可l 可5 肌；掣? a 】 b i a s z 0 b i a s 图1 8h o n g 等人“使用加权线框图图1 9z 1 1 a n g 等人“使用的表情分析神经网络结构 上，该方法取得了8 5 的识别率。z h a n g 等人“通过对图像中基准点的位置以及从基准点的 位置上抽取的g a b o r 系数并应用多层感知器进行分类，从而实现了表情分析。与h o n g 的方法 不同，他们的分类器设计中分别将这些位置信息与这些位置上的g a b o r 系数送入感知器进行 分类。如图1 9 所示，这西类特征之间并不存在直接的相互作用。结果表明，这种方式可以 达到更好的分类准确性。另外他们通过实验还发现由g a b o r 系数构成的特征向量能够获得很 好的分类结果。l y o n s 等人4 h ”1 设计的表情特征抽取方法如图1 1 0 所示。他们首先对输入图 图1 - 1 0l y o n s 等人“”设计的基于g a b o r 滤波的面部图像特征抽取流程图 像进行多方向多尺度的二维g a b o r 滤波，然后建立了两种面部区域特征点的定位方式：一种 是通过均匀划分面部区域得到交叉位置作为特征点的位置，另一种方法是定位面部区域的具 有代表性的位置作为特征点的位置，然后将这些特征点位置上的g a b o r 系数的幅度集成到一 个特征向量中构建一个训练样本集合并求取训练样本集合中特征向量的本征向量集，然后将 训练样本集投影到该本征向量集中并采用线性判别分析方法对投影后的结果进行分类得到 各个聚类中心以及投影方向。在表情分类阶段，对于每一个输入的待分类特征向量通过将其 沿着投影方向投影并将投影结果与各个类别的聚类中心进行高斯距离比较得到最终的分类 结果。b e s s h o 与k i m u r a 等人【2 6 】引入了多分辨率的思想改进了势能网( p o t e n t i a ln e t ) 的构造 方法。通过弹性形变方法确定了势能网节点的位移并通过k l 变换实现了与势能网位移相 关的本征空间的构建，最后通过将待识别的表情图像的势能网位移投影到本征空间中从而实 现面部表情的分析。 一 薹耄 吣 一 东南大学博二l 论文 基于运动和形变的特征抽取方法关注由面部表情引起的面部变化。它们通过参考中性脸 分析各个面部特征区域内的形变或运动信息并以此构建特征向量进行表情识别。金辉等人 2 8 】。【3 0 】对各个面部表情区域的运动信息进行分析并通过隐马尔可夫模型方法对面部表情进行 了识别。在运动分析之前，首先进行人脸定位与面部特征分割从而得到了各个面部表情的区 域。然后进行光流计算得到各个表情区域的光流信息，通过p c a 方法将光流信息转化为各 个面部表情区域的特征序列，最后通过隐马尔可夫模型方法实现了面部表情分类。这种方法 的表情识别率达到了9 6 9 。b l a c k 等人使用多项式构建局部参数模型并通过参数模型对 图像运动信息进行刻画从而实现了面部非刚体运动的估计。在估计出参数后，他们通过规则 判断实现表情分类。y a c o o b 等人吲认为图像上的面部特征的形变是与面部生理特征形变相 关联的，而面部特征区域的光流信息可以刻画图像中的面部特征形变。在他们的：【作中假i 殳 面部特征区域可以在跟踪之前获得，通过对区域信息进行分析实现了面部特征跟踪，然后计 算跟踪所得区域之间的光流。将所得的光流中幅值小于事先设定阀值的光流值置零，然后对 光流进行八方向量化并依据邻域内的光流信息修正中心光流的方向，最后对各个特征区域内 的光流进行统计分析并结合与解剖学相关的先验知识进行运动类别分类并通过规则判别系 统实现表情分类。该方法在计算光流时，通过直接计算对应面部特征区域问的光流防 e 了其 他位置的光流信息的影响。提高了各个特征区域内的光流信息的可靠性。另外该方法还通过 闽值方法降低了噪声对光流计算的影响。r o s e n b l u m 等人p “计算面部特征区域中的光流场并 通过设置阅值去除幅度较小的光流，然后按照上下左右对每个位置的光流方向进行归类建立 四个方向图，再次通过对这四个方向图进行基于极坐标的归一化并以它们作为r b f 神经网 络的输入，最后通过神经网络方法实现了表情分类。e s s a 等人p “将光流技术与基于几何、 生理、运动的动态模型结合起来实现了面部特征的描述。他们从图像序列上得到光流之后将 - ：圳删：一j 1 _ ，? 测鲽黝剡蠛 誊蒸； ；l 蘸| 渗；鞴 j ；_ ! r ，t f ：r ： 譬“、：i “。 - - 一：， | j。i ： 左图为原始光流，右图为修正后的光流惊奇表情的时空能量模板 图1 1 1通过模型修正光流【3 4 】图1 1 2 时空能量模板 结果映射到动态模型上，然后在模型上实现基于有限元方法的建模分析并依据分析所得的结 果修正光流计算的结果，修正前后的差别如图1 _ l i 所示。依据修正后的光流计算时间域和 空间域上联合分布的运动能量模板。图1 一】2 中给出了惊奇表情序列的某一时刻的能量模板。 最后通过模板匹配的方法进行表情识别。y o n e y a m a 等人| 3 “抽取人脸各个特征区域并将其归 一化到8 1 0 大小，然后计算无表情图像与有表情图像之间的光流，最终对光流的垂直分量 第一章绪论 的方向进行了向上，不动与向下的三参数量化并以量化后的参数作为特征向量。最后他们使 朋h o 口n e l d 神经网络对这些特征向量进行分类并最终实现了面部表情分类。该方法通过量化 光流垂直分量的方向，在一定程度上降低了光流计算的误差。o t s u k a 等人”3 首先计算面部 区域的光流场，然后计算嘴部和眼部区域的水平与垂直方向光流场的二维傅立叶变换。最后 图1 1 3c o h e n 等人口7 j 采用的线框模型以及抽取的运动矢量 以二维傅立叶变换后的低频部分系数作为特征进行表情识别取得了9 3 的识别结果。c o h e n 等人【3 7 】采用t a o 等人提出的( 如图1 1 3 所示) 非刚体模型进行运动矢量的抽取并以此构 成用于表情分析的特征向量，并且通过h m m 和】学习b a y e s i a n 网进行表情识别。 基于模型的识别方法依据解剖学知识确定关键特征并通过比较这些特征的变化来识别 人脸表情。这些方法的优点是它们具有良好的物理背景。t e r z o p o u l o s 等人1 设计了一个复 左图t e r z o d o u l o s 等人设计的基于生理学的面部模型 右图c h o j 等人【4 1 j 设计的3 d 头部模型 图1 1 4 头部模型 杂的基于生理学的面部模型( 如图1 1 4 左图所示) 。他们通过对视频中的人脸信息进行分析得 到模型的形变估计并最终实现面部形态的合成与仿真。c h o i 等人疑过对输入图像进行分 析得到了头部运动参数以及面部表情参数的估计；然后他们以迭代的方式对这两类参数进行 进一步的调整。最终通过模型与这两类参数的结合实现面部形态的合成。h i m e r 与k a i s e r 【4 3 】 都设想通过在人脸上直接标记特征点并通过分析视频中这些特征点的移动以及形变实现表 情分析。这种方法相对容易实现并取得了较好的结果。h a i b o 等人【4 “建立了一个融入面部形 状与面部表情先验信息的运动模型。他们在这个模型中通过反馈机制实现了计算机图形学技 东南大学博士论文 术与计算机视觉技术的结合。在这种机制里可以将图形学中的合成技术嵌入到面部分析阶段 并最终实现了较好的表情分析。 1 3 研究对象与研究思路 1 3 1 分析处理的数据 在本论文中，用于进行面部表情自动分类的数据全部来自于卡内基梅隆大学的 c o h n k a n a d e 面部表情数据库1 4 “。在该数据库中包含年龄在1 8 岁至3 0 岁的不同人种，不同 国家的自愿者的六种基本表情数据。所有数据均保存为3 2 0 2 4 5 大小的p n g 格式的图像序 列。c o h n k a n a d e 面部表情数据库中的每一种表情数据都是从一段连续拍摄的录像中截取出 来的。这些图片中的第一张是无表情的数据，随后表情动作依次演化而面部特征也随着表情 的变化而发生形变。使用该数据库的理由主要包括如下三点：第一点是该数据库在表情分析 中具有一定的影响力，是经典可靠的数据集。第二点是国外已经在这个数据库上进行了一些 相关工作，本文可以据此进行参照比较。第三点是心理学专家己对该数据库中的数据进行了 人工判定，因而表情分类的结果具有一定的客观性，可以较好的减轻表情分析与识别中的主 观性影响。图1 1 5 中给出c o h n k a n a d e 面部表情数据库中的部分数据作为示例。 图1 1 5c o h n k a n a d e 面部表情数据库示例 0 第一章绪论 1 3 2 研究思路 本文的工作集中于应用图像处理技术与计算机视觉技术进行面部表情自动分类。图像处 理技