（模式识别与智能系统专业论文）人脸表情识别研究.pdf

摘要 随着人们对人机交互兴趣的增加，情感计算逐渐成为一个研究热点。情感计 算是一个跨学科的研究领域，具有很高的理论研究价值和应用前景。计算机和机 器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算 机之间的关系，使计算机能够更好地为人类服务。 表情含有丰富的人体行为信息，是情感最主要的载体。作为情感计算的一个 重要研究方向，表情识别构成了情感理解的基础，是计算机理解人们情感的前提。 目前，对于人类情感的研究还处于探索阶段，对人类情感的定义至今没有一个统 一的认识，这对于分析由情感引发的表情是一个障碍。目前，人脸表情分析主要 集中于表情生成和表情识别两个方面。人脸表情生成侧重于人脸表情的仿真模 拟：而人脸表情识别则侧重于根据人脸的图像信息对作为情感外在表现的表情进 行分类。但是，由于人脸表情往往是多种情感交织的结果，将其简单或硬性地归 入某一特定类别的做法就未必是合理的。 本文以人脸表情为主要研究对象，以人脸表情识别为主要研究目的，对人脸 表情特征的提取、人脸表情空间建模以及不同脸型的人脸表情分析等问题进行较 深入的研究。在此基础上，构建了一个面向特定人的入脸表情识别系统，该系统 除了可以验证本文所提出的模型和方法外，还可以作为人脸表情分析的研究和实 验平台，为以后的研究工作奠定了良好的基础。 和现有人脸表情识别研究不同，考虑到人脸表情是由人的情感引发的生理现 象，本文从情感心理学的角度，对人脸表情及其分类问题进行了深入研究，提出 了一种新的入脸表情空间模型。该模型具有能够对入脸表情所反映的人的情感进 行更恰当的表达的特点。此外，考虑到人脸表情的个体差异性，本文对不同脸型 人脸表情的差别进行了分析，提出了基于脸型分类的人脸表情识别框架。 本文的创新点和主要贡献如下： ( 1 ) 从表情特征提取的焉求出发，根据眼睛的轮廓特征知识，提出了一种 利用变换投影估计形状参数，并结合实际图像信息提取眼睛轮廓的新方法。 ( 2 ) 人脸表情特征往往体现在细节方面，本文利用g a b o r 小波核函数能够 捕捉对应于空间频率( 尺度) 、空间位置及方向选择性的局部结构信息的特点， 中国科学技术大学博士学位论文 提出了一种基于g a b o r 小波各分量融合的表情识别方法，提高了人脸表情的识别 率。 ( 3 ) 在对人脸表情的特点进行分析、给出表情空间的定性描述的基础上， 提出了一种兼有离散情感空间模型和连续情感空间模型特点的新的表情空间模 型。 ( 4 ) 在对不同脸型的人脸表情进行分析的基础上，研究了不同脸型人脸表 情之阗的差异，提出了基于脸型分类的人脸表情识别框架，并基于三缝数据和二 维数据设计了相关的表情识别实验，验证了基于人脸脸型分类的表情识别算法的 有效性。 ( 5 ) 结合人脸表情空间模型和基于脸型分类的人脸表情识别框架，设计一 个面向特定人的人脸表情识别系统，为后续的人脸表情分析研究奠定了良好的工 作基础。 关键词：情感计算表情识别特征提取表情空间模型脸型分类 n a b s t r a c t w i mt h ei n c r e a s eo fp e o p l e si n t e r e s ti nt h ei n t e r f a c eo fh u m a na n dm a c h i n e a f f e c t i v ec o m p u t i n gi sb e c o m i n gar e s e a r c hf o c u s i fc o m p u t e r sa n dr o b o t sc o u l d u n d e r s t a n da n dd e l i v e re m o t i o nj u s tl i k eh u m a n , t h er e l a t i o nb e t w e e nh u m a na n d m a c h i n ew o u l db ec h a n g e dr a d i c a l l y , a n dt h e nt h ec o m p u t e rc o u l dp r o v i d eb e t t e r s e r v i c ef o r p e o p l e f a c i a le x p r e s s i o nw h i c hc a r r i e sr i c hi n f o r m a t i o no fb o d yb e h a v i o ri st h el e a d i n g c a r r i e ro fh u m a na f f e e t i v ea n dt h es y m b o lo fi n t e l l i g e n c e a sa l le s s e n t i a lb r a n c ho f a f f e c t i v e c o m p u t i n g , f a c i a le x p r e s s i o nr e c o g n i t i o n i s g r o u n d w o r k o fe m o t i o n u n d e r s t a n d , a n di st h ep r e c o n d i t i o nf o rc o m p u t e r st ou n d e r s t a n dh u m a n se m o t i o n h u m a na f f e c t i v en e e d sm u c hm o r er e s e a r c h t o d a y , t h e r ei ss t i l ln oa c k n o w l e d g e d d e f i n i t i o no fh u m a na f f c c t i v ei t s e l f t h a ti sa ni n c o n v e n i e n c et oa n a l y z ef a c i a l e x p r e s s i o nw h a tc o n d u c e db ye m o t i o n s o ，t h er e s e a r c ho ff a c i a le x p r e s s i o na n a l y s i s m o s t l yf o c u s e so nf a c i a le x p r e s s i o ns y n t h e s i z a t i o na n dr e c o g n i t i o n f a c i a le x p r e s s i o n s y a t h e s i z a t i o ne m p h a s i z e so nt h es i m u l a t i o no ff a c i a le x p r e s s i o n f a c i a le x p r e s s i o n r e c o g n i t i o nd e a l sw i t ht h ec l a s s i f i c a t i o no ff a c i a lm o t i o na n df a c i a lf e a t u r e d e f o r m a t i o ni n t oa b s t r a c tc l a s s e st h a ta r cp u r e l yb a s e do nv i s u a li n f o r m a t i o n b u tt h e f a c i a le x p r e s s i o ni nd a i l yl i f eu s u a l l yi sc a u s e db ym u l t i p l ee m o t i o n s i ti sd i f f i c u l tt o c l a s s i f yt h ef a c i a le x p r e s s i o ni n t oo l l es p e c i a lc l a s s a c h i e v ear a t i o n a lr e s u l to fd a i l y l i f ef a c i a le x p r e s s i o ni sag r e a tc h a l l e n g ef o rh u m a nf a c i a le x p r e s s i o nr e c o g n i t i o n t h em a i np u r p o s eo ft h i sp a p e ri st or e c o g n i z eh u m a nf a c i a le x p r e s s i o n t h e r e s e a r c hi nt h i sp a p e ri n c l u d e st h ee x t r a c t i o na n dd i s t r i b u t i o no f t h ef a c i a lf e a t u r e s t h e m o d e l i n go ff a c i a le x p r e s s i o ns p a c e ，a n df a c i a le x p r e s s i o na n a l y s i so fd i f f e r e n t f a c e - s h a p e a tl a s taf a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e mi sb u i l tb a s e do ns p e c i a l h u m a n t h es y s t e mc o u l dt e s tt h em o d e la n dm e t h o d sp r e s e n t e di nt h i sp a p e r a l s ot h e s y s t e mc o u l db eu s e da se x p e r i m e n t a lf l a tf o ro t h e rf a c i a le x p r e s s i o nr e s e a r c h t h e r ea r es o m ed i s t i n c td i f f e r e n c e sb e t w e e nt h ew o r ko ft h i sp a p e ra n dp r e s e n t m e t h o d so ff a c i a le x p r e s s i o nr e c o g n i t i o n c o n s i d e r i n gt h ep h y s i o l o g i c a lk n o w l e d g e t h a tf a c i a le x p r e s s i o ni sc o n d u c e db yh u m a ne m o t i o nt h i sp a p e rs t u d i e st h ef a c i a l m 中国科学技术大学博t 学位论文 e x p r e s s i o na n di t sc l a s s i f yi nv i r t u eo ft h et h e o r yo fe m o t i o np s y c h o l o g y t h e na n e w f a c i a le x p r e s s i o ns p a c em o d e li sa c h i e v e d t h ee m o t i o ns t a t eo ft h ef a c i a le x p r e s s i o n c o u l db eb e t t e rr e p r e s e n t e db yt h en e wm o d e l o nt h es a m ew h i l e ，c o n s i d e r i n gt h ef a c t t h a te v e r yp e o p l eh a v eau n i q u ef a c e ，t h ef a c i a le x p r e s s i o nr e c o g n i t i o nf r a m e w o r k b a s e do nf a c e s h a p ei sp r o p o s e db yt h ea n a l y s i so ft h ed i f f e r e n c eo ff a c i a le x p r e s s i o n a m o n gd i f f e r e n tf a c e - s h a p e s n 拉m a i ni n n o v a t i o n sa r ea sf o l l o w s ： ( 1 ) c o n s i d e r e dt h ek n o w nc o n t o u rc h a r a c t e r , an e we y e c o n t o u re x t r a c t i o n a l g o r i t h mi sp r o p o s e db a s e d o nt h ec o m b i n a t i o no ft h es h a p ep a r a m e t e r sg o tf r o mt h e r a n s f o r mp r o j e c t i o na n dt h ei m a g ei n f o r m a t i o ni nt h ee y ef i e l d ( 2 ) t h ef a c i a le x p r e s s i o nf e a t u r e sa r eu s u a l l yr e p r e s e n t e di nt h ei m p e r c e p t i b l e c h a n g eo ft h ef a c e g a b o rk e r n e l sa r es i m i l a rt ot h er e c e p t i v ef i e l dp r o f i l e si nc o r t i c a l s i m p l ec e l l s ，w h i c ha r ec h a r a c t e r i z e da sl o c a l i z e d ，o r i e n t a t i o ns e l e c t i v e ，a n df r e q u e n c y s e l e c t i v e t h e nam u l t i p l eg a b o rf e a t u r e sb a s e df a c i a le x p r e s s i o nr e c o g n i t i o nm e t h o d i sp r e s e n t e di nt h i sp a p e r t h i sm e t h o dc a ni m p r o v et h ep e r f o r m a n c eo faf a c i a l e x p r e s s i o nr e c o g n i t i o ns y s t e m ( 3 ) m o d e l i n go ff a c i a le x p r e s s i o np l a y sav e r yi m p o r t a n tr o l ei nt h er e s e a r c ho f s y n t h e s i sa n dr e c o g n i t i o no ff a c i a le x p r e s s i o n t h i sp a p e ra n a l y z e st h en a t n r eo ft h e f a c i a le x p r e s s i o n sa n dg i v e saq u a l i t a t i v ed e s c r i p t i o no ft h ec o r r e s p o n d i n gf a c i a l e x p r e s s i o ns p a c e ，a n dt h e np r o p o s e san e wf a c i a le x p r e s s i o ns p a c em o d e lw i t ht h e c h a r a c t e r so fb o t l ld i s c r e t ea f f e c t i v es p a c em o d e la n dc o n t i n u o u sa f f e c t i v es p a c e m o d e l t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ef a c i a le x p r e s s i o nm o d e lp r o p o s e di n t h i sp a p e rc a nr a t i o n a l l yr e p r e s e n tt h ed a i l yf a c i a le x p r e s s i o n s ( 4 ) af a c i a le x p r e s s i o nr e c o g n i t i o ni d e ab a s e do nf a c e - s h a p ec l a s s i f y i n g i s p r o p o s e d f i r s t ，t h ef a c e s h a p ec l a s s i f y i n gi sa n a l y z e d ，a n dt h ed i f f e r e n c eo f t h ef a c i a l e x p r e s s i o na m o n gd i f f e r e n tf a c es h a p e si sd e s c r i b e d t h e nt h ef a c i a le x p r e s s i o n r e c o g n i t i o nf r a m e w o r ki sp r e s e n t e d t h ef a c i a le x p r e s s i o nr e c o g n i t i o ne x p e r i m e n t b a s e do n3 dd a t aa n d2 dd a t ai sd e s i g n e da tl a s t t h ee x p e r i m e n tr e s u l t ss h o w e dt h a t t h ef a c i a le x p r e s s i o nr e c o g n i t i o nb a s e do nf a c e - s h a p ec l a s s i f y i n gi sa ne f f i c i e n t m e t h o da n dc a nh i g h l yi m p r o v et h er e c o g n i t i o nr a t e ( 5 ) c o m b i n e df a c i a le x p r e s s i o ns p a c em o d e la n dt h e f a c i a l e x p r e s s i o n r e c o g n i t i o nf r a m e w o r kb a s e do nf a c e - s h a p e ，af a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e mi s i v a b s u 丑c t p r e s e n t e d t h es y s t e mc o u l db eu s e da saf i a tr o o tf o rt h er e l a t i v er e s e a r c ho ff a c i a l e x p r e s s i o na n a l y s i s k e y w o r d s ：a f f e c t i v ec o m p u t i n g ，f a c i a le x p r e s s i o nr e c o g n i t i o n , f e a t u r ee x t r a c t i o n , f a c i a le x p r e s s i o ns p a c em o d e l ，f a c e s h a p ec l a s s i f y i n g v 插图目录 图1 1 表情识别系统一般框架8 图i - 2g a b o r 小波特点和人脸图像滤波结果1 2 图1 3 六种基本表情类别1 6 图2 1n e w e l l 和s i m o n 的信息加工系统。2 0 图2 2 面部肌肉解剖图2 l 图2 3 不同表情眼睛的不同状态2 4 图2 - 4m p e g - 4f d pf e a t u r ep o i n ts e t 2 6 圉2 - 5a s m 韵改进结果2 6 图2 - 6y u i l l e 【a l a nl y u i l l e1 9 8 9 】所定义的眼睛模板2 7 图2 7 上眼睑的轮廓区域2 8 图2 8 上眼睑轮廓候选点2 8 图2 - 9 抛物线参数分布2 9 图2 - 1 0 抛物线参数的扩散投影3 0 图2 1 l 筛选后的上眼睑轮廓。：3 0 图2 1 2 修正后的上跟险轮廓3 l 图2 1 3 上限睑轮廓的提取3 l 图2 1 4 下眼睑轮廓的提取3 2 图2 1 5 实验部分结果3 3 图2 1 6g a b o r 滤波器及表情图像的g a b o r 滤波结果3 5 图2 1 7 表情特征点位置3 5 凰2 - 1 8 各个尺度和方向对不同表情的识裁率3 7 图2 1 9 神经网络结构和训练性能曲线4 0 图3 - 1 欢乐度和唤醒度组成的情感坐标a c t i v a t i o n - e v a l u a t i o n 空间。4 8 图3 2 情感轮( e m o t i o nw h e 圮1 ) 4 9 图3 3 表情空间模型示意图5 0 图3 - 4 训练图像在翦3 个特征向量上的投影5 l 图3 5 人脸图像中的表情分析情况5 3 图3 - 6 表情图像的“表情势”分布5 5 图3 7 不同表情图像的表情势5 6 v m 插图目录 图3 - 8 愤怒表情在各基向量( 方向) 的混合高斯分布5 7 图3 - 9 表情图像的表情概率分布示例6 2 图3 1 0 各类表情样本概率的直方图分布6 3 图4 1 人体头部五官比例示意图6 7 图4 2 人脸脸型分类示例1 6 8 图4 3 人脸脸型分类示例2 6 9 图4 4 人脸表情的侧面差异一7 0 图4 5 基于脸型分类的表情识别一般框架7 l 图4 - 6 基于脸型分类的表情识别工作流程7 2 图4 7 不同脸型的三维人脸深度图像7 3 图4 8 三维人脸的表情特征选取7 3 图4 - 9 不同脸型人脸侧面深度差值及其小波变换7 4 图4 - 1 0j a f f e 中人脸脸型7 6 图4 1 1 系统工作界面及功能7 9 图4 - 1 2 系统运行示例8 0 i x 表格目录 表1 1 理想人脸表情识别系统的属性2 表1 2 自动表情识别系统属性3 表1 3 表情识别正确率统计6 表1 4 表情特征分析方法综述9 表2 i 面部基本活动单元描述2 2 表2 - 2 六种基本表情的面部单元的运动特征描述2 3 表2 3g a b o r 小波不同c h a n n e l 与表情识别率的关系3 8 袭2 - 4 不同c h a n n e l 的g a b o r 特征对表情图像k a _ d 1 3 的估计3 9 表2 5 不同方法的表情识别率( ) 4 0 表3 1f o x 的情感三级分类模型。4 7 表3 - 2 各类表情的混合高斯模型参数5 8 表3 3 表情识别率对比( ) 一6 1 表4 1 基于脸型分类的三维人险表情识别率比较( ) 7 5 表4 2 二维数据表情识别率比较( ) 7 6 x 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行的研 究工作所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任何他 人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已 在论文中作了明确的说明。 躲翻 关于论文使用授权的说明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送 交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本 人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 导师签名： i 、丑厩稿 盟年三月三日 & 4 递山凝“ 名 丑 鹕 丑 1 1 引言 第1 章绪论 人脸表情在人们的交流中起着非常重要的作用，是人们进行非语言交流的一 种重要方式。表情含有丰富的人体行为信息，是情感最主要的载体。是智能的体 现，对它的研究可以进一步了解人类对应的心理状态。计算机和机器入如果能够 像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之问的关 系，使计算机能够更好的为人类服务。随着信息技术的高速发展和人类对计算机 依赖性的不断增强，人机的交互能力越来越受到研究者的重视。 心理学家认为，情感表达= 7 语言+ 3 8 声音+ 5 5 面部表情。可见人脸表情 与情感表达的关系十分密切。 表情识别是情感理解的基础，是计算机理解人们情感的前提。表情识别是智 能机器走进人们日常生活必须解决的问题，是实现智能机器必然要面临的问题， 也是人们探索智能、理解智能的有效途径。如何实现计算机的拟人化，使其能根 据周围的环境以及对象的状态等内容，自适应地为交流对象提供最友好的操作环 境，消除操作者和机器之间的障碍，已经成为下一代人机界面发展的目标。本文 主要讨论人脸表情识别相关理论和技术。 1 2 研究背景和意义 人类对表情的研究最初主要是关于表情在生理学和心理学领域的研究【b f a s e le r e 2 0 0 3 1 。生理学家和心理学家主要关注表情和情绪之间的联系和区别、 表情在人们交流中的作用等问题i t d a l g l e i s h ，e t 1 9 9 9 。 d a r w i n 在1 8 7 2 年论证了人和动物表情的统一性和连惯性【c d a r w i n ， 1 8 7 2 。认为人和动物的表情是有联系的，是一致的。1 9 7 1 年e k m a n 和f r i e s e n 确定了六种基本表情f p e k m a n1 9 7 1 ：生气、厌恶、害怕、伤心、高兴和吃惊， 他们认为这六种基本表情是全人类所共有的，并对各种表情的特点进行了分析【p e k m a ne t e 1 9 7 5 1 。这类观点使得表情识别研究似乎可以抛开人种、文化以及性别 等因素，集中为一个多类别分类问题。但是有学者指出，作为引发表情的情感并 不是单纯的分为几种类别的 r o s a l i n dw p i c a r d ，1 9 9 8 ，有学者认为人类情感空问 中国科学技术大学博士学位论文 是连续的，而不是离散的 s m i t hc 1 9 9 7 ；k t 斯托曼，1 9 8 6 ，从感知的角度来 看，该理论比较切合实际情况。遗憾的是，已有的相关工作并没有对人脸表情所 对应的情感状态的空间表示方式做出更多有实质意义的表述 k a p p a s ，a 2 0 0 3 ， 这给实际应用留下了很多亟待解决的问题。 人脸面部表情的分析具有广泛的应用前景，如自然和谐的人机交互、心理学 研究、远程教育、安全驾驶、公共场合安全监控、辨别谎言、电脑游戏、临床医 学、人类精神病理分析等。 1 3 表情识别概述 1 9 7 8 年s u w a 等人做了一个在图像序列中自动进行表情分析的研究f m s u w a e t c 1 9 7 8 ，将表情识别引入机器视觉领域。f a s e l 认为表情识别是基于视觉信息 将脸部的运动或脸部特征的形变进行分类【b f a s e lc t e 2 0 0 3 1 ，因此可以说表情识 别是一个模式分类问题。分类问题有三个基本要素；分类类别、分类的特征和分 类方法。表情类别一般为4 到8 类畔e k m a n1 9 7 5 】，也有学者根据情感理论对表 情类别属性进行分析 r o s a l i n dw p i c a r d1 9 9 8 ；分类特征和分类方法由于问题的 出发点差异而不同yy a c o o be t e 1 9 9 4 ；h u ij i n 咖2 0 0 0 ；m p a r d a se t c 2 0 0 2 ； gd o n a t oe r e 1 9 9 9 。总之，可以说，表情识别过程是将输入的表情图像通过某 种分类方法归入某个具体类别( 即给出一个类别标记) 或给出某种属性描述的过 程。 表l l 理想人脸表情识别系统的属性 一般特点 l 自动人脸图像获取 2 不受年龄、种族、外观的限制 3 能够处理光照变化情况 4能够处理入脸遮挡的情况 5不需要特殊的人工标记 6能够处理头部的刚性运动情况 7自动人脸检测 8 自动人脸表情数据提取 9能够处理不精确的人脸表情数据 1 0 自动人脸表情分类 1 1 能够区分各种可能的表情 1 2能够处理单边人脸变化情况 2 第1 章绪论 1 3 遵守解剖学规则 p e k m a n1 9 7 8 行为科学研究应用方面 1 4能够分别4 4 种面部运动 p e k m a n1 9 7 8 1 5 能够量化面部运动 多模式多媒体的人机交互应用方面 1 6拥有多种表示方式 1 7表情特征容易学习 1 8能够给出量化解释结果 1 9能够给出多种解释方式 2 0 能够实时处理 近年来随着计算机计算能力的提高，人们对机器智能的研究兴趣愈来愈浓 厚，人脸表情的自动识别也为越来越多的研究者所关注。理想的人脸表情识别系 统应该具有如表l - l m a j ap a n t i ee t c 2 0 0 0 1 所示的属性。考虑到年龄、种族、性 别以及发型、饰品( 如眼镜) 等个体差异，以及光照、姿态等环境因素的影响， 人脸表情识别是一个非常复杂的工作。表1 2 是目前人脸表情识别系统所具有属 性列表。其中，属性序号与表1 1 中的属性序号相同，“有”表示系统具有该序 号的属性，“无”表示系统不具有该序号的属性，“未知”表示文献中没有提到或 没有验证是否具有该序号的属性，数字是系统对于该序号属性的量化。 从表1 2 看到，所列文献中的系统都没有对表1 1 中的属性4 ( 处理人脸遮 挡) 、1 1 ( 能够区分各种可能表情) 和1 5 ( 量化面部运动) 给出踢确的解决方法； 只有少数文献拥有表1 - 1 中的属性l ( 自动图像获取) 、3 ( 光照变化) 、9 ( 不精 确的数据处理) 、1 4 ( 分别面部运动) 、1 7 ( 学习能力) 、1 8 ( 量化结果) 、1 9 ( 多 种解释) 、2 0 ( 实时处理) ；多数文献对表1 1 中的属性5 ( 不需人工标记) 、1 0 ( 自动分类) 、1 2 ( 单边人脸) 、1 3 ( 解剖学规则) ，1 6 ( 多种表示) 提出解决方 法。 表1 - 2 自动表情识别系统属性 文献 k 属 g w a p h k g d m a s e ， 性c o t t r e l r a h a r d j av a n g e r ，k o b a y a s h im a t s u n ok e a r n e y 1 9 9 l 1 ，1 9 9 1，1 9 9 1 1 9 9 2 ，1 9 9 2，1 9 9 3 ，1 9 9 3 1 无无无无无无无 2 有未知未知有有无有 中国科学技术大学博士学位论文 3 无无无无无有无 4 无 无未知 无 无 无无 5 有有未知有有有有 6未知 无 未知未知未知未知未知 7 无无无无无无无 8未知有未知无无无无 9 未知无未知未知未知未知未知 1 0有有有有有有有 l l无 无 无无无无无 1 2有 有 未知有 有有有 1 3 未知有未知有有有有 1 4 无无无无无无 3 6 1 5 无无无无无无无 1 6846 7 64n 1 7 无无无无无无有 1 8 无无无无有无无 1 9 无无无无有无有 2 0 无无无无无无无 表1 - 2 自动表情识别方法属性( 续1 ) 文献 y 属h m y c j m j y a c o o b 性 u s m d a ，r o s e n b l u m ，m o s e s ，p a d g e t t ， z h a o ，b l a c k ， 1 9 9 4 1 9 9 31 9 9 4 1 9 9 5 1 9 9 6 1 9 9 6 1 9 9 7 1 无 未知 无有无无有 2 有未知未知未知有有未知 3 无未知未知有无无有 4 无无无 无无无无 5 有有 有 有有有有 6 未知有有有未知未知有 7 无无 无 有无无无 8 无有有有无无有 9 未知有有有未知未知无 4 第l 章绪论 1 0 有有有有有有 有 l l 无无无无 无无无 1 2无 有 有 有有有有 1 3 有 有 有有有未知有 1 4 无无无 5 无无未知 1 5 无无无无 无 无 无 1 637 2 5766 1 7 无无无无无无 无 1 8 无有无无无无 有 1 9 无无无 无无无无 2 0 无无无无无无无 表i - 2 自动表情识别方法属性( 续2 ) 文献 属i m c l s h h t 性 e s s a y o n e y a m a ，h u a n g ， k i m u r a ， k o b a y a s h i ，h o n g ， o t s u k a ， 1 9 9 7 1 9 9 71 9 9 7 1 9 9 7 1 9 9 71 9 9 81 9 9 8 l 有有有有 有 有 有 2 有 11 无 1 未知未知 3 有未知无有未知无未知 4 无无无无 无 无 无 5 有有有有 有有有 6未知无无 无无有有 7 有有有有有有未知 8 有有有有 有有有 9 有未知未知 有未知有无 1 0 有有有有有有有 1 l 无 无 无 无无无无 1 2 有有有有 有有无 1 3 有有有 有未知有有 1 42 无无 无无无无 1 5 无无无无无无无 1 6446 36 7 6 1 7 无无 无无无无无 5 中国科学技术大学博士学位论文 i 1 8 无无无有无无无 i 1 9 无无无无无无 无 l2 0 有未知无未知 有 有 无 表1 2 自动表情识别方法属性( 续3 ) 文献 属 j f g j z m j m 性c o h n 。e d w a r d s ， m w a n g 1 9 9 8 z h a n g ，l y o n s ， p a n t i c ， 1 9 9 8 1 9 9 81 9 9 81 9 9 92 0 0 0 1 有有有无无有 23 未知 l 有有 3 3无有无无无无 4无无无无无无 5 有有有有有有 6 无有无未知未知有 7 无无无无无有 8 有有有无无有 9 无未知未知未知未知有 1 0 有 有有 有 有有 1 1 无无无无无无 1 2 有有有有有有 1 3 有有有有有有 1 41 5无无 无无 3 l 1 5 无无无无无无 1 6 未知 73776 1 7 无无无 无 无 无 1 8 无无有有无有 1 9 无无无有无有 2 0 未知无无 无 无 无 注：带的系统研究对象为序列图像，不带的是以静态人脸图像研究对象。 除了表l - 1 中所列的属性，表情的正确识别率更是表情识别系统一项重要的 指标。表1 3 给出了不同表情识别方法的测试及识别率情况。 表1 3 表情识别正确率统计 6 第1 章绪论 正确 文献方法表情类别测试集 窒 s k i m u r a 3 d 情感空间( p c a ) 3 未知未知 1 9 9 7 t o t s u k a 啪 b a u m - w e l c h 训练方法 6 未知未知 1 9 9 8 3 0 图像序列( 8 i e s s a1 9 9 7时空运动能量模板49 8 人) m j b l a c k 某种规则下的运动阈值 6 7 0 图像序列 8 8 1 9 9 7( 4 0 人) g j e d w a r d s基于m a h a l o n o b i s 距离 d j 7 2 0 0 图像( 2 5 7 4 1 9 9 8h a n d 。1 9 8 1 的p c a 和l d a人) 个人图库和弹性图匹配【l 1 7 5 图像( 2 5 h h o n g1 9 9 8 78 1 w is k o t t1 9 9 5 人) c l h u a n g2 d 情感空闻( p c a ) 和最小距 6 9 0 图像( 1 5 人) 8 4 5 1 9 9 7离分类器 m j l y o n s 标记图向量的p c a 和l d a 7 1 9 3 图像( 9 日 7 5 - 9 1 9 9 9本女性) 2 m y o n e y a m a2 个1 4 1 4 的h o p f i e l d 神经 4 未知未知 1 9 9 7网络 i ，k a n t e r1 9 8 7 h k o b a y a s h i2 3 4 5 0 x 6 后向传播神经网 69 0 图像( 1 5 人)8 5 1 9 9 7络 c p a d g e t t1 5 1 0 7 后向传播神经网 8 4e k m a n s 78 6 1 9 9 6络 p h o t o z z h a n g 基于r p r o p 传播 m 2 1 3 图像( 9 日 r i e d m i l l e r1 9 9 3 的6 4 6 77 9 0 1 9 9 8 本女性 7 神经网络 1 0 1 0 x3 后向传播神经网9 4e k m a n s j z h a o1 9 9 6 61 0 0 络 p h o t o m p a n t i c2 6 5 正、侧面图 专家系统 69 1 2 0 0 0像( 8 人) 2 9 图像序列( 8 m w a n g1 9 9 8特征轨线的b 样条拟合 39 5 人) 需要说明的是，大多数表情识别系统中，验证表情识别方法的测试集与训练 7 中国科学技术大学博士学位论文 集都是一样的，对于训练集之外的其他数据的测试情况还有待于考察。因此，真 正理想的自动人脸表情识别系统的实现还需要更进一步的深入研究。 1 3 1 表情识别系统框架 图1 ，1 给出的人脸表情识别系统框架表示了人脸表情识别的工作流程。可以 简单分为三个组成部