（信号与信息处理专业论文）人脸表情识别中几个关键问题的研究.pdf

摘要 摘要 自动人脸表情识别( a f e r ) 是近年来发展起来的研究热点，其目的是让计算机等机器辨认出人 类特有的情感表现之一表情。由于人表情的复杂、微妙等特性使得表情识别变得异常的具有挑 战与艰巨性，就整个识别系统来说，主要表现在以下几个方面：( 1 ) 人脸数据获取的速度与准确率 问题；( 2 ) 作为识别必要前提条件的面部关键特征精确定位问题；( 3 ) 表情特征的提取与识别问题。 本文重点探讨了人脸表情识别中的上述关键问题。主要工作总结如下： 1 从情感出发，在简要介绍情绪理论的基础上，全面综述了表情识别的研究历史与现状。讨论了 情感计算在国际与国内的研究状况，介绍了情感的基础情绪的基本理论，重点而全面地综述了 情绪的表达方式之一面部表情的识别技术。将人脸表情识别工作划分为两个部分，概括 地描述了表情识别的一般模型。根据表情识别的目的、手段将其分为三个阶段，对每个阶段的 研究特点以及代表性方法进行了较为详尽的介绍。从面部特征自动定位、人脸表示模型、分类 和识别算法三个角度对人脸表情识别领域的主要技术方法进行了分类整理，阐述了人脸表情识 别的研究现状。简要介绍了几种主要的人脸表情库，总结了现有的主要人脸表情识别系统的情 况。最后，本文讨论了人脸表情识别领域目前仍然面临的主要技术难题和开放问题。 2 研究了基于肤色与模板的人脸检测问题，提出了一种基于肤色与梯度模板的人脸检测算法。入 脸检测是人脸研究中的必要研究课题，已经出现了多种经典算法。但是基于肤色的人脸检测研 究时间并不长。本文在前人对肤色空间的研究成果基础上，采用了一种新的人脸匹配模板_ 梯度模板，试图使其包含有尽量多的人脸信息。整个算法达到了肤色空间过滤大部分非肤色区 域，人脸梯度模板准确检测的效果。 3 研究了特征精确配准问题，对活动模板模型在搜索空间与搜索过程上做了一些改进。面部特征 精确配准是鲁棒实用的人脸表情识别系统的基本前提。主动形状模型( a s m ) 是目前解决该问题 的主流方法。本文详尽地分析主动形状模型( a s m ) 的工作原理，仔细地讨论了它的优缺点，并 在此基础上，提出了三点改进：( 1 ) 针对经典a s m 算法中模型空间构造的不足，在原模型空间 的基础上加入了形状变化子空间，提出了最优搜索空间的概念，提高了原模型空间的模型表达 能力( 2 ) 针对经典a s m 算法及其以后的改进算法中没有任何对搜索结果进行评价的现实，提出 了一种合理、简便、易行的评价方法，使搜索过程变得不再盲目，搜索结果更符合实际情况。 ( 3 ) 在第二步评价的基础上，针对a s m 算法搜索过程中模型搜索和图像纹理搜索相互独立的缺 点，提出了一种最优搜索算法，其中使用了反馈策略，使得两种空间的搜索结果互相约束，互 相利用，搜索过程变得更加合理，智能。这些改进在一定程度上弥补了a s m 算法中模型空间与搜 索过程的不足，更能够比较精确地定位预定义的面部关键特征。为后续的人脸表情识别打下了 良好的配准基础。 4 研究了独立分量特征( 工c ) 人脸表情表示方法，提出了一种a d a i c a 人脸表情识别新方法。利用独 立分量作为特征进行判别分析，不仅是特征之间相互独立，而且还能充分利用变量的高阶统计 量信息，具有很强的优势。但是它具有两个方面的缺陷：第一，独立基的获取结果很随机，并 不唯一。第二，独立基的判别分析性能不稳定，有的独立基可能具有很强的识别能力，有的则 相对较弱。总的来说是获取与选择独立基成为两大难点。针对这个问题，本文考虑了统计性原 理，多次运行i c a 算法，在此基础上，将b o o s t i n g 策略创新性地应用于i c a 特征的优化与选择， 最终得到数目较少、判别分析能力较强的a d a i c 特征，并最终通过对a d a i c 特征的判别分析实现 人脸表情识别即所谓的a d a i c a 人脸表情识别新方法。在j a f f e 与自选两个人脸表情图像库上 的对比实验表明a d a i c a 方法可以有效提取判别特征，识别精度也比传统方法有了较大提高。 5 研究了基于离散小波与离散余弦的人脸表情全局特征提取与分析方法。简单地研究了全局表情 特征的提取问题，采用离散小波对图像进行压缩，利用离散余弦变换对压缩图像进行去相关、 聚能运算，并将最终的对角拉直主要能量数据作为待识别特征。算法简单，实现容易。 东南大学博士学位论文 6 研究了基于局部特征的表情分析方法，提出了一种新的局部二元模式表情识别算法。由于表情 是由一些局部肌肉变形组合而来，准确的局部特征在表情识别中应该具有很强的优势。但是以 下几点需要注意：第一，采用的算法能够真正地提取局部特征，真正地反映局部的拓扑结构或 者是空间信息，而不是将全局特征提取算法用在图像的局部上。第二，提取的特征对局部的变 化很敏感，微小的局部变化都应该被反应出来，以保证准确地提取很细微的表情特征。第三， 具有一定的组合能力，因为表情是局部形变的组合。基于以上几点考虑，本文引入了在图形学 中具有很强描述纹理能力的局部二元模式( l o c a lb i n a r yp a t t e m s ，u ；p ) 算法，改进了其中的三点 对表情识别不利的因素：( 1 ) 将原图像经过小波包分解并在其它频率图像为零的情况下重构， 得到了四幅与原图像大小相等的不同频率图像，在一定程度上增加了原图像的数据，改进了原 算法数据量不足的问题。( 2 ) 将图像由粗到精的方式分为好多lbp 直方图块，采用级联的策 略串联每个块中的lbp 直方图，这种提取方式的改进使得最终的特征同时包含有局部和全局 的纹理信息，使得在识别的时候性能更鲁棒。( 3 ) 通过分析lbp 图像的特征，提出了一种合 理的定权策略，各种特征的组合一方面符合图像内容本身的信息特征，另一方面达到了一定的 自适应要求。利用改进后的算法来进行表情判别分析，实验结果表明：本文的改进确实提高了 原算法鲁棒性，增加了面部表情的识别率。 关键词：情感计算，自动人脸表情识别( 舢疆r ) ，人脸检测，梯度模板，面部特征配准，主动 形状模型( a s m ) ，主成分分析( p c a ) ，e i g e n f a c e ，离散小波变换( d w t ) ，离散余弦变换( d c t ) ， z 工g z a g 拉直，a d 出o o s t ，a d a i c a 方法，局部二元模式( l b p ) ，独立分量分析( 工c a ) i i a b s t a r c t a b s t a r c t a u t o m a t i cf a c i a le x p r e s s i o nr e c o g n i t i o n ( a f e r ) ，w h i c hi s d e v e l o p e dt or e c o g n i z eo n eo fo u rh u m a n s p e c i a le m o t i o n a lr e p r e s e n t a t i o n f a c i a le x p r e s s i o n ，h a sb e e na t t r a c t e dm o r ea n dm o r ea t t e n t i o n i ti sf u l lo f c h a l l e n g i n ga n dd i m c u l tb e c a u s eo ft h ec o m p l i c a t e da n ds u b t l ep r o p e r t i e so ff a c i a le x p r e s s i o n f o raw h 0 1 e a f e rs y st e m ，m ed i f f i c u l t ya n dc h a l l e n g e sa r es h o w i n g ：( 1 ) h o wf a s ta n da c c u r a t et og e taf a c ei m a g e ( 2 ) h o wt oa l i g n m e n tt h ef a c i a lf e a t u r e sw i t hh i g ha c c u 姐c y ( 3 ) h o wt oe x t r a c ta n dr e c o g n i z ef a c i a 】e x p r e s s i o n f e a t u r e s i nt h i st h e s i s ，a ut h e s ep r o b l e m si na f e ra r er e s e a r c h e da n dt h ed e t a i l sa r e ： 1 a f t e rb r i e f l yi n t r o d u c i n gt h eb a s i ce m o t i o nt h e o r y ，t h i st h e s i sp r o v i d e sat h o r o u g hs u r v e yo ft h ea f e r h i s t o r ya n dt h es t a t e o f - m e - a r t f 打s t l y ，t h es t a t eo fa f f e c t i o nc o m p u t i n gr e s e a r c hi nt h ew o r l di s d i s c u s s e d t h e nm eb a s i ce m o t i o nt h e o r yi si n t r o d u c e d a f t e rt h a t ，t h i st h e s i sp u tm o r ee m p h a s i so na m o r er e c e n to v e r v i e wo ft h ea f e rr e s e a r c ha n dd e v e l o p m e n t s t a r t e df r o mt h ed i s c u s s i o no ft h e g e n e r a lc o m p u t a t i o n a lm o d e lo fa f e rm e m o d s ，t h ea f e rr e s e a r c h e sa r ep a r t i t i o n e dt ot h r e eh i s t o r i c a l s t a g e sa c c o r d j n gt oi t sr e s e a r c hm e t h o da n dt a 昭e t f o re a c hs t a g e ，i t st e c h n i c a lc h a r a c t e r i s t i c sa r e s u m m a r i z e da n dt y p i c a lm e t h o d sa r ed e t a i l e dd e s c r i b e d t h e na f e rm e t h o d sa r ef u r 七h e rc a t e 2 0 r i z e d a c c o r d i n gt of a c i a lf e a t u r ee x t r a c t i o n ，f a c er e p r e s e n t a t i o n ，a n dc l a s s m c a t i o ns e p a r a t e l y f o l l o w i n g ，t h e m a i np u b l i cf a c i a le x p r e s s i 伽d a t a b a s e sa n dm a i naf e rs y s t e i l l sa r ea l s os u r v e v e da sw e l lw i t ht h e i r t e c h n i c a ls o u r c e s f i n a u y ，t h ec h a u e n g e sa n dt e c h n i c a lt i i e n d si na f e rf i e l d sa r ed i s c u s s e d 2 f a c ed e t e c t i o nu s i n gs k i n c o l o rd e t e c t i o na n dg r a d i e n tt e i n p l a t em a t c h i n ga r es t u d i e d f a c ed e t e c t i o ni s v e r ) ，1 m p o r t a n t1 n 士a c e1 m a g er e s e a r c ha n dm e r ea r em a n yc l a s s i ci n e t h o d sf o rd e t e c t i o nw i t hg r a v i m a g e s ，b u to nt h eo t h e rh a n d ，d e t e c t i o nu s i n gs 虹n c o l o ri sc o m p a r a b l yn o v e l b a s eo nt h er e s e a r c h r e s u l to ff a c es k i n c o l o rs p a c eb yo t h e rr e s e a r c h e r s ，an e w g r a d i e n tt e m p l a t ei sa d o p t e d ，i nw h i c hm o r e f a c es h a p ei n f o m a t i o ni sc o n t a i n e d t h ee x p e r i n l e n t sr e s u l t ss h o wt h a tt h ec o m b i n a t i o no ft w o m e t h o d sh a st h ee f ! f 色c to fw i p i n go f ! fm u c hn o n s h n c 0 1 0 ra u f e aw i t hs 虹n c o l o rm o d e la n dd e t e c t i o n f a c ew i t hh i g ha c c u r a c ya n ds p e e du s i n go u rg r a d i e n tt e m p l a t e 3 s e a r c hs u b s p a c ea n ds e a r c hp r o c e s si nc l a s s i ca s mu s e df o ra c c u r a t ef a c i a lf e a t u r ea l i g n n l e n ta r e i h 巾r o v e d a c c u r a t ef a c i a lf e a t m ea l i g n l e n ti st h ep r e r e q u i s i t eo fa na f 吧rs y s t e m a c t i v es h a p e m o d e l ( a s m ) i st h em a i nm e t h o df o rt h i sp r o b l e m a f t e ra n a l y s i si t sw o r kp 矗n c i p a la n di t sm e r i t sa n d d e r n e r i t sa u s i d e d ，t h r e eh n d so f i m p r o v e i n e n ta r ep r o p o s e d ：( 1 ) a d dt h es h 印ev a r y i n gs u b s p a c et ot h e o n 9 1 n a ls h a p es u b s p a c et oi i n p r o v ei t ss h a p er e c o n s t r u c t i o na b i h t y t h e1 1 1 i x t u i s h a p es u b s p a c ei s c a u e dt h eo p t i m a ls e a r c h i n gs h a p es u b s p a c ei nm i sp a p e r ( 2 ) s i n c ei ti si n d e p e n d e n tb e t w e e ns h a p e r e c o n s n - u c t i o na n dp o i n ts e a r c h i n gi nc l a s s i ca s m ，ar e a s o n a b l e ，s i m p l ea n dc o n v e n i e n c ee v a l u a t i o n f u n c n o ni sp r o p o s e dt oe v a l u a t es h a p es e a r c h i n gr e s u l te v e r ys t e pa n df i n a l l yt h ew h o l es e a r c h i n g p r o c e s si sn o tb l i n d e da n ym o r ea n dam o r er e a s o n a b l es e a r c h i n gr e s u l tw o u l db ea c q u i r e d ( 3 )b a s e d o nt h es e c o n de v a l u a t i o nf u n c t i o ni m p r o v e m e n t ，a no p t i m a ls e a r c hm e t h o di sp r o p o s e dt om a k et h e s e a r c h i n gr e s u l t si nb o t hs h a p es p a c ea n di m a g et e x t u r es p a c ea r er e s t r i c t e da n du s e de a c ho t h e rw i t h f e e d b a c kr n e c h a n i s m ，s ot h a tt h e s e a r c h i n gp r o c e s si sm o r er e a s o n a b l ea n di n t e l l i g e n c e a ut h e s e l i n p r o v e m e n t se n h a n c et h es h a p es u b s p a c ea n ds e a r c h i n gp r o c e s so ft h ec l a s s i ca s mi ns o m ed e g r e e a n dg i v eam o r ea c c u r a t ef a c i a lf e a t u r ea l i g n m e n tr e s u l t 4 f a c er e p r e s e n t a t i o nu s i n gi n d e p e n d e n tc o m p o n e n t si ss t u d i e da n dan e wm e t h o do fa d a i c af a c i a l e x p r e s s i o nr e c o g n i t i o nm e t h o di sp r o p o s e d i c a ，b e c a u s ei t sc o n l p o n e n t sa r ei n d e p e n d e n ta n di tu s e h i g ho r d e rs t a t i s t i ci n f o m a t i o n ，h a sm 1 】c hs u p e r i o ri nm a h n gd i s c r i i l l i n a t i o na n a l v s i s b u ti ts t i l lh a s t w os h o r t c o i l l i n g s ：o n ei st h a tt h ea c q u i r e di n d e p e n d e n tc o m p o n e n t sa r er a n d o ma n dt h eo t h e ri st h e d i s c r i r n i n a t i o nf u n c t i o n a l i t yo fe s t i m a t e di n d e p e n d e n tc o i h p o n e n t si sn o ts t a b l e ，s o m ea r ev e r ys t r o n g i 东南大学博士学位论文 a n ds o m ea r ev e r yw e a k 1 1 0s o l v es u c hp r o b l e 1 s ，i nt h i sp a p e r ，an e wm e t h o dc a l l e da d a i c ai s p r o p o s e dt og e tt h o s ei n d e p e n d e n tf 色a t u - e sw h i c hh a v es 仃o n gd i s c r i i l l i n a t i o n l b i h t yt h r o u g hm n n i n g i c as e v e r a lt i 瑚e sa n db o o s t i n gt h es e l e c t e di n d e p e n d e n tc o m p o n e n t s as e r i e so ：fe x p e n 1 e n t sw e r e t e s t e do nj a f f ea n do u rs e l e c t e dd a t a b a s e t h er e s u l t si n d i c a t et h a tt h ef e a t u r e se x t r a c t e db ya d a i c a h a v em o r ed i s c r i i l l i n a t i n ga b i h t yt h a no t h e rf e a t u r e sa n dt h er e c o g n i t i o nr a t ei s 血p r o v e d 伊e a t l y g 1 0 b a lf a c i a le x p r e ss i o nf e a n l r ee x t r a c t i o na n da n a l y s i si n e t h o du s i n gd w ta n dd c ti ss t u d i e d i n o r d e rt ot e s tg l o b a lf e a t u r ep e o m a n c e ，w a v ep a c k e td e c o i n p o s i t i o ni su s e dt oc o m p r e s so r i 舀n a l i m a g e sa n dd i s c r e t ec o s i n e 廿a n s f o 衄i sc a m e do u tt or e m o v ec o r r e l a t i o na n da c c u i n u l a t et h ee n e r g y f r o mt h e1 0 wf r e q u e n c yd a t ag e n e r a t e db yd i s c r e t ew a v e l e tp a c k e td e c o m p o s i t i o n f i n a l l yt h ed a t a o f d i a g o n a l l y a r ee x t r a c t e dt ob ea sr e c o g n i t i o nf 色a t u r e s t h ep r o p o s e dm e t h o di sv e r ys i m p l ea n d c o n v e n i e n c et or e a l i z e i nt h ev i e wo f1 0 c a lf e a t u r ee x 廿a c t i o ni n e m o d ，an e wl o c a lb i n a r yp a t t e m sf a c i a le x p r e s s i o nr e c o g n i t i o n m e t h o di sp r o p o s e d s i n c ef a c i a le x p r e s s i o ni sf o n n e db ys e r i e so fm o v eo fi n u s c l e so nt h ef a c e ， a c c u r a t e1 0 c a lf e a t u r e se x 廿a c t i o ns h o u l db ev e 叫c o m p e t i t i v e b u to n et h eo t h e rh a n d ，f 0 1 1 0 w i n gp o i n t s s h o u l db ec o n s i d e r e d ：a tf i r s t ，t h ee x t r a c t e df e a t u r e sa r er e a l l y1 0 c a lf e a t u r e sw h i c hc a nr e f l e c t1 0 c a l s p a c ei n f o 衄a t i o n ，n o tju s tf r o mm e9 1 0 b a lm e t h o di nl o c a la r e a s e c o n d ，t h e ya r es h o u l db ev e r y s e n s i t i v et os m a l lc h a n g e s ，w h i c hc a n e n s u r ee x t r a c te n o u g hf a c i a le x p r e s s i o nd e t a i l e di n f o i m a t i o n t h i r d ，t h e vc a nb ec o m b i n e dc a s u a l l yi ns o m ed e g r e eb e c a u s ef a c i a le x p r e s s i o ni st h er e s u l to fl o c a l t r a n s f o m lc o m b i n a t i o n 。b a s e do ns u c hc o n s i d e r a t i o n ，as t r o n gt e x t u r ed e s c n p n o no p e r a t o ru s e dm c o m p u t e rv i s i o n c a l l e d1 0 c a lb i n a r yp a t t e m si si n t r o d u c e d 1 1 1t h i sp a p e r ，t h ec l a s s i cl b pm e 出o di s e n h a n c e df r o mt h r e ea s p e c t sf o rf a c i a le x p r e s s i o nr e c o g n i t i o n ：i m a g ed a t a ，c o n s 缸u c n n gt e a t u r ew a y a n dt h ew a yo fc o 瑚b i n i n ga he x 仃a c t e df e a t u r e s a tf i r s t ，t oi n c r e a s et h eo r i g i n a l i m a g e sd a t a ，w a v e l e t p a c k e ti su s e dt od e c o m p o s ei m a g e si n t of o u rk n d s o f 行e q u e n c yi m a g e sa n dm ev e r ) ，f o u ri m a g e sa r e r e c o n s t m c t e ds e p e r a t e l yw i t ho t h e rf r e q u e n c yi m a g e sb ez e r o t h e n ：l b pd a t ao nt h e s ef o u rh n d so f i m a g e sa r ee x t r a c t e di n1 0 c a la n dh o h s t i cw a y ，w h i c hw i l lm a k et 1 1 ef e a t u r e sc o n t a i nt h e9 1 0 b a la n d 1 0 c a li n f o m a t i o n a tl a s t ，w ec o m b i n ea 1 1d a t aw i 出a d a p t i v ew e i g h tm e c h a n i s ma c c o r d m gt ot h e i m a g e sc o n t e n t e v e r yk i n do fe x p e r i i n e n t si sa l s op r o v e dt h a tt h ep r o p o s e di i n p r o v e m e n t sl nt h l sp a p e r h a v ep r o m o t e dt h ep e 矗d m a n c eo ff a c i a le x p r e s s i o nr e c o g n i t i o ng r e a t l y k e yw o r d s ： a f f e c t i v ec o 1 p u t a t i o n ，a u t o m a t i cf a c i a le x p r e s s i o nr e c o g n i t i o n ，f a c ed e t e c t i o n ， g r a d i e n tt e 1 p l a t e ，f a c i a lf e a t u r e sa l i g n m e n t ，a c t i y es h a p em o d e l ，p r i n c i p l ec o m p o n e n ta n a l y s i s ， e i g e n f a c e ，d i s c r e t ew a v e l e tt r a n s f o 皿，d i s c r e t ec o s i n et r a n s f o 珊，z i g z a g ，a d 扭o o s t ，a d a i c am e t h o d ， l o c a lb i n a r yp a t t e m s ，i n d e p e n d e n tc o 1 p o n e n ta n a l y s i s i v 一 第一章绪论弟一早硒w 1 1 研究背景与项目情况 第一章绪论 本文得到教育部面向2 1 世纪教育振兴行动计划资助，主要为科学素质教育中测量儿童情绪 的发展服务。在以前的所有使用手段中，测量儿童的情绪状况一律采用问卷、心理学实验等主观方 式。排除问卷问题的标准性，实验设置的合理性不谈，它们遇到的最大困难是收集到相应的数据后 还需要经过专家逐个详细分析，这对于成千上万的儿童在每天情绪复杂多变的情况下来说是“不可 能的任务”，效率不高。另一方面，获取数据与分析数据存在着时间滞后问题。既然是“不可能的任 务”，那么必然会有一定的数据不能及时处理，从而导致不能及时避免本来可以阻止的事故。所以中 国科学院院士韦钰牵头了一个教育部重点项目，目标是开发一个自动分析儿童面部表情识别系统， 通过自动测量儿童在特定情况下面部表情的变化来分析他们情绪的波动，进而判别他们的性格、气 质等与情商密切相关的指数。 1 2 自动人脸表情识别问题的描述 让计算机具有人类的思维是人工智能研究者一直追寻的目标与梦想。当然，达到好莱坞大片人 工智能中那样机器与人无缝交流的场景现在来说还很遥远。但是，让计算机知道人的喜怒哀乐现 在是可行的，其中之一的工作就是“自动人脸表情识别”( a u t o m a t i cf a c ee x p r e s s i o nr e c o g n i t i o n 以下简称a f e r ) 研究。另一部分工作是语音情感识别，但是由于语音中包含情感的信息要明显少于 面部表情，所以现在全球几乎所有研究计算机情感的人员都涉及、参与a f e r 的研究。如果把照相机、 摄像机、照片扫描仪等看作计算机的“眼睛”，数字图像与视频可以看作计算机观察到的“影像”， 简单地说，a f e r 研究试图赋予计算机根据其所“看到”的面部照片来判断人类精神状态的能力。广 义地讲，这种识别能力包括以下不同功能的任务： 1 人脸检测与跟踪 人脸检测任务要求计算机判断所观察到的“影像”中是否存在人脸。如果存在，需要同时给出 其在图像中的坐标、人脸区域大小等信息。而人脸跟踪则需要进一步给出上述检测到的人脸有关信 息随时间连续变化的情况。 2 面部特征检测与提取 这一任务既要求确定面部图像中眼睛、鼻子、嘴巴等主要器官的位置，还要求对这些器官及其 面部轮廓的形状信息做出描述。 3 人脸属性分类 根据面部特征检测与提取的结果，结合面部图像中的亮度分布信息，对检测到的人脸的性别、 种族、年龄等属性做出判断。 4 基于同一个对象的人脸表情识别 即通常意义上的与人有关人脸表情识别问题。通过将输入表情图像与表情数据库中相同对象所 有已知表情原型图像相匹配并对其排序来给出输入表情的种类信息。其最大特点是所有的表情图像 都采集于同一个人。这通常用来研究人的情感发展过程。 5 基于不同对象的人脸表情识别 即通常意义上的与人无关人脸表情识别问题。通过将输入表情图像与表情数据库中不同对象所 有已知表情原型图像相匹配并对其排序来给出输入表情的种类信息。其最大特点是待识别的图像与 表情库中图像采集于不同的人。这通常用来研究表情的共性及本质。 东南大学博士学位论文 1 3 人脸表情识别的研究意义与典型应用 单独的人脸表情识别始于1 9 世纪达尔文的著名著作人类和动物的表情( t h ee x p r e ss i o n o ft h ee m o t io nsi na n i m a l sa n dm a n ，1872 ) ，它是一个纯人工研究的成果。第一个利 用计算机进行表情识别的系统是suwa 和sugie 等人建立的 m s u 7 8 。到现在为止，自动表 情识别已经经过了近4 0 年的发展。尤其是近几年来，随着计算机硬件性能的提高和人类对人机交互 的热切期望，它更成为一个热门的研究课题，国内外各知名大学、研究所、工t 公司等都得到了大量 有关项目的支持。人脸面部表情问题之所以得到重视，是因为其有重要的研究意义，突出表现在其 对学科发展的贡献和巨大的潜在应用前景两个方面： ( 1 ) 人脸识别研究可以极大地促进多门相关学科的发展 a f e r 作为一个典型的图像模式分析、理解与分类计算问题，它为模式识别，图像处理、分析与 理解，计算机视觉，人工智能，人机交互，计算机图形学，认知科学j 神经计算，生理学，心理学 等多学科提供了一系列良好的具体问题，有利于构建这些学科领域的基础实验平台用于尝试新方法， 验证新理论，解释新现象。人脸表情识别问题的深入研究和最终解决，可以极大地促进这些学科的 成熟和发展。例如，作为一个模式识别问题，它被认为是最具有挑战性的问题之一：不同类别模式 的差别非常微妙，这一点由于数据采集过程的噪声、成像设备的精度、外界条件的变化以及数据缺 损等原因而显得更加突出。再如，作为一个计算机视觉问题，如何融入心理学，生理学等信息来准 确地判断并反过来解释一些心理、生理现象是人工智能领域的关键问题。从纯客观的角度来解释、 分析人类的心理变化，进而构建复杂的心理模型是智能机器人的核心。 人脸表情识别也是智能人机接口领域的核心研究内容之一。人脸表情识别本质上是要赋予计算 机知道人外在表现的能力，也就是“察言观色”的能力，这恰是智能人机接口研究需要解决的问题 之一，也是机器智能的重要表现。人脸表情识别问题的最终解决可以极大地改善目前呆板、一成不 变的人机交互环境，让计算机随时做出人类的“知心事”，说出人类的“知心话”，从而在一定程 度上改变人们的生活方式。 ( 2 ) 作为高端的生物特征识别技术的人脸表情识别具有巨大的潜在应用前景 生物特征识别在十几年前就提出来了，有些已经进行了商用阶段，例如：指纹识别、虹膜识别 等。美国已经通过相关法律，认为指纹可以作为现场的证据，这一定程度上说明了生物特征识别的 可靠性。生物特征识别是利用人类本身所拥有的、能够唯一标识其身份的生理特征或者行为特征进 行身份验证的技术。它包括生理特征和行为特征两种。生理特征通常是指人脸、指纹、虹膜、视网 膜、掌纹、手形、d n a 、耳廓形状等；行为特征主要是一种独一无二的习惯，如笔迹、声纹、步态、 敲键方式等。这些特征都在一定程度上是“人人拥有、人各不同、长期不变”的，都能反映个体特 点，并与个体的身份一一对应，从而可以用来验证个体身份的真伪。 但是以上所讲的生物特征识别仅仅是用来识别或者区分人这一高级生物，是基本的识别技术， 与最常见的车牌标识、汉字识别没有什么本质区别。但是，表情识别却完全不仅局限在识别阶段， 更重要的是通过识别出人这一生物体的表情，进而可以分析人的精神状态与心理活动，从而可以达 到与人有一定的交流活动。所以作者认为表情识别的产品更智能、更具人性化，是生物特征识别的 高端产品。最典型的应用是智能机器人的出现，可以幻想一下，如果家中有一个善解人意的机器人 保姆，它不仅能够很好地保证襁褓中婴儿的安全，还可以根据婴儿具体表情对婴儿的适时感受做出 简单的判断，从而做不同的游戏，同理，它还能够照顾独自在家的老人，让他们生活充满了欢乐。 在日本，索尼公司的智能机器狗的热卖就充分证明了“智能”给人类带来的作用以及人类对“智能” 的渴望。 除此之外，可以说现在除了动物以外的物体对人来说都是毫无感情，包括经常使用的计算机、 电视、房子、车子、日常用品等等，如果让它们都具有一定的情感那一定很美妙。耍自_ 计算机可以根 据需要播放不同风格的音乐，车子依据人不同的心情来进行自动的限速，房子可以自动地改变颜色 2 第一章绪论 等等。这些看起来很幼稚的想法在计算机可以“看懂”人类表情之后就会变得很简单，很自然。当 然，现在还没有成熟的产品问世，但就作者所知，现在全球操作系统的绝对霸主微软就在研究 下一代智能操作系统，其中就包括人脸表情的识别技术。而且，微软亚洲研究院正在通过对人脸面 部表情的分析研究，完成了一系列卡通人物模型，他们准备集成到下一代的o f f i c e 产品中，使人们 在紧张的工作之余享受到快乐。 另外，通过对表情的仔细分析，还可以真正地判断出人们在做出各种表情的时候是否发自内心， 也就是所谓真与假的问题。希望有一天，可以不需要戴上诸如测谎仪那些笨重的仪器，仅仅通过分 析其面部表情就能知道人们是否说谎，相信这对公安、国防部门大有裨益! 最重要的应用莫过于通过设置一系列特定场景，观测儿童或者成人在特定场景中的表情反映， 进而来分析儿童或者成人的个体性格、气质等一些素质要素。如果知道某个个体在哪些方面有缺陷， 可以事先进行弥补或者锻炼。作者相信这不仅是科学的素质教育方法，更是正确的素质教育方法。 对整个教育方式、教育理念等都影响深远! 综上所述，人脸表情识别作为一种典型的高端生物特征识别技术，以其自然性、客观性、高可 接受性等优点受到了人们的青睐，可应用于各行各业中。表1 1 汇总了人脸表情识别的一些典型应 用的情况。 表1 1 人脸表情识别典型应用 t a b l e1 1t y p i c a la p p h c a t i o n so ff a c ee x p r e s s i o nr e c o g n i t i o n 应用模式典型具体应用特点说明应用领域 识别分析课堂调查对学生的爱好、教师的教学能力很好的调查教育 心理学场景实验客观观察心理学 智能机器人分析人类的适时表情人工智能 智能操作系统分析人类的适时表情人机交互 智能环境 提供人类最准确的需要人工智能 不同文化背景人同可以对比研究文化差异的影向跨文化研究 一场景反映的研究 虚拟重构表情动画生成各种搞笑表情动画娱乐 表情模拟模拟各种表情人脸识别 1 4 人脸表情识别的难点、优势与不足 1 4 1 人脸表情识别的难点 作为人工智能的核心技术之一的人脸表情识别在很多方面都有应用前景，随着硬件条件的飞速 提高和