（计算机科学与技术专业论文）人脸表情的识别、重建与合成.pdf

摘要 摘要 近3 0 多年来，通过计算机对人脸表情进行自动处理成为当前计算机视觉、计算机图形 学、模式识别等领域的一个热点研究课题，在视频会议、影视制作、智能人机接口等方面有 着广泛的应用前景。本文的工作主要集中在两个方面，方面是对人脸表情进行识别，另 方面是对人脸进行重建，合成人脸表情。 提出论文的研究背景和研究内容，回顾人脸表情识别( 基于静态图像、视频及语啻视频) 、 人脸重建以及表情合成的相关技术，分别对这些方法进行分类和比较，指出其优点和不足之 处，并给出研究的难点。 针对人脸表情识别，根据输入数据的不同，分三章进行阐述。 第三章提出基于g p u 的主动形状模型( a s m ) 用于对静态图像中的人脸表情特征进行 跟踩和提取，通过基于g p u 的边界滤波和调和映射使对象梯度轮廓梯度得到增强，减少 模型匹配收敛的迭代次数和搜索时问，在速度和准确度上都比传统的a s m 有很大提高。进 而采用s v m 进行表情分娄。 对于动态视频序列，第四章提出基于k a l m a n 预测的a a m 视频跟踪算法，利用当前帧 跟踪结果通过k a l m a n 滤波预测下一帧中关键点的位置，并采用跟踪结果对形状模型进行更 新，从而减少搜索空间，使在视频中进行人脸特征搜索的速度得以提高。提出一个基于：，元 隐马尔科夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 的视频人脸表情识别模型，将跟踪的特征 进行分割构造两个独立的特征向量流，使表情动作和嘴巴的动作得以分离，既保持二者的时 间关联性，又保持在人脸运动中的独立性，使识别的准确率得到提高。 在第四章工作的基础上，第五章对二元h m m 进行推广，提出一个三元h m m 及其相关 的v i t e r b i 最优路径搜索算法和模型训练算法，引入情绪语音，实现语音辅助的人脸表情识 别，并通过设置权重平衡视觉特征和语音特征的影响，使平均识别率取得了提商，识别更为 鲁棒。 对于人脸重建和表情合成，工作集中在快速人脸纹理映射和高分辨率人脸网格模型表情 生成这两个问题上。 第六章提出一个基于r b f 速度场的实时交互纹理映射算法，避免对特征点的全局操作 导致的复杂交互和较大系统开销，使纹理映射变得简单快捷，系统开销大大降低，实现基于 单幅照片的人脸快速纹理映射，最后通过f a p 参数驱动获得不同表情的人脸。 第七章在进行人脸髓格的对齐方面，提出基于s v d 的三维人脸阿格对齐算法，使不同 尺度、方向积位置的人脸网格模型取得对齐；在实现不同人脸网格之闻的对应上，提出基于 g p u 的网格图像反馈对应算法，解决咀往算法需要迭代逼近取得对应的计算复杂度高、时 间开销大的问题；在表情的映射上，提出基于h e l m h o l t z - h o d g e 分解的网格变形映射算法， 解决以往方法导致的速度和“瑕疵”问题。另外，基于新的人脸表情映射方法，提出一个基 于通用控制网揍的人脸表情合成方法，实现无表情样本目标人脸上的表情合成。 关键词表情识别基于g p u 的主动形状模型k a l m a n 滤波主动外观模型二元h m m 语音 参数特征三元h m m 纹理映射r b f 速度场人脸模型对齐人脸网格模型对应基于 f f e l m h o l t z - h o d g e 分解的人脸表情映射人脸表情合成 塑坚盔兰塑主堂堡堡壅 a b s t r a c t f o rm o r et h a n3 0y e a r s ，f a c i a le x p r e s s i o nr e l a t e dp r o c e s s i n gb yc o m p u t e rh a sb e e na na t t r a c t x v e i s s u emt h ea r e a sa u c ha sc o m p u t e rv i s i o n ，c o m p u t e rg r a p h i c s ，d 越t e mr e c o 霉 u r i o n ，e t ci cc a r b e w i d e l ya p p l i e di n t ov i d e oc o n f e r e n c e m o v i ep r o d u c t i o n ；i n t e l l i g e n th u m a nc o m p u t e ri n t e r r a c e ，e t c t h ew o r ki nt h i sd i s s e r t a t i o na i m sa tt w ol s s u e s ，o l l e1 sf a c h a le x p r e s s i o nr e c o g n i t i o n ，t h eo t h e rl s f a c er e c o n s t r u c t i o na n de x p r e s s i o ns y n t h e s i s i nt h i sd i s s e r t a t i o n t h eb a c k g r o u n dm a dt h ec o n t e n t0 fo u rw o r ka r ed e s c r i b e dmc h a p t e r1 1 n c h a p t e r2 at e c h n i c a lo v e r v i e wi sp r e s e n t e do nf a c i a le x p r e s s i o nr e c o g m t i o n ( s t a t i cl h l a g eb a s e d , d y n a m i cv i d e os e q u e r c eb a s e da n da u d i o - v i s u a lb a s e d ) ，f a c er e c o n s t r u c t i o na n de x p r e s s l o 1 s y n t h e s i sa n 锄a l y s i sa n dc o m p a i j s o no ft h ec o n v e n i e n tm e t h o d so nt h i si s s u ea r ee a r n e do u t c o n s e q u e n t l yt h ea d v a n t a g e sa n dd i s a d v a n t a g e so ft h ec o n v e n t i o n a lm e t h o d sa r ed i s c u s s e da n d t h e 曲a l l e n g e si nt h e s ei s s u e s 黜d e s c r i b e d 。 t h ef a c i a le x p r e s s i o nr e c o g m t i o ni s s u ei sd i s c u s s e di nt h r e ec h a p t e r sa c c o r d i n gt od i f f e r e n t t y p e so f d a t ai n p u t i nc h a p t e r3 ，ag 叫b a s e da c t i v es h a p em o d e l ( g a s m ) 1 sp r e s e n t e dt ot r a c ka n de x t r a c t f a c i a le x p r e s s i o nf e a t u r e si ns t a t i ci m a g e st h eo b j e c t sp r o f i l eg r a d i e n ti ss t r e n g t h e n e db yag 踟 b a ：s e de d g ef i l t e ra n dat o n em a p p i n go p e r a t o r , w h i d li e a dt ot h er e d u c t i o no fi t e r a t i v et i m e sa n d t i m ec o s te x p e r a n e n t ss h o wt h a tg a s mi sm o r ep r e c i s ea n df a s t e rt h a l lt h ec o n v e n t i o n a la s m f i n a l l y , a ns v m b a s e da p p r o a c hi si n t r o d u c e d t op e r f o r mt h ee x p r e s s i o nr e c o 毋a i t i o n t h ef a c i a le x p r e s s i o nr e c o g n i t i o ni nd y n n m i cv i d e os e q u e n c ei si n ( r o d u c e di nc h a p t e r4 f r c s t l y , ak a l m a np r e d i c t i o nb a s e da a mt r a c k i n gs l g o r i t h mi sp r e s e n t e d t h ec o o r d i n a t e so f t h e k e yp o i n ti nt 1 1 en e x tf l a m e & r ee s t m m t e df r o mt h ec u r r e n to n eb yk a l m a nf i l t e r i n gt h es h a p e m o d e li su p d a t e dc o n c u r r e n t l y t h e r e f o r e ，t h es e a r c h i n gs p a c ei sr e d u c e da n dt h ef a c i a lf e a t u r e m u c k i n gi nt h ev i d e os e q u e n c ei sf a s t e rs e c o n d l y , av i d e ob a s e df a c i a le x p r e s s i o nr e c o g n i t i o n m o d e lu s i l l 童c o u p l e dh m l v li sp r o p o s e dt h e 仃a c k e df e a t u r e sa 坤d i v i d e di n t ot w oc l a s s e st o r e p r e s e n tt h ee x p r e s s i o nv e c f c o ra n dv i s u a ls p e e c hv e c t o r , w h i c hk e e p st h et e m p o r a lr e l e v a n c ya s w e l la si n d e p e n d e n c ei ts h o w st h a tt h er e c o g r n t i o na c c u r a c yi se n h a n c e di nt h en o v e la p p r o a c h b a s e do r t h ew o r ki nc h a p t e r4 t h ec o u p l e dh m mi se x t e n d e di nc h a p t e r5at r i p l e dh m m a n di t s ( r a i n i n ga l g o r i t h m8 r ep r o p o s e da n da ( r i p l e dv i t e r b io p t i m a lp a t hs e a r c h i n ga l g o r i t h mi s a s oi n 打o d u c e dt om a k et h em a ) 脚1 i k e l t h o e dd e c i s i o ne m o t i o n a ls p e e c h ，sa l s oc o n s i d e r e da s ac o n l r i b u t i o nt oe x p r e s s i o nr e c o g r a f i c mi na d d i t i o nt ot h et w ov i s u a lf e a t u r e v e c t o r su s e dm c h a p t e r4m o r e o v e law e i g h tp a r a m e t e ri se m p l o y e dt ob a l a n c et h ec o n t r i b u t i o no fa u d i oa n d v i s u a lt h ew h o l ea p p r o a c hg i v e sab e t t e ra v e r a g er e c o g n i t i o na c c u r a c ya n dr o b u s t n e s st h a nt h e o n ew i t ho n l yv i s u a lh a s e dm o d e lc o n s i d e r e d t h ej $ $ l i eo f t h ef a c er e c o n s h - a c t i o na n de x p r e s s i o ns y n t h e s i sl sd i s e 世s e di nt w ot o p i c s ：f a s t f a c et e x t m em a p p i n ga n dh i 曲r e s o l u t i o nf a c em o d e lb a s e de x p r e s s i o ng e n e r a t i o n i nc h a p t e r6 ，a i lr b fs p e e df i e l db a s e dr e a l - t i m ei n t e r a c t i v et e x t u r em a p p i n ga l g o r i t h mi s i n t r o d u c e dt oa v o i dt h ec o m p l e xi n t e r a c t i o n sa n dg r e a ts y s t e mc o s tf o rm m u p u l a t i o n0 na l lf e a t u r e p o i n t s n 时n e wa l g o r i t h mp r e s e n t e dm a k l ，st h et e x t u r em a p p i n gr a p i da n ds i m p l ew i t hl e s sc o s ta s i n g l ef a c e m a g eb a s e dt e x t u r em a p p i n gi sa p p r o a c h e da n das e r i e so fe x p r e s s i o n a lr e s u l t sa t e o b t a i n e db ya p p l y i n gf a c i a la n i m a t i o np a r a m e t e r s ( f a p ) ， i nc h a p t e r7 ，f i r s t l y , a l ls v db a s e d3 df a c em o d e la l i g n m e n ta l g o r i t h mi s p r o p o s e dt o c o m p u t et r a n s f o r m a t i o n ( s c a l e ，r o t a t i o na n d ( r a n s l a t i o n ) b e t w e e nt h es o u r c ea n dt h et a r g e tm o d e l s e c o n d l y ，an o v e lg p ub a s e dc o r r e s p o n d e n c ea l s o r i t i l l nu s i n gm e s hi m a g ew i t hf e e d b a c ki sg i v e n w h i c ha v o i d sh i 曲c o m p u t i n gc o m p l e x i t ya n dg r e a tt i m ec o s tc a u s e db yt h ei t e r a t i v e f i t t i n g ! 堕型 p 。o c e s s mt h ec o n v e n t i o n a l m e t h o d st h 砌y ，t o w a r d s3 df a c i a l e x p r e s s i o nm a p p i n g a h e l m h o l t z - h o d g ed e c o m p o s r m nb a s e dm e s hd e f o r m a t i o nm a p p m ga l g o r i t h mi sp m s 肌l c dt h e ”e ”a l g o r l t h r nc a l lo b t a i nm a p p e de x p r e s s i o n a l3 df a c em e s h e sw i t h o u ta n ya r t i f a c t sa tah i 曲e r s p e e df i n a l l y , b a s e do nt h i sn o v e l e x p r e s s i o nm a p p m gm e t h o d ，a3 df a c i a le x p r e s s i o n 5 y n t g l e s m “gm e t l l o db a s e do ng e n e r i cc o n t r o l l i n gm e s hi sg i v e na ne x p r e s s i o n a lf a c em e s h s y n a t h e s i sc a l lb ep e r f o r m e dw i t h o u tt a r g e ts a m p l e s 第一誊绪论 第一章绪论 人脸在人类的交流中起着十分重要的信息表迭功能，借递着人类的情感和精神状态。每 个人艘人脸阻然太体特征楣同，但各鼠又有着与众不同婀个性让特点，由此可以鉴澍人前身 份；而基于人脸特征的变化，伴之以浯音，又可以判断人们的表情变化及其情绪状态：另一 方面，在人类的作品( 绘画，雕塑，动画，游戏等) 中，丰富逼真的面部表情能够商效增强 人物、场景的真实感。 基于以上原阻，一方面，在计算机视爨和模式嘏舅4 镢域，研究a 最戳炎脸为串心进行了 大量的工作，其中包撼人脸检测、人脆跟踪。九脸特征提觑，a 脸识别、人脸表情识别等， 而作为人机交互( h u m a nc o m p u t e ri u t a a c t i o n ，h c i ) 的一个蘑要课越，利用计算机进彳亍自 动人脸表情识别近年来_ 目益成为研究者们关注的热点，并提出_ 大璧基于计算机视觉韵方法 用于区别人脸反跌的情绪差别耻。1 2 l 。丽量为进一步提离识另女的准确性和鲁棒性，研究人 员又提出采用视觉语膏等多横态寿法f 1 3 ，1 4 1 进行表情情绪的识别。秀一方面，在计算机图 形学领域，人脸也吸引i 年多学者进行研旒。办图重建或合成具有真实感的人脸表情。 1 1 人飚袭惜识剽、重建与舍域的难点 人脸是表达a 类情感的窗n ，也是扫常生活中太们最为熟悉的对象之一，进行人脸表情 的识别与真实感震建、龠成而j 隐着以下几个蠢丽的困难f 1 5 1 ： “) 人脸的生理结构复杂，根据解剥学原礁，人脸包括皮肤( 包括表皮、真皮皮下 脂肪) 、肌肉、骨骼三层，三层组织的共同运动确定了晟终袭瑰给人们的表象，对于表情识 别而言，这给人脸特征的跟踪带来搞战。而对于面部袭情的音成而吉，由于要求人脸的衷情 重建与合成龄疑有高度的真实感，也给计算机图形学带来很夫的摊战。 ( 2 ) 人脸表情十分丰富，遮导致表情鹘分类罐难，同_ 时i 在表情合成时比较难于_ 达到预 想的细节化效粜。比如皱纹的生成，虽然人们在基于几何模型和基于图像两秘方式上都进行 ：r 努力，但在真实感方面还曼丕尽人意。 ( 3 ) 提墩夫腔的图像鳞 挖眩频荡受，t 薏蒋等环境影响f 有时差捌微失- 导致进行人脸表 情识别时无法稳定蛾提取入脸袭慵特征，从丽影响袭情识剃的准确率和曾棒性。 ( 4 ) 丸类本身对入脸十分熟悉，能精细分辨各种微妙嶷帱都变化，这电相应增加了 进行人聆表情重建与合成的难度。 因此有必要对如何克服上述困难，从而有璇地进行人脸表情识尉，进而完成真实感表 情人脸的重建与合成进行更深入的研究。 1 2 + 研瓷入胺豪情识剐、重建与瓮液鼢意寰覆巍羼 1 9 7 0 年代烈来，对于a 脸表情的相关研究越来越受到人们韵垂视。长期以来，人机交 巨中最常用的是简单舱单向交互，即由人向计算机进栝辕入，计算机本身无淡自主蛉判断人 渐江大学博士学侥论文 的精神状态，人机交耳过程缺乏人牲化。如果计算机能够识别人冉匀表情，跨越这鸿沟，将 会健整个交互过程友好而有趣。自动分析识别人缝表情对于入机交自技术具有革命性的意 义，使人与计算机之间的沟通进入新的时代。而另一向。面，在皑影与游戏等场景。| l 列于虚拟 人物、廉价处理需求以及人枫交互中对于r 鸯发真安懑的沉浸式感受的影响之下，大腧造型和 动画技术成为近年来的研究热点，无沧是复杂韵人机交互界面、交互式游戏、虚拟现寅的环 境体验以t ；5 乏大量韵动画产品中，都能注意到人脸耍建与合成技术的无处i ；在。一方面，该技 术正在突飞猛进，凡 j 年间进展迅速：另一方面，人们不断耍求提供觅逼真更快速的人脸重 建与台成技术。 人脸表情识别、重建与台成技术其有广泛的应粥前景。它能蟛使人们对设备的使用型便 利，比如，使个人计算机具有更人性化的交互界面，根据用户昀精神状态擞出恰当的反映等； 还可以使人们的生活更加丰富多彩，比如屯影，游戏等的制作；甚至可以用乎特徘场台，比 如删事侦察等，具体面害，人验表情识别、重建与仓成技术的应用包括： 1 ) 智能人机交互目前a 们与计算机朐交互壬嚣还是通过鼠标、键盘进行的，这使得 人帆交互帆械、栗扳。使计算机能够判断姬户黝情绪状态是下一代智自犬机交互 1 6 1 酌重要 特征之一，而通过人脸衷情萤枣与合成，使计算机能够产生细腻逼真鲰人脸袭情动画，能够 进一步增加入机交互的趣畴性，创造更为良好的交互氛厨。总之，a 够使 算亩l 主臣过多横态 的操作界而与大类更人性化的交互是研究人员而j 晦的挑战。 2 ) 娱乐业诗算机生成的三维虚拟九物在影视、游戏孤广告中的角色模拟，。蜘指环 + 1 、怪物史莱觅等电影，以及为数众多前3 i ) 游戏筹，都体现了人脸建模与动画技术的 魅力。运用人脸袤情的重建与含成，通过数据驱动或者参数驱动，盯以大大降低制作成本， 并提高工作效率。 3 ) 刑事及“反恐”通过重建与合成技术，再现嫌疑分子人脸，为案件侦破和追捕提 供关键线索。近年来，基于三维的人脸识别技术发展很快，丽入艟的重建与合成在其中起者 卜分重要的作用。 4 ) 在线视频对话通过系统对树频的处理，提取表情信息并参数化，迸耐将参数用于 驱动远程客户端上的个性化人脸，从而达到低带宽往线视频表情对话的效果。 5 ) 身份识别人脸表情识别的榴荚算法可以推广封夫脸识别串，男井宥表情盼人脸识 别也是将人脸识别推向实用化的必0 3 - z 路。h 、砌n g 吲存这方面进行了尝试，通过对人腧图 像的张量空问分解，对人脸的身份和表情进行分析。通常情况r ，利用人脸进行身份谢别比 虹膜识别更方便，设备也更廉价，应用范围也更为广泛j 与前述在刑事及“反恐”中的应用 相呼应，有袭情的人脸识别可以使安全人员能够在更广泛的媒介中搜索并捕获嫌疑分子。 6 ) 医学研究通过人脸表情识别，心理学家可以根据表情变纯的统计数据开展人脸与 炭传运动的心理学研究。而人脸表情动画系统则可以为设计心理学交互模型圾及脸部外科手 术的预测提供研究平台。 7 ) 计算机辅助教学拥有a 脸表情蝴n 接口和人脸轰情动画合成功能的i 算机辅助教 学系统，【e 传统的汁算机辅助教学系统更n 为生动有趣，会进步挺高学生的学习秘极性，更 好的辅助教师羽工作，也培养了学生自学能办。当然，还可以通越表情葫画对学生饷发音动 作进行指导等等， 键一章绪论 1 1 3 本文的主要目标和工作 本论文的日标是研究人脸表情识别以及囊实感重建与合成的关键算法。通过对图像或者 观频的分析，研究艟够自动识别人腧表情的鲁撵算法：通过对三维人脸模型的分析，研究能 够重建真实感九脸及人脸表情的算法。因此，本文的主要研究内容集中在基f 入脸表情的分 析识别和i 维真实感人脸的重建与表情合成两个方面。 1 3 1 人脸表情的分析识别 人脸表情豹分析识别方面，对表情识别的方法进行逐步深入的研究，具体可以分为以下 几硕t 作： 1 ) 基于静态人脸正面图像的表情汉别 在基于静态图像的九脸表情分类中，提出基于g p u 的主动豫状模型( g a s m ) ，通过 g a s m 提取八脸表情特征，进而利用支持向量机s v m ) 进行分类。最卮 k 较g a s m + s v m 与a s m + s v m 方法的性能。 2 ) 基于动态视频序列的襄隋识别 在视频韵图象序列中提取袭情特征的变化序列进行表情识别，引入时间维信患，能够使 识别更为稳定，不同于简唪地将人脸的整体特征进行分析，而是将人脸运动特征分割为与表 情特征向量和视觉语音特征向量，然后引入并训练二元隐马尔可夫模型( h m m ) 进行表情识 刈，这样既保持了两种视觉特征之阀的时间关联，又使二者具有独立性，从而使表情识别的 准确率和稳定性都得到提商。 3 ) 语音辅助的人脸袭情识别 语音往往也反映着人在表情变化时的情形，在基于动态视频进行表情识别的基础上，引 凡语舂特征向量，提出并建立三元h m m 作为识另4 横型的核心，进一步提高表情识别的平均 准确率和鲁棒性。 1 3 ，2 真实蒜表情人脸重建与合成 在真实感人脸表情重建与合成方面，主要进行两项工作： 1 ) 基于单幅照片的快速人验绞理j | 兜射 提出并实现一个基十髓f 速度场的窭时交互a 脸纹理快速竣射算法，并通过f a p 参数 驱动通用模型得到表情人脸，同时为移动设备上的入脸快速重建做了方法论准备。 2 ) 商分辨率三维入脸表情的重建与台成 在进行久脸模型的对齐时，提出一个基于s v d 的三维人脸阿格对齐算法，计算两个三 维人脸模型之间的缩放，旋转以及位移。为了实现两个人脸网榱之闻结构t 的对应，提 _ | 1 黉 实现基于g p u 的网格图像反馈对应算法，利用g p u 迅速建立网椿i 鲴像。通过重采样实现两 个模型之间鲒榴上的对应，降低计算复杂度。脊裘情跌射上提出基于h e l m h o l t z - h o d g e 分 解韵瞬格变形映射算法，便火腔表情映射在效果和速度上都得到提商。另外，基于新的表情 映射算法，提出基于通用控制网格的人脸袭情合成，使没有表情样本的目标模型也能够取得 逼真的表情变形效果。 浙江大学博士学位娩文 通过上述工作，初步解狭八腧裘情的识别以及凡腧重建与表情合成中的几个关键问题， 为今后更为潍入的研究打下基础。 14 本文章节的组织结构 第。：章，首先将介绍人脸表情空间的建模，回顾已有的人脸表情识剐，真实感三维八脸 蘑建及表情舍成技术，分别对其中涉及的特征提取、表情识剐模型、人脸建模、表情合成等 技术进行叙述和分析。 第兰章，首先介绍g p u 的基本知识，对传统的主动形状模型进行了分析，提出基于g p u 的主动形状模型( g a s m ) ，通过g a s m 进行人脸特征搜索，利用删进行表情特征分类， 并进一步比较g a s m q - - s v m 与a ：s m + s v b l 的性能。 第四章，分析, a m 踞踪算法，提出了基于k a h n a n 滤波的a k m 视频跟踪算法，通过 新的跟踪算法获取人脸特征并进行量化，并将其分割为表情向量与视觉语音向曩，介纽二：兀 h m m 及其训练过程，建立一个基于二元i - e v l m 韵人脸表情识别模犁，给出新韵模型进于亍表 情识别的结果。 第五章，阐述基于语音一视觉韵火脸表情识别，通过在视赏蓦础上增加语音辅助作州， 提出三元h m m ，建立基于三元i - h m m 的语音辅助人脸袭情口塌0 横型，通过与以往单模态方 法的对比，证明本办法的有效性。 第六章，介绍人脸纹理陂射的背摄提出基于r b f 速度场的室时交_ 互嗷速数理殃射算 法，遥过f a p 参数驱动通娜三维人般模型获得不随表情鲢真实感三维人腔。 第七章，介绍三维人脸表情映射与台成的相荧技术，给出基于s v d 的人脸模型对齐算 法、基rg p u 的网格图像反馈对应算法和基- 丁h e l m h o l t z - h o d g e 分解的网格变形映射算法， 实现高分辨率鼹格的人脸表情映射。阐述基于通用控制网格的人脸衷情龠成算法，给出并分 析人脸表情合成结果。 第八章，给出结论和对未来工作的展望。 图i1 给出了论文内容的结构关系。 浙江太学博士学位论文 通过l 述工作，初步孵决人胎衷情柏识别龇擞人腑重建与表情合成中的几个关键问题 为今后更为深入的研究打下基础。 14 本文章节的组织结构 第一章。首先将介绍人脸表情空间的建模，回颇已有抽a 脸表情识别，真实感二i 维人脑 摩建厦表情合成技术，分别对媾中涉厦的特征提取、表情识别模型，人脸建模、表情合成等 技术进行叙述卵分概。 第量三章，首先介绍g p u 盼基本知汉，对传统的主动形状模型避行了分析，提出基于g p u 的_ l = 动形状模型( g a s m ，通过g a s m 进行人腧特征搜索，利用劂进行表情特征分类， 并进步比较g a s m 悄v m 与a s m 4 6 v m 盼性能。 鹤四章分析a a m 目器踪算法，提h 了基于k 她鞠滤波的a a m 视频l 诞踪算法，通过 新的螺踪算法获取人脸特征并进行鞲化。并将其分割为表情向蓬与视黄语音向擐，介甜二。几 h m m 发萁c | _ i 练过程建立一个基于二元i i m m 韵人脸表情识别模型，给出新的模型进行表 褚激别的结果。 第五薛，阏述基于语音一视觉的凡脸表情识别，通过在视觉基础上增加语音辅助作用， 提出二元h m m ，建立基于三兀h m m 的语音辅助人脸表情识别模趔，通过与以往单模态方 法的对比，证明本方法的有效性。 第六章，介绍人胎纹霹政射的背景，挺出基j ir b f 速度场的窭时交互快速毁坦胜戤算 法，通过f a p 参数驱动道坩三维人腔模型获得不i 封袭情曲真实感三维人脸。 第七章，介绍= 维入脸表情映射与台成的相黄技术，给出基于s v d 的人脸模型对齐算 法基了- g p u 的网格图像反馈对虑算法和基丁h e l m h o l t z - h o d g e 分解的网格变形映射算法， 室现高分辨率f c | l 格的人脸表情映射。阐述基干通j 控制网格的人脆表情合成算法，约出并分 析 脸表情台成结果。 第八章，给出结论和尉来来工作的展望。 图i1 给出，论文内容的结构芙系， 躅1 1 给出了论文内容的结构关系。 第一章绪檐 表情 识别 l 臻娩 0 卜盘表惦吵、吣删t 蛳 一 一 斌f ： g p u 动态沿幽一 增强键颁辆j l i j 的人nf 鲥_ 的人 滁戒的人狳农 情洪脸发锯诚 ；i j 精i ；i l 埘 j l l 憨铸幸“鼹鹾 l i 图l _ 设受蜘织结魈 袁增 生成 5 浙江大学博士学位论文 第二章人脸表情识别、重建与合成技术回顾 在计算机视觉、模式识别以及计算机图形学领域，对人脸的处理都是热点研究问题。 存汁算机视觉和模式识别领域，主要是通过对静态图像或者动态视频进行分析，实现人脸 的身份识别或者表情识别，这其中包括对图像或者视频的分解、滤波、人脸的特征提取以 及识别模型的设计、训练以及测试等，追求算法的鲁棒性和效能。而在计算机图形学领域， 则主要通过对人脸网格模型的参数化、变形等操作，结台计算机视觉的相关技术，取得真 实感人脸及其表情，相美技术有纹理映射、表情克隆等，对于算法的要求是速度快，真实 感强。 本章首先对人脸表情识别的相关内容进行了回顾，其中包括；基于静态图像的人脸表 情识别，基于视频动态图像的人脸表情识别以及语音辅助的视频人脸表情识别。然后介绍 人脸表情的重建与合成，其中包括真实感三维人脸重建，表情建模及生成等。本章的主要 内容安排如下：2 1 节对迄今为止的人脸表情识别技术进行全面的回顾，分析问题的背景驶 发展，对现有的各种方法进行分类，指出其中的优劣之处；2 2 节对人脸表情的重建和合成 算法的背最，以及迄今为止各种真实感三维人脸表情重建与合成算法的优缺点等进行了分 析比较。23 节对第二章内容进行了概括总结。 2 1 人脸表情识别技术回顾 人脸作为人体中最复杂的部位之，在传递信息和情绪状态方面起着至关重要的作用。 人们剐于人脸表情的研究，可以追溯到1 9 世纪7 0 年代，生物学家达尔文在其著作t h e e x p r e s s i o n o f t h e e m o t i o n s i n a n i m a l sa n d m a n ) 1 7 卜一书中，就对人类面部表情与动物面部 表情进行r 研究和比较。1 0 0 年后，随着计算机性能的提高以及人工智能技术的发展，2 0 f t 纪7 0 年代以来，人们展开了对人脸表情空问、人脸表情的建模以及自动识别人脸表情的 研究，e k m a n 等【1 8 首次提出人的情绪大体可以分为六种，并且每一种都有与其对应的人 脸表情。一般称这六种情绪为“基本情绪”【1 9 ，即，高兴、沮丧、害怕、厌恶、吃惊以 及生气。相应地，人们将人脸表情分为这六种“基本表情”。后续的很多有关研究大体也都 是按照这六种“基本表情”的假设展开的。后来e k m a n 又为丰富和完善该理论做了进一步 研究 2 0 ，2 3 ，从而确立了六种基本表情理论的有效性和可行性。本论文中进行的表情识别 研究，就是建立在这六种“基本表情”之上的。 一 浙江大学博土学位沦文 按照所采用的数据来源，人脸表情识别大体可以分为基于静态图像的人脸表情识别、 基于动态视频序列的人脸袭情识别和有语音辅助的视频入脸表情识别这兰大类。针对这三二 利不同的数据类型，在表情特征提取阶段，人们针对静态图像采用了主元分析( p r m c i p l e c o m p o n e n t a n a l y s i s ，p c a ) 、亮度轮廓、g a b o r 小波、人脸几何模型等方法；对于动态视频 + 孚列，则有特征跟踪、光流分析、参数运动模型、三维运动模型、标记人脸视频等对时域 动态信号进行描述的方法；语音辅助的视频痔列除r 提取语音特征之外，在很大程度上吸 缡了在动态视频序列中进行特征提取的方法，其贡献重要集中在对两种数据来源的融合b 存特征提取方面则延续了以往的成熟算法。在表情识别阶段，对于静态图像，采用了空间 距离、图匹配咀及线性判别式分析( l i n e a rd i s c r i m i n a r a a n a y s i s ，l d a ) 以及专家系统规则 等方法解决静态图像表情特征分类问题；对于另外两种类型数据，则采用了运动能量模版、 特征轨迹、专家系统规则、i m m 、贝叶斯网络( b a y e s i a n n e t w o r k ，b n ) 等方法特别是 对爵音辅助人脸表情识别，更是对h i v l m 、b n 等方法进行了拓展，提出比如异步h m m 、 二，元h m m 及动态贝叶斯网络( d y n a m i cb a y e s t a n n e t w o r k ，d b n ) 等方法解决多模态数据 处理问题。圈2l 总结了人脸表情特征提取与识别方法的分类。下面分别绘予进一步阐述。 2 1 1 基于静态图像的人脸表情识别 211 1 静态图像中的人膻表情特征提取 基于静态图像人脸表情识别是以灰度或彩色人脸表情图像作为处理对象，其特征提取 的方法通常情况下可以分为三类 1 9 ，2 4 】：全局方法、局部解析方法及混台方法。 ( 一) 全局方法 全局方法主要通过对人脸整体特征的处理获得人脸表情特征之表征，也就是说，图像 作为一个整体进行处理后得到特征向量或者特征图像，然后用p c a 或多层神经网络获取低 维表达方式。z z h a n g 2 5 、m d a i l e y 2 6 , 2 x 暨其他研究人员 2 7 】都提到采用g a b o r 小波对人 脸表情图像进行滤波，用取得的g a b o r 小波参数来袭征表情人脸( 如图2 2 ) 。md m l e y 采 用p c a 对小波参数进行降维处理，最后进行基于l d a 的识别，zz h a n g 则直接采用分层 的人工神经网络对取得的g a b o r 小波参数进行分类实现人脸表情识别。文献【7 ，1 2 1 分别 用g a b o r 和独立元分析( i n d c p m d e l a tc o m p o n e n t a n a l y s i s ，i c a ) 进行人脸特征的提取，并 用支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 进行分类。通常情况下，全局方法对入脸 图像的要求较高，背景复杂的图像常常会给识别带来很大干扰。 第二章人脸表情识划、重建与台成技术回顾 圈2 2g a b o r 小波袭征人脸f 2 5 】 ( 二) 局部解析方法 所谓局部解析方法就是提取置于人脸某些特征部位( 前额、嘴巴、眉毛等) 窗口内的 人脸袭情特征【2 8 ，2 9 ，然后进行p c a 处理，达到低维数据表达人脸的目的“通过局部解析， 一些人脸表情的细节( 皱纹等) 可以根据高梯度变化部分永提取【3 】。 abc 图2 3 基于届芒 | ；解耩方法酾失黼稀提取伫8 】 ( 三) 混台方法 混合方法是一种是基于特征的方法，通过局部特征的提取构成全局特征，从而提取表 情变化向量。该类方法的一个重要特点是通过对特征点的定位获得整体人脸模型，比较典 型的方法有点分布模型( p o i n td i s t r i b u t i o nm o d e l ，p d m ) 董动形状横型c a 避i v es h a p e m o d e l ，a s m ) 3 0 】、主动外观模型( a c t i v ea 】瑁e a 糟n c em o d e l ，a a m ) 【3 1 】、弹性图匹配 【3 2 j 等，由于其复活性，混合方法蹙晰应用最多的一类方法。 浙江大学博士学位论文 图2 4 点分布模型 基于p d m 的人脸特征提取通过一个基于下降梯度的形状参数估计逼近p d m ，一般要 求背景没有变化、取正面人脸、没有头发和眼镜等。p d m 是通过对用于建立模型的样本形 状的统计学分析给出的，一个典型的p d m 对象有如下定义： 一t 五l = i ，y o ， ，y t ，算，y 。i l 。1 ( 2 - 1 ) 对标注的训练形状进行位移、旋转操作，归一化处理之后计算所有训练形状模型的平 均形状i 和每一形状相对于i 的偏移。由归一化的训练形状构成矩阵x ，对其实施p c a ， 这样，任何一个形状模型都可以通过z = 王+ p b 来描述，其中p = ( 执，p ，p ，) 是矩阵 办方差矩阵的前f 令虽大特征值对应的特征向量，丽6 = p 。，如，龟) 是l 维权值向量。 在a s m 中，p d m 被用来描述形状模型，通过对灰度级图像中脸部器官边界梯度轮廓 线的迭代逼近获取人脸的形状特征，即，计算当前形状轮廓线法向上的梯度值 g ，= g m ，g 。】，不断调整参数搜索新的位置以使新的形状与灰度梯度模板达到最佳匹 配，新的轮廓与灰度梯度模板之阃的差越小，就越接近收敛，但当边界的梯度变化不够明 显州，往往会使迭代次数增加甚至无法收敛。 鉴fa s m 的不稳定性，tc o o t e s 等又提出了a a m ，a a m 是对a s m 的推广，它不仅 考虑了对象的形状特征，还考虑了对象斡纹理特征，这就馊特征点孵跟踪更加稳定，虽然 速度和精确度会受到一些影响，但无法收敛的情况减少了。tc o o t e s p 3 对二者进行了分析 和性能比较，认为a s m 更快，也更准礁，然而，a a m 规能使对象的纹理得到更好的匹配。 ge d w a r d s 等采用了a a m 跟踪1 2 2 个特征点来表达) d 盘p 4 ，3 5 。 弹性圈匹配也需要标定人脸特征点，取每个特征点的g a b o r 小波参数特征向量，根据 特征点集合构成一个国，用该图来表征人脸。 211 2 基于静态圈像的表情识别方法 由于基于静态图像的表情识别方法只采用亍釜耐信息