（计算机科学与技术专业论文）人脸感知：基于学习的人脸跟踪与合成.pdf

摘要 人脸感知可由分析与合成人脸两部分构成。人自身对人脸非常熟悉和敏 感。人可以轻而易举地识别出不同的人脸、不同的人脸表情，并可在腩海中浮 现出不同人脸的形状，艺术家可以描绘出神态各异的人脸。然而这种对于人来 说与生俱来的分析与合成能力对计算机而言却非常地困难。机器学习提供了。 种叮能的解决途径。 本文围绕人脸这个对象，以基于学习的方法为主线，研究了基于视频流的 人脸运动数据获取的分析算法和基于图像的人脸建模、超分辨率、表情幻想等 合成算法。 文中首先讨论了基于图像的个性化人脸建模。提出一种基于合成分析的个 性化人脸三维模型建模方法，通过分析合成的人脸图像纹理与输入图像纹理的 差异，使用纹理差异来指导对人脸网格进行局部自适应细分，进而对合成的人 脸三维模型不断地调整，从而使得最终生成的人脸三维模型具有更高的真实 感。 为了从视频流中提取基于人脸面部特征的运动数据，本文研究了人脸多特 征跟踪算法。先后提出了基于贝叶斯网络增强预测模型的跟踪方法和基于时窄 概率图模型的跟踪方法。后者将传统的单特征跟踪器粒子滤波与信任度传 播算法成功地结合在一起。首先在时问域卜，使用几个相互独立的 c o n d e n s a t i o n 类型的粒子滤波器分别跟踪人脸的每个特征。粒子滤波对独立的 视觉跟踪问题非常有效，但是多个独立的跟踪器忽视了人脸的空间约束和人脸 特征问的自然相互联系。然后在空间域上，事先从人脸表情库中学习人脸特征 轮廓的相互关系，使用叭叶斯推理一信任度传播算法来对人脸特征的轮廓位置 进行求精。 有些已经存在的视频流中人脸区域太小，以至于无法对人脸特征进行有效 的跟踪，为此本文对图像中的人脸进行了超分辨率( s u p e r r e s o l u t i o n ) 研究。提出 基于s t e e r a b l e 金字塔和贝叶斯估计的人脸超分辨算法。采用s t e e r a b l e 金字塔学 习人脸图像中的低层次局部特征的空问分布，并结合塔状的父结构和局部最优 匹配算法来预测最佳先验模型；然后将先验模型结合到贝叶斯最大后验概率框 架中；最后使用最速下降法( s t e e p e s td e s c e n t ) 求出最优的高分辨率人脸图像。 基于人脸照片总是具有最高的真实感这一出发点，为了合成具有真实感的 未知人脸表情，本文提出人脸表情幻想( h a l l u c i n a t i o n ) 的新方法。给定某个人中 立的人脸图像，可以使用流形学习等方法预测出他的其它表情人脸图像。与现 有的表情克隆或者图像类比方法不同，木文存个人脸表情库的帮助下来幻想 出合理的人脸表情。在第一步中，使用非线性流形学习来获取对末知人脸表情 第1 页 的一个平滑估计。赴第二步中，使用马尔夫刚络来学习训练库中中立与具有 表情的残差人脸图像中低层次人脸特征的相互关系，然后使用信仟度传播算法 来推理山该人的具有表情的残差人脸图像。通过把这两步结合在一起，获得最 终的结果。 在每一章的实验部分，给出r 对如上人脸感知人脸跟踪与合成算法的 分析和原型实现。另外一些寿”关算法也逐步集成到正在构建的基于视频流的真 实感人脸动画系统巾。 关键词：模式识别，计算机视觉，机器学习，图像视频理解，人脸分析与识 别，人脸跟踪，人脸合成，贝叶斯理论，概率图模型，流形学习 第2 页 a b s t r a c t f a c i a lp e r c e p t i o nc a nb ec o m p o s e do ff a c ea n a l y s i sa n ds y n t h e s i s a sah u m a n ，h ei s v e r y f a m i l i a ra n ds e n s i t i v et oh u m a nf a c e sah u m a nc a ne a s i l yr e c o g n i z ed i f f e r e n th u m a nf a c e s a n dd i f f e r e n tf a c i a le x p r e s s i o n s ，h ec a na l s oi m a g i n et h es h a p e so f d i f f e r e n th u m a nf a c e s ，a n d a r t i s t sc a nd r a wm a n yk i n d so fh u m a nf a c e s h o w e v e rt h e s ca b i l i t i e sw h i c ha r ei nh m n a n s b l o o da r ev e r yd i f f i c u l tf o rc o m p u t e r s h o p e f u l l y ，m a c h i n el e a r n i n go f f e r sap o s s i b l es o l u t i o n t h i sd i s s e r t a t i o ni s m a i n l ya b o u to n eu n i q u eo b j e c t ah u m a nf a c e u s i n gal e a r n i n g b a s e dm e t h o da st h em a s t e r s t r o k e ，w es t u d ya n a l y s i sa l g o r i t h m s ：v i d e o - b a s e df a c i a lm o t i o n c a p t u r e ，a n ds y n t h e s i sa l g o r i t h m s ：i m a g e - b a s e d 3 df a c i a l m o d e l i n g ，f a c ei m a g es u p e r - r e s o l u t i o n ，a n df a c i a le x p r e s s i o n a lh a l l u c i n a t i o n f i r s tw ed i s c u s s i m a g e b a s e d p e r s o n a l i z e d 3 df a c i a l m o d e l i n g t h i s d i s s e r t a t i o n p r o p o s e s a n a n a l y s i s b y - s y n t h e s i s b a s e d p e r s o n a l i z e d 3 df a c i a l m o d e l i n ga l g o r i t h m t h r o t l g hm e a s u r i n gs i m i l a r i t yb e t w e e nt h et e x t u r es y n t h e s i z e da n dt h eo r i g i n a lo r t h o g o n a l i m a g e s t e x t u r e ，a n dt h e nu s i n gt h i sm i s - r e g i s t r a t i o n se r r o rt og u i d eal o c a la n da d a p t i v e s u b d i v i s i o n s t e p ，w ec a nr e f i n et h e3 d f a c i a lm e s hm o d e lt ob e t t e rp r e s e r v ef i n ef a c i a lf e a t u r e s ， a n dm a k et h eo u t p u t3 df a c i a lm o d e lm o r er e a l i s t i c s e c o n d ，i no r d e rt oe x t r a c tm o t i o nd a t ao fe a c hf a c i a lp a r tf r o mav i d e os t r e a m ，t h i s d i s s e r t a t i o ns t u d i e s m u l t i p l e f a c i a lf e a t u r e t r a c k i n ga l g o r i t h m s w ep r o p o s eab a y e s i a n n e t w o r ke n h a n c e dp r e d i c t i o nb a s e dm u l t i p l ef a c i a lf e a t u r et r a c k i n ga l g o r i t h ma n das p a t i o t e m p o r a lg r a p h i c a lm o d e lb a s e do n e t h el a t t e ro n ec o m b i n e st h ep a n i c l ef i l t e rw i t hb e l i e f p r o p a g a t i o n i nt h ef i r s ts t e p ，s e v e r a li n d e p e n d e n tc o n d e n s a t i o n s t y l ep a r t i c l ef i l t e r sa r e u t i l i z e dt ot r a c ke a c hf a c i a lf e a t u r ei nt e m p o r a ld o m a i n p a r t i c l ef i l t e r sa r ev e r ye f f e c t i v ef o r v i s u a lt r a c k i n gp r o b l e m s ；h o w e v e rm u l t i p l ei n d e p e n d e n t 仃a c k e r si g n o r et h es p a t i a lc o n s t r a i n t s a n dt h en a t u r a lr e l a t i o n s h i p sa m o n gf a c i a lf e a t u r e s i nt h es e c o n ds t e p ，w eu s eb a y e s i a n i n f e r e n c e b e l i e f p r o p a g a t i o nt oi n f e re a c hf a c i a lf e a t u r e sc o n t o u r i ns p a t i a ld o m a i n ，i nw h i c h w el e a r nb e f o r e h a n dt h er e l a t i o n s h i p sa m o n gc o n t o u r so ff a c i a lf e a t u r e sw i t ht h eh e l po fa l a r g ef a c i a le x p r e s s i o nd a t a b a s e l a t e ro n ，i ns o m ee x i s t e dv i d e os t r e a m s ，t h ef a c ea r e ai st o os m a l lt ob et r a c k e d e f f e c t i v e l y ；t h e r e f o r et h i sd i s s e r t a t i o ns t u d i e ss u p e r - r e s o l u t i o na l g n r i t t m a sf o rf a c ei m a g e s ，w e p r o p o s ean e wl e a r n i n g b a s e ds u p e r - r e s o l u t i o na l g o r i t h mf o rf a c ei m a g e s i nt h ef i r s ts t e p ， s t e e r a b l ep y r a m i di su s e dt oc a p t u r el o w - l e v e ll o c a lf e a t u r e si nf a c ei m a g e s ，a n dt h e nt h e s e f e a t u r e sa r ec o m b i n e dw i t hp y r a m i d - l i k e p a r e n ts t r u c t u r ea n dl o c a l l yb e s tm a t c h i n gt op r e d i c t t h eb e s tp r i o r i nt h es e c o n ds t e p ，t h ep r i o ri si n t e g r a t e di n t ob a y e s i a nm a x i m u map o s t e r i o r i ( m a p ) f r a m e w o r kf i n a l l y ，s t e e p e s td e s c e n tm e t h o di s u s e dt oo b t a i nt h e o p t i m a lh i g h - r e s o l u t i o nf a c ei m a g e f i n a l l y ，t h er e a lp h o t o g r a p h sa r ea l w a y st h em o s tp h o t o r e a l i s t i c b a s e do nt h i s ，i no r d e r t os y n t h e s i z en e wu n s e e nf a c i a le x p r e s s i o n ，w ep r o p o s ean e w a l g o r i t h m f a c i a le x p r e s s i o n a l h a l l u c i n a t i o n g i v a nap e r s o n sn e u t r a lf a c e w ec a l l p r e d i c th i s h e ru n s e e ne x p r e s s i o nb v m a c h i n el e a r n i n gt e c h n i q u e s d i f f e r e n tf r o mt h ep r i o re x p r e s s i o nc l o n i n go r i m a g ea n a l o g y a p p r o a c h e s w et r yt oh a l l u c i n a t et h ep e r s o n sp l a u s i b l ef a c i a le x p r e s s i o nw i t ht h eh e l po fa l a r g ef a c i a le x p r e s s i o nd a t a b a s ei nt h ef i r s ts t e p ，n o n l i n e a rm a n i f o l dl e a r n i n gi su s e dt oo b t a i n as m o o t he s t i m a t i o nf o ru n s e e nf a c i a le x p r e s s i o n w h i c hj sb o r e rt h a nt h er e c o n s t r u c t i o nr e s u l t 第3 页 o fp c a i nt h es e c o n ds t e p ，m a r k o vn e t w o r ki s a d o p t e dt ol e a r nt h el o w - l e v e ll o c a lf a c i a l f e a t u r e sr e l a t i o n s h i pb e t w e e nt h er e s i d u a ln e u t m la n dt h ee x p r e s s i o n a lf a c ei m a g e sp a t c h e s i nt h et r a i n i n gs e t ，a n dt h e nb e l i e fp r o p a g a t i o ni se m p l o y e dt oi n f e rt h ee x p r e s s i o n a lr e s i d u a l f a c ei m a g ef o rt h a tp e r s o n b yi n t e g r a t i n gt h et w o a p p r o a c h e s ，w eo b t a i nt h ef i n a lr e s u l t i ne a c hc h a p t e r se x p e r i m e n t a lr e s u l t s ，w ep r e s e n ti m p l e m e n t a t i o n sf o rt h ea b o v ef a c i a l p e r c e p t i o n f a c et r a c k i n g a n d s y n t h e s i sa l g o r i t h m s s o m e r e l a t e d a l g o r i t h m s a r ea l s o p r o g r e s s i v e l yi n t e g r a t e di n t ot h ev i d e o - b a s e dp h o t o r e a l i s t i cf a c i a la n i m a t i o ns y s t e m k e y w o r d s ：p a t t e r nr e c o g n i t i o n ；c o m p u t e rv i s i o n ；m a c h i n e l e a r n i n g ；i m a g e v i d e o u n d e r s t a n d i n g ；f a c ea n a l y s i sa n dr e c o g n i t i o n ；f a c et r a c k i n g ；f a c es y n t h e s i s ；b a y e s i a nl a w ； p r o b a b i l i s t i cg r a p h i c a lm o d e l ；m a n i f o l dl e a r n i n g 第4 页 第1 章引言 浙江人学博上学他论文 第1 章引言 1 1 研究动机 人脸作为一个研究对象，有着上t - 年的历史。从三星堆出十的古蜀同余面 罩铜质人头像到金字塔中古埃及法老图坦卡蒙的黄金而具：从幽粹京剧中的脸 谱艺术到印第安人的脸部化妆艺术；从达芬奇的蒙娜丽莎到梵高的自国像；从 吴道子的先师孔子行教图到耶稣画像。在雕刻、化妆、绘画、摄影等领域，人 脸从来都是艺术家关注的对象。 白1 9 4 6 年世界上第一台计算机( e n i a c ) 发明以来，有三个大方面的应用驱 动着计算机人脸研究的进展：其是安全，包括视频监控、生物识别和认证 等，相应的典型研究方向为人脸检测、人脸跟踪、人脸识别等；其一：是艺术， 其可以应用在影视艺术、游戏等行业，应用需求为：如何使用计算机技术生成 具有丰富表情的人脸，其对应的典型研究方向为真实感非真实感，2 d 3 d 计算 机人脸动画；其三为人机交互，主要研究方向为多通道人机接口( 注视跟踪l j 识 i i ) ，用户认知建模、注意机制等，应用需求为：使计算机能够理解人的面部动 作、行为、情感等，并据此作出反馈。 使计算机在一定程度上具有人对人脸的感知能力，是本文的研究动机。文 中所指的人脸感知包括两个方面：对人脸图像视频的分析理解，和对人脸图像 模型的合成。传统意义上的感知是指：人通过感知器官对外部客观事物的要素 及特性在头脑中所做出的反映。反映可以是分析识别、也可以是再创造。就人 脸感知而言，感知器官为人i i i ( _ 卡i 机、摄像i i ) 、外部客观事物为人脸( 人脸图像 视频) 、要素和特性为人脸特征、反映为模式识别和人脸合成。 计算机人脸感知的一个典型应用场景为：从视频流中对人脸的多个特征进 行跟踪，获得2 d 运动数据，驱动3 d 人脸模型，以实王兕人脸动画。 在研究动机驱动下，对人脸图像视频的分析理解主要包括对人脸的多个特 征进行跟踪。对人脸图像模型的合成主要包括人脸建模、人脸图像超分辨率、 人脸表情幻想、和3 d 人脸模型驱动。 1 2 研究问题 人脸一直是模式识别、计算机视觉和计算机图形学中的一个重要研究对 象。模式识别、计算机视觉领域中侧重分析，比如人脸识别、跟踪等；丰要是 对图像视频巾的人脸进行理解。计算机图形学领域中侧重合成，比如3 d 人脸 建模，人脸表情合成等：主要是呈现( p r e s e n t a t i o n ) 人脸。由于人脸的生理学构造 第5 页 第1 章引j浙江人学博士学位论文 非常复杂，并且人们对人脸非常熟悉和敏感，因而人脸方面的研究相对来说比 较困难。 为了驱动3 d 人脸模型，首先需要建立3 d 人脸模型，因而需要研究人脸建 模。 为了更好的划视频流中的人脸进行跟踪，消除人脸多个特征间的相互干 扰，需要研究人脸多特征跟踪机制和算法。 有些视频流中的人脸太小，以至丁无法进行人脸跟踪，可以先对视频流进 行超分辨率放大，然后再跟踪。为了对视频中的人脸进行超分辨率放大，首先 需要研究静态图片中的人脸的超分辨率放大。 照片总是具有最高的真实感，为了t 七成真实感的人脸表情，基于图像米外 展工作是一个思路。需要研究基于图像合成未知人脸表情的机制和方法。 1 3 本文工作 本文针对人脸领域的如卜几个关键问题进行了探究，并针对现有方法的不 足，分别提出新的方法。 1 提出基于合成分析的人脸建模算法。基于图像的人脸建模方法生成的人 脸三维模型或多或少存在一些细节信息丢失或者人工性缺陷等问题。而图像间 的配准误差和人脸网格太稀疏是造成这些问题的部分原因。提出了种基于合 成分析( a n a l y s i s b y s y n t h e s i s ) 的个性化人脸三维模型建模方法，通过分析合成 的人脸图像纹理与输入图像纹理的差异，使用纹理差异来指导对人脸网格进行 局部自适应细分，进而对合成的人脸三维模型不断地调整，从而能够更好的保 持人脸的精细细节特征。实验结果表明使用如上细分反馈算法后，提高了合成 人脸模型纹理的真实感。 2 提出基于贝时斯网络增强预测模型的人脸多特征跟踪算法。在视频中跟 踪具有丰富表情的人脸多个特征，是个有挑战性的课题，其中一个难点是需要 尽可能准确地预测出下一帧中人脸多个特征轮廓的位置。提出了一个基于多重 提示预测模型的跟踪算法，在预测模型中首先结合基丁m e a n s h i f l 算法的人脸预 跟踪与人脸特征的空间约束来定出人脸的位置，然后将基于二阶自回归过程的 动力学模型的快速性特点与基于图模型贝叶斯网络动力学模型的准确性特点结 合起来，最终得到融合的预测结果。多重提示的预测模型与观测模型可以方便 地集成在卡尔曼滤波框架中。实验结果表明本文算法可以较准确地同时跟踪具 有丰富表情的人脸多个特征。 3 提出基于概率图模型的人脸多特征跟踪算法。提出了一个基于时空概率 图模型的方法。首先在时间域上，使用几个相互独立的c o n d e n s a t i o n 类型的粒 子滤波器分别跟踪人脸的每个特征。粒子滤波对独妒的视觉跟踪问题非常有 效，但是多个独立的跟踪器忽视了人脸的空间约束和人脸特征问的自然辛h 一联 第6 页 第】章0 l 吉 浙江大学博士学位论文 系。然后在空间域上，事先从人脸表情库中学习人脸特钲轮廓的相互关系，使 用贝叶斯推理一信任度传播算法来对人脸特征的轮廓位置进行求精。典验结果 表明，文中算法u 以在帧间运动较大的情况f ，鲁棒地同时跟踪人脸多个特 征。 4 提出基于s t e e r a b l e 金字塔的人脸图像超分辨率算法。低分辨率人脸图像 损失了很多细节信息，因而从低分辨率人脸图像来预测高分辨率人脸图像是 个很有挑战性的课题。提出了一个新的基于学习的人脸图像超分辨率算法：采 用s t e e r a b l e 金字塔学习人脸图像中的低层次局部特征的空间分布，并结合塔状 的父结构和局部最优匹配算法来预测最佳先验模型；然后将先验模型结合到贝 叶斯最大后验概率框架中；最后使用最速下降法求出最优的高分辨率人脸图 像。实验结果表明，该算法生成的高分辨率人脸图像具有较好的视觉效果。 5 提出人脸表情幻想算法。给定某个人中市的人脸图像，可咀使用学习的 方法预测出他的其它表情人脸图像。与现有的表情克隆或者图像类比方法吖i 同，本文尝试在一个人脸表情库的帮助卜来幻想出合理的人脸表情。在第一步 中，使用非线性流形学习来获取对未知人脸表情的一个平滑估计。在第：步 中，使用马尔可夫网络来学习训练库中中立与具有表情的残差人脸图像中低层 次人脸特征的相互关系，然后使用信任度传播算法来推理出该人的具有表情的 残差人脸图像。通过把这两步结合在一起，获得最终的结果。实验结果表明幺j 想m 的人脸表情图像不仅富有表情，而且比较真实。 1 4 论文组织 本文组织如下： 第l 章介绍本文研究背景、目的和本文的贡献等； 第2 章介绍现有的人脸跟踪与合成领域的研究方法，给出人脸检测、人脸 跟踪、人脸合成的一个综述； 第3 章介绍基于合成分析的人脸建模方法； 第4 章介绍基于贝叶斯网络增强预测模型的人脸多特征跟踪算法； 第5 章介绍基于概率图模型的人脸多特征跟踪； 第6 章介绍基于s t e e r a b l e 会字塔的人脸图像超分辨率算法； 第7 章介绍人脸表情幻想算法； 第8 章介绍了对人脸动画系统框架的设计与实现。 第9 章是本文的结语和展望部分。 如上主干部分六章内容中，第3 章主要涉及计算机图形学，第4 章、第5 章丰要涉及模式识别、计算机视觉，第6 章与第7 章为视觉、模式识别和图形 学的融合。 第7 贞 第2 章人脸跟踪与合成综述 浙江大学博士学位论文 第2 章人脸跟踪与合成综述 2 1 引言 人脸跟踪足计算机视觉中的一个重要研究课题。基于图像的人脸合成是图 像处理与模式识别中的一个重要课题。在介绍人脸跟踪之前首先介绍人脸检 测，然后人脸的跟踪义可以分为对人脸整体的跟踪和对人脸局部特征的跟踪。 人脸合成先简要介绍了人脸表情分析，然后介绍了基于建模和基于图像的人脸 合成方法。 2 2 人脸检测 随着计算性价比的不断提升，视频、图像获取没备成本的不断下降，计算 机视觉系统已经可以部署在桌面和嵌入式系统中 p e n t l m l d2 0 0 0 。基于用户的身 纷、状态、意图可以从图像中提取出来，以及计算机可以通过观察人的表情作 出相应的反应这一假设，人脸处理领域近些年有很大的发展。 在过去5 年里，人脸与表情识别吸引了更多研究人员的关注，尽管精神物 理科学、神经系统科学领域已经对其研究超过2 0 年了。许多的研究型演示程序 和商业系统已经被开发出来。任何一个人脸处理系统的第一步都是在图像或视 频中检测人脸的位置。 包含人脸的图像对基于智能视觉的人机交互非常重要，为了构建完全自动 的系统以对人脸图像序列巾的信息进行分析，鲁棒和高效的人脸检测算法足必 需的。 给定一幅人脸图像，人脸检测的目标是标示出所有包含人脸的图像区域， 而1 i 论人脸的位置、朝向、和光照等变化。这个问题是具有挑战性的，因为人 脸是非刚性的，并且在大小、形状、颜色和纹理上具有高度可变性。 人脸检测可以被定义为：给定一个任意的图像，人脸检测的目标足确定图 像中是否包含人脸，如果有，返回各个人脸的位置和人小。 人脸检测的困难归结为如下几个因素： 朝向：图像中的人脸依据相机一人脸的相对角度( 正面、4 5 度、侧面等) 不同而发生变化。一些人脸特征，如人眼、鼻子等可能会被局部甚至仝部遮 挡。 结构性组件：人脸特征，如胡须、眼镜等的存在与否都会给人脸图像带来 很大的变化，包括形状、颜色与大小等。 人脸表情：人脸图像的外观直接受到人脸表情变化的影响。 第8 页 第2 章人脸跟踪与合成综述 浙江大学博上学忙论殳 遮挡：人脸可能会被其它物体局部遮挡。假如在一个图像巾有一群人，那 么很有可能部分人脸会被其它的人脸所遮挡。 图像的方向：相机光轴朝向的小同，直接导致人脸图像发生方向上的变 化。 成像条件：生成图像时的多种因素，如光照( 光谱、光源分布和强度等) 和相机特性( 传感器响应、镜头等) ，会影响人脸的外观。 与人脸检测相接近的有很多其它问题。人脸定位( f a c el o c a l i z a t i o n ) 的目标 是确定图像中包含单张人脸的图像区域。这是一个简化问题，它假设输入图像 只包含一张人脸 m o g h a d d a ma n dp e n t l a n d ，1 9 9 7 1 。在假设图像中只有张人脸 的前提下，人脸特征检测( f a c i a lf e a t u r ed e t e c t i o n ) 的目标是检测人脸特征的存在 和位置，如眼睛，鼻子、鼻孔、眉毛、嘴巴、嘴唇、耳朵等。 人脸识另o ( f a c er e c o g n i t i o n ) 或者人脸辨认( f a c ei d e n t i f i c a t i o n ) 将输入图像与 图像数据库( g a l l e r y ) 进行对比，报告是否有匹配 s a m a l a n d l y e n g a r1 9 9 2 c h e l l a p p ae ta 1 1 9 9 5 】。人脸鉴定( f a c ea u t h e n t i c a t i o n ) 是确认一幅输入人脸图像 中所声称的个人身份信息 t e f a se ta 1 1 9 9 8 】【k o t r o p o u l o se ta 1 1 9 9 8 。人脸跟踪 ( f a c et r a c k i n g ) 方法是实时地不停估计在图像序列中人脸的位置和可能的朝向信 ， c r o w l e ya n db e r a r d19 9 7 【d a r r e l le ta 1 19 9 6 】 e d w a r d se ta 1 19 9 8 。人脸表情 识别( f a c ee x p r e s s i o nr e c o g n i t i o n ) 的目标是识别出人的情感状态( 快乐、伤心、 厌恶等) d o n a t o e ta 1 2 0 0 0 】 e s s aa n dp e n t l a n d1 9 9 5 。 显然可见，人脸检测是解决如上问题的第一步要做的工作。在众多人脸检 测方法中，基于学习的算法近来倍受关注，并且展示了很好的结果。人脸检测 的研究对于计算机视觉中物体识别具有宽广的影响。几乎所有基于模型或者基 于外观的3 d 物体识别算法都局限在刚性物体上。人脸检测可以被看做是- 类 识别问题，其中图像区域被分类为“人脸”或者“非人脸”。因而人脸检测是 尝试从图像中识别一种类别的对象，而这一类型的对象又具有很大的内部变 化。 人脸检测也对作为其支撑技术的模式分类( p a t t e r nc l a s s i f i c a t i o n ) 和学爿理论 提出了挑战。当一个原始或者滤波后图像作为模式分类器的输入时，特征空间 的维数非常高( 正规化训练库图像中的像素个数) 。人脸与非人脸图像类别可以 由多峰分布( m u l t i m o d a l ) 函数表征，并月有效决策边界在图像空间极有可能是非 线性的。为了使算法有效，要么分类器能在个有限数目的训练样本上进行外 插( e x t r a p o l a t i o n ) 运算，要么能否非常高效地处理人量的高维空间训练样本。 目前已经有多种技术在单张图像中检测人脸，下面将对这些算法加以分类 和评估。 第9 页 第2 章人脸跟踪与合成综述 浙江大学博十学位论文 2 2 1 在单张图像中检测人脸 在单张图像中检测人脸的方法可以分为4 类，一些方法可能会跨越这些分 类的边界。 1 基于知识的方法。这些基于规则的力浊将一个典型的人脸由哪些部 分组成的人类经验知识编码在内。通常，这些规则捕获了人脸特征 间的关系。这种方法主要用于人脸定位。 2 特征无关的方法。肖存在姿态、视角、与光照条件变化的情况下， 这种方法致力于寻找结构化信息以定位人脸。这种方法也主要用f 人脸定位。 3 基于模板匹配的方法。保存人脸的几个标准的模式来对整个人脸或 者人脸特征进行描述。计算输入图像与已保存模式的相关性以用于 检测人脸。这种方法已经被用丁二人脸定位和人脸检测。 4 基于外观的方法。与模板匹配的方法相反，这种方法从一组训练图 像中学习出包含人脸外观典型变化的模型。这种学习得到的模型可 以用于检测人脸。这种方法主要用于人脸检测。 表2 一】给出了人脸检测的典型算法。 表2 - 1 在单张图像中检测人脸的方法分类。 种类方法代表性工作 基于知识的基于规则的多分辨率方法 y a n ga n dh u a n g19 9 4 人脸特征 边缘组方法 l e u n g e la 1 1 9 9 5 】【y o wa n dc i p o l l a1 9 9 7 】 纹理人脸模式的空间灰度级相关矩阵( s g l d ) 【d a ia n d n a k a n o1 9 9 6 】 特征无关的 肤色 g a u s s i a n 混合模型f y m a ga n dw a i b e l1 9 9 6 】i m c k e n n a e ta 1 1 9 9 8 p r 】 多个特征 集成肤色、人小和形状i k j e l d s e n a n dk e n d e r1 9 9 6 预定义人脸模板 形状模板 c r a w e ta 1 1 9 9 2 基于模板匹 可变形模板 主动形状模型( a s m ) 【l a n i t i se ta l1 9 9 5 1 院的 主动外观模型( a a m ) c o o t e s e ta 1 2 0 0 1 】 基于外观的e i g e n f a c e 特征向量分解与聚类 t u r ka n dp e n t l a n d1 9 9 1 第2 章人脸跟踪与台成综述 浙江大学博十学位论文 基丁分布的 o a u s s i a n 分布和多层感知器( p e r c e p t r o n ) s u n ga n d p o g g i o1 9 9 8 】 神经网络神经网络集合体( e n s e m b l e ) 和仲裁方案【r o w l e ye la l 1 9 9 8 儿f e r a u de ta 1 2 0 0 1 支持向量1 j ) l ( s v m )使用多项式核函数的s v m o s u n ae t a l 1 9 9 7 】 【h e i s e l e ye ta 1 2 0 0 1 】 自然( n a i v e ) 1 3 q , | _ 斯分类器局部外观和位置的联合概率 s c h n e i d e r m a na n dk a n a d e 19 9 8 【s e h n e i d e n n a n2 0 0 4 隐式马尔可夫链( h m m )使用h m m 提取高阶统计倍g r a j a g o p a l a ne ta 1 1 9 9 8 n e f i a na n dh a y e s2 0 0 0 】 信息论方法 k u l l b a c k 相对信息 l e w1 9 9 6 lf l i ua n ds h u m2 0 0 3 】 2 3 人脸跟踪 人脸跟踪建立在人脸检测的基础之上，按照所跟踪运动的不同，可以分为 对刚体人脸整体( 人头) 的跟踪，和对非刚体人脸特征( 表情) 跟踪。 2 3 1 人脸及人脸特征跟踪概述 在人脸检测后，可以对人脸和其特征进行跟踪。人脸及人脸特征跟踪对于 基于s f m ( s h a p ef r o mm o t i o n ) 的人脸模型重建非常重要，另外人脸特征跟踪对 人脸表情识) 3 1 1 ( f a c i a le x p r e s s i o nr e c o g n i t i o n ) 和注视识3 1 l ( g a z er e c o g n i t i o n ) 也非 常重要。跟踪也在时空识别方法中扮演一个关键角色 l ia n dc h e l t a p p a2 0 0 1 1 【l i e ta 1 2 0 0 1 1 ，因为这种识别方法直接使用跟踪得到的信息。 在其最通用的形式下，跟踪本质上是运动估计( m o t i o ne s t i m m i o n ) 。但是通 用的运动估计具有根本的局限性，比如孔径问题( a p e n u mp r o b l e m ) 。对人脸图 像而言，一些区域太光滑以至于难以精确地估计光流，另外有时局部外观的变 化太大而不能给出可靠的光流。但是通过发掘领域内知识，通过人脸建模可以 减轻这种问题。一般而言，跟踪和建模是一个双重过程：使用一个通用3 d 模 型或者一个学习得到的统计模型的变形约束跟踪，并且在跟踪中求精个性化人 脸模型。 人脸跟踪可以大致分为3 类： 1 人头跟踪( h e a dt r a c k i n g ) 。涉及跟踪包括旋转和平移的刚性物体运动。 第1 1 页 第2 章人脸跟踪与合成综述 浙江大学博士学位论文 2 人脸特征跟踪( f a c i a lf e a t u r et r a c k i n g ) 。涉及跟踪受人头解剖结构限制的非 刚性的变形。也就是由于讲话或人脸表情引起的枢接运动( a r t i c u l a t e dm o t i o n ) 和由肌肉收缩和松弛所引起的变形运动( d e f o r m a b l em o t i o n ) 。 3 完全跟踪( c o m p l e t et r a c k i n 9 1 。涉及同时跟踪人头和人脸特征。 早期的工作主要集中在前两个问题上：人头跟踪 a z a r b a y e j a n ie ta 1 1 9 9 3 和 人脸特征跟踪 t e r z o p o u l o sa n dw a t e r s1 9 9 3 】i y u i l l ea n dh a l l i n a n1 9 9 2 。 a z a r b a y e j a n i 等使片 具有高h e s s i a n 值的点束对人头进行跟踪。跟踪了人头上的 些这样的点，并且通过求解一组过约束的运动方程，从而得到人头的3 d 运 动参数。人脸特征跟踪可以使用这些特征边界或者特征区域信息。特征边界跟 踪尝试于跟踪并描绘出人脸特征的形状，如跟踪人嘴巴的轮廓 t e r z o p o u l o sa n d w a t e r s1 9 9 3 。人脸区域跟踪( f e a t u r er e g i o nt r a c k i n g ) 目标是解决一个简单些的 问题：跟踪一个区域，比如一一个人脸特征的边界框( b o u n d i n gb o x ) b l a c ke t a 1 1 9 9 5 】。 b l a c k 等提出一一个基于局部参数化模型的系统以用于识别人脸表情。这个模 型包括一个人头的平面模型( p l a n a rm o d e l ) 、针对人眼的局部仿射模型( l o c a l a f f i n em o d e l ) 、针对嘴巴和眉毛的局部仿射和曲率模型 b l a c ke ta 1 1 9 9 5 。 m a u r e r 和m a l s b u r y 使用一个人脸跟踪系统来估计人脸的姿势m a u r e ra n d m a l s b u r g1 9 9 6 1 。这个系统使用有2 0 4 0 个节点的图来对人脸进行建模。埘人 脸的知识被用于在首帧中找到这些节点。j e b a r a 等和s t r o m 等描述了两个跟踪 系统 j e b a r ae ta 1 1 9 9 8 】【s t r o me ta 1 1 9 9 9 1 ，使用纹理利几何信息对人脸进行全面 建模。两个系统都使用通用3 d 模型和s f m 来恢复人脸的结构。j e b a r a 等依靠 固定的人脸特征点( 1 1 1 i 睛、鼻尖) ，而s t r o m 等只跟踪具有较高h e s s i a n 值的点。 另外，j e b a r a 等通过变形3 d 模型来跟踪2 d 特征，而s t r o m 等依赖于3 d 模型 与图像的直接对比。b l a c k 等、h a g e r 和b e l h u m e u