（信号与信息处理专业论文）人脸面部统计建模的研究及其在表情识别中的应用.pdf

摘要 计算机视觉和模式识别是当今科研领域中前沿的课题，其中包含的一个重要内容就是图 象理解。图象理解的含义是指。不仅仅是能让机器智能地恢复出图象的结构，而且能够让机 器知道这幅图象的意义，或者说这幅图象究竟代表了什么。根据图象理解的内涵。首先应该 构造一个合理的模型来表征图象中所包含物体的结构，然后让计算机( 机器) 通过学习来智 能地识别这种结构。在当前科研的背景下，我们意识到完成这项任务是非常艰巨和困难的。 在过去的十几年中，人们已经利用统计建模的思想对世界中的物体结构如何描述进行7 一定 的研究，但远远还没有形成一套成熟、系统和广泛应用的理论模式；尤其是对于具有复杂结 构和易变形状的物体，比如，人脸或人体的某些器官( 如心室) 等，构造一个合理、泛化性 能良好的模型来描述图象中包含的物体结构更加困难。 本文以人脸为研究对象，针对当前主流的两种统计建模方法，主动形状建模( a s m ) 和 主动面部建模( 从m ) 方法，对其中的若干关键问题进行了深入地研究，并将研究成果应用 于面部表情识别系统，开拓了面部表情识别算法的新思路，增强了系统的鲁棒性，具体的研 究内容着重体现在以下几点： 1 系统综述了面部统计建模方法的历史与现状 对国内外该领域的研究动态进行了详细地综述，并对面部统计建模中的重点、难点以及 应用前景进行了阐述。 2 对传统的主动形状模型进行了详细地讨论 传统主动形状模型包括两个子模型，全局形状模型和局部纹理模型，它们分别是由对应 于训练集中的关键特征点进行主分量分析获得。全局形状模型是对所搜索图象中的物体的整 体形状进行约束，使之产生的形状与训练集合中的形状类似；而局部纹理模型则对如何进行 图象的搜索指明了方向，为搜索能够朝着最优的方向提供了理论依据。 3 对传统的主动面部模型进行了深入地研究 相对于主动形状模型而吉，传统主动面部模型则包含了更加丰富的面部纹理信息，主要 体现在模型的构建过程中使用了全局的面部纹理信息，而不象主动形状模型那样，仅仅使用 面部关键点附近( 法线方向) 的信息。因此，从某种意义上说，主动面部模型是主动形状模 型的推广，它的性能要优于主动形状模型；然而，由于使用了全部的面部纹理信息，同时带 来了计算量的增加。 4 对主动形状模型进行了推广，提出了加权主动形状模型 针对主动形状模型构建中的几个问题进行了深入研究，体现在以下几点： 对主动形状建模初期的预处理算法进行了研究，将一般的广义对齐算法进行了核 化，使其推广到非线性的情况，增强了预处理的性能。 对较少标定点条件下的主动形状模型进行了研究，根据人脸轮廓在整个面部信息中 所占比重较大这一先验知识，通过改变面部质心的方式来进一步提升搜索的速度， 加快了a s m 方法搜索的性能。 对传统主动形状模型中的局部纹理子模型进行了研究，通过深入挖掘局部纹理的信 息，将局部纹理模型进行了推广，由三个子模型来代替，分别从形状的内部、形状 本身及其外部三个方向来对其进行约束，不仅提高了搜索的速度，同时也改善了搜 索的精度。 5 局部信息缺损条件下的主动面部建模方法的研究 在许多情况下，由于获得的人脸面部图象往往是有遮挡的或信息缺损的。针对这种现象 的经常性，对局部信息缺损下的主动面部模型构建进行了深入的研究。借助于缺损信息条件 下的主分量分析这一有利的工具，将传统的主动面部建模方法推广为局部信息缺损条件下的 主动面部建模。实验证明，我们提供的方法在一定程度上可以将有遮挡的图象恢复( 重建) 出来，而且在某种精度下可以取得令人满意的效果。 6 将主动形状模型运用于面部表情识别 将主动形状模型、g a b o r 变换以及弹性图匹配结合起来，应用于面部表情识别，开拓了 面部表情识别的新思路，改进了提取特征参数的精度，从而也提高了识别的性能。 关键词：统计建模，主动形状模型( a s m ) ，主动表面模型( a a m ) ，加权主动形状模型( w a a m ) ， 局部纹理模型，人脸识别，面部表情识别，面部特征配准，主成分分析( p c a ) ，信息缺损 下的主成分分析( p c a 岫) ，g a b o r 变换，弹性图匹配，图象卷绕 i i a b s t r a c t a tp s e n t , c o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o na r et w op o p u l a rt o p i c so f m o d e mr e s e a r c h f i e l d ，a n di m a g eu n d e r s t a n d i n gi st h ek e yc o m p o n e n to ft h e m ，w h i c hi n c l u d e st w of u n c t i o n s ，o n e i st h ea b i l i t yt of e c o v 日i m a g e $ 1 1 1 1 e 1 1 t 1 1 i n t e l l e c t u a l l y , a n dt h eo t h e ri 8t ok n o ww h a ti tr c p r l 镕e n t t l b yd e f i n i t i o n , t h i si n v o l v e st h e 雠o f s u i t a b l em o d e l st od e s c r i b ea n d l a b e lt h ea 印e c t e ds t m c h 玳 o f w o r l df i r s t l y , a n dt h e ns u b s e q u e n t l y , t l a em a c h i n ec a nr e c o g n i z et h em e a n i n go f i m a g et h r o u g h t h em o d e l s u n d e rt h ec u r r e n tr e s e a r c hc o n d i t i o n , w el e a r n e dt h a tt h i st a s ki sv e r yd i f f i c u l t o v e r t h ep a s td e c a d e ，m a n yr e s e a r c h e r sh a de x p l o r e dt h eo b j e c ts t r u c t u r e so f w o r l db a s e d0 1 1s t a t i s t i c a l m o d e l i n ga th o m ea n da b r o a c ki n , t t l a e s er e s e a r e l a e smn o tc o m p l e t ee v e nv e r yj u n i o r , a n d o t h e rt h a nt h ep r a c t i c a la p p l i c a t i o n p a r t i c u l a r l y , f o rt h ec o m p l e xa n dv a r i a b l ei m a g e ss u c h f a c e so rt h ei n t e r n a lo r g a n so ft h eh u m a nb o d y ( a sv e n t r i c l e ) a n d5 0o n , i ti 8l n o r ed i f f i c u l tt o e o t m t t a l e tar e a s o t u l b l ea n dg e n e r a l i z e dm o d e lf o ri m a g eu n d e r s t a n d i n g a st h et w op o p u l a rs t a t i s t i c a lm o d e l s ，t h ea c t i v es h a p em o d e l sa n da c t i v ea p p e a r a n c em o d e l s h a v eb e e np a i di n o l a t t e n t i o nf o rs e v e r a ly e a r sa g o ，a n dt h i sd i s s e r t a t i o nh a dg i v e nd e 印 r e s e a r c h e sc o n t i m f l yo i lt h em a n yk e yp r o b l e m so ft l a c m a n dm a d et h er e s e a r e hr e s u l t sa p p l y i n g f o rf a c i a le x p r e s s i o l ar e c o g n i t i o ns y s t e m ，w h i c hp r o v e dt h a to u rr e s e a r e l li sv a l i df o ri m p r o v i n gt h e r e c o g n i t i o nr a t e sa n da l s ob o o s t i n gu pf i l er o b u s t n e s so fs y s t e m o u rr e s e a r c h e s 勰m a i n l yl i s t e d 鹊f o l l o w i n g i i n t r o d u c e dt h eh i s t o r ya n dc u r r e n tc o n d i t i o no fs t a t i s t i c a la p p e a r a n c em o d e l i n gm e t h o d sa t h o m ea n da b r o a dd e t a i l y , a n dd e m o n s t r a t e dt h ek e yp r o b l e m sa n dp r a c t i c a la p p l i c a t i o ni nf u t u r e 2 d i s c u s s e dt h et r a d i t i o n a la c t i v es h a p em o d e l s ( a s m ) d e e p l y t h ea c t i v es h a p em o d e l si n c l u d e s1 w o p a r t s ，g l o b a ls h a p em o d e l sa n dl o c a lt c t t u r cm o d e l s ， a n dt h e ya a l ld e r i v e df r o mt h ep o i n td i s t r i b u t i o nm o d e l s ，w h i c hi sf r o mt h ec o r r e s p o n d i n g a n n o t a t i o nl a n d m a r k s t h ep r o p o s eo fg l o b a ls h a p em o d e le o m u a i n t st h ew h o l es h a p em o d e li n s e a r c h i n gn c wi m a g e , a n dt h el o c a lt e x t u r em o d e lw i l ld e m o n s t r a t et h ed i r e c t i o nh o w t os e a r c h ， w h i c hg i v et h et h e o r ys u p p o r tf o ro p t i m i z a t i o n 3 d i s c u s s e dt h et r a d i t i o n a la c t i v ea l l p p e a l m c em o d e l s ( a a m ) d e e p l y c o m p a r e dw i t ht h ea c t i v es h a p em o d e l s ，t r a d i d o n a la c t i v ea p p e a r a n c er o o d e i si n c l u d em o r e r i c ht e x t u r ei n f o r m a t i o n ，w h i c he m b o d yt h a tt h ee o n s l z u e t i o no f a a mi n c l u d e sg l o b a la p p e a r a n c e t e x t u r ei n f o r m a t i o n ，n o tj u s t l yl i k et i l ea c t i v es h a p em o d e l s ，w h i c ho n l yu s e dt h en e i g h b o r e d i n f o r m a t i o no f k e yl a n d m a r k s s o ，a c t i v ea p p e a r a n c em o d e l sa r et h eg e n e r a l i z a t i o no f a c t i v es h a p e m o d e l ，a n di t sp e r f o r m a n c ei ss u p e r i o rt ot h ea s m ；0 1 1 1t h eo t h e rh a n d ，a c t i v ea p p e a r a n c em o d e l s w i l lc o n s l l l n l l 。m o r et i m et h a na c t i v es l o p em o d e lf o ru s i n gm o r et e x t u r ei n f o r m a t i o n 4 t o o kt h eg 衄e r a l i z a t i o nf o ro r i g i n a la c t i v es h a p em o d e la n dp r o p o s e dt l l w e i g h t e da c t i v e s h a p em o d e l ( w a a m ) i l l m a d et h er e s e a r c ho nt h ep r e r e a t m e n tf o rt h ea c t i v es h a p em o d e l s a n di n t r o d u c e dt h e k e r n e lm e t h o dt og e n e r a l i z ep r o c r u s t e sa n a l y s i sm e t h o d w h i c hm a k et h ec l a s s i f i c a t i o n f r o mn o n l m e a rt ol i n e a rs p a c ea n di m p r o v et h ec l a s s i f i c a t i o np e r f o r m a n c e m a d er e s e a r c ho nt h ea c t i v es h a p em o d e l su n d e rf e w e rl a n d m a r k sc o n d i t i o n a c c o r d i n g t ot h el a n d m a r k so f f a c ec o n t o u rc o v e r i n gm o r er e g i o no f f a c et h a no t h e rl a n d m a r k s ，w e i m p r o v e d t h e s e a r c h 罐c d u s i n g t h ec h a n g e t h ec e n t r o i d o f f a c es t e p b y s t e p m a d er e s e a r c ho nt h el o c a lt e x t u r em o d eo fa s m t h r o u g hd i g g i n gt h el o c a lt e x t u r e i n f o r m a t i o nw eg e n e r a l i z e dt h eo r i g i n a ll o c a lt e x t u r em o d e l ，w h i c hw a sr e p l a c e db y t h r e es u bm o d e l s ，a n dt h et h r e es u bm o d e l sw i l lc o n s t r a i n tt h ea s mf r o mt h ei n n o u t e r a n di t s e l f t h er e s u l t ss h o w e do u ri m p r o v e dm e t h o dn o to n l yi m p r o v e dt h es e a r c hs p e e d , b u ta l s ol l l a d et h ep o i n tl o c a t i o na g 口l r a c yb e t t e r 5 m a d er e s e a r c ho nt h ea c t i v ea p p e a r a n c em o d e lw i t ho c c l u s i o n s o m e t i m e sw eo f t e ne n c o u n t e r e dt h ef a c ei m a g e sw i mo c c l u s i o n , w h i c ha r ec a u s e db y8 0 m e r e a s o n ss u c h 勰3 dp o s ev a r i a t i o na n ds oo n a i m i n ga tt h ef r e q u e n c yo fp h e n o m e n o n , w e d i s c u s s e dt h et o p i co f h o wt oc o u s l r o c tt h ea a mw i t ho c c l u s i o na n dr e c o n s t m c t eo f o c c l u d e d f a c ei m a g e s b ym e a n so f t h ep r i n c i p a lc o m p o n e n t sa n a l y s i sw i t hm i s s i n gd a t a ( p c a m d ) w e c o m p l e t e dt h ef a c ei m a g e sr e c o n s t r u c t i o nu n d e ro c c l u s i o nc o n d i t i o n , a n dt h ee x p e r i m e n t ss h o w t h a to u rp r o p o s e dm e t h o di se f f e c t i v e 6 a p p l i e dt h ea c t i v es h a p em o d e lt of a c i a le x p r e s s i o nr e c o g n i t i o n c o m b i n i n gw i l ht h ea c t i v es h a p em o d e la n dg a b o ri r a n s f o r m a t i o na n de l a s t i ct e m p l em e t h o d w ee x p l o i t e dan o wi d e ao ff a c i a le x p r e s s i o nr e c o g n i t i o n ，w h i c hi m p r o v e dt h ea c c u r a c yo f f e n m mp a r a m e t e r sa n dp e r f o r m a n c eo f r e c o g n i t i o n k e yw o r d s ：s t a t i s t i c a lm o d e l ，a c t i v es h a p em o d e l s ，a c t i v ea p p e a r a n c em o d e l s ，w e i g h t e da c t i v e s h a p e rm o d e l ，l o c a lt e x t u r em o d e l ，f a c er e c o g n i t i o n ，f a c i a le x p r e s s i o nr e c o g n i t i o n ，f a c ea l i g n m e n t ， p r i n c i p a lc o m p o n e n ta n a l y s i s p r i n c i p a lc o m p o n e n ta n a l y s i s w i l l l m i s s i n gd a t a ,g a b u r t r a n s f o r m a t i o n ，e l a s t i ct e m p l em e t h o d , i m a g ew a r p 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文 中作了明确的说明并表示了谢意。 研究生签名：笠是鱼日 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论 文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子 文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查 阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名戢函导师签名 日期 u 御| 2 - - 第一章绪论 第一章绪论 1 1 统计方法面部建模综述 计算机视觉和模式识别是当今科研领域中前沿的课题，其中包含的一个重要内容就是图 象理解。图象理解的含义是指，不仅仅是能让机器智能地恢复出图象中包含物体的结构，而 且能够让机器知道这幅图象的意义，或者说这幅图象究竟代表了什么。根据图象理解的含义， 首先应该构造一个合理的模型来表征图象中包含的物体结构，然后让计算机( 机器) 通过学 习来智能地识别这种结构。在当前科研的背景下，我们意识到完成这项任务是非常艰巨和困 难的。在过去的十几年中，人们已经利用统计建模的思想来描述世界中的物体进行了一定地 研究，但远远还没有形成一套成熟、广泛应用的理论和模式，尤其是对于具有复杂结构和易 变形状的物体，比如人脸、人体的某些器官( 如心室) 等。构造一个合理、泛化性能良好的 模型则更加困难。本文以人脸作为研究对象，结合前人的研究工作，利用统计学的理论知识， 对人脸的形状和纹理模型的构建进行了深入地探讨和研究。 人脸是人体最具表达力的一部分，它具有个性化和多样化的特点。世界上没有完全相同 的人脸，因而我们可以通过人脸鉴别出个人的身份特征；同时，人脸也是人类情感表达的窗 口，我们能够根据一个人的脸部表情来推断他的气质、情绪等情感状态。复制逼真的人脸， 是人们长期以来的追求。早期常采用的方法包括手工绘画、泥塑、雕刻等。随着科技的发展， 出现了照相的方法来再现真实人脸。二十世纪中期开始，计算机技术得到了迅猛发展，人们 使用计算机在人脸复制方面的研究也越来越多，并取得了丰厚的成果。现在，人脸建模己经 成为计算机图形学领域的一个研究热点而受到普遍的关注，2 0 0 2 年的动画杂志最高荣誉奖 即授予了人脸表情动画系统：f a c e s t a t i o n ，市场需求是人脸建模研究不断发展的原动力。现 在，人脸建模技术己经广泛地应用于影视制作、游戏娱乐，医学辅助诊断治疗和教学科研等 诸多领域。 为了在计算机中真实地表现人脸，我们需要对人脸进行建模。人脸的外观特征主要分为 两部分：几何外观( g e o m e t r y ) 和纹理外观( t e x t u r e ) 。人脸的几何外观指的是人脸的几何外形 特征，如鼻子的高低，嘴部的宽窄等可以在三维空间中进行度量的特征。人脸的纹理外观指 的则是人脸的色彩( 灰度) 特征。如肌肤的颜色与明暗，眼球的颜色等可以在图像空间中进行 度量的特征。这种对人脸特征的划分方式便于计算机对人脸的表示和渲染，计算机人脸建模 时，分别对人脸的上述两个特征进行建模。 人脸建模是一个从无到有的过程。根据实现原理不同，目前已有的人脸建模方法大致可 以分为以下几类：手工建模、特征建模、扫描建模、几何建模、统计建模。 1 ) 手工建模：制作者借助制作软件，比如3 d m a ) 【m a y a 等，在计算机中绘制出人脸模型 这种方法的优点是易于实现，不受环境影响。缺点是制作费时费力。模型效果好坏基本取决 于制作者的绘制水平，因此对制作者有很高的要求，一般需要经过专业的训练才可以。 2 ) 特征建模：这种方法一般是从照片或视频中提取人脸特征点，将不同角度提取的相同 i 东南大学博士学位论文 特征点进行对应计算出特征点的空间坐标，然后用这些特征点坐标插值变形一张中性人脸网 格，从而重构出人脸模型。在上世纪9 0 年代初，t a k i m o t o 等人用两张人脸照片来建立人脸 模型 t y 9 3 。首先从正、侧两个互相垂直的方向拍摄两张人脸照片，两张人脸照片上分别用 矩形标出眼睛、鼻子、嘴等关键特征所在区域，在每个区域中搜索图像边界从而确定具体特 征点的位置，然后根据正侧面相同特征点的对应关系确定特征点的坐标，再用特征点的坐标 来插值变形一个中性人脸网格，从而构造出特定人的人脸几何模型。把正侧面人脸照片投影 到环绕人脸模型的圆柱面上，重叠的部分进行融合实现平滑过渡，这样就生成了模型的纹理。 这种方法的优点是简单易行，在后来的人脸合成研究中被大量使用。但是实际操作中这种方 法很容易产生较大的误差，模型效果欠佳。 p i g h i n 等人 p h9 8 开发了一套系统，他们从5 个角度拍摄人脸照片，在每张照片上手工 标出1 3 个特征点的位置以及一些特征曲线，通过这些特征的对应对中性人脸网格进行变形， 从而得到特定人的人脸几何模型。在提取纹理上，他们提出两种方案，第一种是视角无关纹 理，即用5 张照片组合成一张固定纹理：第二种是视角相关纹理，即根据视角变化，5 张照片 用变化的加权系数来合成纹理。视角相关纹理的效果要比视角无关纹理稍好，但是需要实时 处理。p i g h i n 的方法可以生成具有相当真实感的三维人脸模型，但是需要大量的手工工作， 难以推广。 微软研究院的l i u 等人 l z 0 0 用人脸视频作为输入，用户需要在其中两帧中各标出5 个特 征点，然后在视频中计算并对应角点就可以自动生成与视频相应的人脸模型。该方法操作简 便，但是由于角点的自动提取误差较大，导致模型几何表面的误差也比较大。 3 ) 扫描建模：l e e 等人 l d 9 5 用扫描仪来创建人脸模型。这种方法得到的模型非常精细， 准确度也高。但是设备本身造价昂贵，而且模特必须在场，扫描后的模型还需要经过软件处 理，排除扫描中的一些错误结果。这种方法只能适合一些对模型逼真度要求很高的应用，但 由于操作条件苛刻，无法推广。 4 ) 几何模型：人脸的几何模型是用来对人脸的几何外形特征进行建模的。人脸可以看作 是有许多复杂的空间曲面所构成，这些曲面大多难以用精确的曲面方程( 解析式) 来描述。而 且，人脸上还有很多几何细节，如耳廓、鼻翼、嘴角等等，由很多几何微结构所构成，需要 很高的几何分辨率才能够较好的描述。由于人脸的几何外形特征具有上述的复杂性，我们很 难用计算机对人脸模型进行精确的几何建模。所幸的是，人们的视觉分辨率是有限的，所以 我们可以在不同的应用环境中，根据不同的视觉分辨率选择适当的几何分辨率来对人脸进 行几何建模。在人脸建模研究的早期，人们试图用一些解析曲线曲面来建立人脸的近似几 何模型，比如标准b 样条曲线曲面，n j r b s ( 非均匀有理b 样条) 曲线曲面【郭镔0 4 等。采用解 析曲线曲面来建立人脸几何模型有如下一些优点： 1 ) 由于通常采用的解析曲线曲面具有多阶连续性，所以用这种方法建立的人脸模型具有光 滑的表面。 2 ) 利用解析曲线曲面的几何性质，可以容易地对人脸模型的几何外形进行修改和调整。 3 ) 使用解析曲线曲面表示的人脸几何模型所占用的存储空间较小，只需要存储相应的曲线 曲面参数即可。 2 第一章绪论 上述的人脸几何建模方法也有其固有的缺陷：首先，这种方法通常只能较粗略的描述人脸的 几何外形，对人脸的某些几何细节难以做高精度的描述。如果要较精确地描述这些细节，则 撬个建模方法的代价较大。另外，由于人脸不同部分有不同的几何分辨率，我们希望采用不 同的精度来描述人脸的不同部分，几何细节较多的地方采用较高的精度来描述；反之，则采 用较低的精度。上述的解析曲线曲面建模方法是一种全局性的建模方法，难以采用各分辨 率对模型局部进行建模。 5 ) 统计建模：c o o t e s 等人 c t g s ，c e 9 8 提出了一种基于统计理论的人脸建模方法，他们 分别提出了主动形状模型和主动表面模型。这两种模型都需要以标定好的面部关键点的训练 集作为训练样本，通过预处理之后，再用主分量分析的方法分别对其形状和纹理进行建模。 由于采用了统计的特性，因此所建模型学习了训练集合中样本的特性，从而可以用这些模型 对该种类似的样本进行搜索，乃至压缩，恢复和重建。现在，基于统计的方法已经成为建模 方法中的主流方法。 1 2 国内外统计方法面部建模的研究 我们知道，对于人脸识别或医学图象中物体理解是非常困难的。由于它们的结构复杂性以及 可变性，在一定程度上更加增加了解决这些问题的难度。基于建模的方法对这些难题提供了潜在 的解决方案。通过对期望形状结构地运用。以及他们之间的相互关系以及表面灰度纹理信息，可 以在一定程度上实现对物体的自动理解；同时，利用模型可以生成与训练样本类似的形状物体， 因此，图象的理解也可以解释为对模型参数的寻优问题。 在实际应用中，经常会对同一类的不同形状物体进行处理，如人脸，不同的脸型，以及不同 的肤色，这就涉及到可变性结构的探讨问题，自然而然，我们想到应该建立变形的模板，这种模 板保持该类物体所应具有的本质特征，同时，应该在一定范围内可随意变化，这样可以实现同类 物体的多样性。因此，为了获得某个特定的形状物体，我们首先需要对物体的形状变化的特性进 行研究。基于建模的方法充分利用了训练样本中获得的先验模型，通过对其所对应的参数不同调 整来匹配所要搜索图象中需要查找的物体。这种方法采取的策略是由上到下的，它不同与由下到 上的数据驱动方法；后者，图象数据在较为低级的水平上被查找，寻找到类似于边缘或角点之类 的局部结构，然后将这些特征组合起来，进步来搜索感兴趣的目标。由于没有全局模型的方向 性指导，这种方法经常会搜索失败。 基于统计建模的方法已经得到了广泛的应用，该方法基于统计理论的基础上，通过对事先标 定好的训练集进行分析，建立相应形状和灰度纹理模型，该方法具有以下优点： 1 ) 应用广泛，相同的算法可以应用到不同的解决对象，仅仅是根据不同对象的训练集合得到 列应的模型而已。 2 ) 训练集合关键点的标定中可以充分的包含进有关的专家知识，由此能够对相应的图象进 行更好的理解。 3 ) 对需要被建模的物体给定较少的先验假设即可，主要信息来自于训练集中样本自身的统计 学习，因此，被选择的训练集中的样本应该具有相当的代表性 3 东南大学博士学位论文 1 9 7 4 年，p a r k e 完成了第一个参数化人脸模型 p a 7 4 ，p a 7 2 a ，p a 7 2 b ，1 9 8 2 年又对参数化 人脸模型进行了改进。参数化模型的基本想法是通过少量控制参数来生成各种不同的人脸和人脸 的各种表情，这样就可以方便地建立人脸模型，进行人脸驱动。理想的参数化模型只要选择合适 的参数值就能够生成任何可能的人脸和任何可能的表情；实际的参数化模型还远远达不到这个理 想的目标。用于人脸建模与驱动的参数可以分为两类，既构造参数与表情参数，这两类参数在某 种程度匕有重叠的部分但是在概念上还是有区别的，构造参数，包括下领宽度，前额形状、鼻 子长度和宽度、脸颊形状等等。用于生产人脸的各种形状。表情参数，包括眼睑张开，眉毛拱起， 下巴旋转，眼睛凝视等，用于产生人脸的各种表情。 类物体最简单的建模方法是用其中的一个典型样本作为缺省代表，通过互相关的方法可 以来匹配需要搜索的图象和缺省代表。假如缺省代表中的结构已经被标定，通过匹配的 操作可以近似获得搜索图象中所包含的物体的结构。例如，对于核磁共振脑图象，通过注册个 专家设计的标准图象，我们可以大致获得该类图象中包含物体的结构位置，显然，这种方法的精 确度是非常低的，不能对目标形状和纹理的可变性来精确跟踪。 另外种表示观测图象中形变物体的方法是手工刻画个模型来解决特定的问题。例如， y u i l l e 等人建立了个人眼的模型 y c 9 2 ，该模型通过些圆和弧线组和来作为一个眼睛的参 数，这种方法针对简单形状和纹理的图象尚可，对于较为复杂的图象则很难凑效。 s t a i b 和d u n c a n 等人用闭环曲线的描述子来表征物体的嗍s d 9 2 ，系数的选择影响了曲线 的复杂度，对每个参数施加适当的约束限制了物体的形状在一定的范围内变化。可以看出，这种 方法已经具备了一些统计方法的特性，但是，它们的泛化性能比较差，比如，一般不能表示开环 边界的限制物体。 k a s s 等人则引进了蛇模型 k w s t ，该模型以能量差最小化为准则。在他们提出的准则公式 中，能量函数包括两个部分，第一称为内部项，目的是通过施加该项的约束来使曲线更加平滑， 第二项是外部项，通过该项的设置可以鼓励图象特征在有限范围内变动。该方法的提出在一定程 度上确实能够定位一股物体的轮廓特征。然而，它也没有全局模型进行约束的缺陷，仅仅对平滑 性进行了强加约束，同时，定位于已知的物体形状不是最优的。 另外值得一提的统计建模方法是由g r e n a n d e r 和m i l l e r 等人提出 g m 9 3 ，然而，他们提出 的方法在实际中在对图象的自动理解上应用比较困难，受限制g - 4 牛颇多。g o o d a l l g 0 9 1 和 b o o k s t e i n b 0 8 9 等人用统计方法来进行分析，但并没有将它们的成果应用于图象的自动理解中。 k i r b y 和s i r o v i c h m s9 0 等人则针对人脸的纹理变化信息进行了研究，但并没有提到人脸的形状 变化。这是很遗憾的。另外，关于变形模板在医学图象中的理解和分析也获得了巨大的成功，具 体可见参考文献【m d 9 6 】。 针对物体形状的可变形，许多学者对此提出了不同的方法，最根本的思想就是允许一个标称 模型在一个既定的物体模型基础上有限制的变化。b a j c s y 和k o v a c i c 提出了一种族的模型，可以 弹性的产生新的样本图象 b k 8 9 。c h r i s t e n s e n 也提出了一种构建变形模型的方滴c r 9 5 ，c h 9 9 ， 但是他们的计算最比较复杂。p a r k p m 9 6 以及p e n t l a n d p s 9 1 等- - ) k 提出了利用有限元的方法来构 建物体的形状和纹理模型。他们用可变模式来描述问题的变化。t u r k 和p e n t l a n d 则采用了主分 量分析的方法来描述人脸的灰度纹理变化的情况【t p 9 1 】，从而提出了特征脸的概念。由于物体的 4 第一章绪论 可变模式由训练样本中统计学习得到，因此比单纯的物理型建模方法要好的多，但他们的方法对 形状的变化表征是不鲁棒的，尤其不能适应人脸姿态和表情的变化。p o g g i o 等人则用随机最优化 的方法来处理模型和未知图象的拟合田p 9 6 ，j p 9 8 。c o o t e s 等人提出了三维的灰度和纹理信息的 建模方法【c t 9 4 1 ，但是并没有给出具体的搜索算法来匹配和查找未知的图象。n a s t a r 等人则综合 物理和统计的方法【n m 9 6 】，对物体进行了建模。但在搜索过程中，对初始化的要求比较高。l a d e s 等人则借助于弹性网格和小波包的方法来进行了形状和灰度纹理的建槐l 、，9 3 】，但是该方法在图 象的综合能力方面有些欠缺。c o v e l l 指出，更新特征的参数可以驱动物体形状的关键点达到正确 的位置 c 0 9 6 实际上后续的a 棚方法是该思想的个升华和推广另外，在 涮和a a m 跟踪算 法的研究过程中，s c l a r o f f 和i s i d o r o 等人同时提出了a c t i v eb l o b s 的方滴s x g s ，该方法也是 通过图象和模型之间的差值来驱动更新搜索，主要的差别是a c t i v eb l o b s 方法来自于某个训练 样本，而a 埘方法则来自于个比较大的训练集合，对训练集合中的样本特性学习地更为充分。 就国外研究动态而言，研究水平最高的主要集中体现在以下兰个地方： 第一，英国曼彻斯特大学图象科学和生物医学工程实验室，该实验室的主要负责人是t f c o o t e s 教授和c j t a y l o r 教授。他们也是主动形状模型和主动表面模型的最早提出者。针对 主动形状模型和主动表面模型，他们已经做了大量的深入研究工作，主要体现在以下几点： 1 成功地运用统计学知识，首先提出了主动形状建模和主动面部建模的概念 c t 9 5 ，c e 9 8 ： 2 根据所提出概念，构造了粗略的基于高斯统计分布的相应建模模型的评价函数； 3 依据相应的评价函数。分别构建了主动形状模型和主动表面模型，并将其成功应用于面部识 别和医学图象处理中 e t c 9 8 ，r c a 0 6 ，p c t 0 6 ； 4 对主动形状模型和主动表面模型进行了比较及延伸性的讨论和研究，提出了基于视角的面部 建模方# 缸c w w 0 0 ，c w t 0 0 】； 第二。美国的卡内基梅隆大学机器人学院视觉和自治系统中心，该方面研究的主要负责人是 s i m o nb a k e r 。他们在对主动形状模型和主动表面模型深入研究的基础上，对统计建模的方法进 行了综合和推广，他们的研究工作主要体现在下列几点： 1 将主动表面模型和a c t i v eb l o b 模型进行了统一，对主动表面模型的概念进行了提升，提出 了宏观的主动表面模型的概g i m b 0 4 , 2 针对宏观的主动表面模型提出了种快速算法田m 0 2 】； 3 人脸面部特征跟踪的研椰m x 0 4 , 4 将二维主动表面模型的构建推广到三维的情况下 x n m 0 4 , 5 研究了在有遮挡条件下如何有效地进行面部模型的构建 r 1 0 4 ，g m b 0 4 b 第三，美国的伊利诺斯州大学b e c k m a n 学院人机接口智能中心实验室，该实验室的主要负责 人是t h o m a ss h u a n g 教授。他们的主要研究方向体现在下面两点： 1 人脸、手以及身体姿态的三维建模、分析和综合 w h 0 5 ： 2 基于语音、视频等多模态的人机交互研翘p l h 0 4 ，z r h 0 3 ，n m h 0 3 ： 至于国内这个领域，高水平的研究主要集中在以下两个地方： 第一，微软亚洲研究院的视觉计算组，他们主要涉猎以下几个方面的研究： 1 分析人脸模式内在结构，即其在高维图像数据中的低维子空问，并有效地建模 w t l 0 6 ， 5 东南大学博士学位论文 x w t 0 5 ； 2 有效的分辨不同个体的人脸模式 x l z m ，z g z 0 3 ，y l l 0 3 。 第二，中科院计算所先进人机通信技术联合实验室，以高文教授为负责人。他们涉猎了 人脸检测、定位以及识别等领域，并且建立了以中国人为样本的人脸库，开发了一套较为实 用的人脸识别系统 柴0 6 ，q s g 0 5 ，山0 5 ，0 s c 0 6 。 综述上面所列国内外研究动态，我们可以发现，基于统计方法的人脸面部建模正进行的 如火如荼，其中许多有关的关键问题仍然还在探索和求解中。因此，在此领域。我们还有许 多问题值得去深入研究；更为重要的是，面部表情识别作为一个新兴的课题，国内外对其研 究才刚刚起步，这为我们