（计算机应用技术专业论文）人脸老化模拟方法研究.pdf

摘要 人脸是人类视觉中最为普遍的一种模式，它复杂又精巧的面部结 构携带了诸如身份、年龄、性别、表情等丰富信息，是人们在日常生 活中相互识别和交流的重要特征和首要依据。随着人的年龄增长，人 脸相貌会产生显著变化，使得对人脸的自动识别更为困难，现已成为 了当前人脸自动识别技术的瓶颈。人脸的老化过程模拟对于提高人脸 识别系统性能、寻人刑侦以及影视娱乐、人机交互、多媒体特技等方 面都有广阔的应用前景。 论文以人脸老化过程为研究对象，结合相似性原理，研究人脸老 化过程中面部的各种变化规律，建立人脸的统计模型，设计相关老化 模拟算法，并采用计算机自动模拟人脸老化过程，预测人脸未来相貌， 具体工作如下：本文采用并改善了目前新兴的人脸层次结构模型，对 样本库中4 0 0 余幅1 5 至4 5 岁的男性黑人头像进行了分层表示，研究 分析人脸老化过程的一般规律，发现其呈非线性变化的基本特征，结 合相似性原理，对人脸各层进行分段线性老化过程模拟，最后逆向合 成老化结果，实现对相貌的预测。 为了验证本文算法的有效性，论文对同一幅原始人像采用基于原 型的老化过程模拟和线性的老化过程模拟，与基于局部五官相似性的 分段线性老化过程模拟进行对比分析，实验结果表明：基于局部五官 相似性的老化过程模拟比以皱纹变换的共性特征作为补偿的方法能 更准确地体现与局部五官的联系，更具个性特征。与直接线性老化过 程模拟相比，非线性老化过程模拟更符合人脸老化的自然规律。在一 定人脸样本图像数量要求的前提下，算法可以得到有效的主客观评价 结果。 关键词人脸的表示，统计模型，人脸合成，人脸老化过程模拟 a b s t r a c t h u m a nf a c ei so n eo ft h em o s tu n i v e r s a lm o d e lo fh u m a nv i s i o n i ti s af a c i a ls t r u c t u r et h a ti sc o m p l e xa n dd e l i c a t e ，s u c ha sp o r t a b l ei d e n t i t y , a g e ，s e x ，w e a l t ho fi n f o r m a t i o n t h ei n f o r m a t i o ni s t h e i m p o r t a n t c h a r a c t e r i s t i c sa n dt h ep r i m a r yb a s i sf o re x c h a n g ea n dm u t u a lr e c o g n i t i o n i np e o p l e sd a i l yl i v e s a s p e o p l ea g e ，f a c i a lf e a t u r e sh a v ec h a n g e d s i g n i f i c a n t l y , w h i c hm a k et h eh u m a nf a c er e c o g n i t i o na u t o m a t i ci sm o r e d i 衢c u l t ，a n dn o wi th a sb e c o m et h et e c h n o l o g yb o t t l e n e c ko fc u r r e n tf a c e r e c o g n i t i o n f a c ea g i n gp r o c e s ss i m u l a t i o ns y s t e mh a v ew i d ea p p l i c a t i o n p r o s p e c tf o ri m p r o v i n gt h ep e r f o r m a n c eo ff a c er e c o g n i t i o n ，c r i m i n a l i n v e s t i g a t i o n ，a s w e l la sf i l ma n dt e l e v i s i o ne n t e r t a i n m e n ts e a r c h h u m a n c o m p u t e ri n t e r a c t i o n ，m u l t i m e d i aa n do t h e rs p e c i a le f f e c t s a so n eo ft h em o s tc o m m o np a t t e r n so fh u m a nv i s i o n ，f a c ei sa c o m p l e xa n dd e l i c a t ef a c i a ls t r u c t u r et h a tc a r r i e sm a n yh u m a nf e a t u r e s s u c ha ss o c i a ls t a t u s ，a g e ，g e n d e r ，e t c f a c ei sa ni m p o r t a n tf e a t u r ea n d p r i m i t i v eb a s i sf o re x c h a n g ea n dm u t u a lr e c o g n i t i o ni np e o p l e sd a i l y l i v e s a sp e o p l ea g e ，f a c i a lf e a t u r e sh a v ec h a n g e ds i g n i f i c a n t l y , w h i c h m a k et h eh u m a nf a c er e c o g n i t i o na u t o m a t i cm o r ed i f f i c u l t n o wf a c i a l f e a t u r eh a sb e c o m ea t e c h n o l o g i c a lb o t t l e n e c kf o rt h ec u r r e n tf a c e r e c o g n i t i o n f a c ea g i n gp r o c e s ss i m u l a t i o ns y s t e mh a sw i d ea p p l i c a t i o n p r o s p e c tf o ri m p r o v i n gt h ep e r f o r m a n c eo ff a c er e c o g n i t i o n ，c r i m i n a l i n v e s t i g a t i o n ，a s w e l la sf i l ma n dt e l e v i s i o ne n t e r t a i n m e n ts e a r c h h u m a n - c o m p u t e ri n t e r a c t i o n m u l t i m e d i aa n do t h e rs p e c i a le f f e c t s t h em a i nm o t i v a t i o no ft h i st h e s i si st oc o m b i n et h es i m i l a r i t y p r i n c i p l et o ：( 1 ) s t u d yt h el a wo fc h a n g e si nf a c i a la g i n gp r o c e s s ；( 2 ) e s t a b l i s ht h es t a t i s t i c a lm o d e lo ff a c ea n dd e s i g na l g o r i t h mf o ra g i n g s i m u l a t i o n ；( 3 ) s i m u l a t ef a c ea g i n gp r o c e s sa u t o m a t e du s i n gc o m p u t e rt o p r e d i c tt h e f u t u r e a p p e a r a n c eo ff a c et h ed e t a i l e d r e s e a r c hw o r k s i n c l u d e st h ef o l l o w i n ga s p e c t s ：i ti sa d o p t e dah i e r a r c h i c a ls t r u c t u r em o d e l t os a m p l eal i b r a r yo fm o r et h a n4 0 0p i e c e sb l a c km a l eo f15t o 4 5 一y e a r - o l d i t w a sf o u n dt h a tt h er u l e so ft h ef a c i a l a g i n gp r o c e s s c h a n g e dn o n l i n e a r l y t h e ni ti sc a r r i e do u tp i e c e w i s e 1 i n e a rs i m u l a t i o no f t h ea g i n gp r o c e s s ，c o m b i n e dw i t ht h ep r i n c i p l eo fs i m i l a r i t yo fh u m a n f a c e sa ta l ll e v e l sa n df i n a l l ys y n t h e s i st h er e s u l t sf a c e so ft h ea g i n g r e v e r s e l yt oa c h i e v et h ef o r e c a s tl o o k s i no r d e rt ov e r i f yt h ev a l i d i t yo ft h ea l g o r i t h m ，t h r e em e t h o d sa r e a d o p t e dw h i c ha r es i m u l a t i o nb a s e do nt h eo r i g i n a lp o r t r a i to ft h ea g i n g p r o c e s s ，l i n e a rs i m u l a t i o no ft h ea g i n gp r o c e s sa n dt h ep i e c e w i s e l i n e a r s i m u l a t i o nb a s e do n1 0 c a ls i m i l a r i t y , t h ec o m p a r e de x p e r i m e n t a lr e s u l t s s h o wt h a t ：t h em e t h o db a s e do nl o c a ls i m i l a rs i m u l a t i o no ft h ea g i n g p r o c e s sc a nm o r ea c c u r a t e l yr e f l e c tt h e1 i n kw i t ht h el o c a lf e a t u r e sa n d p e r s o n a l i t yt h a nt h em e t h o dt r a n s f o r m i n gt h ec o m m o nc h a r a c t e r i s t i c so f w r i n k l e sa sac o m p e n s a t i o n c o m p a r e dw i t hl i n e a r , p i e c e w i s e l i n e a r s i m u l a t i o no ft h ea g i n gp r o c e s si sm o r ei nl i n ew i t ht h ea g i n gf a c eo ft h e l a w so fn a t u r e i nac e r t a i nn u m b e ro fs a m p l e s ，t h ea l g o r i t h mc a nb e s u b je c t i v ea n do b ie c t i v ee v a l u a t i o n k e yw o r d sf a c i a ls t r u c t u r e ，s t a t i s t i c a lm o d e lo ff a c e ，s y n t h e s i sf a c e s ， p i e c e w i s e l i n e a rp r o c e s s 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研 究工作及取得的研究成果。尽我所知，除了论文中特别加以标注 和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究 成果，也不包含为获得中南大学或其他单位的学位或证书而使用 过的材料。与我共同工作的同志对本研究所作的贡献均已在在论 文中作了明确的说明。 作者签名：盈丝 作者签名：丝l 竺二 吼粤年月旦日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学 校有权保留学位论文，允许学位论文被查阅和借阅；学校可以公 布学位论文的全部或部分内容，可以采用复印、缩印或其它手段 保存学位论文；学校可根据国家或湖南省有关部门规定送交学位 论文。 吼雩年鱼月上日 硕士学位论文绪论 1 1人脸老化过程模拟 第一章绪论 人脸图像的处理和老化过程的模拟是计算机图形学、图像处理和计算机视觉 这三个学科领域中的研究热点。人脸面部结构的复杂性，表情的丰富性，老化过 程的不确定性和多样性使得自然、逼真地表示与合成人脸图像，同时准别地表达 年龄信息成为一项极富有挑战性的课题。在人脸识别、人机交互、刑侦、娱乐、 特技和医学等领域，人脸老化过程的模拟都有着广泛的需求与应用。如人脸识别 系统需要进行人像预测以提高识别的准确率；智能机器需要人像预测以免不断更 新人像库；寻找失踪儿童以及追捕潜逃多年的罪犯需要进行人像预测以提高刑侦 的效率等。 从上个世纪七十年代至今，国内外关于人像处理的研究成果很多，最早基于 物理学的老化模拟，是在传统物理几何基础上，充分考虑人脸的生理上的特征以 后，对人脸肌肉模型和物理模型的扩展。1 9 7 4 年p a r k e n l 利用4 0 0 多个顶点2 5 0 多个多边形为人脸建模，形成人脸研究的雏形，1 9 8 2 他瞳1 提出人脸表情的参数模 型，目前得到广泛应用。p i t t e n g e r 和s h a w 口4 1 研究了可能影响人脸轮廓随年龄 变化的各种显著因素，如重力等，发现人脸颅骨的老化是个弹性变化的复杂过程， 而心型线老化带来的人脸轮廓的变化是判断人脸年龄的重要依据。m a r k 悔1 和 b r u c e 等3 将这种方法应用于三维人脸的老化模拟。p i t a n g u y 等n 3 基于人体测量 学理论，发现年龄变化和某些面部器官的几何参数之间存在某种非线性的关系， 可用二次多项式很好的进行拟合。l e t a 等陋1 根据p i t a n g u y 等定义的年龄参数和 变化规律，采用多项式插值的方法对源图像变形得到在不同目标年龄的图像。最 近r a m a n a t h a n 等呻1 综合考虑了人体测量学和心理学中关于人脸老化或生长的因 素，提出了一种颅面生长模型。h u t t o n 等n 们则基于人脸的3 d 网格建立了人脸的 形状模型，并在形状模型空间中采用核平滑的方法建立了生长轨线，基于生长轨 线可以重构出任意目标年龄的人脸的形状，实现人脸的老化模拟。c c h o i n 订利用 主元分析( p r i n c i p a lc o m p o n e n ta n a l y s i s 。p c a ) 和3 d 人脸形状模型的方法， 将人脸变化分为幼年、中年、老年三个阶段，分别进行学习以模拟人脸老化效果。 w u n 2 j 3 1 针对3 维人脸皮肽进行了老化模拟，b e r g n 4 1 则侧重研究了面部轮匝肌的老 化。b o i s s i e u x 等叫也进行了类似的工作。上述这些方法主要侧重于对人脸面部 结构中的某一部分或某些部分进行物理建模和研究，再利用年龄段间的变化差异 重构出未来人像，因而图像真实性不强。 硕士学位论文绪论 采用物理模型进行人脸老化过程模拟相当复杂，计算量较大，所以目前基于 计算机视觉的人脸老化过程模拟更为流行，即利用计算机代替人眼对人脸的老化 过程进行测量、判断和预测，它涉及自动的年龄老化、自动的年龄估计和基于年 龄的对人像的分类等内容。w a n g 等n8 1 7 3 则采用支持向量机( s v m ) 来预测若干年 后人脸关键点的位置，并且借助神经网络对年龄进行估计，结合查询表可重构出 对应目标年龄的人脸图像n 钉。h i l l 等n 鲫则通过在人脸的形状空间和纹理空间中 学习得到一些的老化方向( a g i n gd i r e c t i o n s ) ，在此基础上采用线性或分段的 方法完成目标年龄图像的重构。他们还对人脸图像进行预处理以进行姿态和表情 补偿。k o b a y a s h i 等啪1 则采用f i s h e r 鉴别分析来计算老化方向。l a n i t i s 等口1 1 采用主动外观模型( a c ti v ep p e a r a n c em o d e l ，a a m ) 表示人脸，并提出年龄函 数的概念，用以描述模型参数同年龄变化之间的关系。利用年龄函数不仅可以方 便对人脸图像进行自动年龄估计，还可以确定目标年龄的模型参数，进而可重构 出对应的变化后的人脸图像。p a t t e r s o n 等伫2 1 将文乜1 3 中的方法用于模拟成年人脸 图像的年龄变换，然而效果并不理想。1 9 9 7 年0 t o o l e 乜3 1 提出一种人像漫画生成 算法，充分利用人脸的差异性和可辨识性之间的关系，使人脸的变化兼具人脸形 状的变化和纹理的变化，很好地实现了人脸衰老和年轻化的模拟，产生的动画效 果非常形象逼真。b u r t 等幽3 则针对不同的年龄段建立起了相应的人脸原型 ( p r o t o t y p e ) ，并通过漫画技术将不同原型间形状和纹理的差别融合进源图像以 实现年龄变换。该方法同时对人脸的形状和纹理进行年龄变换，取得了较好的效 果，但对一些高频信息( 如皱纹) 等刻画不够。实际上，原型图像只是每个年龄 段人像信息的平均值，纹理较为光滑，缺少与年龄相关的细节特征( 比如皱纹、 老年斑等) 。 t i d d e m a n 等啦朝采用小波分析的方法，通过局部地改变不同尺度与方向的小 波函数权重来增强边缘幅度，以补充原型图像中损失的纹理信息。为了进一步刻 画头发等结构化纹理，他们拉叫对不同尺度下的纹理采用马尔可夫场建模，并采用 非参数采样的方法进行纹理合成。这两种方法着重于纹理的增强，并没有学习纹 理参数与年龄的关系，以建立相应的更符合自然规律的老化模型。s h a n 等心 提 出了一种基于图像的表面细节变换( i m a g e b a s e ds u r f a c ed e t a i1 t r a n s f e r ， i b s d t ) 技术，并将其应用于人脸图像年龄变换。g a n d h i 等啪1 采用s v m 来对人脸 图像进行自动年龄估计，并结合原型( p r o t o t y p e ) 和i b s d t 技术实现人脸的年 龄变换。然而i b s d t 技术本质上是一种纹理映射技术，因此基于i b s d t 的人脸 年龄变换技术洲同样缺乏对纹理变化和年龄之间关系的学习。郑南宁等 圳采 用了基于稠密特征的人脸图像表示方法，结合心理学中对人脸认知的相关假说， 提出了基于平均脸的人脸图像年轻化变换算法，同时利用衰老纹理比率图投影技 2 硕士学位论文绪论 术实现人脸图像的老化变换。该方法直接将模板图像的高频部分按比例映射到源 图像以达到人脸的老化效果。郑南宁的工作主要集中于人脸表情、年龄变换以及 非完整性信息的重构1 矧，刘剑毅等h 则通过对图像进行小波分解，用年老图像 的高频部分和源图像的低频部分进行重构实现衰老化合成效果。这两种方法只是 将模板图像的高频部分映射到源图像以实现老化过程的模拟，仍缺乏对人脸变化 同年龄之间关系的学习。最近，g o l o v i n s k i y 等h 妇基于高分辨率的3 d 人脸数据， 建立一个描述皱纹、毛孔等细节信息的局部统计模型，在此基础上利用参数化纹 理合成的方法，将年老人脸模板的统计信息映射到源图像，从而实现3 d 人脸数 据的老化模拟。该方法也属于纹理映射的范畴，而且从实验结果上看，仅仅是对 皱纹等细节信息进行了锐化和拉长，真实感不强。 为了描述人脸特征向量和年龄之间的关系，l a n i t i s h 2 4 3 1 采用5 0 个参数来描叙 各种人脸特征信息( 如：表情，光照) ，通过马氏距离来刻画两幅图像之间的差 异，得到的年龄函数：a g e = f ( b ) ，b 为包含5 0 个参数的向量，此方程可以演绎 成线性，二次，三次关于b 的方程，通过研究对比，他发现二次方程产生的误差 最小。l i a n g 等h 4 4 副在总结前人研究成果的基础上，提出了通过建立统计模型和 对年龄方向的预测，进而实现人脸的老化模拟。s c h e r b a u m 等h 刚利用3 d 可变形 人脸模型和生长轨迹实现3 d 人脸老化模拟，为二维人脸添加了精确的深度信息。 这些方法能在一定程度上表达人脸老化的般规律，但并不完全符合人脸非线性 老化的自然规律，其中涉及局部五官及其纹理老化过程模拟的研究成果较少。 为了更准确地表达细节特征，x u h 7 1 提出了一种基于从p ( p c a ) 算法的人脸二 层结构建模方法，在不同的图像分辨率下提取人脸形状和纹理，构成人脸的层次 结构。基于这种模型，s u o 等h 町提出一种多分辨率的人脸模型，并采用动态的马 尔可夫链来对人脸的老化过程显式建模，然而该方法没有充分考虑个性信息对人 脸老化的影响，如五官对相应皱纹的影响，且实验结果对头发、眉毛等结构化较 强的部分刻画真实感不强。 在人脸图像的年龄的估计方面，除了上述提到的采用年龄函数进行年龄的估 计n 6 4 2 4 6 1 以外，k w o n 等h 鲫和h o r n g 等聆利用面部的一些几何参数和皱纹等特征来 对人脸年龄进行大致估计，n a k a n o 等障着重于人脸图像的边缘信息，结合神经 网络技术对人脸图像的年龄分类。这类基于几何特征的方法依赖于特征定位的准 确性，鲁棒性不强。r a m a n a t h a n 和c h e l l a p p a 偈2 1 将年龄估计转化为年龄差的分类 问题，在贝叶斯框架下提出了一种贝叶斯年龄差别分类器( b a y e s i a n a g e n i f f e r e n c e c l a s s i f i e r ) 。g e n g 等啼3 ，5 盯通过统计学习得到了老化模式子空间 ( a g i n gp a t t e r ns u b s p a c e ) ，利用图像在各个子空间上的重构误差的大小来实 现年龄的估计。 硕士学位论文 绪论 人脸老化过程模拟的研究已经经历了近3 0 年的发展，从最早只有形状老化 过程模拟的研究发展至现在的多分辨率，包含纹理的老化过程模拟研究，在人脸 预测的准确性程度和有效性上都有了很大的提高，但对于人脸老化过程都采用线 性的模拟方法，即源人像和目标人像之间无论年龄跨度多大，均根据图像差异进 行线性计算补偿，直接变换得到老化模拟结果。这种老化过程的模拟并不符合人 脸老化过程中逐渐变化的自然规律，而且对于老化过程中个性特征的表达还非常 有限，而这些正是更准确的预测人脸老化的需要解决的关键问题。 1 2研究意义 人脸的老化是不可避免，由于环境、生理和基因等因素使得老化过程存在着 多样性与不可预见性，尤其对于计算机而言，实现对于人脸图像的自动老化过程 模拟更是一个极大的难题，涉及计算机与医学等交叉学科，目前已经成为计算机 视觉领域的热点研究问题之一，也是人脸识别技术的主要瓶颈问题之一。采用计 算机对人脸进行自动老化过程模拟，可以显著提高人脸识别系统的鲁棒性，可以 提高在刑侦领域对于寻找失踪儿童、追捕潜逃多年罪犯的破案率；可以辅助实现 医学整形美容，延缓衰老等，同时在影视已经其他多媒体娱乐领域也有广泛的需 求以及应用。 1 3本文工作 本文根据人脸面部的生态和心态结构组成原理，采用并改善了分层结构对人 脸进行分层分块表示，对样本库中4 0 0 余幅男性黑人头像按照年龄段分库存放； 针对不同年龄段内人像的形状矢量和纹理矢量，抽象基地，经p c a 研究分析描绘 至三维空间，研究分析人脸随着年龄变化的规律特征。设计分段线性老化模拟算 法以符合这中变化规律，由于直接线性变换和基于共性特征作为补偿的方法会造 成个性老化特征的失真，因此针对局部五官及其周边皱纹应用相似性原理进行老 化模拟，最后设计了三个实验进行对比分析，以验证本文算法的有效性。 1 4本文结构 本文共分五章，各章的内容安排如下： 第一章：绪论。阐述了本文的研究背景、研究的主要意义、所做的工作和内 容组织。 第二章：人脸的表示和人脸老化模拟技术综述。论述了人脸模型的建立，人 脸表示的发展和国内外研究现状。对人脸老化过程模拟的经典算法进行了探讨和 4 硕士学位论文绪论 分析。 第三章：人脸的层次表示和非线性老化过程模拟。分析了人脸的老化过程， 对人脸按照层次结构进行表示，针对的人脸层次对象，提出有效的老化过程模拟 算法，包括：基于全局原型的整体层老化过程模拟，合成结果具有人脸老化的 一般特征，包含人脸脸型和五官位置的全局变化特征；基于分段线性的老化过 程模拟算法，较直接线性老化过程模拟更加符合人脸老化的自然规律，得到的老 化结果具有更高的有效性；基于相似性的老化过程模拟算法，应用于局部五官 及其相应的皱纹。给出了分段线性老化过程模拟的结果。并与直接线性和基于原 型的老化过程模拟结果进行了对比和比较分析。 第四章：总结与展望。对本文的研究成果进行总结，并探讨了进一步研究的 方向。 硕士学位论文 第二章当前国内外相关研究方法综述 第二章当前国内外相关研究方法综述 2 1人脸建模方法综述 对人脸图像进行合适的重新表示是人像处理所面临的首要问题，只有将原始 人脸图像经过适当地重新表示后，才有利于后续的图像处理。人脸的面部具有复 杂的物理和生理结构，对于面部结构的分析和理解涉及包括生理学和认知学等多 领域的学科知识。人脸图像描述了人脸形状、皮肤纹理、五官位置、毛发分布等 个体形态特征，以及人物性别、人脸表情、衰老程度、骨骼化、肉感化等生物形 态特征。因此人脸图像的建模就是根据人脸生物形态的共同特性对面容的数学表 达。 2 1 1 人脸模型创建方法及其分类 人脸模型的创建方法通常包括如下几种啪弱瑚3 ： ( 1 ) 通过激光扫描或光栅法重构和获取三维人脸模型。这种方法的缺点是设 备比较昂贵，细节效果也不够好，但是在模型的控制能力与可操作性方面具有自 己的优势，图像信息与个性信息也很完整； ( 2 ) 对于一组平行的二维切层图像( c i 图像，m r i 图像等) 采用边界跟踪的方 法重构建立三维人类脸部模型。如果采用的二维切层图像越细致，那么模型重构 的效果就越佳； ( 3 ) 采用两张或两张以上不同视点( 如正面与侧面9 0 度或两帧序列图像) 的 二维平行投影照片对人脸表面参考点的二维坐标进行定义，完成二维人像的重构 及纹理贴图。这种建立人脸模型方法的难点在于如何提高二维深度信息的准确 度，以及如何实现投影矩阵计算的自动化； ( 4 ) 通过从一个固定的具有人脸共性拓扑结构的初始模型变形获得新的人脸 模型，由于可以通过交互式的调整模型中的特征点位置，逐渐逼近特定人脸的形 状与纹理特征，因此此法在对人脸建立人脸二维图像样本数据库，利用线性对象 类的统计学理论对人脸空问进行数学描述，总结出人脸对象的一般规律，对特定 人像进行模型匹配与表达等方面具有独特的优势。与此同时，也可以结合不同属 性特征的人像数据库实现不同的人像变换。 对同一张人脸，可以建立不同模型，从表达效果上通常分为三维模型与二维 模型两大类；而从原理可以分为参数模型、肌肉模型、几何模型、物理模型、生 理模型和统计模型等六大类。 6 硕士学位论文第二章当前国内外相关研究方法综述 ( 1 ) 参数模型。对于人脸图像中定义一个点特征的参数集合，可以通过改变 参数值实现脸部变换和人像面部表情改变； ( 2 ) 肌肉模型。通过充分研究人脸的解剖信息，主要基于肌肉层的弹性特征， 以及肌肉动力对脸部表情的控制提出的肌肉模型，与参数模型相比，具有更多的 理论依据； ( 3 ) 几何模型。研究对象集中于几何曲面的光滑性以及人脸的拓扑结构，将 人脸表示为几何多边形( 如三角形) 或多形体( 如椭球体) ，对不同的几何网格区域 分别进行处理； ( 4 ) 物理模型。考虑了一定的肌肉模型的建立原理。将人脸表示为多层的弹 性网格结构，与此同时，把皮肤划分为皮肤层、皮下组织层和肌肉层。为了表达 皮肤的物理运动特性，采用了约束性有限元网格； ( 5 ) 生理模型。建立在传统物理几何模型的基础上，可以利用插值技术从两 个已知的人脸模型合成一个新的生理模型。如果需要可以以特定人脸照片为标 准，对新模型进行局部修改与改善，以实现表情和人脸的变换；为了提高人脸模 型包含的生理特征和解剖结构特征信息的准确性，需要同时借助利用人体测量学 理论、神经组织学理论、解剖学理论、心理学理论、生理学理论和统计学理论等 知识； ( 6 ) 统计模型。是指以概率论为基础，采用数学统计方法建立的模型。而针对 一幅人脸图像库中的样本图像或者一幅样本库外的新图像，都可以用库中的样本 图像的线性组合来进行重构。这种表示是建立在一个人脸空间上的，该人脸空间 中的基底可以用原型样本图像表示，也可以由其他理论获得的抽象基底表示( 如 p c a 主元等) 。 人脸模型的合适建立，对人脸进行适当的表示，是人脸老化过程模拟的首要 任务。早期的人脸老化模拟研究主要是采用坐标变换的方法，通过对人脸一些关 键点进行变换从而实现对人脸的老化模拟。下面对人脸模型的几种典型算法进行 介绍。 2 1 2 主动外观模型 l a n i t i s 等2 3 采用主动外观模型( a c t i v ea p p e a r a n c em o d e l ，a a m ) 表示人脸， 并提出年龄函数h 3 1 的概念，用以描述模型参数同年龄变化之间的关系。主动外观 模型搜索算法是一个使用形状和纹理限制的参数模型，可以使我们能够找到新图 像的特征点，生成一个合成图像接近可能某一特定目标图像。生成的合成图像保 留了原始图像的基本特征，消除了光照、位置、角度对于年龄变化研究的影响， 为人脸老化过程模拟提供规范的实验数据。 7 硕士学位论文 第二章当前国内外相关研究方法综述 a a m 的思想最早可以追溯到1 9 8 7 年k a s s 等人提出的s n a k e 方法，主要用于 边界检定与图像分割。该方法用一条由n 个控制点组成的连续闭合曲线作为 s n a k e 模型，再用一个能量函数作为匹配度的评价函数，首先将模型设定在目标 对象预估位置的周围，再通过不断迭代使能量函数是小化，当内外能量达到平衡 时即得到目标对象的边界与特征。1 9 8 9 年y u i l l e 等人此提出使用参数化的可娈形 模板来代替s n a k e 模型，可变形模板概念的提出为a a m 的产生奠定了理论基础。 1 9 9 5 年c o o t e s 等人提出的a a m 算法是a a m 的直接前身，a s m 采用参数化的采 样形状来构成对象形状模型，并利用p c a 方法建立描述形状的控制点的运动模 型，最后利用一组参数租来控制形状控制点的位置变化从而逼近当前对象的形 状，该方法只单纯利用对琢的形状，因此准确率不高。1 9 9 8 年，c o o t e s 等人在 a s m 算法的基础上首先提出a a m ，与a s m 的不同之处是他不仅利用了对象的 形状信息而且利用了对象的纹理信息，而不仅仅是图像形状信息。 个a a m 包括一个形状统计模型和可以概括任意有效例子的灰度外观模 型。图像匹配涉及迭代缩小图像与模型生成图像之间的距离，直到目标图像。大 量的潜在参数，使这成为一个困难的问题。模型参数的每一次更迭都会诱发一个 特定模式的残差。在训练学习阶段，研究模型参数与残差的关系，运用于搜索阶 段，以更好地纠正模型参数。c o o t e s 从4 0 0 幅人像库中建立了人脸模型。如圈 2 - 1 所示，这六帧为从一个a a m 寻找新的面孔的迭代结果，丌始时平均模型位 于真实图像中心。 2 13 多分辨率的人脸模型 图2 - 1 ；分辨率下遮代过程 s u o 等1 提 一种多分辨率的人腩模型， 采用动态的马尔可夹链柬对人脸 的老化过程显式建模。这种多分辨率的人脸模型粟用。种分层的与或图 ( h i e r a r c h i c a n d o rg r a p h ) 表不，同时考虑了面部矗官、皱纹干几头发等的变化， 凶此获得了迄今为j i 撮好的结粜。 s u o “”搜集了5 0 0 0 幅不同年龄段内共5 0 0 0 幅成人头像，通过训练学习以生 成人腑模型。如罔2 2 所示，人脸表示为整体层，砬官层平皱纹层其= 层。糕体 硕士学位论文 第二章当前国内外相关研究方法综述 层具体包括脸形、肤色、五官位置等全局特征：细节层包括局部五官眼、眉、鼻 和嘴；而皱纹与年龄相关，只有在相应的年龄才会出现相应的皱纹，如：鱼尾纹、 抬头纹、眉间纹和笑纹。 图2 - 2 一种罗分辨率下人脸的表示 人像库中人像按照三层结构进行表示，原始的一幅人像将被分割成数个子 块，5 0 0 0 幅人像也将形成更加庞大的人像子库( 图2 。3 ) ，将各个子块根据一定 的老化过程模拟算法进行老化模拟。最后按照人脸模型逆向合成老化结果。由于 搜集同一个人在不同年龄段内规范的人像是比较困难的，这样的人像数据越充分 研究结果也将更准确。分层结构合成的目标人像虽然经过东拼西凑，却在一定程 度上改善了由于数据难于理想对于实验结果带来的负面影响。 硕士学位论文第二章当前国内外相关研究方 去综述 眼嘴甜额皱纹头发 圜 隧黼 鲮溺 憩黼 一 蘩鳓弱 熬荔溺 z 翱 霹黑曩 一 纛黑融 i - - 瓮1 1 图2 - 3 子块图像库 2 2人脸老化过程模拟方法 早期的人脸老化模拟研究主要是采用坐标变换的方法，通过对人脸一些关键 点进行变换从而实现对人脸的老化模拟。主要侧重于人脸形状的变化，利用图像 变形技术( m o q ) h i n g 或w a r p i n g ) 重构出不同年龄的人脸图像，并没有涉及纹理的 变化，因而图像真实性不强。为了同时捕获人脸形状和纹理的变化，b u n t 等1 和s u o 等”分别采用人脸原型和动态的马尔町天链来模拟人脸的老化过程，取得 了较好的效果，被广泛应用，极具代表性。 n n n n 0 a 硕士学位论文第二章当前国内外相关研究方法综述 2 2 1 采用人脸原型老化过程模拟 b u r r m l 等针对不同的年龄段建立起了相应的人脸原型( p r o t o t y p e ) ，并通过 漫画技术将不同原型间形状和纹理的差别融合至源图像中咀直接线性地实现年 龄变换。该方法同时对人脸的形状和纹理进行年龄变换，取得了较好的效果。 人脸原型反映了人脸老化的共性特征，是各年龄段人像平均形状和纹理的集 合。平均人像反映了人脸的共性特征，在人脸空间中作为坐标原点，是五官等信 息的平均分布。b u l l “”将1 4 7 个成年高斯男性人像按照5 年一个区间分成7 个年龄 段，在各个年龄段居间内反复迭代求取各年龄段内的平均形状和平均纹理。形状 迭代求取的具体过程如下： 1 、平移样本库中每张人像的重心至原点。 2 、从中任选一张人像的形状作为平均形状的估计结果，且满足缩放比例 闭= 1 。 3 、将这张人像x 。的形状作为校准对象。 4 、将样本库中所有人像的形状对齐到校准对象。 5 、重新估计对齐后样本库的平均形状。 6 、将平均形状对齐到碥，且满足缩放约束冈= 1 。 7 、如果变化显著，则回到第4 步。 囝q 囝 图2 - 4b u r l 等求取的凡脸原型 平均纹理经过仿射变换，迭代求取。实验结果如图2 _ 4 所示，从左到右，从 上到下的前7 幅人像分别为2 0 5 4 岁问7 个年龄段的平均形状和平均纹理的人像， 硕士学位论文第二章当前国内外相关研究方法综述 第8 幅为2 5 - 2 9 和5 0 5 4 年龄段问形状的差异。 b u t t “1 利用人脸原型内各年龄段平均人像的差异进行年龄变换。以2 5 2 9 岁和 5 0 5 4 岁年龄段变换为例，两幅平均人像之间特征点和矢量差异刻画了年龄变换 的共性特征。如图2 5 所示，左上为新人像，将平均形状的矢量差异添加至新人 像，重构得到老化后的形状结果( m 2 5 右上) 。平均纹理w a r p i n g 至同一形状标 准求取平均纹理的矢量差异添加至新人像，重构得到老化后的纹理结果( 左下) 。 最后将形状和纹理进行融合得到最后的老化结果( 右下) 。 b u r r 等1 利用人脸原型进行老化过程模拟，实验结果表明：具有明显的年龄 变换特征，但对一些高频信息( 如皱纹) 等刻画不够。实际上，原型图像仅仅是 对每个年龄段的一组对准后的人脸进行简单的算术平均，纹理较为光滑，缺少与 年龄相关的细节特征( 比如皱纹、老年斑等) 。 图2 - 5b u r t 的老化结果 与b u t t 等1 利用人脸原型进行老化过程模拟不同，s u o 1 则采用人脸的分层 结构表示人脸，按照动态马尔可夫链进行老化过程模拟，最后逆向合成老化结果。 由于同时考虑了面部五官、皱纹和头发等的变化，因此获得了迄今为止最好的结 果。 硕士学位论文 第二章当前国内外相关研究方法综述 分屠 时阿轴 q i i mg l l t i e旮摩田音点胃旮虚田音虚田 】i1 2 bh j ， ；卜“一 哏皋嚷嚷嘬 德套杂套狳 占凸 嚣bb 马尔可夫 g 1 辛g 2 辛g 3 辛g 4 g 5 。m y n 图2 - 6 动态马尔可夫老化过程模拟 马尔可夫老化过程如图2 - 6 所示，第一行是一个序列不同年龄的人脸图像， 最左边的是输入图像，其他四个为合成图像。第二行是人脸根据分层结构进行的 重构结果。第三行是根据人脸的三层层次结构分别进行动态马尔可夫链逐渐老化 过程模拟，最后逆向合成老化结果。 整体层：选取合适的人像类型，采用简单的图像融合技术以反映人脸形状， 皮肤纹理和肌肉的变化。 局部层：对于此年龄人脸的与或图内包含的各个子块进行动态马尔可夫老化 过程模拟( 图2 7 ) 。 皱纹层：建立皱纹数量纹理的统计模型，添加至老化最后的老化结果。 图2 7 按照动态马尔可夫老化模 札三个年龄段间眼睛的对应关系 硕士学位论文第二章当前国内外相关研究方法综述 老化过程的模拟标准依赖于马尔可夫的概率。时间段内相似人像的选取是由 模型生成的，就如同布朗运动一样，时间跨度越大，样本图像的差异性就显现地 越显著。实验结果如果2 8 所示，对于每一幅输入图像，s u o 3 都尝试着生成了 一些合理的老化结果图像，随着年龄的逐渐增长( 在图2 8 中，从左向右为年龄 增长方向) ，产生的合理图像也越来越多。8 u o 1 的这个实验结果在一定程度上 表明了人脸老化的不可预见性，然而该方法没考虑到不同个体的老化方式的特殊 性，缺乏对家庭遗传、生恬方式等个性化因素的考虑，而且从实验结果上看，对 头发、眉毛等结构化较强的部分刻画逼真观感不强。 9 图2 - 8 人脸老化结果的不确定性 2 2 2 基于物理模型和基于3 d 的老化过程模拟 此外，许多研究者还通过建立人脸的物理模型，采用计算机图形学的方法对 人脸的老化过程进行模拟。人脸的物理模型是几何模型的扩展，并在某种程度上 考虑到肌肉模型的机理。该模型主要采用多层的弹性网络结构，将皮肤划分为皮 肤层皮下组织层和肌肉层。利用肌肉型有限元网格表达皮肤的物理运动特性。 w u 等1 1 2 1 3 1 建立了个皮肤模型用以模仿人脸老化过程中的皱纹变化。b o i s , s i e u x 等i i ”也进行了类似的工作。下文将以b e r g 等 1 + l l 针对轮匝肌建立肌肉模型以仿真 年龄的变化为例，具体阐述基于物理模型进行老化模拟的大致过程。 n目h 9 9 9 硕士学位论文 第二章当前国内外相关研究方法综述 表皮层 真皮层 皮f 纽织 囤2 - 9 虎肤的三层组织结构 根据解剖学学研究成果皮肤的组织结构如图2 9 所示皮肤的最外层为上 皮细胞构成的表皮层。表皮层以下是结缔组织构成真皮层和皮下组织层。皮肤随 着年龄的变化特征正如g o t o l $ t j 所标描述的一样表皮层并没有越来越薄但真皮 层l j i 小脓包的密度在逐渐增加，而各层之日j 的联系变得越来越松使得人感觉随 着年龄的增加，皮肤变得越来越松弛。 黟骥黔 ( 酊( ”( c ) 田2 。l o ( a ) 为原始的轮匝肌，( b ) 为年轻时的轮匝肌，( c ) 为年老时的轮匝肌 而位于眼睛周边的轮匝肌变化如图2 - 1 0 所示，年轻时的轮匝肌结构致密，肌