（计算机应用技术专业论文）三维衰老人脸合成技术研究.pdf

l 作及取得的研究 中不包含其他人 其它教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 签名： 蜀勉r 期：五丝生旦2 旦 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：弓垃导师签名：袒日期：2 型2 生( 旦旦 几个分支，如人脸表情、姿态、光照等；与其相比，人脸的衰老合成无疑具有更 大的挑战性。同时，人脸衰老化研究也有非常广泛应用前景，不仅能提高三维人 脸合成真实感，而且其成果可以广泛应用于电影、广告、游戏、虚拟会议、刑侦 等领域。 相比与二维人脸图像衰老研究，三维人脸衰老合成更为困难的原因之一在 于，前者可通过旧照片扫描方式获得源数据，即多人在不同年龄的人脸图像序 列，而后者数据的获取需要长期跟踪同一人不同年龄的三维人脸数据序列，存在 实现上的难度。虽然经过近几年的发展，取得了一些成果，但是人脸衰老化的研 究还远未成熟。因此开展此类工作有重要的研究意义与应用价值。 人脸衰老化合成是研究衰老变化规律以及如何反映年龄对应的衰老程度。本 文在对当前国内外人脸衰老化合成研究成果进行深入分析的基础上，探讨了基于 小波变换与人脸形变模型相结合的三维人脸合成问题，重点解决三维衰老人脸库 构建、衰老模板提取、衰老纹理特征变换以及基于衰老纹理变化的几何形状调整 问题。本文在以下几个方面取得了一定的突破和进展，获得了一定的研究成果。 主要研究成果如下： 1 三维人脸衰老数据库的构建。 三维人脸衰老数据库对三维人脸衰老化研究与应用来说是不可缺少的数 据资源。而三维人脸衰老模拟目前还存在数据缺乏、获取及操作不便的缺 点，限制了其应用推广。本文采用改进的形变模型方法将真实人脸衰老图像 重建成三维人脸：利用二维人脸衰老图像库构建了三维人脸衰老数据库；并 根据性别和年龄形成三维衰老人脸性别子库和衰老子库。该三维人脸衰老数 据库的构建可为三维人脸衰老化研究提供数据基础，有效地缓解了三维衰老 人脸研究数据缺乏的困境。 北京丁业人学t 学博l 学位论义 2 基于小波和纹理移植的三维衰老人脸纹理合成。 小波变换方法被广泛运用于图像以提取细节特征。具体到人脸图像来 说，其图像分解后的相应小波低频分量反映出其固有的脸形与结构特征，而 高频分量则承载着纹理上更细节的信息，如皮肽褶皱、斑点等，这些正是人 脸衰老后皮肤所呈现出的典型特征。本文采用离敝小波变换( d w t ) 从三 维衰老人脸纹理上提取蕴含衰老特征的高频信息，然后通过一种子图替换的 纹理移植的方法，将该高频信息以特定方式融合到待处理的入脸纹理图像 中，最后再通过小波逆变换进行处理，得到增加了衰老特征的新纹理。实验 结果表明该方法能合成皱纹等衰老特征的合成效果，比较逼真地模拟不同人 脸在不同年龄段的衰老变化，并能方便地推广到诸多应用领域。 3 基于纹理变化的三维衰老人脸几何形状合成。 上述衰老纹理的合成使得待处理人脸获得了视觉上的衰老效果。本文所 构建的三维人脸数据库，保证了人脸几何网格与纹理数据点的一一对应关 系，使得基于纹理的变化合成衰老人脸的网格具备了可行性。具体地，通过 在纹理图像中选择位移较大的顶点子集定义为衰老特征点，并利用纹理与网 格之间的变形保持映射关系，将衰老特征点的纹理变化映射为网格形状上的 变化；进而通过网格插值方法计算人脸网格中非衰老特征点的偏移位置，实 现基于纹理变化的几何形状合成。实验表明，该方法获得的网格合成结果与 纹理变化匹配，视觉效果良好，具有主观与客观上的合理性。 在以上工作的基础上，衰老数据的扩充、衰老特征的扩充以及个性化衰老过 程的模拟等是本文后续研究的主要内容。 关键词衰老人脸；人脸合成：形变模型：三维人脸数据库；纹理移植 e x p r e s s i o n ，g e s t u r e ，l i g h t ，e t c ；c o m p a r e d t ot h e m ，t h e a g i n g f a c e s y n t h e s i s u n d o u b t e d l y m o r e c h a l l e n g i n g m e a n w h i l e ，f a c i a la g i n gr e s e a r c hh a v eav e r y e x t e n s i v ep r o s p e c t ，n o to n l yc a ni m p r o v et h es y n t h e s i so fp h o t o r e a l i s t i ct h r e e d i m e n s i o n a lh u m a nf a c e ，b u tt h er e s u l t sc a nb ew i d e l yu s e di n f i l m ，a d v e r t i s i n g ， g a m e s ，v i r t u a lc o n f e r e n c e ，t h ea r e a so fc r i m i n a li n v e s t i g a t i o n c o m p a r e dw i t ht h et w o - d i m e n s i o n a lf a c ei m a g e so fa g i n gr e s e a r c h ，s y n t h e s i so f t h r e e d i m e n s i o n a lf a c i a la g i n gi sm o r ed i f f i c u l t o n eo ft h er e a s o n si st h a tt h ef o r m e r c a nb eo b t a i n e db ys c a n n i n ga no l dp h o t os o u r c ed a t a ，t h a tp e o p l eo fd if f e r e n ta g e s f a c e i m a g es e q u e n c e s ，w h i c hs o u r c ed a t af o rt h es a m ep e r s o nn e e d sl o n g t e r m t r a c k i n go fd i f f e r e n ta g e st h r e e - d i m e n s i o n a lf a c ed a t a ，t h e r ei st h ed i f f i c u l t yt oa c h i e v e d e s p i t et h ed e v e l o p m e n ti nr e c e n ty e a r sa n da c h i e v e ds o m es u c c e s s ，b u tf a c i a la g i n g r e s e a r c hi sf a rf r o mm a t u r e t h e r e f o r e ，i ti si m p o r t a n tr e s e a r c hw o r k s y n t h e s i so ff a c i a la g i n gi st os t u d yt h ec h a n g e so fa g i n ga n dh o wt or e f l e c tt h e d e g r e eo fa g i n gc o r r e s p o n d st ot h ea g e i nt h i sp a p e r b a s e do nt h ec u r r e n td o m e s t i c a n di n t e r n a t i o n a lf a c i a la g i n gr e s e a r c hs y n t h e s i s ，w e e x p l o r et h eh u m a nf a c i a lf e a t u r e s b a s e do nw a v e l e tt r a n s f o r ma n dt e x t u r et r a n s p l a n tt e c h n i q u e sc h a n g et h ec o m b i n a t i o n o ft h r e e d i m e n s i o n a lm o d e ls y n t h e s i so fh u m a nf a c e ，f o c u s i n go ns o l v i n gt h r e e d i m e n s i o n a lf a c eo fa g i n gl i b r a r yb u i l d i n g ，a g i n gt e m p l a t ee x t r a c t i o n ，a g i n gt e x t u r e c h a n g e so fa g i n gb a s e do nt h eg e o m e t r ya n do t h e rr e l a t e di s s u e s i nt h i sp a p e r ，t h e f o l l o w i n ga s p e c t sh a v em a d es o m eb r e a k t h r o u g h sa n dp r o g r e s s ，ac e r t a i na m o u n to f r e s e a r c hr e s u l t s t h em a jo rr e s u l t sa r e ： 1 at h r e e d i m e n s i o n a lf a c i a la g i n gd a t a b a s ei sb u i l t ： t h r e e d i m e n s i o n a lf a c i a la g i n gd a t a b a s ei se s s e n t i a ld a t ar e s o u r c ef o rt h r e e d i m e n s i o n a lf a c i a la g i n gr e s e a r c ha n da p p l i c a t i o n t h et h r e e d i m e n s i o n a ls i m u l a t i o n o ff a c i a l a g i n gi s s t i l ll a c ko fd a t a ，a c q u i s i t i o na n do p e r a t i o no fi n a c c e s s i b i l i t ya n d l i m i t e di t sa p p l i c a t i o na n dp o p u l a r i z a t i o n u s i n gi m p r o v e dm o r p h m o d e l ，a c t u a lf a c i a l i m a g e sw e r er e c o n s t r u c t e di n t ot h ec o r r e s p o n d i n gt h r e e d i m e n s i o n a la g i n gf a c i a ld a t a ； 北京丁业人学工学博l j 学位论史 a n df u r t h e rc o n s t r u c t e dat h r e e d i m e n s i o n a la g i n gf a c ed a t a b a s ec o n s i s t i n go fg e n d e r s u b _ d a t a b a s ea n da g i n gs u b d a t a b a s ea c c o r d i n gt og e n d e ra n da g e t h er e s u l t ss h o w t h a tt h em e t h o di sl e a s i b l ei ns u p p l y i n gt h r e e - d i m e n s i o n a la g ef a c ed a t a 2 as y n t h e t i ca p p r o a c ho ft h r e e d i m e n s i o n a la g i n gf a c et e x t u r eb a s e do nw a v e l e t a n dt e x t u r et r a n s p l a n t ： w a v e l e tt r a n s f o r mm e t h o di sw i d e l yu s e dt oe x t r a c td e t a i l so ft h ec h a r a c t e r i s t i c s o ft h ei m a g e s p e c i f i ct of a c ei m a g e ，i t sc o r r e s p o n d i n gw a v e l e ti m a g ed e c o m p o s i t i o n r e f l e c t st h ei n h e r e n tl o w f r e q u e n c ya n ds t r u c t u r eo ff a c i a lf e a t u r e s ，a n dh i g hf r e q u e n c y c o m p o n e n t sa r em o r ed e t a il so nc a r r y i n gt h et e x t u r ei n f o r m a t i o n ，s u c ha ss k i n w r i n k l e s ，e t c ，t h e s ea r et y p i c a lc h a r a c t e r i s t i c so fa g i n gf a c e i nt h i sp a p e r , b a s e do n c o l o rd i s c r e t ew a v e l e tt r a n s f o r m ( d w t ) t h eh i g h f r e q u e n c y s u b i m a g e sf r o mt h e t e x t u r em a p sf i r s ti se x t r a c t e d ，i nw h i c hc o n t a i n e dt h et e x t u r ef e a t u r eo f a g i n gs k i n t h e nt h ec o r r e s p o n d i n gs u b i m a g e so ft a r g e tf a c i a la r er e p l a c e da n df u s e d t h e t r a n s p l a n to fa g i n gt e x t u r et o w a r d st a r g e tf a c ei sf i n a l l ya c h i e v e dt h r o u g hw a v e l e t r e c o n s t r u c t i o n e x p e r i m e n t a lr e s u l t ss h o wt h a tt h em e t h o dc a ns y n t h e s i z ew r i n k l e s a n do t h e rf e a t u r e so ft h e s y n t h e t i ce f f e c t so fa g i n g ，m o r er e a l i s t i c a l l ys i m u h t e d i f f e r e n tf a c ei nd i f f e r e n ta g ea g i n gc h a n g ea n dc a nb ee a s i l ye x t e n d e dt o m a n y a p p l i c a t i o n s 3 a g i n gc h a n g e si nt h r e e d i m e n s i o n a lt e x t u r e b a s e df a c eg e o m e t r ys y n t h e s i s ： t e x t u r es y n t h e s i sm a k e st h ea g i n gf a c et ob ep r o c e s s e do b t a i n e dv i s u a le f f e c t so f a g i n g t h ec o n s t r u c t e d3 df a c ed a t a b a s e ，t oe n s u r et h eh u m a nf a c eg e o m e t r ya n d t e x t u r ed a t ag r i d p o i n tc o r r e s p o n d e n c eb e t w e e nt h ec h a n g i n gm a k e st h et e x t u r e s y n t h e s i sb a s e do nt h ef a c eo fa g i n gw i t haf e a s i b i l i t yg r i d s p e c i f i c a l l y , t h et e x t u r e i m a g eb yt h ev e r t e xd i s p l a c e m e n tc a ns e l e c tas u b s e to ff e a t u r ep o i n t si sd e f i n e da st h e a g m g ，a n du s et e x t u r em a p p i n gg r i dt om a i n t a i nr e l a t i o n s h i p sb e t w e e nd e f o r m a t i o n ， t h ea g i n gc h a n g e si nt h et e x t u r em a p p i n gf e a t u r ep o i n t sa st h es h a p eo ft h eg r i d c h a n g e ；t h e nc a l c u l a t e db yi n t e r p o l a t i n gt h eg r i df a c em e s hf e a t u r ep o i n t so f f s e ta g i n g a f r i c a np o s i t i o na n dr e a l i z e t h e c h a n g e i n g e o m e t r yb a s e d t e x t u r e s y n t h e s i s e x p e r i m e n t ss h o wt h a tt h es y n t h e s i so ft h er e s u l t so b t a i n e dw i t ht h et e x t u r ec h a n g e s i nt h eg r i dm a t c h i n g ，v i s u a le f f e c t s ，w e l l ，w i t hs u b j e c t i v ea n do b j e c t i v er a t i o n a l i t y b a s e do nt h ew o r k a b o v e ，a g i n gd a t ae x p a n s i o n ，t h ee x p a n s i o na n da g i n g c h a r a c t e r i s t i c so fi n d i v i d u a l a g i n gp r o c e s ss i m u l a t i o ni st h em a i nc o n t e n to ft h i s f o l l o w u ps t u d y i v a b s t r a c t k e y w o r d sa g i n gf a c e ；f a c es y n t h e s i s ；m o r p hm o d e l ；t h r e e d i m e n s i o n a lf a c e d a t a b a s e ；t e x t u r et r a n s p l a n t v 北京- f q k 人学t 学博，l 学位论文 插图i x f i g u r e x i 第1 章绪论1 1 1 研究背景和意义l 1 2 衰老人脸合成研究现状3 1 2 1 二维衰老人脸合成研究现状3 1 2 2 三维衰老人脸合成研究现状6 1 3 研究内容与论文组织1 1 第2 章三维人脸衰老数据库的构建13 2 1 引言1 3 2 2 国内外人脸库概况1 4 2 2 1 三维人脸数据库概况1 4 2 2 2 二维人脸图像数据库概况1 6 2 3 三维人脸衰老数据库构建。1 7 2 3 1 人脸衰老图像数据的获取1 7 2 3 2 人脸衰老图像数据的矫正处理。1 8 2 3 3 基于图像的三维人脸重建1 9 2 3 4 三维人脸衰老数据库的构建2 2 2 4 实验结果2 3 2 4 1 三维衰老数据库构建情况2 3 2 4 2 基于三维衰老数据库的衰老模型研究2 4 2 5 本章小结2 5 第3 章基于小波和纹理移植的三维衰老人脸纹理合成2 7 3 1 引言- 2 7 3 2 相关研究2 8 3 2 1 基于小波变换的图像融合2 8 3 2 2 基于小波变换的衰老人脸图像合成3 0 3 3 基于小波和纹理移植的三维衰老人脸纹理合成3l 3 3 1 基于离散小波的衰老特征提取：3 l 3 3 2 三维人脸纹理衰老化合成的过程3 2 3 4 实验结果与分析3 5 3 4 1 高频子图全部替换的合成结果与分析3 6 3 4 2 高频子图部分替换的合成结果与分析3 8 北京t 业人学t 学博l ：学化论文 3 4 3 特定阈值控制的合成结果与分析4 0 3 5 本章小结4 l 第4 章基于纹理变化的三维衰老人脸几何形状合成4 3 4 1 引言4 3 4 2 三维人脸几何形状调整的相关研究4 3 4 2 1 比率图方法4 4 4 2 2 参数模型方法4 6 4 2 3 肌肉模型方法4 7 4 2 4 特征点驱动方法4 8 4 3 基于纹理变化的三维人脸的几何形状合成4 9 4 3 1 衰老特征点的定义及标注4 9 4 3 2 基于纹理变化的人脸衰老特征点的计算5 2 4 3 3 基于特征点变化的人脸网格形状调整5 3 4 3 4 基于纹理变化的三维人脸的几何形状合成路线5 4 4 4 实验结果5 4 4 5 本章小结5 6 第5 章系统平台的工作5 9 5 1 引言5 9 5 2 系统工具平台设计以及相关方法5 9 5 2 1 空i b j 散乱点集的网格化处理6 0 5 2 2 网格细分技术6 3 5 2 3 网格重采样技术6 5 5 2 4 网格的曲面重建与光滑处理技术6 7 5 3 基于类的功能模块设计6 7 5 4 实验结果7 0 5 5 本章小结7 1 结论：7 3 论文的创新研究和总结7 3 研究工作的展望7 4 参考文献7 7 攻读博士学位期间所发表的学术论文8 3 致诱 8 5 捅图 鼍曼皇鼍曼曼鼍曼! 皇曼曼鲁曼詈鼍皇曼曼毫曼曼曼曼鼍i i n i m i 寰 插图 图l - l 衰老人脸2 幽l - 2 基丁皱纹与变形结合的人脸衰老结果3 图l 3 基于o a b o r 小波变换的人脸衰老结果。5 图1 4 基t - d , 波变换与纹理移植的人脸衰老结果一6 图l 一5 基t - j l 何方法合成的人脸皱纹7 图l 6 基。r 皱纹线的) l f i 收缩所合成的人脸皱纹。7 图i - 7 基r 物理变形所合成的人脸皱纹8 图l 8 基丁p c a 的人脸衰老结果9 图l 9 基丁形变方法合成的人脸皱纹9 图卜1 0 颅测模拟人脸的年龄增艮1 0 图i 1 l 基丁一种纹理统计模型的人脸衰老结果一i o 图2 l 大小和姿态各异的人脸图像1 8 图2 - 2 人脸区域特征点的标定1 9 图2 3 人脸图像合成三维人脸过程2 0 图2 4f g n e t 衰老人脸库的图像2 1 图2 5 基于图像的三维人脸重建结果2 l 图2 - 6 重建的二维人脸2 2 图2 7 三维人脸衰老数据库生成过程2 2 图2 8 三维衰老人脸数据分布图2 3 图2 - 9 每隔1 0 岁的女性平均脸2 4 图2 1 0 每隔l o 岁的男性平均脸2 4 图3 l 三维人脸柱状图j 2 7 图3 2 三维人脸及其纹理的枉状投影图3l 图3 - 3 衰老人脸纹理合成技术路线3 2 图3 4 二维小波变换分解示意图3 4 图3 5 小波三层分解子图：3 4 图3 - 6 基丁子图替换的纹理移植3 5 图3 7 原始年轻人脸3 6 图3 8 基于不同次小波分解的中年人脸纹理合成3 6 图3 - 9 基于不同次小波分解的老年人脸纹理合成3 7 图3 - 1 0 基于三次小波分解的老年人脸纹理合成j 3 8 图3 一l l 部分子图替换的衰老人脸模拟3 9 图3 - 1 2 基于阈值控制的子图替换的衰老人脸模拟4 0 图4 - l 合成衰老人脸纹理及相应网格4 3 图4 - 2 表情比率图4 4 图4 3 介于焦虑与吃惊之间的表情示例4 5 图4 4 形状控制线以及它的变形4 6 图4 - 5 通过挤压皱纹线方式实现皱纹的生成4 6 图4 - 6 人脸主要肌肉4 7 图4 7 控制三维网格的肌肉向鼙参数4 7 图4 - 8 人脸区域的划分。：5 0 图4 - 9 衰老特征点位置5 0 图4 1 0 衰老人脸儿何形状合成的技术路线5 4 图4 - ll 脸烦皱纹儿何模拟5 5 i x 北京t 业人学t 学博 ：学位论文 图4 - 1 2 额头皱纹儿何模拟5 5 图4 1 3 眼睛皱纹儿何模拟5 6 图5 1 基丁_ 空问散落点集的曲面重建技术路线6 0 幽5 2 散乱点集重建三角网格的算法流程图6 2 图5 3d e l a u n a y 的二角剖分与v o r o n o i 区域示意。6 3 图5 4 局部处理算法流程图6 3 图5 5 网格细分算法流挫图6 4 图5 - 6 重采样流栏图6 5 图5 7 基类改计的系统功能模块。6 8 图5 8 敞乱点集二角化结果7 0 幽5 - 9 重采样的处理结果：7 0 图5 1 0 人脸重建结果7 1 f i g u r e 曼i i 一一i 一一；i 曼曼曼! 曼曼皇曼曼曼曼皇曼皇曼皇曼曼! 曼曼毫曼曼曼曼曼! 曼皇皇曼鼍曼蔓皇曼曼! 曼曼皇! 皇曼曼曼皇曼量鼍苎皇曼曼蔓鼍曼曼 f i g u r e f i g 1 - 1a g i n gf a c e 2 f i g 1 2f a c i a la g i n gr e s u l t sb yc o m b i n i n gw r i n k l ea n df a c i a ld e f o r m a t i o n 3 f i g 1 3f a c i a la g e i n gr e s u l t sb yg a b o rw a v e l e t 5 f i g 1 - 4f a c i a ia g e i n gr e s u l t sb yw a v e l e tt r a n s f o r ma n dt e x t u r et r a n s p l a n t 6 f i g 1 5f a c i a lw r i n k l eb yg e o m e t r i c a ls y n t h e s i sm e t h o d 7 f i g 1 6f a c i a lw r i n k l e sb yg e o m e t r i c a lc o n t r a c t i o no ft h ew r i n k l ec u r v e 7 f i g 1 7f a c i a lw r i n k l e sb yp h y s i c a ld e f o r m a t i o n 8 f i g 1 8f a c i a ia g e i n gr e s u l t sb yp r i n c i p a lc o m p o n e n ta n a l y s i s 9 f i g 1 9f a c i a lw r i n k l e sb ym o r p h a b l em e t h o d 9 f i g 1 10a g i n gp r e d i c t i o no fo l d e rc h i l d r e n l ( ) f i g 1 1lf a c i a la g i n gr e s u l t sb yaf a c i a lt e x t u r es t a t i s t i c a lm o d e l 。10 f i g 2 1o r i g i n a ii m a g e sw i t hd i f f e r e n ts i z ea n dp o s e l8 f i g 2 2l a b e l i n go ff e a t u r ep o i n t si nf a c er e g i o n i9 f i g 2 3s c h e m a t i c so fs y n t h e s i sf r o mf a c i a li m a g e st ot h r e e d i m e n s i o n a lf a c e s 2 0 f i g 2 4o r i g i n a li m a g e sf r o mf g n e ta g i n gd a t a b a s e 2l f i g 2 5t h r e e d i m e n s i o n a if a c i a ir e c o n s t r u c t i o nr e s u l t s 21 f i g 2 6t h r e e d i m e n s i o n a lr e c o n s t r u c t i o nr e s u l t s 2 2 f i g 2 7c o n s t r u c t i o ns c h e m a t i c so ft h r e e d i m e n s i o n a la g i n gf a c ed a t a b a s e 2 2 f i g 2 8d i s t r i b u t i n gh i s t o g r a mo f t h r e e d i m e n s i o n a la g i n gf a c ed a t a 2 3 f i g 2 9a v e r a g ef e m a l ef a c ei nt h es t a g eo fe v e r yt e ny e a r so l d 2 4 f i g 2 - l0a v e r a g em a l ef a c ei nt h es t a g eo fe v e r yt e ny e a r so l d 2 4 f i g 3 1c y l i n d e ro f t h r e e d i m e n s i o n a lf a c e ：7 f i g 3 2t h r e e d i m e n s i o n a lf a c ea n dc y l i n d e rp r o j e c t i v ei m a g e 3l f i g 3 - 3a g i n gf a c et l ：x t u r es y n t h e s i sr o u t e 3 2 f i g 3 - 4s c h e m a t i cd i a g r a mo ft w o d i m e n s i o n a lw a v e l e tt r a n s f o r m 3 4 f i g 3 5s u b i m a g e so nt r i p l ew a v e l e td e c o m p o s i t i o n 3 4 f i g 3 - 6t e x t u r et r a n s p l a n tb a s e do ns k e t c hm a p 3 5 f i g 3 - 7t h r e e d i m e n s i o n a ly o u n gf a c e 3 6 f i g 3 8a g i n gf a c es i m u l a t i o no fm i d