（计算机应用技术专业论文）基于三维多分辨率形变模型的人脸识别算法研究.pdf

摘要 摘要 本文的研究工作是针对基于三维多分辨率形变模型的人脸识别方法展开的， 主要包括三维人脸对齐以及复杂光照条件下的多姿态人脸识别两方面的内容。三 维多分辨率模型与f i s h e r 线性判别( f l d ) 相结合能够很好的适应外部条件的变 化，提高人脸识别的速度和效率。 三维点之间的对齐是三维人脸建模的关键，文章采用了基于重采样技术的对 齐策略，在对结果细分的同时，将所有人脸划分成各种分辨率条件下统一的拓扑 结构，而后依据这个统一结构获得不同人脸之间的点到点对齐。为了满足对齐的 要求，改进了基于分割的重采样技术，根据三维人脸的具体形状以及表面特征， 定义了统一均匀的划分方案，充分考虑人脸分片后繁体与个体分片之i 刮的相互联 系，权衡片与片之间的关系，得到合理的采样结果，达到对齐目的。 在多分辨率形变模型基础上，结合f i s h e r 线性判别的分类算法，文章提出了 一种适合不同姿态和光照条件下的人脸识别方法。三维多分辨率模型能够更快更 精确的提取人脸特征，排除外部条件对识别效果的影响；f i s h e r 线性判别算法能 够充分利用不同条件下的人脸二维图像信息，加强了对光照、姿态的鲁棒性。 利用三维模型分析人脸图像，可以从各个角度以及不同光照环境下考虑二维 成像，解决了光照和姿态对人脸识别效果的影响；但是由于三维数据的复杂性， 对二维图像的分析过程中存在大量的冗余，很大程度上影响了人脸成像的速度， 使得图像的分析效率较低；为了解决这个问题，文章中采用了多分辨率的解决方 案，利用三维多分辨率模型从粗到细的对二维图像进行分析，提高了人脸特征提 取的效率。为了进一步改善分类效果，使用了基于f l d 的策略，更加深刻的排 除光照和姿态的影响，使人脸二维图像达到更好的聚类，提高了分类效率。 实验证明，基于重采样技术的策略对三维人脸的点到点对齐结果有很大的改 观：在此基础上建立三维多分辨率形变模型，与f l d 相结合对复杂情况下的人 脸二维图像作分析，提高了三维模型分析人脸图像以及人脸识别的效率和速度。 关键词：重采样对齐三维多分辨率人脸形变模型f i s h e r 线性判别人脸识别 a b s t r a c t a b s t r a c t t h er e s e a r c hw o r ko ft h i s p a p e r f o c u s e so n m o d e l i n ga n dr e c o g n i z i n gf a c e sf r o m d i f f e r e n tp o s e sa n di l l u m i n a t i o n si no u rr e s e a r c h e sf o rf a c em o d e l i n g ，w ep r e s e n tan o v e l r e s a m p l i n gb a s e dm e t h o d f o r p i x e l - w i s ec o r r e s p o n d e n c eb e t w e e n3 df a c e sa n d an e w c a t e g o r y f o ri m a g ea n a l y s i s t h i sp a p e rp r e s e n t san o v e lm e t h o df o r r e c o g n i z i n gf a c e si ni m a g e st a k e n f r o md i f i e r e n td i r e c t i o n sa n du n d e rd i f f e r e n ti l l u m i n a t i o n s t h i sm e t h o di sb a s e do n c o m b i n a t i o no fam u l t i - r e s o l u t i o n3 dm o r p h a b l em o d e la n df i s h e r sl i n e a rd i s c r i m i n a t i o n a n a l y s i s ( f l d a ) an e w t e c h n i q u ei sp r o p o s e df o rm o d e l i n g3 dt e x t u r e df a c e si nd i f f e r e n tr e s o l u t i o n s r e s a m p l i n gb a s e dm e t h o d ，w h i c ha d v a n c e sap a r t i c u l a re v e n p a r t i t i o np r o c e d u r ei n c l u d i n g u n i f o r m s e g m e n t a t i o n a n di s o - c u r v e s i n i t i a l i z a t i o n ，i s u s e dt oc o n s t r u c t p i x e l w i s e c o r r e s p o n d e n c e i nt h i s t e c h n i q u e i tu n i f o r m l yp a r a r n e t e r i z e so r i g i n a lg r i d so fd i f f e r e n t p r o t o t y p e st h r o u g hp o l y g o n a l s u r f a c e sr e s a m p l i n g ，s u c ht h a to r i g i n a lg e o m e t r yi sm a i n t a i n e d t h em o d e lc a l la l s oa d a p tv a r i o u sc o n d i t i o n ss u c ha sh e a do r i e n t a t i o n ，i l l u m i n a t i o na n do t h e r p a r a m e t e r s h o w e v e r , i n s t e a do f t h et i m ec o n s u m i n g c o m p u t a t i o no fd e n s ef a c em o d e lm a t c h i n g f o re a c hi t e r a t i o ns t e p ，am u l t i - r e s o l u t i o nm o d e li su s e dt o a d a p ti m a g e s f r o mt o wt o h i g h r e s o l u t i o n s b o t hf i t t i n gc o e f f i c i e n t sa n do t h e rp a r a m e t e r s ，a c q u i r e di nt h ec u r r e n tr e s o l u t i o nc a n b es e ta st h ei n i t i a lv a u ei nt h en e x tr e s o l u t i o n t h i ss t r a t e g yw o u l d i m p r o v eg r e a t l yt h ee f f i c i e n c y a n dt h es p e e df o rt h ei m a g ea n a l y z i n gp r o c e d u r e f l d ai su s e dt oa n a l y z et h er e c o n s t r u c t i n g r e s u l t so b t a i n e df r o mf a c ei m a g e sa c r o s sd i f f e r e n tp o s e sa n di l l u m i n a t i o n s i tp r o d u c e sw e s e p a r a t e dc l a s s e se v e nu n d e r t h ec o n d i t i o no f s e v e r ev a r i a t i o ni np o s e sa n di l l u m i n a t i o n s t h ee v e n - g r i d d e dt e x t u r e d3 dm o d e l sh a v eb e e ns h o w ni nd i f f e r e n tr e s o l u t i o n s w i t ht h i s m u l t i - r e s o l u t i o nm o d e l ，w ea l s od e m o n s t r a t eh o wt or e f i n et h em e t h o df o r3 df a c er e c o n s t r u c t i o n f r o mas i n g l ei m a g e c o m b i n e dw i t hf l d a ，e x p e r i m e n t a lr e s u l t ss h o wt h a ti th a se n h a n c e dt h e 1 1 1 北京工业大学工学硕士学位论文 i d e n t i f i c a t i o nr a t eu n d e rd i f r e r e n tc o n d i t i o n s k e y w o r d s ：r e s a m p l i n g ，p i x e t - w i s ec o r r e s p o n d e n c e ，m u l t i - r e s o l u t i o n3 dm o r p h a b l em o d e l ，f l d f a c er e c o g n i t i o n 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其它 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：硷虚赵日期：丝鱼生：1 9 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其它复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：盔盔壶l导师签名： 兰室左日期：生生：五：。 第一章绪论 第一章绪论 人脸图像的处理和分析涵盖了广泛的研究与应用领域，其中包括人脸检测、 识别、动画、建模等多个方面，固时涉及到数字图像处理、图形学、计算机视觉、 模式识别等多个学科；由于面部特征的多样性以及诸多外部环境的影响，关于人 脸图像的处理和分析工作始终是这些学科和领域的大难题；尤其随着社会进 步，计算机科学不断发展，人们对人脸图像处理和分析的需求不断增加，而且要 求越来越高；因此，提出了基于三维特征分析人脸图像的各种算法，在一定程度 上适应了潮流的发展。 本章将介绍三维入脸对齐以及人脸识别技术的研究背景、意义和方法，提出 本文所采用方法的出发点，并对本文所提出的三维人脸对齐以及识别技术作一下 概括的介绍。 1 1 三维人脸对齐技术 三维人脸对齐技术是从图像的对齐技术演变而来的，是建立三维人脸模型的 关键，它的基本思想是希望在不同的三维人脸图像的三维点之间建立统一的对应 关系：下面将介绍这一技术的研究意义和背景，并且就不同的方法作一个简单的 介绍。 1 ，1 1 研究意义及背景 三维人脸模型在人脸图像的分析过程当中被广泛的应用，是研究复杂环境下 人脸识别【i g , 1 9 , 2 0 的基础。然而建立不同人脸之间的点到点的对齐是建模 【7 ，8 , 9 , 1 0 t 1 1 , 1 2 , 1 3 , 1 4 , 15 , 2 6 】的关键步骤，并且关于人脸的其他一些方面的应用都会受到对 齐结果的影响，例如特定人脸的动画 1 6 , 1 7 , 1 2 1 效果会受到不同情况下人脸对齐效 果，以及人脸变形脱离实际程度大小的影响。对齐问题是变形技术的基础，它对 人脸姿态获取以及人脸的三维重建都起着极其重要的作用。人脸作为一种自然形 体，不同个体之间以及相同个体在不同表情情况下都存在着共性，这使得三维人 脸之间能够建立点到点的对齐关系：然而，人脸形状的差异以及丰富的面部特征 北尿】业大学工= 学帧士学位论文 会给对齐计算带来很大的困难。对齐结果作为人脸建模的基础，直接影响三维人 脸重建的匹配结果；男一方面，在动画的生成过程当中，相邻帧的三维图像之间 的对齐程度直接影响动画的生成效果。 1 1 2 国内外研究现状 三维对象点到点的对齐算法具有较高的挑战性，近年来，人们提出了一些基 于光流以及统计的方法【4 ”，通过分析同类型的对象群体生成该群体特征的模型。 模型可以用来分析人脸图像，以求达到动画、检测和识别的目的。比较经典的基 于光流的算法，像称之为b o o t s t r a p p i n g 的算法【2 2 1 可以达到较好的对齐效果。然 而这种算法需要依赖于原型人脸的数目，并且光流场的计算过分依赖于图像的灰 度值，从而导致一些特殊的局部特征，例如痣、胡须还有参差不齐的人脸边缘， 严重影响对齐效果。这样，基于光流的算法对解决只有少量原型人脸图像情况下 的对齐问题并不能取得较好的效果。 文章提出一个新颖的基于三维重采样技术，3 3 】的对齐算法，即使在只有两张 不同人脸的情况下，这种统一重采样的方法，也能达到较好的对齐效果。算法中 对所有原型人脸进行统一的重采样，并且通过一种全新的均匀划分的方法来保持 原有的拓扑信息。这种均匀划分的方法是建立在均匀分片以及等形线初始化的基 础之上的。 1 2 人脸识别 作为人工智能的一个具体应用之一，人脸识别技术【1 】是利用计算机分析人脸 图像，从人脸图像中提取有效特征，最终来达到对个人身份进行识别的目的。 1 2 1 研究意义及背景 随着社会的进步，计算机技术的迅猛发展，近年来，诸如视觉监控、远程教 育、人机交互技术、自动身份验证以及银行安全等各方面都迫切希望能够进行快 速、有效、稳定的身份验证，特别是在公安( 罪犯识别等) 、安全验证系统、信 用卡验证、医学、档案管理、视频会议、人机交互系统等方面有着巨大的发展空 间。生物特征因为自身的稳定性和差异性，已经成为身份验证的主要手段；人脸 第一章绪论 作为一种自然形体具有很强的共性，但由于个体的差异及外界光照等因素的影响 而使人脸图像具有比较复杂的模式变化，与其它利用视网膜识别( 无法确保对人 体的安全性) 、指纹识别( 涉及个人隐私) 等的生物特征进行身份验证相比，人 脸具有直观、友好、方便等特点，正越来越受到关注，在现实生活中具有广泛的 应用前景，人脸识别技术已经成为模式识别和人工智能领域的一个研究热点 3 4 , 3 5 1 。 虽然人类能毫不费力地识别出人脸及其表情，能够记住并且识别上千个不同 的人脸，但人脸的自动机器识别却是一个难度极大的课题。人脸有复杂的三维表 面结构，因而人脸知识的表达相对简单物体来说较为复杂；同时面部肌肉的运动 使得人脸成为一种非刚体目标，与刚性目标识别相比，非刚性目标的识别更困难。 人脸表情丰富，而且随着年龄增长而变化，人脸所成图像受光照、成像角度以及 成像距离等因素的变化的影响，所得到的人脸图像会有很大变化。此外，所有人 脸都具有相似的结构特征，而同一人的不同面部图像由于采集条件的变化会发生 较大的变化，所以人脸识别算法必须挖掘不同类别间微妙而可靠的差别。同时， 人脸识别的一些算法可以推广到一般的三维非刚体目标的识别上去，促进其它模 式识别问题的解决。另外，人脸识别还涉及到图像处理、计算机视觉、模式识别 以及神经网络等学科，也和人脑的认知程度紧密相关，这些诸多因素使得人脸识 别成为一项极富有挑战性的课题。 同时，进行人脸图像识别研究也具有很大的使用价值。如同人的指纹一样， 人脸也具有唯一性，也可用来鉴别一个人的身份。现在已有实用的计算机自动指 纹识别系统面世，并在安全检查等部门得到应用，但还没有通用成熟的人脸自动 识别系统出现。人脸图像的自动识别系统较之指纹识别系统、d n a 鉴定等更具方 便性，因为它取样方便，可以不接触目标就进行识别，从而开发研究的实际意义 更大。并且与指纹图像不同的是，人脸图像受很多因素的干扰：人脸表情的多样 性；以及外在的成像过程中的光照，图像尺寸，旋转，姿势变化等。使得同一个 人，在不同的环境下拍摄所得到的人脸图像不同，有时更会有很大的差别，给识 别带来很大难度。因此在各种干扰条件下实现人脸图像的识别，也就更具有挑战 性。 北京工业大学工学硕士学位论文 1 2 2 国内外研究现状 一个完整的人脸识别系统通常要包括人脸检测与跟踪、特征提取与选择、分 类判别三个步骤( 图卜1 ) 。在这三个步骤当中，特征的提取与选择是人脸识别 算法中的关键一步，也是本文研究的主要问题。 劂卜i 人脸识别的基本框架 f i g u r e 1 1t h eb a s i cf r a m eo ff a c er e c o g n i t i o n 从人脸特征描述的角度，现有的人脸识别技术可以归结为两大类：基于面部 器官结构特征的方法【4 6 a 4 , 3 5 ；| ；- f l 基于灰度图像的方法【4 44 9 1 。顾名思义前者利用的是 面部主要器官的2 d 或者3 d 的几何特征或者它们之间的几何关系，是早期人脸识 别的主要方法。后者则直接对人脸图像的灰度分布特征用统计或者学习的方法来 得到人脸图像模式的分布特征，由于图像是光线在人脸皮肤上的反射，所以，该 方法可以认为是同时潜在的利用了人脸的三维结构特征和皮肤的反射特性。当 然，这二者的融合也是流行趋势之一，如a s m a a m 4 2 4 3 1 等。从特征提取的区域选 择的角度，人脸识别技术可以分类为基于全局特征分析的方法和基于局部特征分 析的方法h 4 4 5 1 。前者通常把整个人脸图像作为系统输入进行分类判别；后者则 要在对局部区域特征进行分析的基础上进行分类判别。另外，从特征选择和分类 方法的角度，人脸识别技术可以分类为基于统计的方法【4 9 2 7 1 、基于神经网络的 方法【4 7 】和基于优化学习的方法【4 8 4 9 1 _ - - 大类。其中，统计方法一直是主流的研究 方法，基于优化学习的方法越来越多的得到了人们的重视。 然而，复杂外部条件给人脸特征的提取工作带来很大的困难，光照和姿态的 变化影响了投影后人脸图像的灰度分布，从而给图像的分析带来了很大的困难。 为了使识别效果能够适应外部条件的变化，基本的工作就是使模型变化的内部参 第一蕈绪论 l li 数与来自外在条件的外部参数区分开。近年来，人们在多姿态识别人脸方面投入 了大量的研究【2 q ，然而在多角度与多光照条件的结合方面( 1 中作了一个 总结) 的研究却比较少。为了解决复杂情况下的人脸识别问题，比较普遍的是利 用人脸图像模型的方法 3 6 1 9 2 6 3 7 1 。 特征脸方法是9 0 年代初期由t u r k 和p e n t l a n d l 4 9 ，3 8 】提出的，是基于二维人 脸图像模型与统计学原理相结合的算法，而且目前仍是最流行的人脸识别算法之 一，具有简单有效的特点，但其对于输入的人脸图像的归一化要求较高，而且其 性能容易受到光照和姿态变化的影响，现在e i g e n f a c e 算法已经与经典的模板匹 配算法一起成为测试人脸识别系统性能的基准算法；而自1 9 9 1 年特征脸技术诞 生以来，研究者对其进行了各种各样的实验和理论分析，尝试了基于特征脸特征 提取方法和各种后端分类器相结合的方法，并提出了各种各样的改进版本或扩展 算法，如费舍尔脸方法、贝叶斯判别、s v m 、线性判别分析( l d a ) 、人工神经网络 4 7 j 以及双子空间分析方法等等。 但是，这些基于二维模型分析的方法很难从根本上解决多姿态以及光照的问 题。为此，近年来，基于三维几何结构特征和灰度特征融合的算法日趋完善，主 要有可变形模型算法、弹性图匹配技术等。许多方法利用统计的策略来不断适应 人脸姿态的变化。另外，有一些方法利用不同姿态情况下的正面人脸图像，可以 构造出在不同角度下的人脸图像，但是一般情况下，其旋转角度只能达到2 4 度 3 7 1 ，而且很难同时分析光照和姿态的影响。 - t v e t t e r 提出了基于三维形交模型的方法 1 s a s l ，利用三维人脸数据的可变 性以及三维真实性，较大程度上排除了光照和姿态的影响；并且引入了局部分析 的策略，提高了图像分析的精度。三维形变模型可以生成任意的姿态，并且考虑 到大部分的光照条件，因此在识别时会对光照以及姿态变化有较高的鲁棒性。但 是由于三维数据的冗余性，使图像分析的速度大大降低；而且由于在三维模型分 析二维人脸图像过程中存在的误差，使最终的分类并不能取得很好的效果。 针对上述问题，文苹中提出了基于三维多分辨率形变模型的识别算法，内部 和外部条件的区分主要依赖于对三维模型的分析，利用图形学以及机器学习的方 法将三维模型与二维图像进行匹配。结合分辨率从低到高的分析策略获得变形参 数，节省了大量的时间：这样，从一张二维图像中，我们就可以很快分析出三维 北京工业大学工学硕士学位论文 变形参数，以及来自外部的光照和姿态变化参数。同时，结合使用f i s h e r 线性 分析，将同一张入脸在不同外部条件下获得的图像的分析结果结合起来，进行更 深步的线性判别分析，从而达到更好的分类效果。 1 3 本文的贡献 本文主要就三维人脸对齐以及人脸识别方面展开了研究，取得了以下几方面 的研究成果： 1 、将重采样技术与三维人脸对齐的要求巧妙的结合起来，强化了对齐技术对人 脸表面特征以及人脸库大小的鲁棒性，使识别过程中特征提取更加精确； 2 、改善了重采样算法中等形线的初始化工作，使得人脸的各部分的采样密度分 布更加的合理。 3 、基于上述的对齐方法，提出了在不同采样程度下生成的三维多分辨率形交模 型，并且阐述了该模型在不同分辨率条件下对人脸图像进行分析的策略，有效的 提高了三维模型分析人脸图像的速度和效率。 4 、结合f l d ，对模型分析的结果作进步的分析，使得人脸图像做到更好的聚 类，提高了识别率。 1 4 本文的组织安排 文章围绕入脸识射的基本框架阐述了各个部分的工作； 在第二章中，介绍了三维和二维的人脸库的获取方法以及特点，并且陈述了 它们在整个识别系统的框架中的作用。 在第三章中，系统地阐述了基于重采样技术的三维人脸对齐算法，解释了是 如何用重采样技术实现了三维人脸的点到点对齐目的，以及为了适应对齐要求对 重采样技术的一系列改进；在本章最后，对基于重采样技术以及基于光流技术的 对齐算法进行了一系列的比较。 在第四章中，叙述了三维多分辨率形变模型的建立过程以及基本结构，阐述 了利用该模型分析二维人脸图像的基本步骤，以及相对于不同的分析目的所提出 的分析策略。 在第五章中，首先介绍了典型的f i s h e r 线性判别分析算法，并且叙述了两 6 - 第一章绪论 种经典的基于二维图像模型与统计算法相结合的人脸识别算法e i g e n f a c e s 与 f i s h e r f a c e s ，并在它们之间作了一个比较。 在第六章中，利用从e i g e n f a c e s 到f i s h e r f a e e s 过渡的启示，将三维多分 辨率形变模型与f i s h e r 线性判别的基本思想结合起来，提高了人脸识别算法对 于光照和姿态变化的鲁棒性，从一系列的实验结果中可以看到，f l d 的引入提高 了识别率。 最后，总结本文所提到的对齐以及识别算法的优缺点，并对将来的工作进行 了展望。 北京工业大学工学硕士学位论文 第二章人脸库 不同于其它人脸分析与处理系统，本文所阐述的算法和技术将同时涉及到用 于建立三维人脸模型的三维人脸库，以及用于产生线性判别矩阵的二维人脸图像 库。 2 1 三维人脸库 广泛采样，通过c y b e r w a r ec o l o r3 dd i g i t i z e r 扫描得到三维人脸库，作 为三维模型的基础，三维人脸库需要在稳定的环境光条件下进行采集。从库中选 取出2 0 0 张三维人脸，男女各1 0 0 张来进行实验。c y b e r w a r e 采用柱面坐标扫描 技术，按照高度每0 6 5 咖，角度每o 7 5 。扫描一次得到最终3 d 人脸数据，该设 备能同时记录三维人脸上的每一点的半径r 以及它的纹理值r ，g ，b ： i ( h ，庐) = ( ，伪，矿l r 0 ，庐l g q ，妒) b o ，庐) ) 7 ( 卜1 ) 图2 - 1 三维人脸库 f i g u r e2 - 1 3 df a c ed a t a b a s e 对库中所有三维人脸中心轴( 即柱面坐标轴) 校正来保证整体一致，为以后的对 齐建模工作做准备。由于设备不能正常处理毛发信息，采用了一定的手段去除了 人头上的头发信息。 三维扫描仪的采集流程是按照严格的柱面扫描得到的，因此，可以依据具体 的柱面坐标将三维人脸展开到二维平面上来( 图2 2 ) ，这将为后来的对齐以及 其他的预处理工作带来很大的方便。 第二章人脸库 图2 - 2 柱面转换示意图 f i g u r e2 - 2t h r e e d i m e n s i o n a lh e a d d a t ar e p r e s e n t e di nc y l i n d r i c a lc o o r d i n a t e s r e s u t ti nad a t af o r m a tw h i c hc o n s i s t so ft w o2 di m a g e s 2 2 二维人脸库 利用数码照相机，在不同的光照条件下，从不同的角度获取各种人脸图像。 为了满足识别的要求，二维人脸库中包括不同的类别。 首先需要类库，这是一般识别系统所必需的，每一类个体( 特定的某一个人) 在类库中都有一幅代表图像，理论上，待识别图像需要跟类库中的所有图像作比 较，并且把与其最相近的代表图像归为一类。 这里还需要一个二维人脸的训练库，建这个二维库的目的是为了后面要谈到 的f i s h e r 投影矩阵的训练作准备。由于实验条件有限，在训i 练库中，共有4 0 个 不同的人脸；对于每个人脸，在3 种不同的光照条件( 环境光、( 左右) 侧面光 源) 下，分别取5 种不同的姿态( 正面人脸、侧脸( 左右4 5 度角) 、仰视、俯视) 的图像，共1 5 张二维图像作训练。而具体的训练方案，在6 3 节中将会作具体 的阐述。 北京工业大学工学硕士学位论文 图2 - 3 三种光照环境中，五种不同姿态的二维投影图，每人1 5 张图像，共4 0 个人 f i g u r e2 - 3f o re a c hf a c e t h e r e ”e3d i f f e r e n ti l l u m i n a t i o n sa n d5p o s e s ：t o t a l l y 1 5d i f f e r e n ti m a g e sf o re v e r y o n e 1 0 - 第三章基于重采样技术的三维人脸对齐算法 第三章基于重采样技术的三维人脸对齐算法 三维点的重采样技术【2 3 2 4 】被广泛的应用在三维曲面的重建算法当中，本章将 详细阐述如何把该技术与三维人脸对齐算法结合起来，从而克服了人脸对齐过程 中会受到的来自人脸复杂表面特征的影响；并且介绍了重采样技术中对等形线初 始化工作的改进，使得采样生成的三角网格更加均匀，拓扑结构更加合理；从而 提高了对齐的效率。 3 1 以往的对齐算法回顾及分析 以往的对齐算法大多是建立在建立光流场运算的基础之上的，光流场运算最 初是用于运动估计，计算连续两帧图像之间的像素点位移；计算过程中充分考虑 了两帧图像之间的相似相近性，而由于人脸图像的相近性，因此可以将光流场的 运算应用到两幅人脸图像上，建立这两幅图像之间点到点的对应关系。这里所谈 到的只是建立二维人脸图像之间的对齐关系，如果要建立三维人脸之间的点到点 对齐，依据该算法，则需首先建立人脸柱面展开图之间的对齐关系，然后根据这 个二维上的对齐关系，映射得到三维人脸图像的对齐。关于光流的对齐策略，t v e t t e r 提出了基于三维人脸库的b o o t s t r a p p i n g 算法【2 2 j ”，在不断的分析和优化过 程当中，改善了光流算法的对齐效果，也提高了三维人脸之间的对齐效率：然而， b o o t s t r a p p i n g 算法只适用于存在大量人脸图像的情况，对少量对象的对齐效果并 没有明显的改观。由此可见，以往的基于光流场的方法，都是需要建立在二维图 像之间的点到点对齐关系之上，不能直接建立三维人脸对象之间的对齐：并且， 在对齐过程，光流算法对特殊的人脸特征，比如说痣、伤疤以及边缘特征等并不 能作较好的处理。而本章所要讲述的基于重采样技术的三维人脸对齐策略在以上 各方面都得到了改善。 3 2 系统结构 最初是用来规范不规则的拓扑结构，这里我们改进重采样算法，用来建立不 同三维人脸点到点的对齐。为了达到对齐效果，人脸上每一片都被统一采样。图 北京工业大学工学硕士学位论文 3 1 给出了整个系统的流程图。在这里我们是对一个三维人脸库进行分析。这些 人脸有不同的初始网格信息，在整个流程的每个阶段，都需要用到这些信息来对 重采样结果进行优化。具体的流程分析如下( 图3 - 1 ) ： 统一 统一 在限 对于所有 规范 每张三维 的三维人 的人 人脸上有 脸图像( 拓 脸分 若干多角 扑结构不 片 形分片 同) - 每张三维 定的 所有三维 人脸上有 范围 人脸拥有 更多更细 内细 统的拓 的多边形 分和 扑结构 小片 优化 图3 一l 基于重采样技术的人脸对齐算法流程 f i g u r e3 - 1t h ep i p e l i n ef o ro u rr e s a m p l i n gb a s e dm e t h o df o rp i x e l w i s e c o r r e s p o n d e n c e 1 ) 首先，需要对每一张三维人脸进行划分，从而得到拥有多边形分片信息 的人脸。一些主要特征，像眼角，眉毛，鼻孔以及嘴角等都必须在划分 过程中被重点体现。通过在这些重要特征点之间进行连线，以及平行线 的策略，每张人脸可以被统一划分成若干个多边形分片区域。为了达到 对齐的目的，每张三维人脸上的分片都必须被重采样成统一的格式。( 下 文中，多边形分片的边缘线被定义为等形线，并且可以把它们的方向分 别定义为u 和y ) 2 ) 为了建立均匀分布的拓扑结构，一个全新的统一的全面划分等形线的方 法在这里被利用。首先要保证的是等形线必须存在于要采样的分片之内， 而且要尽量保证这些等形线的长度最小。这些等形线可以用来对每一个 分片作进一步划分，从而得到更小的分片( 在这里我们称之为小片) 。为 了最终得到均匀的网格，所有小片的边的长度要尽量相等。 3 ) 现在要对所有的多边形片作进行统一的重采样。通过对所有分片做优化 1 2 第三苹基于熏采样技术的三维人脸对齐算法 采样，得到局限在每个分片范围内的网格分布。这些网格我们称之为弹 性网格。我们的采样算法能在给定的分辨率范围内对三维人脸作不断的 细分和优化，从而得到需求的分辨率。而优化过程主要是建立在原始拓 扑信息的基础上的。经过这一步，对每一个人脸的统一的三维重采样的 结果就可以被得到。 4 ) 依据所有三维人脸的统一的拓扑结构，在这些人脸之间的点到点的对齐 就可以被最终获得。 3 3 三维人脸分片 图3 - 2 三维人脸分片示意图 f i g u r e3 - 2s e g m e n t a t i o no f3 df a c e s 重采样的第一步的工作就是需要对三维人脸进行分片，这一步工作是通过对 三维带纹理的人脸直接交互操作而获取的。图3 2 直观的表示了这个分片的过程。 从图3 3 中可以看到，一些关键点，像眼角、眉毛、鼻孔以及嘴角等，在划分过 程中应该被强调突出。通过连接这些关键点，并按照一定的策略建立一系列平行 线，分片就可以被得到。这里为了保持人脸的完整信息，些重要特征区域，像 眼睛、眉毛、鼻子以及嘴等需要被划分在同一片当中。 需要强调的是，系统入口处的分片应该为任意的四边形状。对于重采样，这 些四边形必须明确其四个顶点以及四条边，并且这些四边形必须完拯无缝隙。但 是对于建立不同人脸之间的对齐目的，三维人脸之间对应的相似分片应该分配均 匀，从而保证最终采样的均匀分布。图3 2 是一个被分片的人脸，些关键点被 标出( 图3 3 ) ，这样这些细节信息就可以在下一步的采样过程中被进一步对齐。 - 1 3 - 北京工业大学工学硕士学位论文 图3 - 3 人脸分片情况，每张人脸被划分为4 5 个分片，每个分片都存在珥r 两个坐标方向， 图中给出了第2 0 号分片的珥y 方向 f i g u r e3 - 3t h i r t yf e a t u r ep o i n t sa r es p e c i f i e do ne a c hf a c e t h eb o u n d a r yc u r v e s c a ng e n e r a t e4 5p a t c h e sa ss h o w n f o re x a m p l e ，p a t c h2 0h a s1 7 ，1 8 ，1 9 ，2 1 ，2 2 & 2 3 a su a s s o c i a t e dp a t c h e sa n d2 ，7 ，1 3 ，2 0 ，2 7 ，3 4 4 1a si t sv a s s o c i a t e dp a t c h e s 点到点的对齐要求每张人脸得到相同分布的分片。也就是讲，统一的分布情 况应该在分片过程中出现在每一张脸上。比如在图3 - 3 中，标定了3 0 个特征点， 从而对每张人脸我们可以得到4 5 个分片。 3 4 等形线的初始化 为了得到均匀分布的网格结构，在分片完成以后需要对每张人脸做一个整体 的等形线初始化过程，这样就可以对分片作进一步的划分，从而产生小片。首先 需要强调的是在等形初始化以后，所有人脸仍然维持统一的结构分布，就是人脸 之间的小片人就存在对应性，这是为了保证得到最终的对齐。在此前提下，需要 尽可能使单个人脸小片分布均匀，这里还需要遵循一个规则是相邻两个分片的公 共边在两片之中的划分必须相同。提出了一个整体考虑的策略来满足上述要求。 为了初始化“和v 方向上的等形线，利用迪杰斯特拉的单个点的单方向最短 路径算法来计算四边形对边上的点之间的最短距离。这个算法在短而宽的四边形 第三章基于重采样技术的三维人脸对齐算法 a )b ) 圈3 4 人脸分片中的等形线初始化，a ) 中给出了正常的初始化情况，b ) 中给出了在同一个 方向的两条等形线互相交错的异常情况 f i g u r e3 - 4g o o di s o c u r v ei n i t i a l i z a t i o ni ss h o w nc l e a r l yi na ) ，w h i c hisb a s e do n r e a s o n a b l ep a t t i t i o n b u tb ) d i s p l a y si m p r o p e ri n t e r s e c t i o no fi s o c u r v e si no n e d i r e c t i o nc a u s e db yr e d u n d a n tp a r t i t i o n 区域可以获得较好的效果，但是对于一些长而窄的区域，计算出来的同一方 向( “或者v 方向) 的等形线会出现互相交错的情况，或者会出现等形线与该方 向上的四边形边相交的情况( 如图3 4 ( b ) ) ，而这种交错是不正常的。为了避免 这种不正常的交错，需要在保证所有小片大小均匀的前提下，尽可能的减少每 个方向上的等形线的数量。如图3 - 4 ( a ) 所示，整体初始化以后得到的等形线在不 同方向上互相交错，从而构成最初的弹性网格结构，而在不同方向上的等形线的 相交点则构成最初的弹性点。在规则的分片情况下，不同方向上的等形线必然相 交。为了满足上述的这些条件，我们提出了一种新颖的基于整体考虑的等形线初 始化算法。 3 4 1u n i ts jz e 与p a t c h b o u n d a r yg r o u p 首先需要找到在整个人脸的所有分片( p a t c h ) 的边缘( b o u d a r y ) 中的最短的 边，并且把这条边的一半定义为单位长度( u n i ts i z e ) ，记作盯。 对于初始的每一个分片，所有的相关分片( “a s s o c i a t e dp a t c h e s ) 以及v 相关分片( v a s s o c i a t e dp a t c h e s ) 都需要被搜索到。每一个分片( c u r r e n tp a t c h ) 的“相关分片可以定义为这样一些分片，这些分片的一些边( 定义为c u r r e n tp a t c h 的“相关边) 在等形线初始化时需要与c u r r e n t p a t c h 的“方向上的边有相同的划 分。这样c u r r e n t p a t c h 与它在“方向上的边以及它的所有相关分片与 相应的相 一1 5 北京工业大学工学硕士学位论文 关边就可以组成一个p a t c h - b o u n d a r yg r o u p ，这里我们把这个g r o u p 定义为c u r r e n t p a t c h 的阶g r o u p 。与此类似，对于每一个分片，我们还可以计算出它的v g r o u p 。 这样，对于整个人脸上的每一个分片的“一g r o u p 以及v - g r o u p 都可以被计算出来。 3 4 2 整体考虑的初始化策略 e )f ) 图3 - 5 等形线初始化效果对比，a ) b ) c ) 是在一般的只考虑局部分片的等形线初始化结果以 及三角网格；d ) e ) f ) 是在权衡整体与局部的关系后所作的初始化以及网格 f i g u r e3 - 5i s o c u r v ei n i t i a l i z a t l o n a ) b ) s h o wt h ep o o rr e s u l to fn o th a v i n g c o n s i d e r e dt h ep r o p o r t i o no fp a t c h e s ：d ) a e ) i so u rr e s u l tw h i c hh a sc o m p a r a t i v e y e v e ns c r a p s c ) f ) p r e s e n tao n e t i m es u b d i v i s i o no ft h ea b o v et w ok i n d so f i n i t i a l i z a t i o ns e p a r a t e l y 对于每一个p a t c h - b o u n d a r yg r o u p ，利用在3 4 1 中计算出来的盯。作为计量 单位，可以计算出在这个g r o u p 中所有边的长度的平均值，这个平均值就是这些 边在等形线初始化过程中所要被划分的份数。这样，对于每一个分片，它的“。 v 方向的边的划分的份数可以分别根据其“一g r o u p 和v - g r o u p 计算出来的平均值来 确定。但是就如图4 所示，由于迪杰斯特拉算法的局限，并不是每个分片都真的 能被划分为期待个数的小片，由此提出了一个反馈计算的策略。在每一个g r o u p 中，长而窄的分片被首先考虑。 1 6 第三苹基于重采样技术的_ - - 维人脸对齐算法 对于一个p a t c h - b o u n d a r yg r o u p , 的每一个分片p a t c h j ，都能够找到这一个分片 的非相关边中较短的一个，记作w i d t h ，以及其相关边中较长的一个，记作l e n g t h ， 那么此分片的比率就可以表示为 r a t i o u = w i d t h l e n g t h i( 3 - 1 ) 按照比率的升序的原则，把每一个g r o u p 的分片依次来进行划分。也就是说， 要从当前g r o u p 中的最长最窄的分片开始划分。在划分过程中，如果当前的份数 对于当前的分片来说过多，也就是出现了前面所讲的同方向上的等形线出现交错 的情况的话，这时就需要减小该方向上要划分的份数，再从第一片开始重新划分。 这样下去，直至当前g r o u p 中所有的分片都统一的规则的被划分。 3 4 3 小结 以前的一些重采样算法，在统一均匀的初始化等形线方面只能依靠最初对整 个人脸分片的结果来作进一步的划分。但是，为了强调特征点以及特征区域，一 般情况下是不会得到较均匀的分片效果。这里我们所提出的反馈式的初始化等