（电路与系统专业论文）人脸三维建模与特征点搜索的研究与应用.pdf

摘要 摘要 近年来人脸识别以其方便、经济而受到世人的瞩目，然而随着人脸检测和识 别，人脸建模和动画等方面的研究的不断深入，传统的基于= 维图像的人脸分析 方法面临诸多困难。由于人脸是存在于空间三维结构的，而二维图像本身三维信 息的缺失，无法很好地处理三维结构的人脸识别问题。一个较好的解决办法是利 用三维信息进行人脸的识别。三维信息能够更精确地描述人的脸部特征，提取的 某些特征具有刚体变换不变性，并且不易受化妆，姿态和光照的影响。 三维人脸的研究主要困难在于：1 数据获取困难2 预处理工作非常繁琐3 三维数据顶点的排列具有任意性，三维数据的配准也是一个待解决的问题4 在 三维配准时，需要一些三维特征点的坐标，而自动的三维特征点提取算法从未有 人提出。 针对目前三维人脸建模与三维人脸研究中的关键性问题，本人在研究生期间 所做的工作与创新性的探索如下： ( 1 ) 帮助实验室建立了两个三维人脸数据库，并对于这两个不同方式采集得 到的三维数据库进行了预处理和重采样的工作。 ( 2 ) 由于三维数据的顶点规模远大于传统二维数据，所以在预处理过程中， 本文提出了个由少量手工点取的特征点坐标组成的能量函数，对这个能量函数 进行优化来简化三维预处理过程。 ( 3 ) 对于在三维上进行特征点搜索的算法进行了尝试。将原本在直角坐标系 上适用的a a m 算法，改为在圆柱坐标( ，) 上进行。在深度空间建立线性模型， 并改进了a a m 算法搜索特征点的能量函数，增加了深度空间项。新的能量函数 得到的优化效果更为理想。 ( 4 ) 在三维配准方法上，本文对光流方法和网格采样方法进行了研究，并且 在障恪采样方法上提出了适当的改进。但由于这两种方法效果并不非常理想，本 文提出了一种基于t p s 的三维配准新方法。在效果和耗时方面都比前两种方法更 优。 ( 5 ) 基于我们拥有的三个三维人脸库，分别进行了三维建模的工作，建立了 三个三维可变形人脸的统计模型。同时对建立的三维模型进行了比较，提出了模 型评判的一般性标准。 ( 6 ) 以上海市科委重大项目“基于三维头部图像的身份识别新技术研究”为背 景，将建立的三维可变形模型应用到了实际系统中，并进行了大量的测试工作。 关键字：三维人脸、三维人脸建模、三维特征点定位 摘要 a b u s t r a c t f a c er e c o g n i t i o nb e c o m e sm o r ea n dm o r ep o p u l a ri nt h e s e s y e a r sf o ri t s c o n v e n i e n c ea n de c o n o m y w h i l ew i t ht h ed e v e l o p m e n to ff a c ed e t e c t i o n ，r e c o g n i t i o n a n dm o d e l i n g ，t h et r a d i t i o n a lf a c ea n a l y s i sm e t h o db a s e do nt w od i m e s i o ni m a g e s e n c o u n t e r e dm u c hd i f f i c u l t y s i n c eh u m a nf a c e sa r et h r e e d i m e n s i o n a l ，t w od i m e n s i o n p h o t o sc a n n o tr e p r e s e n tt h ew h o l ec h a r a c t e r so ft h eh u m a nf a c e s ar e s o l v e n tt ot h i s p r o b l e mi st h ei n t r o d u c t i o no ff a c ea n a l y s i sm e t h o db a s e do n3 df a c e s i n f o r m a t i o n d e s c r i b e di n3 di sm o r ep r e c i s ea n dm o r er o b u s tt oi l l u m i n a t i o n ，p o s ea n dm a k e u p t h em a i nd i f f i c u l t i e so f3 df a c er e s e a r c ha r ea sf o l l o w s ：1 t h ea c q u i s i t i o no f3 d d a t ai si n c o n v e n i e n c e 2 p r e p r o c e s s i n go f3 dd a t ai sh e a v ya n dc o m p l i c a t e d 3 t h e r a n d o m i c i t yo f t h e3 dd a t aa r r a n g e m e n tb r i n g st h eq u e s t i o no f 3 da l i g n m e n t 4 s i n c e s o m ef a t u r ep o i n t sa r ed e m a n d e di n3 da l i g n m e n t , t h ea b s e n c eo fa na u t o m a t i c m e t h o do f3 df e a t u r ep o i n te x t r a c t i o ni st h em a i np r o b l e m f o c u s e do nt h e s ep r o b l e m s ，s o m ec r e a t i v er e s e a r c h e sa n dw o r k sh a v eb e e nd o n e i nt h i st h e s i s ( 1 ) w eh a v ea s s i s t e dt os e tu pt w o3 df a c ed a t a b a s e sf o ro u rl a b o r a t o r y , a n d f i n i s h e dt h ep r e p r o c e s s i n ga n dr e s a m p l i n gw o r k ( 2 ) b e c a u s et h es c a l eo f3 dd a t ai sm u c hl a r g e rt h a nt h a to ft h e2 dd a t a ，w e p r o p o s e dac o s tf u n c t i o n ，w h i c hb a s e do naf e wm a n u l l ym a r k e dp o i n t s ，t os i m p l i f y t h ep r e p r o c e s s i n gw o r k ( 3 ) w ep r o p o s e da na u t o m a t i cm e t h o do f3 df e a t u r ep o i n te x t r a c t i o n w ec h a n g e t h et r a d i t i o n a la a m a l g o r i t h m i nc a r t e s i a nc o o r d i n a t et o c y l i n d r i c a l c o o r d i n a t e s ( h ，) ，a n ds e tu pal i n e a rm o d l ei nd e p t hs p a c e + w ei m p r o v e dt h ec o s t f u n c t i o nb ya d d i n gan o v e ld e p t ht e r m e x p e r i m e n t ss h o wt h a tt h eo p t i m i z e dr e s u l t s o f o u rm e t h o da r em o r es a t i s f a c t o r y ( 4 ) i nt h ef i l e do f3 da l i g n m e n t , w ed i s c u s st h em e t h o d sb a s e do no p t i c a lf l o w a n dg r i d d i n gf i t t i n ga l g o r i t h m ，a n dp r o p o s e ds o m ei m p r o v e m e n t s b e c a u s et h e e f f e c t so ft h e s et w om e t h o d sa l eu n s a t i s f a c t o r y , w ep r o p o s e dan e wm e t h o do f3 d a l i g n m e n tb a s e do nt p sa l g o r i t h m t h en e wm e t h o ds h o w sb e t t e rr e s u l t si ns p e e d a n da c c u r a c yt i a nt h ef o r m e ro n e s ( 5 ) w ef i n i s h e dt h r e em o r p h a b l ef a c em o d e lf o u n do no u r3 dd a t a b a s e t h e nw e e m p l o yp s n r t oj u d g et h eq u a l i t yo f3 dm o d e l ，a n du s et h ef i n a lr e c o g n i t i o nr a t et o v a l i d a t ei t ( 6 ) w ea p p l i e do u r3 dm o d e li n t oap r a c t i c a ls y s t e m ，w h i c hi ss u p p o r t e db yt h e s i g n i f i c a n tt e c h n o l o g yp r o j c o t o fs h a n g h a i ，r e s e a r c h e so fn e wr e c o g n i t i o n t e c h n o l o g yb a s e do n3 df a c ei m g e s ，a n da b u n d a n tt e s t sh a v eb e e nd o n e k e y w o r d s ：3 df a c e ，3 df a c em o d e l ，3 df e t u r ep o i n te x t r a c t i o n 一2 第章绪论 第一章绪论 1 1 人脸识别生物识别中的重点 九十年代后期，随着计算机处理速度的飞速提高及图形识别算法的革命性改 进，人脸识别技术在生物识别领域脱颖而出。它以其独特的方便、经济而受到世 人的瞩目。 人脸识别技术包含人脸检测、人脸跟踪与人脸比对等课题，人脸检测是指在 动态的场景与复杂的背景中，判断是否存在人脸并分离出人脸。人脸跟踪指对被 检测到的人脸进行动态目标跟踪。人脸比对则是对被检测到的人脸进行身份确认 或在人脸库中进行目标搜索。 人脸检测( f a c ed e t e c t i o n ) 是指在输入图像中确定所有人脸( 如果存在) 的位 置、大小、位鬣的过程 3 3 】。人脸检测作为人脸信息处理中的一项关键技术，近 年来成为模式识辩与计箅杌视觉领域内一项受到普遍重视、研究十分活跃的课 题， 同时人脸是类具有相当复杂的细节变化的自然结构目标，因此，如果能够 找到解决这些问题的方法，成功构造出人脸检测与跟踪系统，将为解决其它类似 的复杂模式检测问题提供重要的启示。 人脸检测目前主要有基于先验知识建模的检测方法和基于统计的检测方法。 根据先验知识建立模型进行人脸检测的方法有许多种。通过人脸的几何特征建立 模型：例如器官分布规则【3 4 】，椭圆轮廓规则【3 5 】，人脸轴对称性规则 3 8 】等等。 通过八脸的颜色信息建立肤色建模：依据人脸肤色在色彩空间中分布相对集中的 规律来进行检澳t j 3 6 1 1 3 7 。通过运动模型检测：通常相对背景人总是在运动的， 利用运动信息可以简单有效的将人从复杂背景中分割出来。利用统计方法的方法 也很多，例如a d a b o o s ! 算法1 3 9 】和b a y e s 算法1 4 0 。a d a b o o s t 算法自从p a u lv i o l a 和m i c h a e lj o n e s 于2 0 0 1 年提出，便成为了人脸检测的主流算法，由i n t e l 编写的 o p e n c v 库中更是直接提供了成熟的正面人脸检测模块，实测检钡4 成功率在9 6 以上。a d a b o o s t 算法的基本想法是通过大量的简单分类器的组合。构建个强分 类器，对人脸进行检测，它的优点是速度非常快，基本达到了实时检测，缺点是 训练非常耗时。b a y e $ 算法的基本想法是遵过对大量正负样本的训练得到张庞 大的可信度表格，对于新输入的图像，在各个尺度上查表来确定有无人脸，此方 法也有较高的检测速度。 人脸跟踪一般采用基于模型的方法或基于运动与模型相结合的方法，另外， 第一章绪论 肤色模型跟踪也不失为一种简单有效的手段。 人脸识别从本质上讲是采样人脸与库存人脸的依次比对并找出最佳匹配对 象。因此，人脸的描述决定了人脸识别的具体方法与性能。自从t u r k 和p e n t l a n d 在1 9 9 1 年提出了特征脸( e i g e n f a e e s ) 的算法 4 l 】以来，基于统计特征的识别方 法以其简单、快速、实用成为了人脸识别方法的主流，特征脸的基本思想是通过 主分量分析找到一个特征子空间，在此空间中，训练样本具有更好的可分性。基 于e i g e n f a c e s 的思想，b e l h u m e u r 等人在1 9 9 7 年提出了采用菲雪线性判别准则 ( f l d l d a ) 来抽取人脸图像的统计特征 4 2 1 ，与特征脸方法不同，此方法需要 库内同一人的多张照片进行训练，线性降维后，将训练样本投影到一个类内距离 较小而类间距离较大的子空问中进行识别，此方法至今仍是最常见的二维人脸识 别方法，近年来，对于此方法有许多的改进 4 3 4 4 4 5 1 。 1 2 三维人脸识别人脸识别的发展方向 然而随着人脸检测和识别，人脸建模和动画等方面的研究的不断深入，传统 的基于二维图像的人脸分析方法面临诸多困难。由于人脸是存在于空间三维结构 的，而二维图像本身三维信息的缺失，无法很好地处理人脸三维结构问题，如人 脸的姿态、光照等问题，使得二维人脸的研究陷入了瓶颈。2 0 0 6 年1 月，p a g e m r e c o g n i t i o nl e a e r s 的主编r o b e r tp w d u i n 在p r l 上公开表示，由于近年来对于 二维人脸研究的论文数量庞大，但有价值的创新较少，因此今后将严格控制此类 论文数量 4 9 1 。 一个较好的解决办法是利用三维信息进行人脸的识别。三维信息能够更精确 地描述人的脸部特征，提取的某些特征具有刚体变换不变性，并且不易受化妆和 光照的影响。但是出于三维数据采集方面存在困难，现在利用三维信息进行识别 的实际系统并不多见，然而将三维信息加入到现有的人脸识别算法中，识别效果 将会大大提高。 比利时学者b e u m i e r 等利用结构光的方法获取三维数据 4 7 ，然后利用曲面 匹配的方法进行人脸识别。获得了较好的效果。美国的g o r d o n 等 4 8 利用激光 扫描仪获取的距离数据建立面部曲面，通过计算表面曲率寻找凸点、凹点和脊点， 然后定位面部的一些特征点，利用模板匹配的方法进行识别。德国人v e t t e r 等利 用单幅图片构建三维模型 1 5 ，利用形状和纹理参数来表征个性特征。从总体上 讲，目前三维人脸识别算法还很不成熟。三维人脸识别是极具挑战性的课题，如 有突破将具有很强的创新性。 三维人脸建模与识别是刚刚兴起的前沿方向。是计算机视觉和计算机图形学 相结合的边缘学科，科学意义重大，应用前景广泛，是将来研究的热点问题。 第一章绪论 1 3 三维人脸建模 三维人脸建模是三维人脸识别的基础。三维人脸建模即利用计算机视觉与计 算机图形学技术，借助相关软硬件设备，建构人脸三维的、数字化的模型。随着 高精度三维扫描设备和高性能图形工作站的不断更新和发展，近年来三维人脸建 模一直是计算机视觉与计算机图形学领域的一个研究热点，并且在多媒体、人机 交互、通讯等方面都具有广泛的应用。 人脸建模的一个重要的应用在于计算机动画，例如表情合成和说话人头。具 有真实感的人脸动画是自然人机交互中的关键技术，而后者是计算机系统的基本 功能，它将使计算机获得更有效的应用。当前普遍采用的人机交互方式仍主要依 赖于键盘和鼠标，其特点是让人来适应计算机，效率较低。而以人类习惯的、比 较自然的方式与计算机进行交流，使计算机能够主动地适应人的要求，正是人机 交互研究所要达成的长远目标。为实现该目标，不仅需要有硬件技术方面的发展 ( 主要是计算能力、显示技术和各种智能接口设备) ，而且需要语音分析与合成、 人脸识别和验证、表情和行为分析、人脸和人体建模与动画等算法方面的进步。 相对于上述提及的其它方面，人脸建模与动画是人机交互系统中直接与用户沟通 的视觉窗口，其重要性不言而喻。 随着真实感人脸建模研究的进展，高精度的三维人脸模型也被用于人脸跟踪 1 3 和人脸识别 7 。通过在人脸模型的柱面纹理展开图与输入视频帧之间进行 图像配准来估计对应于当前帧的人头的刚体运动参数。从而实现实时的人头跟 踪。而 7 为识别输入图像中的特定人脸借助已有的三维人脸模型库，通过一 定的优化算法恢复出特定人脸所对应的三维模型，将其表示为模型库中人脸的线 性组合，而线性组合系数则可以被视为对应于特定人脸的特征向量，从而达到人 脸识别的目的。 三维人脸建模的另一个应用是基于模型的低码率编码 1 4 。例如，在可视电 话或视频会议的系统中，人脸模型可以作为静态场景的一部分预先传输，这样会 话时可以分析出模型的总体运动，以及唇动和表情改变时人脸形状和纹理的细微 变化，之后只需将这些动态变化量参数化并编码传输，然后在接收端进行动画合 成。这种非常低码率的编码方式，能够适用于带宽资源不足的网络环境。 1 4 三维人脸研究的主要问题 对于三维人脸的研究，数据的获取是比较困难的，需要有专门的三维设备或 者严格控制的环境条件下同时拍摄的多幅二维照片。采集到的三维样本的顶点规 模一般都在几万到几十万，导致预处理工作非常复杂和繁琐。另外，由于三维数 第一章绪论 据与二维数据不同，三维数据顶点的排列具有任意性，所以对三维数据的配准也 是一个待解决的问题。v e t t e r 等人在e 1 5 中提出了使用光流场的方法进行三维 数据的配准，但此方法速度很慢且在我们的实验中，效果不能令人满意。另一种 普遍使用的网格分割的方法 1 1 1 2 ，以及我们提出的t p s 的配准方法，都需要 用到一定数量的三维特征点坐标，手工点敝这些坐标非常耗时，而自动的三维特 征点提取算法又从未有人提出。 1 5 本人的工作和创新点 在研究生期间，本人针对以上的问题所做的创新性探索与工作如下： ( 1 ) 帮助实验室内建立了两套三维人脸数据库，分别使用了三维扫描后拼接 与二维照片重构的方法，并且完成了这两个数据库的预处理工作。 ( 2 ) 提出了一种基于少量手工点取的特征点的三维数据预处理方式，具体的 做法是通过优化个能量函数，寻找三维样本的旋转角度与平移量，并对样本中 其他的顶点自动进行相应的处理。 ( 3 ) 在三维配准方面，实现了前人提出的光流方法与网格重采样方法，并对 网格方法提出了适当的改进，在我们的实验中，这两种方法的效果不十分理想， 所以本文提出了一种新的基于t p s 算法的三维配准方法，实验结果证明我们提出 的方法效果更优且耗时更少。 ( 4 ) 基于t p s 与网格重采样方法都需要一定数量的手工标定的特征点位置， 所以本文对在三维上进行自动的特征点搜索进行了尝试。改进了原本在直角坐标 系上适用的a a m 算法，增加了深度信息，并且改为在圆柱坐标( 矗，扪上进行。 新的能量函数融合了原本纹理空间的信息，与新的深度空间的信息，实验证明得 到的优化结果更为理想。 ( 5 ) 利用本文提出的算法，对我们拥有的三个三维人脸库，分别进行了三维 建模的工作，建立了三个三维可变形人脸的统计模型。同时对建立的三维模型进 行了比较，提出了模型评判的般性标准。另外，以上海市科委重大项目“基于 三维头部图像的身份识别新技术研究”为背景，将我们建立的三维可变形模型应 用到了实际系统中，并进行了大量的测试工作。 1 6 论文主要内容安排 第一章，介绍了人脸识别技术的应用，系统的组成、评价标准，国内外发展 现状和有待解决的问题和难点。 第二章，概述了两种三维数据的采集方式，和一些国外已经公开的三维人脸 库。并详细介绍了我们目前拥有的三维人脸库。 一墨二重堡丝 第三章，介绍了对于三维人脸数据的预处理和重采样。对顶点规模非常大的 三维样本，我们提出了一种基于少量手工点取的特征点，进行预处理的方法。 第四章，介绍了在三维数据上的特征点自动提取的a a m 方法，以及我们对原 始a a m 算法所做的改进。 第五章，介绍了三种三维配准方法。包括光流算法，我们提出的基于t p s 算 法的三维配准方法，以及网格分割算法和我们提出的改进。 第六章，概述了目前的三维通用模型建立方法，并简单介绍了建立模型的主 分量分析方法。另外，给出了我们建立的三个三维可变模型，并且给出了之间的 比较，提出了模型评判的一般性标准。 第七章，介绍了本人在上海市重大科技项目“基于三维头部图像的身份识别 新技术研究”中所做的工作，以及取得的成绩。 第二章三维人脸的采集与三维库 第二章三维人脸的采集与三维库 三维人脸数据的采集是三维建模中至关重要的一个步骤，直接关系着建立的 三维可变型模型的性能。现在普遍应用的标准三维人脸模型是结构模型和统计模 型。顾名思义，统计模型指的就是利用统计方法从大量采样样本中学习出人脸共 性。采样样本的获得是这种模型建立的关键。由于三维人脸的研究工作需要在一 定数量的三维样本数据上展开，所以此章节介绍了目前三维人脸的几种采集方 式，以及我们取得的三维人脸库。 第一节概述了两种三维数据的获取方式，其一是从两张二维图片中构造出三 维人脸信息，其二是直接通过三维数字化仪器扫描得到三维样本。第二节介绍了 一些已经公开的三维人脸库。第三节介绍了我们得到的三维库。 2 1 概述 目前三维人脸样本的主要来源有两大方法：其一是由两张二维图像建构三维 人脸。通常这种方法所需的图像输入设备价格比较低廉。但人们很难从被采样的 图像中抽取足够的图形信息，因而很难使三维模型做到准确，要提高三维人脸的 精确度就要以尽可能多地在二维图像上建立基准点为代价。其二就是直接用数字 化仪器的方法测量脸部数据，脸部量度直接由三维数字化仪器，或者结构化的光 传感器，或者断层扫描技术获得，将这些量度数字化后得到三维人脸样本。 2 1 1 从二维图像数据中构造三维数据 基于立体视觉的原理，人脸的三维信息可以由两幅二维图像构造获得。而根 据人脸特征位置分布的情况，选择正面和侧面两幅照片进行三维人脸重构是一个 比较自然的想法。利用正侧视图建立三维人脸模型的研究有许多，总的来说，处 理的流程大致都相同。首先，用事先已校准的两台照相机拍摄人脸的正面和侧面 图像。在背景分割之后，利用算法在正面及侧面图像上定位出一些特征点，例如。 下巴、嘴角、鼻尖、鼻梁上方等。通过这些主要面部特征点空间位置的相互验证 来对准模型，得到三维人脸。利用两张照片融合三维人脸的研究主要在于二维特 征检测，模型修正算法等。例如 1 6 利用侧面人脸的控制点位置限制正面图像上 的特征点搜索范围，并基于边缘检测来定位这些特征。在得到这些二维特征点之 后，系统用二维的径向基函数在正面和侧面视图上分别进行模型拟合，之后再融 合从两个视图得到的结果，从而获得特定人脸的几何形状。最后，系统再进行纹 理映射以得到真实感模型。 1 7 利用肤色、边缘等多种信息，进行特征的定位。 第二章三维人脸的采集与三维库 1 8 1 9 利用了s n a k e 的方法搜索二维特征，再通过对模型的自由变形和调节径 向基函数来获得三维信息。 总之，利用两幅视图可以通过一定的方法获得三维数据，在拍摄中速度比较 快，手工干预也比较少。不过，这里实际上假定两视图间的姿态变换关系已知， 因此数据采集时两摄像机配准的要求较高。另外，由于二维视图提供的约束信息 较少，在某些人脸区域，例如脸颊的部分，其形状信息难以准确确定。 2 1 2 三维扫描数据 2 0 0 0 年，d e b e v e c 等人在 2 0 对人脸光照不变性问题的研究中，使用了一个 叫做l i g h t s t a g e 的结构光扫描仪。这个扫描仪可以采集特定人脸在某一视点下、 不同入射光照方向的图像集合，通过对这些图像的线性组合分析，就可以获得该 视点的人脸在任意入射光照方向下的图像。他们进一步利用结构光扫描仪得到的 人脸几何模型，将图像投影到模型表面，就可以得到视点改变时的人脸图像。 t a r i n i 等人在 2 1 中同样通过结构光扫描仪来获得人脸几何模型。他们首先 将，l 幅未经校准的高分辨率人脸图像与几何模型进行配准。之后他们的工作者重 于重建三维真实人脸，包括对纹理视觉效果的优化和对细节部分的单独建模，例 如眼睛，牙齿，舌头等等。 2 2 三维人脸库 近年来，一些国外大学，比如德国的t f i b i n g e n 大学和美国的南佛罗里达大 学，为了研究三维人脸，建立了一些各自独立的样本库，以下是一些较常见的 三维人脸库的介绍，这些三维库可以在网上取得： ( 1 ) 3 d 库：由比利时布鲁塞尔的信号与图像中心 维库中包含了t 2 0 个样本。在三维样本的取得上，他们采用了基于结构光的方 法，利用一个照相机取得三维人脸的纹理信息，同时，使用台三维投影仪， 从三个方向上采集三维人脸的形状信息。此库提供的三维数据是没有经过任何 处理的原始数据，因此，每个样本都只有三个方向的三维点云，而没有完整的 人脸。拿到数据以后，后期的拼接工作非常复杂，并且由于三维拼接本身就是 个图形学上的难点，所以此库虽然容易取得，但是使用并不广泛。 ( 2 ) g a v a b d b 库：这个库包含了6 1 个人的4 2 7 个三维样本，其中男性4 5 人， 女性1 6 人。采用了三维扫描仪m o l n o t a v i 7 0 0 取得三维的纹理和信息，以及三 维人脸面片的网格结构。对于同一人，有不同姿态和表情下的7 个三维样本数 据，如图2 - 1 所示，左列为经过纹理投影后的三维人脸图像，中间列为末投影纹 第二章三维人脸的采集与三维库 理的三维形状，右列为经过旋转后的同一个三维形状。此库的优势在于它提供 了不同表情下的相同人的三维数据，但是与3 d r m a 相同，此库不提供已经拼接 好的数据，而是离散的点云如图2 1 的第二、三列所示的，要完成完整的三维人 脸，需要很大的工作量。 图2 1g a v a b d b 库示意图 ( 3 ) y o r k 大学建立的人脸数据库：这个库不提供三维数据，只提供了由9 7 个人的9 7 0 个二维图像。每人各l o 个二维样本，其中2 个样本为表情的变化： 开心和皱眉，其余样本表现为姿态的变化。通过将二维图像融合成三维的方式， 也可以取得这9 7 个人的三维数据。同样的，得到数据以后的后期工作非常复杂。 ( 4 ) m p l 人脸库：使用c y b e t w a v e t m 三维扫描仪，扫描了2 0 0 个人脸的三维 数据。目前开放提供的是2 0 0 个样本在7 个方向上的二维投影图像数据，以及 通过这2 0 0 个三维人脸数据得到的三维可变形模型。但并不提供原始的三维数 据。 ( 5 ) x m 2 v t s 数据库：这是个规模较大的商用数据库。共有2 9 5 人的二维图 像，人脸视频和他们的三维数据。三维数据由主动立体成像系统获取( a c t i v e s t e r e os y s t e m ) 。 第二章三维人脸的采集与三维库 以上这些库的缺陷在于，除了商用的x m 2 v t s 数据库外，其他库提供的三维 数据都不是完整的人脸，( 1 ) ，( 2 ) 提供的是各个方向的三维面片，( 3 ) ，( 4 ) 提供 的是各个方向的二维图象，均需要后期的融合工作。除此之外，这些三维库提 供的都是西方人脸的样本，由于人种的不同，这对于我们东方人脸的研究工作 而言，有许多缺陷，具体体现在西方人肤色较白，鼻梁普遍较高等等。所以， 我们的研究工作在自己建立的和从北工大获得的三维库上展开，而没有利用国 外的三维库。 2 3 我们采集的三维人脸库 我们得到的三维样本分为两大类，一类由二维图像融合产生，一类直接由三 维扫描取得。拍摄时都用戴帽的方法去除头发部分，并在拍摄过程中，人脸保持 中性表情，不戴眼镜和其他饰物，同时控制光照，降低光照条件对建立的样本模 型的影响。 2 3 1由两个照相机融合产生的三维样本 一个人的三维面部形状可以通过基于立体图像的照相测量技术获得，融合了 计算机视觉和计算机图形学技术。首先，从预先规定位置的两个不同视点，获取 同一个人脸的两幅图像，运用图像处理技术得到两幅图像中的匹配点，通过三角 j l 何学测量这些点的三维坐标。由两张二维图像构造出三维数据的想法由来已 久，如果在拍摄二维图像时，严格控制相机，焦距，角度等参数，那么理论上， 通过一定的三维图形学算法，就可以构造原始三维信息。在两张二维图片构造三 维数据的研究中，拍摄角度可以是多样的，若两台相机相互距离较近，而离样本 较远，则是典型的三维图形学中的双目视觉问题。但考虑到三维人脸的形状近似 于圆柱形，研究的最多的还是从一幅正脸图像和一幅垂直方向上的侧脸图像构造 数据的算法。下面我们介绍一下二维构造三维的基本算法。 黪 图2 2 照相装置示意图 2 2 第二章三维人脸的采集与三维库 图2 2 所示的是两个照相机( c c d ) 拍摄的图像融合的示意图，c c d 的焦距为f ， 两个c c d 中心之间的距离为b ，0 - x y z 是以两个c c d 焦点连线的中心为圆心的全 局坐标系：o x y z 则是面部局部坐标系在图2 2 所示的系统中，令( x t ，乃) 和 ( ，”) 分别表示受试者面部某特征点在左、右两幅图象上对应的坐标，理想状态 下，它们所表示的特征点在全局坐标系中的坐标值为 爿：剿，】，：掣，z ：旦 ( 2 1 ) “x f x ，) 72 0 , ，- y ，) x 】- x , 计算正面特征点在局部坐标系中的坐标位置时，依据图2 2 中0 - x y z 和。一x y z 之间的关系可以得到： p = p 一+ e ( 2 2 ) 其中，n 为。一x y z 的原点在0 - x y z 中的坐标，p 和p 分别为特征点在o - x y z 和0 - x y z 中的坐标；e 为误差补偿项。由于成像过程中的各种畸变因素，用算法求得的对 应点与实际对应点可能有偏差，由式( 2 1 ) 可知，( x 一) 是误差的主要来源，令 l = x t x ，皿qe 为 冒= ( 丛铲，鬯，等 + ， 弦。， 在成像过程中，对应点偏移一个像素是常见的，( 2 3 ) 右边第一项可对此进行校正， 而i 表示由各个特征点在面部的相对位置和先验知识决定的误差补偿，例如点的 对称性和共线性等。 我们得到的样本时，除了在二维构造三维的过程中，运用到以上的算法之外， 还在拍摄时，在人脸上打上光栅，在融合时借助光栅的投影效果进行匹配，二维 照片可以同时拍摄，拍摄时间较短( 不到1 秒) ，这种方法所需的图像输入设备 价格比较低廉，但是精度不高。我们通过上海交通大学激光与光子生物医学研究 所提供的照相设备仪器对我们课题组人员和有关的学生的拍摄得到的此类三维 人脸样本，共有6 0 人，大部分为2 0 一3 0 岁，其中男性3 3 人，女性2 7 人，构造 后的兰维数据每个样本由大约1 0 0 0 0 0 个点组成。由二维图象构造三维的算法由 上海交通大学激光与光子生物医学研究所帮助完成。从效果上看，由于此类样本 由二维图像融合产生，所以几何信息有一定程度的失真，例如人脸的胖瘦会有比 较大的偏差，接缝处不够自然等等。图2 ，3 显示了两个三维样本在点云形式下的 效果。 第二章三维人脸的采集与三维库 2 3 2 三维融合样本 图2 3 二维融合样本示意 此类样本从预先规定位置的三个不同视点，通过3 dd i g i t a l 公司的三维激光 扫描仪m o d e l2 0 0 获取同一个人脸的三个方向的三维几何信息和彩色纹理信息， 运用图像处理技术得到三个方向的三维数据的拼接融合。此方法在拍摄时需要较 长的扫描时间( 3 - 4 分钟) ，不可避免被拍摄的对象要产生运动，可能会造成最 后拼接时的误差。此类人脸样本每个约有顶点3 0 0 0 0 个，共有1 7 0 人，年龄层分 布较广，其中男性1 0 4 人，女性6 6 人。图2 4 为两个不同方向的三维面片融合 成为一个三维样本的过程示意。融合之前，需要手工点取两个方向上的三维面片 相同语义位置上的特征点( a ) ，然后通过对这三个特征点的位置融合，对齐剩余 的点( ”，并最终通过一定的算法将两个三维面片融合成为一个三维样本( c ) 。 ( a ) 苎三兰三丝堕堕墨叁皇三堡壁一 图2 4三维样本融合过程示意 图2 5 为经过融合处理后的数据点云，此类样本点数较少，所以在点云形式 下，有较多的孔洞，在实际应用当中，可以通过面片插值等算法填补这些孔洞。 另外，由于拍摄仪器与拍摄角度的问题，这类样本缺少脖子附近的几何信息。 图2 5 三维融合样本示意 这些样本是利用复旦大学医学院数字医学研究中心购制的三维激光扫描仪 对我们课题组人员和有关的学生的拍摄的。 2 3 3 直接扫描样本 不同于上一类样本，此类三维人脸数据直接通过c y b e r w a r e3 0 3 0 r g b p s 激光 扫描仪获取，该扫描仪可以一次扫描得到人头部的几何信息和彩色纹理信息。扫 描仪使用柱面坐标用来记录几何信息，扫描精度为圆周方向( 用毋表示，0 咖 2 ) 4 8 9 个采样点，轴方向( 用由表示，0 力 3 0 0 r a m ) 4 7 8 个采样点，扫描半径 ( 用，表示) 在2 6 0 r a m 至l j 3 4 0 m m 之间1 每一个几何采样点对应一个2 4b 纹理点 ( 用亓，g ，口表示) ，并以4 8 9 4 7 8 大小的纹理图像存储。由于浚扫描仪对于 第二章三维人脸的采集与三维库 头发等复杂结构或黑色部位的扫描效果比较差，而这里感兴趣的只是人的面部信 息，因此扫描者戴了泳帽，且没有化妆，不戴眼镜和任何饰物。c y b e r w a r e 扫描 仪获得的数据精度很高，一个人的数据大约由1 3 0 0 0 0 个点组成，由北京工业大学 提供。其中男性样本2 5 0 人，女性样本2 5 0 人。此类样本数据较完整，对于几何与 纹理信息的真实度也相当良好。由于这类数据我们拿到的较晚，所以大部分工作 是在前两种数据上展开，基于此类数据的研究工作f 在进行中。 2 4 本章小结 图2 5三维直接扫描样本示意 本章介绍了目前的现有的三维人脸数据和我们用两种方法得到的三维人脸 数据对与常见的三维样本采集方法。由于国外人脸库具有样本不完整，需要大量 的后期拼接融合工作，以及由于人种不同等缺陷，对于我们的研究工作没有很大 的帮助。目前，我们的工作在三个中国人脸的样本库上展开，包括二维构造的三 维数据样本，三维拼接的数据样本与直接扫描得到的完整三维样本。接下来的几 章将详细阐述我们对已获得的中国人三维数据进行建模过程。 第三章对于三维样本数据的预处理 第三章对于三维样本数据的预处理 从上章知道我们获得的三维数据是几十万或几百万的具有三维坐标的点，和 它们所带的纹理信息，这些点的分布不均匀，它与二维的照片不同，二维的照片 上的每个坐标点是按行和列整齐地排列在二维空间上，对二维的照片也需要预 处理，因此，对三维样本数据的预处理，归整和重新采样的处理更为重要，它是三 维建模研究的必要步骤。 对于二维人脸图像的预处理，可以分为三大部分：人脸的检测，定位和人脸 图像的归整化。人脸的检测与定位是从数字图像或者视频序列中确定是否存在 人脸。如果有人脸，确定人脸的位置。人脸图像的归整化主要包括对于光照影 响的归一和对于姿态影响的图像的归一。 我们的三维人脸图像样本，必定存在人脸，所以省略了人脸检测的步骤，而 由于三维数据与二维数据的组织方式不同，三维数据需要进行语义上的配准工 作。所以，对于三维人脸的研究，分为预处理，重采样，三维数据配准三个部 分。 三维数据配准的工作是本论文研究的重点，我将在后面的章节详细阐述，本 章主要讨论预处理和重采样部分，其结构如下：第一节概述三维数据的预处理工 作，第二节介绍我提出的三维数据预处理方法，第三节介绍三维数据的重采样。 3 1 概述 首先，我们对比二维与三维数据的组织方式。对于一幅二维上的图像j ，图 像信息可以表示为 i ( x ，y ) = ( r ( x ，y ) ，g ( x ，y ) ，b ( x ，y ) 。v x ，y ) i ( 3 1 ) 而对于三维数据，不同于二维人脸，不论采集的方式如何，三维采集数据都 是按人脸纹理变化的情况布点，其顶点的分布是不均匀的( 如图3 1 a 所示) ，不 同的人的分布也不同( 如图3 1 b ，c ) 所示。同时，园纹理变化的情况不同，不同 的人对应的三维人脸的顶点数也不同。 如第二章所述，原始的三维人脸样本数据可以有多种来源，包括由三维扫描 数据直接获得，或者由两张二维照片基于立体图像的照相测量技术获得，无论何 种数据，三维样本数据均表达为m e s h = y e r t i c e s ，f a c e s ，c o l o r s 的形式。其中， 表示所有的网格顶点位置的v e r t i c e s 信息是必须的，通过网格顶点位置，才能够 表述一个完整的三维样本的几何信息。c o l o r s 表示节点的颜色，若三维样本在获 第三章对于三维样车数据的预处理 取的过程当中，并没有录入色彩信息，则没有c o l o r s 信息。而表示组成面片的节 点集合的p a c e s 信息，可以通过对数据的后期加工形成，若没有f a c e s 信息的三 维样本，则物理上显示为点云的集合。 v = ( ，y l ，z l ，。，工，y ，勺) 。 ，。、 c = ( r l ，g j ，e ，月，q ，占，) 。 换言之，对于二维图像，几何信息是二维整数上连续的点的集合，而对于三 维数据，几何信息是在三维空间内实数上离散的点的集合。同时，因拍摄的位置 和人的高度不同，五官的位置也有差异，因而在做三维建模与其它三维人脸研究 之前需要进行预处理，重新采样。 图3 1三维人脸顶点分布( a ) 不均匀的采样点( b ，c ) 不同人的顶点分布 3 2 预处理 对于二维人脸图像，在对人脸图像进行特征提取和分类之前需要做几何归一 化，即根据人脸面部关键点定位结果将人脸变换到同一位置和同样大小。人脸图 像的几何归一化的基础是已知人脸图像关键点( 瞳孔、嘴角、鼻孔) 的坐标或者 已知面部轮廓( 脸轮廓线、眼轮廓线、嘴轮廓线等) 位置信息。根据以上位置信 息，将人脸变换到统的大小。 三维人脸样本数据同样需要进行几何归一化的工作。相对于二维图像，三维 图像具有更为复杂的空间自由度，包括x ，y ，z 方向的平移，旋转与缩放( 图3 2 ) 。 因此，对于三维图象的预处理工作比二维图像更为复杂。 本论文对三维样本的预处理工作同样是基于几何信息。已知人脸图像关键点 的坐标，对三维图像进行7 个自由度上的平移，旋转与缩放。 假设三维上一个关键点的坐标为k f x ，y ，z ) ，此关键点经过平移，旋转后的位 置为詹( x ，y ，z 1 ) ，在三维空间上，绕x ，y ，z 轴旋转的角度分别为( 目，仍y 1 ，三个 方向的平移分别是( t x , t 。t ) ，则三维空间点坐标变换公式为：z 第三章对于三缡样本数据的预处理 f o y 。i = lo c o s 0 l 孑jl o s i n 口 图3 2 三维空间自由度 淡川 对于一幅三维人脸而言，一般只要已知三个关键点的坐标，就可以确定此样 本的位置参数。本论文对三维样本进行几何归一化时，采取了手工点取关键点 的方式。手工点取三维点坐标时，可能会产生一定的偏差值，为了消除这一不 利的因素，我l ；j 在一幅三维萄象上，点驭多子三个的关键点，即眼角点，嘴角 点，与鼻尖点，共7 个关键点( 图3 f 3 ) 。我们将这7 个关键点排列成为矢量的 形式面= k l , 露。，k - ，k ， ，在三维空间通过( 口，仍y ) 旋转与(