（测试计量技术及仪器专业论文）基于正交照片的三维人脸重建.pdf

摘要 三维人脸重建一直是计算机视觉和图像处理领域中一个极具挑战性的课题。 它不仅在视频电话、影视制作等多个领域有广泛的应用，而且也可以解决传统二 维人脸识别由于人脸姿态、表情等因素影响造成识别率较低的问题。 本文首先研究了基于主动形状模型( a s m ) 算法的正、侧面人脸照片特征点 自动定位。深入研究了该算法初始形状选择、定位与特征点局部特征描述两个关 键问题。针对正、侧面人脸照片不同的特点，提出了利用正面人脸照片水平和垂 直两个方向的信息选择初始形状，并对其定位；引入基于非线性色彩变换的肤色 分割方法，对侧面人脸照片中特征突出的点进行定位，利用已定位点的信息选择 初始形状，并将其定位到侧面人脸照片中。针对人脸特征点局部特征描述问题， 提出了局部灰度特征与纹理特征相结合的局部特征描述方法。然后，论文根据正、 侧面人脸照片中自动定位的特征点对c a n d i d e 3 通用三维人脸模型进行调整，得到 与待重建人脸近似的特定三维人脸模型，并对其进行纹理映射。仿真结果验证了 本文方法的有效性。 在v c + + 6 0 平台下结合o p e n g l 技术，开发了w i n d o w s 环境下的三维人脸 重建系统。基于正、侧面人脸照片，得到了真实感较强的三维人脸。 关键字：三维人脸重建主动形状模型自动定位特征描述纹理映射 a b s t r a c t 3 df a c er e c o n s t r u c t i o nh a sa l w a y sb e e nac h a l l e n g i n gi nt h ef i e l do fc o m p u t e r v i s i o na n di m a g ep r o c e s s i n g i ti sn o to n l yw i d e l yu s e di nt e l e c o n f e r e n c ea n dd i g i t a l m o v i ep r o d u c t i o n , b u ta l s ou s e dt os o l v ep r o b l e m ss u c ha sp o s ea n de m o t i o nc h a n g e si n f a c er e c o g n i t i o n , w h i c ha r ev e r yh a r dt os o l v eu n d e rt r a d i t i o n a l2 dc o n d i t i o n f i r s t l y , t h i sd i s s e r t a t i o na p p l i e st h ea c t i v es h a p em o d e l s ( a s m ) a l g o r i t h mt o l o c a t et h ef e a t u r ep o i n t si nt h ef r o n t a la n dp r o f i l ev i e wo fp h o t o s t h ei n i t i a ls h a p e s e l e c t i o n , l o c a t i o na n dt h el o c a lf e a t u r ed e s c r i p t i o na r o u n dt h ef e a t u r ep o i n t sa r e d i s c u s s e dd e e p l y i no r d e rt op r o c e s sp h o t o s 、7 l ，i md i f f e r e n tc h a r a c t e r i s t i c so ff r o n t a la n d p r o f i l ev i e w , t h i sd i s s e r t a t i o nu s e st h ei n f o r m a t i o no fh o r i z o n t a la n d v e r t i c a ld i r e c t i o n s t os e l e c tt h ei n i t i a ls h a p ea n dl o c a t ei t t h e n , t h ep r o f i l ef a c ei ss e g m e n t e db a s e do nt h e n o n l i n e a rc o l o rt r a n s f o r mt h ei n i t i a ls h a p ei np r o f i l ei ss e l e c t e da n dl o c a t e du s i n gs o m e l o c a t e dd i s t i n c tp o i n t s a ni m p r o v e dm e t h o di si n t r o d u c e dt od e s c r i b et h el o c a lp r o p e r t y w h i c hc o m b i n i n gt h el o c a lg r a yp r o p e r t yw i t ht h el o c a lt e x t u r ep r o p e r t y s e c o n d l y , b a s e do nt h e s ef e a t u r ep o i n t s ，s p e c i a l3 df a c em o d e li so b t a i n e db ym o d i f y i n gg e n e r i c c a n d i d e 一3m o d e l t h e nt h r o u g hm a p p i n gt h es p e c i a l3 df a c em o d e lw i t ht h ef a c e t e x t u r ee x t r a c t e df r o mt h ep h o t o ，ar e l a t i v er e a l3 df a c em o d e li sb u i l t , w h i c hi sc l o s et o t h ep e r s o nr e c o n s t r u c t e d e x p e r i m e n t a lr e s u l t ss h o wt h ee f f i c i e n c yo ft h i si m p r o v e d m e t h o d t h e3 df a c er e c o n s t r u c t i o ns y s t e mi sd e v e l o p e du s i n gv c + + 6 0a n do p e n g l u n d e rw i n d o w sp l a t f o r m 3 df a c i a li m a g e s 诵t 1 1l l i g hs e n s e so fr e a l i t ya l eo b t a i n e d b a s e do nt h ep h o t o so ff r o n t a la n dp r o f i l ev i e w k e y w o r d ：3 df a c er e c o n s t r u c t i o n a c t i v es h a p em o d e ba u t o - l o c a t i o n c h a r a c t e r i s t i cd e s c r i p t i o nt e x t u r em a p p i n g 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特，i i j j j n 以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：幺丝渔 ， 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名： 导师签名： 日期冱 ! ! 三。2 匕 日期旁啦怛 第一章绪论 第一章绪论 1 1 研究背景和意义 人脸是人表达情感和表现个性特性的重要部分，它具有个性化和多样性的特 点。在人们的日常生活中，人脸起着重要的作用，如身份的鉴别、感情的传达。 由于人脸的个性面部特征存在客观差异，即使看起来非常相似的两张人脸，在某 些部位也存在着区别。 从古到今，对人脸的描述和刻画一直受到人们的广泛关注。复制逼真的人脸， 是人们长期以来的追求。早期常采用的方法包括手工绘画、泥塑、雕刻等。随着 科技的发展，1 8 3 9 年世界上诞生了第一台可携式木箱照相机，于是出现了用摄像 的方法来再现真实人脸。但其仅限于反映人脸在某个角度的二维信息，无法得到 具有真实感的三维人脸。从2 0 世纪7 0 年代p a r k e 1 j 【2 j 【3 】建立起第一个脸部模型开始， 许多研究人员开始致力于三维人脸重建的研究。特别是2 0 世纪9 0 年代以来，计 算机视觉和计算机图像学技术的迅猛发展为三维人脸重建研究提供了技术支持， 许多学者开始尝试建立逼真的三维人脸。 真实感的三维人脸重建在人们的生活中具有重要的现实意义： 1 ) 三维人脸重建有着极为广泛的应用 目前，三维人脸重建已经初步应用到视频电话、视频会议、影视制作、电脑 游戏、医疗整形、辅助教学、安全认证等多个领域，而且随着各方面技术的发展， 三维人脸重建将会在各方面得到更深更广的应用。 2 ) 突破二维人脸解决某些问题的局限 在人脸识别方面，姿态、表情的变化始终是一个影响识别率的关键问题，如 果利用三维模型去模拟各种姿态变化，合成各种表情动作，则可充分利用三维信 息进行识别，理论上有望提高识别率和识别鲁棒性。 目前人们在三维人脸重建方面取得了一些技术上的突破，但已有的方法往往 需要昂贵的设备作为辅助，或者需要复杂、专业的操作才能完成人脸的三维重建。 正是由于成本高、技术复杂的重建方式使得三维人脸重建的方法无法在各种应用 研究中得到普及。因此，低成本、操作简单、形象逼真的三维人脸重建成为了研 究热点。本文将根据照相机拍摄的正、侧面人脸照片，重建具有真实感的三维人 脸。 基于正交照片的三维人脸重建 1 2 国内外研究现状 自从p a r k e1 9 7 2 年首次使用计算机方法表示人脸【1 1 ，人脸建模得到了广泛关 注。经过3 0 多年的发展，许多研究者先后在人脸建模方面进行了创造性工作，提 出了不同的人脸建模方法。同时人脸建模的研究重点也由最初研究如何使用计算 机表示人脸的外观，转移和集中到人脸生理规律的计算机模拟和真实感人脸建模。 根据三维数据的来源不同，建模方法可以分为：基于三维扫描仪的方法、基于视 频的方法和基于照片的方法。 1 基于三维扫描仪的方法 利用三维数字扫描仪( 如c y b e r w a r e ) 、三维照相机等硬件设备直接采集人脸 模型的三维信息。该方法能准确构造人脸模型，但设备昂贵且费时费力。 多伦多大学的l e e 等人【4 】利用激光扫描仪获得三维数据的集合和纹理信息，调 整已知的通用三维人脸网格模型，生成特定三维人脸模型。丘成桐等人也利用三 维扫描仪获取了人脸的全部信息；康柏剑桥研究所的w a t e r s 等人利用扫描仪获取 的三维数据进行了三维头部建模【5 j ；德国学者b l a n z 和v e t t e r 则用此技术建立了一 个包含三维几何信息和表面纹理信息的头部数据库【6 】。 b r i a ng u e n t e r 等人【7 】预先用激光扫描仪获取特定人的三维人脸网格模型，然后 在模特的人脸上贴上1 8 2 个六种不同颜色的荧光点，通过这1 8 2 个荧光点上获取 不同表情时人脸的特征点位置，进而修改人脸模型获得各种表情下精确的人脸网 格模型数据。从相应表情的纹理数据中除去荧光点得到纹理图像，并进行纹理映 射。最终得到不同表情下的真实感三维人脸。这种方法的缺点是需要激光扫描仪 和多个摄像机，但是其优点是简化了特征的识别与提取问题，能够获得比较逼真 的效果。 中国科学院自动化研究所研制出了基于激光扫描的三维数据获取方法。 2 基于视频的方法 z c l i u 和z y z h a n g s j 提出一种从视频图像进行快速三维人脸重建的方法。该 方法在三维人脸重建时手工标定5 个显著特征点( 两个眼角点、一个鼻尖点和两 个嘴角点) ，这五个特征点并不用于特征点的定位，而是用于确定人脸区域以及获 取人脸区域的颜色模型。特定人的人脸特征是通过检测预先定义的面部角点来进 行对应计算的。 x i n 等人 9 1 提出了一个从视频序列建立三维人脸模型的方法，其优点在于它可 以方便的结合到基于模型的编码m p e g - 4 中；缺点是如果视频中初始静止人脸图 像的角度变化超过1 5 度或者当人脸表面皮肤很光滑时会导致建模失败。 3 基于照片的方法 第一章绪论 二维照片中包含着深度信息。计算机视觉的相关研究，就是从二维照片中重 建三维信息，用于构建三维模型。同一物体不同角度拍摄的照片中包含着立体视 差，可以通过立体视觉的方法获得。物体相对于摄像机运动产生的运动视差，可 以由从运动恢复形状的方法恢复。即使是单幅照片，由于物体的表面深度的变化 会通过光照模型的作用反映在二维照片上，因此也可以从中恢复深度信息。 一般的基于照片的三维人脸重建方法，可以大致分为照片数据采集、三维信 息提取、三维模型重建和纹理映射等四个阶段。而其中的关键就是如何从照片中 获取三维信息，并把从照片中获取的原始三维信息，转化为一个特定的具有真实 感的三维人脸模型。现有的基于照片的三维人脸重建的主要方法有：基于立体视 觉、基于形变模型、基于模型优化和基于通用三维人脸模型变形等。 1 ) 基于立体视觉的方法 立体视觉的开创性工作是从2 0 世纪5 0 年代中期开始的。美国麻省理工学院 的r o b e r t 把二维照片分析推广到三维景物分析，标志着计算机立体视觉技术的诞 生，并在随后的2 0 年中迅速发展成- - f - j 新的学科。特别是2 0 世纪7 0 年代末，m a r r l l 0 】 等创立的视觉计算理论对立体视觉的发展产生了巨大的影响，现已形成了从照片 获取到最终的景物可视表面重建的比较完整的体系。 c m u 大学的t o m a s i 和k a n a d e 等人在假定摄像机为正交投影模型的前提下， 利用仿射分解的方法同时解出了三维结构和摄像机运动，做出了第一个基于照片 的三维重建系统i l 。k a t h o l i e k e 大学的p o l l e f e y s 等提出的物体表面自动生成系统 运用了可变内参数下的摄像机自动标定技术，该系统仅要求手持摄像机围绕物体 拍摄一系列照片，即可自动实现自标定和分层重构【1 2 】。l e n g a g n e 等人【1 3 】【1 4 1 提出将 人脸的一些先验信息融入基于立体视觉的三维重建过程中，这些先验知识包括形 状的微分信息，几何信息等。他们首先利用传统的相关算法给出初始的深度图， 然后利用一个各向异性网格去逼近立体视觉得到深度图，并加以先验约束。 立体视觉方法需要在采集的照片中寻找匹配点。但是，对于人脸图像来说， 由于人脸照片大面积为皮肤所覆盖，因此人脸图像中纹理信息较少。这里所说的 缺少纹理信息，在计算机视觉领域，主要有以下两点：一是人脸照片灰度变化比 较平滑，比如考察脸颊和额头区域内两个图像窗口的灰度特性，会发现二者十分 接近，而立体视觉匹配很大程度上就是依靠这种相似性。因此当把立体视觉匹配 应用到人脸图像上时，会发现有很多相似区域都能产生比较高的匹配效应，造成 严重的二义性问题；二是人脸照片的梯度信息比较少，很难提取特征( 如角点、 线) 。而这些特征往往能够提供可靠的对应信息。另外摄像机标定过程相当繁琐， 标定精度直接影响重建结果。 2 ) 基于形变模型的方法 形变模型( m o r p h a b l em o d e l ) 是近几年出现的三维人脸建模方法，该方法使 4 基于正交照片的三维人脸重建 用原型人脸的组合表示新的人脸。随着三维激光成像仪( 如c y b e r w a r e ) 技术的成 熟与应用，使得研究人员有条件获得准确的三维人脸信息，这就为利用统计学方 法解决三维人脸重建方法创造了条件，提供了训练所需的数据源。 t v e t t e r 等人【1 5 】【1 6 】【1 7 1 在这方面进行了开创性的研究，建立了较小规模的三维人 脸数据库，通过模型匹配实现了从一幅人脸图像重建三维人脸。 形变模型可实现三维人脸的自动建模，具有较好的真实感，但是形变模型的 模型匹配优化过程计算过于复杂，计算量很大。 3 ) 基于模型优化的方法 基于模型优化的方法是以标准人脸模型为基础，采取优化的方式，通过定义 一个代价函数并对其优化，逐步逼近目标人脸模型。 f u a 等人1 8 】【1 9 】较早的提出了这种模型优化的思想。他们的贡献有两方面，一 是使用了优化技术并利用了人脸形状的先验知识，能够从视频序列中恢复人脸； 二是采用了最小平方框架融合多种信息。 l i u 等人【2 0 1 1 2 1 】将人脸表示为中性人脸与若干变形机制的组合。这些机制控制着 人脸的形变，比如使人脸变宽、鼻子变长等。在这些机制的控制下( 通过其线性 组合系数) ，他们的模型可以从中性人脸变形到特定人脸。 这种基于优化的方法，广泛的使用了冗余的图像信息，从图像序列中恢复三 维人脸模型。这是其区别于基于形变模型方法的最大特征。究其原因，还是在于 其作为优化基础的三维人脸模型提供的约束不足。这些模型有的只是稀疏的网格 模型【1 9 1 ，有的是稀疏网格模型的线性组合【2 0 1 ，有的是稠密网格模型的线性组合【2 2 】 1 2 引。这就需要依靠较多的输入图像，使得优化过程能够收敛。 4 ) 基于通用三维人脸模型变形的方法 基于通用三维人脸模型变形是较早出现的一种用于重建特定三维人脸模型的 方法。随着一些人脸网格模型的相继出现，基于通用三维模型变形的方法成了现 在研究的热点，它一般是基于二维照片( 单幅、多幅、序列) 中的特征点进行形 状变形。 k u o 给出了由一张没有深度信息的正面二维灰度图像组合出一张侧面人脸的 方法。该算法首先参照人体测量学的定义构造一个包含测试人脸参数的数据库， 并以这个数据库作为先验知识。然后，通过将最小中值二次误差( m m s e ) 估计 的规则应用于数据库，从正面的人脸参数中估计出侧面人脸的参数，一般侧面人 脸的深度参数通过几个正面的人脸参数线性组合得到。有了正面坐标和深度信息 可以自适应的得到三维人脸模型。 n m t h r l m o i l l l 等人【2 4 】以正、侧面人脸照片为基础通过人机交互的方式进行特 征提取、轮廓提取来取得修改通用模型所需要的标定信息，接着使用自由变形技 术将通用三维人脸模型变形为特定人三维人脸模型。 第一章绪论 华盛顿大学的p i 曲j i l 【2 5 】等人利用多幅照片调整通用三维人脸模型，他们在多幅 照片中人工标定多个特征点，然后对通用模型进行变形，重建出逼真的特定三维 人脸。 中国科技大学从正面和侧面两幅照片出发合成了三维人脸模型并制作了简单 的面部表情动画。 现有的基于照片的三维人脸重建系统大都需要人机交互，一般需要用户先标 定指定位置的特征点，然后才能完成重建工作，针对这个问题，本文预采用通用 三维人脸模型变形的方法实现自动三维人脸重建系统。 1 3 本文研究内容 本文选用通用三维人脸模型变形的方法，基于正、侧面人脸照片实现自动三 维人脸重建系统。通过提取正、侧面人脸照片中的特征信息，对通用三维人脸模 型进行调整，得到与待重建人脸相近的特定三维人脸模型，然后对其进行纹理映 射，得到具有真实感的三维人脸。 基于正、侧面人脸照片对通用三维人脸模型变形实现自动的三维人脸重建要 解决两个关键技术：一是如何自动提取正、侧面人脸照片中人脸的特征信息；二 是如何对通用三维人脸模型准确、快速的调整，得到逼真的特定三维人脸模型。 针对以上问题，本文对以下内容进行研究： 1 通用三维人脸模型的选取及重建方案设计 对现有的三维人脸模型的特点进行分析，根据实验条件，选取合适的通用三 维人脸模型，确定本文的主要研究方向，并设计基于正交照片的三维人脸重建方 案。 2 正、侧面人脸照片特征点自动定位 照片中人脸的特征信息一般通过定位照片中具有代表性的特征点来提取，因 此正、侧面人脸照片的特征点自动定位是实现自动三维人脸重建系统的关键。本 文基于主动形状模型算法对正、侧面人脸照片特征点进行自动定位。分析主动形 模型用于人脸特征点定位的关键问题：初始形状选择、定位及特征点局部特征描 述。对于正面人脸照片初始形状选择和定位，本文充分利用照片中人脸水平和垂 直两个方向的信息，选择与真实人脸形状比较接近的形状作为初始形状并将其定 位到正面人脸照片中。本文引入基于非线性色彩变换的肤色分割算法，对侧面人 脸照片中特征鲜明的特征点进行定位，利用已定位的特征点选择初始形状并将其 定位到侧面人脸照片中。针对人脸特征点局部特征描述，本文在特征点局部灰度 模型的基础上，提出局部灰度特征与局部纹理特征相结合的局部特征描述方法。 利用本文提出的解决和改进方法对正、侧面人脸照片特征点进行自动定位，测试 6 基于正交照片的三维人脸重建 方法的有效性。 3 通用三维人脸模型变形以及纹理映射 基于c a n d i d e 一3 通用三维人脸模型，及正、侧面人脸照片特征点，设计简单、 快速的特定三维人脸模型重建方法，并对重建结果进行纹理映射，重建出具有真 实感的三维人脸。 1 4 本文组织结构 第一章，绪论。论述课题研究的背景和意义，以及三维人脸重建的实际应用 领域。概述三维人脸重建的研究现状。介绍本文的主要内容以及组织结构。 第二章，通用三维人脸模型的获取及重建过程设计。对现有的三维人脸模型 的特点进行分析，选择c a n d i d e 3 三维网格模型作为本课题用于重建的通用三维人 脸模型，并简单的介绍c a n d i d e 3 三维人脸模型。概述本文的重建过程。 第三章，正、侧面人脸照片特征点自动定位。基于主动形状模型算法对正、 侧面人脸照片特征点进行自动定位。详述主动形状模型算法基本理论，分析主动 形状模型算法用于人脸特征点定位的关键问题，并结合本文用于重建的正、侧面 人脸照片特点提出相应的解决和改进方法，并对其进行实验测试。 第四章，通用三维人脸模型的变形及纹理映射。讨论通用三维人脸模型基于 正、侧面人脸照片特征点的调整方法。介绍对调整后模型的纹理映射方法，给出 重建结果。介绍本文开发的基于正交照片的三维人脸重建实验平台。 第五章，总结与展望。总结本文的工作，并对本课题下一步的研究内容进行 展望。 第二章通用三维人脸模型的选取及重建过程设计 第二章通用三维人脸模型的选取及重建过程设计 本文利用通用三维人脸模型变形的方法来重建特定人脸的三维模型。从正交 的人脸照片中提取人脸的特征信息，利用这些特征信息对通用三维人脸模型进行 调整来重建特定三维人脸。为此需先得到一个通用的三维人脸模型。通用三维人 脸模型的获取方法有很多，可以使用专门的三维扫描仪，如螺旋c t 机、三维数字 化扫描仪、立体摄像机等，也可以利用第三方三维建模软件提供的头部模型数据 获取一个通用的人脸模型，如3 d m a x 、p o s e r 等。 2 1 通用三维人脸模型的选取 每张人脸都有相同的面部结构和相似的面部动作，这些特征为建立通用三维 人脸模型奠定了基础，通用三维人脸模型可以描绘出人脸的共有特征。不同个体 的人脸中了公共特征外，还有一些个性特征，用于表征不同的人脸。一个好的通 用三维人脸模型应具备一下几个特点【2 q ： 1 ) 参数化：利用具体人脸的特征信息，调节参数能够描述个性化人脸，从而 形成特定人脸模型； 2 ) 逼真度：能准确的描述人脸的基本形状，并能对人脸的五官、位置做详细 的刻画，具备特定人脸的特征； 3 ) 简单化：模型的顶点越多描述人脸的精度就越高，但是给模型的调整和后 期处理增加了难度。如果顶点太少又不能精确的描述人脸的细节，因此需要在模 型的复杂度和精度之间进行折中。 2 1 1 通用三维人脸模型分类 当前存在许多种人脸模型，其中具有代表性的有：参数模型、肌肉模型、物 理学模型、网格模型。 1 参数模型 2 0 世纪7 0 年代初p a r k e l l l 【2 1 【3 1 提出了一种参数化模型，如图2 1 所示。参数模 型一般包括两类参数：人脸构造参数和人脸动画参数。人脸构造参数用来描述特 定人脸的几何特征，包括脸型的整体大小及五官的具体大小和形状，用于产生各 种各样的个性化人脸形状。人脸动画参数描述面部器官的运动情况，譬如：眨眼、 张嘴等，用于产生人脸的各种表情。但是当前大部分基于该类参数模型的研究提 取的参数都比较粗糙，因此产生的效果不佳。 基于正交照片的三维_ 人脸重建 除睁困 图2 lp a r k e 的参数化模型 2 肌肉模型 人脸的运动，从解剖学角度来看，是由面部各部分肌肉协同变形的结果。如 果根据肌肉的物理特性，对面部的各个区域进行收缩和扩张控制，就能以较少的 控制参数得到较好的面部运动和逼真的表情。因此w a t e r s 2 ”提出了一种肌肉模型， 如图2 2 所示可以根据面部肌肉的动作来合成许多脸部组织的细微变形。这种模 型要求掌握脸部肌肉的解剖结构、组织学、动力学等方面的知识。该模型可以实 现逼真的脸部变形，较多的应用于人脸动画。 耍 图2 2w a t e r 的肌肉模型 3 物理学模型 t e r z o p o u l o s 和w a t e r s 提出一种新的人脸模型基于物理学的人脸模型口”。 物理学模型是近年来发展最快的一种人脸模型，能达到相当逼真的面部变形效果。 它主要使用多层的弹性网格和有限元网格表示皮肤的物理特性，并采用了一种保 持体积恒定的变形规则。变形都是由外部力量( 如肌肉收缩) 引起的，通过解大 规模的动力方程组来模拟面部变形。这种模型甚至可以模拟出逼真的头发运动和 眼泪的流动，但是其计算量巨大。物理学模型变形前后如图23 所示。 穆穆 图2 3 物理学模型 4 网格模型 由于网格模型易于创建、使用、变形和渲染，现成为应用比较广泛的三维人 脸模型之一。网格模型的一般数学描述是： 第二章通用二维人脸模型的选取及重建过程设计 m 。 v ，f ，o 式( 2 - 1 ) 其中，表示网格顶点集合t 表示组成面片的顶点编号集台，c 表示顶点或面 片的属性。根据面片的形状，可以把模型分为三角面片模型和四边形面片模型两 种。目前应用较多的是基于三角面片的网格模型。三角面片网格模型的顶点分布 往往是不均匀的，关键部位如眼睛、嘴角等处顶点密集，平滑部位如额头、脸颊 等处的顶点稀疏。顶点越多，三角形面片越多，头部的模型就越逼真但是同时 也增加了模型的复杂度和后期处理的难度，因此顶点数量的选择可根据实际要求 来综合确定。人脸网格模型如图2 4 所示。本文预选取网格模型作为用于重建的通 用三维人脸模型。 21 2 通用三维人脸模型获取 r 一| 霹 圈2 4 网格模型 通用人脸模型的获取虽然有多种渠道，如使用专门的三维扫描设备或通过第 三方三维建模软件等。虽然使用专门的三维扫描设备( 如螺旋c t 机、三维数字化 扫描仪、立体摄像机等) 得到的人脸模型比较精确，但是专门的三维扫描设备价 格昂贵，获取途径并不方便。通过第三方三维建模软件( 如3 d m a x ，p o s e r 等) 来 获取一个通用的三维人脸模型，免去了人脸重建的繁琐工作。但是这种方法构造 的人脸有很多缺点：导出的人脸模型数据点个数庞大，使模型的拓扑结构变得复 杂，不利于模型的控制和重建，更不乖j 于模型的二次开发。 为了简单方便的利用通用三维人脸模型，避免繁琐的众多模型点的调整，减 少工作量。本文选用瑞典大学的i l l l a g ec o d i n gg r o u p 发布的脸部数据比较简单的 c a n d i d e 3 1 2 9 1 三维人脸网格模型作为用于重建的通用三维人脸模型。 2i 3c a n d i d e 3 三维人脸模型简介 瑞典大学的i m a g ec o d l a gg r o u p 多年来一直从事三维人脸重建工作，c a n d i d e 三维人脸模型是r y d f a l k 于1 9 8 7 年公布的最初的人脸模型，它的版本已经改进了 多次。2 0 0 1 年a h l b e r g 发布了晟新的版本c a n d i d e - 3 。这个版本的三维人脸模型达 到了与m p e g - 4 标准p 0 1 的统一。 基于正变照片的三维人脸重建 c a n d i d e - 3 是一个简单的参数化的三维人脸网格模型，它同时兼具m p e g - 4 中 的人脸定义参数( f a c i a ld e f i n i t i o np a r a m e t e r s ，简称f d p ) 和人脸动画参数( f a c i a l a n i m a t i o np a r a m e t e r s ，简称f a p ) 。人脸定义参数用来描述不同人脸之间的差异， 人脸动画参数用来控制脸部的动作，并且根据动态参数可以进行动作编码，因此 该模型被广泛的应用于三维人脸重建和动画研究方面。 c a n d i d e 一3 三维人脸模型包含1 1 3 个顶点和1 6 8 个面，如图2 5 所示，从左到 右依次是：模型右转9 0 度、正面人脸模型、模型左转9 0 度。模型顶点v 的坐标为 ( ，儿，) ，1 i 1 1 3 。x 、y 、z 三个方向的约定为：从正面看人脸模型时。从 左到右是x 方向，从下到上是r 方向，从后到前是z 方向。 圈2 5c a n d i d e - 3 通用三维人脸模型 2 2 本文重建方案设计 本文通过提取正、侧面人脸照片具有代表性的特征点，对c a n d i d e 3 通用三维 人脸模型进行几何调整，从而得到与待重建人脸相似的特定三维人脸模型。正面 人脸照片中的特征点为c a n d i d e ，3 通用三维人脸模型提供t 、r 方向的调整信息， 侧面人脸照片中的特征点为c a n d i d e 一3 通用三维人脸模型提供z 方向的调整信息。 正、侧面人脸照片的特征点定位是实现基于正交照片的三维人脸重建系统的 重点，同时也是难点。已发布的基于照片的三维人脸重建系统( 如f a c e g e n ) 一般 都是交互式的重建系统需要用户先手动标定指定位置的特征点，然后才能完成 重建工作。为了实现全自动的三维人脸重建系统，本文对正、侧面人脸照片特征 点自动定位进行研究，利用自动定位的特征点对c a n d i d e - 3 通用三维人脸模型进行 变形，实现自动三维人脸重建。 总体来说，本文实现三维人脸重建系统主要包括队下几个过程： 1 ) 正、侧面人脸照片特征点自动定位。 对待重建人脸的正面人脸照片自动定位一些具有代表性的特征点，如轮廓点、 眉毛点、眼角点、嘴角点等，根据这些特征点提取待重建人脸的轮廓和五官的宽 度、高度、相对位置等信息。在侧面人脸照片中自动定位特征鲜明、具有代表性 的特征点，如眼角点、鼻尖点、嘴角点、下巴点等，利用这些特征点提取待重建 人脸的整体深度信息以及眼睛、鼻子、嘴巴、下巴等部位的深度信息。 第二章通用三维人脸模型的选l 睨及重建过程设计l l 2 ) c a n d i d e ，3 通用三维人脸模型变形 基于正、侧面人脸照片中自动定位的特征点，对c a n d i d e - 3 通用三维人脸模型 进行变形，得到与待重建人脸相近的特定三维人脸模型。 3 ) 特定三维人脸模型纹理映射 提取照片中人脸的纹理信息对特定三维人脸模型进行纹理贴图，重建出具 有真实感的三维人脸。 本文的重建过程如图2 6 所示： ( 垂多 n 、五 n 急 此高维空间“允许形状区域 近似椭圆的主轴可以通过对训练集进行主成分 分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) l 3 4 1 黼。 计算 置) 的协方差矩阵： s = 专善( 五一叉) ( 墨一i 厂 其中( 置一牙) 表示训练集中第f 个形状与平均形状间的偏差。 计算s 的特征值和特征向量，并将特征值按降序排列： 虢- - z , p , ，丑凡“，b = 1 ，i = l ，2 ，2 n ， 第三章正、侧面人脸照片特征点自动定位 1 9 见是s 的第f 个特征值九对应的特征向量。则能代表形状中特征点“变化模式 的 椭圆的主轴就可以由只o = 1 ，2 ，2 n ) 来表示。并且协方差矩阵最大特征值对应的 特征向量代表了椭圆的最长轴，即代表了形状特征点中变化最明显的“变化模式 。 运用少量的“变化模式 就可以描述训练集中的各种变化。因此一般只需选取前m 个较大特征值对应的特征向量即可，一种m 的选取标准为：这m 个“变化模式” 下的变化量占总的变化程度的比例要大于一定的值： 舶，2 n 九凡a ，o 刀) 的区间，以该区间中的每一个象素点为中心，计算其维数为2 以。的归一 化梯度向量，假设吃( d ) ( 1 d 2 ( 惕一n p ) + 1 ) 是第歹个特征点的搜索区间中第d 个 象素的归一化梯度向量，其与该点局部灰度模型的相似度计算准则( 马氏距离) 为： 厂( 哆) = ( 乃( d ) 一虿) 7 ( 勺( d ) 一虿) 最小( 嘭) 对应的象素点位置就是当前该特征点的最佳位置。 对所有特征点进行上述操作就可得到针对每个特征点的调整量， 调整向量捌： 西= ( 蝎，峭，d x ，识) r 从而组成一 3 计算姿势参数和形状参数改变量 上面计算了对当前估计形状x 的建议改变量揖，因此需要对形状x 进行姿势 和形状参数调整，从而移动每个特征点，使其接近x + 讶，并且使调整后的形状 2 2 基于正交照片的三维人脸重建 满足形状模型。 假设x 对应的姿势参数为0 、s 、，需要计算如何更新这些姿势参数，使其 更好的匹配目标，可以通过将x 向x + 批对齐，得到姿势参数改变量：d o 、1 + 凼、 西。 若更新了姿势参数后，还有余差，则需要改变模型的形状，来更好的匹配目 标。此时需要在当前形状的基础上，计算形状改变量出，以新的姿势参数a + 硼、 s ( 1 + 凼) 和t + d t 使x 中的特征点改变砑，即满足下式： m ( s ( 1 + 凼) ，1 9 l + 棚) 【x + 出】+ f + 西= x + d r 式( 3 2 2 ) 可得： 出= m ( ( s ( 1 + 凼) ) ，一( 1 5 l + d o ) ) y l x 其中，y = m ( j ，o ) x + d x - d , 。以上计算出了形状改变量出，这些改变量并不与 训练集获得的形状模型相一致。为了对形状进行约束，需要将出转换成形状模型 参数砌，满足动对形状的改变量与出尽可能接近，即下式： x + 出x + 户( 6 + 彩) 可得： d b = 矿d x 式( 3 2 4 ) 4 形状合理性约束 为了保证得到的形状参数b + 办的合理性，需要对其进行约束，由建立形状模 型的过程可知形状参数包的变化范围应在( 一3 万，3 石) 范围内。因此需要对6 + 动 进行判断，对于不在该范围内的i 应将其变换到( 一3 石，3 万) 范围内。 5 参数更新 计算出形状参数和姿势参数的改变量后，令： 0 = 0 1 - d o s = s ( 1 + d s ) t = ，+ 西 b = b + d b 式( 3 2 6 ) ， 并由式( 3 2 7 ) 计算出新的形状，以此形状开始进行下一次迭代。重复以上过程直 到形状的变化不大，可以认为此时的形状即为给定图像中目标对象的形状。 置m ( s 0 + f 扪彩， x = ，) h + f 第三章正、侧面人脸照片特征点自动定位 3 2a s m 用于人脸特征点定位的问题提出及解决方法 主动形状模型( a s m ) 是一种基于统计分析技术的弹性可变模型，能对非刚 体目标对象进行形状描述，从而可用于在待测图像中定位此类目标对象的新实例。 a s m 首先需要对目标形状训练集进行统计分析，获得能描述此类对象的点分 布模型，又称形状模型；在对待测图像进行目标对象自动精确定位前，需要首先 获知目标对象在待测图像中的先验位置信息，根据此信息进行目标初始形状选择 及将其粗定位于待测图像中；将此初始定位的目标形状作为迭代搜索的起点，通 过分析、比较形状中每个特征点的局部特征信息，并据此对初始形状进行变形， 进入下一步迭代，直到最后形状能最好的描述目标对象。 据此，本节讨论了利用a s m 算法实现人脸特征点精确定位之前需要解决的两 个问题：一是如何选择合适的初始形状，并将其定位到人脸照片中；二是人脸形 状中各特征点的局部特征如何描述，才能使人脸特征点定位更加准确。 初始形状的选择和定位需要事先知道目标对象的先验知识。针对目标人脸初 始形状的选择及定位问题，本文经对正、侧面人脸照片进行分析，分别提出了用 于初始形状选择及定位的正、侧面人脸照片先验知识获取方法。 针对人脸特征点局部特征描述问题，为了更充分的描述人脸特征点的局部特 征，本文提出了2 d 局部灰度模型与局部纹理特征相结合的特征点局部特征描述方 法。 本节将详细讨论a s m 用于人脸特征点定位的问题，并详述本文针对这些问题 的解决方法。 3 2 1 目标人脸初始形状选择及定位问题 a s m 算法中，在将已创建的形状模型初始定位到人脸照片中时，首先需要获 知人脸目标对象在待测照片中的先验位置信息，并以此为依据，计算将模型形状 定位于人脸照片中所需的姿势参数( 旋转角度日、缩放尺度j 、平移向量t ) 。 a s m 算法在进行人脸特征点定位过程中，有时会出现形状不符合人脸器官分 布规律，称为非法形状的情况，如图3 6 所示。追究其原因是由于：( 1 ) 初始形状 与真实人脸形状差别比较大；( 2 ) 初始形状位置距离准确位置比较远，导致迭代 搜索过程中陷入了局部最小值。如果能在形状模型空间中找到与真实人脸形状相 近的形状作为初始形状，并将初始形状比较准确地定位到目标人脸中，将会减少 或避免某些特征点在搜索过程中陷入局部最小的情况。 基于正交照片的三维人脸重建 司固匿 圈3 6 传统a s m 算法搜索失败的情况 在正面人脸特征点定位时。为了使初始形状的定位与最终形状位置比较接近 s t e p h e nm i l b o r r o w f 3 s 利用了h e n r yar o w l e y t 圳基于神经网络的人脸检测方法 ( r o w l e yd e t e c 抽r ) 对输入的正面人脸照片进行人脸捡测，同时利用该方法进行眼 睛检测，定位瞳孔位置。利用两眼瞳孔的位置，计算姿势参数，以模型平均形状 作为初始形状，通过旋转、缩放、平移将初始形状定位到目标人脸中。 但模型平均形状与真实的人脸形状可能差别比较大，并且两瞳孔位置只提供 了水平方向的信息，模型平均形状在水平，垂直两个方向的尺度都根据瞳孔提供 的水平方向信息进行调整，难免使得垂直方向的调整尺度与实际不符，导致初始 形状的位置偏离虽终结果比较远。为了选择合适的模型形状作为初始形状，并将 其更准确地定位到人脸中，本文将充分利用照片中正面人脸水平和垂直两个方向 的信息，而人的两个眼睛和嘴巴之问的位置关系可以提供这两个方向的信息。因 此本文在s t e p h e nm i l b o r r o w 定位到两眼瞳孔位置的基础上，又对嘴巴进行定位， 并将左、右瞳孔、嘴巴中心位置信息作为正面人脸照片中人脸初始形状选择和定 位的先验知识。 在侧面人脸照片特征点定位时，为了让模型形状能比较准确的定位到侧面人 脸中，本文将引入基于非线性色彩变换的肤色分割方法，对侧脸肤色进行分割： 然后检测侧脸轮廓线，通过轮廓线的曲率特征，定位一些位于侧脸轮廓线上且曲 率特征比较明显的待定位特征点；将这些己定位的特征点作为侧脸初始形状选择 及定位的先验知识。 3 2 2 特征点局部特征描述问题 经典主动形状模型是通过对特征点法线方向上的象素进行灰度采样，如图3 7 所示。统计样本形状中每个特征点的归一化梯度向量集，计算其均值向量及协方 差矩阵，本文称其为1 d 局部灰度模型。 e f 。 - i 一 图37 特征点法线方向 第三章正、侧面人脸照片特征点自动定位 但根据不同的应用要求，只在法线方向上对每个特征点进行搜索寻找最优点 是有局限性的，如图3 8 所示，若昱点是当前点，而它的实际最优位置是e 点，若 只在它的法线方向上搜索最优点，则其不能搜到其最优点异点。并且在光照、 表情等变化比较大的情况下，特征点的法线很难携带足够的信息来描述该点的局 部特征，在搜索过程中比较容易陷入局部最小值。 图3 8i d 局部灰度模型图3 9 2 d 局部灰度模型 为了解决1 d 局部灰度模型带来的问题，s t e p h e nm i l b o r r o w