（计算机应用技术专业论文）面向三维人脸形变模型的非均匀重采样对齐技术.pdf

摘要 摘要 三维人脸对齐技术是根据人脸面部特征建立不同三维人脸数据间点到点的 一一对应关系。三维点之间的对齐是三维人脸建模的关键，在入脸识别、人脸动 画、影视特效和广告中也有着广泛的应用前景。但现有的对齐算法，或限制条件 严格，或对齐后的人脸网格数据量大，不利于三维人脸模型的建立。因此，构造 完全三维意义上的对齐方法，在保证三维人脸重要特征信息一一对应的前提下， 简化对齐后的三维人脸网格数据，是一项很有意义的研究工作。 本文在详细分析了以往均匀重采样对齐算法缺点的基础上提出了基于分片 的非均匀重采样对齐算法，该算法通过a s m 特征点自动定位实现对人脸自动分 片，然后根据人脸各片的曲率，确定人脸整体采样策略。非均匀重采样对齐算法 在实现不同三维人脸间点与点的稠密对应的基础上，大量地减少了对齐后三维人 脸的点和面片的个数。由于可以根据对采样点数或形状及外观近似度的要求来选 择具体的非均匀重采样策略，从而使得该方法的灵活性和可推广性更强。另外， 本文用非均匀重采样对齐算法建立了一定规模的人脸库，并应用到三维人脸模型 的重建中，大大提高了重建速度。最后通过一系列的实验验证了非均匀重采样对 于减少数据量、简化模型和提高模型匹配速度等方面有了很大的改进。 在人脸识别方面，本文采用p c a 算法和f j s h e r 线性判别相结合的方法进行 基于形变模型的三维人脸识别，分析比较了基于均匀重采样和非均匀重采样对齐 算法建立的形交模型所得到的识别结果，并提出了根据具体的识别要求选择不同 采样次数的形变模型的方案，以达到满足识别要求的同时提高识别实时性的目 的。 关键词重采样；稠密对齐；片曲率；p c a 算法；f j s h e r 线性判别 a b s h 。 a b s t r a c t c o i r e s p o n d e n c eb e t w e e n3 d 矗c 鹤i sam e t h o dt ob l l i l dp o i n tt 0p o i n tc 0 i 咒s p o d e n c eb 勰e d o nf e a t l 】r e s d e ec o m s p 叩d 吼c ek t w 吼3 d 血c e si sm ck e yp r o b l 锄i nb l l i l d i n g3 d m o r p h a b l em o d c l “c 弛b e 谢d c l y 惦e di nm 蛆ya r e 丛姐c h 笛蠡c ef o 弘坩o n ，f h 姐i m d o n 丘1 m 锄da d v 硎s 锄e 丑t b 叶a a l y z i n ge x 主s 血gm e t h o d s ，e i l h e rl h e yh a v es c tl j 卫n i 扭d o no rm e y h a v eg 鼢td a 臆q 1 1 a 埘畔船c 优s p d c e s o ，i ti sav e i ys i 孕i i 盘a n tr e 眦hw a r l 【t o c o n s 咖c 在n gaf 血3 dc o 玎髑p d 曲c cm e t h o dw h i c hc 越d u c et h en 衄1 b 盯o fm e 出v 盯6 c 既o f 3 df k ea f t 盯懈衄p l i n g ，m 例柳h i l e ，i tc 姐g a i ng o o dc o r r c s p o n d c e 蛆dh c p3 d 蠡c e s i m p o r 扭n c ef b 也c ri n f o m a 廿o m h 血i sp a p e r f b r m 盯a l g o r i 血m 3a 托i n 怕d l l c e d a i m e d 蜘rl i m 枷o n ，an o i m m 枷 托s 卸叩l i gm e l h o df o rp i x c l 吨血ec r e 蹭蚀d 黜eb e 哺e 3 d 掰i sp 吐f o r w a r d t k sm e l h o d 刚i z e sa u t o l n a 龀盘c es e 鲫枷o n 恤d l i 曲a s ma l g o 疵b m ，孤d 血阻a c c o r d i n ge v 盯yp a t c h s 曲r v a n tt od 或盯m 缸cl h ef k e 0 1 埘a u 北鞠p l i n g 蛐沼c 罢* n o m m 主f b r m 北s 卸砷l i n gm e 出o dn o t o n l y 北a l i z e sd e 珊ec o r r 瞄p o n d 锄c eb e t w e 瓤3 d 矗c 髓，b u ta l s o 咒d l l c t b em m l b 盯o fm e s h v 删c 髂蛆dm 嚣h 扛i 衄g l 鸽皿船s i w l y 妇砧s a m p l i n gb c c a ew ec 盟c h o o s e h ec o n 础 s 叫e g ya c c o 删且gt od e m 壮d sf b r 麟a m p l i n gp o i l l 协肌血b c r 蛆dg e o m e 时o ra p p e a r a n c e s 洫丑撕蛳也i sm e t h o d s 钕m i l i 移壮dp r 锄。妇i ss 扛o n g 既o l 鼬e ，n 砖p e 出m a n c co f r o s 协1 d i n gaf h c 稍t h 血e 蠡m o d dc o 咖c t c db yn 伽1 i f o r m 鞠m p 斑l gi 3h i g h e rl h 孤 t h a tc o 缸比t e db y 蕊f b r m 咒s a m p l i n g a tl a s t ，i tp r 。v 髂出a t 也u g has e f i 嚣o f 中凼扭 n 瑚i f o 】f mc 唧o n d c n c em e m o dh 勰弹ti m p r o v e m c n ti n 他d u c i | 唱q u 础吼s i m p h f 弭n g m o r p l l a b l em o d c l 驵d 牡c e l 盯a 缸g 也em o d e lm a t c h i n g k3 d 矗璩e 咒c o g n i d o n ，也i sp a p 盯璐e se i g 阻蠡址c 衄df i 血e r sl 抽rd i s c r i 玎血娟o n a n a i y s i s ( f i d a ) t od o3 d 蠡呛er o 弘i 6 叩b 勰e do n3 dm o f l h a b l cm o 捌a n a l y s i s i i l g 弛d c 唧a r i g也ec o g 咖o 糟s u l tf 痂也i e em 叫p h a b l cm o d c l sb a s e do nn o n u n j f o r m c o 玎妫p 咖d c em e t l l o d8 n du n i f o 锄c o r r 鼯p o n d e n c em c m o d ，mo r d c r t 0 懿d 晦p r a c d c a ld 锄a n d s 托di m p r a v em er e c 删d o n sr e a i 一血ep a f 。m 缸c e ，w e 呻o s eas 眦g yf b rh o wt oc h o o s ea c o f n c tm o r p h a b i em o d e i 一1 i i 北京工业大学工学硕士学位论文 k e y w o r d 5r e s a m p l i n g ；p 呔c 1 w i c o 饿印o n d c e ；p a t c hc 1 1 a t m ；p c 如f l d 一- 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：j 受墨墨日期：三型 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：! 里堡量导师签名：衄日期：羔! 15 ：! ：2 第1 章绪论 1 1 研究背景及研究意义 人脸是人类喜、怒、哀、乐等复杂表情和语言的载体，是人类相互交流的重 要渠道，所以对于人脸的描述和刻画一直得到人们的广泛关注。随着计算机技术 的迅速发展，人们试图通过各种不同方法在计算机上实现人脸模型，并寻找人脸 表情、动作等动态信息的描述和表示方法，晟终构建具有真实感的虚拟人脸。然 而真实感的人脸建模却是一个极具挑战性的课题，其原因在于：人脸复杂的生理 结构，包括头骨、肌肉、结缔组织、皮肤；人脸复杂的几何结构，包括额头( 皱 纹) 、面颊、眼、眉、鼻、唇；以及由这两种结构导致的光照模拟的复杂性，不 同部位、不同表面特质( 皮肤、毛发) 、甚至不同运动条件都能产生复杂的光照 特性。因此，人脸的计算机模拟长期以来一直是计算机图形学以及人机交互中非 常活跃的研究领域，同时也是晟困难的问题之一。除了具有重要的科学研究意义， 真实感人脸建模还具有广阔的实际应用价值。真实感人脸建模在电影、广告、人 物动画、计算机游戏、视频会议、可视电话、人机交互、医学、公安安全等许多 领域都具有广阔的应用前景。 由于其广阔的应用前景，从2 0 世纪7 0 年代以来，国内外研究者在这方面做了 大量的研究工作，尤其在9 0 年代后，真实感人脸建模成为相关领域的研究热点， 众多研究者先后涉猎这个领域，提出了不同的建模方法。人脸建模大体可分三个 阶段：7 0 年代以来的参数模型、8 0 年代以来的肌肉模型、9 0 年代以来基于i 訇像的 建模和绘制技术以及近年来的基于形变模型的三维人脸建模方法。参数模型以 p a r k 为代表【“ ，该模型通过参数来描述不同人脸的几何特征，并通过模型参数 变化产生基本的人脸表情、动画，但是它仅使用简单的表面肌和形状来表示人脸， 缺乏真实感；肌肉模型由p l a t t 提出【6 ，w a t e r s 7 瑚、t h a l m a n n p ，嘲等人对其进行 发展和改进。这些模型主要基于面部肌肉特征。具有模拟面部表情的能力可以 比较真实地模拟人脸的运动变化，缺点是模型的运算复杂度很高，需要大量计算 甚至手工交互，而且也存在真实感不强的问题；由于参数模型和肌肉模型建模过 程【l l 】都比较复杂，且缺乏真实感，9 0 年代以后，出现了许多基于图像的建模和绘 程【“1 都比较复杂，且缺乏真实感，9 0 年代以后，出现了许多基于图像的建模和绘 北京工业大学工学硕士学位论文 制技术”2 2 0 】，基于图像的方法的主要问题是人脸的特征检测，目前只能通过交 互方式来获取，要获取理想的建模效果，这里要在人脸图像上标定相当数量的特 征点，因此需要大量的手工交互工作，这也是该模型的最大缺点。 综合以上分析，上述人脸建模方法所达到的真实感，由于其借助的一般人脸 网格相对简单，效果依旧有限。随着基于形变模型的人脸建模方法的出现，计算 机人脸建模的研究进入了一个新的阶段。v e t t e r 等人1 9 9 9 年提出了基于形变模型 2 2 1 的三维人脸建模方法，这是一种基于知识学习的方法，且第一次实现了人脸 建模的自动化，针对给定人脸图像，可以自动重建真实感的三维人脸。该方法使 用激光扫描仪获取大量真实三维人脸数据构建原型人脸空间，以原型人脸的线性 组合来建立人脸参数化模型，进而将模型匹配到二维人脸图像可实现人脸的三维 重建。在模型的组合优化中考虑了人脸姿态、大小、光照等多方面的因素，使得 该模型可以生成高度真实感的三维人脸图像，如图卜l 所示。通过分析原型人脸 的表情变化，该模型还可以产生逼真的人脸表情和动画。 3 d 免e c o n s t f u c 娃o n 图1 1 形变模型的人脸建模方法 f i g l 】_ r e1 - l m o r 】p h a b l em 0 d e lm e m o d 建立形变模型的一个关键问题是不同三维人脸数据间点到点的一一对齐问 题。因为形变模型的思想基础是线性组合，而三维人脸空间中的线性组合首先需 要满足原型人脸间特征意义上密集点的一一对应，只有每点代表的特征精确对应 关系建立起来，才能保证组合的数学意义及最终的视觉效果。因此，三维人脸对 齐技术是建立三维人脸形变模型的关键和基础，同时也是基于形变模型人脸建模 方法研究的重要组成部分，是一项很有意义的研究课题。 第1 章绪论 1 2 研究现状分析 人脸作为一种自然形体，不同个体之间以及相同个体在不同表情情况下都存 在着共性，这使得三维人脸之间能够建立点到点的对齐关系；然而，人脸形状的 差异以及丰富的面部特征会给对齐计算带来很大的困难。 因此，要在三维数据上建立基于特征点的稠密对应是很困难的，很难使用一 般的方法建立这种对应关系。w b l b e r g 在综述l 中介绍了网格变形、场变形等几 种便于二维图像m o r p l l i 】唱的对应方法。三维方面，l 在多分辨率网格变形中 使用了m a p s 算法 2 4 】。这些方法，不论二维与三维，都需要人工交互定义一些 特征点或线，且不适用于密集点对点的精确对应。目前大多数对齐算法是建立在 光流2 2 0 5 ，2 司的基础上的，光流算法最初用于物体的运动估计，即计算视频图像序 列中物体的连续变化，从而可以建立相邻两帧图像的像素级对应。由于人脸的相 似性，可以将不同人脸图像近似地看作视频中相邻的两帧图像，使用光流计算对 应特征点的位置变化。对于三维人脸，使用光流算法计算其对应，首先要将三维 人脸通过柱面展开为形状和纹理图像，然后使用光流算法建立不同人脸图像间的 稠密对应，最后将这种对应返回到三维数据得到三维人脸间的稠密对应。这种方 法虽然可以实现三维人脸的稠密对应，然而由于光流的假设前提是两副图像间光 流的变化是连续光滑的，对于比较相像的两副人脸，对齐计算的效果是比较好的。 但对于差别比较大的两副人脸，光流的假设前提不满足，对齐计算自然存在较大 误差。另外，这种借助二维图像的计算方法，实际上损失了许多三维信息，因此 基于这种展开图像的对齐计算不是很精确。 为了直接在三维人脸对象间进行对齐，谷春亮等人【2 7 l 提出了基于网格重采 样【2 8 捌对齐方法，即使在只有两张不同人脸的情况下，也能达到较好的对齐效果。 该算法最初用于曲面造型技术，目的是将不规则的拓扑结构转化成规则的拓扑结 构，其基本思想是利用细分和优化相结合的方法直接在三维空间进行重采样，且 采样要尽可能均匀。基于网格重采样的对齐方法对所有原始人脸进行统一的重采 样，使得不同人脸具有相同的拓扑结构，从而人脸的对齐可以自然建立起来。此 方法的优点是能够达到比较精确的对齐效果，另外因为采样点均在原始人脸网格 上，因此可以完整保护原始人脸的三维信息。但是，由于采样点要尽量分布均匀， 也就没有考虑人脸不同特征区域形状的复杂度，造成重采样后人脸网格比原始人 北京工业大学工学硕士学位论文 脸网格多，从而使形变模型的数据量很大，运算复杂。 针对上述对齐方法的缺点，应该做进一步的研究和改善，可以从以下方面进 行尝试：在保持三维原型人脸形状和外观的前提下，减少对齐后人脸网格数据量， 以达到简化形变模型和加速模型匹配的目的。 1 3 本文的研究内容 本文主要围绕三维人脸对齐及其在人脸建模及人脸识别方面的应用展开了 研究，取得了以下几方面的研究成果： 针对均匀重采样对齐方法的缺点，提出改进的非均匀重采样对齐方法，通过 一种基于片曲率分析的自适应采样方法，得到满足要求的非均匀重采样策 略。此方法在较好的保持三维形状信息和纹理信息的基础上大大减少了对齐 后三维人脸的网格点数和面片数。 基于非均匀重采样对齐方法，建立了在不同非均匀重采样方式下生成的形变 模型，形变模型的简化有效地提高了从二维图像到三维人脸的重建速度。 基于不同采样次数的形变模型，通过p c a 与f i s h e r 线性判别相结合的方法 进行三维人脸识别，并根据识别结果初步探讨了不同识别率与网格疏密程度 的关系。在实际应用中，为了提高人脸识别的实时性，可以针对不同的识别 要求，选择不同的形变模型。这方面的研究对于人脸识别的应用具有一定的 指导意义。 1 4 本文的组织安排 文章围绕非均匀重采样对齐方法及其应用阐述了各个部分的工作： 在第二章中，主要介绍了基于形变模型的三维人脸重建的理论基础和相关算 法概要。分析了作为建模基础的均匀重采样对齐算法对模型匹配的影响，并且引 出改进的非均匀重采样对齐算法。 在第三章中，介绍和分析了以往对齐算法，并系统地阐述了改进的非均匀重 采样对齐方法，分析了如何用非均匀重采样的思想大规模的减少三维人脸数据。 在本章最后，通过实验对非均匀重采样对齐方法和均匀重采样的对齐方法进行了 一系列的比较。 第1 苹绪论 在第四章中，主要介绍了非均匀重采样对齐方法在建模以及识别中的应用。 基于非均匀和均匀重采样对齐方法，建立了不同采样方式下的形变模型，并通过 实验比较了不同形变模型重建三维人脸的精度及速度。最后以p c a 算法和f i s h e r 线性判别相结合作为识别算法进行三维人脸识别，对识别结果进行了比较和分 析，提出了根据具体识别要求选择不同形变模型的方法。 最后，总结本文所提到的对齐算法及其应用方面的优缺点，并对将来的工作 进行了展望。 第2 章基于形变模型的三维人脸建模方法 第2 章基于形变模型的三维人脸建模方法 基于形变模型的三维人脸建模方法由v e t 时等人1 9 9 9 年提出，该方法具有 自动化和真实感好等特点，是不同于以往任何方法的一种新的方法。该方法利用 三维扫描仪获取大量真实三维人脸数据构建原型人脸空间，以原型人脸的线性组 合来建立人脸参数化模型，进而将模型采用光照模型投影到二维空间与特定人脸 图像进行匹配，不断优化匹配结果来实现三维人脸的重建。本章详细介绍了基于 形变模型的三维人脸重建的理论基础及相关算法概要。 2 1三维形变模型基本框架 ：l ! ：竺l ? ；譬裂= 一。怒e _ 3 。船| l i & p r o c e s s i n g 一叻劬弱e _ 了“姑并“。ii 一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一f 一一一一。一一i f 一一一一一一一| 一。 3 dr e c o n s t r u c t i v e ； i f a c e 。 l 图2 1 模型框架图 f i g u r e2 1 m o d e if r a m e 三维形变模型的框架如图2 1 所示，横向为建模过程，其中包括获取原始人 脸数据作为模型的基础数据，对原始人脸数据做稠密对齐，最后建立三维人脸形 变模型；纵向为匹配过程，针对给定人脸图像，使用模型进行匹配，通过不断调 整模型参数来实现三维人脸的自动重建。在模型匹配时，要考虑光照模型和摄像 机模型。 北京工业大学工学硕士学位论文 图2 2 建模匹配效果图 f i g u r e2 2m o d e lm a t c h i l l gr 船u l t 图2 2 是建模匹配的效果图，左上角为待重建的人脸照片，中间斜对角人脸 代表原型人脸库，右下角的三个是重建后的效果图；库中原型人脸以线性组合的 方式建模，采用光照模型投影后与人脸图像匹配优化。 2 2 三维形变模型的理论基础 形变模型的理论基础是线性组合的思想，即一个对象可以用其从属的一类对 象的基底的线性组合来表示。u l l m a i l 等人口川和s h a s b u a 【3 1 1 的研究表明，在正投影 和不考虑自遮挡的条件下，利用物体不同的三个视角图像的线性组合就能合成任 意视角的图像，这是线性组合在图像表示方面最初的尝试。线性组合思想在图像 分析和合成方面的深入应用发展为现在的形变模型，虽然其中对形变模型进行了 不断的改进，但其基本思想没有交，即使用一类图像中的若干典型图像作为原型， 并张成该类图像的一个子空间，使用子空间的基底的线性组合就可以表示该类图 像中的特定实例。 形变模型的名称来源于图像处理中典型的图像变形方法m o 攀h i n g 方 法，即通过有对应关系的两副图像产生中问图像和图像间的平滑过渡。由c h o i 第2 苹基于形变模型的三维人脸建横方法 等人【3 2 聊p o g 舀。等人提出的图像的表示形式，可以将一副图像分解并表示为 几何形状矢量和与形状无关的纹理矢量，这使得一类图像进行线性运算成为可 能。p o g 垂。和v e 啦e r 提出线性对象类的概念( 1 i n e 盯o b j e c tc l 觞s e s ) 【3 4 3 5 1 ，给出了 三维对象满足线性对象类的充分条件，并论证了人脸对象在近似条件下是线性对 象类。另一方面，图像对应技术的不断发展，如基于关键特征点的图像对应技术 ( 图像w a r p i n g ) ，基于光流算法的密集像素的对应技术和基于三维模型的对应 方法，使建立图像间的象素对应可得到较好的效果。形状矢量和纹理矢量、线性 对象类、以及像素级对应算法的论证和完善，使图像间的线性运算通过其对应像 素的线性运算实现。在j o n e s 和p o g 垂。的实验中 碉，形变模型被用来表示人脸、 汽车以及手写数字等对象，并取得了很好的效果。其中人脸模型中使用了6 2 副 正面照片作为原型人脸，使用光流算法建立像素级对应后，建立人脸图像的形变 模型，并使用模型表示特定的人脸图像。如图2 3 所示是部分原型人脸和特定人 脸表示的结果。二维图像形变模型除了在图像分析表示方面的应用外，还可用于 图像压缩编码、对象识别如人脸识别，以及三维对象恢复估计等方面。 图2 3 形变模型用于图像分析和合成 f i g u 化2 3蛔g e 眦l y s i s 趾ds y n 血e s i s 埘l hm o r p h a b l cm o d d 虽然使用二维图像形变模型可以比较好地表示同一类对象，但对于复杂三维 对象或者有大范围姿态变化的人脸表示效果不是很好。于是，基于二维形变模型 的思想，v 醣盯和b l a n z 提出了三维人脸形变模型【2 ”刀，该模型使用激光扫描仪 获得三维原型人脸，并使用原型人脸建立人脸组合模型，将模型匹配到二维人脸 图像实现人脸的三维重建。同二维形变模型相比，三维模型在表示人脸图像时， 考虑了人脸的姿态和光照，所以三维模型对人脸图像的表示效果更好。此外，由 于模型将人脸的三维建模问题看作模型和给定人脸图像的误差优化，因此可以使 北京工业大学工学硕士学位论文 用最优化的方法解决，从而实现基于单幅图像的特定人脸三维自动建模。图2 4 是三维形变模型用于人脸的建模过程。 图2 4 三维人脸建模过程 f i g i 】嘴2 4 3 df a c em o d e l i r i gp r o c 曲s 2 3 三维形变模型的建立 三维形变模型的建立包括获取原始人脸数据作为模型的基础数据，对原始人 脸数据进行规格化处理建立像素级的对齐，最后是建立三维人脸参数表示模型， 下面介绍模型建立的过程。 2 3 1 三维原始人脸数据获取 三维人脸形变模型是在大量三维人脸数据的基础上建立的，本文使用 c v b e i w 缸e3 0 3 0 r g b p s 激光扫描仪采集了2 0 0 个三维人脸数据( 男女青年各1 0 0 ) 作为模型基础数据，该激光扫描仪通过一次扫描得到人头部的精确几何信息和彩 色纹理信息。扫描仪使用柱面坐标来记录几何信息，扫描精度为圆周方向( 用伊表 示) 5 1 2 个采样点，轴方向( 用和表示) 5 1 2 采样点( 3 0 0 i n r n ) ，扫描半径( 用日表 示) 在2 6 0 到3 4 0 i n m 之间。每一个几何采样点对应一个2 4 位彩色( 用k q b 表示) 纹理象素点，并以5 1 2 x 5 1 2 大小的纹理图像存储。由于该扫描仪对于头发等结构 复杂或黑色部位的扫描效果比较差，且在这里感兴趣的只是人面部的信息，因此 被扫描者都戴了浴帽，没有化妆，没有眼镜和饰物。获取原始数据后对其进行了 预处理，去除浴帽、耳朵后面、颈部以下等部分，保留面部数据。预处理后，每 一个人脸大约由7 0 0 0 0 个采样点组成。 第2 章基于形变模型的三维人脸建模方法 2 3 2 三维人脸数据稠密对齐 形变模型的基础是原型人脸的线性组合，即原型数据间要满足线性运算，对 于这里的三维人脸数据，即要基于面部特征建立不同三维人脸数据间点到点的稠 密对应关系。由于人脸的几何差异及扫描获得数据量不一致，要建立三维数据上 基于特征的点对点的对齐比较困难。为了很好的解决三维人脸的对齐问题，可以 按照基于均匀重采样的对齐方法 2 ”，根据人脸特征将所有人脸使用统一的分割 方法进行分片，然后对每一面片进行相同的重采样，直到重采样的密度与原始三 维人脸数据的密度比较接近为止。最终的采样人脸，约由1 3 0 ，o o o 个点，2 5 0 ，o o o 个三角面组成。经过均匀重采样对齐算法的处理，所有的三维人脸具有相同的点 和三角面片，并且整个网格的拓扑结构完全相同，从而可以建立三维人脸数据间 严格的一一对应，因此所有三维人脸可以表示为统一的向量形式： 墨= ( 蜀，z l ，如，以，z 由：! 1 f ( 2 一1 ) i = ( 马。，q 。，马。，b ：，也，6 k ，丑。) 1 其中，c 是第i 个人脸的点的三维坐标组成的几何形状向量，7 是对应于形状向 v ，f 量中点的r g b 值组成的纹理向量，n 是原型人脸个数，n 是规格化后人脸的点数。 而且不同人脸向量中相同下标的点对应于相同人脸特征点。 2 3 3 模型建立 直观地，对于具有( 2 1 ) 的向量形式的原型人脸( n - 2 0 0 ) ，通过其形状向 量和纹理向量的线性组合即可产生新的人脸向量( s 。，。) ： 乙= 6 ，正 ( 2 2 ) 其中q ，6 f 是原型人脸的组合系数，且口，= 包= 1 ，这是形变模型的基本思 ff 想。 由于在上面线性组合中，原型人脸数量比较大，且原型人脸数据间有一定相 关性，因此采用了主元分析方法( p c a ) 对模型中的人脸向量进行处理【3 8 】，即对形 s口 ， = wm s 北京工业大学工学硕士学位论文 状分量和纹理分量进行p c a 燹换。p c a 变换一方面可以压缩模型的数据量，另一 方面可以通过p c a 变换的正交性来消除数据相关性。p c a 变换的具体过程如下： 首先计算个形状和纹理向量的的协方差阵： g = 专善( 墨一j ) ( 墨一- ) 7q = 专姜( z 一亍) ( 王一_ ) 7 ( z _ 3 ) 其中i = 专善s ，亍= 专善正是平均形状和纹理向量。然后对g ，g 分别求 特征值和特征向量，并按特征值由大到小的顺序取前m 1 个最大的特征值 z = 1 五。一1 ) ，盯= p 1 ，口。) 及相应的特征向量j = ( j l ，s 2 ，j 。) ， f = ( f 1 ，f ：，f 。) 作为变换后的模型的基底。这里m 由特征值的贡献率 艺丑兰以，羔以兰吒大于某一定值( 例如9 8 ) 来确定。 由主成分分析知道，形状和纹理空间中的任一形状s 。和纹理z k 。可近似 表示为： 坍一l s 删d = i + 口f s f f 其中露= - ，口：，口。一t ) ，= ( 届，压，成一。) 是组合参数，且，岛满足 高斯分布，即p ( 西= e x p 卜三喜e 名) 2 】，晒) = e x p 卜三喜( ) 2 】。由高斯分 m 7o 布的性质，q ，届的变化范围是 o 、丙，3 石】，【_ 3 i ，3 厉】，这是对形状和纹 理变化的合理性约束。( 2 _ 4 ) 式即为三维人脸模型的最终表示形式，只要给定组 合参数厅，方即可产生模型人脸( 最o d 酊，瓦o d “) 。 4 三维形变模型的匹配优化 形变模型的匹配过程实际上就是针对特定人脸图像的三维人脸建模过程，即 将模型与特定人脸图像进行匹配得到模型组合参数。为了得到二维图像中人脸的 三维结构，需要缩小模型变形结果与实际图像中人脸的差别。匹配过程中，需要 一1 2 4厶( f 廖 川。 +一r = 酊耐瓦 第2 章基于形蹙模型的三维人脸蓬模万堵 不断优化三维模型的变形系数。这里先给出模型匹配的误差形式，然后对误差进 行优化。 ( 一) 模型误差 依靠三维人脸形变模型，对于给定的人脸图像进行三维建模，关键问题是调 节模型参数，使模型三维人脸在相同视点的图像与给定人脸图像的误差最小。如 果使用图像对应像素点的灰度差的平方和作为两图像的误差，则要求得模型组合 参数使得下式最小： e ，= ，l k ，( 副) 一k d 圳2 ( 2 - 5 ) 其中气。是给定人脸图像，。d “是三维模型人脸在某视点观察得到的人脸图 像，由光照模型和摄像机模型来决定。 为了得到三维模型人脸的图像，首先要确定摄像机模型，这里对摄像机模型 作了如下假设：焦距可调，视点可变，但视点与人脸中心距离固定，视方向由视 点指向人脸中心，图像平面垂直于视方向。这样的摄像机模型可以获得人脸不同 大小，不同视点的人脸图像。确定了摄像机模型，就可以确定三维模型人脸上的 点( 工，y ，z ) ( 对应纹理值为似，g ，b ) ) 在图像平面上的投影点( 工，y ) 。有了摄像 机模型，还要确定光照模型，考虑到计算的复杂性和图像的实际效果，这里采用 p h o n g 光照模型，此时模型图像，。d 一在点y ) 的颜色值有下面形式： ，m 。d d ( z ，y ) = ( ，月。m 。d d ( x ，j ，) ，g ，m 。d 一( x ，y ) ，l ，m 。d d ( x ，y ) ) ( 2 6 ) 其中厶。o d “( x ，y ) 由p h o n g 光照模型计算： ，r 。0 d d 0 ，y ) = 尺( 柚+ ，姗( 三) ) + 足。，枷( f 矿) ” ( 2 7 ) 这里，北、k 是环境光和直射光的强度，k 。是镜面反射系数，三、，、 矿分别是点( x ，】，z ) 处的入射方向、法向、反射方向和视方向，万是表面光滑系 数。g 。d 酣 ，y ) ，口m o d d ( x ，y ) 的计算类似。 有了三维人脸模型的图像表示形式，则( 2 5 ) 式中的误差可以看作关于摄像机 参数和光照参数( 一起用乃表示) ，以及模型组合参数厅，声的函数，记为 e ( 匠，声，卢) ，从而使用形变模型来匹配特定人脸图像的问题就变成了对函数 北京工业大学工学硕士学位论文 e ( 舀，卢，卢) 的最小优化问题。 ( 二) 随机优化 对( 2 5 ) 式的最小优化问题，一般可以用梯度下降等方法来解决，但注意 到( 2 5 ) 中的求和要计算三维模型人脸的投影图像，而三维模型人脸的点数n 约 为1 3 0 ，o o o ，要进行所有点的光照和投影计算显然开销很大，因此本文采用了随 机梯度下降法来解决上面的最小优化问题。 在实际计算中，为了在三维人脸模型的投影图像上获得均匀的随机点，根据 三维模型人脸的三角面在图像平面上投影面积的大小，随机选择一定数量的三角 面，并使用三角面的重心点来计算模型人脸图像和给定人脸图像的误差，即用下 式代替e ，： 取z 荟l i w ( i ，瓦) 一，m o a d ( i ，万扩 ( 2 - 8 ) 其中k 是随机点集，( 故，儿) 是随机三角面片的重心点在图像平面上的投影点。 使用随机梯度下降法可以大大加速最小优化的效率。下面是随机优化的步骤： ( 1 ) 初始化 屈力。 ( 2 ) 在模型上随机选择三角面集合x 。 ( 3 ) 计算艮。 计算e 在匠磊汤处的梯度：嚣茜茜 更新参数( 口，p ) ：口i 卜a j 一 _ ， a e d 口： 盼卧6 i 盖 a e p i 七一p t y i i o p i ( 6 ) 如果i e 一上o i 小于给定值口则完成，否则转( 2 ) 继续迭代。 第2 章基于形变模型的三维人脸建模方法 2 5 均匀重采样对齐算法对模型匹配的影响 由于形变模型的原型人脸数据量非常大：模型由2 0 0 个原型人脸组成，而每 一个原型人脸经均匀重采样对齐算法处理，由维数约为1 3 0 ，o o o 的形状向量和纹 理向量表示，且模型匹配人脸图像的过程是多参数的非线性优化问题，因此使用 形变模型进行人脸重建时运算和内存的开销都非常大。在文献【2 7 中，模型匹配 一副人脸在p 2 8 g c p u ，5 1 2 m ，ra m 的p c 机上需要约4 0 分钟的运算。因此， 如何加快模型匹配速度是模型进一步应用的关键。为了加快模型匹配速度，减少 对齐后三维人脸网格数据量是很重要的一个途径。本文在第三章提出一种非均匀 重采样对齐方法，该方法在很好的保持三维人脸形状和外观的同时，能够大量减 少对齐后三维人脸的点数和面片数，从而达到简化模型及提高模型匹配速度的目 的。 2 6 本章小结 本章介绍了基于知识学习的形变模型的三维人脸重建的系统框架和相关算 法概要。该方法第一次自动地实现三维建模过程，且效果优于以往的方法。 该模型的建立最终归结为优化问题，因此，探索其他的优化方法是未来的一 个方向：另一方面，三维人脸的对齐是该模型组合成立的基础，因此对齐算法亦 是一个关键问题。基于均匀重采样的对齐算法虽然能达到三维意义上密集特征点 的对齐，但是经过对齐处理后的三维人脸数据量很大，加重了三维人脸建模的计 算代价，限制了模型的应用。我们将在第三章提出一种非均匀重采样对齐算法， 可以大大减少对齐后三维人脸的数据量。 第3 章基于非均匀重采样的三维人脸对齐算法 第3 章基于非均匀重采样的三维人脸对齐算法 基于均匀重采样的对齐算法，能够保证采样后的三维人脸具有相同的拓扑结 构，也就建立了不同三维人脸之间点对点的对齐关系，从而保证面部相同特征点 之间的对齐。但是采样结果人脸数据量庞大，影响模型匹配速度。针对均匀重采 样算法的缺点，本文提出了非均匀重采样对齐算法，通过一种基于曲率分析的自 适应采样方法确定入脸不同区域的采样疏密程度，大量减少了对齐后三维人脸的 点数和面片数。并且，本文给出了一种计算形状相似度和外观相似性的度量公式， 通过定量的分析证明了非均匀重采样后的人脸虽然减少了数据量，仍能够较好的 保持原型人脸的形状和外观。 3 1 均匀重采样对齐方法的介绍与分析 为了实现真正三维意义上的人脸对齐，谷春亮等借鉴文献【2 8 】口9 】【4 0 的方法提 出了基于特征分片的重采样算法【2 7 1 。三维点的重采样技术被广泛应用在三维曲 面的重建算法中，主要目的是将不规则的网格规格化成便于数据压缩、操作、制 造等的表现方式。将重采样技术与三维人脸对齐算法巧妙结合起来，从而克服人 脸对齐过程中会受到的来自人脸复杂表面特征的影响。该对齐方法从完全三维意 义上解决对应问题，它从分片到重采样都保证重要面部特征的保留，从直观的角 度与特征分析上，得到点对点的对应关系更加稳固，采用同样的分片和重采样的 策略，可以保证所有规格化后的三维人脸的空间点数一致，且点的存储顺序与特 征位置一致，达到真正三维空间意义上的点到点的对应。该方法将不同网格数和 空间点数的原型人脸全部规格化为采样点数、网格数、拓扑完全一致的原型人脸， 且每个重采样人脸的同一相对位置的点都固定地代表了同一个面部特征点，在此 基础上能够直接进行不同人脸的点与点的线性组合。图3 1 和图3 2 分别表示了 该算法的流程图和过程表示图。具体步骤如下： 北京工业大学工学硕士学位论文 统一 统一 在限 对于所有 规范 每张三维 规范 每张三维 定的 所有三维 的三维人 的人 人脸上有 的等 人脸上有 范围 人脸拥有 脸图像( 拓 脸分 若干多边 形线 更多更细 内细 统一的拓 扑结构不 片 形分片 初始 的多边形 分和 扑结构 化 优化 同) 小片 图3 1 基于重采样技术的人脸对齐算法流程 f i g u r e 3 1t h ep i p e l i n ef o ru n i f 0n l lr e s 蛐p l i n gb a s e dm e t h o df o rp i x e l l i s e c o r r e s p o n d e n c e ( 一) 人脸分片 人脸分片是将三维人脸分割成多个面片以便于重采样。分片的原则是要基于 人脸的特征进行分割，即分割结点和分割线要在人脸的关键特征点和边缘部位。 同时，考虑到重采样后网格要求比较均匀，采用面积比较接近的矩形进行分割。 该方法通过交互的方式进行人脸分片，首先在人脸纹理图像上标定一些关键特征 点作为分割结点，然后计算出其它的分割结点和分割线，最后通过柱面映射找到 三维人脸上的分割结点和分割线。如图3 2 ( a ) 所示是三维人脸分割的结果，一个 人脸被分为1 2 2 个面片。 ( 二) 三维人脸网格重采样 重采样时，首先需要确定每个面片的四个角点。对于规格的矩形面片，直接 使用其四个顶点作为角点：对分割后在最外围的不规格面片，利用最小内角法f 4 l 】 或均匀选择法【4 习确定四个角点。确定角点后的分片如图3 2 ( b ) 所示。确定了每个 面片的四个角点后，为了能够进行均匀重采样，对所有矩形的边长度进行了统计， 然后进行等形线的均匀初始化，从而使得边界边的划分更均匀。对等形线初始化 后的网格再做进一步的细分，利用点的合力调整新获得弹性点的位置，从而获得 第3 章基于非均匀重采样的三维人脸对齐算法 ( a ) 三维人脸分片 ( a ) d i v i d e t 】1 e3 d 饥e i n l o 删c h e s ( b ) 等形线初始化、l 和2 次重采样的结果、重采样最终结果 ( b ) t h ei o s l i n e si n m a i k d ，o n e 岫ea n dt w o 血sr c s 卸叩l i n g ，廿l ef i l l a l 潞锄p l i n gr 髑u h 图3 - 2 基于重采样技术的人脸对齐算法过程表示图 了每一面片的均匀重采样网格。对每个面片重复以上重采样过程，直到重采样的 密度与原始三维人脸数据的密度比较接近为止。这里对人脸数据进行了5 次重采 样，最终的重采样人脸，如图3 2 ( b ) 所示，约由1 3 0 ，o o o 个点，2 5 0 ，o o o 个三角面组 成。 3 2 非均匀重采样对齐方法 基于均匀重采样的对齐方法，完整的保护了原型人脸的三维信息，在重采样 的同时达到了对应关系的建立。但该方法也存在着自身的缺陷，主要体现在两个 北京工业大学工学硕士学位论文 方面：一方面，与光流对齐算法相比较，该方法没有实现自动化，在分片时需要 人工交互；另一方面，均匀重采样后的三维人脸数据量庞大。这是因为，在拓扑 结构上，均匀采样后的网格需要满足相邻片在共享边上具有共同的采样点，即每 张人脸的所有分片区域都采用统一的采样次数。如图3 3 中所示，黑片和白片表 示相邻的两个片区域，右侧是错误的网格结构，左侧是正确的网格拓扑结构。因 此，这种方法没有对人脸的形状信息进行分析，没有考虑人脸不同区域的重要性。 不论是眼睛、鼻子、嘴巴等重要的特征区域还是脸颊、下巴等相对平坦的区域， 都进行同样密度的重采样，其结果产生大量的冗余点，这些冗余点只是为了满足 拓扑结构上的要求，并没有携带重要的几何信息。采样后人脸数据量的庞大，会 造成模型的运算复杂，限制其应用。本章所讲述的非均匀重采样对齐方法在以上 两方面都得到了改善。 ( a )( b ) 图3 3 均匀重采样算法中两个相邻片区域的网格结构，( a ) 给出了正确的网格结构，( b ) 显示了错误的网格结构 f i g u r e 3 3t h em e s hs t r u c t u r eo ft w on e i g h b o rp a t c h e si nu n i f o r mr e s 锄p l i n g a l g o r i t 圭1 m ，( a ) s h o w st h ec o r r e c tm e s h ，( b ) d i s p l a y st h ei m p r o p e rm e s h 3 2 1 基本框架 基于非均匀重采样对齐算法是均匀重采样算法的一个改进，算法的基本流 程如图3 - 4 所示。它的改进体现在：一方面通过a s m 特征点自动定位算法对人 脸进行自动分片：另一方面，本文提出一种基于片曲率的自适应非均匀采样方法。 该方法计算人脸各个片区域的曲率，与均匀重采样所得到人脸对应片的曲率值进 行比较，结果大于某个阈值的片需要继续细分增加采样点，小于某个阈值的片认 为已经满足曲率保持的要求，停止细分，最终确定在给定阈值下的人脸整体采样 策略。另外，为了使得到的采样策略具有一般性和通用性，该自适应采样过程是 基于知识学习的，需要一定规模的三维原型人脸来得到所需要的采样策略。 第3 章基于非均匀重采样的三维人脸对齐算法 对所 人脸 每张三 给 根据自 授照 有的 自动 维人脸 定 适应采 采样 所有三维 三维 分片阐策略 人脸拥有 上有若 值 样算法 进行 统一的拓 人脸 干多边得到给扑结构 图像形分片 五 非均 定阅值 ( 拓 下的人 刽重 7 扑结 脸整体 采样 0 构不 采样策 同) 略 在非均匀重采样基础 上，建立了三维人脸 之间的点到点对齐 、 图3 4 基于片曲率分析的三维人脸重采样对齐技术的算法流程 f i g 盯e 3 4n l ep p e i m