（控制理论与控制工程专业论文）基于双目立体视觉的人脸三维点云重建系统研究.pdf

东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：导师签名：日 期： 学校名称：东南大学 研究 人脸三维点云模型在人脸识别、三维动画、虚拟现实等许多领域有着广泛的应用。 在各种人脸三维点云重建技术中，双目立体视觉由于其实现灵活、配置要求低的特点而 受到广泛的重视。立体匹配算法是双目立体视觉技术的核心，本文对这个影响重建精度 的关键因素进行了深入的研究，结合现有的立体匹配算法，提出了两种实用的人脸三维 点云重建算法： 1 一种基于引导点的从稀疏到稠密的两步匹配算法。算法首先以一种改进的种子点 增长算法得到稀疏匹配结果；然后提出一种分段动态规划的方法，利用稀疏匹配的结果 作为引导点来控制动态规划过程中视差搜索的范围。一方面加强了分段内的约束，分段 的端点都是已知的稀疏匹配点，作为控制点从两端同时约束分段内的最优路径搜索过 程，并加强了与邻近扫描线之间的约束；其次降低了分段之间的影响，特别在特征区域 边界处，分段之间的视差变化较大，分开优化，避免了错误的传递和累积，提高了匹配 的准确度。 ， 2 一种加入了垂直约束的基于控制点的迭代扩散动态规划算法。动态规划法应用于 立体匹配时，匹配结果和相邻约束网格结构的选取有很大关系。一维水平扫描线结构会 出现熟知的条纹效应，为解决这个问题，首先加入了垂直方向的约束，将水平约束和垂 直约束统一起来；同时还引入了控制点，从控制点开始向周围区域迭代扩散地进行优化， 既可以充分地约束视差搜索的范围，又可以有效地降低计算复杂度，最重要的是有效地 减轻了条纹效应，进一步提高了匹配的准确度，从而得到精度更高的重建结果。 基于上述匹配算法，实现了完整的获取人脸三维点云模型的系统，并针对实拍人脸 图像对算法和系统的有效性进行了检验。实验结果表明，重建得到的人脸三维点云模型 稠密且光滑逼真，准确度较高。 关键词：双目视觉，人脸三维点云重建，立体匹配算法，控制点，动态规划 a b s t r a d a b s t r a c t t i t l e ：r e s e a r c ho f3 df a c er e c o n 咖c t i o ns y s t e mb a s e do ns t e r e o s i o n m a s t e rc 锄d i d a t e ：s u iy i h u 肌 s u p e n ，i s o r ：d af e i - p e n g o r i g a n i z a t i o n ：s o u t h e a s tu i l i v e r s 时 3 dp o i n tc l o u dm o d e lo ff a c eh 嬲a 谢d e 删1 9 eo f 印p l i c a t i o n si nm a n yf i e l d ss u c ha u s f a c er e c o 嘶t i o i l ，3 da i l i m a t i o n 锄dv i n u a lr e a l 毋a m o n gm a n yt e c l l l l o l o g i e s ，b i n o c u l a r s t e r e ov i s i o ni s d 1 a 、杭n g aw i d e s p r e a da t t e m i o nw i t l lt t l e a d v 锄t a g e so ff l e x i b l e i m p l e m e n t a t i o na n d l o wc o i g u r a t i o nr e q u i r e m e n t s t e r e om a t c 王l i n ga l g o r i t l l mi st l l ec o r eo f s t e r e 0v i s i o n ，强n d e p t hs t u d ya b o mi ti sc a m e do u ta i l dt w 0i i l l p r o v e d3 dp o 缸c l o u d r e c o n s l _ j u c t i o nm e t l l o d sa r ep r o p o s e d 1 a 伯，0 - s t i 印m a t c m n gs 仃a t e g y 丘o ms p a r s et 0d e i l s ei sp r e s e n t e db a s e do nc o n t r o lp o i n t s f i r s t l y ，a i li i n p r 0 v e ds e e dg r o 诵n ga i g o r i t l l 】 ni se m p l o y e dt 0o b t a i ns p a u r s em a t c l l i n gr e s u l t ； s e c o i l d l y ，ap i e c e w i s ed y n a l n i cp r 0 伊a m m i n gm e m o di sp r o p o s e dw h i c hm a l ( e su o fs p a r s e m a t c l l i i 培船g u i d ep o i n t st 0c o n t r o ld i s p 撕够s e a r c l l i n gr a l l g ei i lo p t n i z a t i o np r o c e s s o no n e h a l l d ，c o i l s 仃a i n t 、访t 1 1 i n 廿l es u b s e c t i o ni se i l l l a r l c e db e c a u s et h ee n d p o i l l t so fe a c hs u b s e c t i o n a r es p a r s em a t c l l i n ga c l l i e v e db y 也ef i r s ts t 印觚dn l e yc a i ls e e 淞g u i d ep o i n t st 0r e s t r i c tt h e o p t i m i 2 ，a t i o nf o mb o t l le r l d ss i i i l u l t a n e o u s l y ，c o i l s t r a l i n tb e t w e e na d j a c e n ts c a l l l i n e si sa j s o s t r e n 星曲e n e d o nt h eo n l e rt 姗d ，c o n s 仃a i n tb e t w e e nt 、v 0 ia d j a c e n ts u b s e c t i o n si sw e a k e i l e d e s p e c i a l l ya tt h eb o u i l d a 巧o fd i f l e r e n tc h a r a c t e r i s t i cr e g i o i l sv v i t hd i s t i n c td i s p a r i t ) rc h a n g e s i i l l i sw a y ，c u m u l a t e de r r o ri sp r e v e n t e da r l dm a t c h i n ga c c l l i a c yi si n c r e a s e d 2 a ni t e r a t i v ed 肿i cp r o 缈瑚m i n gm e t l l o di sd i s c u s s e dc o n s i d e r i n gt i l ev e n i c a l c o n s 僦m t h em a t c l l i n gr e s u l to fd ) ，n a i i l i cp r o 莎a m m i i l gm 文h o da p p l i e di ns t e r e ov i s i o nh 觞 al o tt 0d ow “ht l l ec h o i c eo fp i x e l sn e i g l l b o u r h o o ds t r u c t u 】旧t h e 仃a d i t i o n a lp a t l lo no n e d i m e n s i o nh o r i z o n t a ls c a n l i i l eh a st l l e 、) l ，e u k n o ，i ls 仃ea ：ke 矗i e c tb e c a u s eo fr i o tc o n s i d e r a t i o n o fc o n s 触b 嘶e na d j a c e n ts c a n l i n e s t 0s o l v et h i sp r o b l e m ，n o t0 1 1 l yt l l eh o r i z o n t a l c o n s n a i n t s 、) l ，i t b i i las c a n l i n eb u ta l s ot h ev e r t i c a lc o n s 仃a i n t sb e t w e e ns c a n l i n e sa r ei n n 0 d u c e d h 】幻t l l eo p t i m i z a t i o n p r o c e s s f u r 吐l e 肌o r e ，c o n 舡0 lp o i n t sa r e 甜s oe x p l o i t e da n dt h e o p t i i i l i z a t i o np r o c e s si sc a r r i e do u t 舶mt l l ec o n 仃0 lp o i n t st 0t l l e i rs u n 0 u i l d i n gr e g i o 璐 i t e r a t i v e l y b ym e a i lo f t l l i s ，a 弘t 1 1 ed i s p a r i 够s e a r c h i l l gr a n g ec a l lb er e 嘶c t e de 廊c t i v e l y 锄d t l l e nc o m p 嘣i o n a lc o m p l e x 时i sr e d u c e d ，觚da b o v ea l l ，t | l es 仃e a l 【e 艉c tc a i lb ca l l e v i a t e d a i l dt t l e nt h em a t c l l i n ga c c u r a c yi si m p r o v e de a e c t i v e l y aw h o l e3 dr e c o i l ! t 1 1 l c t i o ns y s t e mi l a sb e e ne s t a b l i s h e d ，o nw i l i c hs i i l l u l a t e de x p e r i ：m e i i t s 缸ec 枷e do u t t h ee x p e r i m e n tr e s u l t ss h o wt h a t3 dm o d e l i sd e n s e ，s m o o t ha i l dv i v i d k e y w o r d s ： b i n o c u l a rv i s i o n ，3 df a c er e c o n s t m c t i o n ，s t e r e om a t c h 堍，c o i l 仃0 lp o 缸，d ) ，1 1 锄i c p r 0 掣诬姗m g - i i 目录 目录 摘要i a b s t r a c t il 目录l l i 第一章绪论。1 1 1 选题背景及意义1 1 2 三维人脸重建的主要方法。2 1 2 1 主动式方法。2 1 2 2 被动式方法3 1 3 三维人脸重建的研究现状。4 1 3 1 国外研究现状。4 1 3 2 国内研究现状5 1 4 三维人脸重建目前存在的问题。5 1 5 论文主要内容及结构安排。6 1 5 1 论文的主要内容6 1 5 2 论文的结构安排7 第二章双目立体视觉技术8 2 1 基于双目立体视觉的三维人脸重建系统8 2 1 1 系统模型与基本原理8 2 1 2 系统实现9 2 2 摄像机标定l o 2 2 1 双目立体视觉系统的坐标系1 l 2 2 2 摄像机标定方法简介1 3 2 3 极线校正13 2 3 1 相机模型与极线几何。1 4 2 3 2 投影矩阵变换1 5 2 3 3 实验结果1 6 2 4 立体匹配l7 2 4 1 基本原理1 7 2 4 2 匹配方法分类1 8 2 5 三维点云重建2 0 2 6 本章小结2 0 第三章一种基于引导点的从稀疏到稠密的两步匹配算法2 1 3 1 人脸图像特点与传统匹配算法应用的不足2 l 3 1 1 人脸图像的特点2 1 3 1 2 传统匹配算法应用的不足2 2 3 2 算法改进思路2 4 3 2 1 种子点增长法和动态规划法。2 4 3 2 2 两种方法应用的缺陷2 6 3 2 3 改进的思路。2 7 3 3 稀疏匹配2 8 3 3 1 改进的种子点增长法。2 8 3 3 2 稀疏匹配优化。3 0 m - 目录 3 3 3 双向一致性检验3 0 3 4 稠密匹配3 l 3 4 1 算法思想3l 3 4 2 算法实现3 3 3 5 实验结果与分析3 4 3 6 本章小结3 9 第四章一种加入垂直约束的基于控制点的迭代动态规划算法4 0 4 1 动态规划方法4 0 4 1 1 动态规划方法描述。4 0 4 1 2 相邻约束网格结构的选取4 l 4 2 加入垂直约束的基于控制点的迭代动态规划4 2 4 2 1 图像预处理4 2 4 2 2 加入垂直方向约束的动态规划4 2 4 2 3 基于控制点的迭代搜索方法4 5 4 3 权重系数的搜索方法4 6 4 3 1 全局最优算法中的权重系数4 6 4 3 2 最优权重系数搜索算法4 8 4 4 实验结果与分析4 9 4 5 本章小结5 3 第五章总结与展望5 4 5 1 课题中完成的工作5 4 5 2 尚存在的问题及对未来工作的展望5 5 致谢5 7 参考文献5 8 作者硕士期间发表的论文及研究成果6 2 - 第一章绪论 1 1 选题背景及意义 第一章绪论 人脸包含了丰富的特征信息，可以根据人脸来辨识出一个人，了解他的情绪变化等。 由于人的面貌属于人的固有生物特征，因此几乎不存在两张完全一样的人脸，并且与指 纹、虹膜等其它人体生物特征的识别相比，人的面部特征获取比较容易，可以在不接触 的情况下隐蔽地采取，因此更具有实用性。 传统的照片只能反映出人脸的二维信息，透射投影过程损失了深度信息，无法看到 具有轮廓特征的真实感三维人脸。因此三维人脸建模已经成为计算机视觉领域的一个研 究热点，它广泛应用于医学外科手术、三维动画制作、视频电话和会议、人脸识别等各 个领域。 ( 1 ) 医学外科手术 随着社会的进步，面部整形成为一个新兴的具有巨大市场潜力的行业。医生在对接 受手术者进行手术之前，可以先建立其脸部的三维模型，这样能够使医生更加准确地了 解对象的面部特征，模拟手术过程和结果，从而总结出一套最佳的手术方案。 ( 2 ) 三维动画制作 现在越来越多的电影、广告和游戏中运用三维合成技术，刻画出逼真的人物和动画 形象，给观众带来震撼的视觉效果和享受。例如在动画电影中以现实世界中的人物脸部 特征为原型，三维建模后以三维动画的形式搬上银幕，好莱坞动画电影制作和网络游戏 制作中已经大量采用这种技术，创造了巨大的市场价值。 ( 3 ) 视频电话和会议 视频的数据传输量巨大，对于实时性传输是一个挑战。基于三维模型的编码方法只 需要传输少量的形状、运动以及纹理参数，能够实现比较大的数据压缩率，提高数据传 输的效率，如分布的视频会议可以带给人一种身临会场的感觉o ( 4 ) 人脸识别 传统的人脸识别是基于二维图像的，其技术和方法已经相对成熟。例如在2 0 0 8 年 北京奥运会期间，由中科院自动化所自主研发的二维人脸识别系统已经成功地用于开幕 式的安保工作，但光照、人脸表情、姿态等会对其鲁棒性和精度产生一定的影响。三维 人脸由于其提取的特征具有刚体不变性，并且不容易受光照的影响，对于提高人脸识别 的精度具有重要的应用价值。 由于三维人脸模型的巨大应用价值，已经成为计算机视觉的一个重要研究领域和挑 战性难题，有许多研究人员从事相关的工作。由于透射投影过程中深度信息的损失，因 此深度恢复成为三维人脸重建的关键因素。根据光源的不同可以将深度恢复技术分为主 动式和被动式两大类。主动式技术需要提供特定模式的辅助光源，具有精度高、抗干扰 东南大学硕士学位论文 性好等优点，但是设备价格昂贵，并且对人脸这种脆弱对象的使用不够友好，推广普及 受到一定的局限；被动式技术在自然光条件下实现，从拍摄到的人脸二维图像来恢复其 三维信息，其操作灵活、使用友好、配置简单、价格便宜，成为计算机视觉中的一个迅 速发展的领域。 在基于二维图像的三维人脸重建技术中，双目立体视觉技术是一个研究热点。它仅 仅利用两台摄像机从不同的角度各采集一幅人脸图像，然后对两幅人脸图像进行像素点 的匹配，最后根据两台摄像机之间的位置关系和匹配结果即可恢复出人脸表面的三维空 间信息。 与主动式技术相比，基于双目立体视觉的三维人脸重建技术在重建精度上还存在一 定的差距，其中的一些关键技术和问题还有待于解决。因此，本文对基于双目立体视觉 的人脸三维重建技术进行了深入的研究。 1 2 三维人脸重建的主要方法 目前流行的三维人脸重建方法主要分为主动式方法和被动式方法两大类。主动式方 法如激光扫描仪、结构光投影法等需要向人的脸部投射辅助光源；被动式方法是基于图 像的三维人脸建模方法，通过摄像机采集的一幅或者多幅图像即可恢复人脸三维数据。 主动式方法得到的人脸三维数据精度高，但需要价格昂贵的专用设备辅助，并且在 测量过程中需要向人脸投射辅助光源，使用不够友好，因此对于人脸这种比较脆弱的应 用对象有一定的局限性。被动式方法仅需要价格便宜的图像采集设备，配置比较简单， 操作灵活，可以在不被察觉的情况下完成图像的采集和人脸三维数据的恢复工作。但是 相对于主动式技术，其重建的精度还有一定的差距。由于被动式技术简单灵活，已经成 为计算机视觉领域的一大研究热点。本文采用的便是基于双目立体视觉的被动式三维人 脸重建方法。 1 2 1 主动式方法 主动式方法通过向人脸上投射一束包含特定信息的光束，获取到入脸表面点的空间 三维坐标，然后基于这些点插值或拟合得到人脸表面。这种方法重建准确，技术成熟， 但是需要价格昂贵的专用设备，并且由于需要辅助光的投射，对于人脸应用存在一定的 限制。 ( 1 ) 数字化扫描仪 数字化扫描仪利用得到的稠密深度图来进行三维人脸重建。它可以同时提供深度图 和反射图，深度图是均匀的网格状数据，代表人脸表面到图像采集装置的距离，反射图 可以提供关于颜色和纹理的信息。利用通用人脸模型插值拟合深度图，并利用网格技术 进行人脸形状调整，从而恢复出人脸的三维模型f 1 1 。 ( 2 ) 结构光投影法1 2 】 结构光法基于光学三角法测量原理。光学投射器将一定模式的结构光投射于人脸表 面，在表面上形成由人脸表面形状所调制的光条三维图像。常用的结构光模式有光平面、 第一章绪论 十字光平面、网格状光束等，对人脸表面在三维空间中的位置进行约束，就可以获得人 脸表面上点的三维坐标值，从而重建出三维人脸。 1 2 2 被动式方法 被动式三维人脸重建方法通常采用不同角度的多台摄像机对人脸进行拍摄，由拍摄 得到的多幅二维图像恢复人脸的三维信息。由于其所需的设备价格比较低廉、适用面广、 操作灵活，从而得到了广泛的研究和应用。此类方法主要有下面几种【3 j ： ( 1 ) 交互式立体视觉法 这种方法包括三个主要步骤：摄像机标定、手工选取对应匹配点、利用三角法计算 人脸表面点的空间三维坐标。首先利用传统标定方法对左右摄像机进行标定，然后根据 左右图像之间的相似关系手动地标出一组对应的特征标记点，根据标定信息和三角法将 二维图像的对应点关系还原为空间的三维坐标。将得到的特征点的三维坐标映射到 c a n d i d e 通用人脸模型1 4 】，然后对一般模型上的非特征点进行调整，最终得到人脸的 三维模型。 ( 2 ) 光度立体视觉方法 光度立体视觉理论最早由w | o o d l l a m 【5 】提出。这种方法利用光照几何和曲面反射的先 验知识计算曲面法线和其它的曲面信息。对于朗伯表面，曲面上一点的法线可以通过三 个以上的光源照射确定。然后根据曲面法线得到深度图，从而得到人脸表面的三维信息。 ( 3 ) 正交视图法 这种方法要求输入的人脸图像是正交图像，一幅为正面图像，另一幅为侧面图像。 对于两幅图像中都可见的人脸表面上点，其x 、y 坐标根据正面图像得到，深度z 坐标 根据侧面图像得到。人的脸部特征如眼睛、鼻子、嘴巴等可以自动提取得到【6 l ，根据这 些提取到的特征，利用前面的方法将得到的三维坐标点映射到通用三维人脸模型来恢复 人脸三维信息。 ( 4 ) 基于统计学习的方法 这种方法通过直接对人脸图像进行数据挖掘来恢复深度信息。与基于优化的方法不 同，它并不需要一个能量代价函数，而是将人脸的纹理和深度看作两种变量和子空间， 通过空间映射的方式找到二者之间的映射函数，从而直接从纹理数据计算得到人脸的深 度数据。 ( 5 ) 自动的双目立体视觉方法 双目立体视觉通过建立不同角度的摄像机拍摄得到的两幅图像的像素点的对应关 系来恢复人脸的深度信息。它分为三个主要步骤：首先对摄像机系统进行参数标定，然 后寻找两幅图像中像素点之间的对应关系，最后根据对应关系以及投影模型恢复出人脸 的三维信息。核心的部分是寻找像素点对应关系的过程，称为立体匹配。双目立体视觉 能够得到稠密的人脸三维点云，但是在人脸的低纹理区域如额头和脸颊，曲率变化较大 的区域如鼻子，以及遮挡区域等往往会出现错误匹配的情况，这也一直是各类立体匹配 算法致力解决的问题。图l 一1 为基于双目立体视觉三维人脸重建系统的示意图。 东南大学硕士学位论文 图1 1 双目立体视觉系统示意图 1 3 三维人脸重建的研究现状 1 3 1 国外研究现状 国外在三维人脸重建方面的研究工作起步比较早，到现在已经有了很多比较有效的 方法。激光扫描仪或者结构光投影法是比较成熟的主动式三维人脸获取技术，如文献【2 】 中采用的方法。更多的是采用基于二维图像的三维人脸重建方法，其中采用较多的是修 改通用人脸模型的方法。文献【7 ，8 】要求输入两幅正交人脸图像，首先提取出人脸的轮廓， 然后去修改通用人脸模型。文献 9 】首先提取人脸上一组特定的标记点并进行初步的匹 配，然后对它们进行非线性变换来修改通用人脸模型，最后从图像中提取人脸的纹理信 息并映射到通用人脸模型。文献 1 0 】采用三角网格模型作为通用人脸模型，将人脸的特 征信息，如形状信息和纹理信息等，先从图像中提取出来，然后将提取的人脸特征信息 对准到人脸三角网格模型，并对眼睛、鼻子、嘴等局部特征进行精细调整，最后提取出 纹理信息映射到调整后的人脸模型。文献【1 1 】提出了一种利用多幅图像的能量函数最小 化方法，所选用的能量函数考虑了图像序列之间的亮度变化，人脸表面的光滑度以及与 通用模板之间的映射关系。 另一类比较通用的是基于双目立体视觉的方法。文献【1 2 使用两台摄像机从两个不 同角度拍摄两幅人脸图像，先进行对极线校正使得左右图像的极线对齐，然后采用一种 基于区域的立体匹配算法来获取稠密的深度图，再从左图像中提取出人脸的纹理信息， 结合深度图重建人脸的三维模型。文献 1 3 】提出一种对立体图像对使用退火算法进行渐 进深度估计的方法，首先从可靠区域开始，对目标能量函数进行退火算法运算，然后向 周围不可靠区域传递，并利用二维网格对平滑参数进行估计。文献 1 4 】采用两组长基线 第一苹绪论 配置的立体摄像头，每组包含两个平行放置的短基线摄像头用于采集人脸图像对。先利 用两组短基线图像对分别得到人脸的三维形状，然后将两个三维人脸融合到一起得到最 终的三维人脸模型。 1 3 2 国内研究现状 国内相关研究起步较晚，但近年来发展迅速，取得了一系列的成果。上海交通大学 的石磊等【l5 】提出一种借助于网格光从两幅二维图像测量人脸三维曲面的方法。与传统的 需要特殊编码模式辅助光源的方法不同，该方法采用了未编码的普通白炽灯光源，利用 基于边缘信息的分水岭算法提取和细化网格条纹，接着定位与标记网格的交叉点，使用 迭代扩张匹配算法来匹配左右图像的网格交叉点，最后利用匹配的交叉点集合来计算人 脸的三维信息。浙江大学的刘济林等1 1 6 】提出一种无需通用人脸模型的三维人脸重建方 法，在人工辅助确定特征点的基础上，利用能量函数最小约束实现深度图的初步融合， 然后运用改进i c p 算法获得三维人脸模型。浙江大学c a d & c g 国家重点实验室的周佳 立等i l7 j 利用小波相位相关技术对人脸表面进行亚像素匹配得到人脸三维点云数据，然后 通过神经网络技术实现人脸曲面重建。中国科学技术大学的郑颖等1 1 8 】提出一种基于模型 的三维人脸重建方法，利用一个人脸三维模型作为辅助匹配工具，先判断输入的人脸立 体像对的姿态，然后生成一对参考模型在相同姿态下的虚拟图像，虚拟图像对的像素点 之间的匹配关系是已知的，再计算输入图像对与虚拟图像对之间的对应关系，最后利用 虚拟像对已知的匹配关系完成实际像对的匹配和三维信息重建。北京工业大学的尹宝才 等【1 9 j 对形变模型采取网格重采样的方法，实现模型人脸数据的精确对应，建立多分辨率 的三维人脸模型。南京理工大学的钱超等【2 0 】从人脸视频中提取两幅人脸图像，估算两者 之间的旋转角度，计算出人脸图像的旋转方程，求出人脸特征点的三维坐标，再利用得 到的人脸特征点修改c a n d i d e 通用模型并进行纹理映射得到具有真实感的三维人脸模 型。中科院计算技术研究所的姜大龙等【2 l 】提出一种从二维人脸照片到三维人脸模型的构 造方法，只需要输入一张正面人脸照片，重构过程完全自动。 1 4 三维人脸重建目前存在的问题 虽然现阶段已出现了很多的三维人脸重建方法，但人脸重建是计算机视觉中一个复 杂的逆向工程问题，它涉及很多的方面，如重建的准确度、可操作性、实时性、自动化 程度等，这些都是需要不断改进的地方，下面是对三维人脸重建中目前仍存在的一些问 题的概述。 ( 1 ) 主动式技术如激光扫描仪、结构光法等对硬件的要求很高，价格昂贵，推广应 用受到限制：再者必须有特定模式光源辅助，使用不够灵活，特别是对人脸这种敏感脆 弱对象不够友好，不能够做到隐蔽地采集，这对于一些需要特殊安全场合的使用是不合 适的；自动化程度还不够高，还需要较多的人工辅助操作。 ( 2 ) 被动式技术对硬件的要求低，操作比较灵活，但也存在一些限制。如交互式立 体视觉方法需要事先提取出人脸上一些特征点，而自动提取算法的鲁棒性和正确性难以 东南大学硕士学位论文 得到保证，手动提取方法又会降低系统的自动化程度，不便于实时应用。在将特征点映 射到通用模型进行调整时，通用模型的选取往往也会产生一定影响，因为不同种族的人 脸结构通常存在一定差异，而现在的通用模型往往是以西方人为模板的，这会影响到刚 性的通用模型的调整。正交视图方法需要两幅正交的人脸图像，这对拍摄提出了很高的 要求，如果人脸的角度选取的不好，就会对后续的特征提取产生不利影响。 ( 3 ) 自动双目立体视觉方法需要在拍摄的图像对之间寻找匹配点。对于人脸这种特 殊的对象，其表面属于低纹理区域，灰度变化比较平缓，特别是在额头和脸颊区域，邻 近区域的灰度相似度比较大，而灰度相似度差异是立体匹配过程的重要约束条件，这会 产生比较多的错误匹配，影响到重建的精度。人脸的鼻子、眼睛、嘴巴等器官的轮廓最 能表征人脸的深度信息，但是人脸的特征提取相对困难，目前的自动提取算法的鲁棒性 和精度都不够高。此外，遮挡和光照对立体匹配的影响也都很大，传统的基于窗口的匹 配方法很难得到好的重建结果，而复杂的优化算法考虑了复杂的约束条件，增加了算法 的复杂度，影响了实时应用。 从以上对现有的各种三维人脸重建方法的分析来看，双目立体视觉方法对硬件的要 求较低，操作比较灵活，容易实现自动化处理，并且能够提供稠密的视差信息，从而恢 复得到稠密的人脸三维点云，这样建立的人脸三维表面比较精细，细节比较清楚。因此 本文以双目立体视觉技术为基础，重点研究了人脸三维点云重建中所存在的问题。 1 5 论文主要内容及结构安排 1 5 1 论文的主要内容 本文为了实现人脸三维点云重建的目标，利用双目立体视觉技术构建了完整的人脸 三维点云重建系统。双目立体视觉技术主要涉及摄像机标定、立体匹配、三维重建三个 过程，其中立体匹配算法是双目立体视觉技术的核心，匹配算法的好坏直接影响到三维 重建的精度。本文对这个影响人脸重建精度的关键因素进行了深入的研究，在已有的立 体匹配算法的基础上，结合人脸图像的特点，提出了两种新的基于立体视觉技术的人脸 三维点云重建算法。本文的研究工作主要包括以下几个方面： ( 1 ) 提出了一种基于引导点的从稀疏到稠密的两步匹配算法。由于人脸图像的特殊 性，脸部主要由眼睛、鼻子、嘴巴等主要特征区域组成，而这些区域具有明显的轮廓特 征，因此文中提出一种两步匹配的策略。首先以一种改进的种子点增长算法得到稀疏匹 配结果，所得到的稀疏匹配结果集中在脸部特征区域的轮廓附近；然后引入控制点的思 想，提出一种分段动态规划的方法，利用稀疏匹配得到的引导点来约束控制动态规划过 程中视差搜索的范围。一方面加强了分段内的约束，因为分段的端点都是已知的稀疏匹 配点，可以作为控制点从两端同时约束分段内的最优路径搜索过程，降低了计算复杂度， 提高了匹配速度：再者降低了分段之间的影响，特别在特征区域边界处，分段之间的视 差变化较大，分开处理，前一阶段的匹配错误不会影响到后一阶段的优化，避免了错误 的传递和累积，提高了匹配的精度。 第一章绪论 ( 2 ) 提出了一种加入了垂直约束的基于控制点的迭代扩散动态规划算法。动态规划 方法应用于立体匹配时，匹配结果和描述相邻约束关系的网格结构的选择有很大关系。 传统的一维水平扫描线上优化由于没有考虑邻近扫描线之间的约束关系，因此会产生条 纹效应。特别是人脸图像，单纯的一维水平扫描线往往会经过不同的特征区域，如鼻子 和脸颊，在区域的边界会有视差的跳变，这是产生错误匹配的重要原因。为解决这个问 题，首先加入了垂直方向的约束，同时考虑了水平扫描线之内和水平扫描线之间的约束 关系；为了降低搜索路径的复杂性，引入了控制点，利用视差的连续性约束，从控制点 开始向周围区域迭代扩散地进行优化，既可以充分地约束优化搜索的路径，又可以有效 地降低计算复杂度，最重要的是有效地减轻了条纹效应，进一步提高了匹配的准确度， 从而得到精度更高的人脸三维点云数据。 ( 3 ) 构建了完整的人脸三维点云重建系统。在已知摄像机标定数据的基础上，对拍 摄得到的两幅人脸图像进行极线校正处理；然后利用上述立体匹配算法对校正后的图像 进行像素点的匹配，得到匹配关系；最后根据匹配关系和标定数据，利用空间交汇法计 算得到人脸的三维点云并在终端以图形化显示。 1 5 2 论文的结构安排 第一章绪论本章首先阐述了本课题的选题背景及研究意义，介绍了现有的三维人 脸重建的各种主要方法，总结了国内外有关三维人脸重建的研究现状并指出现阶段存在 的问题，最后介绍了本论文的研究内容和章节安排。 第二章双目立体视觉技术本章首先描述了基于双目立体视觉的三维人脸重建系 统的模型实现和基本原理，然后概括介绍了系统的几个主要的实现步骤：摄像机标定、 极线校正原理、立体匹配、三维信息还原。 第三章一种基于引导点的从稀疏到稠密的两步匹配算法本章首先针对人脸图像 的特点，分析了现有的匹配算法用于三维人脸重建的不足，进而给出了改进的思路，提 出了一种新的基于引导点的从稀疏到稠密的两步匹配算法，详细地阐述了算法的思想以 及实现步骤，最后给出真实人脸图像重建的实验结果，证明了该算法的有效性。 第四章一种加入垂直约束的基于控制点的迭代动态规划算法为了减轻传统一维 扫描线动态规划方法用于三维人脸重建的条纹效应，本章提出了一种同时考虑了扫描线 内和扫描线间的约束关系，并引入了控制点来迭代扩散寻优的动态规划算法，提高了匹 配结果的准确度，给出了算法的实现流程，最后通过实验证明了该算法的有效性。 第五章总结与展望总结了本课题的研究工作和成果，提出了本课题的不足和尚需 改进的地方，并展望了三维人脸重建技术今后的努力方向。 点云数 成本便 宜、操作灵活方便、自动化程度较高，具有广阔的发展前景，成为三维人脸重建的一项 重要技术。本章详细介绍了基于双目立体视觉的三维人脸重建系统的模型和基本原理， 其中涉及到几个主要的步骤：摄像机标定、极线校正、立体匹配、三维点云还原，并对 影响人脸重建精度的关键技术立体匹配技术进行了着重地介绍。 2 1 基于双目立体视觉的三维人脸重建系统 2 1 1 系统模型与基本原理 基于双目立体视觉的人脸三维点云重建系统基于视差原理，利用三角法进行三维点 云的获取。用两台摄像机同时从不同角度采集两幅人脸图像或者利用一台摄像机在不同 时刻从不同角度采集两幅人脸图像，两个摄像机的成像平面和人脸表面构成三角形关 系，如果已知两台摄像机之间的位置关系以及像素点的对应关系，基于视差原理按照成 像过程的逆过程进行计算，便可以得到人脸表面点的空间三维坐标。 图2 1 是基于双目立体视觉的三维人脸重建系统的模型，为了更形象地说明系统原 理，这里只讨论简化的平行双目的情形【翻，即两台摄像机的相对位置关系只存在水平方 向的平移，而不存在旋转。更一般的摄像机位置关系情形在经过2 3 节介绍的极线校正 后可以转化成平行双目的情况。 图2 1 系统模型 - 8 光轴 釜三雯翌旦皇堡望堂垫查 两台摄像机光心的连线叫做基线，其长度为b 。对于人脸表面上的一点形，它在左 摄像机坐标系下的坐标为( ，虬，乙) ，它在左右摄像机的成像平面上所成的像素点的图 像坐标分别为见= ( t ，砭) 和弥= ( 以，珞) 。由于系统模型假设为平行双目系统，两者的 纵坐标相同，即艺= 珞= 】，根据三角几何关系，能够得到下面的方程： x l = f 蔓 乙 x r ：f 型 z c y ：f 鉴 z c ( 2 1 ) 空间点矽的视差可以定义为d = k 一。根据几何相似关系能够计算出形在摄像 机坐标系下的三维坐标为： x b 艺2 t 厂 l 厂召， 儿2 了 f b d ( 2 2 ) 由式2 2 可以看出，对于人脸表面上的任意一点形，只要能够找出其在左右成像平 面上投影所成的像素点之间的对应关系，就可以确定出该点的三维坐标。如果再知道人 脸所在世界坐标系和摄像机坐标系之间的位置关系，就可以计算出人脸在任何世界坐标 系中的三维坐标。这是一种点对点的计算，只要能够找到对应的匹配点，就可以计算出 人脸表面上点的三维坐标。 2 1 2 系统实现 从2 1 1 节对人脸三维点云重建系统模型的介绍来看，系统主要涉及摄像机参数标 定、极线校正处理、基于像素点的立体匹配、三维点云还原等几个主要的步骤。 图2 2 系统硬件配置 9 一 东南大学硕士学位论文 图2 2 所示是系统的硬件配置情况，三角支架上是一个水平的滑动槽，左右摄像机 镜头分别固定在滑动槽的两端，图卡采集设备连接到计算机，对采集到的两幅人脸图像 进行处理。 软件部分可以分为几个主要的模块： ( 1 ) 摄像机标定。摄像机标定是为了得到左右摄像机的内部参数以及两者之间的位 置关系，标定数据是后续极线校正和最终三维点云重建的基础。 ( 2 ) 图像预处理。对于采集得到的左右人脸图像进行适当的预处理，如提取感兴趣 的脸部区域，对原始图像进行极线校正得到虚拟的平行双目图像，有利于后续的立体匹 配，只需要在水平的一维扫描线上寻找左右图像中对应的匹配像素点。 ( 3 ) 立体匹配。这是被动式双目立体视觉技术的核心环节，匹配算法的好坏直接影 响到人脸三维点云重建的精度，这也是本文后面着重要研究分析的内容。 ( 4 ) 三维点云重建。在得到左右图像中像素点的匹配关系后，根据标定数据通过三 角法原理即可计算得到人脸表面点的空间三维坐标，完成人脸重建的目标。 整个系统的软件处理流程如图2 3 所示： 2 2 摄像机标定 图2 3 系统软件流程图 摄像机标定的概念最早来源于摄影测量学，利用数学方法将从数字图像中获取到的 数据进行处理，从而建立图像像素点和空间点之间的位置关系。通常需要已知一组特定 的特征标记点，根据摄像机的透视投影关系，从特征点的像素坐标和空间坐标之间的关 系求解方程组得到摄像机系统的参数。需要标定的参数通常分为内部参数和外部参数两 组，内部参数代表镜头本身的透视变换关系，外部参数代表摄像机坐标系到空间世