（信号与信息处理专业论文）基于双目立体视觉的三维人脸重建.pdf

中文摘要 中文摘要 摘要：创建逼真的三维人脸模型始终是个极具挑战性的课题。近年来，随着三 维人脸模型在虚拟现实、视频监控、三维动画和人脸识别等领域的广泛应用，三 维人脸重建已经成为计算机图形学和计算机视觉领域的一个研究热点。本文对摄 像机标定、立体匹配、三维重建、三角剖分和三角形网格细分等算法进行了深入 细致的研究，从人类视觉机理角度出发，提出一种基于双目立体视觉的三维人脸 重建方法，重建过程中无需三维激光扫描仪和标准人脸的网格模型。实验结果表 明，文中构建的三维人脸重建系统能够产生光滑逼真的三维人脸模型。本文的主 要研究工作和创新点如下： 1 组建了双目立体视觉系统，在深入研究和分析传统摄像机标定方法的基础上， 制作了平面棋盘格标定板并采用改进的角点检测算法精确测定角点坐标，采用 z h a n g 的标定方法获得两个j v c 摄像机t k - c 1 4 8 1 b e c 的内、外参数，使其重 投影误差不超过0 4 个像素，标定精度高。 2 结合基于特征和基于区域这两种立体匹配算法的优点，对传统的匹配算法进行 了改进，提出了基于边缘特征约束的区域生长立体匹配算法。首先利用基于特 征技术得到人脸边缘特征点，通过对边缘特征点做灰度相关处理得到准确可靠 的视差，然后选择匹配的边缘特征点作为种子像素，以种子像素的视差作为区 域生长的视差，在外极线约束、单调性约束以及对应匹配的边缘特征点的约束 下，在水平扫描线上进行区域生长，从而得到整个人脸区域的视差图，提高了 对应点匹配的速度和准确度。 3 为构建高质量的三维人脸模型，对三维人脸重建算法中的三个关键技术空 间点的三维重建、人脸三维空间散乱点云的三角剖分和三角形网格细分算法进 行了深入的研究。首先根据摄像机标定和立体匹配生成的视差图，计算人脸空 间散乱点云的三维坐标；然后将人脸的三维点云在二维平面上进行d e l a u n a y 三角剖分；最后采用3 细分模式并结合三角b e r n s t a i n b 6 z i e r 基样条，对初始 生成的人脸三角形网格进行网格细分来重建光滑、逼真的三维人脸模型。 4 为了实现实时的三维人脸重建以及验证所提出算法的可行性，本课题构建了相 应的硬件实验平台和软件实验系统，其中软件实验系统包括图像采集、摄像机 标定、立体匹配、三维人脸重建等模块，这些为迸一步开发和研究基于双目立 体视觉的三维人脸重建系统奠定了良好的基础。 关键词：三维人脸模型，双目立体视觉，摄像机标定，区域生长，立体匹配，三 维重建，d e l a u n a y 三角剖分，网格细分 分类号：t p 3 9 1 a b s t r a c t a bs t r a c t a b s 。l r a c r i ： g e n e r a t i n gr e a l i s t i c3 dh u m a nf a c em o d e li sac h a l l e n g i n gt a s k i nc o m p u t e r g r a p h i c sa n dc o m p u t e rv i s i o n i nr e c e n ty e a r sw i t ht h ee x t e n s i v ea p p l i c a t i o n o f3 df a c e m o d e l si nt h ef i e l d so fv i r t u a lr e a l i t y , v i d e os u r v e i l l a n c e ，3 da n i m a t i o na n df a c e r e c o g n i t i o n ，3 df a c er e c o n s t r u c t i o nr a i s e sag r e a td e a l o fi n t e r e s ta n dh a sb e e na r e s e a r c hf o c u s i nt h i sp a p e r , o nt h eb a s i so fat h o r o u g hr e s e a r c ho nc a m e r ac a l i b r a t i o n ， s t e r e om a t c h i n g ，t h r e ed i m e n t i o n a lr e c o n s t r u c t i o n ，d e l a u n a yt r i a n g u l a t i o na n dm e s h s u b d i v i s i o na l g o r i t h m s ，a3 df a c er e c o n s t r u c t i o nm e t h o db a s e do nb i n o c u l a rs t e r e o v i s i o nt h e o r yi sp r o p o s e d e x p e r i m e n t a lr e s u l t ss h o wt h a tt h em e t h o dc a ng e n e r a t e s m o o t ha n dv i v i d3 df a c em o d e lw i t h o u te x p e n s i v ed e v i c e sa n dg e n e r i cf a c em o d e l t h em a i nc o n c e r n sa r ef o l l o w s ： 1 a f t e ra n a l y z i n ga n di n v e s t i g a t i n gt h r e et r a d i t i o n a lc a m e r ac a l i b r a t i o nm e t h o d s i n c l u d i n gl i n e a rc a m e r ac a l i b r a t i o n ，r a d i a la l i g n m e n tc o n s t r a i n ta n dz h a n g sm e t h o d ， as t e r e ov i s i o n s y s t e m i sb u i l t c o n s i d e r i n ge x p e r i m e n t a l i n s t r u m e n t sa n d e n v i r o n m e n t ，z h a n g sm e t h o di sa d o p t e dt og e tt h ee x t e r i o ra n d i n n e rp a r a m e t e r so f t w oc a m e r a s ( j v ct k - c 1 4 8 1 b e c ) t h er e p r o j e c t i o ne r r o ri sw i t h i n0 4p i x e l s 2 s t e r e om a t c h i n ga l g o r i t h m sb a s e do nf e a t u r ea n dr e g i o na r ei n v e s t i g a t e da n d i m p r o v e d c a p t u r e db yc a l i b r a t e dc a m e r a s ，ap a i ro fs t e r e oi m a g e si sr e c t i f i e dt o a l i g nt h ee p i p o l a rl i n e sa n dc o m p e n s a t e df o rt h ei m a g ed i s t o r t i o n s t oo b t a i n a c c u r a t em a t c h i n ga n dd e n s ed i s p a r i t ym a p ，as t e r e om a t c h i n ga l g o r i t h mb a s e do n r e g i o ng r o w i n gc o m b i n i n gw i t hf e a t u r et e c h n i q u ei sp r e s e n t e d f i r s te d g ef e a t u r e p o i n tw i t hr e l i a b l ed i s p a r i t yi s s e l e c t e da ss e e dp o i n t t h e nr e g i o ng r o w i n g p r o c e s s e sa l o n gh o r i z o n t a ls c a n l i n e su n d e rm u l t i c o n s t r a i n t s 3 i no r d e rt ob u i l dh i g hq u a l i t y3 df a c em o d e l ，t h r e ek e yt e c h n i q u e si n c l u d i n gt h r e e d i m e n t i o n a lr e c o n s t r u c t i o no fs p a c ep o i n t ，d e l a u n a yt r i a n g u l a t i o na n dt r i a n g u l a r s u b d i v i s i o na r er e s e a r c h e da n da n a l y z e d w i t hc a m e r ac a l i b r a t i o na n ds t e r e o m a t c h i n g ，3 dc o o r d i n a t e so fc o r r e s p o n d i n gp o i n t sa r ec a l c u l a t e d t h es c a t t e r e df a c e d a t ai sd i v i d e db yd e l a u n a yt r i a n g u l a t i o n an e wt r i a n g u l a rs u b d i v i s i o ns c h e m e s b a s e do ns q r t - 3m e t h o da n dt r i a n g u l a rb e r n s t a i n b 6 z i e rs p l i n ei sp r o p o s e dt o g e n e r a t es m o o t hf a c es u r f a c e 4 f o rt h ep u r p o s eo fr e c o n s t r u c t i n g3 df a c em o d e l si nr e a lt i m ea n dp r o v i n g l 北京交通大学硕士学位论文 p r a c t i c a b i l i t yo ft h e s ea l g o r i t h m sp r o p o s e du p o n ，ah a r d w a r ea n ds o f t w a r ep l a t f o r m i n c l u d i n gi m a g e c a p t u r i n g , c a m e r ac a l i b r a t i o n ，s t e r e om a t c h i n ga n d3 d r e c o n s t r u c t i o na r ed e s i g n e da n dp u tu p a l lw o r kl a y sag o o df o u n d a t i o no ff u r t h e r r e s e a r c ha n dd e v e l o p m e n to f3 df a c er e c o n s t r u c t i o nb a s e do nb i n o c u l a rs t e r e o v i s i o n k e y w o r d s ：3 df a c em o d e l ，b i n o c u l a rs t e r e ov i s i o n ，c a m e r ac a l i b r a t i o n ，r e g i o n g r o w i n g , s t e r e om a t c h i n g ，t h r e ed i m e n s i o n a lr e c o n s t r u c t i o n ，d e l a u n a yt r i a n g u l a t i o n ， m e s hs u b d i v i s i o n c l a s s n o ：t p 3 9 1 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 臻次级 签字日期：上鼬年7 月e l 导师签名： 肛寺 签字日期：纱哆年夕月名日 独创性声明 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名： 咳灭疑 签字日期： 2 c 年7 月占日 9 5 致谢 本论文是在我的导师阮秋琦教授的悉心指导下完成的。阮老师渊博的知识、 严谨的作风、深邃的见解，给我留下了难以忘怀的印象，令我受益终身。他所具 有的身体力行、精益求精的工作作风和科学态度，对我产生了深刻的影响和教育。 在我所做的科学研究中，从课题的选择到每一步的工作进展，都凝聚着阮老师大 量的心血。研究生期间，在阮老师的严格要求和悉心培养下，我在学业上取得了 长足的进步，在治学态度上受益非浅。在此谨向阮老师表示衷心的感谢! 我还要感谢北京交通大学信息所尊敬的袁保宗教授、朱振峰老师、安高云老 师、倪蓉蓉老师、刘湘黔老师、刘渭滨老师、唐晓芳老师、苗振江老师以及其他 老师，感谢他们对我的指导和帮助! 在学习期间，我的很多想法得益于同学之问的交流和讨论，6 1 5 实验室的田文 君、张瑾、严宏君、曾祥嫒、张诗嘉、朱克峰、郭松、穆美如等同学对我论文中 的许多研究工作给予了热情的帮助，在此谨向他们表示诚挚的谢意! 在北京交通大学的学习生活，离不开我父母的关心和爱护，是他们的无私奉 献和鼎力支持使我能够在学校专心完成学业! 最后，向在这两年中所有关心和帮 助过我的人表示感谢! 序 序 由于人脸信息在人们日常生活、人类活动中起着十分重要的作用，而人脸重 建提供了表现、处理人脸信息的有效手段，因此三维人脸建模是一项十分有意义 的工作。从2 0 世纪7 0 年代p a r k e 建立第一个脸部模型开始，许多研究人员致力 于三维人脸重建的研究。特别是2 0 世纪9 0 年代以来，计算机视觉和计算机图形 学技术的迅猛发展为三维人脸建模提供了技术支持，许多学者开始尝试建立逼真 的三维人脸模型，并取得了显著的成绩。 三维人脸重建始终是一个极具挑战性的难题，从几何角度来看，人脸具有极 度复杂的几何形状和表面材质，必须通过足够的技术手段来描述这些特征。同时， 表情动作的合成、头发和纹理信息的添加、光照的处理等都增加了三维人脸重建 研究的难度。尽管如此，许多研究者还在坚持不懈地进行着这方面的探索，主要 原因有二：一是三维人脸模型有着极为广泛的应用。目前，三维人脸模型已经初 步应用到视频电话、视频会议、影视制作、电脑游戏、人脸识别等多个领域，而 且随着各方面技术的发展，三维人脸模型将会在各方面得到更深更广的应用。二 是现有的一些问题用二维方法解决不了或者说不能很好地解决。其中，在人脸识 别方面，表情变化问题是一个阻碍提高识别率的关键因素，如果在三维模型上进 行特征的提取，充分利用三维信息进行识别，在理论上会提高识别率和识别的鲁 棒性。 本文首先对现有的三维人脸重建方法进行了总结，指出了三维人脸重建在计 算机视觉和计算机图形学领域的重要地位和广泛的应用前景。进一步提出一种基 于双目立体视觉的三维人脸重建方法，该方法在人脸重建过程中无需三维激光扫 描仪和标准人脸的网格模型。针对其中的关键技术摄像机标定、立体匹配、 三维重建、三角剖分和三角形网格细分等进行了深入细致的研究和实验。实验结 果表明，文中构建的三维人脸重建系统能够产生光滑逼真的三维人脸模型。 本课题得到国家自然科学基金( n o 6 0 6 7 2 0 6 2 ) 和教育部博士点项目基金 ( n o 2 0 0 8 0 0 4 0 0 0 8 ) 的资助。 综述 l 综述 1 。1 选题意义及研究背景 由于人脸是非常重要而又复杂的交流通道，在人类日常生活中起着十分重要 的作用，而人脸重建提供了表现和处理人脸信息的有效手段，因此三维人脸建模 是一项十分有意义的工作。近年来，随着三维人脸模型在虚拟现实、视频监控、 三维动画、人脸识别等方面的广泛应用，三维人脸重建已经成为计算机图形学和 计算机视觉领域的一个研究热点。 从2 0 世纪7 0 年代p a r k e 建立第一个人脸参数模型【l 】开始，许多研究人员致力 于三维人脸建模的研究。8 0 年代中期，大家对此主题的研究重新产生了强烈的兴 趣，w a t e r s 等人提出了广泛应用的肌肉模型方法【2 】。随着网络技术的普及，很多研 究者对可视化语音合成进行了初步的尝试，世界上第一个网上虚拟播音员a n a n o v a 在伦敦发布，计算机合成的a n a n o v a 可以一天2 4 小时发布新闻。由于人脸建模的 广泛应用，脸部建模研究得到了应有的重视，美国国家自然科学基金委员会在1 9 9 3 年专门组织了脸部建模的研讨会，m p e g 4 标准中也专f - j n 定了人脸模型参数规 范。特别是2 0 世纪9 0 年代以来，计算机视觉和计算机图形学技术的迅猛发展为 三维人脸建模提供了技术支持，许多学者开始尝试建立逼真的三维人脸模型，并 取得了显著的成绩。 在人脸识别方面，传统的人脸识别技术只是正面或侧面人脸的识别，表情变 化问题始终是一个阻碍提高识别率的关键因素，如果在三维模型上人工合成表情 动作，充分利用三维信息进行识别，在理论上会提高识别率和识别的鲁棒性，并 可实际应用于基于内容的检索、电子相册、监视及刑事认证等场合，文献【3 j 已经在 这方面作了初步研究。 在人脸动画方面，越来越多的电影、广告和游戏制作采用三维真实感合成技 术，用以实现逼真的人物重建，完成一些震撼人心的场景设计，取得更好的艺术 渲染效果。在此，三维真实感合成技术方便了设计人员的创作，为充分发挥他们 的想象力提供了有力工具，同时也为节目制作节省大量的人力物力。 在可视电话、会议电视方面，基于模型的人脸图像编码方法，因为只需要传 输少量的形状、运动和纹理参数，因此可实现较大的压缩比。特别是在当前，因 特网一方面利用光纤扩大信道容量，另一方面还要采用数据压缩技术，来解决不 北京交通人学硕士学位论文 断扩大的信息传输量问题，基于模型的图像编码技术为此提供了有效的途径，如 可实现网络视频点播、可视e m a i l 等项服务。 在人机交互界面方面，先进的人机交互方式不再局限于鼠标和键盘，而是具 有多种感知的智能体，例如a v a t a r 。多模态人机接口试图理解人的表情、注视和反 应，为人机交互提供更和谐自然的界面，在这里人脸重建也起着重要作用。 在虚拟现实方面，三维人脸重建技术是制作虚拟节目主持人必不可少的关键 手段。在虚拟场景制作中，重建的人脸模型可以利用图形学的真实感绘制能力， 和谐地与其他场景模型融合在一起。另外，人脸重建还也可广泛应用于教育、个 性化礼品雕刻、医学外科手术等等。实际上，三维人脸重建的应用是不胜枚举的， 可以相信，随着人脸重建技术的不断完善，这一技术将越来越广泛地应用于人们 的日常生活中，发挥其重要作用。 1 2 三维人脸重建的国内外研究现状 三维人脸重建始终是一个极具挑战性的难题。从几何角度来看，人脸具有极 度复杂的几何形状和表面材质，必须通过足够的技术手段来描述这些特征。同时， 头发的模拟、表情动作的仿真、逼真纹理信息的添加、光照的处理等问题都增加 了三维人脸重建的难度，多年来一直困扰着图像图形学专家。三维人脸重建虽然 如此困难，但是许多研究者还是始终在坚持不懈地进行着这方面的探索，原因有 二：一是三维人脸模型有着极为广泛的应用。目前，三维人脸模型已经初步应用 到视频电话、视频会议、影视制作、电脑游戏、人脸识别等多个领域，而且随着 各方面技术的发展，三维人脸模型将会在各方面得到更深更广的应用。二是现有 的一些问题用二维方法解决不了或者说不能很好地解决。正因为人脸三维重建有 着广泛的应用前景和重要的研究意义，人脸三维重建的研究己成为机器视觉领域 的个研究热点【4 羽。近年来，人脸建模领域中的研究主要集中在以下几个方面： ( 1 ) 三维面部数据的获取：数据是分析问题的基础，但是到目前为止，实用、 便捷、高精度的三维数据获取装置还未见报道，这方面依然是国内外学者研究的 热点。 ( 2 ) 结构信息的恢复：获取的三维点数据，只是分散的点，没有结构信息， 为了使三维模型具有生机，必须恢复其结构信息。一般做法是通过变形已有的标 准模型，以形成具体模型。因此，如何调整标准模型到个性模型也是一个令人关 注的课题。 ( 3 ) 表情的合成：模拟人脸逼真的表情是三维建模的一个主要目的。通过建立 肌肉模型、协调各部分的运动，达到逼真动画效果，是许多研究者追求的目标。 2 综述 ( 4 ) 纹理合成：从多幅图像出发，合成逼真的面部纹理，给人更好的视觉体验， 这是三维建模必须面对的问题。 目前国际上许多著名的研究单位( 如微软研究院、华盛顿大学、瑞士联邦技 术研究院、多伦多大学、i b m 研究院等) 都设立有专门进行人脸三维建模研究的 课题组。在此领域著名国际会议a c ms i g g r a p h 、i c c v ( i n t e r n a t i o n a lc o n f e r e n c e o nc o m p u t e rv i s i o n ) 等，著名国际期刊有p a m i ( i e e et r a n s a c t i o n so np a t t e r n a n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、u c v ( i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n ) 、 c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) 、 i e e et r a n s a c t i o n so n v i s u a l i z a t i o na n dc o m p u t e rg r a p h i c s 、c o m p u t e rg r a p h i c s 等，每年都有相当数量的 关于三维人脸建模及其应用的论文出现。 国内在这方面的研究起步较晚，但是发展较为迅速。浙江大学、清华大学、 中国科学技术大学、中国科学院计算技术研究所和中国科学院自动化研究所等在 三维人脸的数据获取和建模方面取得了一些成果。浙江大学c a d & c g 国家重点 实验室在曲线、曲面建模【5 】、真实感图形绘制、计算机动画等方面取得了较大进展； 清华大学利用三角样条曲面进行了面部建模和动画研刭6 】；中国科技大学从正面和 侧面两幅图像出发合成了三维人脸模型并制作了简单的面部表情动画【7 1 ；中国科 学院自动化研究所研制出了基于激光扫描的三维数据获取方法【s 】。 1 3 三维人脸重建主要方法研究 通常，三维人脸建模过程由人脸三维数据的获取、标准三维人脸建模和特定 人脸建模3 部分组成【9 】。获取脸部的三维数据是形成特定人脸模型的基础，根据三 维数据的来源不同，现有的三维人脸重建方法可分为两类。第一类是基于三维数 据的三维人脸建模方法，即从激光扫描仪( 1 a s e rs c a n n e r ) 得到三维数据出发进行模型 的拟合。通过激光扫描仪获得的三维几何数据和纹理信息，调整已有的标准网格 头部模型来构建特定人脸模型。这种方法利用激光扫描获取的三维人脸数据精度 高速度快，但是由于设备是侵入式的且价格昂贵，所以实用性较差。第二类是基 于图像的三维人脸建模方法【1 0 , 1 1 】，即从普通摄像机获取的一幅或多幅图像出发进 行建模，比较有代表性的有修改标准模型和采用双目立体视觉的方法。修改标准 模型进行三维人脸建模是指将标准人脸模型作为先验知识，通过刚体变换、形变 等手段与具体的人脸数据拟合达到形状匹配，并且利用图像合成面部纹理信息从 而建立逼真的三维人脸模型。基于双目立体视觉理论重建三维人脸一般采用两台 摄像机同时从不同角度拍摄人脸，进行立体图像匹配，再采用三角测量的方法从 3 北京变通人学颇i 学惶论文 视差中恢复三维人脸数据。山丁基j ：双日 ：体视觉的三维人脸重建方法采用的蹬 备简单，j 州l 可以实现实时采集，现在已成为机器视觉研究领域的一个研究热点。 31基于主动视觉获取深度图的三维人脸重建方法 山三维激光扫描仪得到利密的深度| 冬| 数据束进行三维人脸重建，实质是种 0 ：动视觉力法。激光_ = 描仪、结构咒数字化仪为人们获取三维数据和她模提供了 非常好的工具。= 三维数字化仪提供深度| 生| 和反身f 圈两种深度图是一组四# 半标 f 的均匀网状点数据，它表示脸部表而至传感器的距离：反射图提供相应位最的 颜色和纹理。山于深度图含有噪声和数据丢失，由通用模型拟合深度图之前应 进行预处理。yl e e 等的算法是一个较好的例子，其预处理阶段聚用松弛扰动 内插修补丢失的数掘，然后用修正的l a p l a c i a n 算予增强边沿；把通用模型通过圆 柱投影变为二维甲而网格，并标记特征点，用此二维模型拟合增强边缘的深度圈。 其中首先确定鼻尖、。f 巴尖等位置，再采用网格调整的技术，得到特定模型。文 献【l q 采用种主动的立体视觉a 法，用投影仪将网格咒栅j i 射到人脸上，根据网 格的变化恢复人脸三维模型。浚方法首先用定标平板进行摄像机、投影仪的定标 之后经边缘提墩，检测投影仪打到腧卜的网格点，由定标过程建立的变换关系重 建再点的三维结构。再将不同视角的重建部分拼接起柬，另外的拍摄获得纹理。 这种方法虽然没各简单、代价小、算法可靠，但使用场台仍不方便。图1l 为yl e e 等i l m 人脸模型自动拟台过程，( a ) 为深度图，( b ) 为纹理图，( c ) 为模型拟合， ( d ) 为建立的模型，( e ) 为漆加纹理的模型。 菡心 鬻 ( e ) 目11 基于深度蹦的二维人脸建模过程 f i g u r e lit h r e e - d i m e a t i o n a l f a c er e c o n s t n t c t i o n p r o c e s s b 船e d o nd e p t h m a p 啊 1 3 2 基于特征调整标准模型的三维人脸重建方法 基于特征的分析与合成方法，是研究得比较多的一种建模方式。它一般经过 两个步骤：一，提取输入人脸的对鹿于模型上的特征点三维坐标；二，对一般模 型r 的非特征点进行调整，得到输入人脸的特定模型。其中输入人脸数据一般是 正交图像或f 面图像。基于特征的人脸建模中特征提取是关键步骤，建模的准确 性主要取决于此，特征提取可以采用直接手工标定的方法，并且为了求得三维特 征点的深度信息，输入多采用正交图像，以简化特征点匹配过程。这样虽然可保 证准确性，但手续比较繁琐，也不适合可视通信等自动性要求较高的场合，因此 自动的或较少人工参与的提取特征方法，一直是人们努力实现的目标。 wsl e e 等【l ”由正变图像自动建模的做法是，先把正交图像归一化，确定正 侧两个对应的结构s n a k e 模板。分别对正交图像匹配，再合起柬为三维特征点，调 整利用d f f d ( d i d c h l e tf r e ef o r md e f o r m a t i o n ) ，即控制坐标为d i f i c h l e t 局部坐 标的自由变形。该自由变形的控制网栅由b 岜z i e r 单纯形的控制点组成，利用 d e l a m r a y 三角化确定各点的最近特征点以及局部坐标。这种变形控制点可任意选 择，调整的光滑效果较好。图12 为文1 5 1 的建模过程， ( a ) 、 ( b ) 分别为正侧 面人脸图像基于s n a k e 的特征提取，( c ) 为经d f f d 调整的模型，( d ) 为合成的 纹理，( e ) 为最终的三维人脸模型。 ( a )( b )( c )( d ) f e l 嘲12 基于正交嘲像的三维人脸重建过程 f i g u r e l2 t h r e e - d i m e n t i o n a l f a c e r e c o n s t r u c t i o np r o c e s s b a s e do n o r t h o g o n f l i m a g e 3 3 基于统计模型的三维人脸重建方法 利用统计方法从大量采样样本中学习出人脸共性，建立统计意义上的标准人 脸模型，比较著名的有形态模型( m o r p h a b l e3 df a c em o d e l ) 。vb l a n z 和t v e h 一”1 等人研究出了这种模型。模型的基础是一个含有2 0 0 个青年面部数据信息 的三维人脸数据库，三维信息由激光扫描仪获得，包括距离信息和颜色信息。每 北京交通人学倾 ? 学仲论文 个头部数抛称为个样本腧( e x e m p l a rf a c e ) ，每个样本脸人约包括7 几个点t 然后 利用复杂的光流算法建赢小同人脸三维点的对应关系。 假设个人脸的形状可咀用向量，束表示： f = 。，乏，乏) ( i1 ) 其中，置，i ，互分别表不三维点的坐标。对应点的纹理信息可咀用向量r 表示： r = ( s ，g ，口，咒，e ，只) 7 ( 12 ) r ，q ，县代表点的r g b 颜色分量。设有个样木脆侮个样小脸个形状向量 和一个纹理向最组成，则形态模型由这样m 个样本腑构成。对于个新的个体， 它的形状向量和颜色向量可以分别捕述为： c 。= a f 。= 媚 ( 13 ) q = 自- 1 通过对系数q 和白的调竹可以描述不同人脸的三维形状特征和纹理特征。图 13 为文【1 6 】叶1 原理框图。u ，以看 j ，建立统计模型通常比较繁琐，需要大量的学 习数据而且三维数据的预处理过程非常复杂，建成后的模型具有统计意义上合理 的调节参数使脸部表达合理优化。 留 闰13 利用统计模型的二维人脸建模过程 f i g u m l 3 1 h d m d o m e n s t r u e t i o n p r o c e s s b a s e do ns t a t i s t i c a l m o d e l 13 4 基于立体视觉的三维人脸重建方法 计算机视觉是指用计算机实现人的视觉功能对客观世界的三维场景的感 知、识别和理解。由于双目立体视觉( b i n o c u l a rs t e r e o v i s i o n ) 卣接模拟了人类视觉 处理景物的方式，因此，其成为计算机视觉研究的重点和热点之一。 人们通常总是用双眼同时观看物体，由于两只眼睛视轴的间距f 瞳距) 的存在， 左眼和右眼在观看一定距离的物体时，所接收到的视觉图像是不同的。大脑通过 眼球的运动、调整，综合了这两幅图像的信息，感知到生理深度暗示，从而产生 立体感，这便是双日立体视觉【1 4 的基本原理。因此，在计算机视觉系统中，常利 用两台位置相对同定的摄像机，从不同角度同时获取同一景物的两幅图像，通过 图像匹配与三角测量原理计算同一空阳j 点在两幅图像上成像的视差，进而获得景 物的三维信息。如图14 所示，个比较典型的双目立体视觉系统一般以计算机为 中心，由光源系统，双目视觉传感器、高速图像采集系统、图像处理系统和控制系 统等组成“。 图1 + 4 般日立体视觉系统构成 f i g u r e l 4s u c 眦ec o m p o s i t i o no f b i n o c u l a r8 t e r e ov i s i o ns y s t e m b a r n a r d 【l ”提出一个完整的立体视觉系统通常可分为6 大部分：图像获取、摄 像机标定、预处理及特征提取、立体匹配，三维信息恢复和后处理，而且这六个 部分对系统的实现与精度都有重要的影响。 ( 1 1 图像获取 圈像获取是计算机视觉的物质基础。指通过扫描仪、数字相机、c c d 摄像 头和视频采集卡等对周围景物进行探测成像，得到关于场景的数字化图像。采集 图像时不但要满足系统的应用要求，而且要考虑视点差异、光照条件、摄像机性 能以及景物特点等因素的影响。 f 2 ) 摄像机标定 摄像机标定是为了确定摄像机的几何位置、属性参数和建立成像模型，以便 确空间坐标系中物体点与它在图像平面上像点之问的对应关系。摄像机标定包括 确定摄像机内部几何及光学特性( 内部参数) 和确定摄像机在一个世界坐标系中 北京交通人学硕士学位论文 的三维位置和方向( 外部参数) 。目前的摄像机标定技术大致分为两类：传统的 主动标定方法和自标定方法【2 1 1 。前者是在一定的摄像机模型下，基于特定的实验 条件如形状、尺寸己知的标定参照物，经过对其图像进行处理，利用数学变换和 计算方法，计算摄像机模型的内部参数和外部参数。后者不依赖于标定参照物， 只利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行 标定【1 8 】。标定计算的复杂度与摄像机成像几何模型的复杂度有关。对于理想的平 行视点模型，其极线与图像扫描线重合，摄像机标定的方法可分为两大类：第一 类直接估计摄像机位置、光轴方向、焦距等参数；第二类是通过最小二乘法拟合 确定三维空间点映射为二维图像点的变换矩阵。 ( 3 ) 预处理及特征提取 从图像获取系统得到的符合立体视觉原理的左右灰度图像对，包含了各种各 样随机噪声和畸变，因此在对其进行操作和计算之前，必须对原始图像进行必要 的预处理，突出有用信息、抑制无用信息，从而改善图像质量。图像预处理的目 的有两个：一是改善图像的视觉效果，提高图像的清晰度；二是使图像变得更有 利于计算机的处理，便于各种特征分析。预处理技术主要包括图像对比度的增强、 随机噪声的去除、滤波和图像的增强、伪彩色处理等。 特征提取【2 0 】就是从两幅图像中提取便于匹配的特征基元，如点状特征、线状 特征或区域特征等。在立体视觉的计算中两个或多个图像上对应部分的匹配是非 常重要的，为了保证匹配的速度、可靠性和稳定性，选择合适的图像特征比较重 要，由于目前尚没有一种普遍适用的理论可运用于图像特征提取，从而导致了立 体视觉研究中匹配特征的多样性。 ( 4 ) 立体匹配 立体匹配是根据对所选特征基元的计算，建立两幅图像特征基元间的一一对 应关系，并由此得到相应的视差图像。这是立体视觉中最困难的问题。当空间三 维场景被投影为二维图像时，同一景物在不同视点下的图像会有很大不同，而且 场景中的光照条件、噪声干扰和畸变以及摄像机特性等诸多因素都被综合成图像 中的灰度这一单一值。同时，前面的预处理过程有可能导致像素点的进一步失真。 因此，立体匹配是典型的视觉“病态”计算问题，很难对图像进行无歧义高准确率的 立体匹配。选择的立体匹配方法必须解决以下三个问题：正确选择图像的匹配特 征、寻找特征间的本质属性及建立正确的匹配算法。围绕这三个方面的工作，目 前已有大量各具特色的匹配方法。但是由于立体匹配涉及的问题太多，至今仍未 得到很好的解决，特别是在复杂场景中，如何提高算法的去歧义匹配和抗干扰能 力，降低实现的复杂程度和计算量，都需要进行更深入的探索和研究【2 2 1 。 ( 5 ) 三维重建 已知摄像机成像模型和匹配关系后，可以根据立体匹配得到的视差关系恢复 景物的三维信息，这一环节称为三维重建。影响重建精度的因素主要有数字量化 效应、摄像机标定误差、特征提取与匹配定位精度等。因此，要设计一个精确的 计算机立体视觉系统必须综合考虑各方面的因素，保证各个环节都具有较高的 精度。 f 6 ) 后处理 后处理包括深度插值误差修j f 和精度改善屯体视觉的最终目的是恢复景物可 视表面的完整信息，目甜，无论哪种匹配方法部不可能恢复出所有图像点的视差， 因此对于完整的立体视觉系统，必须进行最终的表面内插重建。立体匹配是在受 到几何畸变和噪声干扰等影响的图像问进行的，而且由于周期性模式、光滑区域 的存在，以及遮挡效应、约束原则的不严格性等原因也会在视差图中产生误差， 因此对误差的检测和修正也是重要的后处理内容【2 3 】。 ms h a h r i a r 等7 1 使用普通相机从两个不同的角度拍摄人脸立体图像对，通过图 像校正使罔像对的极线对齐，采用基于区域的立体匹配算法方法获取密集深度图， 而后利用庀人脸图像获得纹理坐标，从深度图重建三维人脸模型。图1 5 为文【1 7 】 建模过程，( 曲、( b ) 分别为左、右人脸图像，( c ) 为深度图，( d ) 为经过优化和纹理映 射的蛙终建立的三维人脸模型。 b ) ( c ) ( d ) 图15 基丁立体视觉的二维人脸建模过程 f i g u 他i53 d f a c e r e c o n s t r u c t i o n p r o c e s s b a s e d o l ls t e 把o v i s i o n 北京交通大学硕士学位论文 1 4 三维人脸重建研究存在的问题 虽然出现了以上许多三维人脸重建的方法，但应该看到，人脸重建问题是非 常复杂的，涉及的内容、领域比较多，人脸重建的任务还没有很好解决，在重建 准确性、实时性、复杂性和自动性等方面还需进一步研究和提高。下面我们分析 目前三维人脸重建研究中存在的一些问题。 ( 1 ) 由三维激光扫描仪获得深度图的方法可以得到非常准确的模型和逼真的 重建效果，但由于数字化仪价格较贵，使用环境不方便，深度图数据量大等，使 其应用受限，应用于非自动性的场合。些简单的深度获取方式，如结构光等， 同样不具备自动功能，还需较多的人工参与。 ( 2 ) 基于特征点调整标准模型的三维人脸建模方法，算法简单，效率高，可 操作性强，但同时也增加了分析的难度。由于光照、背景、头发、胡须、眼镜等 成像条件的影响，自动特征提取算法的准确性不易保证，而且确定某些特征位置 是很困难的事，比如像脸颊、腮点。三维特征点的提取涉及对应问题，这也是很 困难的。由正交图像获取对应点简化了对应过程，输入条件要求较高。即使由正 交图像建模，模型半侧面由于特征点少，模型顶点的位置基本是由内插决定，重 建脸部轮廓会有较明显失真。为保证准确性和稳定性，或减小复杂性，这类方法 也需或多或少的人工参与。 ( 3 ) 统计模型为完全自动地完成人脸建模任务开辟了一条新的途径，它可由 单幅正面图像建立较为逼真的三维模型。但这种方法需要较大的样本库，准确性 依赖于这些样本，建模结果只是这些样本的统计估计值，其实用性还有待迸一步 的证明。另外主动表象模型还缺少纹理的变化。 ( 4 ) 相比较而言，基于立体视觉的三维人脸建模，从人类视觉机理角度出发， 是最根本和主要的建模手段，其建模精度较高，设备条件的要求适中，但为克服 噪声的影响和自定标、对应的多解问题，保障重建的精度，常采用某一准则下由 粗到细的渐进优化过程，一般算法较复杂，执行时间长。为确定图像中人脸的初 始姿态，常手选几个关键点，或者为了算法的精度、稳定性和复杂性要求，也常 常需要手选几个点。再有就是遮挡问题，为克服遮挡可匹配更多视角的图像，但 增加了计算的复杂度。另外重建后的眼睛、嘴等重要部位仍需要进一步基于特征 的细致调整。 ( 5 ) 如何评价三维人脸重建的准确性问题，还没有较好的方法。目前人们评 价人脸模型算法的效果，多为人眼评判或相似度的大小。如何将模型的几何形状、 纹理信息等结合( 融合) 起来，作为评判的标准，这将为建模提供指导性的意见。 l o 综述 从上述对三维人脸重建研究中存在问题的分析可以看出，双目立体视觉【1 2 1 从 人类视觉机理角度出发，可以在多种条件下灵活地测量景物的立体信息，是最根 本和主要的建模手段，其建模精度较高，设备条件的要求也适中。因此，本课题 以双目立体视觉理论为基础，研究三维人脸重建具有重要意义。 1 5 本论文的主要内容及结构安排 1 5 1 本论文的研究内容 对于复杂的人脸重建问题，本文从人类视觉机理角度出发，利用双目立体视 觉进行三维人脸重建。论文首先介绍了本课题研究的背景、意义以及国内外三维 人脸重建的研究发展现状，总结了现有的三维人脸重建主要方法，描述了双目立 体视觉系统的组成、研究现状和存在的问题，为基于双目立体视觉的三维人脸重 建提供理论依据。进一步重点对摄像机标定、立体匹配、三维重建、三角剖分、“ 网格细分等关键算法进行了深入细致的研究，提出一种基于双目立体视觉的三维 入脸重建方法，重建过程中无需三维激光扫描仪和通用人脸模型。实验结果