（计算数学专业论文）基于图像序列的三维重建方法研究.pdf

大连理工大学硕士学位论文 摘要 随着计算机图形学、虚拟现实和多媒体通信技术的不断发展，它们对具有高度真实 感的三维模型的需求与日俱增传统的几何造型技术虽然日益改进，但构建稍显复杂的 三维模型仍然是一件耗时费力的工作，且模型的绘制结果与真实景物仍存在着较大的差 异；近年来，基于图像建模技术受到了广泛的关注，和传统的方法相比，具有建模简单， 操作方便等优点，是一种具有广泛应用前景的新方法 本文主要讨论了以下的内容； 1 ) 从计算机图形学的研究角度对现有的基于图像序列的三维重建技术进行了总结 和综述，归纳了近年来提出的典型的基于图像序列三维重建的方法，给出了这些方法的 基本原理及其最新研究进展； 2 ) 给出了一种基于有理b - 样条的层次建模方法利用有理b 一样条的投影不变性 先对图像上的二维特征点进行插值，再反隶有理b 一样条的二维控制点，进而通过因式分 解法重建出射影空间下的摄像机投影矩阵和三维控制点，即得到射影重建，最后将射影 重建升级为欧氏重建相对于以往的通过因式分解的层次建模的方法，本文给的方法充 分的利用了有理b 一样条的性质，能够在较小的内存开销下取得满意的重建精度 关键词：图像序列；三维重建；b 一样条；层次建模；因式分解；射影重建；欧氏重建 杨艳萍：基于图像序列的三维重建方法研究 s t u d i e so n3 dr e c o n s t r u c t i o nf r o mi m a g es e q u e n c e s a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rg r a p h i c s ，v i r t u a lr e a l i t ya n dm u l t i m e d i ac o r n - m u n i c a t i o n si nt h ep a s tf e wy e a r s ，h i g h l yr e a l i s t i c3 dm o d e l sa r ei n c r e a s i n g l yn e e d e dt o v i s u a l i z ea n ds i m u l a t et h er e a lw o r l d h o w e v e r ，d e s p i t et h ec o n s t a n tp r o g r e s si nt h et r a d i t i o n a ls u r f a c em o d e l i n gt e c h n i q u e s ，c r e a t i o no fc o m p l e x3 dm o d e l sr e m a i n sap n i n n la n d t i m e - c o n s u m i n gt a s k ，m o r e o v e r ，t h er e n d e r e di m a g e sa r em o l l yq u i t ed i f f e r e n tf r o mt h e r e a lo b j e c t s i t ss i m p l ei nm o d e l i n ga n dc o n v e n i e n ti no p e r a t i n gi nc o n t r a s tt ot r a d i t i n a l m e t h e d s ，s oi tw i l lb eu s e di nw i d e sa r e a s t h i sd i s s e r t a t i o nm a i n l yf o c u s e so nt h ef o l l o w i n gp r o b l e m s ； 1 ) as u r v e yo nt h er e c e n t3 dr e c o n s t r u c t i o nf r o mi m a g es e q u e n c e st e c h n i q u e si sg i v e n f r o mt h ep o i n to fv i e wo fc o m p e e rg r a p h i c s s o m et y p i c a l3 dr e c o n s t r u c t i o nm e t h o d s a r es u m m a r i z e d t h ef u n d a m e n t a lp r i n c i p l e sb e h i n de a c hm e t h o 出a n dt h es t a t e - o g t h e - a r t p r o g r e s sa r ea l s op r e s e n t e d ； 2 ) g i v e nas t r a t i f i e dr e c o n s t r u c t i o nm e t h o db a s e do nr a t i o n a lb s p i i n em e t h o d ，t h e m e t h o dt a k e sa d v a n t a g eo ft h ep r o j e c t i v ei n v a r i a n c eo fr a t i o n a lb - s p l i n e s ，g i v e nf e a t u r e c o r r e s p o n d e n c e si nm u l t i p l ev i e w s ，w ef i r s th a v ea2 db s p l i n ef i t t e di n e a c hv i e w ，t h e n 2 dc o n t r o lp o i n t si ne a c hv i e wa r er e c o v e r c li n d e p e n d e n t l y , a f t e rt h i s ，t h e3 db s p l i n e s a n dp r o j e c t i o nm a t r i c i e sc a l lt h e nb ee x t r a c t e df r o m2 db - s p l i n e su s i n gf a c t o r i z a t i o n m e t h o d s ，f i n a l l yw eg i v e nam e t h o dt ou p g r a d et h i sp r o j e c t i o nr e c o n s t r u c t i o nt oe u c l i d e a n r e c o n s t r u c t i o n c o m p a r e dw i t hp r e v i o u ss t r a t i f i e dr e c o n s t r u c t i o nw o r k s ，t h em e t h o d g i v e nb yo u rd i s s e r t a t i o nf u l l yt a k e s8 ，d v a n t a g eo fb - s p l i n e sc h a r a c t e r ，s i m p l i f i e sm a t c h i n g i nt h ea l g o r i t h m ，s ov e r yh i g hr e c o n s t r u c t i o np r e c i s i o nc o u l db ea c h i e v e da tr e l a t i v e l y l o w m e m o wc o s t k e yw o r d s ：i m a g es e q u e n c e s ；3 dr e c o n s t r u c t i o n ；b s p l i n e ；s t r a t i f i e dr e c o n s t r u c - t i o n ；f a c t o r i z a t i o n ；p r o j e c t i v er e c o n s t r u c t i o n ；e u c l i d e a nr e c o n s t m c t m n i i 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的 研究工作及取得研究成果尽我所知，除了文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写的研究成果，也 不包含为获得大连理工大学或其他单位的学位或证书所使用过的材 料与我一同工作的同志对本研究所做的贡献均已在论文中做了明 确的说明并表示了谢意 作者签名：弛越日期：翌嫜f 三目 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文 作者签名：垒丕茎垒簋 导师签名 主坚三年f 兰月： 日 大连理工大学硕士学位论文 1 1 基于图像序列重建方法简介 在计算机动画、游戏和虚拟现实等领域中都涉及大量的三维模型，在这些领域中简 单快速地获取三维模型具有极其重要的意义目前，人们主要通过三种方式来获取三维 模型：第一，利用传统几何造型技术直接构造模型；第二，利用三维扫描设备对真实物体 进行扫描，进而重建出模型；第三，利用光照图像恢复物体的几何外形，即利用从各个 视角拍摄的真实物体的多幅图像重建模型由图像重建三维模型技术又可分为两类；一 是通过多幅照片生成物体的可见外壳；二是通过多幅深度图像重建模型第二类算法比 第一类算法需要较多的设备且对被造型物体的规模和位置限制较多，但算法较为简单 在上述几类方法中，传统的几何造型技术最为成熟，该方法建造的场景具有良好的 交互j 睫，且视点自由，并已被广泛应用于机械、建筑等工程领域和影视动画等娱乐产业， 但采用这类造型技术构建稍显复杂的三维模型仍然是一件耗时费力的工作，且其绘制结 果与真实景物仍存在着较大的差异；另一方面，三维扫描设备可以精确地获取大多数真 实景物的几何模型，因而特别适合于逆向工程文物保护等应用领域，但三维扫描设备 价格非常昂贵，且无法处理具有高光、透明以及绒毛表面的物体，一般也无法同时获取 模型表面的颜色信息；近年来，基于图像建模技术受到了广泛的关注，这种技术可以仅 仅利用价格低廉的数码相机( 摄像机) 作为图像获取设备，其最大的优点就是可以直接从 图像中为重建几何模型抽取表面纹理和光照信息，从而简单、快速地构建出具有“照片 级”真实感的三维模型 1 2 传统图形学中的模型绘制流程 在传统的计算机图形学中，人们将场景描述为由基本的几何元素组成，进而定义出 场景中光源的属性和分布、景物表面对光照的反射属性以及绘制所需的光照明模型，最 后通过光线跟踪、辐射度等绘制算法生成具有真实感的场景图像，这一绘制流程可以用 图i i 来说明上述绘制流程主要存在两方面的问题：首先，复杂场景的绘制过程涉及 大量复杂的光照计算，因此难以满足实时绘制和用户交互的要求；其次，人为指定的光 源属性和模型表面的反射属性带有实验的性质，因而难以保证绘制图像的真实感 】 杨艳萍：基于图像序列的三维重建方法研究 一l 匦圈 一 l 旗乎辫像震l 土 ii 乜刚；圆+ 圜阜ii 耋鹜叠宝i i 墼i l 嚣登= u 丁 图1 1 传统图形学中的模型绘制流程 1 3 基于图像重建几何模型的流程 基于图像建模的基本任务就是重建出场景的几何模型考虑到重建任务可能基于不 同的图像类型、图像数量以及重建方法，因此，基于图像重建几何模型并没有统一的处 理流程本节仅给出经典的立体视觉( s t e r e ov i s i o n ) 重建方法的基本流程( 如图1 2 所 示) ，我们将在本文第二章中对基于图像重建几何模型的各种方法作全面详细的介绍 臣垂至圣酉一匝噩垂蠹口一臣窭蚕量匿 一匪巫至壅曼曩 图1 2 立体视觉重建方法基本流程 在图1 2 给出的立体视觉重建方法的流程中，给定从不同视角对同一场景拍摄的两 幅参考图像作为输入，我们首先需要对参考图像进行标定，标定的任务就是确定每一幅 图像拍摄时相机相对于三维场景的方位和取景参数；下一步的任务是进行特征点匹配， 即建立空间中同一点在不同图像上投影点间的对应关系；在特征点匹配之后，我们就可 以采用基于双目测距原理的立体视觉方法对所有匹配好的二维特征点进行三维重建；最 后我们就得到了重建场景的三维几何模型 1 ( 如图1 3 所示) 1 4 基于图像序列重建研究的意义及应用 基于图像序列重建研究是一个交叉领域，涉及到计算机图形学、计算机视觉、计算 机图像处理、模式识别等诸多学科，因此，对基于图像序列重建技术的深入研究可以推 2 大连理工大学硕士学位论文 图1 3 立体视觉重建方法示意图 动各个学科的发展，并促进这些学科的交叉融合；相对于其他建模方法，基于图像序列 重建技术在创建具有高度真实感的三维模型上具有巨大的优势，在诸多领域中具有极其 广阔的应用前景，因此，基于图像序列重建研究具有重要的实践意义 具体地，基于图像序列重建技术主要有以下几个方面的应用： 1 ) 三维模型获取：由于利用基于图像序列重建技术得到的三维模型不仅具有高度的 真实感，而且能够保证重建模型与真实场景具有相同的角度和尺寸比例关系，因此已经 被大量用于获取建筑设计、机械c a d 、影视动匦以及多媒体通信等领域中所需要的三 维真实感模型 2 ) 真实场景测量；由于重建场景与真实场景之间只相差一个全局的比例放缩系数， 因此只要给出真实场景中的个参考尺寸，我们就可以基于重建场景估算真实场景中的 其它尺寸，这就使得基于图像建模技术在场景测量中具有广阔的应用前景特别地，在 一些场景已经部分损坏或无法对某些尺寸进行实地测量的应用场合，基于原有图像进行 场景测量更具有独特的优势，这些场合主要包括考古学和人类学研究、交通事故现场勘 测等 3 ) 增强现实：在增强现实领域中，我们希望将虚拟物体“无缝地”添加进真实场景中 去，而采用基于图像序列建模技术，我们可以从真实场景图像中重建出场景的几何模型 以及场景中的光照条件，从而能够实现虚拟物体在空间位置和光照效果上的无缝嵌入 4 ) 动作克隆：我们还可以利用基于视频恢复的物体的运动学模型驱动其他虚拟模 型，从而产生自然逼真的模拟运动效果 3 杨艳萍：基于图像序列的三维重舫法研究 1 5 本文主要工作 本文主要研究基于图像序列的三维重建问题，围绕着此研究内容，本文后续章节的 安排如下； 第二章；给出了若干基于图像序列重建研究所需的基础知识，这些基础知识是继续 阅读本文后续内容的前提并从计算机图形学的研究角度对现有的基于图像序列重建三 维模型技术进行了总结和综述，归纳了近年来提出的典型的基于图像序列重建三维模型 的方法，给出了这些方法的基本原理及其最新研究进展 第三章分析了b 样条方法和层次建模的方法并给出了给出了一种基于有理b 一样 条的层次建模方法利用有理b 样条的投影不变性先对图像上的二维特征点进行插值， 再反求有理b 样条的二维控制点，进而通过因式分解法重建出射影空间下的摄像机投 影矩阵和三维控制点，即得到射影重建，最后将射影重建升级为欧氏重建该方法充分 的利用了有理b 一样条的性质，能够在较小的内存开销下取得满意的重建精度 在最后一章中，我们给出了本文研究内容的总结，并对下一步的研究计划作出了展 望 1 6 本章小结 本章主要介绍了基于图像重建模型技术的基本涵义，并讨论了开展该项研究的意义 和应用 4 大连理工大学硕士学位论文 2 基于图像序列的三维重建方法综述 2 1 引言 基于序列图像的重建技术为生成具有“照片级”真实感的景物模型提供了一种自然 的方式，因此迅速成为目前计算机图形学领域中的研究热点事实上，从真实场景图像 中获取景物三维信息一直是计算机视觉领域研究的重要内容，但其主要应用是外观检查 和机器导航，因此，自动性和实时性就成为其研究的关注重点虽然目前在计算机视觉 研究中已经出现了很多具有较好效果的三维视觉系统，但它们尚不能实现任意三维场景 的自动重建另一方面，对于计算机图形学和虚拟现实等领域而言，由于重建过程是在 绘制过程之前完成的，所以重建过程中人为的辅助和交互是完全可以接受的，这就大大 扩展了计算机视觉领域中已有的自动重建算法的应用范围本章给出了若干基于图像序 列重建研究所需的基础知识，这些基础知识是继续阅读本文后续内容的前提此外，本 章还在分析和借鉴了若干计算机视觉领域的研究成果的基础上，从计算机图形学的研究 角度对基于图像重建技术进行了综述，介绍了近年来提出的典型的基于图像重建方法及 其最新研究进展，同时给出了这些方法的基本原理并加以分析比较 2 2 基于图像序列重建方法研究所需的基础知识 2 2 1 射影几何 射影几何( p r o j e c t i v eg e o m e t r y ) 对于基于图像的几何重建具有重要的意义首先，我 们介绍射影空间的概念：n 维实射影空间p “中的任意一点可以用n + l 维向量陋m ，x n - u 1 7 r ”1 来表示，且满足t1 ) 。- 到。+ - 中至少有一个不为零；2 ) 对所有非零实数a ， 陋1 ，x n + l 】7 和a k l ，x n + l 】r 表示射影空间p ”中的同一点此时，陋，x n + 1 7 被称为射影空间点的齐次坐标由上述定义显然可以推出以下等价关系：对于x ，y p “， 若存在实数a 0 使得x = a y ，则可以定义x y ，其中一表示关于比例系数的等 价关系 射影空间之间的变换被称为射影变换，具体地，从射影空间p “到p ”的射影变换 可以用个m + 1 ) ( m + 1 ) 阶的矩阵p 来表达：x x 7 一t x 需要指出的是， 若存在实数p 0 使得t p = p t ，则v x p ”，有q x t l x ；因此，我们同样可 以定义射影变换之间关于比例系数的等价关系q x t ： 5 杨艳萍：基于图像序列的三维重建方法研究 在射影空间p “中，满足如下等式关系的点集 x 被称为超平面 z 1 - o n + 1 ：a t x = 0 ( 21 ) 其中o t r “= 1 ，2 ，n + 1 ) 为固定值，因此超平面可被简单表达为陋l ，a n + t 】 特殊地，当n = 2 时，超平面退化为射影空间中的直线五= a - ，。2 ， ；当n = 3 时，超 平面即为射影空间中的平面i i = a 1 ，啦，a 3 ，a 4 此外，( 2 1 ) 式实际上存在着两种不同 的解释：即当a 固定时，x 为共面的点集；而当x 固定时，则a 为经过x 点的平面集 合这种重要的性质被称为对偶原理对射影几何的进一步学习可以参考文献 2 】 2 2 2 三维几何空间层次 我们身处的世界通常被理解为一个三维的欧氏空间，但从几何学的角度可将其划分 为不同的几何空闻层次，按照从简单到复杂的顺序依次为射影空间、仿射空问、度量空间 和欧氏空间；这些几何空间对应着不同的几何变换集合，依次为射影变换、仿射变换、 度量变换( 相似变换) 和欧氏变换，它们之间的包含关系如图2 1 所示这些几何变换集 合的一个重要特性就是它们所对应的几何不变量，所谓几何不变量是指对某一几何变换 集合中所定义的所有变换均不改变的几何属性，上述各个几何空间层次所对应的几何不 变量对于研究基于图像重建几何模型具有重要的意义 糕艇燮搬 壤虢夔按 衍射蹙攘 瓣嚣爱鞭 图2 1 几何空间变换集合的包含关系 射影空间是第一个几何空间层次，本文2 2 1 节中已经给出了射影空间和射影变换 的定义相对于其他空间的几何变换集合，射影变换的形式最为一般，对应的几何不变 6 大连理工大学硕士学位论文 量也最少具体地，三维空间中的射影变换可以用个4 4 阶的可逆矩阵来表达 t 户 p l l p 1 2 p 2 1p 2 2 p a lp 3 2 p 4 1m 2 p 1 3 p 1 4 p 2 3p 2 4 p 3 3p 3 4 p 4 3 p 4 4 ( 2 2 ) 它所对应的几何不变量主要有两种：首先是共线性( c o l l i n e a t i o n ) ，即共线的点经过射影 变换后仍共线；其次是交比不变性( c r o s s - r a t i o ) ，令有共线的四点m 1 、m 2 、m 3 和 m 4 ，其中m = m + 九m 7 ，它们的交比定义为 s ( m m mm 4 ) = 弑：弑( 2 。) 则上述四点经过射影变换后交比不变 射影空间的下一个层次是仿射空间，n 维实仿射空间a “中的点可以用n 维向量 z l ，z 。 7 r r 来表示事实上，a “中的任意一点x 可以被同构地嵌入到n 维实射 影空间p ”中去； ，。j 7 一，1 】7 ， ( 2 4 ) 反之，仿射空间中的点也可以由射影空间中z 。+ 1 0 的点映射得到： 墒+ t ? 一 杀丽x n ，1 t 一【羔n + l ，旦2 7 n + i 7 ( 25 ) 特殊地，将仿射空间中的无穷远点l l x | | 一0 0 嵌入射影空间后有： 熹，熹，志 r x f ，焉o o ，o t ( 2 6 ) 。l f x 。i l x i i l l x “1 因此，由仿射空间中所有无穷远点构成的超平面 。2 1 】 ( 2 7 ) 被称为无穷远平面需要指出的是，无穷远平面并不真正属于仿射空间，它所包含的点 并不能用仿射坐标来表示，但其对于仿射几何重建具有重要的作用三维空间中的仿射 变换具有如下形式： t a 。 p 1 1p 1 2 p 2 1p 2 2 p a lp 3 2 o0 p 1 3p l 4 p 2 3 芦崆4 p 3 3 p 3 4 01 ( 2 8 ) 杨艳萍：基于图像序列的三维重建方法研究 显然，该变换可使无穷远平面保持不变；其他的仿射不变量主要包括直线的平行关系以 及沿某一空间方向上的长度比例关系所有射影变换不变量当然也是仿射变换不变量 仿射空间的后续层次分别是度量空间和欧氏空间，它们所对应的变换集合分别为度量变 甸莘p 甸警囝 甸孚厨甸锄 图2 2 几何空间层次及几何变换 换( 相似变换) 和欧氏变换三维空闻中度量变换的形式为 t m 相应地，三维空间中欧氏变换的形式为 t e 。 p r l 2p r l 3t z p r 2 2p r 2 3t r p r 3 2p r 3 3 七 o01 r l lr 1 2 r 2 1 仡2 r 3 1r 3 2 oo r l 3t z t 2 3t r 7 3 3 t z 01 ( 2 9 ) ( 2 1 0 ) 其中是正交矩阵r 中的元素可见，度量变换和欧氏变换的唯一不同是相差一个作 用于整个几何空间的全局的比例放缩系数o ，因此，度量变换只能保证所有线段长度的 相对比例关系不变，而欧氏变换则可以保证线段长度的绝对尺寸不变此外，这两种变 换都能保证几何元素之间的夹角关系不变 图2 2 给出了一个单位立方体在各种几何变换集合作用下的结果可以看出，只有 度量层次以上的变换结果才能被人眼正确理解为立方体形状关于三维空间中几何层次 和变换集合的进一步说明可以参考文献f 3 1 8 大连理工大学硕士学位论文 2 2 3 相机模型 理想针孔相机模型( i d e a lp i n h o l ec 8 i n e r am o d e l ) 是目前使用最为广泛的透视投影相 机模型( 如图2 3 所示) 在该模型中，场景中空间点在图像平面上的投影点即为连接该 空间点与相机焦点的直线与图像平面的交点令m = 陋，9 ，z ，1 】t 和m = h 口，1 7 分别 为以齐次坐标表示的某空间点和其在图像平面上的投影点，则上述投影关系可表示为 m p m ( 2 1 1 ) 其中p 是一个3 4 阶矩阵，被称为相机的透视投影矩阵( p e r s p e c t i v ep r o j e c t i o nm a t r i x ) ， 它可以被分解为 p = k r i t l 其中k = ，su o r ，u o 1 ( 2 1 2 ) 蕴涵了相机的焦距等内部参数，被称为相机的内参矩阵；( r ，t ) 则反映了相机坐标系相 对于世界坐标系的方向和位置等外部参数具体地，k 中的参数f 给出了以像素宽度为 单位的相机焦距，r 给出了像素的纵横比，( “o ，v o ) 是主点的像素坐标，而s 则反应了像 素的扭曲程度在实际应用中，我们还经常遇到归化相机的概念所谓归一化相机是 指将相机投影矩阵转化为p = f r i t 】的形式，而图像的像素坐标也相应地转化为归一化 坐标： z n y n l k 一1 ( 2 1 3 ) 使用归一化相机实际是把相机的内外参数分解开来考虑，这样当我们关注相机外部参数 时( 例如相机运动) 就不必考虑使用的是什么样的相机需要指出的是，由于真实相机 并非理想的针孔相机模型，在实拍照片上往往存在着由相机镜头引起的非线性畸变，在 某些对图像精度有较高要求的场合，我们还需要对这些非线性畸变进行校正非线性畸 变的种类很多，鉴于径向和切向畸变的影响最大，故通常只针对这两种畸变进行校正 有关图像畸变校正的详细技术可以参考文献闰 2 2 4 对极几何、基础矩阵、本质矩阵 对极几何( e p i p o l a rg e o m e t r y ) 是两视图之间固有的投影几何，它独立于场景结构， 只依赖于相机的内部参数和相对位置与面向，对极几何关系是指将立体视觉中左( 右) 图中的匹配点映射成右( 左) 图中的对极线的数学关系，对于未标定图像，这一几何关系 9 杨艳萍：基于图像序列的三维重建方法研究 冬 l 蹦豫平鳓 么，一一。兰多只 毛 熏赢 。彳 铺盛宠轴 争* 图2 3 针孔相机模型 是妒 是可以从匹配点对中获得的唯一信息对于两幅图像而言，如图2 4 所示：两台相机分 图2 4 极线约束关系 别用其投影中心c 、c 和对应的图像平面来表示，m 为三维空间中的任意一点，m 为m 在第一个图像平面上投影点，1 为直线m m 在第二个图像平面上的投影直线，我 们称其为i l l 点的极线，则有：m 点在第二个图像平面上的投影点m 7 必然位于极线r 上，这样的约束关系就被称为极线约束关系对极几何的代数描述形式，可以甩一个3 阶、 秩为2 的矩阵f 来表示，令p 1 ，p 2 为两幅图像，若对任意匹配点m p 1 ，m p 2 ， 齐次坐标为m = ( 姐，y 1 ，1 ) t ，m t = ( x 2 ，y 2 ，1 ) 7 ，则矩阵f 使得 ( m 垆f m = 0 其中矩阵f 被称为基础矩阵特殊的，e 和e 7 分别为两个投影中心在另一幅图像 上的投影点，互称为对方的极点，且分别满足f e = f t e t = 0 引入符号| t 。来表达三维 1 0 大连理工大学硕士学位论文 向量t 定义的反对称矩阵若t = 池，t ，厶) ，那么 i t 。= 0 一t 。屯 t z 0 一如 一t _ 屯0 定义本质矩阵为 e = t r = 【t 。r 其中，t 和r 分别为平移向量和旋转矩阵，说明两相机间的相对位置和面向关系，则 e = k t f k l 其中，k 1 ，k 2 分别为第一幅图像和第二幅图像的相机内部参数 基础矩阵估计方法可分为线性算法、非线性优化迭代算法、鲁棒估计算法三大类 当图像提取的特征点位置精确，且两幅图像特征点不存在误匹配的情况下，可采取线性 算法 2 2 5 摄像机标定 摄像机标定是从二维图像获取三维信息必不可少的步骤在理想针孔相机模型中， 求解投影矩阵p 的过程被称为相机标定( c a m e r ac a l i b r a t i b n ) ；相应地，求解内参矩阵 k 的过程被称为内标定，而求解外部参数的过程被称为外标定对于大多数基于图像建 模任务而言，我们首先应对图像或图像序列进行标定，以便确定每一幅图像在拍摄过程 中相机相对于三维场景的方位和取景参数，进而才能够完成重建任务 自从1 9 9 2 年f a u g e r a s 和h a r t l e y 等人提出摄像机自标定的概念，证明可以直接从图 像序列标定摄像机内参数，这方面的研究目前已经成为计算机视觉领域中最重要的研究 方向之一很多摄像机自标定的方法大多需要解非线性方程组，计算量大且往往是数值 不稳定的另外一个问题是这些方法一般是基于点或者线的方法，基元匹配问题不容易 自动实现这主要是因为图像中点和线的数目一般很大，点或线所包含的信息一般不足 以建立图象间的唯一对应，同时由于遮挡、噪声的影响，更增加了匹配的难度 针对一般的摄像机自标定方法存在计算量大、鲁棒性差的缺点，h a r t l e y 提出了一 种新的摄像机自标定方法在h a r t l e y 的方法中，摄像机只绕轴心旋转，没有平移运动 ( 成为纯旋转摄像机) ，在不同的方位拍摄三幅以上的图像，通过图像之间的点对应，除 特殊情况外，一般可以进行摄像机自标定这种方法极大地降低了算法的复杂性，同时 标定的结果也令人满意 杨艳萍：基于图像序列的三维重建方法研究 摄像机的模型分为线性和非线性两种，所谓线性摄像机模型，是指经典的小孔模型 在小孔模型下，图像的成像过程可以用下述关系描述 = k s u 8u 0 0 厶”o 001 ( 2 1 4 ) 其中( z 。，y c ，z e ) 为空间点在摄像机坐标系下的坐标( 孟，口，1 ) 为图像点( 孟，口) 的齐次坐 标，矩阵k 为摄像机线性模型下的内参数矩阵( ， ) 为图像平面在u 轴和v 轴上的 尺度因子( u o ，v o ) 为主点坐标，即光轴与图像平面交点的象素坐标s 为畸变因子， 即当图像坐标系的u 轴和v 轴不垂直时所导致的一个系数随着相机硬件技术的发展， 某些内部参数已经非常接近理想值( 如主点坐标近似图像中心，s 近似于0 ，纵横比近 似于1 ) ，在精度要求不是很高的场合，如重构所得三维模型用于显示，可考虑采用这些 理想值，以简化相机模型，从而大大简化标定过程如对s 为0 和纵横比为1 的c c d 相 机，即方行像素相机，有九与 相等，可得 k = f0 “o 0 fv 0 0 00 ( 2 1 5 ) 由于在上式中图像点的齐次坐标与空间点坐标呈线性关系，所以这里称小孔模型为线性 模型 目前的方法究其本质而言，均是基于绝对二次曲线( t h ea b s o l u t ec o n i c ) 或其对偶 绝对二次曲面( t h ea b s o l u t eq u a d r i c ) 的方法，这方面已取得大量的研究成果其中 绝对二次曲线( a b s o l u t ec o n i c ) 具有极其重要的作用，它是一条位于无穷远平面上的特殊 二次曲线，若令( z ，y ，z ，t ) 7 为三维空间点的齐次坐标，则绝对二次曲线上的点应满足如 下约束关系： z 2 + y 2 + z 2 = o ，t = 0( 2 1 6 ) 显然，绝对二次曲线全部由复数点构成，而不含任何实数坐标点进一步地，绝对二次 曲线在图像平面上的投影可以用一个3 3 阶实对阵矩阵来表达，这一结论可以证明如 下t 首先定义一个三维矢量x = ( 孔y ，z ) 7 ，易知，点( 。，y ，z ，o ) 7 位于绝对二次曲线上 的充要条件是x t x = 0 ；继而令某一图像所对应的相机投影矩阵为p = k r i t ，则点 ( z ，y ，z ，0 ) t 在该图像上的投影为 m = p ( z ，y ，z ，o ) 7 = k r x( 2 1 7 ) 】2 大连理工大学硕士学位论文 由此可以推出x = r w k m ，又由于x t x = 0 ，则有 m t k t r r w k 一1 m = m 1 k 一7 k 一1 m = 0 ( 2 1 8 ) 因此投影绝对二次曲线就可以用3 3 阶实对阵矩阵k - t k 4 来表达在实际应用中， 人们通常采用矩阵k 一k 一的对偶形式k k 。r 来表达投影绝对二次曲线，并称其为对偶 投影绝x 寸- - 次曲线若记c = k k 。r ，则是一个对称正定阵，因此只要c 为已知，并令 其具有如下形式： c = k lk 2k 3 乜乜 3 5 1 则内参数矩阵k 就可以通过对c 进行c h o l e s k y 分解的方法容易地得到 k 肛习碍锩b 0 v 佤- 一k gk 5 00 1 ( 2 1 9 ) ( 2 2 0 ) 由上面的分析可知，我们若能够通过某种方式求出矩阵c 中的各个未知元素，就可以实现 摄像机的自标定p o l l e f e y s 等人【7 】在假定相机内参中的扭曲系数s = 0 的前提下也给出 了相应的自标定方法：三维空间的射影变换用4 x 4 矩阵t 表示，令4 x 4 秩为3 的对称矩阵 tn n = l1 “l ，若t 将点q 变换为t q ，q t q 则p p t ，n t n t ，q 。( p q 【0 0j = ( p t - 1 ) ( t q ) = p q 7 图像中的绝对二次曲面( a b s o l u t eq u a d r i c ) 的射影产生了这样的关系 k i k w 。( p i f t p ( 2 ，2 1 ) 即将相机内部参数的约束转化为绝对二次曲面的约束，当约束足够，可求出k 线性模型一般不能准确地描述真实摄像机的几何成像关系，尤其在使用广角镜头时， 远离中心处的图像有较大的畸变摄像机的非线性模型是相对于摄像机的线性模型而言 的所谓摄像机的非线性模型，是指成像过程不服从小孔模型摄像机的非线性模型可 使用下述公式来描述： 孟= 。+ 瓦( 砌( 2 2 2 1 l 口= y + 矗( z ，y ) 1 3 杨艳萍：基于图像序列的三维重建方法研究 其中；( i ，口) 为线性模型下的图像点坐标；( x ，y ) 是实际图像点的坐标；6 。( $ ，口) ，5 v ( x ，y ) 是非线性畸变值，它与图像点在图像中的位置有关，可用下述公式来表达： j 吐如，y ) = z 陋1 ( z 2 + y 2 ) + k ：( x 2 + y 2 ) 2 + 1 ( 3 茁2 + y 2 ) + 2 p 2 x y ) + s 1 ( 岳2 + y 2 ) l5 y ( x ，y ) = z k 3 ( x 2 + y 2 ) + k 4 ( x 2 + y 2 ) 2 + 2 ( 3 2 2 + y 2 ) + 2 p i x y ) + 8 2 ( 铲+ y 2 ) ( 2 2 3 ) 其中：瓦，矗的第一项称为线性畸变，第二项称为薄棱镜畸变( t h i np r i s m ) ，第三项称为 离心畸变( d e c e n t e r i n g ) 式中k l ，2 ，k 3 ，k 4 ，p 1 ，p 2 ，s l ，8 2 称为摄像机的非线性内参数 线性模型的线性内参数丘，矗，“o ，咖，s 与非线性模型的非线性内参数忌- ，z ，k 3 ， k 4 ，p 1 ，p 2 ，s 1 ，8 2 ( h ，2 ，k 3 ，k 为径向畸变因子，p 1 ，p 2 为薄棱镜畸变因子，s l ，s 2 是离心畸 变因子) 一起构成了摄像机的全部内参数f s i g 在 8 提出了提出了对这些参数标定的 非线性优化算法，t s a i 在 9 给出了在假定只有径向畸变条件下的标定算法这些方法 都涉及到非线性求解，或假定摄像机部分参数已知，或用线性模型先计算出线性参数作 为近似值，再用迭代方法求解魏国庆和马颂德等在f 1 0 1 提出一种双平面摄像机模型， 该方法把线性参数与非线性参数组合成中间参数，然后用线性方法求解，简化了计算过 程 2 3 基于序列图像重建方法分类 在传统的认识中，基于图像序列重建就是指利用图像来重建出物体的几何模型习 惯上，人们根据几何重建所需线索的不同将基于图像序列重建方法分为主动方法和被动 方法其中主动方法是指通过控制场景中光照的方式主动地获取场景的三维信息，而被 动方法只能被动地接收场景中的光亮度信息，进而通过分析图像中的明暗、阴影、焦距、 纹理、视差等被动线索进行三维重建一般而言，主动方法具有较高的重建精度且算法 相对简单，但其需要人为地创建重建线索，因此操作比较复杂；被动方法精度较低且算 法较为复杂，但其一般仅需较少的设备且对被造型物体的规模和位置限制较少 根据研究内容和研究方法，我们可以把基于图像序列重建三维模型技术分为以下几 类：物体投影在图像平面上的侧影轮廓线是理解物体几何形状的一条重要线索，因而成 为一类重要的重建方法；此外，深度图像因具有特殊的表达形式而拥有特定的重建方法； 最后，按相机是否已经预先标定而分别采用立体视觉或同时恢复场景几何和相机运动的 方法；本文以下几节即将对该分类方法进行详细介绍 1 4 大连理工大学硕士学位论文 2 4 基于序列图像重建 2 4 1 基于轮廓线重建几何模型 物体在图像上的侧影轮廓线是理解物体几何形状的一条重要线索当以透视投影的 方式从多个视角观察某一物体时，在每个视角的画面上都会得到一条该物体的侧影轮廓 线，这条侧影轮廓线和对应的透视投影中心共同确定了三维空间中一个一般形状的锥壳， 显然，该物体必将位于这个锥壳之内；而所有这些空间锥壳的交则构成了一个包含该物 体的空间包络，这个空间包络被称为物体的可见外壳 1 1 当观察视角足够多时，可见 外壳就可被认为是该物体的一个合理的逼近鉴于可见外壳生成算法一般需要多视角的 参考图像，因此图像的标定工作就变得非常复杂，现有的工作一般使用固定位置的已标 定相机或机械转台等装置辅助定标 m a r t i n 和a g g a r w a l 最早提出了用多幅照片生成可见外壳的方法 1 2 ，他们基于真 实物体在照片上的侧影轮廓线实现了物体的三维重建；c h i e n 等采用了八叉树结构来表 示物体的可见外壳 1 3 ，该八叉树结构是通过预先在平行投影照片上生成表示物体的四 叉树的基础上建立的；p o t m e s i lf 1 4 和s z e l i s k i 1 5 同样建立了可见外壳的八叉树表示， 但输入改为从任意视角拍摄的透视投影照片上述方法中，在从每一个视角拍摄的照片 上，都要进行物体的侧影轮廓线与所有八叉树结点投影的求交测试由于八叉树结点所 代表的空间立方体在图像平面上的投影为多边形，所以上述求交测试是一项非常耗时的 工作为此，研究者们提出了不同的方法来克服这一问题：l i u 等通过引入自适应采样 距离场来简化求交过程1 6 l ；m a t u s i k 等采用了计算机视觉中的极线几何技术来加速可 见外壳的计算17 1 九十年代以来，可见外壳生成技术在虚拟现实等领域中得到了成功 的应用，人们实现了众多基于多视角视频图像的动态重建和绘制系统早期的工作是由 m o e z z i 等完成的1 8 ，他们构建了一个由放置在不同位置的1 7 架摄像机组成的动态场 景重建系统，但该系统需要离线处理；m a t u s i k 等将可见外壳的求交运算转换到图像空 间进行1 9 1 ，大大加快了求交速度，实现了场景的实时重建和绘制；g r o s s 等对m a t u s i k 等的方法做了改进，他们采用点采样和点绘制的方式同样构建了一个实时重建和绘制系 统 上述方法均只利用了侧影轮廓线信息来生成物体的可见外壳与这些方法不同，体 素着色法【2 0 和空间雕刻法 2 1 1 除了利用侧影轮廓线信息，还试图引入多视角图像中的 颜色连贯性对三维物体进行重建鉴于这类方法非常耗时，所以至今没有实时方面的应 用 1 5 杨艳萍：基于图像序列的三维重建方法研究 2 4 2 基于深度图像重建几何模型 在某些对模型精度和模型复杂度有较高要求的场合，采用深度图像重建几何模型的 方法得到了广泛的应用深度图像类似于一幅具有m xi 1 个像素点的普通图像，不同的 是每个像素点位置上存储的不是颜色值，而是场景中物体表面各采样点的深度值生成 深度图像的方式有多种，包括采用结构光源、激光传播时间计量、雷达、声纳以及其他 一些计算机视觉的手段由于场景中经常存在多种遮挡关系，因此往往需要拼合多幅深 度图像才能得到一个物体的完整表示，图2 5 中给出了由多幅深度图像生成一个完整三 维模型的主要流程 图2 5 基于多幅深度图像生成完整三维模型的主要流程 对于场景中只有单一物体的情形，一般需通过配准和合并两个步骤将多幅深度图像 拼合起来配准( r e g i s t r a t i o n ) 是指通过旋转、平移等坐标变换对两幅深度图像中的重叠 部分进行匹配 2 2 ；而合并( i n t e g r a t i o n ) 是指采用经过配准的两幅或多幅深度图像生成 物体的单一表达形式，这里所说的单一表达形式通常是多边形网格表示，也可以是参数 曲面或隐式曲面表示常用的合并方法有两种：一种是利用深度图像上像素点问的邻接 关系进行合并【2 3 】；另一种则是直接以空间散乱点重建的形式进行合并 2 4 】合并生成 的的网格模型通常过于复杂，使得绘制效率降低，因此，合并后一般还需要对网格模型 进行简化 2 5 j 另一方面，对于场景中有多个物体的情形，在经过配准之后往往需先对 深度图像中的物体进行分割26 1 ，然后再