（信号与信息处理专业论文）基于立体视觉的三维重建.pdf

芒0 专皇0 主 学位论文作者签名：店锄起 签字日期：户勿年么月纠白 导师签名： 文的规定。特 库进行检索， 查阅和借阅。 夕一p 弋们少l 飞 签字日期：) 咖年6 月7 日 、， 陶。 卜一 j 3 dr e c o n s t r u c t i o nb a s e do ns t e r e o v i s i o n 作者姓名：李竞超 导师姓名：苗振江，刘湘黔 学位类别：工学 1 1 1 111 i i ii i i iii i iiu i 17 812 01 学号：0 8 1 2 0 4 1 6 职称：教授，副教授 学位级别：硕士 学科专业：信号与信息处理研究方向：图像处理 北京交通大学 2 0 10 年6 月 l r 研究工作给予了热情帮助，在此向他们表达我的感激之情。 另外也感谢家人，他们的理解和支持使我能够在学校专心完成我的学业。 通过这些图像来重建模型，利用了相机定标，点云生成，模型重建，纹理映射等 技术。本文的工作主要分为以下几个部分。 第一部分是相机定标，文r f l 采用有定标物的定标方法。通过一系列的数学变换 和计算方法求出相机的内参和外参，从而得到每幅图像的投影矩阵。研究中使用 了k l a u ss t r o b l 等人开发的相机定标工具。 第二部分是点云生成，文中采用p m v s ( p a t c h b a s e dm u l t i v i e ws t e r e o v i s i o n ) 建模方法，计算图像中的d o g ( d i f f e r e n c eo fg a u s s i a n ) $ 1h a r r i s 特征点，然后进行 特征点匹配，获得特征点对并对其进行空间三角化，再通过扩展和过滤等一系列 迭代操作，生成点云模型。 第三部分是表面重建，文中采用了泊松表面重建方法，根据点云模型建立空 间泊松方程，逼近模型表面，再利用一系列的约束准则，提取模型的可见外壳。 第四部分是纹理映射，文巾采用了参数化映射方法，通过模型展开得到模型 与纹理图像的对应关系，然后合理填充纹理图像，对可见外壳进行绘制和渲染， 增加逼真度和真实感。 本文还介绍了重建结果在实验室相关平台巾的应用，展示了三维重建的扩展 性和适用性，并对目前的工作进行了总结和展望。 关键词：三维重建；相机定标；点云生成；d o g 特征点；h a r r i s 特征点；泊松表 面重建；空间三角化；模型优化：纹理映射 分类号：t p 3 9 1 4 1 t e c h n o l o g i e s ，s u c ha sc a m e r ac a l i b r a t i o n , p o i n tc l o u db u i l d i n g ，s u r f a c er e c o n s t r u c t i o n ， t e x t u r em a p p i n ga n ds oo n o u rw o r ki n c l u d e ss e v e r a lp a r t s t h ef u s t p a r ti s c a m e r ac a l i b r a t i o n ，w eu s et h ec a l i b r a t i o nm e t h o d 丽t ha c a l i b r a t i o no b j e c t ，a n dg e tt h ec a n l e r ap a r a m e t e r st h r o u g has e r i e so fm a t h e m a t i c a l c a l c u l a t i o n s w eu s et h ec a l i b r a t i o nt o o ld e v e l o p e db yk l a u ss t r o b l t h es e c o n dp a r ti sp o 缸c l o u db u i l d i n g ，w eu s et h em e t h o dc a l l e dp m v s w e d e t e c tt h ed o ga n dh a r r i sf e a t u r e si nt h ei m a g e sa n dd os o m ew o r k sl i k em a t c h i n g ， e x p a n s i o n ，f i l t e r i n gt og e tt h ef e a t u r ep a i r sa n dt h e ng e tt h ep o i n tc l o u db yt r i a n g u l a t i o n t h et h i r dp a r ti ss u r f a c er e c o n s t r u c t i o n ，w eu s et h em e t h o dc a l l e dp o i s s o ns u r f a c e r e c o n s t r u c t i o n b u i l das p a t i a lp o i s s o nf o r m u l a t i o nt h r o u g ht h eo r i e n t e dp o i n t si nt h e p o i n tc l o u dt oa p p r o x i m a t et h es u r f a c e ，e x t r a c ta na p p r o p r i a t ei s o s u r f a c eb a s e do na s e r i e so fc r i t e r i o n st oo b t a i nt h ev i s u a lh u l l t h ef o r t hp a r ti st e x t u r em a p p i n g ，t h ep a r a m e t e r i z a t i o nm e t h o di s a p p l i e dt o e s t a b l i s ht h ec o r r e s p o n d e n c e sb e t w e e nt h ev i s u a lh u l la n dt h et e x t u r ei m a g e ，a n dt h e n f i l lt h et e x t u r ei m a g e w em a k et h ev i s u a lh u l ll o o k e dm o r ed r a m a t i cb yd r a w i n ga n d r e n d e r i n gt h ev i s u a lh u l lu s i n gt h et e x t u r ei m a g e i nt h i sp a p e r , w ea l s oi n t r o d u c ea p p l i c a t i o n so ft h er e c o n s t r u c t e dr e s u l t si no u rl a b s p l a t f o r ma n dd e m o n s t r a t et h ef e a s i b i l i t yo ft h i sr e c o n s t r u c t i o nm e t h o d a c c o r d i n gt oo u r w o r ku n t i ln o w , w ed os o m ec o n c l u s i o n sa n dp r o s p e c t s k e y w o r d s ：3 dr e c o n s t r u c t i o n ；c a n l e r ac a l i b r a t i o n ；p o i n tc l o u db u i l d i n g ；d o g f e a t u r e ；h a r r i sf e a t u r e ；p o i s s o ns u r f a c er e c o n s t r u c t i o n ；s p a c et r i a n g u l a t i o n ；m o d e l o p t i m i z a t i o n ；t e x t u r em a p p i n g c i 。a s s n o ：t p 3 9 1 4 1 i 中文摘要v a b s t r a c t v i i l 绪 仑1 1 1 研究背景。l 1 2研究现状2 1 2 1 国外研究现状3 1 2 2 国内研究现状4 1 3存在的问题5 1 4 研究内容一6 1 5文章结构7 2 基于图像的三维重建概述9 2 1 常见算法9 2 1 1 基于平面的三维重建9 2 1 2 基于深度图的三维重建1 0 2 1 3 基于轮廓线的三维重建1 l 2 1 4 基于立体视觉的三维重建1 2 2 1 5 常见算法对比1 3 2 2基于立体视觉的重建方案1 4 3相机定标方法及实现1 7 3 1相机模型1 7 3 1 1 线性相机模型1 7 3 1 2 非线性相机模型2 0 3 2常见方法2 l 3 2 1 传统定标2 l 3 2 2 自定标2 2 3 3基于定标板的相机定标2 3 4点云生成方法及实现：2 9 4 1图像特征2 9 4 2特征提取3l 4 3图像匹配3 6 北京交通大学硕士学位论文 4 3 1 对极几何j 3 6 4 3 2 约束条件3 7 4 3 3 常见算法3 7 4 4 三维空间点定位3 8 4 p m v s 点云生成4 0 4 5 1 基本定义4 1 4 5 2 具体实现4 3 5表面重建方法及实现5 1 5 1常见算法5 1 5 1 1 显式拟合一5 1 5 1 2 隐式拟合5 2 5 2泊松表面重建5 5 5 2 1 基本概念5 5 5 2 2 具体实现。5 8 6纹理映射方法及实现6 3 6 1模型优化6 3 6 1 1 网格平滑6 4 6 1 2 网格简化6 4 6 2模型展开6 6 6 2 1 模型参数化6 6 6 2 2 展开过程6 9 6 3纹理合成7 0 6 3 1 面片可见性判断。7 0 6 3 2 纹理图像填充一7 1 7三维重建结果及其应用7 5 7 1重建结果7 5 7 2结果应用7 8 7 2 1 在虚拟环境构建平台中的应用7 8 7 2 2 在寓教于乐系统中的应用一8 0 8总结与展望8 3 8 1工作总结8 3 8 2前景展望8 4 参考文献8 7 作者简历8 9 x - 一 7 1 目录 独创性声明9 1 学位论文数据集9 3 一 绪论 1 1研究背景 l 绪论 视觉是人类感知外部环境、认识外部世界的主要途径，据统计，人类约有8 0 的信息是通过视觉途径获取的。计算机视觉的研究目的就是赋予计算机以人类的 视觉认知功能，使计算机具有通过二维图像认知三维世界的能力。随着计算机技 术的不断发展，这方面的应用需求也与日俱增。从最初的机器人视觉导航到目前 日益流行的基于计算机图形学的三维游戏、视频特技、互联网虚拟漫游、电子商 务、数字图书馆、可视通讯、虚拟现实等诸多前景广阔的应用，如何更逼真地、 简便地获得真实世界的三维模型促使着计算机视觉研究者们不断地提出新的算法 并完善现有方法。 获取三维模型的技术手段通常分为以下三种： ( 1 ) 利用三维建模软件构建三维模型 目前，市面上流行着很多优秀的建模软件，像3 dm a x ，m a y a ，a u t o c a d 等。 它们都是利用一些基本的几何元素，通过一系列几何操作来构造复杂的模型。缺 点在于：必须充分掌握场景数据；软件的操作比较复杂，需要熟练的操作人员； 对不规则物体的构造，真实感不高。 ( 2 ) 通过仪器设备直接获取三维信息 这些设备包括深度扫描仪、三维相机、激光器、c d 机等。在精度要求比较高 的建模任务中应用广泛，使用简单，建模时间短。但是，通常这些设备都比较昂 贵，且不适合较大物体的重建。 ( 3 ) 利用图像序列或者视频重建三维模型 通过实拍的图像序列或者图像对来恢复物体模型。目前，通过对重建算法的 不断改进，建模过程越来越自动化，人工劳动强度越来越轻，建模成本越来越低。 设备方面只需要一个普通的相机，适用于任何场景的重构。 三维重建技术处于一个交叉领域，涉及到计算机视觉、计算机图形学、图像 处理、模式识别等诸多学科，因此，对三维重建的深入研究可以推动各个相关学 科的发展，并促进这些学科的交叉融合。三维重建所涉及的技术在自动导航、目 标识别、图像检索、以及增强现实等领域都有着重要的研究和应用价值。 ( 1 ) 三维模型获取 从图像序列中重建得到的三维模型具有高度的真实感，完全保持了几何模型 北京交通大学硕士学位论文 与真实场景之间的角度和比例关系，不需要对场景进行接触式测量以及复杂的几 何造型建模，模型表面纹理也可以直接从图像序列中获得，因此，完全可以代替 建筑设计、机械c a d 、影视动画等领域中的传统几何造型技术。此外，该技术还 可以广泛的应用于文化遗产保护，场景几何建模，基于影像的区域重建等领域。 ( 2 ) 真实场景非接触式测量 重建的三维模型与真实场景之间仅仅相差一个全局的比例系数，因此，只要 给出场景与模型的尺寸比例，就可以通过三维模型计算场景中任意两点间的真实 距离。如果知道模型表面任意点的坐标，还可以得到场景中任意点的绝对位置。 只需要相机拍摄的图像即可计算出物体的三维尺度信息，所需设备简单，通用性 强。由于采用非接触的方式，对一些体积较大、外形难以测量或不便于接触的物 体都能够快速、精确地进行测量。此外，这种技术还可以在某些特殊的场合应用， 例如，工业测量与检测、视频监控中的三维测量、空间轨道仓的精确对接等。在 军事侦察上，可以通过无人机等侦察手段得到目标的图像或影像，快速测量甚至 重建目标的三维信息，大大提高了侦查的灵活性、准确性和安全性。 ( 3 ) 增强现实 增强现实的目的是将虚拟对象嵌入到真实场景中，以达到虚实无缝融合，该 技术在虚拟现实、军事演习、景观评价以及影视娱乐等方面都有着广阔的应用前 景。增强现实技术的核心是解决虚拟对象嵌入到真实场景中的几何一致性和光照 一致性问题，而基于图像的三维重建技术是解决几何一致性问题的前提和基础。 ( 4 ) 动画克隆和动画生成 利用计算机生成具有高度真实感的三维动画一直是计算机图形学领域的研究 热点，目前的主要方法有：关键帧方法、基于模型的方法和基于运动捕捉的方法。 关键帧方法虽然能够精确控制运动但是无法保证其自然性；基于模型的方法需要 针对不同的动画建立不同的运动模型，可重用性和逼真性较差；基于运动捕捉的 方法需要复杂的硬件设备，极大地限制了其应用范围。如果能够基于三维重建技 术从视频流中提取人体的三维运动信息，就可以经过编辑和加工，再现三维动画 并进行相关分析，甚至可以将动作赋予其他的虚拟物体，从而生成复杂虚拟环境 中的逼真动画。 1 2研究现状 基于图像的三维重建技术根据透视成像原理对图像信息进行解析处理，得到 所需的相机参数，利用这些参数、二维图像信息以及一系列的数学运算得到物体 的三维空间信息。经过科学工作者多年的努力，已经取得了显著的成果。 2 | r 绪论 1 2 1 国外研究现状 s t e v e nm s e i t z 将体素着色分解为两个问题：一是体素颜色的唯一性问题，二 是在不进行组合搜索的情况下，从输入图像序列中获取体素颜色的问题。通过使 用颜色不变性和顺序可见性规则，很好地解决了上述两个问题。这种方法按照一 定的深度顺序对体素进行处理和赋值，避免了在图像间进行相关特征的匹配，因 此，整个重建过程可以由计算机自动完成，不需要人工交互。 f a s ：a d e 系统是d e b e v e c 等人于19 9 6 年在b e r k l e y 大学开发的针对建筑场景的 三维重建系统。在f a c a d e 系统中，首先，像在传统建模软件中那样创建三维几何 实体；然后，通过交互操作调整实体的尺寸、位置和姿态，使得它们在图像平面 上的投影能与图像特征对应起来，还可以交互指定几何实体间的关联关系；最后， 通过非线性优化方法求得反映上述内容的参数集合，并得到重建结果。该系统还 提出了视点相关的纹理映射方法，即从某视点观察模型时，选取与之最接近的重 采样图像，插值生成当前视点下的模型纹理。不过，该系统采用的几何模型相对 简单，一般只适用于非常规则的场景重建，而且，视点相关的纹理映射使得漫游 范围受到很大限制。 加拿大m o n t r e a l 大学的l i g u m 研究小组于1 9 9 8 年开展了r e k o n 项目，目的 在于构建一个交互式的基于图像的建模系统。该系统允许用户在图像平面上标出 点、线等二维几何元素并指定它们之间的平行、垂直、共面等约束关系，通过分 析这些约束关系以实现相机定标，进而通过线性迭代求解实现场景重建。线性迭 代求解的优势在于可以快速地得到闭合解，缺点是所得闭合解与真实解之间往往 存在较大的偏差。至今，该项目只给出了若干由简单几何形体构成的建模实例。 法国i n r i a 的机器视觉小组从1 9 9 7 年开始进行t o t a l c a l i b 项目的研究，原型 系统经过不断地扩展已经成为r e a l v i z 公司的商业软件i m a g e m o d e l e r 。该软件利用 手工交互和系统引导两种方式建立图像序列间的对应关系，并进一步估计相机参 数，从而提供一种半自动的场景重建功能。 2 0 0 1 年，法国b o r d e a u x 大学的l a b r i 实验室开发了r e a l 畸建模系统，该系 统也需要用户在图像平面上指定若干点、线等几何特征，但是，它引入了相机自 定标方法，因此，可以在没有给定任何约束条件的情况下实现重建。如果用户给 出了若干约束条件，系统也可以利用这些约束条件对重建结果进行优化，它的优 化过程也是通过线性迭代求解的方式进行。该系统的缺点就是未采用分层重建的 方法，因此，每次引入新的约束条件都要对结果重新求解。 此外，类似的系统还包括e o s 公司推出的p h o t o m o d e l e r ，m e t a c r e a t i o n s 公司 推出的c a n o m a ，遗憾的是，这些商业系统均未给出任何有关技术路线或算法实现 北京交通大学硕士学位论文 的公开文档。上述系统能够针对有限的场景类型重建出比较满意的三维模型，甚 至进入了商业运作阶段，但是，不难看出，这些系统加入了太多的人为干预成分， 尤其是局部特征的交互指定和匹配为建模工作带来了巨大而繁琐的工作量，如何 减少交互成分成为该领域发展的一个重点。进一步的研究中还可以引入模型库和 知识库，从而充分利用人们对三维重建的知识积累来简化重建过程。 从19 9 5 年开始，比利时l e u v e n 大学的p o l l e f e y s 等人一直从事相机定标和三维 重建方面的研究，2 0 0 0 年左右，完成了基于连续拍摄的图像序列的三维场景自动 建模系统，通过特征点的自动检测和匹配、相机自定标、稠密匹配、空间点云重 建、散乱点云曲面生成等技术实现了复杂场景的自动重建，并给出了令人惊叹的 重建结果。毋庸置疑，这项工作在基于图像的建模研究中具有重要的理论和实践 意义，但是，在上述算法的实现过程中，众多研究者都不同程度地遇到了算法的 稳定性和适用性问题。此外，该系统连续图像采样所带来的计算量和需要的存储 空间都是非常大的，因此，短期内尚无商业应用的可能。 许多研究者认为通过建筑物在平行和垂直结构上严格的限制性，可以很好的 进行三维重建。r o b e r t oc i p o l l a 和他领导的剑桥大学团队根据这一理念，开发了一 套三维重建系统- - p h o t o b u i l d e r 。能够在相机参数未知且无任何先验信息的情况下， 利用建筑物的基本几何特征重构出建筑物的原貌。p h o t o b u i l d e r 的重建过程分为四 个阶段：首先，可以从输入图像序列中获取一些片段信息，p h o t o b u i l d e r 使用角点 检测算法实现精确定位，获得的信息可以用来确定图片间的映射关系；其次，通 过建筑物的正交和平行几何约束进行相机参数的校准，结合检测到的角点来估计 相机内参；第三步，计算每幅图像的投影矩阵，通过之前获得的信息及几何约束 关系完成投影矩阵的计算；最后，根据投影矩阵对每幅图像求解相应的三维面片 以构建最终的模型，并在绘制过程中添加从原有图像序列中获取的纹理。运用 p h o t o b u i l d e r ，r o b e r t oc i p o l l a 实现了剑桥校园部分建筑物的重建。 1 2 2 国内研究现状 中科院自动化研究所实现了一个名为c v s u i t e 的软件 3 4 ，利用从不同角度拍 摄的三张图片构建三维模型，该软件主要完成特征点的提取和匹配，对极几何的 鲁棒性估计，相机自标定，欧式重建，模型的三维显示等功能，采用了基于立体 视觉的三维重建方法。该软件使用比较方便，能对不同来源的二维图像进行处理， 但它的缺点也比较明显，首先，尽管所采用的方法和原理都是基于立体视觉的， 由于使用了k r u p p a 方程进行相机自标定，所以需要的图像数目为三幅，而不是两 幅；其次，匹配效率不高，速度很慢；另外，该组的钟云德博士利用一种称为半 4 绪论 稠密匹配的方法进行立体图像的匹配，这种方法是对稀疏匹配和稠密匹配的折中， 所以匹配过程中增加了大量的匹配点，从而更好地实现了模型的三维显示，当然 也在一定程度上增加了匹配过程的时间复杂度。 上海交通大学的马利庄教授在三维重建方面也做了很多研究，目标物体外观 的实时绘制算法是他的研究方向之一。他提出了一种基于可见外壳的求取物体形 状及其表面反射属性的方法，利用s f s ( s h a p ef r o ms i l h o u e t t e s ) 和m a r c h i n gc u b e s 算法抽取出用三角网格表示的物体表面，利用非线性优化方法求取反射模型参数， 最终求取每个点的漫反射系数。通过上述步骤求得的物体形状及反射性质，可以 用来进行真实感渲染。他还进一步提出了从真实物体中提取纹理的方法。研究中 把具有复杂纹理的参考球体作为被采样物体，计算其材质的b r d f ( b i d i r e c t i o n a l r e f l e c t i o nd i s t r i b u t i o nf u n c t i o n ) 模型参数以及各点上不同材质的构成比例，形成一 幅材质权重图。把该图作为纹理映射到三维物体上，再配合b r d f 模型参数进行 渲染。被渲染的物体可根据自身方位及光源亮度呈现出自然的光影变化，达到较 为逼真的外观效果。 天津大学的陈明周硕士实现了基于主动光栅投影的立体视觉重建算法，在他 的研究中，通过基于主动光栅投影的立体视觉测量来获取被测物体外形轮廓，实 现自由曲面的高精度重建。在图像匹配过程中，使用了基于外极线约束的光栅边 缘匹配方法，并利用光栅边缘的两种编码技术和b 样条拟合方法来优化匹配过程。 该方法的主要缺点是图像匹配过度依赖于外极线约束，对图像中边缘的拓扑关系 依赖较少；外部设备需要有较高的精度。 清华大学的王磊提出了基于平面投影变换和遗传算法的匹配方法，能在未知 相机参数的情况下自动找到正确的对应点，由于使用的是平面投影变换，所以拍 摄过程中只允许相机旋转而不能平移，这种约束条件在很多场合是无法满足的。 北京交通大学袁保宗教授提出了a v r ( a c t u a lr e f l i 够t ov i r t u a lr e a l i t y ) i h - j 题，即 由真实世界到虚拟世界的转换问题，对三维重建技术进行了深入的探讨和研究。 浙江大学刘刚等设计出一个基于多幅图像的场景交互建模系统，能够以普通 相机自由运动拍摄到的多幅广角照片作为输入，给用户提供一系列简单易用的交 互工具，从而绘制出真实场景的几何模型和表面纹理。 1 3 存在的问题 虽然基于图像的三维建模已经广泛的应用于很多领域，但是，这种技术仍然 有一些难点和问题。当前，国内外学者主要集中于三个问题进行研究：效率、精 确性和鲁棒性。 r 北京交通大学硕士学位论文 ( 1 ) 建模效率。速度的改进可以体现在两个方面：一是硬件方面，大量的图形 处理功能被集成到硬件中，加快了处理速度，同时，计算机硬件又以摩尔速度更 新，也为建模效率提高提供了良好的条件，但是，对建模效率提高的需求不能仅 仅局限于对硬件厂商的热切期望。第二个方面就是要提高建模算法的速度。这才 是最根本的解决方式。因此，如何对建模算法进行简化、分解以降低时空复杂度 就成为解决该问题的根本出发点。 ( 2 ) 模型的拓扑精度、纹理映射以及光照处理。物体都具有材质信息，不同韵 环境下，使其呈现不同的状态。目前，人们还是能够分辨出电脑所展示的物体是 真实拍摄的还是电脑制作的。由此可见，计算机生成的模型还没有达到以假乱真 的程度。如何构建环境光模型，如何给不同材质的物体应用光照模型，如何在物 体的材质信息、纹理信息和拓扑结构信息之间建立对应关系也是要解决的问题。 ( 3 ) 普适性。生成三维模型的方法很多，但是，每种方法都有其适用范围，没 有哪种方法可以很好的重构各类物体，这给实际的模型生成工作带来了很大的麻 烦。出现这样的问题，是因为每种方法利用的重构信息不同。如何结合不同方法 的优点，从而提出一个具有普遍适用性的方法也是三维建模的一个难点。 如何构建三维模型，如何构建具有高度真实感的三维模型，如何快速构建模 型，如何提高重建算法的普适性，是本文工作需要研究的问题。 1 4研究内容 根据上述研究目标，文中主要讨论了基于立体视觉的三维重建方法。它包含 的内容主要有以下几个方面：相机定标，特征检测，特征匹配、三维空间点定位、 表面几何重建及纹理映射等。针对这几个方面，我们研究了国内外流行的算法， 并在现有算法的基础上，进行了改进，取得了较好的效果。 本文的研究工作主要分为以下几个部分： 1 相机定标 相机定标是计算机视觉领域中的重要研究内容，也是早期三维重建理论研究 的关键和核心所在。在相机模型中，求解投影矩阵尸的过程称为相机定标；相应 地，求解内参矩阵k 的过程称为内定标，求解外参r 和f 的过程称为外定标。对 几乎所有的三维重建任务来说，一般都需要经过显式或隐式的相机定标，才能得 到目标场景的三维模型。 2 特征检测 特征点作为图像的局部特性，是最常用的也是相对比较简单的匹配基元，这 主要是因为它能够为多视点几何和相机参数的求解提供足够可靠的约束条件，其 6 绪论 可靠性来自于特征点在不同的几何变换下均能保持良好的几何稳定性。此外，由 于特征点的数量一定小于图像像素的数量，使得其计算复杂度一般不受场景复杂 性的制约，甚至可以应用到很多具有实时性要求的场合中。 3 特征匹配 特征匹配在三维重建及计算机视觉中占有非常重要的地位，也是最困难的工 作之一。给出一副图像的特征点，如何在其它图像中找到对应点，这一类问题称 为特征匹配。若相邻两幅图像间的视差变化不大，则易于准确跟踪，但是进行三 维重建时会产生较大的计算误差；若相邻图像间的视差变化较大，则不易于进行 准确跟踪，但对三维重建来说会得到较好的计算结果。因此，通常采用较长的图 像序列，虽然相邻两幅图像间的视差变化不大，但整个图像序列的视差范围足够 大，这样就可以在准确跟踪的同时保证三维重建的计算精度。 4 三维空间点定位 已知两幅图像中匹配点的坐标和投影矩阵，只有精确满足对极几何约束的一 对匹配点所对应的两条反投影射线才会在空间中相交，从而准确获得对应的三维 空间坐标。但是，通常情况下，像点坐标都存在测量误差，使得对极几何约束得 不到满足，从而无法用反投影射线相交的方法得到三维空间点坐标。因此，需要 计算出三维空间坐标的最佳估计值，这个过程称为三维空间点定位。 5 表面几何建模 基于点云模型实现表面三角化，构成由三角网格表示的模型，这一_ 过程称为 表面几何建模。对点云模型进行表面重建，将点云模型转换成由 n u r b s ( n o n u n i f o r m r a t i o n a l b s p l i n e s ) 、r b f ( r a d i a l b a s i s f u n c t i o n ) 或 m p u ( m u l t i 1 e v e lp a r t i t i o no f u n i t y ) 等隐式曲面表示的模型。表面几何建模的目的在 于寻找某种数学描述形式，精确、简洁地描述一个己存在的物理曲面的形状，并 以此为依据对曲面本身进行分析、计算、修改和绘制 3 9 】。 6 纹理映射 三维建模的目的是为了获得具有高度真实感的物体模型。纹理是计算机视觉 识别物体的一个重要手段。正是由于物体表面纹理的不同，人们才可以辨别出形 状相同的不同物体。三维重建过程中，为模型表面添加纹理，可以使三维模型看 起来更加生动、更加自然。 1 5 文章结构 根据三维重建的主要内容，本文共分为8 个章节，详细介绍了基于立体视觉 的三维重建过程。具体安排如下： 7 北京交通大学硕士学位论文 第一章介绍了本文的研究背景及意义，基于图像的三维重建的研究现状及存 在的问题，提出了本文的研究重点和难点所在。 第二章介绍了基于图像的三维重建的基本知识及当前比较常见的重建算法， 并对它们进行了比较，最后，提出了基于立体视觉的三维重建的解决方案。 第三章介绍了相机定标的概念、相机模型以及目前一些主流的定标方法，详 细描述了基于定标物的定标方法。 第四章介绍了点云生成过程，包括特征检测、特征匹配、三维空间点定位等， 叙述了目前常用的特征检测算法和匹配算法，并详细描述了p m v s 重建方法。 第五章介绍了表面重建过程及目前常用的几种表面重建算法，并详细叙述了 泊松表面重建方法。 第六章介绍了纹理映射过程，为了提高映射精度，采用了一些模型优化技术， 并详细描述了模型展开和纹理合成的方法。 第七章介绍了基于立体视觉的三维重建在实验室工作中的拓展，并展示了重 建结果在一些实验室平台中的应用。 第八章是本文的结束语，总结了本文的主要工作，描述了主要的改进和不足， 并对以后工作的研究重点进行了详细说明。 8 基于图像的三维重建概述 2 基于图像的三维重建概述 客观世界是三维的，而现有的图像采集装置获取的图像是二维的。尽管图像 中含有某些形式的三维空间信息，但要真正在计算机中使用这些信息并进行进一 步的应用处理，就必须采用三维重建技术从二维图像中合理地提取并表达这些信 息。基于图像的三维重建就是利用计算机视觉和计算机图形学的知识，从二维图 像出发构造具有真实感的三维图形，为进一步的场景变化和组合运算奠定基础， 从而促进图像和三维图形技术在航天、造船、司法、考古、工业测量、电子商务 等领域深入广泛的应用。 通常可以在图像序列中找到很多线索，从而推知被拍摄物体的空间几何信息。 这些线索包括点、线、面间的几何关系，图像间的视差关系，图像序列中特征点 的对应关系以及物体的轮廓信息等。如果线索是物体本身所具有的，称为”被动线 索”。有时候，根据需要还可以创造线索，如在物体表面用光线打上条纹或者制造 出阴影。这样的线索称为”主动线索”。 主动方法需要人为创建线索，因此操作比较复杂，应用范围也受到一定限制。 被动方法精度较低且算法较为复杂，但是，仅需要较少的设备，且对物体规模和 位置的限制比较少，因此，更加灵活。 2 1常见算法 2 1 1 基于平面的三维重建 在建筑物场景的重建中，平面是最常见的几何元素，所以以平面为重建单元 的建模方法也比较多。其中l i e b o w i t z 的方法最具代表性。该方法的基本思想是确 定一个基平面，基平面确定了一个二维图形空间，如果可以找到空间点在基平面 上的投影，求解出该点在二维图像空间上的投影坐标，并求解出该点到基平面的 距离，那么这个点的三维坐标就确定了。 l i e b o w i t z 重建方法主要分为以下几步： ( 1 ) 利用图像各个方向上的平行线求出图像各个方向上的灭点，然后，根据垂 直方向上的灭点求解相机内参。 ( 2 ) 选定一个平面作基平面，根据求得的相机参数和图像中的一对矩形进行基 平面校正。图2 1 ( a ) 是一幅图像，被选定为基平面，蓝色的矩形框用来进行校正， 9 北京交通大学硕士学位论文 图2 1 ( b ) 是校正后的图像。 卧毋 甏l ! 孺i 交目麓， 篱b 露 哦；瞧 ；! 霉i i j 蘸 。嚅。 黧游罂! 缴嚣毙 霞灏 ：r ，i ：唧墅芬壁纛缝 誊t ，瑟蒸 - p 叶“喇二v m 蔫黼女胂q 鬻：骥淤 憋；然爹髫熬q - m 一q m * ：= 。警。塑芝跫琵矍 图2 1 校正前后对比图 f i g u r e 2 1c o n t r a s to fi m a g e sb e f o r ea n da f t e rc o r r e c t i n g ( 3 ) 如果空间某点m 在基平面尸上的投影点m 已知，则垅在校正后的基平面上的二 维坐标可以根据步骤2 求出。根据计算机视觉原理求解点旌0 基平面尸的距离，这 样点m 的三维坐标就完全确定下来了。 ( 4 ) 依次连接各个平面的轮廓点就可以重建出模型的各个平面，这样递归下去 就可以得到由平面组成的场景物体的表面模型。 对于需要求解三维坐标的顶点，必须找到它们在基平面上的投影，否则该点 的三维坐标就无法求出，这个问题限制了该方法在建筑物场景重建中的应用。 2 1 2 基于深度图的三维重建 在某些对模型精度和复杂度有较高要求的场合，采用深度图像重建几何模型 的方法得到了广泛的应用。深度图像类似于一幅具有m x n 个像素点的普通图像，不 同的是像素点上存储的不是颜色值，而是物体表面各采样点的深度值。生成深度 图像的方式有很多种，可以采用结构光源、激光传播时间计量、雷达、声纳及其 他计算机视觉手段。由于场景中经常存在各种遮挡关系，因此，往往需要多幅深 度图像才能得到一个物体的完整表示【8 】。 。，。：，。：j ，：；毒蔷i ：。 图2 2 源图像及其深度图 f i g u r e 2 2s o u r c ei m a g ea n di t sd e p t hi m a g e 对于场景中只有单一物体的情形，一般需要通过配准和合并两个步骤将多幅 1 0 基于图像的三维重建概述 深度图像拼合起来【1 0 】。配准是指通过旋转、平移等坐标变换对两幅深度图像中的 重叠部分进行匹配；合并是指采用经过配准的两幅或多幅深度图像生成物体的单 一表达形式，这里所说的单一表达形式通常是多边形网格表示，当然也可以是参 数曲面或隐式曲面表示。对于场景中有多个物体的情形，配准后往往要先对深度 图中的物体进行分割，然后再针对每一个分割后的物体进行合并操作，这样就可 以对场景进行编辑或对某一个物体进行参数化。在某些情况下，可能无法或不便 得到场景中所有物体表面的深度采样，从而得到不完整甚至不正确的重建模型。 2 1 3 基于轮廓线的三维重建 图像中的侧影轮廓线是理解物体几何形状的一条重要线索。物体可以定位在 以光学中心为顶点、与图像的交集为侧影轮廓线的光锥中。从不同视点观察到的 光锥的交集就是包围实际物体的空间包络，即物体的可见外壳。 图2 3 基于轮廓线的三维重建 f i g u r e 2 33 dr e c o n s t r u c t i o nb a s e do ns i l h o u e t t e 传统的相交计算用八叉树组织锥体内部的体素，这样就可以得到物体所在空 间的体素集合。该方法的一个关键问题是如何恰当的表示体素，判定的标准在于 是否具有较小的时空复杂度。w o l f g a n gn i e m 使用了柱状体素，把每一个柱状体素 向图像平面投影，在图像平面上计算柱状体素的投影与物体轮廓的交集，再把交 集段向空间体素反向投影，舍弃图像背景对应的部分，同时将保留下来的部分继 续细分，再次进行投影。通过这样一个迭代过程，计算的结果会是一个包围物体 的最小闭包体素集合，求交计算相对简单。可以看到基于轮廓线的重建算法的复 杂度和物体体积有关。位于外层体素集的顶点集合就是物体表面的点集，可以基 于这个点集生成物体表面的参数曲面。 需要指出的是，由于物体表面的凹陷区域无法通过侧影轮廓信息得到，因此 该方法并不是对所有形状的实体均适用。但是大部分外凸的物体是可以利用该方 北京交通大学硕士学位论文 法完成重建的。一般而言，当拍摄角度足够多时，就可以把可见外壳看作是空间 物体的一个合理逼近。 2 1 4 基于立体视觉的三维重建 双目视差( b i n o c u l a rd i s p a r i t y ) 简称视差，它反映了客观景物的深度。基于视差 理论的立体视觉( s t e r e ov i s i o n ) ，从两个或多个视点去观察同一物体，获得在不同 视角下的一组图像，通过各种算法匹配出相应像点，然后通过不同图像中对应像 素间的视差，推断出物体的空间几何形状和位置。它是计算机视觉中的一个重要 分支，也是计算机视觉的核心内容。 立体视觉直接模拟人类双眼处理景物的方式，可以在多种条件下灵活地测量 景物的立体信息。计算机立体视觉的开创性工作是从二十世纪6 0 年代中期开始的。 美国麻省理工学院的r o b e r t 把二维图形分析推广到三维景物分析，标志着计算机 立体视觉技术的诞生，在随后的二十年中，计算机立体视觉迅速发展成一门新的 学科。特别是二十世纪七十年代末，m a r r 等创立的视觉计算理论对立体视觉的发 展产生了巨大影响，现在已经形成了从图像获取到最终景物可视表面重建的比较 完整的体系。基于立体视觉的三维重建是立体视觉领域中的一个研究重点。 基于立体视觉的三维重建是指通过对二维图像的处理，利用立体视觉的原理 获取场景中目标的三维信息 3 0 】。假设在两幅图像上找到了一对对应点( s 0 它们是 物体表面同一点的投影) ，那么，这对对应点的反投影射线将在空间中交于一点， 这样就可以得到物体表面上该点的三维坐标。假如能得到物体表面全部点的三维 坐标，则该物体的空间形状和位置就是唯一确定的。基本原理如图2 4 所示，尸为空 间中任意一点，通过图像处理及分析，测定点p 的图像坐标为( i f ) ( 卢1 ，2 ) ，三维重 建算法的意义就在于由o ，f ) ( 产1 ，2 ) 恢复点p 的三维坐标l z ) 。 y 图2 4 立体视觉 f i g u r e 2 4s t e r e o v i s i o n 1 2 基于图像的三维重建概述 国外的研究主要是分为立体匹配和三维重建两个部分进行。立体匹配部分主 要是