（计算机应用技术专业论文）单幅图像的建模技术研究.pdf

摘要 基于图像的建模和绘制技术是近年来兴起的一种倍受关注的场景建模和绘制技 术，也是目前虚拟场景漫游领域中的主流技术。其最大的特点就是克服了传统的基 于几何建模和绘制技术的不足，可以在只具有普通计算能力的计算机上实现具有相 片般真实感场景的实时漫游。 单幅图像三维建模是基于图像建模的最简化问题。在不同的单幅图像建模技术 中，基于交互的方法通过引入人的先验知识获取图像灭点，使用几何方法计算相机 参数，从而简化计算并降低软件设计的复杂度，具有其他方法不具备的优点。 本文围绕由单幅图像重建具有照片般真实感的三维模型，对单幅图像的标定、 场景的三维重建以及从图像中纠正和映射纹理三个方面进行了较深入的研究和探 讨。本文的主要内容包括： ( 1 ) 针对某些特定的场景，尤其是含人造建筑物较多的场景，提出了一种基于 图像的单视点场景建模方法。该方法以射影几何、仿射基础为数学基础，将齐次坐 标的向量运算特性运用到交点拟合中，利用最小二乘法，提出了一种利用空间平行 线在理投影图中拟合交点的方法；以线性相机为模型，在获取灭点的基础上，结合 计算机视觉和数字摄影测量学中的相关理论详细分析了相机内外参数的推导过程。 ( 2 ) 分析介绍了o p c n g l 的纹理映射机理。，以三维视觉的分层重建理论为基 础，并结合o p e n g l 纹理映射函数的特点，给出一种纹理纠正和映射算法。将提取 的图像变换成为边长为2 n 正方形图像后，映射到三维模型上去，从而得到具有相片 般真实感的三维模型。 关键词：射影几何；相机标定；灭点i 纹理映射 a b s t r a c t i m a g e - b a s e dm o d e l i n ga n dr e n d e r i n gi saf a s c i n a t i n gt e c h n i q u ei nr e c e n ty e a r s ，a n dn o w i ti sa l s ot h ee s s e n t i a lt e c h n i q u ei nt h ef i e l do fw a l k i n gt h r o u g hv i r t u a ls c , e m e ri st h e m o s tr e m a r k a b l et h a ti b m rc a no v e r c o m et h ed e f t c i e n c yo ft r a d i t i o n a lg e o m e t r y - b a s e d m o d e l i n ga n dr e n d e r i n gt e c h n i q u e a n di b m rc a l lr e a l i z ep h o t o r e a l i s t i cm o d e l i n ga n d w a l k i n gt h r o u g hi nt h ec o m p u t e rw i t l lc o m m o nc o m p u t a t i o n a lc a p a b i l i t y s i n g l ei m a g er e c o n s t r u c t i o nt e c h n o l o g yi st h em o s ts i m p l i f i e dm e t h o do fi m a g em o d e l i n g ， w h i c hu s e sh u m a n se x p e r i e n c et oa c h i e v ei m a g ev a i l i s h i n gp o i n t si n t e r a c t i v e l ya n d c a l c u l a t e l l l l e l a p a r a m e t e rv i ag e o m e t r ym e t h o d t l l i st e c h n o l o g y 伽s i m p l i f y c a l c u l a t i o na n dr e d u c ep r o g r a m m i n gc o m p l e x i t y rh a si t su n i q u ea d v a n t a g e s t h i st h e s i sa d d r e s s e st h ei s s u e so fc a l i b r a t i n gf r o mas i n g l ei m a g e ，r e c o n s t r u c t i n g3 d m o d e l so ft h es c e n e ，r e c t i f y i n gt e x t u r ef r o mt h ep h o t o g r a p ha n dm a p p i n gr e c t i f i e d t e x t u r e t h em a i nc o n t e n to ft h i st h e s i si s 觞f o l l o w s ： ( 1 ) w i t ha g i v e ni n - d o o rs c e n et h i st h e s i sp u t sf o r w a r dam o d e l i n gm e t h o do fs p e c i a ls c e n e b a s e do i ls i n g l ev i e wi m a g ew h i c ha p p l i e st os o m es c e n e se s p e c i a l l ys e 圮 r l e sc o n t a i n i n g m a n m a d eb u i l d i n g s t l l i sm e t h o di sb a s e do np r o j e c t i v eg e o m e t r ya n da f f i n eg e o m e t r y , w ei n t r o d u c e dt h ef u n d a m e n t a lp r i n c i p l eo fm o d e l i n gt e c h n i q u e s ，c o m p a r e dt h ec a i i l e 豫 m o d e lb e t w e e nc o m p u t e rv i s i o na n dd i 。g i t a lp h o t o g r a m m e t r ya n dd i s c u s s e ds o m e k n o w l e d g eo fp r o j e c t i v eg e o m e t r ya n ds t r a t i f i c a t i o nr e c o n s t r u c t i o n ( 2 ) i nt h es c h e m eo fr e c t i f y i n ga n dm a p p i n g t e x t u r e , t h i st h e s i sp r e s e n t sa ni m p r o v e d m e t h o dw h i c hi sb a s e do nt h et h e o r yo fs t r a t i f i e dr e c o n s t r u c t i o no f3 dv i s i o na n d c o m b i n e st h ef e a t u r e so ft e x t u r em a p p i n gf u n c t i o no fo p e n g l t e x t u r ei m a g e sw h i c ha e x t r a c t e df r o mt h ep h o t o g r a p ha r ec h a n g e di n t os q u a r ei m a g e sw i t h2 ns i d el e n g t h t h e n t h et e x t u r ei m a g e sa r em a p p e di n t ot h es u r f a c 髓o f s i m p l e3 dm o d e l s s ow ec a no b t a i n p h o t o r e a l i s t i c3 dm o d e l s k e y w o r d s ：p e r s p e c t i v eg e o m e t r y ，c a m e r ac a l i b r a t i o n ，v a n i s h i n gp o i n t s ； t e x t u r em a p p i n g 学位论文独创性声明、学文论文知识产权权属声明 学位论文独创性声明 本人声明，所呈交的学位论文系本人在导师指导下独立完成的研究成果。文 中依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法律意 义上已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申请的论 文或成果。 本人如违反上述声明，愿意承担由此引发的一切责任和后果。 论文作者签名： 讳抟奔 日期：扣岬年- 月力日 学位论文知识产权权属声明 本人在导师指导下所完成的学位论文及相关的职务作品，知识产权归属学 校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本 人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名单 位仍然为青岛大学。 本学位论文属于： 保密口，在年解密后适用于本声明。 不保密彤 ( 请在以上方框内打“ ) 5 l 使擅得不 加 阶 月 任 年 靴1jp严叫们肌之矶 张一 舅 哺嬲防惭铭功黼 ： ：树名a蕞签蠡扩的蚓争删 作 声 文 本 第一章绪论 1 1 虚拟现实技术简介 第一章绪论 随着计算机技术、网络技术的发展，人们足不出户就可以“沉浸于美丽的风 光之中，即对虚拟实景进行实时漫游。这里所采用的技术就是虚拟现实技术。虚拟 现实( v i r t u a l r e a l i t y ) 这个名词最早是由j a r o n l a n i e r 在2 0 世纪8 0 年代初提出来的。 s a t m p e d 等人对它下了这样的定义：虚拟现实就是由计算机合成的，对用户不仅可以 观察而且可以控制其内容的三维环境的模拟。从中文的角度可以对它做如下解释： 虚拟，表示无中生有的一个环境；现实，代表人类对于这个环境的感受象是在一个真 实环境中一样。虚拟现实技术的主要特征是具有沉浸感( i m m e r s i o n ) 、交互性 ( i n t e r a e t i o n ) 、想象力( i m a g i n a t i o n ) ，即所谓的3 i 特性。沉浸是利用人类的五大感 官：看、听、触、嗅、味去感受虚拟的环境，以为是真的一样。交互是指人机之间有 一定的互动。想象是感官受刺激后，信号传输至脑部而藉以往的经验所产生出来的 幻觉。 虚拟现实技术的发展大体上可以分为三个阶段。第一阶段从2 0 世纪5 0 年代到 7 0 年代，是虚拟现实技术的准备阶段：第二个阶段从8 0 年代初到9 0 年，是虚拟现 实技术系统化，并逐步走出实验室进入实际应用的阶段：第三个阶段是从9 0 年代至 今，是虚拟现实技术的全面发展阶段。 早在1 9 5 6 年，美国的m o r t o n h e i l i g 就开发了一个被称为s c n s o r a m a 的摩托车仿 真器，试图从视觉、听觉和触觉等多方面给入一种身临其境的感受，这正是虚拟现 实追求的终极目标之一。1 9 6 8 年，s u t h e r l n a d 在哈佛大学组织开发了第一个计算机 图形驱动的头盔显示器( h e l m e t m o u n t e d o i s p l a y ) n 1 ，并开发t 与之相配的头部位 置跟踪系统。还有许多科学家，在虚拟现实技术的准备阶段，做了许多有意义的研 究工作。 从2 0 世纪8 0 年代开始形成虚拟现实的基本概念，并出现人工现实 ( a r t i f i c i a l r e a l i t y ) 、虚拟现实( v i r t u a l r e a l i t y ) 、虚拟环境( v i r t u a l e n v i r o n m e n t ) 、虚拟 空间( c y b e s r p a e e ) 等称呼，其中虚拟现实最为深入人心。并开始进入实际应用的阶 段，以v i d e o p l a c e 系统及v i e w 系统为代表。 随着硬件水平的飞速提升，显示设备价格的不断降低，2 0 世纪9 0 年代后，虚 现实技术进入全面发展阶段。人们经过实践，逐渐认识到，虚拟现实系统对计复杂 性的要求几乎是无限的，虚拟现实系统必须提供足够的灵活性和可扩展性，有可能 青岛大学硕十学位论文 适应这种无限的要求。 虚拟现实技术作为计算机科学和应用研究的一项前沿技术，是综合计算机仿真、 计算机图形图像、计算机视觉等多学科技术发展的一门新兴学科，在数字化城市规 划、飞行仿真、v r 游戏、远程医疗、虚拟实景漫游等方面都有着非常广泛的现实应 用。 为了使用户能够在一个由计算机生成的虚拟现实环境中真正产生身临其境的感 觉，就必须使生成的环境足够逼真和自然。一个虚拟环境是否逼真，取决于人的感 官对此环境的主观感受。人对环境的感知主要是通过视觉、听觉、触觉、嗅觉以及 重力觉等来实现的。因而，一个好的虚拟环境必须给这些感官提供与现实环境十分 相似的刺激。 实验心理学家赤瑞特拉( t r e i h c e r ) 通过大量的实验证实：人类获取的信息8 3 来 自视觉。因此，视觉感知的质量在用户对环境的主观感知中占有最重要的地位。一 个虚拟现实系统的好坏主要是取决于虚拟环境场景生成系统的优劣。虚拟环境场景 的生成与交互是虚拟现实技术的核心内容。 1 2 课题来源 基于图像的模型重建是计算机图形学研究的前沿问题。该技术结合了计算机图 形学、图像处理以及计算机视觉等诸多领域的理论和方法，通过图像场景所包含的 二维信息来获取用于模型重建的三维数据，实现在虚拟场景中的模型重建，因此在 计算机辅助设计和逆向工程中有很好的应用前景。 基于图像的建模技术是在二维图像的基础上进行图像理解并最终重建三维立 体，它是计算机视觉要解决的主要问题之一，广泛应用于机器人导航、模糊识别、 虚拟现实和建筑物重建等各个领域。目前基于图像的建模技术有多种分类方法比1 。 根据视点数目的不同，可分为单日视觉、双目视觉和多目视觉。根据获取数据的方 式可分为主动感知方式和被动感知方式。 单目视觉和多目视觉方法需要利用同一场景的两幅或多幅具有重迭度的图像进 行建模，并加以光照和渲染，生成具有强烈真实感的三维图像。这种方法的难点和 重点是特征点匹配问题口一1 ，至今尚无很好的解决方法。 主动感知方法需要向被测物体发射可控光束，然后拍摄光束在物体表面上所形 成的图像，通过几何关系计算出被测物体的距离。这种方法需要高精度的设备和仪 器，价格昂贵，且无法处理一些有特殊外部特征的表面悔1 。 单幅图像三维建模是基于图像建模的最简化问题，它使用单目视觉系统被动获 2 第一章绪论 取图像，仅使用一张图片即可重建物体局部形态，无需进行复杂的图像匹配和约束， 降低了建模难度，正引起越来越多研究者的关注。虽然仅使用一张图片带来了约束 条件过少的问题，造成建模精度低甚至无法完成建模任务，但对于某些特定场景的 图像，尤其是线性元素较多的图像，如建筑物图像等，因其包含有许多诸如共面性、 正交性和平行性等的几何属性，可以有效的消除从投影图像升级到三维欧氏结构中 的不确定因子。 单幅图像三维重建的显著优点之一是仅使用一副图像，从而避开了寻找匹配点 的困难。但问题也随之而来，即由于约束条件的减少造成的重建精度的降低。尽管 这种方法的建模精度有所降低，然而在一些涉及虚拟感知的应用领域，如虚拟现实 和建筑物重建中，与虚拟感知能力相比精度不是最重要的决定因素，这使得近几年 来基于单图像三维重建技术受到越来越多的关注。此外，在一些应用场合，如遥感 图像和古建筑物历史图片，由于图片数量限制，只能通过单图像三维重建的办法重 构物体的三维形象。还有一些图像匹配点数量太少，不足以进行多图像重建，在这 种情况下单图像重建是一个可行的解决办法。 因此在建模过程中使用适量的人工交互将极大的提高建模效率，同时操作者的 先验知识会引入由计算机难以分析的许多约束条件，从而使基于单幅图像的建模技 术更加简单有效。 由此得出基于单幅图像的交互式建模技术的关键问题： ( 1 ) 如何高效准确的提取诸如正交、平行、共面等几何信息； ( 2 ) 如何仅使用一张图片获取相机参数并得到投影矩阵； ( 3 ) 如何实现具有真实感的模型。 1 3 课题研究的价值 目前，主要通过三类方法来获取几何模型阳1 ： ( 1 ) 基于几何的建模技术。 基于几何的建模与绘制技术是利用计算机图形学的研究技术生成虚拟环境场景 的传统方法，被绝大多数c a d 软件所使用。这种方法从图形学的角度研究模型的建 立和显示，其本质属于投影问题范畴。 这种技术的主要缺点是效率不高，随着场景复杂度的增加建模效率急剧下降。 这使得该技术的应用受到一定限制。 ( 2 ) 基于表面点采样的三维建模技术。 三维激光扫描仪利用激光扫描物体表面，物体表面的反射光成像于光检测器的 3 青岛大学硕上学位论文 表面，根据光学三角法测量原理计算出物体表面的深度信息。它可以获得精确的三 维模型，而且适用于形状复杂的物体。 这种方法使用方便，精度高，并且构建模型所需时间相对较少，因此广泛地应 用于逆向工程、虚拟现实、环境仿真等领域。但三维扫描设备价格非常昂贵，且无 法处理具有高光、透明以及绒毛表面的物体的表面属性，而且一般也无法同时获取 模型表面的颜色信息，目前仅在制造业普遍使用。 ( 3 ) 基于图像的建模技术。 基于图像的建模技术利用价格低廉的数码相机( 或摄像机) 等作为图像获取设 备，并从获取的图像来重建场景的三维模型，同时直接从图像中为重建的三维模型 提取表面纹理和光照信息，从而简单、快速地构建出具有相片般真实感的三维模型。 这种技术广泛应用于虚拟现实，研究从图像到几何模型的重建过程，属于投影 问题的逆问题。因为在获取三维场景投影图像的同时丢失了部分三维信息，这种方 法增加了建模的难度。 1 3 1 基于图像的建模技术 基于图像的建模就是以自然界真实图像作为采样样本来重现场景的图形学技 术。与传统的图形学意义上的场景意义不同，它以三维几何实体为模型，通过投影 变换、裁剪、消隐来实现，即利用图像照片、渲染图像来确定场景的外观、场景的 几何结构、光照模型、反射特性以及动力学特性。由于图像本身包含着丰富的场景 信息，从而较容易从图像获得照片般逼真的场景模型。 基于图像的建模技术立足于解决在只具有普通计算能力的计算机上实现真实感 图像的实时显示问题，己经成为各国科学家研究的热点。 1 3 2 基于图像建模技术的优点 与基于几何的图像建模技术相比，基于图像建模技术的优点是： ( 1 ) 数据采集方便快捷。所得到的几何框架直接从图像中获取； ( 2 ) 计算量小、建模时间短、真实感强： ( 3 ) 适用范围广，可以对一些不可测物体建模； ( 4 ) 这种技术在一定程度上是传统的基于几何模型方法的延续，传统的投影变 换、裁剪、消隐等技术在本方法中同样适用； ( 5 ) 这种技术所得到的几何参数没有冗余度问题。 4 第一章绪论 1 4 本文的工作 本论文的研究目的在于利用交互的办法实现图像理解和建模，最终绘制出图像 的立体形象，并对这种建模方法中的一些关键问题进行研究和探索。主要研究内容 为图像处理，射影几何和灭点理论在图像理解和建模中的应用，交互式图像建模技 术的实现和建模算法研究。 后续章节主要内容安排如下： 第二章：单幅图像建模的几何基础。着重讨论计算机视觉的一些基础理论知识， 介绍了三维几何空间层次变换及其关系，讨论了射影几何和分层重建的基本理论。 为了能够更好地实现交互式建模，本章还介绍了必要的图像处理知识。 第三章：介绍图像建模技术中的相机模型，对计算机视觉的相机标定的常用方 法作了简单的分析。通过对基于灭点的相机标定算法的分析，提出了自己对基于灭 点的单幅图像标定算法，并用改进的方法分别完成对相机内参数和外参数的标定。 从而为下一章的三维场景的重建提供了可靠的保证。 第四章：基于单幅图像的交互式建模。介绍交互式建模的数学模型，具体算法 的说明、实现和比较和单幅图像的相机标定技术。 第五章：基于o p e n g l 纹理映射技术的研究。介绍纹理映射相关理论和o p e n g l 中纹理映射的实现方法。 第六章：软件设计及实验。建立交互式建模平台，介绍基于单幅图像的交互式 建模的建模方案和过程。，对实验数据进行分析和比较。 第七章：总结。对本文的研究内容进行了总结，并对下一步的研究工作计划做 出了展望。 5 第一二章单幅图像建模的几何基础 第二章单幅图像建模的几何基础 从理论上讲，在三维到二维投影过程中丢失了许多信息，这样一副二维图像不 足以完全表达映射前的三维信息。从这个意义上依赖任意单图像的场景建模是不可 能实现的。但对于虚拟现实等应用领域来说，在建模的过程中适当加入人为的辅助 和交互可以用先验知识增加一些限制条件并大大简化算法的复杂性，从而恢复空间 场景的三维信息。 下面就从计算机视觉和数字摄影测量学的角度分别讨论单幅图像建模中的几何 基础。 2 。1 齐次坐标 齐次坐标是用n + l 维向量表示以维向量的向量表示方法。 使用齐次坐标的目的之一是从数学上获得无穷远的概念，简化许多几何和计算 问题。若使用欧几里德几何，诸如曲线曲面设计的问题将会比较困难。 刀维向量( 口。，a 2 ，) 用齐次坐标表示为f 旦，a _ _ z 2 ，鱼，wl 。其中w 是个实数。 ww w 当w = 0 此向量表示疗维空间中的无穷远。 齐次坐标有以下优点：它提供了用矩阵运算把二维、三维甚至高维空间中的一个 点集从一个坐标系变换到另一个坐标系的有效方法，同时它可以表示无穷远点，简 化许多几何和计算问题。若使用欧几里德几何，诸如曲线曲面设计的问题将会比较 困难。 2 2 射影几何 射影几何h 1 是一门专门研究图形的位置关系，并专门用于讨论在把点投影到直 线或者平面上的时候图形的不变性质的学科。透视图像正是通过投影原理将空间物 体投影到平面上。 射影几何作为一个数学分支，其经典问题在1 9 世纪基本上就得到解决。但是作 为一种数学工具，直到计算机视觉诞生初期射影几何才得到实际运用。具体原因为： ( 1 ) 射影几何也可以像欧式几何中的解析法一样采用代数方法进行描述，这样的代数 方法非常适合计算机的计算功能；( 2 ) 针孔相机的成像是一个透视投影过程，欧氏几 何很难反映透视变形，而这一问题在射影几何框架下就变得简单自然陋1 。 6 青岛人学硕士学位论文 二维平面上的射影坐标系由不共线的四点定义阳1 ，如图2 1 所示： 图2 1 二维射影坐标系 o ( o ，0 ) ：原点；e ( 1 ，1 ) ：单位点； 瓦( ，o ) ：工轴的无穷远点；匕( o o 。) ：j ，轴的无穷远点 若用齐次坐标来表示，则以上四点可定义为【1 0 l ： o ( o ，0 ，1 ) ：原点；e ( 1 ，1 ，1 ) ：单位点； 以( 1 ，0 ，0 ) ：x 轴的无穷远点：圪( o ，l ，o ) ：y 轴的无穷远点 2 3 分层重建 分层重建的概念是f a u g e r a s , i 于1 9 9 5 年提出的。计算机视觉中通常所说的三维 重建一般是欧式意义下的，但在某些应用场合，使用比欧氏坐标系更广泛的仿射甚 至射影坐标系会更加方便。 f a u g e r a s 提出了分层重建的步骤： ( 1 ) 根据图像对应点得到射影重建( 也称为射影标定) ，并计算出射影意义下的摄像 机投影矩阵； ( 2 ) 在射影重建所恢复的射影空间中，确定无穷远平面的位置，把射影空间升级到 仿射空问； ( 3 ) 在仿射重建的基础上，进一步施加约束，确定绝对二次曲线( 面) 像的方程并计 算出内参数，从而最终恢复出欧氏结构。 相似变换是一种特殊的仿射变换，具有保形性。 以二维空间为例n 羽，将点p 变换到点q ，从低级到高级的变换矩阵为： 7 投影变换： 仿射变换： 相似变换： 欧氏变换 h q 时 i = 第二章单幅图像建模的几何基础 潮 车 零 = ；言a 1 2 ； 车 粥怦辜 稚 _ 举- 焉s i n 乡o ； 用正方形的变换来形象地说明以上变换： ( 1 ) 原始正方形 ( 2 ) 欧氏变换 几 一 ( 3 ) 相似变换 2 一( 1 ) 2 一( 2 ) 洞 州3 ， 阍i p , ( 4 ) 仿射变换 图2 2 对一个正方形进行不同层次的变换 从中可以得出不同变换的不变量n 羽： 8 2 一( 4 ) ( 5 ) 投影变换 2 2 2扁如玛麂恐玩 。l k k 0 k k o 。l k k o k k o m 助o 胁砌o 。l。l = = 1，-l 1j 以吼 致以 青岛大学硕士学位论文 表2 1 各种变换的变换矩阵和不变量 变换群变换矩阵不变量、不变性 投影变换 啊。啊：啊， 交比 吃。k 吃， 共点性，共线性，接触顺序， ( 8 个自由度) 呜。 呜： 呜，相交、相切性 仿射变换 q lq 2 平行性，面积比， 吃1 0 ( 6 个自由度)平行或共线线段长度比 oo1 相似变换 s c o s 0 - s s i n 0 乞 s s i n os c o s o 0 长度比，面积比，角度， ( 4 个自由度) o01 欧氏变换 c o s o s i n o 屯 s i n o c o s o 勺 长度，角度，面积 ( 3 个自由度) 0o1 2 4 本章小结 本章着重讨论计算机视觉的一些基础理论知识，介绍了三维几何空间层次变换 及其关系，讨论了射影几何和分层重建的基本理论。为了能够更好地实现交互式建 模，本章还介绍了必要的图像处理知识。 9 第三章相机标定 第三章相机标定弟二早个日刨l 个不疋 基于图像的建模技术要解决的问题就是要从相机所获取的图像信息出发计算三 维空间中物体的几何信息，并由此重建物体的三维几何模型。而空间物体上点的三 维几何位置与其在二维图像中对应影像点之间的关系是由相机的成像几何模型决定 的，这些几何模型的参数就是相机参数。在大多数条件下这些参数必须通过实验与 计算才能得到，这个过程被称为相机标定( c m a e r a c a l i b r a t o i n ) 。 相机参数总是相对于某种几何模型的，这样的模型是对光学成像过程的简化。 最简单的模型为线性相机模型，或称针孔模型( p n i h o l e m o d e ) ，它是相机标定研究的 基本模型。 相机模型n 鲫给出了三维空间点和其在成像平面上成像点之间的关系，它描述了 物点和像点之间的投影关系。以下从计算机视觉和数字摄影测量学的角度分别讨论。 3 1 背景知识 3 1 1 世界坐标系，相机坐标系和图像坐标系 为了定量地描述相机模型的光学成像过程，需要定义以下三个坐标系n 4 1 ： 世界坐标系勘场z 矿、相机坐标系d c 疋匕z c 和图像坐标系o x y 0 _ 世界坐标系 ( 1 ) 1 0 青岛大学硕士学位论文 ( ，z w ) r ，( k ，匕，z c ) 7 ，直线q p 与图像平面交与相点p ，则点p 的像素坐 标和物理坐标分别为( “，) ，( 石，j ，) 。 3 1 2 线性相机模型 计算机视觉体系中的线性相机模型就是中心透视投影模型。 根据不同坐标系之间的关系和小孔透视原理，容易得到线性相机模型。 在图3 1 中， ( 1 ) 令o c p = f ，可得图像物理坐标与相机坐标的变换关系为 写成矩阵形式为： 0 0o l l f001 010l - i x c 圪 z c 1 x 。 苫27 【上 z c ，- y c y 。) 了 厶c ( 2 ) 当不考虑相机畸变时，相点p 的像素坐标和物理坐标的关系为 ”2 j + 出 ” v = y + v o 缈 用齐次坐标写成矩阵形式为： j = 1 忑o “。 。 1 o 万 0o1 3 一( 1 ) 3 一( 2 ) 3 一( 3 ) 其中u 0 是物理坐标系叻原点0 在像素坐标系0 0 删中的坐标值。 厂q o p。l i i r-j x y l 。l 乙 第三章相机标定 ( 3 ) 当世界坐标系和相机坐标系位置不重合，坐标轴不平行时，它们之间存在旋转 和位置偏移，用矩阵r 和t 表示 x c 匕 z c 1 = 列 x w z 甲 l ( 4 ) 由以上三式可得计算机视觉意义下的线性相机模型 料 1 去o ，、 1 o 万 0o1 x w 昂 z 甲 1 3 一( 4 ) 3 一( 5 ) 3 1 3 中心投影构像方程 在摄影测量学n 目体系中，相机坐标系和世界坐标系的关系如图3 2 所示。 图3 2 相机坐标系和世界坐标系 其中： o - x y z 是世界坐标系，c x y z 是相机坐标系，p ( x ，y ，z ) 是空间一点， p ( x ，y ) 是p 的像点，c ( 鼍，圪，z c ) 是摄影中心。 ( 1 ) 当空间坐标系和相机坐标系对应坐标轴平行时，有： 1 2 青岛大学硕上学位论文 圈= 允目 i 】，一圪l = 允l 夕i lz z cjl _ 刊 r = 睢洲斟胍嘲 圈= 怨同 名 三 = r 。1 喜三萎 = 圣茎萎 茎三萎 l 工：一厂巫坠圣型蜓当堕趔 i 。如( x 一叉2 ) + 6 3 ( 】，一】z ) + c 3 ( z z c ) l y 一厂筹兰嚣舞黼 3 2 相机标定技术 3 一( 6 ) 引入旋转矩阵 3 一( 7 ) 3 一( 8 ) 3 一( 9 ) 3 一( 1 0 ) 在理想线性相机模型( 即针孔模型) 中，求解投影矩阵p 的过程被称为相机标定： 相应地，求解内参数矩阵k 的过程被称为内标定，而求解外参数( 足丁) 的过程被称 为外标定。对于大多数基于图像建模的任务而言，人们首先应对图像或图像序列进 行标定，以便确定每一幅图像在拍摄过程中相机相对于三维场景的方位和取景参数， 进而才能够完成重建任务。 相机标定是计算机视觉领域研究的一个重要课题。从计算思路的角度上看，标 定方法可以分为四类：即利用最优化算法的标定方法，利用相机变换矩阵的标定方 法，进一步考虑畸变补偿的两步法以及采用更为合理的相机成像模型的双平面标定 1 3 第三章相机标定 方法。 3 2 1 求解相机内方位元素 内方位元素( 像主点) q 。，1 i d ) 是相机光轴与图像中心点的偏差，厂是相机的 焦距1 5 1 们。 7 c 图3 3 相机坐标系和世界坐标系 根据3 1 节的描述，下标c 表示相机坐标系，下标形表示世界坐标系。设空间 一点尸在相机坐标系和世界坐标系的齐次坐标分别为( 鼍，匕，z c ) r 和( 而，写，z ) r ， 其在图像上的投影点齐次坐标为( 甜，1 ) r 。根据相机坐标系与世界坐标系的关系( 图 3 1 ，图3 3 ) ，可得： m 1 23 ，1 2 2 3 m 3 2 3 2铂3 聊2 2 刀吃3 垅3 2 捍 x 骶 z 聊 l = 吾昙辜 薹 差 茎l 蒌 x 髋 z 哦 l 3 一( 1 1 ) 。1 m 2 。i 是投影矩阵，它可以分解为内参数矩阵 鸭4 j 1 4 竹鸭 。l = 1j 吩吩 -。l 青岛大学硕_ 上学位论文 m ，= 喜詈辜 和外参数矩阵m ：= 至耄萎匿 = c r j t ，旋转矩阵r 是3 3 正 交单位矩阵，t 是三维平移向量，【kkz w ll 】2 是空间第i 个点的坐标； hv il r 是第f 点的图像坐标。 令乙= 五，【1 1 r = 【五互l r ， 并设3 个主灭点的图像坐标为瓦( ，睨) ，圪( 电，睨) ，瓦( 吃，圪) ， - e , f f x 寸 - x x 。 五l 妇。l - m 【1j恻制= m 阵筝 ：，r = ( 一) l 五0 k 一) 塌料m 1 确23l m 2 2 3i _ m l r 鸭2 鸭3 _ j 3 一( 1 3 ) = 【rkr 】 由于r 是正交矩阵，可得r 。r ：= 0 即 ( 矗。一) ( 而钿一) + ( j ，抽- u o ) ( x r - v o ) + f 2 = 0 j ( 以一q ) ( 匕- o i ) + f 2 = 0 同理有： r l r 3 = 0 ( 疋- 0 1 ) ( z 。- 0 0 + f 2 = o 1 5 3 一( 1 4 ) 3 一( 1 5 ) 3 一( 1 6 ) 3 一( 1 7 ) 21 3 1j 3 3 3 肌脾朋 。l = m 他 = 五概锄五 一 一 二 二 篮厂眩一五一一厂一五 砧一 u 一 二 二 一厂眩一厂五一厂一一厂五 第三章相机标定 r 2 r 3 = 0j ( 瓦一q ) ( z 。一d 1 ) + 厂2 = 0 由3 一( 1 6 ) ，3 一( 1 7 ) 和3 一( 1 8 ) 做简单的运算可得 i ( 以一d 1 ) ( 匕一乙) = 0 ( 匕一d 1 ) ( 以一瓦) = 0 【( 乙一q ) ( 义二一瓦) = 0 这表明像主点q ( “。v o ) 是口以圪乙的垂心，计算得 3 一( 1 8 ) 3 一( 1 9 ) l ( 一) + 垒。二k 一垒二叠 l ：上正毖l 上正址 j x z * o 一工x z 一x x ” y z 。一y y 。y z 。一y x 。 i = + 进( 一) 2 l ( 一扰。) ( 一u o ) + ( y x 。一) ( 一吒) l 3 一( 2 0 ) 3 2 2 求解旋转矩阵r 立体摄影测量中的偏角矽、倾角彩和旋角r ，以及摄影中心c 在某一空间坐标 系中的直角坐标值，通称相机的外方位元素n 7 一阳。 设以摄影中心c 为原点建立三维坐标系c 一m ，则够、国和r 定义为 矽：绕c y 轴旋转的角度； 彩：绕c x 轴旋转的角度( 注意c x 轴随缈角的旋转与初始位置成伊角) ； 鬈：绕摄影方向为轴旋转的角度。 1 6 青岛人学硕士学位论文 y 图3 4 灭点与相机元素的关系 在图3 4 中，0 是图像主点，c 是摄影中心，以，圪，乙是三个主灭点 d 一砂是图像坐标系，c p 上圪乙 则厂= o c 是焦距，伊= 么艺c p , c o = l o c p , x = l y o x 。是三个角方位元素。 由于灭点和摄影中心的连线与形成该灭点的空间平行线平行，三个正交方向 x ，y ，z 的直线所形成的灭点必落在相应的坐标轴上。故c 一致l = 。乙为一直角锥n 钔， 得： 毒t a n 么瓯圪= 剐= 痴爵= 锶i 蕊 t a r l o ) = t a n 么c x m 。网f2 而i 孑f 万i 了 t a n r ：t 孤( 抛) ：f i x x - u o l i y x 一v o l 3 一( 2 1 ) 又因旋转矩阵可分解为三个相互正交方向旋转的组合嘲，故有 1 7 第三章相机标定 r = r 中r r k = c ：0 s 二三1 8 i 0 譬 壹0 c o 。s 0 2 s i nc o ss i n t o = p k = i| i i 缈 u 缈i lu = 匪塞 得： 3 3 本章小结 蚓= 睢刭 a i2 c x ) sc o s ，c s i n c s m s i n k 2 j l = c o s c o s i n r c l2 8 1 1 1 c o s r + c o s 缈s m 缈s i n r 吃5 一c o s 伊s l r l r s m 驴s m o ) c , o s k 6 2 = c o s 0 ) c o s 【 c 22 一s m 9 s l n 鬈+ c o s c s m 0 2 c o s 鬈 吩2 一s m 伊c o s 0 2 岛= - s i n c 32 c 0 s 呼, c o s 国 3 一( 2 2 ) 3 一( 2 3 ) 3 一( 2 4 ) 本章首先介绍了线性相机模型，然后对计算机视觉的相机标定的常用方法作了 简单的分析。通过对基于灭点的相机标定算法的分析，提出了自己对基于灭点的单 幅图像标定算法，并用改进的方法分别完成对相机内参数和外参数的标定。从而为 下一章的三维场景的重建提供了可靠的保证。 1 8 o o 1 卅 r | | | 宝o c r r 宝洫0 l=1j 纪 p。哪呦 0吾| 宝 一 c * 旧审十苷迎模l l 勺胤4 授生埘 第四章单场景建模的原理及实现 利用计算机真实地再现现实场景一直是计算机图形学的热点问题。基于图像建 模技术能够简便快速地生成具有相片效果的场景模型，迅速引起了研究者的兴趣， 并取得了良好的应用效果。虽然立体视觉测量、三坐标扫描测量、激光网格测量等 方法已经有了先分的研究和应用，精度和速度都得到不断提高，但由于系统和建模 都比较复杂，尚无法实现现实场景的自动建模。而对于精度要求不高和更注重虚拟 感知能力的应用领域，如虚拟现实和建筑物重建，在建模的过程中适当加入人为的 辅助和交互，以简化算法的复杂性是完全可行和有必要的。计算机视觉及相关领域 内的最新理论成果可以对建模过程有指导和借鉴作用。本章将从数学模型和算法上 对基于单幅图像交互式建模技术进行分析。 41 空间平行线在平面透视投影图中的交点拟合 411 基本原理 根据小孔成像原理，在理想的条件下，与图像平面相交的空间平行直线族在影 像上的投影将汇聚于一点，即灭点( 图41 ) 。三个主方向( 分别平行于三个空间坐 标轴的方向) 上的平行线在图像上的灭点构成一个三角形( 图4 1 ) 。“。 图4 i 灭点的形成 青岛大学硕七学位论文 图4 2 三个主方向的灭点 主灭点的求取是单片图像建模的关键步骤之一，后续所有工作的数据计算都基 于主灭点的坐标值。故主灭点的精度直接影响最终建模精度。 当平行于主方向的平行线多于2 条时( 包括2 条) ，即可通过它们在透视图像中 的交点求得相应主灭点的坐标。对于只有2 条平行线的情况，通过简单的几何运算 即可得出，但精度不高；对于多于2 条的情况，可以通过最优化方法对主灭点进行 误差分析和运算，可以在一定程度上提高精度嘲。 在图4 2 中，以( k ，玩) ，匕( 也，少匕) ，瓦( 吃，圪) 是三个主方向的主灭点。 本文提出一种利用空间平行线在平面透视投影图中拟合交点的方法。 二维平面点x 的齐次坐标可由有序三实数组( 五，x 2 ，x 3 ) 表示，任一射影直线孝的 齐次坐标可由有序三实数组畴，磊，磊】表示。三个实数分别称为点x 或线孝的第1 坐 标、第2 坐标和第3 坐标。用圆括号表示点的坐标，方括号表示直线坐标。 从形式上说，点和直线的坐标都是非零向量，且在射影空间中点和直线具有对 偶性呦1 。 若点x - ( 五，x 2 ，x 3 ) ，直线孝= 缶，彘，参】，则方程善z = o 表示点z 位于直线善上。 设有两点石= ( ，x 2 ，毛) ，y = ( y l ，y 2 ，乃) 相异，则过这两点的唯一连接线为： 工y = 口妻羹l ，l 羔i l ，b 芰1 4 一。， 2 0 第四章单场景建模的原理及实现 设有两相异直线孝= 螽，磊，磊】，r = 7 7 l ，7 7 2 ，7 7 3 】，则它们的唯一交点为： 孝x ，7 = ( i 蓑蓑l ，| 蓑翥i ，巨毳| ) 4 1 2 灭点的表示 在透视投影中， 设三维空间刀条平行线厶，厶，厶，厶在投影平面石上的投影直线为 ，n 0 ，髭，1 】，【叠n ，砭n ，订】，”【西，” o = 1 ，2 ，力) 4 一( 2 ) 一疗坩 令，l = p ，2 = 砭n ，毛= 矽，厂( 功= ( 石) 2 ，若点z ( 再，而，毛) 位于平面 f = li = 1f = lf = i 万上，则 令 即 厂( 功= ( x ) 2 ， n i i l l ( 五+ 1 2 + p + 而矽+ x 3 引 一一 、2 f - li = 1 恐如+ 为毛) 2 譬+ 学写+ 2 乞五恐+ 2 毛毛+ 2 乞毛而而 4 一( 3 ) _ o f ：2 彳五+ 2 乞砭+ 2 毛弓：o o 要：2 譬屯+ 2 之五+ 2 乞毛而：o o 眠 箬：2