（计算机应用技术专业论文）基于单幅图像的交互式建模技术研究.pdf

摘要 基于图像的三维重建需要以三维几何实体为模型，通过各种变换、裁剪和消隐 等操作来确定场景的外观、场景的几何结构、光照模型、反射特性和动力学特性。 单幅图像三维建模是基于图像建模的最简化问题。在不同的单幅图像建模技术 中，基于交互的方法通过引入人的先验知识获取图像灭点，使用几何方法计算相机 参数，从而简化计算并降低软件设计的复杂度，具有其他方法不具备的优点。， 本文针对单幅图像三维重建中的关键技术进行了研究，主要内容为： l 、 基于图像建模技术的基本原理和模型。介绍基于图像建模技术的基本原理 和建模技术，对计算机视觉和数字摄影测量学中的相机模型进行比较，并讨论射影 几何和分层重建的基本理论。 2 、 基于单幅图像的交互式建模。利用射影几何的原理，将齐次坐标的向量运 算特件应用到交点拟合中，利用最小二乘法整体平差，提出了一种利用空间平行线 在平面透视投影图中拟合交点的方法，在f 、= 损失精度的d 订提f 能够较精确地提取空 f b j 平 j ：线在平面透视图中的交点。在获取火点的皋础上，结合计算机视觉和数字摄 影测量学中的相关理论详细分析了相机内外参数的推导过程。 3 、 基于o p e n g l 的纹理映射技术研究。分析介绍了o p e n g l 的纹理映射机理， 结合分层重建理论给出了纹理映射和纠币的基本原理。在此基础上设讨了软件平台， 对不同待测相片进行重建，并得出了较理想的试验结果。 关键词：射影几何；齐次坐标；灭点；纹理映射；交点拟合 a b s t r a c t 3 - dr e c o n s t r u c t i o nb a s e do ni m a g e sn e e d s3 - dg e o m e t r i ce n t i t i e sa sm o d e l s b yu s i n g s e v e r a ld i f f e r e n to p e r a t i o n s ，s u c ha st r a n s f o r m a t i o n ，c u t t i n ga n dc u l l i n g ，t h ea p p e a r a n c e a n dg e o m e t r i cs t r u c t u r eo fs c e n e s ，i l l u m i n a t i o nm o d e l ，r e f l e c t i o np r o p e r t i e sa n dk i n e t i c c h a r a c t e r i s t i c sc a nb ed e t e r m i n e d s i n g l ei m a g e r e c o n s t r u c t i o nt e c h n o l o g yi st h em o s ts i m p l i f i e dm e t h o do fi m a g em o d e l i n g ， w h i c hu s e sh u m a n se x p e r i e n c et oa c h i e v ei m a g ev a n i s h i n gp o i n t s i n t e r a c t i v e l ya n d c a l c u l a t ec a m e r a p a r a m e t e r v i a g e o m e t r ym e t h o d t h i st e c h n o l o g y c a n s i m p l i f y c a l c u l a t i o na n dr e d u c ep r o g r a m m i n gc o m p l e x i t y i th a si t su n i q u ea d v a n t a g e s f o rt h e3 - dm o d e l i n gt e c h n o l o g yo fu s i n go n l yo n ei m a g e v a n i s h i n gp o i n t sc a nb e o b t a i n e db yi n t e r a c t i v em e t h o d a n dt h ef i n a l3 一dr e c o n s t r u c t i o nc a nb ea c h i e v e da f t e rt h e c a l c u l a t i o no fc a m e r ap a r a m e t e r sb yg e o m e t r i cm e t h o d t h ek e yt e c h n o l o g i e so fs i n g l ei m a g e3 一dr e c o n s t r u c t i o na r ed i s c u s s e da n dd e v e l o p e di n t h i sp a p e r , w h i c ha r e ： 1 b a s i ct e n e t sa n dm o d e l so fi m a g e b a s e dm o d e l i n gt e c h n i q u e s w ei n t r o d u c e dt h e f u n d a m e n t a lp r i n c i p l eo fm o d e l i n gt e c h n i q u e s ，c o m p a r e dt h ec a m e r am o d e lb e t w e e n c o m p u t e rv i s i o na n dd i g i t a lp h o t o g r a m m e t r ya n dd i s c u s s e ds o m ek n o w l e d g eo f p r o j e c t i v eg e o m e t r ya n ds t r a t i f i c a t i o nr e c o n s t r u c t i o n 2 i n t e r a c t i v em o d e l i n gb a s e do ns i n g l ei m a g e b yu s i n gp r o j e c t i v eg e o m e t r y , t h i sp a p e r a p p l i e st h ev e c t o rc h a r a c t e r i s t i c so fh o m o g e n e o u sc o o r d i n a t e st ot h ei n t e r s e c t i o n s c a l c u l a t i o n ，a n dp r e s e n t san o v e la l g o r i t h mo fs im u l a t i o no fp e r s p e c t i v ep r o je c t i o no f s p a t i a lp a r a l l e l s t h i sa l g o r i t h mc a ne x t r a c tt h ep a r a l l e l si n t e r s e c t i o n so fp l a n a r p r o j e c t i o ni m a g e sq u i c k l ya n dp r e c i s e l y a f t e rt h ea c q u i s i t i o no fv a n i s h i n gp o i n t s ， d e t a i l e da n a l y s i so fh o wt og e tt h ec a m e r ap a r a m e t e r si sg i v e no nt h ec o m b i n a t i o no f c o m p u t e rv i s i o na n dd i g i t a lp h o t o g r a m m e t r y 3 i n v e s t i g a t i o no ft e x t u r em a p p i n gb a s e do no p e n g l r e s t e do nt h em e c h a n i s ma n d p r i n c i p l eo ft e x t u r em a p p i n ga n dc o r r e c t i o nr e l a t e dw i t hs t r a t i f i c a t i o nr e c o n s t r u c t i o n ， t e s ts o f t w a r ei sd e v e l o p e da n dd i f f e r e n ti m a g e sa r et e s t e dc o r r e c t l y k e y w o r d s ：p e r s p e c t i v eg e o m e t r y ；h o m o g e n e o u sc o o r d i n a t e ；v a n i s h i n gp o i n t s ； t e x t u r em a p p i n g ；i n t e r s e c t i o nf i t t i n g 学位论文独创性声明 学位论文独创性声明 本人声明，所呈交的学位论文系本人在导师指导下独立完成的研究成果。文中 依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法律意义上 已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申请的论文或成 果。 本人如违反上述声明，愿意承担由此引发的一切责任和后果。 论文作者签名： 学位论文知识产权权属声明 本人在导师指导下所完成的学位论文及相关的职务作品，知识产权归属学校。 学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本人离校 后发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为 青岛大学。 本学位论文属于： 保密口，在年解密后适用于本声明。 不保密曰f ( 请在以上方框内打“ ) 论文作者签名：铀 日期：蛐邑年p 月厶日 身吒。每幄 2 鲫艿。s ，泣 ( 本声明的版权归青岛大学所有，未经许可，任何单位及任何个人不得擅自使用) 5 9 第一章绪论 1 1 引言 第一章绪论 基于图像的建模技术是在二维图像的基础上进行图像理解并最终重建三维 立体，它是计算机视觉要解决的主要问题之一，广泛应用于机器人导航、模糊 识别、虚拟现实和建筑物重建等各个领域。目前基于图像的建模技术有多种分 类方法【l j 。根据视点数目的不同，可分为单目视觉、双目视觉和多目视觉。根 据获取数据的方式可分为主动感知方式和被动感知方式。 单目视觉和多目视觉方法需要利用同一场景的两幅或多幅具有重迭度的图 像进行建模，并加以光照和渲染，生成具有强烈真实感的三维图像。这种方法 的难点和重点是特征点匹配问题1 2 3 j ，至今尚无很好的解决方法。 主动感知方法需要向被测物体发射可控光束，然后拍摄光束在物体表面上 所形成的图像，通过几何关系计算出被测物体的距离。这种方法需要高精度的 设备和仪器，价格昂贵，且无法处理一些有特殊外部特征的表面1 4 j 。 单幅图像三维建模是基于图像建模的最简化问题，它使用单目视觉系统被 动获取图像，仅使用一张图片即可重建物体局部形态，无需进行复杂的图像匹 配和约束，降低了建模难度，正引起越来越多研究者的关注。虽然仅使用一张 图片带来了约束条件过少的问题，造成建模精度低甚至无法完成建模任务，但 对于某些特定场景的图像，尤其是线性元素较多的图像，如建筑物图像等，因 其包含有许多诸如共面性、正交性和平行性等的几何属性，可以有效的消除从 投影图像升级到三维欧氏结构中的不确定因子。 单幅图像三维重建的显著优点之一是仅使用一副图像，从而避开了寻找匹 配点的困难。但问题也随之而来，即由于约束条件的减少造成的重建精度的降 低。尽管这种方法的建模精度有所降低，然而在一些涉及虚拟感知的应用领域， 如虚拟现实和建筑物重建中，与虚拟感知能力相比精度不是最重要的决定因素， 这使得近几年来基于单图像三维重建技术受到越来越多的关注。此外，在一些 应用场合，如遥感图像和古建筑物历史图片，由于图片数量限制，只能通过单 图像三维重建的办法重构物体的三维形象。还有一些图像匹配点数量太少，不 足以进行多图像重建，在这种情况下单图像重建是一个可行的解决办法。 因此在建模过程中使用适量的人工交互将极大的提高建模效率，同时操作 者的先验知识会引入由计算机难以分析的许多约束条件，从而使基于单幅图像 】 青岛大学硕士学位论文 的建模技术更加简单有效。 由此得出基于单幅图像的交互式建模技术的关键问题： ( 1 ) 如何高效准确的提取诸如j 下交、平行、共面等几何信息； ( 2 )如何仅使用一张图片获取相机参数并得到投影矩阵； ( 3 )如何实现具有真实感的模型。 1 2 国内外研究动态 近几年，针对未定标单图像三维重建的研究引起越来越多的关注。但众所 周知，仅仅凭借一副图像无法重构整副图像的三维形态。在这种情况下，人们 利用先验知识对图像进行几何约束，以达到三维重建的目的。这些约束包括： 灭点、灭线、共面及图像和摄像机间的特殊关系等。 在这方面有许多学者进行了有益的探索。传统的方法是利用图像中物体的 特殊属性如阴影、光照和材质等，并假定这些属性完全可控，在此基础上进行 研究【5 ，6 】。但获取这些属性在很多情况下是不实际的。 最近几年，研究者们开始利用图像中物体的几何信息进行三维重建研究。 其中： h o r r y 等【7 】提出了一种称为“图像漫游 的技术，使用一种蜘蛛网格，从单 幅图像中获取简单场景模型，而并非恢复场景的三维模型。这种技术通过交互 的办法将二维图像分解为背景图像和前景图像。背景图像被置于五个不同区域 并组成一个立方体，而将前景图像放到这个立方体中的合适位置，最终通过虚 拟“穿越”方法重建物体。虽然该技术避开了繁琐的建模过程，但是不精确的 蜘蛛网模型却容易造成漫游时局部场景的严重扭曲。而且若场景图像中含有多 个灭点，则建模结果往往误差较大。 z h a n g 等【8 】提出了一种方法，允许用户指定少量的约束，如表面位置、法向 量、轮廓线和折痕等，并把这些约束结合起来重构个三维表面。 c a p r i l e 和t o r r e 【9 】提出了一种利用透视图像中长方体的投影边计算灭点，进 而对摄像机进行标定的方法。灭点对应着空间中相互正交的三个方向，这三个 方向为计算摄像机内、外部参数提供了三组相互独立的约束。基于这种思想， 许多研究者提出了基于灭点的摄像机标定和图像三维重建技术【1 0 , 1 1 , 1 2 , 1 3 。 s t u r m 等【1 4 】在借鉴了一些计算机视觉技术的基础上，提出了一种新的单视 点建模方法。先将世界坐标系统一到相机坐标系下，只要求出摄像机内参数就 可以得到投影矩阵，并通过场景图像中的几何约束关系来求得所建模平面的法 2 第一章绪论 向量，然后进行反投影和误差计算。该方法不需大量的手工交互，计算过程简 单。但由于在计算摄像机内参数时，除了焦距外其他的参数均为默认值，所以 有时建模结果的误差较大。而且，该方法只适用于灭点为有限远的情况。 l i e b o w i t z 等【1 5 1 提出对表面为平面的物体采用两步来进行重建。首先对可见 的各个正表面分别用纠正的方法重建，然后用渐增的方式把正表面依次定位。 利用图像的几何约束求( 如灭点、灭线) 和绝对二次曲线( 相机自标定进引入 的参数) 之间的关系，并认为如果加入某些限制性条件，即使灭点为无穷远， 也仍然能够利用图像的几何约束求出摄像机的内参数。但若这些限制性条件不 满足时，该方法也无法实现重建任务。 c h e n 等【1 6 】在增强现实领域的研究中，提出一种基于参数化长方体结构的增 强现实技术。该技术可以在一个包含可识别的长方体结构的静态或动态场景中 插入一个虚拟的物体。该方法在确定相机的内外参数的同时也可以确定该长方 体的尺寸。然后在长方体坐标系中插入任意虚拟物体。 为了简化运算，研究者们开始考虑用数学方法对重建过程进行优化。在这 方面有代表性的是s h u o t 和c h c o l i n t l 。7 1 ，他们提出了种基于形式化射影几 何的单图像三维重建方法，这种方法通过使用射影几何和g r a s s m a n - c a y l e y 代 数【1 8 】，使得几何推理过程可自动完成，大太简化了计算，是一种比较新颖且很 有发展前途的方法。 在已发布的的应用软件中，也有许多成熟的产品。于2 0 0 7 年1 月份发布的 g o o g l es k e t e h u p6 t 1 9 l 加入了m o d e l i n gf r o mp h o t o 和p h o t om a t c h 功能，利用手 工交互的方法可以轻松从一副或多幅相片中重建三维建筑物。虽然重建精度不 高，但已经完全满足一般用户的需要。 除了在计算机视觉领域，在数字摄影测量学中研究者们也提出了一些关于 三维重建的新方法。国内张祖勋院士在2 0 0 1 年提出一种利用灭点理论的使用单 张非量测相机所获得的影像进行建筑物三维重建的方法，与基于射影几何的单 片重建方法不同的是，这种方法以摄影测量中的共线条件方程式2 0 , 2 1 , 2 2 f f - 寸基础， 是一种经典的、算法较简单的单图像三维重建方法。 通过以上分析可以看出无论采用怎样的方法、技术，单图像三维重建都必 须要引入已知量或假设某些量已知，从而消除从投影图像升级到三维欧氏结构 的不确定因素。 3 青岛大学硕士学位论文 1 3 一些具有代表性的三维重建软件 以三维模型的可视化效果为目的的应用一般不追求高精度，使用普通相机即可 满足要求。根据摄影方法和要求的不同，这样的软件可以归为三类：基于数字影像 纠正，基于单目视觉的多像量测和基于立体视觉的量测。 基于数字测量纠正的代表软件有r o l l e i m e t r i c 公司开发的m s r 软件包【2 3 1 。该软 件记录由用户在平面上选取的坐标或距离定义控制点，将图像中的平面纠正为与实 际平面比例一致的图像。 基于立体视觉的量测系统的代表软件有g r o u pa l t a 开发的d i g i t a lv i d e op l o t t e r ( d v p ) 1 2 4 】。这类系统基于传统解析测图的原理，对每个经过定向的立体像对进行坐 标测量，再使用立体交会的方法进行三维量测。 和基于立体视觉的量测系统不同，基于单目视觉的量测系统没有使用传统的立 体像对，而是分别在每幅图像上进行量测。在点量测和获取目标几何数据的过程中， 这类系统支持自动网格测量，并利用图像和核线几何中的直线信息进行同名点量测。 在处理过程中可以进行相机自标定，而目标图像还可以用于纹理映射，生成具有真 实感的结果。 这类软件最具代表性的是g o o g l e 开发的s k e t c h u p 。通过利用所谓的“p h o t o m a t c h 功能，仅需要配对两对平行线并制定三维坐标系的原点即可方便的提取目标 图像的三维信息，完成三维重建的任务。加拿大的p h o t o m o d e l e r 也颇具代表性。 1 4 主要研究内容 本论文的研究目的在于利用交互的办法实现图像理解和建模，最终绘制出 图像的立体形象，并对这种建模方法中的一些关键问题进行研究和探索。主要 研究内容为图像处理，射影几何和灭点理论在图像理解和建模中的应用，交互 式图像建模技术的实现和建模算法研究。 本文主要研究内容分为以下几部分： 第二章：基于图像建模技术的基本原理和模型。介绍图像建模技术中的相 机模型，并对单幅图像建模技术的基本原理进行说明。 第三章：基于单幅图像的交互式建模。介绍交互式建模的数学模型和分类， 具体算法的说明、实现和比较和单幅图像的相机标定技术。 第四章：基于o p e n g l 纹理映射技术的研究。介绍纹理映射相关理论和 o p e n g l 中纹理映射的实现方法。 4 第一章绪论 第五章：软件设计。建立交互式建模平台，介绍基于单幅图像的交互式建 模的建模方案和过程。，对实验数据进行分析和比较。 第六章：实验。对空间平行线在平面透视投影中的交点拟合算法、基于灭 点几何的相机参数获耿方法以及三维重建结果进行实验。 第七章：总结。总结全文并提出下一步研究方向。 5 青岛大学硕十学位论文 第二章基于图像建模技术的基本原理和模型 2 1 建模技术分类 目前，主要通过三类方法来获取几何模型【2 5 】： ( 1 )基于几何的建模技术。 基于几何的建模与绘制技术是利用计算机图形学的研究技术生成虚拟环境 场景的传统方法，被绝大多数c a d 软件所使用。这种方法从图形学的角度研究 模型的建立和显示，其本质属于投影问题范畴。 这种技术的主要缺点是效率不高，随着场景复杂度的增加建模效率急剧下 降。这使得该技术的应用受到一定限制。 ( 2 )基于表面点采样的三维建模技术。 三维激光扫描仪利用激光扫描物体表面，物体表面的反射光成像于光检测 器的表面，根据光学三角法测量原理计算出物体表面的深度信息。它可以获得 精确的三维模型，而且适用于形状复杂的物体。 这种方法使用方便，精度高，并且构建模型所需时间相对较少，因此广泛 地应用于逆向工程、虚拟现实、环境仿真等领域。但三维扫描设备价格非常昂 贵，且无法处理具有高光、透明以及绒毛表面的物体的表面属性，而且一般也 无法同时获取模型表面的颜色信息，目前仅在制造业普遍使用。 ( 3 ) 基于图像的建模技术。 基于图像的建模技术利用价格低廉的数码相机( 或摄像机) 等作为图像获 取设备，并从获取的图像来重建场景的三维模型，同时直接从图像中为重建的 三维模型提取表面纹理和光照信息，从而简单、快速地构建出具有相片般真实 感的三维模型。 这种技术广泛应用于虚拟现实，研究从图像到几何模型的重建过程，属于 投影问题的逆问题。因为在获取三维场景投影图像的同时丢失了部分三维信息， 这种方法增加了建模的难度。 2 1 j 1 基于图像的建模技术 基于图像的建模就是以自然界真实图像作为采样样本来重现场景的图形学 技术。与传统的图形学意义上的场景意义不同，它以三维几何实体为模型，通 过投影变换、裁剪、消隐来实现，即利用图像照片、渲染图像来确定场景的外 6 第二章基于图像建模技术的基本原理和模型 观、场景的几何结构、光照模型、反射特性以及动力学特性。由于图像本身包 含着丰富的场景信息，从而较容易从图像获得照片般逼真的场景模型。 基于图像的建模技术立足于解决在只具有普通计算能力的计算机上实现真 实感图像的实时显示问题，己经成为各国科学家研究的热点。 2 1 2 基于图像建模技术的优点 与基于几何的图像建模技术相比，基于图像建模技术的优点是： ( 1 ) 数据采集方便快捷。所得到的几何框架直接从图像中获取； ( 2 ) 计算量小、建模时间短、真实感强； ( 3 )适用范围广，可以对一些不可测物体建模； ( 4 )这种技术在一定程度上是传统的基于几何模型方法的延续，传统的投影 变换、裁剪、消隐等技术在本方法中同样适用； ( 5 )这种技术所得到的几何参数没有冗余度问题。 2 2 坐标系和相机模型 相机模型【2 6 】给出了三维空间点和其在成像平面上成像点之间的关系，它描 述了物点和像点之间的投影关系。以下从计算机视觉和数字摄影测量学的角度 分别讨论。 2 2 1世界坐标系，相机坐标系和图像坐标系 为了定量地描述相机模型的光学成像过程，需要定义p a - f = 个坐标系口7 】： 世界坐标系昂z 力、相机坐标系q 置薯z c ，和图像坐标系劬 7 青岛大学硕士学位论文 0 0 世界坐标系 ( 1 ) ( 2 )( 3 ) 图2 1 世界坐标系，相机坐标系和图像坐标系 设尸是空间一点，它在世界坐标系和相机坐标系中的坐标分别为 ( 勘，场，磊) r ，( k ，圪，z c ) r ，直线d c t 尸与图像平面交与相点p ，则点p 的像素坐 标和物理坐标分别为( 甜，1 ，) ，( x ，y ) 。 2 2 2 线性相机模型 计算机视觉体系中的线性相机模型就是中心透视投影模型。 根据不同坐标系之间的关系和小孔透视原理，容易得到线性相机模型。 在图2 1 中， ( 1 )令q p = f ，可得图像物理坐标与相机坐标的变换关系为 写成矩阵形式为： x 。 x2 上 z c ，e y 。3i - - u c 8 2 一( 1 ) 第二章基丁图像建模技术的基本原理和模型 料 x c 乓 z ( 1 ( 2 )当不考虑相机畸变时，相点p 的像素坐标和物理坐标的关系为 “2 一d x + “。 v v = y + v o 哆y 用齐次坐标写成矩阵形式为： j = 1一 j 0 u o 仍r 1 0 c o , ool 2 - ( 2 ) 2 - ( 3 ) 2 一( 4 ) 其中u o ，v o 是物理坐标系铆原点d 在像素坐标系o o m , 中的坐标值。 ( 3 )当世界坐标系和相机坐标系位置不重合，坐标轴不平行时，它们之间存 在旋转和位置偏移，用矩阵r 和t 表示 x c 圪 z c 1 = 列 x w z w l ( 4 )由以上三式可得计算机视觉意义下的线性相机模型 料 1 u d x o 上 咖 oo 9 x w z w 1 2 - ( 5 ) 2 - ( 6 ) 青岛大学硕士学位论文 2 2 3 共线条件方程式( 中心投影构像方程) 在摄影测量学【2 8 1 体系中，相机坐标系和世界坐标系的关系如图2 2 所示。 z c ( x 图2 2 相机坐标系和世界坐标系 其中： 0 一x y z 是世界坐标系，c x y z 是相机坐标系，p ( x ，】，z ) 是空间一点， p ( x ，y ) 是尸的像点，c ( x c ，圪，z c ) 是摄影中心。 当空间坐标系和相机坐标系对应坐标轴平行时，有： 圈= a 吲 当空间坐标系和相机坐标系对应坐标轴不平行时，引入旋转矩阵 r = 至差萎 ，得 茎三萎 = 兄r 三 1 0 2 - ( 7 ) 2 一( 8 ) 第二章基于图像建模技术的基本原理和模型 圈=2r阿yoz l 卜圪l 2 iy l l z cjl 一j 名 三 = r 一 茎三耋 = 墨墨墨 三三蓁 口l ( x + _ _ + + _ _ + 6 i ( y 一鼍) - f c i ( z z 0 ) a 3 ( x 口2 ( x 2 一( 9 ) 2 - ( 1 0 ) 6 3 ( 卜臻味弘考0 2-(11)b 2 ( r 一乓) + c 2 ( z z 0 ) 一、7 q ( xb 3 ( r 一鼍) + 巳( z 一乙) 2 2 4 线性相机模型和共线条件方程的关系 线性相机模型和共线条件方程是中心透视投影模型在计算机视觉和摄影测 量学中的不同表达，是同一个问题的两种表示方式。它们都建立了空间点和其 在投影面上投影点之间的关系，但它们也有许多不同之处【2 9 1 。 ( 1 )出发点不同导致基本参数物理意义的差异； ( 2 ) 出发点不同导致基本公式的差异： ( 3 )处理的对象不同，处理流程也不同； ( 4 ) 算法不同。 尽管数字摄影测量学与计算机视觉许多差异，但是随着量测( 特别是高精 度量测) 型的计算机视觉的需求，以及数字近景摄影测量的发展，两者的学科 交叉必将愈来愈重要，似乎这种交叉将会在计算机视觉中形成一个新的分支一 摄影测量的计算机视觉( p h o t o g r a m m e t r i ec o m p u t e rv i s i o n ) 口们。 2 3 单幅图像建模的几何基础 从理论上讲，在三维到二维投影过程中丢失了许多信息，这样一副二维图 像不足以完全表达映射前的三维信息。从这个意义上依赖任意单图像的场景建 模是不可能实现的。但对于虚拟现实等应用领域来说，在建模的过程中适当加 入人为的辅助和交互可以用先验知识增加一些限制条件并大大简化算法的复杂 性，从而恢复空间场景的三维信息。 l1 ， ， 一 一 = i i x y ，0fl【 青岛大学硕士学位论文 下面就从计算机视觉和数字摄影测量学的角度分别讨论单幅图像建模中的 几何基础。 2 3 1 齐次坐标 齐次坐标是用胛+ 1 维向量表示挖维向量的向量表示方法。 使用齐次坐标的目的之一是从数学上获得无穷远的概念，简化许多几何和 计算问题。若使用欧几里德几何，诸如曲线曲面设计的问题将会比较困难。 、 行维向量( 口1 ，) 用齐次坐标表示为f 旦，一a 2 ，生，w1 。其中w 是个实 ww w 数。当w = 0 此向量表示甩维空间中的无穷远。 齐次坐标提供了用矩阵运算把二维、三维甚至高维空间中的一个点集从一 个坐标系变换到另一个坐标系的有效方法，同时它可以表示无穷远点，简化许 多几何和计算问题。若使用欧几里德几何，诸如曲线曲面设计的问题将会比较 困难。 2 3 2 射影几何 射影几何 3 0 , 3 1 1 是一门专门研究图形的位置关系，并专门用于讨论在把点投 影到直线或者平面上的时候图形的不变性质的学科。透视图像正是通过投影原 理将空间物体投影到平面上。 射影几何作为一个数学分支，其经典问题在1 9 世纪基本上就得到解决。 但是作为一种数学工具，直到计算机视觉诞生初期射影几何才得到实际运用。 具体原因为：( 1 ) 射影几何也可以像欧式几何中的解析法一样采用代数方法进行 描述，这样的代数方法非常适合计算机的计算功能；( 2 ) 针孔相机的成像是一个 透视投影过程，欧氏几何很难反映透视变形，而这一问题在射影几何框架下就 变得简单自然【3 5 j 。 二维平面上的射影坐标系由不共线的四点定义【2 7 1 ，如图2 3 所示： 1 2 第_ 二章基丁图像建模技术的基本原理和模型 图2 3 二维射影坐标系 o ( o ，0 ) ：原点；e ( 1 ，1 ) ：单位点； 以 ，0 ) ：x 轴的无穷远点；屹( 0 ，o o ) ：y 轴的无穷远点 若用齐次坐标束表示，则以上四点可定义为【3 2 】： o ( o ，0 ，1 ) ：原点；e ( 1 ，1 ，1 ) ：单位点； 以( 1 ，0 ，0 ) ：x 轴的无穷远点；圪( 0 ，1 ，o ) ：y 轴的无穷远点 2 3 3分层重建 分层重建的概念是f a u g e r a s l 3 3 1 于1 9 9 5 年提出的。计算机视觉中通常所浼 的三维重建一般是欧式意义f 的，但在某些应用场合，使用比欧氏坐标系更j 。 泛的仿射甚至射影坐标系会更加方便。 f a u g e r a s 提出了分层重建的步骤： ( 1 )根据图像对应点得到射影重建( 也称为射影标定) ，并计算出射影意义下的 摄像机投影矩阵； ( 2 )在射影重建所恢复的射影空间中，确定无穷远平面的位置，把射影空间 升级到仿射空间； ( 3 )在仿射重建的基础上，进一步施加约束，确定绝对二次曲线( 面) 像的方程 并计算出内参数，从而最终恢复出欧氏结构。 相似变换是一种特殊的仿射变换，具有保形性。 1 3 青岛人学硕+ 学位论文 以二维空间为例【3 4 1 ，将点p 变换到点q ，从低级到高级的变换矩阵为： 投影变换： 仿射变换： 相似变 欧氏变换： f - q ， h ig yl = i 忽， 【1j 【0 卧 啡 _ 骥 用正方形的变换来形象地说明以上变换： ( 1 ) 原始正方形 ( 2 ) 欧氏变换 n _ ( 3 ) 相似变换 酮 - - s s i n 0 s c o s 0 0 - s i n 0 c o s 0 o 2 - ( 1 2 ) 2 - ( 1 3 ) 弘 啦j 2 1 4 ) 渊 ( 4 ) 仿射变换 图2 4 对一个正方形进行不同层次的变换 从中可以得出不同变换的不变量【3 5 j ： 2 一( 1 5 ) ( 5 ) 投影变换 2 2 2崩忽飓 厢玩忽 ，l oq 吒0 。，。l 吆o 口秒 s 1 o “o c s s s 秒秒 宝m 0 一 一 -_，_。_。t_-_i-_l 一一 l一1_j 1i悼ll一 1，j j y 叫刮 降丌儿1=_-_j 3 3 z 1】 k 红一 啊吃勉o 第二章基丁图像建模技术的基本原理和模型 表2 1 各种变换的变换矩阵和不变量 变换群 变换矩阵不变量、不变性 投影变换 矗。 啊：扛， 交比 红。红：忽，共点性，共线性，接触顺序， ( 8 个自由度) 坞l 坞2 魄3 一相交、相切性 仿射变换 a la 1 2 平行性，面积比，平行或共 a 2 1a 2 2 t y ( 6 个自由度)线线段长度比 ool 相似变换 s c o s o - s s i n 9tx s s i n 0s c o s oty 长度比，面积比，角度， ( 4 个自由度) 0o1 欧氏变换 c o s 7 - s i n o t x s i n oc o s 0t y 长度，角度，面积 ( 3 个自由度) 00l 2 4 本章小结 本章着重讨论基于图像建模技术的基本原理，介绍了常见的建模技术，比 较了计算机视觉和数：孚摄影测量学中的相机模犁，接着讨论了射影几何和分层 重建的基本理论。为了能够更好地实现交互式建模，本章还介缁了必要的图像 处理知识。 l5 青岛人学硕十学位论文 第三章基于单幅图像的交互式建模 利用计算机真实地再现现实场景一直是计算机图形学的热点问题。基于图像建 模技术能够简便快速地生成具有相片效果的场景模型，迅速引起了研究者的兴趣， 并取得了良好的应用效果。虽然立体视觉测量、三坐标扫描测量、激光网格测量等 方法已经有了充分的研究和应用，精度和速度都得到不断提高，但由于系统和建模 都比较复杂，尚无法实现现实场景的自动建模。而对于精度要求不高和更注重虚拟 感知能力的应用领域，如虚拟现实和建筑物重建，在建模的过程中适当加入人为的 辅助和交互，以简化算法的复杂性是完全可行和有必要的。计算机视觉及相关领域 内的最新理论成果可以对建模过程有指导和借鉴作用。本章将从数学模型和算法上 对基于单幅图像交互式建模技术进行分析。 3 1空间平行线在平面透视投影图中的交点拟合 3 1 1 基本原理 根据小孔成像原理，在理想的条件下，与图像平面相交的空间平行真线族在影 像上的投影将汇聚于一点，即灭点( 图3 1 ) 。三个主方向( 分别平行于三个空间坐 标轴的方向) 上的平行线在图像上的灭点构成一个三角形( 图3 2 ) 3 6 1 。 图3 1 灭点的形成 1 6 第二章基丁单幅图像的交互式建模 图3 2 三个主方向的灭点 主灭点的求取是单片图像建模的关键步骤之一，后续所有工作的数据计算都基 于主灭点的坐标值。故主灭点的精度直接影响最终建模精度。 当平行于主方向的平行线多于2 条时( 包括2 条) ，即可通过它们在透视图像中 的交点求得相应主灭点的坐标。对于只有2 条平行线的情况，通过简单的几何运算 即可得出，但精度不高；对于多于2 条的情况，可以通过最优化方法对主灭点进行 误差分析和运算，可以在一定程度上提高精度2 0 3 7 1 。 在图3 2 中，以( 以。，睨) ，圪( 电，拽) ，乙( x 乙，y 乙) 是三个主方向的主灭点。 本文提出一种利用空间平行线在平面透视投影图中拟合交点的方法。 二维平面点x 的齐次坐标可由有序三实数组( 五，而，恐) 表示，任射影直线f 的 齐次坐标可由有序三实数组【轰，彘，茧】表示。三个实数分别称为点x 或线乡的第l 坐 标、第2 坐标和第3 坐标。用圆括号表示点的坐标，方括号表示直线坐标。 从形式上说，点和直线的坐标都是非零向量，且在射影空间中点和直线具有对 偶性【9 】。 若点x = ( x t ，石：，x 3 ) ，直线孝= 【卣，岛，磊】，则方程孝x = 0 表示点x 位于直线善上。 设有两点x = ( x t ，恐，为) ，y = ( y l ，y 2 ，儿) 相异，则过这两点的唯一连接线为： - l 恐 x y = | j 。 l l y 2 矗1 1 y 2 2 l j 3 ( ” 一咒 x y 7l 墨弘屯职 青岛人学硕+ 学位论文 设有两相异直线孝= 磊，岛，磊】，r = 1 l ，r h ，7 7 3 】，则它们的唯一交点为： 3 1 2 灭点的表示 令 即 在透视投影中， 孝r _ ( 受磊 ，7 27 7 3 磊直 7 7 37 7 1 缶磊 7 7 17 7 2 设三维空间刀条平行线厶，三：，厶，厶在投影平面石上的投影直线为， ，o 【玎，髭，d 】，“【玎n ，n ，西o 】，佃【砰，砭，西帕】( f = 1 ，2 ，胛) 打疗 令= i = 1 上，则 玎n ，2 =玑，3 = n 厂( x ) = ( x ，o ) 2 ( 石) = ( x n 2 ，；l，拳l = lx i 玎d + 屯+ 恐引 、，= i，窜lj = l = ( g i r l + 而厶+ 恐厶) 2 3 - ( 2 ) ，若点x ( x l ，x 2 ，x 3 ) 位于平n ；r = 彳砰+ 鬈2 而2 + 毛2 而2 + 2 乞五岛+ 2 厶而屯+ 2 1 2 1 3 x 2 x , 要：2 彳x + 2 ，i 乞而+ 2 厶屯：o ，、a f ：2 学+ 2 1 1 1 2 x i + 2 乞，3 恐：o o f ：2 9 恐+ 2 厶而+ 2 厶厶而：0 乞 h 圳枷 3 - ( 3 ) 3 - ( 4 ) 3 - ( 5 ) 令x ，专耐n ，则点x 为直线簇州n ，p ) ( 扛l ，2 ，2 ) 的公共交点。 j = l 1 8 硝 ，叼2 2 ，勺，1，眨2，唿，吁，：_，q 。，l 第三章基于单幅图像的交互式建模 用记号l ( x ) 表示上述直线簇。 在齐次坐标系中，第3 坐标毛具有特殊意义，所以存在以下情况： ( 1 ) 当毛0 时， 若o ，乞0 ，方程3 一( 5 ) 表示表示一条直线【f l 乞厶】，方程为 而+ 而如+ 恐毛= 0 3 一( 6 ) 若= o ，乞0 ，方程3 ( 5 ) 表示平行于x 轴的直线【o 乞厶】 若0 , 2 = o ，方程3 一( 5 ) 表示平行于y 轴的直线【0 厶】 若= o ，乞= o ，方程3 - ( 5 ) 表示无穷远直线以圪【o 0 1 】 ( 2 ) 当厶= 0 时， 若o ，如o ，方程3 一( 5 ) 表示过原点的直线【乞0 】 若= o ，乞o ，方程3 - ( 5 ) 表示x 坐标轴【o 1 0 】 若o ，乞= o ，方程3 - ( 5 ) 表示y 坐标轴d 圪【l 0 0 】 若= 0 ，乞= 0 ，方程3 一( 5 ) 在齐次坐标下无意义。 3 1 3 拟合算法 方程3 ( 5 ) 示一条直线方程，可以使用向量相乘的方法求解最终交点。 将直线簇，( x ) 的直线按斜率排序，使得勺勺。，( 勺表示直线的斜率) ，排序 后的直线仍然以【巧n ，砭n ，1 】， ，妒】，”) 【巧刖，砭刖，”】( 扛1 ，2 ，z ) 表示。 令 1 9 青岛大学硕士学位论文 则) 严即为所求交点。 实际上，方程3 ( 6 ) 的直线斜率是直线簇，( x ) 中所有直线斜率的平均值。 设平面上刀条直线的齐次坐标为，1 皤n ，砭，1 】，p 【玎，巧”】( f = 1 ，2 ，疗) 根据射影几何理论，可令 ， 哗掣f ) 】= 黔纠删出小名川 3 邶， 刀1 月疗 i k i 乳戳卟一 i = ilj = l j = l j n月 等o 掣 上l ，上l ，1， 拧珂 其中同一条直线的不同齐次坐标的关系用记号“一”表示。 3 - ( 9 ) 和直线n ) 的每个分量是直线簇，( x ) 所有分量和的平均值，在几何上表示直 i = 1 线簇中所有直线的总走势。 分析：将直线簇，( z ) 按斜率排序后分为( x ) ，胪( x ) ，则，爿( x ) ，b ( x ) 即为直 线簇，( x ) 中各直线交点的重心。 设x ( i ( 墨u 硝 令 ) 为拟合交点，( 1 f 聆) 为第i 条平行线的坐标， ) = ，o ，i * j 2 0 舀j 胞一瑚 矽 栊一硝 ) ， 砰 肌瑚 川i j l主舭 矽 窆舭 ，i 窆舭 。l p。_=l 爿 8 八匕“匕 ， ， 彳 口 “匕“屹 ， ， 彳 占 “q “q r l r l 第三章基于单幅图像的交互式建模 则 f ( x ) = ( x 一) 2 t = lj = l 同理得： 善= 2 善n 缶nc _ 掣) ) - 。 e x ：l d 一一i = 1j = l 而2 尹 吐u 1 o t = lj = l 而2 丁 ，葛2 午 3 - ( 1 0 ) 3 一( 1 1 ) 3 - ( 1 2 ) 3 - ( 1 3 ) 即：点x 是由所有实际交点x ( u 组成的多边形的重心，