（机械设计及理论专业论文）基于未定标图像的三维模型重建.pdf

大连理工大学硕士学位论文 摘要 基于图像的建模技术( i m a g e - b a s e dm o d e l i n g ，i b m ) 是近年来兴起的基于图像的图形 学方法的重要研究内容，也是计算机视觉的重要研究领域。该技术基于数码相机、数码 摄像机等各种高性能数字化设备拍摄得到的数字图像，提取结构信息，重构场景或物体 的三维几何模型。 未定标图像的三维模型重建技术是i b m 中的一个重要分支，是指只需要场景或物 体的不同视点序列图像就可以重构出场景或物体的三维几何模型。本文对该技术的研究 包括立体匹配、相机自定标、特征点三维重建、纹理映射等内容。 立体匹配是计算机视觉研究的一项重要课题，本文研究了一种基于角点提取的立体 匹配算法。首先使用最小同值分割吸收核( s u s a n ) 方法判断左右图像的边缘点是否为 角点。然后根据角点间的特征相似度，建立起左右图像中被保留角点的匹配关系。利用 加权归一算法估计基础矩阵的基础上，引入逐次去除异常匹配点，进行迭代计算，对基 础矩阵求精。 相机自定标及对应特征点三维重建是三维重建技术中的关键闯题。相机自定标包括 相机内参数和相机外参数计算。本文根据基础矩阵估计相机焦距的方法，引入半定标矩 阵来计算相机内参数；根据本质矩阵来计算相机的外参数。对应特征点的三维重建是根 据三角测量的方法计算其投影矩阵，然后用奇异值分解求出特征点的三维齐次坐标。 本文中的纹理映射是将二维图像的纹理贴到三维框架表面，从而提高模型的可视 性，达到“照片级”的视觉效果。本文以特征点为节点对二维图像进行三角剖分，然后将 每个三角形纹理图像一对应地贴到重建的三维模型表面。 基于上述研究，本文开发了一个基于未定标图像的三维模型重建系统，包括自动与 互动方式相结合的图像角点提取及匹配，基础矩阵的估计及求精，相机的自定标，特征 点三维重建和纹理映射等模块，能够得到较好的三维模型重建结果。 关键词：基于图像的建模；三维重建；相机定标；基础矩阵；三角剖分 基于未定标图像的三维模型重建 3 ds u r f a c er e c o n s t r u c t i o nf r o mu n c a l i b r a t e dv i e w s a b s t r a c t t h et e c h m q u eo fi m a g e b a s e dm o d e l i n gi si m p o r t a n tc o n t e n ti nc o m p m e rg r a p h i c sa n d c o m p u t e rv i s i o n t h i st e c h n i q u ec a l l e x 打a c ti n f o r m a t i o no fc o n s t r u c t i o n , r e c o n s t r u c t3 d m o d e lf r o md i g i t a li m a g e sw h i c h c a p t u r e db yd c ，d v a n ds o m eo t h e rd i g i t a le q u i p m e n t s t h et e c h n i q u ef o r3 ds u r f a c er e c o n s t r u c t i o nf r o m t w ou n c a l i b r a t e dv i e w si sa l li m p o r t a n t b r a n c hi ni m a g e b a s e dm o d e l i n g ，w h i c ho n l yn e e d ss e v e r a li m a g e sw i t hd i f f e r e n tv i e w - p o i n t s w es t u d ys o m et e c h n i q u e si nt h i sf i e l d , i n c l u d i n gs t e r e om a t c h i n g ，c a m e r as e l f - c a l i b r a t i o n , f e a t u r ep o i n t s 3 dm o d e l i n ga n dt e x t u r em a p p i n g ，e t e s t e r e om a t c h i n gi sa l li m p o r t a n tt a s kf o rt h es t u d yo fc o m p u t e rv i s i o n as t e r e om a t c h i n g a l g o r i t h mb a s e do nc o m e rd e t e c t i o ni ss t u d i e d f i r s t , t h e s m a l l e s tu n i v a l u es e g m e n t a s s i m i l a t i n gn u c l e u s ( s u s a n ) a p p r o a c hi su s e dt od e t e c tw h e t h e rt h ep i x e l so nt h ee d g e si n t h el e f ta n dr i g h ti m a g e sa r ec o m e r s ，a n dt h ec o r r e s p o n d e n c er e l a t i o n s h i pb yt h er e t a i n e d c o m e r si se s t a b l i s h e db e t w e e nt h ec o r r e s p o n d i n ge o m e i so ft h el e f ta n dr i g h ti m a g e s a c c o r d i n gt ot h et h es i m i l a r i t yo f t h ef e a t u r e so ri n t e r a c t i v e l y t h e nt h ef u n d a m e n tm a w i xi s e s t i m a t e df r o m m a t c h e dc o m e r sb y 锄i m p r o v e dw e i g h t e dl i n e a ra l g o r i t h m w h i c hi sb a s e do n t h ee p i p o l a rg e o m e t r ya n dt h ea b s o l u t ec o m ct h e o r y t h ec a m e r as e l f - c a l i b r a t i o na n dt h ef e a t r u ep o i n t s 3 dm o d e l i n ga r et w ok e yt e c h n i q u e s i ni m a g e b a s e dm o d e l i n g c a m e r as e l f - c a l i b r a t i o ni n c l u d e st h ec o m p u t a t i o no fc a m e r a i n t r i n s i c p a r a m e t e r sa n dc a m e r ae x t e r n a lp a r a m e t e r s b a s e do nf u n d a m e n tm a t r i xa n d s e m i - c a l i b r a t e dm a r x ，t h ec a m e r ai n t r i n s i cp a r a m e t e r sa r ec o m p u t e d t h e nt h ee x t e r n a l p a r a m e t e r sa r ec o u m p u t e db ye s s e n t i a lm a t r i x f e a t u r ep o i n t s 。3 dc o o r d i n a t e sa r ec o m p u t e d t h r o u g hs i n g u l a rv a l u ed e c o m p o s i t i o no fp r o j e c t o rm a t r i x ，t h e nc o m p u t ep r o j e c t o rm a t r i xb y t r i a n g u l a t i o n ar e a l i s t i c3 ds u r f a c em o d e li sb u i l tb ym a p p m gt h et r i a n g u l a rt e x t u r e st ot h e3 d s t r u c t u r es u r f a c e t r i a n g u l a rt e x t u r e sa r ea c q u i r e db yd i v i d i n g2 di m a g ew i t ht r i a n g u l a t i o n w eh a v ed e v e l o p e da3 ds u r f a c er e c o n s t r u c t i o ns y s t e mf r o mu n c a l i b r a t e dv i e w s ，w h i c h i sb a s e do na b o v ev a r i o u sk i n d so f i m p r o v e da l g o r i t h m s t h i ss y s t e mi sp r o v e nt ob ee f f e c t i v e a n ds a t i s f a c t o r y k e yw o r d s ；i m a g e - b a s e dm o d e l i n g ；3 dr e c o n s t r u c t i o n ；c a m e r ac a l i b r a t i o n ； f u n d a m e n tm a t r i x ；t r i a n g u l a t i o n i i 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均己在论文中做了明确的说明并表示了谢意。 作者签名：垂查 日期：垒! ：生箩 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 南 作者签名：! 型 导师签名 笋阢例 兰丑年- l 月日 大连理工大学硕士学位论文 1 绪论 1 1 基于图像三维模型重建的研究背景及意义 基于图像的建模技术i 卜3 】就是指用预先获得的一组图像来表达场景的形状和外观， 从中恢复相机的运动参数和物体的三维几何形状的问题。从计算机图形学的角度研究基 于图像的三维重建技术是一个新的研究方向，它利用若干幅图片来重构物体和场景的三 维模型，该技术研究涉及图像处理、计算机图形学、计算机视觉以及模式识别等诸多学 科。目前，基于图像重建技术已经成为一个研究热点。与传统的利用建模软件或者三维 扫描仪得到立体模型的方法相比，基于图像重建的方法硬件成本低廉，真实感强，因而 具有广泛的应用前景。从理论上说，基于图像重建实际上是计算机图形学的逆问题。如 何根据受干扰或者不完整的二维信息来恢复三维信息是这项技术的一大难点，也是计算 机视觉的一大难点。 最近几年，随着数字化技术的不断发展、硬件装置价格的不断下降、计算机性能的 不断提高，数码相机及摄像机已经被普遍的应用到日常生活中。存在大量的由数码相机 及数码摄像机所获得的数字图像。利用基于图像的三维模型重建技术，可以直接从图像 中为重建几何模型抽取纹理和光照信息，从而构建出具有“照片级”真实感的三维模型， 恢复图像中的三维场景，给人们带来视觉上的震撼的效果。三维建模技术只需通过数码 相机或摄像机对场景进行拍摄( 采样) ，对采样数据进行计算来生成场景的三维坐标， 具有逼真、快速、简洁等优点。 基于图像的模型重建可在普通微机上进行，研究成果可应用于虚拟现实、文物数字 化、影视特技等领域。目前，三维模型重建技术已经得到广泛的应用。例如文物、考古 及文物遗址保护中，利用三维模型重建技术可以有效地对其保存和重建；在现实生活中， 也常常要将大楼景观实现计算机化，同样需要三维模型重建技术使其具有动态展示和交 互式观察的效果。基于图像的三维模型重建技术具有建模逼真、运算速度快、占用系统 资源少等特点，因此该技术的研究具有重要的理论意义和实用价值。 1 2 基于图像三维模型重建的研究现状 图像中含有大量的信息，在开始进行场景重建时，首先要提取参考图像的特征；对 多幅参考图像间的特征进行匹配，建立特征间的对应关系；由特征对应关系估计结构， 并迸一步由结构建立参考图像像素点之间的密集对应关系；对相机进行自定标，重建成 像几何模型，根据成像几何模型对对应特征进行三维重建，重建场景的特征点后，通过 三角网络剖分及纹理映射技术建立三维场景的几何模型。三维模型重建的方法般分为 基于未定标图像的三维模型重建 被动和主动两种 4 1 。主动式的方法是利用激光扫描，获取物体的三维信息，然后重建出 物体的模型。主动式的三维模型重建技术应用较为广泛，主要应用于数字物体模型。而 且它的几何精确度也在不断的提高。但是，主动式的三维模型重建技术的仍然存在一些 缺点，如成本太高等。由于它的入侵性，比如像头发这样的材料，就不能利用主动式的 方法来实现三维模型重建：主动式的方法也有对重建物体尺寸的要求，尤其是对于太大 的物体或者是户外的场景都不适合主动式的方法。相比而言，被动式的方法就有很多优 势。被动式的方法是从手持照相机搜集的图像中重建三维模型，是一种基于图像的三维 模型重建方法。只需要很低成本的硬件，没有场景尺寸的限制，而且可以较好的保持纹 理信息。 从图像匹配的疏密程度上分，基于图像的三维模型重建又可分为稀疏的和密集的两 种建模方法。基于未定标的图像的建模方法，是典型的稀疏方法 5 1 。这种方法要计算 或跟踪相机的位置，不必计算出所有可见的点，只需要重构出稀疏分布点的三维坐标。 对于己定标的图像可采取密集方法，它是包括传统的立体匹配、近代的同时重构物体体 素点方法和深度图像重构方法降】。密集的方法最大的缺点就是它只可以重构光滑的表 面，特别是从手持相机搜集的图像，而且在计算的时候需要大量的时间和内存【9 】。在实 际应用中，可以从未定标的图像重建三维模型【6 ，7 1 ，用稀疏的方法引入立体密集匹配来建 立匹配点对【i7 】，然后将二维图像三角剖分，将所生成的三角纹理对应的贴到模型表面上， 形成最终的三维模型。 从建模所需源图像的多少和类型来看，基于图像的三维模型重建分为：基于单幅图 像重建几何模型、采用立体视觉方法重建几何模型、基于侧影轮廓线重建几何模型、基 于深度图像重建几何模型、未定标图像恢复场景的几何和相机运动等。 1 2 1 基于单幅图像重建几何模型 基于单幅图像的三维模型重建的传统方法是从明暗、纹理、焦距【1 5 l 及几何属 性等线索提取三维信息。这些方法虽然只需要一幅图像，但是对图像的内容有一定的限 制，不能广泛利用。然而在近期的计算机图形学领域研究中发现，引入适当的用户交互 后，可以非常有效地简化单幅图像重建问题。由用户交互指定的灭点信息和几何不变量 可以实现分片平面模型的几何重建【】钮o l ；s h t t m 等利用一个基于用户输入的约束系统从 全景图中恢复出了类似的几何模型 2 1 】；d e v e v e c 等从一些参数化的基本几何形体出发实 现了建筑场景的交互建模隰1 。 大连理工大学硕士学位论文 1 2 2 采用立体视觉方法重建几何模型 基于立体视觉重建三维几何模型是根据两幅或多幅已经定标的图像。来重建出场景 的几何模型f 2 3 , z 4 1 。立体视觉的基本原理是三角测量原理：对于已经定标的两幅图像( 即相 机的内部参数和外部参数都是已知的) ，假设我们在两幅图像上找到了一对对应点( 即它 们是场景中物体表面上同一点的投影) ，则由两幅图像的投影中心出发，分别经过这一 对对应点的两条直线在空间中将交于一点，这样我们就得到了场景中物体表面上某一点 的三维坐标。假如我们能够得到物体表面上所有点的三维坐标，则该三维物体的形状和 位置就是惟一确定的。寻找对应匹配是立体视觉方法中最重要，也是最困难的工作。考 虑到物体表面大多不是理想的表面，因此，同一空间点在不同图像上的投影点的亮度值 并不完全相同，反过来，具有相同亮度值的图像点未必是空间同一点的投影。此外，由 于景物空间中存在着多种遮挡关系，从而导致图像上的相邻像素点在三维空间中的对应 点常常并不连续。这些因素都使得单纯依靠亮度值来比较对应匹配算法遇到了极大的困 难。目前，人们主要通过引入极线约束来得到比较鲁棒的匹配，极线约束使得对应点的 搜索范围由二维缩减为一维，从而大大提高了特征检测和匹配的精度。文献 2 5 1 中对现 有的各种对应匹配算法进行了分类和比较。 1 ，2 3 基于侧影轮廓线重建几何模型 物体在图像上的侧影轮廓线是物体几何形状的一条重要线索。当以透视投影的方式 从多个视角观察某一空间物体时，在每个视角的画面上都会得到一条该物体的侧影轮廓 线，这条侧影轮廓线和对应的透视投影中心共同确定了三维空间中一个般形状的锥 体。因为此类算法一般需要大量的多视角图像，所以图像的定标工作就交得非常复杂。 m a r t i n 等最早提出了用多幅照片生成可见外壳的方法【2 6 1 ，利用真实物体在照片上的侧 影轮廓线实现了物体的三维重建；c h i e n 等采用了八叉树结构来表示物体的可见外壳1 2 ，】； p o t m e s i l l 2 8 】和s z e l i s k i l 2 9 1 同样建立了可见外壳的八叉树表示，但输入改为从任意视角拍摄 的透视投影照片。这些方法，都要进行物体的侧影轮廓线与所有八叉树节点投影的求交 测试。但是因为八叉树节点在图像平面上的投影为多边形，所以这是一项非常耗时的工 作。为了克服这一问题，l i u 等通过引入自适应采样距离场来简化求交过程【3 0 l ；m a t u s i k 等采用了计算机视觉中的极线几何技术来加速可见外壳的计算 j t - 3 3 1 。m o e z z i 等 3 4 1 构建 了一个由放置在不同位置的1 7 架摄像机组成的动态场景建模系统，但该系统需要离线 处理。m a t u s i k 等将可见外壳的求交运算转换到图像空间进行【3 2 】，大大加快了求交速度， 实现了场景的实时建模和绘制。这些方法虽然加快的了计算速度，但是仍因为非常耗时， 所以至今尚无实时方面的应用。 基于未定标图像的三维模型重建 1 2 4 基于深度图像重建几何模型 在某些对模型精度和模型复杂度有较高要求的场合，采用深度图像重建几何模型的 方法得到了广泛的应用。深度图像类似于一幅具有研以个像素点的普通图像，不同的 是每个像素点位置上存储的不是颜色值，而是场景中物体表面各采样点的深度值。生成 深度图像的方式有多种，包括采用结构光源、激光传播时间计量、雷达、声呐以及其他 一些计算机视觉的手段。由于场景中经常存在多种遮挡关系，所以很难得到场景中所有 物体表面的深度采样，只能褥到不完整甚至不正确的重建模型。为了克服这一问题，提 出了一些弥补重建结果中的缺陷的算法p “。 1 2 5 未定标图像恢复场景的几何和相机运动 传统的三维重建方法都需要预先对相机进行定标。近几年，众多研究者致力于如何 相机自定标工作的研究，希望仅仅通过两幅或更多幅未定标的图像同时恢复出场景的几 何和相机的运动。这对于场景重建而言有很多好处：在拍摄过程中，我们可以自由移动 相机的位置并根据需要调节相机的焦距；其次，重建结果不会受不准确的定标信息或拍 摄过程中相机参数的微小改变等因素的影响；最后，我们可以利用某些无法得到定标信 息的图像或视频进行场景重建。t o m a s i 等吲利用仿射分解的方法从图像序列中恢复出 了场景的几何和相机的运动，但是该方法是以对于平行投影为假设前提的。此后，透视 投影相机模型被普遍采用1 3 刖。自定标方法对于场景本身无特殊要求，但这种方法极大地 依赖于图像间对应点的匹配精度，因此对图像噪声比较常敏感。在相机自定标之后，就 可以利用上述的采用立体视觉方法来重建几何模型。所以关键问题就是集中在对应点的 匹配精度、基础矩阵求精和相机自定标上。 1 3 基于图像三维模型重建的关键技术 ( 1 ) 立体匹配 立体匹配是计算机视觉中的重要内容，其本质是给定一幅图像( 左图像) 中的一点， 在另一幅图像( 右图像) 中寻找与之对应的点，使这两点为场景空间同一点的投影。 目前，常用的立体匹配方法主要可分为两类：基于特征和基于区域的方法。基于特 征的匹配方法先提取图像的特征，常用的特征有边缘、角点、直线段和曲线段等，然后 对提取的特征进行匹配，利用这种方法对图像进行匹配，虽然可以得到比较精确的匹配， 但是仅能获得少量稀疏的像素的视差值，难以得到高密度的视差图；基于区域的匹配方 法一般应用于纹理图像，对于一幅图像中的兴趣点为中心的小块区域，在另一幅图像中 寻找灰度相似的区域与之匹配，用这种方法可以得到高密度的视差图，但是它假定匹配 一4 一 大连理工大学硕士学位论文 区域中的每个像素具有相同的视差值，因此当匹配区域的实际像素视差值变化范围比较 大时，利用这种方法得到的匹配精度不够高。 在基于特征的匹配方法中，c o r d e l i a s c h m i d ，r o g e r m o h r 3 9 利用灰度不变量来建立两 幅图像间特征点集的匹配关系，该算法首先计算特征点的灰度不变量，然后利用马氏距 离( m a h a l a n o b i s ) 来衡量两灰度不变量之间的相似度。由于灰度不变量对噪声比较敏感， 所以算法中还利用领域一致性约束来提高匹配精度。针对马氏距离计算较困难的问题， 徐斌、卢朝阳l 蜘利用改进的欧氏距离来代替马氏距离，对灰度不变量的各个分量做归一 化处理后，再计算欧氏距离。z z h a n g ，r d e r i c h e l 4 l 】首先利用互相关系数获得特征点集 之问的初始匹配，然后利用对极几何约束改进初始匹配。m p i l u l 4 2 】以两匹配点集间的每 对点的互相关系数值为元素，建立相似矩阵( p r o x i m i t ym a t r i x ) ，然后通过对相似矩阵 进行奇异值分解的方法，获得两特征点集间的匹配关系。 在基于区域的匹配方法中，常用的有利用模板进行匹配的方法和利用区域增长进行 匹配的方法。利用模板进行匹配的方法用视差连续性约束，通过比较两模板所覆盖的区 域内像素灰度值来建立匹配关系，对于一幅参考图像中某一矩形区域，在另一幅图像的 全局范围内寻找一自适应的、尺寸可变的矩形区域与之匹配 4 3 1 。在匹配过程中，由于待 匹配的矩形区域内的像素点的视差并不一致。因此，使用这种方法进行匹配时，精度会 受到影响。在文献【4 4 】中，为了提高匹配的精度，待匹配的区域的像素点视差值按实际 概率分布函数进行处理。利用区域增长进行匹配的方法1 4 5 a 6 适用于纹理图像，首先在两 图像间选取若干个兴趣点作为种子点( s e e dp o i n t s ) ，建立种子点之间的匹配关系，并 形成一个种子匹配队列，每次从队列中选取最可靠的一对匹配点作为种子，进行区域增 长并搜索匹配区域，寻找匹配区域中像素点间的匹配关系，并把得到的匹配点对加入到 匹配队列，同时把已完成区域增长的种子点对从匹配队列中移出，直到种子队列为空时， 匹配停止。唐丽，吴成轲【4 7 1 提出了一种新的基于区域增长的立体像对稠密匹配算法，该 算法也适用于存在较大视差的未校准的和具有稀疏纹理的图像，首先采用一种两层算法 匹配种子点，然后将匹配关系从已匹配的种子点传播至图像的其余部分，在区域增长过 程中，为了提高匹配精度，用新的加权差值平方和准则作为目标函数，并且模板窗的大 小根据其中包含的纹理数量动态调整。 ( 2 ) 基础矩阵求解 基础矩阵是极线几何及计算机视觉中的重要概念，基础矩阵是3 阶2 秩的矩阵。极 线几何关系可由基础矩阵表示。基础矩阵不但包含相机的内外参数信息，而且还可把对 应点匹配问题的搜索范围限制在其所确定的一对对应极线上。因此，基础矩阵是运动估 基于未定标图像的三维模型重建 计、立体匹配、相机定标及三维重建的基础1 1 6 j 7 1 如何尽可能准确且自动地计算基础 矩阵是计算机视觉研究中的一个重要课题。 计算基础矩阵通常有线性和非线性两种方法。常用的线性算法有八点算法和改进的 八点算法。l o n g u e t - h i g g i n s 4 8 给的八点算法是一种快速且易于实现的线性算法，但它 对噪声异常敏感，很难在实际中应用。f a u g e r a s 3 s 喇用射影几何知识对未标定图像进行 研究，给出了投影矩阵可简化为两个投影参数的函数，并由此得出了投影中心和极点的 表达式，获得了基础矩阵的基本关系式。h a r t l e y i ”】在提高八点算法的稳定性方面做了较 大改进，给出了改进的八点算法，它通过在计算前对数据进行平移和尺度变换的规范化 处理，减少了噪声的干扰。常用的非线性算法有m 估计法、最小中值法( l m e d s ) 、六点 综合算法和双对极约束算法等1 5 1 - 5 5 1 ，它们均把问题最终归结为无约束最优化问题，求解 时一般都采用了非线性最小二乘法。 不论是线性算法还是非线性算法，它们对异常匹配点( e x c e p t i o n a lp o i n t ) 都非常敏感， 如果不经任何处理就直接利用含有异常匹配点的原始匹配点，会影响基础矩阵的精度， 甚至得到错误的基础矩阵。而实际上，原始匹配点由于噪声、取整等方面的原因，会不 可避免地存在不同程度的误差，即存在一些异常匹配点。因此，本文提出了一种逐次去 除异常匹配点的基础矩阵迭代计算方法。 ( 3 ) 相机自定标 相机的自定标方法不需要任何参考物，只需要被定标的相机拍摄的图像及图像之间 的对应关系，并保证相机内部参数恒定，就可以定标相机。在基于图像的建模与绘制系 统中，由于已知信息仅为某场景的若干幅原始图像，并且无法得知拍摄图像时的相机内 外参数信息，因此需要应用相机自定标技术，恢复成像几何模型。 基于图像的相机自定标一般利用绝对二次蓝线和外极线变换性质对相机进行自定 标的方法【5 6 】。k r u p p a 方程把外极线变换与曲线w 联系起来，曲线w 是绝对二次曲线 ( a b s o l u t ec o n i c ) q 在成像平面上的投影曲线。绝对二次曲线投影到成像平面上，仍然 是一条二次曲线，其投影变换的关系由相机内参数确定。二次曲线w 由与之相切的外极 线确定。因此k r u p p a 方程提供了一种从外极线变换求解相机内参数的方法。外极线变 换与相机的运动相联系，为了解析二次曲线方程，必须至少利用三次外极线变换，即相 机必须至少运动三次。绝对二次曲线是无穷远平面上的一条特殊的曲线，具有在刚体 运动下不变的性质，因此它在成像平面上的投影曲线与相机的运动无关，只取决于相机 的内参数矩阵。利用绝对二次曲线的透视变换及外极线的同构变换性质，在理论上揭示 了相机内参数与多幅图像间所遵守的结构内在联系，并在相机做三次运动的情况下，给 出了关于相机内参数的六个约束方程。利用该方法，可较全面和精确的估计相机内参数， 大连理工大学硕士学位论文 但是在计算过程中，需求解一个六元二次方程组，这点是很困难的，并且即使求出方程 组的解，也非常耗时。因此这种方法很难应用在硬件条件较低或者实时性要求较高的定 标系统中。 p e t e r 提出了种根据基础矩阵估计相机焦距的简洁而有效的算法 5 刀。在不失一般 性的情况下，算法假设：相机成像平面为般意义上的矩形平面；主点位于成像 平面的中心：成像像素块宽高比率f 已知；主点、比率f 及相机焦距对两幅参考 图像保持不变。算法中还引入半定标矩阵( s e m i - c a l i b r a t e dm a t r i x ) g ，并揭示了半定标 矩阵g ，极点及焦距之间存在的关系。由此计算相机焦距。该算法计算简捷，但由于它 建立在若干假设的基础上，因此计算精度会受到一定的影响。 1 4 本文的主要研究内容 本文工作的主要内容包括； ( 1 ) 研究了图像角点的提取及其匹配，在自动和交互两种模式下，可以在两幅图像 间建立角点的对应关系。 ( 2 ) 针对统一场景不同视点的两幅参考图像，利用图像角点匹配对，估计基础矩阵， 并求精基础矩阵。 ( 3 ) 研究了基于两幅图像的相机自定标方法，该方法可以比较准确的计算出相机的 内、外参数。 ( 4 ) 两幅图像问对应角点的三维重建，可生成图像中可见场景的三维框架结构。 ( 5 ) 在o p e n g l 环境下，研究了三维模型的纹理映射方法，可以使生成的三维模型 具有“照片级”的真实感。 ( 6 ) 研究了二维图像下的三角剖分算法，可以根据角点对图像自动和互动的优化三 角剞分，来满足三维模型纹理映射的需要。 基于上述内容，本文各章节的安排如下； 第一章：绪论，阐述了基于图像三维模型重建的研究背景和研究意义，并介绍了该 技术的研究现状。 第二章：阐述了针孔相机模型、相机内外参数和基础矩阵等概念，论述了在归一化 坐标系下和像素坐标系下的极线方程和对极约束。这些内容是基于图像的三维模型重建 的理论基础。 第三章：图像角点匹配与基础矩阵求解，研究了图像中角点的提取及其匹配的算法， 并根据两幅图像间的匹配点集估计并求精基础矩阵。 基于未定标图像的三维模型重建 第四章：相机定标，概述了相机定标的两类方法，论述了k r u p p a 方程运用绝对二 次曲线实现相机自定标的方法，并在简化相机模型下引入半定标矩阵求解出相机的内外 参数。 第五章：特征点三维重建与模型纹理映射，阐述三维重建的理论，并在上述各章工 作的基础上，利用三角测量的方法实现了三维模型重建。研究了二维图像的凸包算法和 d d a u n a y 三角剖分算法，在o p e n g l 下将剖分的三角片纹理跌射到三维模型表面，使模 型达到了“照片级”真实感的效果。 总结：总结本文的主要工作，并对以后的工作做出展望。 一8 一 大连理工大学硕士学位论文 2 对极几何基础理论 2 1 针孔相机模型 针孔相机模型( p i n h o l e c a m e r a m o d e l ) 是常用于三维计算机图形学、计算机视觉的 成像几何模型，它是一种理想的成像模型，其物理上相当于薄透镜成像，成像显示是线 性的，具有简单实用的优点，而又不失准确性。所以常用针孔相机模型来代替实际的相 机1 5 引。针孔相机的成像几何关系称为透视投影( p e r s p e c t i v ep r o j e c t i o n ) 。 首先定义相机坐标系c 一n 2 ，如图2 1 所示。该坐标系原点在薄透镜中心c ，c 也 叫投影中心( p r o j e c t i v ec e n t e r ) 。薄透镜光轴方向为坐标系z 轴方向，过点c 且与图像 平面( i m a g ep l a n e ) 平行的平面称为焦平面( f o c a lp l a n e ) 。三维空间点膨在该坐标系 中的坐标m 。记为( k ，圪，z c ) ，在图像平面上的投影m 的坐标聊。表示为( 砟，y 。) 。图像 平面上建立图像二维坐标系c 一驯，其原点位于光轴与图像平面的交点c ( 该点称为主 点，p r i n c i p a l p o i n t ) 。焦心到图像平面的距离为焦距，。针孔相机模型的成像几何关系 可表示为： 立：墨：上 x c z c 图2 1 针孔相机模型 f i g 2 1p i n h o l e c a m e r a m o d e l ( 2 1 ) 基于未定标图像的三维模型重建 在应用过程中，常常在光轴上与实际图像平面对称的位置设置一个虚拟图像平面r ( v i r t u a li m a g ep l a n e ) ，如图2 2 所示，并以焦心为对称中心，把图像平面上的像点对 称映射到该虚拟像平面上。虚拟平面上像点m 与三维空间点彪仍满足透视投影的变换 关系。在以后的应用中，常常把虚拟平面作为图像平面。 在投影模型中，用齐次坐标的形式表示像点研与三维空间点m ：m 。= 。，v 。，w ，) ， = ( z c ，圪，z c ，1 ) ，则有删j ： ( 2 2 ) 上式中t = 警，儿= ，其中3 x 4 的矩阵叫做投影矩阵( p r o j e e t i v e m a t r i x ) ， 蜂蟛 表示从三维空间点到像点册的变换关系，用尸表示。则上式可简记为：豫= p 如。 c o 口d c 对 一， 图2 2 使用虚拟图像平面的针孔相机模型 f i g 2 2p i n h o l ec a m t am o d e lu s i n gv i r t u a li m a g ep l a n e k 乙。 叫洲q 0 0 lo ，o ，o o _，l = 1j _。l 大连理工大学硕士学位论文 ( 1 ) 相机内参数 在图像平面上，为了表示像素点的位置，需要引入另一种坐标系，该坐标系称为像 素坐标系。像素坐标系有其特殊性，以图像平面上最左上角的像素点为起始位置，向右 第f 列、向下第_ ，行的像素点的位置坐标记为o 一1 ，一1 ) 。因此，图像平面中，像素坐标 系o - - 孵的原点口位于图像的左上角而不是主点c ，并且像素块也不总为矩形形状，城v 两坐标轴之的夹角记为口( 角口的余角) ，如图2 3 所示。设丸，乜是”，v 轴上的单位在 图像坐标系中的度量值，其值由实际设备的采样率确定。 。，v 。) 是图像坐标系的原点在 像素坐标系中的坐标。相机内参数( c a m e r a i n t r i n s i c p a r a m e t e r s ) 是指目，丸，j | ， v n 五个参数。 在像素坐标系中，并不与图像坐标系相同：原点并不与主点重合、两坐标轴的单位 由实际设备的采样率确定，它们并不一定相等、两坐标轴也不一定为直角。为了处理这 些问题，需建立像素坐标系和图像坐标系间的仿射变换关系。 令m 。= b ) ，i r ，m 雕= 西1 ，i r 分别为点m 在图像坐标系和像素坐标系中的齐 删肚= 谢一瞻 屯c o t o s i n b o 由式2 2 可知：聊哪肌c ，表示在相差一个非零常数因子意义下相等。 由上述可知：加雕= 砌惦一觋，记p ，= 船为三维空间点到像素坐标系下的像 f oo o 陋k c o t 8 0 1 素点的投影矩阵，2 1 ：吾? 纠3 【。0 以? n 护o 。0 j 图2 3 图像平面上的坐标变换 f i g 2 3c o o r d i n a t et r a n s f o r m a t i o no nt h ei m a g ep l a n e 基于未定标图像的三维模型重建 r a 。吼c o t 毋甜o 记吼= 以，q = 以，矩阵户前三列构成的矩阵记为置：k = 10q y ol ， 【0 01j 称为相机的内参数矩阵。 为了简化问题的处理，又引入归一化坐标系，该坐标系是定义在图像平面上的二维 坐标系。三维空间点m ( x c ，匕，z c ) 在图像平面上的像点m 在归一化坐标系下的坐标 yy ( 粕，) 为：x , v = 等，= 笋。若用归化坐标系表示图像平面上的像点，则投影 1 00 0 1 矩阵日具有非常简单的形式：p = 10 100l 。则像素坐标系下的投影矩阵尸，与归 【0 01 0 j 一化坐标系下的投影矩阵昂问存在如下关系： p = 弛 ( 2 3 ) 对于像点研，其在归一化坐标系中的坐标( h ，y ) 和在像素坐标系中的坐标 ，v ) z 间的变换关系为： lvl 】r = k k 。y 1 】r ( 2 4 ) 由上述可知，将像点转化到归一化坐标系下后，其坐标则与相机的内参数无关。这 有助于把相机的内、外参数分开来考虑。当只关注于相机外参数变化情况时，不必考虑 相机的内参数。 ( 2 ) 相机外参数 相机外参数( c 锄e 豫e x t r i n s i cp a r a m e t e r s ) ，也叫运动参数( m o t i o n p a r a m e t e r s ) 包 括旋转矩阵r 和平移向量t 两个参数，是为了表示相机的位置与方向的。相机外参数r 和 f 分别表示相机在世界坐标系中的方向和位置。为了表示相机的位置和方向，在场景中 建立固定的世界坐标系。一k z 。来表示三维空间点。三维空间点吖在世界坐标系中 的坐标为虬= i 兄乙r ，在相机坐标系中的坐标为m 。= i 墨z c r ，则点 在两坐标系中的变换关系为彪。= 尉缸+ ，把该式写成齐次坐标的形式： 大连理工大学硕士学位论文 阢z o 牡降牡z c l 】r ( 2 s ) 其中0 ，= 【0 0 o 卜 2 2 对极几何基本理论 在立体视觉中，可以发现对于空间任一点来说，第一幅图像的点和第二幅图像的对 应点一定位于两个摄像机的投影中心和该点所构成的平面上，这称为对极几何约束。如 图2 4 所示，c 和c 分别为两个相机的投影中心，r ，g 分别为投影中心c ，c 所在 的图像平面，连接投影中心c 和c 的直线为基线( b a s e l i n e ) ，基线与图像平面r ，矗7 的 交点为极点( e p i p o l e ) 。m 为三维空间中的一点，m ，m 为该点在两图像平面上的投 影点。点m 和投影中心c ，c 所确定的平面叫极平面( e p i p o l a f p l a n e ) ，极平面与图像 平面置，掣的交线称为极线( e p i p o l a rl i n e ) ，在图像平面中，所有的极线都交于极点。 若基线c c 7 与一图像平面平行，则该图像平面的极点位于无穷远处、极线彼此平行。图 2 4 中，1 7 l ，坍为两图像平面问的一对对应投影点，为对应极线。对应点历，m 与点c ，c 四点共面，这称为共面约束。 c 图2 4 对极几何 f i g 2 4e p i p o l a rg e o m e t r y 基于未定标图像的三维模型重建 图2 4 中，由对极几何知识可知，三维空间点m 在图像平面r 上的投影点m 在极线 ，上，则点m 在另一图像平面矗上的对应点m 必然在与，所对应的极线，上。即点m 的 对应点坍7 在与其所对应的极线，上。若已知点掰的位置，并根据共面约束，可确定对应 极线，。由于两相机的地位是对称的，因此同理，点研的对应点所也在与其所对应的极 线，上，并且若已知点历的位置，也可确定对应极线，。 因为两相机的相对位置关系由相机外参数确定，设第二个相机坐标系可由第一个相 机坐标系经旋转矗后再平移t 得到。则同一三维空间点在第一个相机坐标系中的坐标 c r ，只z ) 与其在第二个相机坐标系中的坐标( 石，r ，z7 ) 满足： 防yz - - 且防y z7 】+ r ( 2 6 ) f 吒l r 1 2 ，；3 l 其中：旋转矩阵r = l ，2 】，2 ：kl 为正交阵，有三个待确定参数，平移向量 l ，3 。，3 2 j r = kt ，t l r 。 2 2 1 归一化坐标系下的极线方程 将三维空间点m 在两相机的图像平面r ，r 上的投影点肌，聊7 在归一化坐标系中 分别用齐次坐标表示为：m = ( x ，y ，1 ) ，埘= ( x ，y ，1 ) 。点m 在第一个相机坐标系中的坐 标记为m = ( ，y ，z ) ，在第二个相机坐标系中的坐标记为m = 旺，y ，z ) ，则有： 埘= 警川= 等。由式2 1 6 有：材= r m ，即： 埘：互勘，+ 三 埘= 一直胁+ 一 zz ( 2 7 ) 令p ，。= _ 曼j 2 为平移向量，的斜对称矩阵，斜对称矩阵有如下一些性质： ( 3 ) 设d 为一含有三个元素的列向量，则有d 7 i t 。d = 0 。 大连理工大学硕士学位论文 式2 7 两边同时左乘以阴。，根据斜对称矩阵的性质有： f 】x m - - - - - ；【，】。胄辨，再用m r 对等式两边做点积，有：川7 f 】。埘= 聊7 f l 砌，) = o ，即可得到：研7 r 】。砌= 。，令 e = i t ，r ，则上式可写成： m 7 e m 7 = 0( 2 8 ) 其中，e 为本质矩阵( e s s e n t i a lm a t r i x ) ，其秩为2 ，包含相机的相对运动信息( 旋 转矩阵胄和平移向量f ) 。本质矩阵占由l o n g u