（机械制造及其自动化专业论文）基于图像的三维重建技术研究.pdf

摘要 随着网络化制造技术的不断发展，网上商品展示也越来越受到重视，现有的 电子商务系统都是展示商品的二维图像，如何根据这些商品的图像重建出商品的 三维模型将具有重要的研究意义。基于图像的三维重建是根据着干幅图片来恢复 物体和场景的三维模型的方法。该方法是一个交叉领域，涉及到计算机图像处理、 计算机图形学、计算机视觉以及模式识别等诸多学科。目前，基于图像的三维重 建技术已经成为一个研究热点。与传统的利用建模软件或者三维扫描仪得到立体 模型的方法相比，基于图像三维重建的方法成本低廉，真实感强，自动化程度高， 因而具有广泛的应用前景。此外，从理论上说基于图像三维重建实际上是计算机 图形学的逆问题。如何根据受干扰或者不完整的二维信息来恢复三维信息是这项 技术的一大难点，也是计算机视觉的一大难点。对基于图像重建技术的深入研究 可以促进对这些问题的理解和研究，推动相关学科的发展。 本文对三维重建技术进行了深入的研究，重点研究了交互操作三维重建方法 和立体视觉方法并对以后的工作进行了规划。本文的主要工作如下： 1 基于单视图测量理论开发出了一个交互操作的三维重建系统。单视图测 量理论主要是利用了射影几何中的交比不变性来计算图像上点的三维 坐标。该系统可以从单幅图像上通过手工交互方式重建场景的三维模 型。 2 对t s a i 的“两级”标定法进行了改进，在摄像机模型中全面考虑了镜 头的径向畸变和切向畸变，利用图像中心附近点畸变量较小的性质，提 出一种摄像机内外部参数和像差修正参数分离的标定方法。 3 开发了一个立体匹配软件。该软件通过提取立体像对的h a r r j s 角点作 为特征点，经过相关匹配、计算匹配强度、松弛法迭代、最小中值法等 步骤提取出立体像对上的匹配点对。 关键词：三维重建、s i n g l e v i e wm e t r o l o g y 、立体视觉、摄像机标定、立体匹配 浙江大学硕士学位论文abs7fract a b s t r a c t w i t ht h e e - m a n u f a c t u r i n gd e v e l o p i n g e - b u s i n e s s i s g e t t i n gr e g a r d ，h o w t o r e c o n s t r u c t i o nt h e3 dm o d e l so fm e r c h a n d i s ei s v e r yi m p o r t a n t i m a g e b a s e d3 d r e c o n s t r u c t i o ni st or e c o v e rt h e3 dm o d e l so fo b j e c t sa n ds c e n e s u s i n gi m a g es e q u e n c e s i ti sac r o s sf i e l do f i m a g ep r o c e s s i n g ，c o m p u t e rg r a p h i c s ，c o m p u t e rv i s i o n ，p a f f e m r e c o g n i t i o na n ds oo n c u r r e n t l yi m a g eb a s e d3 dr e c o n s t r u c t i o nh a sb e c o m eah o tt o p i c o fr e s e a r c h c o m p a r i n gt oo t h e rw a y st oc o n s t r u c i3 dm o d e l s s u c ha su s i n gs p e c i a l s o f t w a r ea n d r a n g es c a n n e m ，i m a g eb a s e d 3 dr e c o n s t r u c t i o nh a st h ea d v a n t a g e so fl o w - c o s t ，h i g h r e a l i t y a n d h i g h a u t o m a t i z a t i o n ，t h e r e f o r e i th a sb r o a d p r o s p e c t i v e t h e o r e t i c a l l y ，i m a g eb a s e d3 dr e c o n s t r u c t i o ni st h ei n v e r s e da s p e c to fr e n d e r i n go f3 d m o d e l s s oh o wt o r e c o v e rt h e3 di n f o r m a t i o n a c c o r d i n g t ot h e i n c o m p l e t e o r n o i s e c o r r u p t e d2 di n f o r m a t i o ni st h eh a r dp r o b l e mo f t h i st e c h n i q u ea sw e l la sc o m p u t e r v i s i o n t h ef u t u r er e s e a r c hi n t oi m a g eb a s e d3 dr e c o n s t r u c t i o nw i l lp u s ht h ed e v e l o p m e n t o fr e l a t e ds u b j e c t s t h i st h e s i sg o e sd e e pi n t ot h er e s e a r c ho fi m a g eb a s e d3 dr e c o n s t r u c t i o n ，m a i n l yo n m a n u a im e t h o da n ds t e r e ov i s i o nm e t h o d ，t h em a i nw o r ko ft h i st h e s i sc o n s i s t so f f o l l o w i n gt h r e ep a r t s ： 1 d e v e l o p e dam a n u a l3 dr e c o n s t r u c t i o ns y s t e mb a s e do nt h et h e o r yo fs i n g l ev i e w m e t r o l o g y s i n g l ev i e wm e t r o l o g yc o m p u t e t h e3 dc o o r d i n a t eo fap o i n tb a s e do nt h e p r o j e c t i v eg e o m e t r y sc h a r a c t e r i s t i co fc r o s s r a t i oi n v a r i a b i l i t y i nt h i ss y s t e mt h ei n p u t o n l yo n ei m a g e b ym a n u a lw e c a nr e c o n s t r u c t i o nt h e3 dm o d e lo fs c e n e 2 i m p r o v e dt h ec a m e r ac a l i b r a t i o n m e t h o do f1 _ s a ，s t a k ei n t oa c c o u n tt h er a d i a l a b e r r a n c ea n dt a n g e n ta b e r r a n c eo fl e n s b e c a u s et h ea b e r r a n c ei sl i t t l e ，w eg e ta c a l i b r a t i o nm e t h o di nw h i c ht h ei n t e r i o ra n de x t e r i o rp a r a m e t e ra r ea p a r tf r o mt h e r e v i s ep a r a m e t e ro fb i n o c u l a rd i s p a r i t y 3 d e v e l o p e dam a t c h i n gs o f t w a r eb a s e do nt h el i t e r a t u r e s b ys e l e c t i n gt h ef e a t u r e p o i n t s c o r r e l a t i o nm a t c h i n g ，c o m p u t i n g t h ei n t e n s i t yo fm a t c h i n g ，r e l a x a t i o nm e t h o d l m e d sm e t h o dw ec a ng e tm a t c h i n gp o i n t s k e yw o r d s ：3 dr e c o n s t r u c t i o n ，s i n g l ev i e wm e k o l o g y , s t e r e ov i s i o n ，c a m e r ac a l i b r a t i o n s t e r e om a t c h i n g 浙江大学顾士学位论文 第一章概述 第一章概述 随着网络化制造技术的不断发展，网上商品展示也越来越受到重视，现有的 电子商务系统都是展示商品的二维图像，如何根据这些商品的图像重建出商品的 三维模型将具有重要的研究意义。随着计算机技术的不断发展和人类对数字化信 息的需求不断增加，人们迫切地希望能突破现有数字计算机的信息处理能力，将 其扩展为能处理多维信息的智能计算机系统。近二三十年以来，科技工作者为实 现这个目标进行了不懈和艰苦的努力，其中大多数人又以计算机视觉作为处理多 维信息的突破点。据统计，人类从外界获取的信息中有7 0 - - 8 0 是通过眼睛 得到的。计算机视觉的研究目的就是使计算机具有通过二维图像认知三维环境信 息的能力，它是一门融合了数字图像处理、计算机图形学、模式识别、神经生物 学等研究成果的学科，基于图像的三维重建正是利用了计算机视觉的一些原理柬 实现模拟人眼的一些功能的。然而，至今为止人类对自身视觉系统的工作机理还 所知甚少，对视觉感知的生理过程还缺乏真实可信的数学描述，更多的情况是在 合理猜测的基础上模仿人类的感知过程。二十世纪七十年代以来，m i t 的m a r r 教授创立了计算机视觉理论框架0 1 ，系统的概括了心理物理学、神经生理学、临 床神经病理学等方面已取得的重要成果，是迄今为止最系统的视觉理论体系，对 计算机视觉的发展起到了巨大的推动作用。虽然这一理论体系尚不完善，但仍被 广大科技工作者所接受和发展，在计算机视觉研究领域占有十分重要的地位。 1 1 相关工作与背景概述 m a r r 在计算机视觉理论框架中将视觉过程看作一个信息处理过程，并将视 觉研究分为三个层次：计算理论层次、表达和算法层次、硬件实现层次。计算理 论层次要回答系统各个部分的计算目的与计算策略，亦即各部分的输入输出是什 么，之间的关系是什么变换或具有什么约束。m a r r 的视觉系统的总的输入输出 关系规定了一个总的目标，即输入是二维图像，输出是二维图像中重建出的三维 物体的位置和形状。m a r r 认为，视觉系统的任务是对环境中的三维物体进行识 别、定位与运动分析，但这仅仅是一种对视觉行为的目的性定义，而不是从计算 理论层次的目的性定义。三维物体千差万别，应存在一种计算层次上的一般性目 的描述，达到了这一“目的”，则不管是什么具体的物体，视觉任务均可完成。 m a r c 认为，这一“目的”，就是要通过视觉系统，重建三维物体的形状、位置， 而且，如在每一时刻，都能够做到这一点，则运动分析也可以做到。对视觉系统 的各个层次和模块，m a r r 也初步给出了计算理论层次上的目标。对于表达与计 算层次，视觉系统的研究应给出各部分( 或称各模块) 的输入、输出和内部的信 息表达，以及实现计算理论所规定的目标的算法，算法与表达是比计算理论低 层次的问题，不同的表达与算法，在计算理论层次上可以是相同的。最后一个是 硬件层次，是要回答“如果用硬件实现以上算法”。区分以上三个层次，对于深 刻理解计算机视觉与生物视觉系统以及它们的关系都是有益的。目前计算机视觉 的研究工作主要在计算理论层次和表达与算法层次上。m a r r 从视觉计算理论出 发，将视觉过程分为三个阶段，即视觉信息从最初的原始数据( 二维图像数据) 到最终对三维环境的表达经历了三个阶段的处理。第一阶段构成所谓的“要素图” 或“基元图”，基元图由二维图像中的边缘点、直线段、曲线、顶点、纹理等基 本几何元素或特征构成；第二阶段根据图像中的基本要素恢复可见物体表面的三 维信息，得到比线条、区域、二维形状等更为高层的描述。这一阶段存在一些相 当独立的处理方法，包括立体视觉，运动视觉，从阴影、纹理恢复形状( s h a p ef r o m x ) 等等。由于这一阶段仅能从已知数据中恢复物体部分表面，而不能得到包括 遮挡部分在内的完整的三维模型，所以m a r r 称其为2 5 维重建，即不完全三维 重建。第三阶段，综合第一阶段的要素和第二阶段的2 5 维图，建立以物体为中 心的三维描述，重建出完整的三维模型。 8 0 年代至今，研究人员按照m a r r 的基本理论框架，对以上所述的各个研究 层次与视觉系统的各个阶段中的各种功能模块进行了大量的研究并提出了大量 的方法。但总的来讲，这些方法都存在这样或那样的问题，或缺乏通用性，或抗 噪声能力低，或存在多解性，其原因可归纳为：计算机视觉的问题是一个逆问题， 输入的图像为二维图像的灰度，它是三维物体几何特征、光照、物体材料表明性 质、物体的颜色、摄像机参数等许多因素的函数，由灰度反推以上各种参数是逆 问题，这些问题往往是非线性的，问题的解也就不具有唯一性，而且对噪声或离 散化引起的误差极其敏感。另一个原因是m a r r 的视觉系统框架是一个自下而上 的、模块化的、单向的、数据驱动型的结构。神经生理学的深入研究表明，这种 结构与人的视觉系统还有很大差距。虽然对这种差别目前还缺乏深入的理解，但 显然人的视觉系统上下各层次之问、各功能模块之间存在着更为复杂的相互作 用。近年来提出的有目的的，主动式视觉。”或者基于模型的视觉”都在这方面突 破了m a r r 视觉理论框架。 本文根据m a r r 的视觉理论框架，对其第二阶段的一些实现技术进行了研究， 重点讨论了基于交互操作的三维重建方法以及立体视觉方法中的摄像机标定和 立体匹配技术。近年来，随着互联网络的迅速发展，人们己不满足在网上仅看到 文字和图片，互联网对于三维图形的需求正逐渐增加，而互联网的相关技术和协 议也增加了对网络三维图形的扩充内容。例如i e t f 的i p v 6 协议，i e e e 的d i s 协议，m p e g 的m p e g 一4 标准以及j a v a 、v r m l 、x m l 、3 d m l 等等都为网络上的三维 图形应用提供了基础和有力工具。从严格意义上讲仅有三维图形还不能构成虚拟 2 现实基础，但在互联网这个特殊的应用中，三维图形与协议的结合实现了虚拟现 实的三个重要内容：交互、沉浸和想象。一般将这种网络上的三维图形环境看作 是扩充意义上的虚拟现实环境，对网上三维模型的需求来自商业、娱乐、教育、 宣传展示、工业设计以及远程会议、远程医疗等各种远程交互应用，所有这些领 域都希望通过快速有效的方法获得某个特定物体的三维模型，建立网络虚拟现实 环境。 在由计算机构成的实时交互的三维虚拟系统中，三维物体的重建一直是一个 关键的问题。在此之前，我们已经完成了基于平面的商品选择系统，为了实现网 上购物时的三维立体效果，我们试图建立一套系统能够实现基于图像的三维建模 功能，从而可以在网上浏览商品的三维模型。 1 2 基于图像的三维重建综述 客观世界在空问上是三维的，而现有的图像采集装置所获取的图像是二维 的。尽管图像中含有某些形式的三维空间信息，但要真正在计算机中使用这些信 息进行进一步的应用处理，就必须采用三维重建技术从二维图像中合理地提取并 表达这些三维信息。三维重建技术能够从二维图像出发构造具有真实感的三维图 形，为进一步的场景变化和组合运算奠定基础，从而促进图像和三维图形技术在 航天、造船、司法、考古、工业测量、电子商务“0 1 等领域的深入广泛的应用。 三维信息获取的技术手段多种多样，通常，人们获取物体三维模型的方式有 三种：第一种方式利用建模软件构造三维模型；第二种方式通过仪器设备获取三 维模型；第三种方式利用图像或者视频来重建场景三维模型。 目前，在市场上可以看到许多优秀建模软件，比较知名的有3 d m a x 、m a y a 以及 a u t o c a d 等等。它们的共同特点是利用一些基本的几何元素，如立方体、球等， 通过一系列几何操作，如平移、旋转、拉伸以及布尔运算等来构建复杂的几何场 景。用这种方法建模的优点是可以精确地构建许多人造物体的三维模型，特别是 建筑物、家具等；可以生成一些奇异的渲染效果，这一点被广泛地运用于影视作 品和广告特效中；此外，也可以让人们更好地控制光照和纹理。其缺点在于，首 先人们必须充分掌握场景数据，如场景中物体的大小比例，相对位置等等，缺乏 这些信息就难以建模；第二，这些软件的操作都十分复杂，以3 d m a x 为例，其中 包括百余个基本操作以及数倍于此的扩充功能，如各种插件。这些操作分散在许 多菜单、工具条中，同时还要求用户填写大量的参数。这也令这种方法的自动化 程度低：第三，由于操作复杂，使得建模周期长，同时需要熟练的操作人员，因 而提高了制作成本；最后，对于许多不规则的自然物体或者人造物体，用建模软 件构造的模型往往真实感不高。 第二种方法是利用某些具有测距功能的设备来获取物体的三维信息，如各种 浙江大学硕士学位论文 第一章概述 深度扫描仪( r a n g es c a r l r l c l ) 。3 ”i 等等。这些设备利用激光、超声波或者红外线 测距，能够获得的比较精确的三维数据，适用于有一定精度要求的建模应用中， 如复杂机械零件建模。除了精度高的优点外，另一个优点是使用比较简单方便， 并且建模所需时间很少。然而这样的设备都比较昂贵，携带不便，对于一些无法 搬动的物体或者室外较大的物体就无法适用了。 第三种建模方法是根据图像或者视频建模。通过对场景实拍的一系列图像， 可以恢复出具有相片级真实感的场景或者物体模型，同时建模过程自动化随着技 术的进步也在不断提高，使得人工劳动强度越来越轻，降低了建模成本。基于图 像建模所需的设备也非常简单，只需要部数码相机，或者一个普通摄像头。因 此，在需要真实感建模的场合，基于图像的建模无疑具有很高的实用价值。根据 视频实时生成模型是另外一个诱人的应用，但就目前的技术手段以及硬件水平来 看难道比较大。通常的做法是使用参数化模型”，通过实时跟踪特征点改变参 数模型。这方面的技术已经应用在虚拟视频会议中。 图像是二维数据，但是在关于某一场景或物体的一幅或者多幅图像中可以找 到许多线索，从中人们能够推知图像所记录的场景或物体的几何信息。这些线索 包括物体边与边之间的几何关系、两幅图像的视差关系、两幅图以上像中特征点 的对应关系以及物体轮廓信息等等。这些线索是场景中物体所具有的，称为“被 动线索”。有时候根据需要还可以创造线索，如在物体表面上用光线打上条纹或 者制造出阴影。这样的人造线索称为“主动线索”。对于使用主动线索的方法而 占，又可以分为以下两类。 第一类利用场景中已知形状的物体或者某些简单几何元素之间的关系进行 建模。其中某些方法利用了场景中的一些结构信息，例如物体边与边的平行或垂 直关系，这样的方法只用一幅图像就可以构造出物体模型。文献 4 5 提出了一种 利用场景中的已知形状，如立方体，棱锥等等，通过参数化几何模型来建模的方 法，严格地说，这是一种基于图像和基于几何的混合方法。首先手工指定物体的 部分边缘，根据这些边的投影关系列出一系列方程，方程中包括相机内外参数和 物体几何参数，进而通过最小二乘法求出这些参数。这些参数求出来，物体模型 就确定了。然而，真实拍摄的图像中不一定能找到所需的简单几何体，而且，对 不同的几何体有不同的参数模型，无法用统一的式子进行优化。文献 4 3 提出了 一种用单幅图片建模的方法，这种方法有些象p h o t o s h o p 这样的图像处理软件，它 需要用户手工绘制出场景的深度图。尽管提出了许多辅助方法帮助用户绘制深 度，然而对于一般用户而言这一步仍然是比较繁琐的。此外，这种建模方法使用 了一些简单几何体来简化建模过程，这有些类似于文献 4 0 的方法。用单幅图像 建模有一个突出的好处，要么无需相机标定，要么标定时可以避免用立体像对标 定时可能出现的关键运动序列问题。这对于以建筑物为主的场景而言是非常有用 的。文献 4 2 中提出的方法可以用一张或两张图片恢复出建筑物模型，其中用到 4 了建筑物中常见的几何结构作为约束，例如平行和正交性。 第二类使用物体的轮廓信息”。“1 。物体在图像上的轮廓是理解物体几何形状 的一个重要线索。假设从不同的角度拍摄一个三维物体得到一系列图像，每张图 像中都可以抽取出物体的轮廓，从投影中心发出经过轮廓点的射线构成了一个锥 壳，锥壳和锥壳内的部分占有空间中一块体积。不同角度拍摄的图像各自具有这 样的锥体。所有这些锥体的交集称为物体的视觉包络( v i s u a lh u l l ) 。对于凸物 体而言，这种方法简单可靠。但是实际生活中大部分物体要么有起伏，要么有孔 洞，对于这样的非凸物体使用基于轮廓的方法重建会丢失凹进部分的细节。文献 4 5 提出一种方法找出非凸物体中哪一部分与几何外形有关。为此文中把视觉包 络分成两部分：外包络( e x t e r n a lh u l l ) ，即所看到的物体外形的凸包与视点所 成的锥；内包络( i n t e r n a l h u l l ) 即物体外缘与视点所成的锥。接下来作者分析给 出了计算内外包络的算法以及复杂度。文献 4 6 用代数曲面根据物体的轮廓线来 恢复三维表面。这是一个线性方法，利用了三维点和切平面之间的对偶性质，并 且用代数曲面来表示三维表面，其中代数曲面是隐式的二次或更高次多项式。利 用物体轮廓建模一般需要较多的图像。 被动法是在自然光条件下获得三维信息的方法，其中包括：阴影恢复形状法、 纹理恢复形状法、手动交互操作法等；基于多幅图像的三维重建方法包括：立体 视觉法、运动图像序列法、光度立体学方法等。 对于以上所述可以用图1 1 来表示： 图1 1 三维建模技术 由于基于图像的三维重建技术所需要的成本低，具有很大的灵活性，又能达 到简单的三维建模功能。结合本文的课题背景，通过比较各种基于图像的三维重 建技术的优缺点和适用条件，我们对部分方法进行了研究和部分功能模块的实 浙江大学硕士学位论文 第一章概述 现。在介绍具体工作之前，先具体介绍一下上述的各种基于图像的三维重建方法 并进行比较。 1 2 1 阴影恢复形状法 从阴影恢复形状( s h a p ef r o m 点光源 s h a d i n g ，简称s f s ) “”是计算机视觉中 三维形状恢复( 3 ds h a p er e c o v e r y ) 问题 中关键技术之一，其任务是利用单幅图像 中物体表面的明暗变化来恢复表面各点 的相对高度或表面法向量等参数值。对实 际图像而言，其表面点的亮度受到许多因 图1 2l a m b e r t 反射模型示意图 素的影响，如光源参数、物体表面材料性质和形状、摄像机( 或观察者) 位置等， 为简化问题，传统s f s 方法均进行了如下假设：( 1 ) 光源为无限远处点光源；( 2 ) 反射模型为朗伯体表面反射模型( l a m b e r ts u r f a c em o d e l ) ( 3 ) 成象几何关系为 正交投影。这种假设下，物体表面点亮度e 仅由该点光源入射角余弦决定，即 e = c o s o 。图1 2 表示的就是朗伯体表面反射模型，其中l 为光源方向，n 为表 面点的法向，0 为l 和n 的夹角 若以摄像机坐标系为参照系，并将物体表面高度表示为z ( x ，y ) ，则物体表 面法方向可由其表面各点法向量n = ( m ，n ，n 3 ) 、表面梯度p 、g 或表面倾角，和 偏角f 来表示，它们之间的关系如下： o z p2 _ 础 h p 2 一。 h 3 陇 口2 = _ 卯 玎 g 。一2 ”1 = ，s i n l , c o s t ”2 = ，s i n l , s i n f 如= 1 c o s ? 其中，为表面点法向量的模，这样朗伯体表面反射模型就可以表示为 e ( w ) 2 丽n o - 1 72孺霸foln蔫i-q-0酃22-雨1-033 或 占c 五y ，= r c p c 而力，g c 力，。了i i i 囊号专孑i 箩 i 尹百 ( 1 1 ) ( 1 2 ) ( 1 3 ) ( 1 4 ) ( 1 5 ) 其中= ( 。，h 。n 。，) 或( - p 。，- q 。，1 ) 表示光源方向，e ( x ，_ y ) 为归一化的图像 亮度，r ( p ，g ) 为反射函数。一般情况下，仅由该模型所确定的s f s 问题是病态 6 浙江大学硕十学位论文 第一章概述 的( 没有唯一解) ，为消除其病态性，并建立相应的正则化模型，必须对其表面 形状进行约束。现有的s f s 算法基本上都假设所研究的对象为光滑表面物体，即 认为物体表面高度函数是二阶连续的。实际上，通过建立物体的光滑表面模型这 种假设，已经对其表面形状进行了约束，这样，将上述物体表面反射模型和物体 的光滑表面模型相结合，再利用一些已知条件( 如关于物体表面形状的初边值条 件) ，就构成了s f s 问题的正则化模型。根据建立正则化模型方式的不同，现有 的s f s 算法大致可以分为最小值方法、演化方法、局部方法和线性化方法。图 1 3 为用最小化方法重建的结果“： ( a ) 原图( b ) 重建的头像 图1 3 最小化方法重建结果 1 3 2 纹理恢复形状法 由于纹理可以帮助确定表面的取向并进而恢复表面的形状，所以从纹理恢复 形状( s h a p ef r o mt e x t u r e ) “2 5 1 方法也是一种重建三维表面的方法。但是利用物 体表面的纹理确定其朝向要满足一定的条件，在获取图像的透视投影过程中，原 始的纹理结构有可能发生变化，这种变化随纹理所在表面朝向的不同而不同，因 而带有物体表面朝向的信息。常用的基于纹理的重建方法根据纹理的变化可以分 为三类： 1 基于纹理元尺寸的变化 2 基于纹理元形状的变化 3 纹理元之间关系的变化 另外，将纹理方法和立体视觉方法结合，称为纹理立体技术，它通过同时获 得场景的两幅图像来估计景物表面的方向，避免了复杂的对应点匹配问题。 从纹理恢复形状可以分成四个步骤： 1 在图像上找到具有纹理元的区域 2 确定纹理的特性 3 计算纹理的变化 4 根据纹理的变化计算表面方向 7 浙江人学硕上学位论文 第一章橱述 1 2 3 手动交互操作法 由于大部分的基于计算机自动的重建方法效果不是很好，研究人员提出在重 建过程中适当增加人为交互的方法”“。通过人工标记一些特征点，输入一些已 知的参数来重建三维表面。一方面可以使算法简单，另一方面也可以使重建的效 果更好。一个典型的例子是由b i o v i r t u a 公司出品的3 d m e n o w 0 5 1 三维建模软件， 它用正面和侧面两张人脸照片，加上一组轮廓控制点，即可生成立体的三维模型。 制作过程中不需任何专业知识，而且过程极为简便( 只需要三步即可) ，效粜很好。 图1 4 为作者用该方法重建的头像效果。 图1 43 d m e n o w 重建效果图 1 2 4 光度立体学方法 光度立体学方法( p h o t o m e t r ys t e r e om e t h o d ) “的核心是图像中各点的 亮度方程，即辐照方程，其数学描述如下： i ( x ，y ) = k ( x ，y ) s n ( x ，y ) ( 1 6 ) 其中，是表面点的亮度，s 为光源向量，为表面法向量，k 为表面反射系 数。 ( 1 6 ) 式只能提供一个约束，而表面法向量n 有二个未知分量，如果没有附 加信息则无法根据图像的辐照方程恢复表面的方向。光度学立体视觉法就是在不 改变拍照相对位置的情况下，利用不同的光照条件得到多幅图像，从而得到多个 辐照方程。联解方程即可求得物体表面的法向量，从而实现三维重构。 由于摄像机与物体的相对位置没有变化，因此不需要做多幅图像之间的匹配 计算。但由于( 1 6 ) 是一个比较理想的关系，式中的经验性也很强，所以实际 效果不会很好。该方法在卫星遥感领域和地形地貌恢复方面应用较多。 浙江大学顶士学位论文 第章概述 i 1 2 5 运动图像序列法 运动可用运动场描述，运动场由图像中每个点的运动( 速度) 矢量构成。当 目标在相机前运动或相机在一个固定的环境中运动时我们都能获得对应的图像 变化，这些变化可用来获得相机和目标间的相对运动以及场景中多个目标问的相 互关系。 当相机和场景目标间有相对运动时所观察到的亮度模式运动称为光流 ( o p t i c a f l o w ) ，光流可以表达图像中的变化，它既包含了被观察物体运动的 信息，也包含了与其有关的结构信息。通过对光流的分析可以达到确定场景三维 结构和观察者与运动物体之间的相对运动的目的。所以通过求解光流方程，可以 求出景物表面方向，从而重建景物三维表面。这种方法的缺点是运算量比较大。 1 2 6 立体视觉法 计算机立体视觉“2 2 3 是运用两个或多个摄像机对同一景物从不同位置成像 并进而从视差中恢复深度( 距离) 信息的技术。在几十年的发展中，计算机立体 视觉己形成了自己的方法和理论。 立体视觉主要是利用几何原理实现三维信息恢复，受场景物理属性干扰较小 因此，能较精确的恢复场景的三维信息。观察世界时，可以比较左右眼得到的信 息的差别来判断物体的相对深度，这是因为两只眼睛在视点上存在着一些差别， 这种现象称为立体视差。对立体视差进行模拟来实现三维信息恢复的过程，即为 立体视觉模拟。可采用射影几何原理根据同一物体的两幅照片生成物体上特征点 的空间位置来模拟立体视觉。 计算机立体视觉是被动式测距方法中最重要的距离感知技术，它直接模拟了 人类视觉处理景物的方式，可以在多种条件下灵活地测量景物的立体信息。其作 用是其它计算机视觉方法所不能取代的，对它的研究，无论从视觉生理的角度还 是在工程应用中都具有十分重要的意义。计算机立体视觉的开创性工作是从二十 世纪6 0 年代中期开始的。美国麻省工学院的r o b e r t 。”把二维图像分析推广到三维 景物分析，标志着计算机立体视觉技术的诞生，并在随后的二十年中迅速发展成 一门新的学科。特别是二十世纪七十年代末，m a r r 等创立的视觉计算理论对立体 视觉的发展产生了巨大影响，现已形成了从图像获取到最终的景物可视表面重建 的比较完整的体系。 立体视差( b i n o c u l a rd i s p a r i t y ) 简称视差。它反映了客观景物的深度。人 能有深度感知，就是因为有了这个视差，再经脑子加工而形成的。基于视差理论的 机器立体视觉，是运用两个或多个摄像机对同一景物从不同位茕成像获得立体像 对，通过各种算法匹配出相应像点，从而计算出视差，然后采用基于三角测量的方 9 法恢复深度( 距离) 信息。 在计算机视觉系统中，利用两台位置相对固定的摄像头或一个摄像头在两个 不同的位置，从不同角度同时获取同景物的两幅图像，通过计算空间点在两幅 图像中的视差来获得其三维坐标值。基本原理如图1 5 所示，p 为空间任意一点， 通过图像处理及分析测定点p 像坐标( t ，y ，) ( ，= 1 , 2 ) ，建立三维空间重建算法，即 可由( x 。，y ) ( _ 1 , 2 ) 恢复点p 的三维坐标( 片，王，z ) 。 y j 图1 5 立体视觉原理图 关于立体视觉的典型文献是文献 6 0 。这篇文章最早源自p o l l e f e y s 的博士 论文，其中提出了一个基于立体视觉三维重建的算法框架，作者通过阅读其他文 献资料，对其算法流程进行了改进，提出了如图1 6 所示的立体视觉三维重建算 法流程：广 广 角点集1 ij 角点集2 立体匹配提取旺配点 摄像机标定 础磊甭rli 空兰竺il ：! 燮 本质矩阵e 旋转矩阵r 和平移向量t 投影矩阵p i ，p 2 空间离散坐标点 去除病态点后三角化 空间三维模型 图1 6 改进的立体视觉三维重建算法流程 1 0 浙江大学硕十学位论史 第一章概述 1 2 7 上述各种方法比较 上述各种基于图像的三维重建方法的理论基础不同，可以从它们的自动化程 度、算法难易程度、三维重建质量、重建需要时间和适用的领域来进行比较，如 1 1 表所示： 表1 1 基于图像的三维重建方法比较 基于图像的自动化程度算法难易三维重建质量重建 三维重建方程度需要适用领域 法时间 阴影恢复形可以实现完比较容易重建效果不好很快适应于较简单的曲面 状法全自动化实现重建 纹理恢复形一定程度上需要强壮重建效果不好一般适应于较简单的曲面 状法实现自动化的算法，重建 较难实现 手动交互操自动化程度比较容易可以比较精确一般适合于平面组成的多 作法较低实现的恢复出物体面体重建，但只能得 的表面模型到部分表面模型，无 法得到完整模型 光度立体学一定程度上需要强壮可以很精确地较长适应于较简单的曲面 方法实现自动化的算法，恢复出物体曲重建 较难实现回 运动图像序一定程度上比较容易和图像采样密 很长一般需要图像采样密 列法实现自动化实现度有关度比较大，适合凸物 体的重建 立体视觉法可以实现完需要强壮可以很精确地很长适用于移动不大的相 全自动化的算法，恢复出物体曲机拍摄的两幅图像三 较难实现曲维重建。受匹配算法 影响，对有重复纹理 的模型不合适 由上表的比较可知，立体视觉法和手动交互操作法可以获得较好的重建效 果，所以本文对这两种方法进行了重点研究，利用手动交互操作法开发出了一个 基于单幅图像的三维重建系统原型，并且对立体视觉法进行了重点研究，希望能 开发一个基于立体视觉的三维重建原型系统，由于时间和精力有限，只对其中的 摄像机标定和立体匹配模块进行了探讨，利用现有的算法开发了一个立体匹配软 件原型系统。由于立体视觉法得到了广泛的应用，所以下面先对国内外立体视觉 研究现状进行简单的概括。 浙江大学硕士学位论文 第一章概述 1 3 国内外立体视觉三维重建的研究现状 计算机立体视觉研究的重点和难点问题是摄像机标定和立体匹配技术。在三 维重建过程中往往需要对图像做定量分析和精确定位目标，这就涉及到三维空间 场景是如何通过摄像机形成二维图像的问题。摄像机的成像过程可以用一个几何 模型来描述，而几何模型的参数就是摄像机参数，这些参数必须由试验和计算来 确定，确定参数的过程称为摄像机标定。最常用的摄像机模型是小孔摄像机模型 “3 ，与之相联系的参数包括5 个内参数和6 个独立的外参数。在小孔摄像机的基 础上要考虑摄像机的光学畸变，增加畸变参数就得到了非线性模型。 摄像机标定方法大致可以分为三类：非线性最优化、线性最优化和多阶段最 优化。其中多阶段最优化方案将摄像机的全部参数分为若干块。首先，在忽略部 分约束条件的畸变的情况下，利用直接求解或线性最优化方法分块求出摄像机参 数的初始值；其次，在考虑约束条件和畸变的情况下，以前一步计算结果为初始 值对摄像机参数分块，分步优化求出摄像机参数的最终值。该方法同时具有线性 求解速度快和非线性优化计算准确的优点，可以求解多种摄像机畸变参数，是近 年来较为成功的摄像机标定方法。上述三类标定方法都属于被动标定技术，即摄 像机本身不发生运动，仅通过摄取的图像解决标定问题，在标定时需要一个标定 参照物。另外，近年来一种不需要标定参照物的摄像机标定技术，称为摄像机自 标定受到较大的重视。它仅用摄像机在运动过程中周围环境的图像及图像之问的 对应关系对摄像机标定。例如l u o n g “、马颂德脚等人提出利用主动视觉与运动 图像分析的内参数自标定方法，s t u r m ”1 等讨论了利用摄像机变焦实现自标定的 方法，e n c i s o ”等则利用四个视角的图像对摄像机自标定。但是，自标定要求已 知摄像机的运动轨迹或其它运动参数。因此针对不同应用场合应确定合适的摄像 机标定方法。 立体视觉一般利用立体摄像系统获得同一空间场景的两个不同视角图像，而 立体图像匹配则是寻求这两幅图像象素问的一一对应关系。我们根据匹配算法所 生成的视差数据分布情况，将目前的立体图像匹配算法两大类，一类以密集的基 元测量为基础，称为基于区域( a r e a b a s e d ) 的算法。这类算法的典型例子是利 用小区域上的相关技术。另一类以在图像中相对比较稀少的、较为符号化的特征 为基础，称为基于特征( f e a t u r e b a s e d ) 的算法。 基于特征( f e a t u r e b a s e d ) 的匹配亦称为特征匹配，一般以过零点、边缘 轮廓、线段等图像特征作为匹配基元，并仅匹配两幅图像的特征区域。其优点是 速度快，能满足特定场合的处理要求。但由于其视差分布稀疏，匹配结果很难满 足三维重建的需要特征匹配的经典方法是m a r r 与p o g g i o 、g r i m s o n 合作建立的 m p g ( m a r r p o g g i o g r i m s o n ) 匹配算法”“。该算法的核心是以l a p l a c e g a u s s 算子 v 2 g 过零点为匹配基元，采用由粗到细的多分辨率搜索策略。为解决匹配中的遮 浙江大学硕| ：学位论文第一章概谜 挡问题，t o m a s i ”等提出了本征曲线匹配算法，通过计算两幅图像对应扫描线的 本征曲线，将立体匹配问题转化为寻找本征曲线之间最近邻域点的问题，并且通 过本征曲线可以方便的判断出遮挡部分，以便作出相应处理。 基于区域匹配也称为密集视差匹配，它的特点是定位精度高，恢复视差密度 大，因而便于三维建模，密集视差匹配早期的典型算法是区域相关匹配，以图像 灰度或其它特征作为匹配基元，由候选点邻域间的相关程度作为判断依据。此后 又出现了多种根据区域特征相似性恢复密集视差的方法。八十年代以来，r o b s o n 。1 从生理学角度证明了人类视觉系统中简单视细胞是以正交相位关系成对出现的， 并且可以用一对实部与虚部相互正交的复数滤波器来模拟，j u l o s z 8 1 也指出相位 信息在人类视觉系统中起着十分重要的作用。在此基础上s a n g e r 和j e n k i n 等提出 了基亍：g a b o r 滤波相位的立体图像匹配算法“。此后随着小波理论的逐渐发展和 完善，利用复数小波获取图像视差成为研究的一个热点。近几年来，部分学者尝 试将立体图像匹配转化为全局寻优问题，利用最优化方法的研究成果获取全局最 优的视差分布，形成了立体匹配研究的一个新的发展方向。 在匹配的不同阶段分别使用上述两类算法以期达到更高性能的混合算法的 代表性例子是b a k e r 和b i n f o r d 提出的算法”“。这种算法的初始匹配基元是带有 空间分辨率、对比度、方向和灰度等属性的边缘。匹配过程被局限于根据成象几 何学计算的外极线，并使用排序约束。算法从低分辨率开始，先找到两幅图像间 大致的对应关系，然后对中间结果作改进，对更精细的细节作分析。接着在第一 阶段所得对应关系的导引下作基于灰度的匹配。这两种匹配都依靠动态规划技术 v i t e r b i 算法“。最后对两幅图像利用如边缘连接性这样的全局约束来去除错误 的边缘对应关系。 根据视差理论，确定三维景物的深度需要在立体像对上确定相应像点，即依 据图像特征来确定相应像点，这是一个匹配特征的选取问题。目前尚没有一种普 遍适用的理论可运用于匹配特征的提取，导致了立体视觉研究中匹配特征的多样 性。良好的匹配特征应具有可区分性、不变性、稳定性、唯一性以及有效解决歧 义匹配的能力。为此，必须确定以哪些特征作为匹配的特征；其次，怎样把这些对 应特征匹配起来，并得到视差信息，这两个问题是互相关联并互相影响的。 国内学者在计算机立体视觉方面做了大量的工作，而在算法的具体实现方 面，中科院自动化研究所机器人视觉研究组已经取得了很大的成就。该所的雷成 博士实现了c v s u i t e 软件，该软件主要完成了特征点的提取、特征点的匹配、相 机的自标定、模型的三维显示等功能。该软件使用比较方便，能对不同来源的二 维图像进行处理，但是它的缺点也比较明显，首先是由于使用了k r u p p a 方程进 行摄像机自标定，所以它需要的图像对的数目为三幅，尽管它所使用的其他方法 和原理都是基于立体视觉的；其次在实际的匹配过程中能明显的感觉到效率不 高，速度非常慢。另外，该组的钟云德博士”4 1 利用一种称为半稠密匹配的方法进 行立体图像对的匹配，由于这种方法是对稀疏匹配和稠密匹配的一种折中，所以 在匹配过程中增加了大量的新的匹配点，从而更好的实现了模型的三维显示，当 然也一定程度的增加了匹配过程所用的时间。此外，天津大学的陈明周”1 硕士实 现了基于主动光栅投影的立体视觉，在他的研究中，主要是采用主动光栅投影立 体视觉测量来获得被测物体表面外形轮廓的方法，实现自由曲面的高精度重建。 在图像匹配过程中，他使用了基于外极线约束的光栅边缘匹配方法，并且通过光 栅边缘的两种编码