（机械电子工程专业论文）基于双目立体视觉的计算机三维重建.pdf

南京航空航夫人学硕 “学位论文 摘要 ，三维重建是计算机视觉技术的主要内容之。拍摄二维图像的相机内外参数的 标定、图像特征点的提取以及特征点的立体匹配是计算机视觉中三维重建的技术核 心。由于计算机视觉中输入的图像一般为二维图像的灰度，它是三维物体几何特征、 光照、物体材料表面性质、物体颜色、摄像机参数等许多因素的函数，由从度反推 以上二各种参数是逆问题，这些问题往往都是非线性的，问题的解不具有唯一性，i 衄 j 1 对噪声或离散化引起的误差极其敏感，所以计算机视觉本身存在一定的病态性。 如何得到问题的鲁棒的解成为三维重建过程的难点所在。 一，一。 本文以双目立体视觉理沦为基础，在采用张氏平面标定法对摄像机进行外部标 定的前提下，提取立体图像对的h a r r i s 角点作为特征点，经过初始相关匹配、中 等鲁棒匹配和强壮的鲁棒匹配等三个阶段，得到一个鲁棒的匹配点集，并在此基础 l 二进行s f m 从运动过程中实现物体重建，计算出摄像机的外部相对位置参数， 最终在o p e n g l 中实现物体的三维重建。实验证明，本文所使用的方法是鲁棒的， 重建的效果也是令人满意的。 ，7 。 7 7 关键字： 三维重建 垂：建垂玉了立体匹配 双目立体视觉； 砸商丽盯百祷乱 k - 一一。r 、j 基r 烈日立体视觉的t f t s j t _ 三维重建 a b s t r a c t o n e0 f t h em a i nc o m p o n e n t so ft h ec o m p u t e rv is i o nis3 dr e c o n s t r u c t i o n 【、h lib r a t i o no f - c a m e r a s in t e r io ra n de x t e r n a i p a r a m e t e r s ， f e a t u r e s e 】o c t i i ) na n ds t e r e om a t c h in ga r ek e yt e c h n 】q u e so f3 dr e c o n s t r u c t i 0 1 9o f t h e c o m p u t e r v is i o i l i nt h ec o m p u t e rv is i o n ，t h ei n p u t i m a g e ist h e2 d i m a g e sg r a yw h ic hi saf u n c t i o ni n c l u d e dm a n yf a c t o r ss u c ha st h eg e o m e t r y c h a r a c t e ro f3 do b j e c t ，1 i g h t i n g ，t h es u r f a c ec h a r a c t e ro fm a t e r i a l ，t h e c o i o ro lo b j e c t sa n dt h ep a r a m e t e r so tc a m e r a t h ep r o c e s so f c o m p u t in gt h e s e p a r a m e t e r sb yg r a y isai n v e r s ep r o b l e mw h i c hisa l m o s tn o n l i n e a r i h e r e s u lto ft h ep r o bje m ，w h i c hi ss e b s i t i v et ot h ee r r o r sa r js i n gf r o mn o t s e a n dd is c r e t e n e s s ，i sn o tu n i q u e s ot h ec o m p u t e rv i s i o ni t s e l fi si11 一p o s e d a n dt h ed i f f i c u l t yo f3 dr e c o n s t r u c t j o nish o wt og e tt h er o b u s tr e s u i t as y s t e mo f3 dr e c o n s t r u c t i o ni sp r o p o s e da n di m p l e m e n t e di nt h i sp a p e r w h i c hisb a s e do nt h et h e o r yo fb i n o c u l a rs t e r e ov i s i o n w i t ht h es y s t e m ， u s e rc a nc a l i b r a t et h ec a m e r aw i t h z h a n g sf l e x i b l en e wm e t h o d ，s e l e c t f e a t u r ep o i n t sa n dg e tar o b u s t m a t c h i n gp o i n t sb yi n i t i a lc o r r e l a t i o n m a t c h i n g ，m e d i u mr o b u s tm a t c h i n ga n ds t r o n gr o b u s tm a t c h i n g f i n a ll yu s e r c a nr e a l i z et h es t r u c t u r er e c o n s t r u c t i o nf r o mm o t i o na n dd i s p l a yi t u s i n g o p e n g l i ti sp r o v e db yt h es y s t e mt h a tt h em e t h o di sr o b u s ta n dt h ee f f e c t iss a t i s f a c t o r y k e yw o r d s ：3 dr e c o n s t r u c t i o n ，c a l i b r a t i o n ，f e a t u r ep o i n t s s t e r e om a t c h i n g ，b i n o c u l a rs t e r e ov i s i o n ， h a r risc o r n e r ，r o b u s t 南京航空航大人学硕卜学位论文 1 1 概述 第一章绪论 在由计算机构成的：耍时交互的三维虚拟系统中，三维物体的重构一直是一个关 键的算法。随着计算机运算速度的不断提高，计算机的不断普及，实时交互的三维 虚拟现实系统的应用不断的得以扩展与普及。我们可以用它在网络上建立虚拟的超 f 苻，可以让人们在虚拟的环境中看到商品的真实感图像，以此来吸引更多的顾客； 我们可以利用它建立虚拟的博物馆，只需每个物体的几幅图像，就能给游客身临其 境的感觉。 而在三维物体重构的算法中，立体视觉是一个重要分支。立体视觉是由多幅图 像( 般两幅) 获取物体三维几何信息的方法。对生物视觉系统，人们早就注意到， 几乎所有具有视觉的生物都有两个眼睛。用两个眼睛同时观察物体时，会有深度或 远近的感觉。立体电影之所以有逼真的深度感，也是仿照了立体视觉原理。在立体 电影拍摄中，用两个摄像机( 模仿人的双眼) 同时拍摄，而在放映时，将两个摄像机 拍摄的图像同时投影到屏幕上，并利用偏振光的原理，使人的双眼分别看到左右摄 像机拍摄的图像，从而使人有真实三维景物的立体感。在计算机视觉系统中，我们 也可以利用两台位置相对固定的摄像机，从不同角度同时获取同一景物的两幅图像 通过计算空间点在两幅图像中的像差来获得其三维坐标值。基本原理如图1 1 所 示，j 为空间任意一点，通过图像处理及分析测定点j 像坐标i 一，y 。) ( f - l ，2 ) ，建立三 维空| 、日j 重构算法，即可由( x ，y ，) ( f = l ，2 ) 恢复点j 的三维坐标，j r ，z ) 。在这个重建 的过程中，有三个关键的步骤需要完成：摄像机内参数的获得、图像对应点的确定 以及二图像间摄像机外部运动参数的确定。立体视觉直接模拟人类双眼处理景物的 方式，具有简单、可靠、灵活、使用范围广等特点，可以进行非接触、自动、在线的 枪测，因而十分具有应用前途，在机器人视觉、车辆自主驾驶、多自由度机械装置控 制等领域均极具应用价值。 基卜舣目立体视觉的计算机二维重建 图1 1 立体视觉成象原理示意图 1 2 国内外双目立体视觉的发展 1 2 1 m a r t 的计算视觉理论框架 8 0 年代初，m a r r 】首次从信息处理的角度综合了图像处理、心理物理学、神经 生理学及临床精神病学的研究成果，提出了第一个较为完善的视觉系统框架，这一 框架虽然在细节甚至在主寻思想方面尚存在大量不完备的方面，许多方面还有许多 争议，但至今仍是广大计算机视觉工作者接受的基本框架，计算机视觉这门学科的 形成，应该说与这一理论框架有密切的关系。下面我们从两个方面来描述这一理论 框架。 一方面是视觉系统研究的三个层次。m a r r 从信息处理系统的角度出发，认为对 此系统的研究应分为三个层次，即计算理论层次、表达( r e p r e s e n t a t i o n ) 与算法层 次、硬件实现层次。计算理论层次要回答系统各个部分的计算目的与计算策略，亦 即各部分的输入输出是什么，之间的关系是什么变换或具有什么约束。w a r r 对视觉 系统的总的输入输出关系规定了一个总的目标，即输入是二维图像，输出是由二维 图像“重建”( r e c o n s t r u c t i o n ) 出来的三维物体的位置与形状。m a r r 认为，视觉系 统的任务是对环境中三维物体进行识别、定位与运动分析，但这仅仅是一种对视觉 行为( b e h a v i o r ) 的目的性定义，而不是从计算理论层次上的目的性定义。三维物体 于差万别，应存在一种计算层次上的一般性目的描述，达到了这一“目的”，则不 管是什么具体的物体，视觉任务均可完成。m a r r 认为，这一“目的”，就是要通过 视觉系统，重建三维物体的形状、位置，而且，如在每一时刻，都能够做到这一点， 则运动分析也可以做到。对视觉系统的各个层次与模块，m a r r 也初步给出了计算理 沦层次卜的目标。对于表达与算法层次，视觉系统的研究应给出各部分( 或称各模 南京航空航天人学硕学位论文 块) 的输入、输出和内部的信息表达，以及实现计算理论所规定的目标的算法，算 法与表达是比计算理论低一层次的问题，不同的表达与算法，在计算理论层次上可 以是相同的。最后一个硬件层次，是要回答“如何用硬件实现以上算法”。区分以 - ：个不同层次，对于深刻理解计算机视觉与生物视觉系统以及它们的关系部是有 益的，例如经过分析后能看出，人的视觉系统与目前的计算机视觉系统在“硬件实 观”层次上是完全不同的，前者是极为复杂的神经网络，而后者是目前使用的计算 机，但它们可能在计算理论层次上完成相同的功能。应该指出，目前汁算机视觉的 研究工作也主要在计算理论，表达与算法层次这两个层次上。对于硬件实现，目前 只有比较成熟的部分，如低层次处理中的去噪声，边缘抽取；对简单二维物体识别 及简单场景下的视觉方法，已有专用芯片或其他并行处理体系结构方面的研究与试 验产品；从系统上构造一般的视觉系统，虽有一些尝试，但一般并不成功。 另一方面是视觉信息处理的三个阶段。m a r t 从视觉计算理论出发，将系统分为 自下而上的三个阶段，即视觉信息从最初的原始数据( 二维图像数据) 到最终对三维 环境的表达经历了三个阶段的处理。第一阶段构成所谓“要素图”或“基元图” ( p r i m a r ys k e t c h ) ，基元图由二维图像中的边缘点、直线段、曲线、顶点、纹理等 基本几何元素或特征组成：第二阶段，m a r r 称为对环境的2 5 维描述，2 5 维描述 是一种形象的说法，意即部分的、不完整的三维信息描述，用“计算”的语言来讲， 就是重建三维物体在观察者为中心的坐标系下的三维形状与位置。当人眼或摄像机 观察周围环境物体时。观察者对三维物体最初是以自身的坐标系来描述的，另外， 我们只能观察到物体的一部分( 另一部分是物体的背面或被其他物体遮挡的部分) 。 这样，重建的结果是以观察者坐标系下描述的部分三维物体形状，称为2 5 维描述。 这一阶段中存在许多并行的相对独立的模块，如立体视觉、运动分析、由灰度恢复 表面形状等不同处理单元。2 5 维描述是不够的，事实上，从各种不同角度去观察 物体，观察到的形状都是不完整的，不难设想，人脑中存有同一物体从所有可能的 观察角度看到的物体形象，以用来与所谓的物体的2 5 维描述进行匹配与比较因 此，2 5 维描述必须进一步处理以得到物体的完整三维描述，而且必须是物体本身 某一固定坐标系下的描述，这一阶段称为第三阶段，即三维阶段。以上前两个阶段， 肯世文献称为视觉的低层次处理，或早期视觉，也有人将第一阶段称为早期视觉， 第：阶段称为中期视觉。 8 0 年代至今，研究者们按照m a r r 所提出的基本理论框架，对以上所述的各个 研究层次与视觉系统的各个阶段中的各种功能模块，进行了大量的研究并提出了大 量的方法。但总的来讲，这些方法都存在这样或那样的问题，或缺乏通用性，或抗 噪声能力低，或存在多解性，其原因可归纳为：计算机视觉的问题是一个逆问题 ( i n v e r s ep r o b l e m ) ，输入的图像为二维图像的灰度，它是三维物体几何特征、光照、 物体材料表面性质、物体的颜色、摄像机参数等许多因素的函数，由灰度反推以上 行种参数是逆问题。这些问题往往是非线性的，问题的解不具有唯一性，而且对噪 基r 双目立体视觉的计算机二维重建 卢或离散化引起的误差极其敏感。另个原因是m a r r 的视觉系统框架是+ 个自f 而_ ：的、模块化的、单向的、数据驱动型的结构。神经生理学的深入研究表明，这 种结构与人的视觉系统还有很大差距。虽然对这种差别目前还缺乏深入的理解，但 显然人的视觉系统上下各层次之问、各功能模块之间存在着更为复杂的互相作用。 更重要的是，由眼动等现象可知，生物视觉系统的认知过程是一种复杂的与外界交 互作用的主动性过程，g i b s o n l 2 】曾指出，感知是一种行动( a c t i o n ) 而不仅仅是一种被 动式的反应( r e s p o n s e ) 。近年来提出的有目的的，主动式视觉或者基于模型的视觉都 在这一方面突破了m a r r 视觉理论框架。 1 - 2 2 国外基于h 盯r 理论的双目立体视觉方法 国外在基于双目立体视觉的计算机三维重建方面，主要是分立体匹配和三维重 建两个部分进行研究。立体匹配部分主要是研究特征点的提取和匹配算法的完善， 更加精确的建立匹配点的对应关系；三维重建部分主要是研究如何从得到的匹配点 中计算出摄像机的投影矩阵( 如果是外部标定的话，就是求出摄像机的外部参数) 以及如何计算出匹配点的三维坐标。 在立体匹配方面，国外的学者们研究出了一些新的方法和理论。例如英园的m p i l u l 3 i 提出了一种直接的基于奇异值分解的立体匹配方法，通过构造一个近似的包 含特征点的g a u s s i a n w e i g h t e d 距离信息的强度矩阵g ( 矩阵的维数由两幅图像上 特征点的数目来确定) ，然后对矩阵g 进行奇异值分解，接着将得到的对角阵的对 角元全部替换为1 ，这样反过来求出一个与矩阵g 相同维数的矩阵p ，通过矩阵p 中各个元素的值就能判断出对应的特征点是否匹配。由于在整个计算过程中全部是 代数意义下的运算，所以匹配的精度有待进一步提高。 在三维重建方面，微软的张正友【4 j 在应用8 点法求出基础矩阵f 的基础进步 提出了应用l e v e n b e r g m a r q u a r d t 算法最小化图像点与对应的外极线间距离的方 法，大大提高了基础矩阵的精度。在利用基础矩阵求出摄像机外部参数方面， l o n g u e t h i g g i n s 5 1 提出了一种方法，通过计算四种候选值的景深来唯一确定一组旋 转矩阵r 和平移向量t 。 1 2 3 国内基于m a r r 理论的双日立体视觉方法 目前国内在计算机双目立体视觉方面，无论是在摄像机的标定技术还是在立体 图像对的匹配算法上都进行了大薰的研究，提出了很多比较完善的理论。而在算法 的具体实现方面，中科院自动化研究所机器人视觉研究组已经取得了很大的成就。 机器人视觉研究组的雷成博士实现了c v s u it e 软件，该软件主要完成了特征点的提 取、特征点的匹配、像机的自标定、模型的三维显示的功能。该软件使用比较方便， 南京航空航天人学硕士学位论文 能对不同来源的二维图像进行处理，但是它的缺点也比较明显，首先是由于使用了 k m j p p a 方程进行像机自标定，所以它需要的图像对的数目为三幅，尽管它所使用的 其它方法和原理都是基于双目立体视觉的，但这对于类似机器人视觉的工作环境显 然是1 i 允许：其次在实际的匹配过程中能明显感觉到效率不高，速度非常慢。另外， 机器人视觉研究组的钟云德博士( 6 j 利用一种称为半稠密匹配的方法进行立体图像对 的匹配，由于这种方法是对稀疏匹配和稠密匹配的一种折衷，所以在匹配过程中增 加了大量的新的匹配点，从而更好的实现了模型的三维显示，当然这也一定程度的 增加了匹配过程所用的时间。此外，天津大学的陈明舟硕士1 7 j 实现了基于主动光栅 投影的双目立体视觉。在他的研究中，主要是采用主动光栅投影双目视觉测量来获 得被测自由曲面外形轮廓的方法，实现自由曲面的高精度检测。在图像匹配过程中， 他使用了基于外极约束的光栅边缘匹配方法，并且通过光栅边缘的两种编码技术和 利用b 样条拟合的方法来优化匹配过程。该方法主要缺点一方面是图像匹配过程过 渡的依赖于外极约束，而对图像中边缘本身的拓扑关系依赖较少；另一方面方法的 实现对所需要的外部设备的精度要求较高。还有，清华大学的王磊p 驯也提出了一种 基于平面投影变换和遗传算法的匹配算法。该算法能在未知摄像机内外参数的情况 fi b 动找到正确的对应点，但是由于使用的是平面投影变换，所以在使用中只允许 摄像机有旋转运动而不能存在平移，这种约束条件在很多场合是不能满足的。 1 3 本课题研究的选题依据、研究思路和主要创新点 1 3 1 本课题的选置依据 计算机视觉是一门非常年轻的学科，从m a r r 的视觉计算理论框架形成以来， 虽经过了二十年的迅速发展，但还远不能满足工程应用和日常生活等多方面的需 要。计算机视觉的应用领域在迅速拓宽，尤其是在普通便携相机成像条件下计算机 视觉技术的应用，如交通导航、现场勘测、自动化生产、虚拟现实等很多领域都在 竞相应用这项技术，对已有的应用也提出了更高的要求，如提高视觉精度、扩大测 量范围、简化操作过程和视觉识别智能化等。这半个世纪以来，计算机科学无论是 在理论研究上，还是在计算机的软件、硬件设备的研制及它们在各个行业中的应用 上，都以其不可阻挡的气势迅速发展。计算机科学的这种发展无疑给计算机视觉的 研究和应用带来了新的思路、新的方法，也提供了更好的条件。其他学科如人工智 能、模式识别、神经网络和信号处理的出现和发展，为计算机视觉的研究提供了许 多新的方法和工具。新的成像方法和成像仪器的出现也推动着计算机视觉的发展， 如图像扫描仪、数码相机、数码摄像机和多种距离传感器等，这些新型的仪器会带 来或要求新的图像处理方法。面对相关理论和相关技术的发展，计算机视觉如何在 基于双目立体视觉的计算机二维重建 此基础j 二发展自己的学科，以适应实际应用的需求，这是计算机视觉研究工作者的 e 要任务，也是本文选取课题的主要依据。 本课题研究的主要目的一方面是通过利用不同角度的二幅图像重建出场景的 二维模型来帮助机器人在行走过程中能够自动识别和定位出前面的障碍物，从而达 到类似人眼的功能；另一方面是可以帮助实现动态三维场景的建模与显示 ( v js u m i z a t i o n ) 。动态三维场景的显示是虚拟现实( v i r t u a lr e a l i t y ) 、三维计算 机动画、计算机辅助训练( 如模拟飞行驾驶仪) 等的关键技术，利用计算机图形技术 显示三维场景，首先需具有场景的三维模型或数据，目前的办法一般是用人一机交 互及计算机辅助设计的方法，如实体建模方法( s o l i dm o d e l i n g ) ，这些方法需要很 长的输入时问，而且一般只适用于人造物体建模。对于自然场景，或复杂曲面组成 的物体，现在可以使用本课题所实现的计算机三维重建方法真接从它们的二维图像 中得到具体的三维数据，这种手段作为复杂曲面的无接触测羹方法也可用于复杂曲 面的加工。另外，在生产自动化方面，如果装配机器人、焊接机器人及各种其他作 业的机器人在配有双目立体视觉系统后能具有更高的作业精度与对环境的适应能 j 3 。 本课题根据该学科的理论发展和实际应用的需求，并针对上述的目的，选择了 在针孔模型成像条件下( 以罗技摄像头为主) ，实现三维重构的理论、方案和算法 的研究。 1 3 2 本课题的研究思路 在总结国内外已有的计算机视觉理论和视觉过程方案的基础上，根据本文的研 究对象和开发项目的实际需要，决定采取下述的研究思路。 首先将摄像机进行外部标定并得到其内参数，用这个标定后的摄像机从不同的 角度拍摄同一场景的两幅图像( 立体图像对) ，接着对这两幅图像进行特征点的提 取( 在本课题中主要是提取e i a r r i s 2 1 1 角点) ，并对这些特征点进行一系列的匹配，包 括传统的相关匹配技术、松驰法技术以及鲁棒的l m e d s 技术、外极几何约束技术， 最终得到两幅图像的正确的对应匹配点。对应匹配点一旦求出，又可通过得到的匹 配点采用8 点法得到立体图像对的基础矩阵f ，再利用摄像机外部标定得到的内参 数矩阵k 和立体图像对匹配后得到的基础矩阵f 计算出本质矩阵e ，然后将这个本 质矩阵e 进行分解，在经过一个四选一的景物深度的判断后，得到一组唯一正确的 旋转矩阵r 和平移向量t ，最后利用最小二乘法原理得到这些匹配点的三维坐标，再 将这些离散的三维点在o p e n g l 中进行准三维的o e l a u n a yt r i a n g u l a t i o n ( 这单面 使用到了图像二维匹配点的二维d e l a u n a yt r i a n g u l a t i o n ) ，然后将图像纹理贴到 这”! 小角片e ，最终在o p e n g l 得到个三维的立体图像。 南京航空航天人学硕十学位论文 1 3 3 本课题的主要创新点 由于是利用特定摄像机进行图像的采集，所以在本课题中采用了摄像机的外部 标定法，先对摄像机进行外部标定，经过这种外部标定所得到的摄像机内参数显然 要比使用传统自际定方法得到的精度要高很多。另外又考虑到在进行外部标定时如 果还是使用传统的d l t 法和t s a i 的r a c 的定标算法的话，将使标定过程过于复杂， 不便于操作，所以在本课题的外部标定过程中，主要是采用一种介于传统标定方法 和自标定方法之间的新的、更灵活的方法一一张氏平面标定方法，它既避免了传统 方法设备要求高、操作繁琐等缺点，又较自标定方法精度高。 在立体图像对进行匹配的过程中，在使用传统的相关匹配法和松驰法的基础 上，进一步引入了鲁棒的l m e d s 法，去除了一部分误匹配点，从而大大提高了基 础矩阵的精度，而且还利用这个鲁棒的、精确较高的基础矩阵建立外极几何约束并 提取出一些新的匹配点。 在将离散的三维点在o p e n g l 中显示时，使用了一种准三维三角化的方法。首 先在二维图像中，对匹配点进行相应的二维三角化，然后在o p e n g l 中将与其对应 的三维点用直线连接起来，从而构成了一系列三维的三角片，为进一步的纹理粘帖 做好了准备。 1 3 4 本课恿的主要研究内容与维织结构 全文共由五章组成，论文的主要内容和组织如下： 第一章绪论本章主要介绍了m a r t 的计算机视觉理论，国内外在立体视觉 方面的发展以及课题研究的选题依据、研究思路和主要创新点。 第二章双目视觉传感器的标定本章首先介绍了直接线性变换法( d l t 法) 和t s a i 的r a c 的标定算法等传统的标定方法以及摄像机的自标定方法，然后在总 结这两种标定方法优缺点的基础上对课题所使用的标定方法进行了阐述。 第三章立体图像对特征点的提取及相关匹配算法本章首先介绍了课题所 使用的h a r r i s 角点的概念，然后详细地说明了在匹配过程中所使用到的各种算法。 第四章 三维数据的获得及显示本章主要阐述了摄像机外部参数的计算过 程以及如何在o p c n g l 中合理的显示出来。 第五章软件的框架、界面及数据分析本章介绍了与本课题相对应的软件的 框架以及其在各阶段的程序界面图，并就其中的部份数据进行了分析。 第六章 全文总结与展望本章总结了全文的研究工作，对该课题的进一步完 善和研究方向进行了探讨。 基于般e l 立体视觉的计算机三维重建 第二章双目视觉传感器的标定 在双目立体视觉系统中要依据两幅不同视点的图像提取物体的三维几何信息， 我们必须对摄像机进行标定，并且进行成像点向三维空问的投影和求取交点。摄像 机标定的目的是确定摄像机的图像坐标系与物体宅剐中的二：维参考坐标系之f 8 j 的 对应关系。只有当摄像机被恰当地标定以后，彳能根据图像平面中的二维坐标推导 比对应物体在三维空间中的实际位置，或反之。为了确定上述对应关系需要知道摄 像机的光学和几何参数( 内部参数) 以及摄像机相对外部参考坐标系的位置和方向 ( 外部参数) 。摄像机标定过程就是根据一组已知其参考坐标系坐标和图像坐标系 坐标的控制点来确定摄像机的内部和外部参数。有时若已知内部参数，那么只需确 定其外部参数。 2 1 坐标系 首先我们先定义几种不同类型的坐标系：世界坐标系、摄像机坐标系、图像坐 标系。 1 、世界坐标系： 。，匕，z 。 由于摄像机可安放在环境中的任何位置，所以在环境中还应该选择了一个基准 坐标系来描述摄像机的位置，并用它描述环境中其它任何物体的位置，该坐标系称 为世界坐标系，它由x 。，匕，z 。轴组成，其刻度单位属于物理单位，具体见图2 1 。 2 、图像坐标系： 0 ，v l g ，y ) 通过摄像机采集的图像都是以标准电视信号的形式输入计算机，并经计算机中 的专用数模转换器变换成数字图像。每幅数字图像在计算机内为m n 数组，m 行 ，列的图像中的每一个元素我们称之为像素，其数值即为图像点的亮度。于是在图 像上定义了一个直角坐标系，v ，每一像素的坐标( ”，v ) 分别是该像素在数组中的列 数与行数。所以，0 ，v ) 是以像素为单位的图像坐标系的坐标。由于0 ，v ) 只表示像 素位于数组中的列数与行数，并没有用物理单位表示出该像素在图像中的位置，因 而需要再建立以物理单位表示的图像坐标系，该坐标系以图像内某一点为原点，x 轴 与y 轴分别与“，v 轴平行。具体见图2 1 。 3 、摄像机坐标系：x 。，匕，z 。 为了分析摄像机成像的几何关系，我们又定义了一个新的坐标系，其原点d 在 妻室堕窒堕查叁堂堡主堂笪堡奎 缀像机的光心上，x 。轴和i 轴和图像坐标系中的x 轴与y 轴平行，z ，为摄像机的 光轴，它与图像平面垂直，光轴与图像平面的交点即为图像坐标系的原点。 世界坐标系 d 摄像机坐标系 圈2 1世界坐标系和摄像机坐标系 2 2 针孔摄象机模型 z p ” 圈2 2 针孔圭 i 像机模型 0 针孔摄象机模型是目前最常见的摄象机模型，它简单实用而不失准确性，在计 算机图形学里被广泛使用。如图2 2 ，视点为0 ，空间点j p 。，匕，z 。) ，在摄象机 啦标系下坐标为( x 。，匕，z 。) ，它在摄象机成像平面上的投影点为p 7 ( x ，y ，) ，我们有 丢z = 毫。考 亿t ， 。x 。匕 、。 设摄象机在x 轴上的广角( f i e l d o f v i e w , f o v ) 为枷v ，分辨率为“，在y 轴1 2 的“角为咖v ，分辨率为“。，则p 在图象上的象素坐标0 ，v ) 为： “= 万面x - - 而x 0 = 去饥 ( 22 ) ，培( 咖v ，2 ) “。出 “ 、。 基丁二烈目立体视觉的计算机二维重建 v2 万面y - 丽y o j2 万y + ( 23 ) ff g t 蜘v 功 h 。d y 、 其中，d x 。d y 是每一个象素在图象、乎面z 轴和y 轴上的物理尺寸，0 。，h ) 为摄 象机光轴与图象平面的交点。也即： ( 2 4 ) 日。，口。相当于在图象平面x 轴和y 轴上的一个伸缩因子。我们可以看到，a 。，a ，虽 然只有2 维自由度，但跟多个变量有关，它们的变化组合能得到在数学上等价的结 果。如现实中的摄象机，出，咖固定，它跟厂有关。 为便于实现，我们把其中一幅图象对应的摄像机坐标系定为世界坐标系，那么另 外一幅图象对应的摄像机坐标系相对于第一幅图象对应的世界坐标系的转换关系是： x c z 。 1 ix 。 = 眵牡 i1 ( 2 5 ) 其中( x 。，e ，z c ) 和( 石。，匕，z ，) 分别是摄像机坐标和世界坐标，r 和t 分别是 3 x 3 的旋转矩阵和平移向量。于是，第二幅图象的透视投影变换即为： z ；1 ：d o 瓣 阵 ( 2 6 ) 其中0 ，v ) 为世界坐标系下的空间点( z 。，匕，z ，) 在第二幅图象上的象素坐标， ( d o , v 0 ) 为摄像机光轴与图象平面的交点，我们假定它位于照片中央。在一般情况下 摄像机的内部参数为四个，即，v 。，口。，口一它们由拍摄时摄像机的纵、横广角正， 和照片的宽w i d t h 和高加动，来决定，即甜。= w i d t h 2 ，v o = h e i g h t 2 ， “。= “。田( f2 ) ，q = 僖2 ) 。而外部参数为六个，即r 和t 的各三个参数。 t t乙， r叫0000ii0广j o o 0， o 口0 “ 一m一 1 l 1，j 一w一 z 以匕乙， ，删10 = 壹塞堕至堕盔叁堂堡主堂垡! 婆 2 3 传统的摄像机标定方法 传统的摄像机标定方法，其特点是要求有摄像机标定块、算法比较复杂、精度 高。般最经常采用的方法主要有直接线性变换( d l t 变换) 和t s a i 的r a c 的定标 算法。下面简要说明一下这两种方法。 2 3 1 直接线性变换( d l t 变换) a b d e l a z i z 和k a r a r a 于7 0 年代初提出了直接线性变换像机定标的方法，他 们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系，建立了像机 成像几何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实 现。 直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩 阵的形式： 杯 1 1 j x 。 匕 z 。 l ( 2 7 ) 其中0 ，v ，1 ) 为图像坐标系下的点的齐次坐标，( z 。，匕，z 。，1 ) 为世界坐标系下的 空间点的欧氏坐标，p 为3 x 4 的透视投影矩阵，s 为未知尺度因子。消去s ，可以得 到方程组： p 1 1 x 。+ p 1 2 k + p 1 3 z 矿+ p 1 4 一p 3 l 硝。一p n “匕一p 3 3 u z 。一p 3 4 “= 0 ( 2 8 ) p 2 l 。+ p 2 2 l + p 2 3 z + p 2 4 一p 3 i “。- p 3 2 甜匕一p 3 3 u z ，一p 3 4 = 0 ( 2 9 ) 当已知n 个空间点和对应的图像上的点时，可以得到一个含有2 n 个方程的方 程组： a l = 0( 2 1 0 ) 其中a 为( 2 nx1 2 ) 的矩阵，l 为透视投影矩阵元素组成的向量 【p ，p 1 2 ，p ”，p p 2 l ，p 2 2 p 2 3 ，p 2 4 ，p p p m p 3 4 】7 。像机标定的任务就是寻找合适 的l ，使得恤酬为最小，即 r r i n l l a l i l ( 2 11 ) 给 i j 约束：p ，。= i ，此时有l = 一( c 7 c ) 。c 7 b ，l 为l 的前1 1 个元素组成的向量， 基于双目立体视觉的计算机三维重建 c 为a 前1 1 列组成的矩阵，b 为a 第1 2 列组成的向量。 2 3 2t s a i 的r a c 的标定算法3 2 8 0 年代中期t s a i 提出的基于r a c 的定标方法是计算机视觉像机定标方面的一 项重要工作，该方法的核心是利用径向一致约束来求解除t ( 像机光轴方向的平移) 外的其它像机外参数，然后再求解像机的其它参数。基于r a c 方法的最大好处是它 所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程 快捷，准确。 基于r a c 的定标方法主要包括两个步骤：利用径向一致约束来求解r ，t ，f 。和 s ，：求解有效焦距f 、z 方向上的平移和畸变参数k 。下面详细说明这两个步骤。 步骤一：利用径向一致约束来求解r , t ，f 。和s ， a 求解外像机参数旋转矩阵r 和x 、y 方向上的平移 由一个空间点( z 。，z 。) 和其图像投影点o ，y ) ，根据径向一致约束性 0 。尸，p j ：p 可以得到下面的方程 k x 。，y ：匕比乙，儿一x j x 。，一x ：匕一z 。，】+( 2 1 2 ) 砖蹦， ，2f j l 蹦f t - y i t - i 9 ，6 r = x d l 其中z j = d x ( “，一c x ) ，y j = d r ( v ，一c 。) 。如果得到一系列数目大于7 个的标志和 它们的对应投影图像点，就变成了一个过限制方程组，可以由最小二乘法解出以下 的7 个变量： 口i = ，：。5 ，口2 = f ；1 s ，2 ，口3 = f ；。5 ，口4 = ，i l s 。f ，口5 = f ；1 r 4 ，口6 = f j l 吩，口7 = ，；。r 6 ( 2 1 3 ) b 计算川 出r i + r ；+ r j = 1 褥 c 确定s ， 由! + 芎+ r 3 2 = 1 ，得 | ，l = ( d ；+ a ：+ 口；) z ( 2 1 4 ) 塑塞堕至塾盔叁堂堡生! 焦笙塞 s ，= ( ? + “；+ “；) 2 l f ，i ( 2 l5 ) d 计算旋转矩阵r 和，。，并确定，。的符号 先假定取正号，由以下的公式可以计算出旋转矩阵r 和t ， = o i l - s ，l 2 = 口2 r y j ，= 口3 ，s ，4 = 日5 f ，= a 6 f y ，6 = 口，r y ，f ，= a 4 l ，s _ 。取f 丛 界坐标系中任一标志点( x 。，k ，z 。) ，则可以计算出其在像机坐标系中的坐标： x 。，= x 。，+ r 2 匕，+ r 3 z 。+ f ，匕= r , x 。，+ 匕+ q z 。+ ，同时取这个坐标点在图 像 的投影点= s j l d ，0 。一c ) ，蚝= d ( y - c ，) 。在实际像机系统中，爿。应该 和。同号，如果计算出两者异号，则f ，取为负号。最后利用下面公式求解出, - 7 , - 8 ，_ 。 _ = r 2 ，6 一r 3 ，5 ，8 = ，3 _ 一_ r 6 ，9 = _ 一，2 _ ( 2 1 6 ) 步骤二：求解有效焦距f 、z 方向上的平移和畸变参数k 对于一个标志点，可以得到以下的两个方程 + 毛c + 吒，= ，号瓷暑葛舞弦， 儿+ 儿姒艺+ 圯，= 厂号兰 等舞 当不存在径向畸变时，k = 0 。( 3 1 7 ) 式变为( 3 1 8 ) 式 x m ，：一i 爿- + r 2 匕+ r 3 z m + f 。) = 一x a , ( r 7 x w ，+ 气匕，+ 局z 。，) ( 2 1 8 ) y d , t ：- f ( r d x 。，+ r s l + r 6 z 。，+ t ，) = 一y a i ( r t x 州+ 气l + 吩z w ，) 对于一系列的标志点，则形成了一个超定的方程组，可以用线性最小二乘法求 出t ：和l ，。当存在径向畸变时，仍应用式( 3 1 8 ) 求出r ：和f 的初始值，然后将求出 的f = 和f 连同k 。= 0 作为条件，对式( 3 1 7 ) 进行非线性优化，估计出f ：、厂和的 真实信。 2 4 摄像机自标定方法 在小孔模型下，摄像机自定标可以在三个层次上进行在对外参数一无所知的 条件f ，即对空间结构不作任何假设，摄像机的运动也不能量化描述，这时的定标只 能给h 投影矩阵m ，而不能从中分解出摄像机内外参数，这是射影意义下的定标如 基r 般目立体视觉的计算机二维重建 果假设成像深度足够大，即满足平行投影条件，这时可以进行仿射意义下的定标，其 结果是【b 无穷远点引入的同形( h o m o g r a p h y ) 矩阵如果能精确得到摄像机运动的外 参数，投影矩阵的分解就可能是唯一的，这时可以得到摄像机内参数，这是最理想的 自定标关于这个问题的详细论述请参阅文f 8 】o 2 4 1 利用本质矩阵和基础矩阵的摄像机定标方法 假设摄像机的光学成像模型为针孔模型，本质矩阵所定义的是基于两幅图像上 点的对应关系的基本几何约束关系。这个基本的几何约束关系表示如下： m ；e m l = 0 ( 2 1 9 ) 其中e = t r 称为本质矩阵，r 是旋转矩阵，t 是由平移向量元素构成的斜对 称矩阵，它们描述了两个摄像机坐标系之间的位置关系。本质矩阵是由 l o n g u e t h i g g i n s 教授【9 j 首先引入的。 因为本质矩阵只包含摄像机外部参数信息，即两个摄像坐标系之间相对运动关 系，所以根据本质矩阵能够求得摄像机的外部参数。这就是所谓的通过点对应运动 的( m o t i o nf r o mp o i n tm a t c h e s ) 问题。 0 d f a u g e r a s 和s m a y b a n k 在文【”j 中详细地分析了上述问题的解的性质，证明 了该问题的多解性。他们通过代数几何和传统射影几何两种途径给出了此问题解的 性质的证明。记本质矩阵为e ，则矩阵e 满足下列关系： f d e t ( e ) = 0 ， l t r ( e e ) e e e 7 e ：o ( 2 2 0 ) l z 由上式得到九个三次多项式方程。这九个多项式方程是线性独立的，它们定义 了矩阵e 的一个代数流形m 。在给定5 对对应点时，m 的维数是5 ，度数是1 0 ，e 的解的最大个数是l o 。在给定足够多对对应点时，e 的解的最大个数是3 。 假设摄像机的内部参数是六， ，v o ，图像点p i 和p 2 的齐次坐标分别是 u 。= ( “。uj ) 7 和u2 = ( 也y 21 ) 7 ，则向量m i 和m2 可以表示成 这单 如i渊 ( 2 2 i ) ( 2 2 2 ) f 2 2 3 ) 壹室堕至堕盔苎堂堡兰兰垡堡兰 把方程式( 22 1 ) 和( 2 2 2 ) 代入方程( 21 9 ) ，则有u ；f u i = 0 ，其中f = a1 e a 。 就是基本矩阵。可见，基本矩阵不仅包含了摄像机的外部参数信息，而且也包含了 摄像机的内部参数信息，求得基本矩降后，由此可以进7 一步求解内部参数或者外部 参数或者两者。 2 4 2 利用绝对二次曲线和外极线变换性质的摄像机定标方法 图2 3 ：k r u p p a 方程根据绝对- 二次曲线满足的几何关系推导t t t 来，即：通 过光心c 、c 且与无穷远平面口。上的绝对二次曲线。相切的两个平面 必定同时与q 的象相切。 f a u g e r a s ，l u o n g ，m a y b a n k 等提出的自标定方法是直接基于求解k r u p p a 方程 的一种方法【1 2 1 ，该方法利用绝对二次曲线像和极线变换的概念推导出了k r u p p a 方程。 如上图，在光心c 对应的图象平面1 上，存在着两极线i 。、l ：与相切，在光 心c7 对应的图象平面2 上也存在着两极线l ：、i ：与相切( 、m7 分别是绝对二 次曲线n 在图象平面l 、2 上的像) 。根据射影几何的原理：1 与l ：、j 2 与i ：分别 对应着无穷远平面z 。上两条与绝对二次曲线相切的直线，这种对应被称为极线变 换。如果将极线l 。表示成e x m ，其切点m 在图象平面2 上形成的极线即为i ，而i ： 的方程可用基础矩阵表示为f m ，则根据极线变换得： ( e m ) 7 k k7 ( e m ) = m 7 e l r k k7 e l 。l i f t ( f m ) 7 k k 7 ( f m ) = m 7 f 7 k k 。f m ，v m 基了二双目立体视觉的计算机三维重建 ：k k7 e l 。；f r k k7 f ( 【l 表示欠量的反对称矩阵) ( 2 、2 4 ) 从l 2 2 4 ) 式可以得到5 个关于m 分量的二次方程，但其中只有2 个是独立的【l 。 ( 2 2 4 ) 式常由于其形式的特殊被称为k r u p p a 方程。容易看出，从两幅图象总共可 以得到2 个k r u p