（机械电子工程专业论文）基于双目立体视觉的三维重构.pdf

中国科学技术大学学位论文相关声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除己特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：筮皇垫皇旦 2 0 0 8 年6 月1 1 日 中国科学技术大学硕士论文张晓明第1 章绪论 1 1 计算机视觉技术 第1 章绪论 计算机视觉既是工程领域也是科学领域中的一个富有挑战性的重要研究领 域。计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加 到对它的研究之中，其中包括计算机科学和工程、信号处理、物理学、应用数学 和统计学、神经生理学和认知科学等【1 1 。 视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断和军事等领域 中各种智能自主系统中不可分割的一部分。由于它的重要性，一些先进国家，例 如美国把对计算机视觉的研究列为对经济和科学有广泛影响的科学和工程中的 重大基本问题，即所谓的重大挑战( g 聊1 dc h a l l e n g e ) 。“计算机视觉的挑战是要 为计算机和机器人开发具有与人类水平相当的视觉能力。机器视觉需要图像信 号，纹理和颜色建模，几何处理和推理，以及物体建模。一个有能力的视觉系统 应该把所有这些处理都紧密地集成在一起【2 1 。，作为一门学科，计算机视觉开始 于6 0 年代初，但在计算机视觉的基本研究中的许多重要进展是在8 0 年代取得的。 现在计算机视觉已成为一门不同于人工智能、图象处理、模式识别等相关领域的 成熟学科【3 1 。 不少学科的研究目标与计算机视觉相近。这些学科包括图像处理、图像识别、 景物分析、图像理解等。由于历史发展或领域本身的特点这些学科互有差别，但 又有某种程度的相互重叠。为了清晰起见，我们把这些与计算机视觉有关的学科 从研究目标和方法角度加以归纳【4 】。 ( 1 ) 图像处理 图像处理技术把输入图像转换成具有所希望特性的另一幅图像。例如，可通 过处理使输出图像有较高的信噪比，或通过增强处理突出图像的细节，以便于操 作员的检验。在计算机视觉研究中经常利用图像处理技术进行预处理和特征抽 取。 ( 2 ) 图像识别 1 中国科学技术大学硕士论文 张晓明第1 章绪论 图像识别技术根据从图像抽取的统计特性或结构信息，把图像分成预定的类 别。在计算机视觉中图像识别技术经常用于对图像中的某些部分( 例如分割区域) 的识别和分类。 ( 3 ) 图像理解 给定一幅图像，图像理解程序不仅描述图像本身，而且描述和解释图像所代 表的景物，以便对图像代表的内容作出决定。在人工智能视觉研究的初期经常使 用景物分析这个术语，以强调二维图像与三维景物之间的区别。图像理解除了需 要复杂的图像处理以外还需要具有关于景物成像的物理规律的知识以及与景物 内容有关的知识。 在建立计算机视觉系统时需要用到上述学科中的有关技术，但计算机视觉研 究的内容要比这些学科更为广泛。计算机视觉的研究与人类视觉的研究密切相 关。为实现建立与人的视觉系统相类似的通用计算机视觉系统的目标需要建立人 类视觉的计算理论。 八十年代初，马尔( m a r r ) 从神经生理学、心理物理学和临床神经病理学角度 对人类视觉进行了系统的理论研究，并以此为根据提出了视觉计算三层表象理 论，该理论是迄今为止最为系统的视觉理论，对神经科学的发展和人工智能的研 究产生了深远的影响【5 1 。马尔的三个表象层次如图1 1 所示。 图1 1 视觉系统的三个表象层次【5 】 m a r r 的计算视觉理论把视觉过程看作一个信息处理过程，并把这一过程分 为三个层次：计算理论；算法与数据结构；硬件实现。这一理论强调计算理论层 2 中国科学技术大学硕士论文张晓明第1 章绪论 次，并根据w a r r i n 舀o n 【6 1 临床神经学的研究结果，阐明视觉目的是从图像中建立 物体形状和位置的描述。在这一层次把视觉过程主要规定为从二维图像信息中定 量恢复图像所反映的三维场景中物体的形状和空间位置，即三维重建。在计算理 论这一层次，m a 盯将三维重建这一过程分为三个层次。前期视觉处理阶段是由 输入的二维图像获得二维要素图，包括检测灰度变化，表示和分析局部几何结构 以检测照明效应等处理。中期视觉处理阶段是对二维要素图进行一系列运算得到 能反映可见表面几何特征的表象，即二维半( 2 5 维) 图。这些运算包括由立体视 觉运算物体的深度信息；根据灰度、纹理等信息恢复表面方向；由运动视觉运算 获取表面形状和空间关系信息等。后期视觉处理阶段是从二维半图像获取场景物 体的三维描述，识别出场景中这些物体的位置和姿态。 1 2 立体视觉技术 立体视觉是计算机视觉领域的一个重要课题，它的目的在于重构场景的三维 几何信息。立体视觉的研究具有重要的应用价值，其应用包括移动机器人的自主 导航系统，航空及遥感测量，工业自动化系统等。立体视觉的研究由如下几部分 组成【7 】： ( 1 ) 图像获取 用作立体视觉研究的图像的获取方法是多种多样的，在时间、视点、方向上 有很大的变动范围，直接受所应用领域的影响。立体视觉的研究主要集中在三个 应用领域中，即自动测绘中的航空图片的解释，自主车的导引及避障，人类立体 视觉的功能模拟。不同的应用领域涉及不同类的景物，就场景特征的区别来分， 可以划分成两大类，一类是含有文明特征的景物；另一类是含有自然特征的景物 和表面。不同类的景物的图像处理方法大不相同。 ( 2 ) 图像匹配 图像匹配是立体视觉系统的核心，是建立图像间的对应关系从而计算视差的 过程，是极为重要的。 ( 3 ) 深度计算 3 中国科学技术大学硕士论文张晓明第1 章绪论 立体视觉的关键在于图像匹配，一旦精确的对应点建立起来，距离的计算相 对而言只是一个简单的三角计算而已。然而，深度计算过程也遇到了显著的困难， 尤其是当对应点具有某种程度的非精确性或不可靠性时。粗略地说，距离计算的 误差与匹配的偏差成正比，而与摄像机组的基线长度成反比。加大基线长度可以 减少误差，但是这又增大了视差范围和待匹配特征间的差别，从而使匹配问题复 杂化了。为了解决这一问题出现了各种匹配策略，如由粗到精的策略、松驰法等。 1 3 双目立体视觉技术 双目立体视觉理论建立在对人类视觉系统研究的基础上，通过双目立体图 像的处理，获取场景的三维信息，其结果表现为深度图，再经过进一步处理就可 得到三维空间中的景物，实现二维图像到三维空间的重构。m a r r 和p o g g i o 以及 g r i m s o n 【8 9 】最早提出并实现了一种基于人类视觉系统的计算视觉模型及算法。双 目立体视觉系统中，获取深度信息的方法比其它方式较为直接，它是被动方式的， 因而较主动方式( 如程距法) 适用面宽，这是它的突出特点。 双目视觉是最接近于人类视觉的三维数据恢复方式，也是计算机被动测距 方法中最重要的距离感知技术。双目视觉系统的工作原理是基于人眼视差的原 理，它的构成包括硬件系统和软件系统两方面。 双目立体视觉技术的实现可分为图像获取、摄像机标定、图像预处理、图 像匹配等步骤。下面依次介绍各个步骤的实现方法和技术特点【l0 1 。 1 3 1 双目立体视觉原理 双目视觉一般采用的方法是两个摄像机从不同角度同时获取目标物体及其 周围景物的两幅数字图像，或者用单摄像机在不同时刻从不同角度获取周围景物 的两幅数字图像，基于视差原理，在己知两摄像机之间的位置关系的基础上，恢 复出目标物体的三维空间信息，并进一步重建目标物体的三维形状与空间位置。 图1 2 为简单的平视双目立体成像原理图。假定左右摄像机已完成标定，两 摄像机光心都在图像正中，两摄像机水平和垂直方向伸缩因子一致，其中一个摄 像机坐标系与世界坐标系相重合，两个摄像机内外参数相同，且两者坐标系同各 4 中国科学技术大学硕士论文张晓明第1 章绪论 对应轴精确平行。图中所示两摄像机投影中心连线距离为基线距6 ，厂为摄像机 焦距。 图1 2 双目立体视觉模型 当双摄像机如此配置时，两个摄像机坐标系只相差x 轴方向上的一个平移， 称为基线距6 ，q q 为c l 及c 2 坐标系的x 轴，尸q d 2 平面与两个图像平面厶及厶 的交线分别为巨与易，由于两个图像平面位于同一平面，则巨与易为该平面上 的同一直线，由于图像平面平行于x 轴，故巨与易平行于x 轴，巨与最就是极 线( 见第三章) ，a 与仍分别为q p 与厶及q p 与厶的交点。 在上述摄像机配置下，任何空间点p 的坐在c 1 坐标系下为( 五，m ，z 1 ) ，在c 2 坐 标系下为( 昀一6 ，m ，z 1 ) ，由中心摄影比例关系可得( 见第三章) ： 茏：弛二盟 1 d m = 瓮铲 n ， d a 。 z = o 1 d 其中，d = “，一“：称为视差，可见，如果以c l 坐标系为世界坐标系，由局与仍的 图像坐标( ”。，h ) ，( 甜：，屹) 可求出空间点尸的三维世界坐标( 五，乃，z 。) 。 5 中国科学技术大学硕士论文张晓明第1 章绪论 1 3 2 图像获取 双目立体视觉的图像获取是由不同位置的两台或者一台( c c d ) 摄像机经过 移动或旋转拍摄同一幅场景，获取立体图像对。 双目立体视觉系统中，深度信息的获得是分两步进行的。第一部分，在双目 立体图像间建立对应点，也就是搜索对应点的问题，是双目立体视觉的关键；第 二部分，根据对应点的视差计算出深度，也就是建立摄像机模型问题。双目立体 视觉模型中，双摄像机彼此参数一致，光轴平行且垂直于基线，构成一个共极性 ( e p i p o l a r ) 结构，这样做是为了缩小对应点的搜索空间，只有水平方向的视差， 简化了对应点的搜索过程。 1 3 3 摄像机的标定 对双目立体视觉而言，c c d 摄像机、数码相机是利用计算机技术对物理世 界进行重建前的基本测量工具。对它们的标定是实现立体视觉基本而又关键的一 步。通常先采用单摄像机的标定方法，分别得到两个摄像机的内、外参数，再通 过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。 目前最常用的单摄像机标定方法主要有t s a i 两步法和张正友标定方法。t s a i 两步法首先采用透视矩阵变换的方法求解线性系统的摄像机参数，再以求得的参 数为初始值，考虑畸变因素，利用最优化方法求得非线性解，标定精度较高。张 正友标定法是通过不同位置和方向的几个平面来求解摄像机内部参数，然后再计 算摄像机的外部参数的方法进行摄像机的标定。此方法计算比较直接，但不适合 广角镜头。 目前比较有代表性的双摄像机标定方法有f u s i e l l o 方法和杜歆的二步旋转 法。f u s i e l l o 方法简单而且精确，且实现较为容易。杜歆的二步旋转法不仅能够 应用于双摄像机的标定，还可以应用于多摄像机系统，但标定过程较复杂。 1 3 4 图像预处理 在采集图像时，由于两台摄像机所处的方位不同，因此不同视角接收到的 光强稍有不同，各摄像机的增益、电平不能保证完全一致，以及图像采集卡不同 6 中国科学技术大学硕士论文 张晓明第1 章绪论 通道之间的噪声也不完全相同等原因，都将导致在实际获得的立体图对中相同场 景点像素灰度值存在着差异。这些差异值如果没有在立体匹配之前进行消除，会 对立体匹配结果产生很不利的影响。因此，在进行立体匹配之前先要对图像对进 行预处理。 比较常用的预处理方法有噪声平滑滤波、边缘锐化、几何校正等处理。 1 3 5 立体匹配 立体匹配就是在两幅图像的匹配基元之间建立对应关系的过程，它是双目 体视中最关键、困难的一步。与普通的图像配准不同，立体像对之间的差异是由 摄像时观察点的不同引起的，而不是由其它如景物本身的变化、运动所引起的。 根据匹配基元的不同，立体匹配可分为区域匹配、特征匹配和相位匹配三大类 【l l 】 o 1 4 三维重构 经过匹配之后，得到目标物体上离散点对应的图像坐标，利用标定得到的 双摄像机投影矩阵即可算出这些离散点的三维世界坐标。为了使物体真实地显示 出来，我们在o p e n g l 中对这些离散点赋以纹理等信息，从而得到目标物体的表 面逼真形貌。 1 5 双目立体视觉国内外研究现状及发展方向 国外对双目立体视觉的研究相当活跃，其应用面也很广。 日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统 【1 2 】。该系统每幅图像中相对静止的三个标志为参考，实时计算目标图像的雅可 比矩阵，从而预测出目标下一步运动方向，实现了对运动方式未知的目标的自适 应跟踪。华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视 觉系统，使其能够在火星上对其即将跨越的几千米内的地形进行精确的定位和导 航【1 0 】。日本n i h o n 大学将双目视觉系统用于人体身高的测量来发现犯罪嫌疑人 的重要特征，该系统同时考虑了系统构件的成本、图像处理的实时性及身高检测 7 中国科学技术大学硕士论文张晓明第1 章绪论 的准确性【1 3 】。法国的r d u e n 大学的a b e n s r h a i r 等人基于机器视觉系统就车辆检 测提出新的算法，该方法的检测效果的可靠性更高，同时对摄像机获取的车辆之 间的距离的计算更为准确【1 4 1 。韩国p o h a n g 科技大学在炼钢厂的无人驾驶的起重 机上安装视觉系统，为起重机吊运钢卷提供目标物体的具体空间信剧”】。 在国内院校科研领域，双目立体视觉研究在我国也相当活跃。浙江大学机 械系完全利用透视成像原理，采用双目视觉方法实现了对多自由度机械装置的动 态精确位姿检测；东南大学电子工程系基于双目立体视觉，提出了一种灰度相关 多峰值视差绝对值极小化立体匹配新方法，可对三维不规则物体偏转线圈的三维 空间坐标进行非接触精密测量；哈工大采用异构双目活动视觉系统实现了全自主 足球机器人导航：武汉汽车工业大学的王天珍教授在总结现有视觉模型的基础 上，将生物视觉模型与计算机视觉模型相结合，提出了一种版式并行检索模型 【16 。中国科学院自动化研究所研究的三维重建技术，采用自动关键点匹配、双 目重建、表面三角化和三维点拼接技术，经过图像对提取，图像对关键点匹配， 图像关键点的重建，三角化以及数据融合生成物体完整的三维结构【1 7 】。 同时，也有大量的公司致力于机器视觉的开发研究。他们主要有北京大恒 图像、北京时利和、北京微视凌志、北京微视新纪元、深圳市视觉龙科技、香港 盈基科技、深圳科瑞自动化、深圳步进科技等公司。 经过近年的发展，双目立体视觉的研究和应用取得了巨大成功，在人类的 生产和生活领域发挥着越来越大的作用。但是总的来说，无论是从视觉生理的角 度，还是实际运用的角度，现有的双目视觉还是处于不成熟的阶段，其原因包括 技术手段不够及人类对自身视觉机理了解不够等多方面。立体匹配作为机器视觉 的核心，在理论和技术层面都存在很多问题。例如：如何合理地选择匹配特征， 以克服匹配准确性和恢复视差全面性间的矛盾；如何选择有效的匹配准则和算法 结构，以解决存在严重灰度失真、几何畸变( 透视、旋转、缩放) 、噪声干扰、特 殊结构( 平坦区域、重复相似机构等) 即遮挡景物的匹配问题；如何建立更有效的 图像表达形式和立体视觉模型，以便更充分地反映景物的本质属性，为匹配提供 更多的约束信息，降低立体匹配的难度等等。 从当前的发展来看，其发展方向可归纳如下： 8 中国科学技术大学硕士论文张晓明第1 章绪论 ( 1 ) 以全面的观点将双目立体视觉系统的各个模块联系起来。 ( 2 ) 由传统的双目视觉向多目视觉、完全静态的视觉向动态视觉发展，通过 增加信息输入降低视觉计算的难度。 ( 3 ) 向智能化发展，建立基于知识的，模型的和规则的双目立体视觉方法。 ( 4 ) 算法向并行化发展，采用并行流水线机制和专用的信号处理器件、增强 双目立体视觉系统的实用性。 1 6 课题背景与研究意义 利用类似人类的双目立体视觉系统拍摄图片并进行匹配和重构的处理以得 到目标物体的形貌信息成为一个重要的研究方向。双目立体视觉除了在非接触测 量和物体三维重构方面以外，在微操作系统的参数检测、安全鉴别、监视与跟踪； 运动分析；工业产品、农作物生长及食品检测；智能交通系统和虚拟现实等领域 也有着广泛的应用。 本课题的研究涉及双目立体视觉系统的总体设计，双目摄像机的标定，双 目立体匹配和三维可视化以及w i n d o w s 平台的v c 编程等多方面的知识。通过 这个课题的研究，可以初步建立基于双目立体视觉的三维重构平台，为后续的进 一步研究奠定基础，因而对双目立体视觉技术的研究具有重要意义。 1 7 本论文的主要工作 ( 1 ) 概述计算机视觉相关技术的发展现状、方法和理论。 ( 2 ) 研究双目立体视觉的摄像机标定方法和外极线校准方法，对双摄像机 进行立体标定。 ( 3 ) 使用四阶段的图像预处理方法，有效地去除了图像噪声，平衡了图像 间的亮度差异。 ( 4 ) 对区域匹配方法进行了详细研究，比较了不同窗口和相似性度量算子 对匹配性能的影响。对于物体表面灰度变化平坦区域，采用阈值和左右一致校验 去除误匹配点和多歧义匹配点。 9 中国科学技术大学硕十论文张晓明第1 章绪论 ( 5 ) 研究了三维重构和可视化，通过o p e n g l 得到了形象逼真的目标物体 的表面形貌。 ( 6 ) 在现有的双目视觉系统下完成了基于双目立体视觉的三维重构实验， 整个实验包括立体图对的采集、标定、预处理、立体匹配、视差图的后处理和三 维重构及可视化。 1 0 中国科学技术大学硕七论文张晓明第2 章三维重构系统总体设计 置，因而，需要再建立以物理单位( 例如毫米) 表示的图像坐标系。该坐标系以 图像内某一点d 为原点，x 轴与y 轴分别与甜，轴平行，( x ，y ) 表示以毫米为单位 的成像平面坐标系的坐标。在x ，y 坐标系中，原点d 定义在摄像机光轴与图像平 面的交点，该点一般位于图像中心处，但由于摄像机制作的原因，也会有些偏离， 若d 在材，1 ，坐标系中的坐标为( ，) ，每一个象素在_ ) c 轴与y 轴方向上的物理尺 寸为出，砂，则图像中任意一个象素在两个坐标系下有如下关系： o o u v ox 一 ( u o ，v o ) y 图2 1 图像坐标系 x 牡瓦枷。出 ” v - 考+ 咖 ” ( 2 1 ) ； = 1 # 碱 亿2 ， 逆关系可写成： 喜鞠豳 亿3 ， 摄像机成像几何关系如图2 2 所示。其中q 点称为摄像机光心，鼍，艺，乙轴 组成的直角坐标系称为摄像机坐标系。0 c 点与图像的x 轴与y 轴的交点d 的连 线为摄像机的光轴，它与图像平面垂直。d 为成像平面坐标系的原点，d d c 为摄 像机焦距。摄像机坐标系五，【，z c x 中国科学技术大学硕士论文 张晓明第2 章三维重构系统总体设计 图2 2 摄像机坐标系与世界坐标系 因此，空间一点尸在世界坐标系与摄像机坐标系下的齐次坐标 x ，= ( e ，匕，乙，1 ) r 与( 鼍，【，z c ，1 ) r 存在如下关系： x c e z c 1 = 隘 x 。 匕 乙 1 = m l x 。 匕 z w 1 ( 2 4 ) 其中，r 为3 3 正交矩阵；t 为三维平移向量；o = ( 0 ，0 ，0 ) r ；m l 为4 4 矩阵。 通常情况下，双目立体视觉传感器是由两台结构和性能完全相同的c c d 摄 像机组成，且成对称姿态摆放。目前，双目立体视觉传感器中的c c d 摄像机摆 放方式有：交向摆放式和正直摆放式【1 9 2 0 2 。 图2 3 为摄像机交向摆放方式的示意图，建立坐标系如图中所示，此时两个 摄像机的光轴在空间交汇，且与z w 轴的夹角相等，这里设为妒，两摄像机光心 与五，轴交点间距离为基线6 。 c 图2 3 摄像机交向摆放和会聚式测量模型 1 3 中国科学技术大学硕士论文 张晓明第2 章三维重构系统总体设计 ( 一j s i n ( 口) 一厂c o s ( p ) ) x ，+ ( 工lc o s ( p ) 一厂s i n ( 9 ) ) z ，= 一昙( j ls i n ( 日) + ，) ( s i n ( 日) 一厂c 。s ( 9 ) ) x ，+ ( c 。s ( p ) + s i n ( ) z ：一鲁( bs i n ( 日) 一厂) ( 2 8 ) ( 一y s i n ( 日) ) x ，一l + ( y lc o s ( 日) ) z ，= 冬( ) ，ls i n ( 日) ( j ，rs i n ( 日) ) x ，一l + ( y rc o s ( 9 ) ) z = 一昙( j ，rs i n ( 9 ) 通过解线性方程组( 2 8 ) ，可得出点尸( k ，匕，乙) 的坐标。这个求解空间 一点的三维坐标的过程称作三角测量。 另一种常见的摆放模式为摄像机正直摆放方式，如图2 4 。此时，两个摄像 机的坐标轴互相平行，如与如重合，光轴与乙轴平行，即与乙轴的夹角p 为 o ，两个摄像机在x 轴交点间距离为基线6 。将方程( 2 8 ) 中的p 设为0 即可解 出乙为： 乙= 丧 图2 4 摄像机正直摆放 ( 2 9 ) 通过以上分析，可以看出，交向摆放式的两摄像机其共同视场范围较大，“盲 区”范围小，并且安装方便。其缺点是计算，分析非常复杂。正直摆放式的双目 立体视觉传感器模型结构优点在于：进行匹配时计算简单，分析方便，但对传感 器的装配精度要求很高。缺点是在测量精度较高的近距离处，两摄像机视场相交 部分少，故而“盲区”范围较大，影响较近距离目标的测量。 本课题由于要恢复近距离场景点的信息，因此从视场范围和测量精度方面 考虑，采用交向式摄像机摆放方式。为了降低计算时的复杂度，通过f u s i e l l o 极 1 5 中国科学技术火学硕士论文张晓明第3 章摄像机的标定 3 1 引言 第3 章摄像机的标定 三维空间每一点在图像上的位置与空间物体表面相应点的几何位置有关。 这些位置的相互关系由摄像机成像几何模型决定。该几何模型的参数称为摄像机 参数，这些参数必须由实验与计算来确定，实验与计算的过程即为摄像机的标定。 这一过程精确与否，直接影响了立体视觉系统测量的精度，因而实现立体摄像机 对的标定工作是必不可少的口2 ，2 3 1 。 双目立体视觉系统能够根据两台摄像机之间的关系和两幅图像上的对应点， 利用物点和像点的关系求得物体外轮廓的三维坐标信息。从测量精度上来说，摄 像机定标的精度是决定双目立体视觉系统精度的关键因素之一。 3 2 单摄像机的标定 在基于机器视觉的测量和三维重构系统中，单摄像机标定是一项最基本，也 是非常重要的工作，一直受到人们的关注。目前，单摄像机标定技术大致可归结 为传统标定方法和摄像机自标定方法2 类2 4 】【2 5 】。 传统摄像机标定方法是在一定的摄像机模型下，在一定的实验条件下，利用 形状、尺寸已知的标定物，经过对其图像进行处理，并利用数学变换和计算方法 来计算摄像机内外参数，算法复杂、精度高。标定计算的复杂度与摄像机成像几 何模型的复杂性有关2 5 1 。摄像机自标定方法不依赖于标定参照物，利用获得的 多帧图像信息综合分析而得到摄像机的内外参数。这种方法标定过程复杂，不宜 用于实时性要求较高的场合，并且其最大的不足是鲁棒性不足【2 6 】。 在高精度标定方法中，由t s a i 首先提出的两步法是目前较好的方法，该方法 简便，计算量适中，精度较高，但对图像中心需预标定或通过其他方法得到【2 7 】。 张正友法【2 8 1 是白标定与传统标定之间的一个妥协方法，该方法简单，实用性强， 但在广角镜畸变比较大的情况下，校正效果偏差比较大【2 9 1 。基于以上的分析，本 文所采用的单摄像机标定方法是改进的t s a i 两步法，然后再利用最优化理论对摄 1 8 中国科学技术大学硕士论文 张晓明第3 章摄像机的标定 像机内外部参数进行优化得到最终结果。此方法计算比较直接，精度也较高，同 时由于标定模板是一个自制的平面模板，所以实施起来简单有效，比较符合现场 环境。 ) u l( u d ，v d ) 圣 l u ( u o ，v o ) y 3 - 2 1t s a i 两步法标定原理 0 c x c 或 p ( x - ，y - ，z - ) 图3 1 一阶径向畸变摄像机模型 该模型为一阶径向畸变针孔模型，如图3 - 1 所示。图中( 瓦，匕，乙) 是尸点在 世界坐标系q 扎匕乙中的三维坐标；( 置，艺，z c ) 是同一点尸在摄像机坐标系 q 墨k z c 中的坐标，q 点亦为光学中心，z c 轴与光轴重合；是原点在d 点 ( 光轴z c 与成像平面的交点) 平行于鼍、艺轴的c c d 成像平面坐标系，每一 个象素在x 轴与y 轴方向上的物理尺寸为出，咖，焦距厂是成像平面和光心距离， ( 吒，儿) 是理想针孔模型下点的成像坐标，( 勤，矗) 是由镜头径向畸变引起偏离 ( 吒，虬) 的成像坐标。q w 是原点在d o ( 位于计算机图像的左上角) ，甜轴向右、 v 轴向下的计算机图像平面坐标系，( 蚴，) 和( ，) 分别是( 勤，均) 和c c d 成 像平面坐标系的原点d 在该坐标系中的坐标。在针孔摄像机线性模型中，以世界 坐标系表示的p 点坐标与其在计算机图像平面坐标系中的投影点的坐标的关系 如式( 3 1 ) 【l 】： 1 9 中国科学技术大学硕士论文 张晓明 第3 章摄像机的标定 h 降 计l 三 o o a y v o o 01o j _吃吩 正 吩乃 巧吩马正 0o0l x w 匕 乙 1 x 。 匕 z w 1 = m x 。( 3 1 ) 其中，s 。为图像尺度因子或称为纵横比，a 。= 厂出为“轴上尺度因子，或称 为“轴上归一化焦距；0 c 。= 厂方为v 轴上尺度因子，或称为v 轴上归一化焦距； m 为3 4 矩阵，称为投影矩阵；m 2 完全由口，口，决定，由于a ，a ，只 与摄像机内部结构有关，我们称这些参数为摄像机内部参数；m 。完全由摄像机 相对于世界坐标系的方位决定，称为摄像机外部参数，确定某一摄像机的内外参 数，称为摄像机定标。由两步法得到的旋转矩阵r ( 自由度为3 ) 并不能严格满 足理想的正交性约束条件，因此使用旋转欧拉角的形式代替r 参与计算。由矩阵 r 计算旋转欧拉角的公式如下【1 8 】： l f ，= a r c t a l l ( 尘) 中国科学技术大学硕士论文 张晓明第3 章摄像机的标定 其中，行矢量【k 均匕均乙儿儿一k 劫一匕劫一乙勤】是已知的，而列 矢量 号号号号号号号丁是待求的参数。 实际图像坐标( 劫，儿) 到计算机图像( 帧存) 坐标( ，屹) 的变换为： 脚2 & 篓k 螂 ( 3 1 3 ) 【屹=咖一儿+ r 7 其中，出= 凼虬，出为摄像机在x 方向的像素间距，方为摄像机在y 方向的像素间距，以为摄像机在x 方向的像素数，疗为计算机在x 方向采集到 的行像素数，瓯为图像尺度因子或称为纵横比，( ，) 为光学中心。 基于上述原理，r o g e rt s a i 给出了基于共面标定点和非共面标定点的摄像 机参数求解方法【2 5 1 。为了讨论t s a i 两步法标定的一般性，以采用n 个非共面点 为例来讨论标定过程，计算机图像坐标为( ，) ，相应三维世界坐标为 ( 瓦，匕。，乙，) ，江1 ，2 ，则标定的过程可按以下步骤实现。 1 、求解旋转矩阵r ，平移矩阵t 的疋，瓦分量以及图像尺度因子殴( 第一 步) ( 1 ) 设= 1 ，( 甜。，) 为计算机屏幕的中心点坐标，依式( 3 1 3 ) 由获取的 计算机图像坐标( ，) 计算实际图像坐标( ，儿) 。 ( 2 ) 由径向约束条件，式( 3 1 0 ) 写为： b w i y 击y w i y mz w t y myd l x w i x 血l t x m 这样，当7 时可以用最小二乘法解出 2 3 s x 气 t y s n 峨 s | t y z 。，】i & c 弓 r 、峨 r tp r 6 | t y = ( 3 1 4 ) 中国科学技术大学硕+ 论文张晓明 第3 章摄像机的标定 在第一步里，已求解出参数疋、弓、以及吩，剩下的工作就是确定厂、与、 ( 1 ) 对于每一个特征点，不考虑畸变有 争= 老 fz d 、。 令毛= o ，( ，) 为计算机屏幕的中心点坐标，则由式( 3 9 ) 和式( 3 1 9 ) 可得 c 以一砂c 一v o ， 乏 = w 咖c v 硪一v o ， c 3 2 。， 其中，咒= _ 瓦，+ 吩l ，+ 乙，+ 弓，w = 巧以，+ 吩匕，+ 与乙，。求解由式( 3 2 0 ) 组 成的超定方程组即可求得厂及正的初始值。 ( 2 ) 取毛的初始值为0 ，( ，v 0 ) 为计算机屏幕的中心点坐标，解下列非线性 方程组，进行优化搜索即可得到厂，毛，t 的精确解。 j 嘞( 1 + 毛2 ) = 厂( 以，+ 眨匕+ 吩乙+ ) 幅l + 吩圪+ 玛乙+ )f 32 1 、 l 虼( 1 + 毛2 ) = 厂( ，：l - 0 + 吩巧f + 乙f + 弓) ( 巧叉0 + 匕l + 马z 。，+ ) 、7 以上即为采用非共面点t s a i 两步法的完整求解过程。由于采用非共面点需 要造价和精度要求很高的立体标定块才能得到标定点的精确世界坐标，故而本本 课题采用操作简单方便的共面标定点进行标定。对于共面点，在标定前只需将 设定为l ，并且将共面点的乙= o 带入式( 3 1 4 ) 即可，其他过程一样，在此不 再论述。 3 - 2 3 两步法标定的改进 由于c c d 摄像机在生产、安装过程中会产生偏差，实际的( ，) 以及翘、 订与其理论值有差异。两步法假定( “。，v o ) 的精确值已由其它方法求出而直接使 用【8 9 1 。为了不借助其他设备而又能够得到较为精确的( ，v o ) ，对两步标定法进 行改进，把( ，) 也作为需要标定的参数，同时用有效焦距a ，( 厂趔) 和 口。( 厂们来代替焦距厂进行参数优化计算。 2 5 中国科学技术大学硕士论文 张晓明 第3 章摄像机的标定 至此，需要优化的摄像机内外参数达1 1 个 。，a y ，毛，“。，v 0 ，8 ，妒，y ，t ，t ) ， 对所有标定参数的优化是基于最大似然准则【3 0 1 进行的。给定n 个标定点，则可以 通过最小化下式对所有的标定参数进行优化： f = 劾( 叫一叫1 2( 3 2 2 ) 其中，彰 ，a ，墨，嘞，吒，8 ，i f ，正，毛，互) = ( 匆，一) 为标定点只在世界坐标系 中的坐标值经摄像机模型投影到图像坐标系的像素值，u = ( “，m ) 为计算机采集 到的该标定点的像素标值。将这些需要优化的标定参数用向量表示为 x = ，a ，岛，v 0 ，a ，i f ，t ，0 ，z ) ，则此非线性优化问题可描述为： 算。 m i nf ( x ) ( 3 2 3 ) 对于此非线性最小二乘优化问题，采用l e v e n b e r g m a r q u a r d t 算法进行计 3 2 4 单摄像机标定实验验证 实验采用张正友的5 幅标定图片2 8 1 进行标定。先后用t s a i 两步法、从 ( h 郇： m ，、矾v i s i o n c a l t e c h e d u 厂b o u g u e q c a l ib _ - d o c ) 下载的m a t l a b 工具包( 基于张 正友法) 和文中改进的标定方法来对5 幅标定图片进行标定。标定的内部参数如 表3 1 所示。 表3 1 内部参数标定结果比较 a j 口j ， 炀白 t s a i 两步法 8 2 2 t 3 68 2 2 3 63 1 9 5 02 3 9 5 0o 0 5 张正友法 8 3 2 9 68 3 2 9 23 0 4 1 52 0 8 6 1o 2 3 改进的两步法 8 2 9 7 88 2 9 7 83 0 3 9 62 0 8 9 0o 0 6 ( 注：由于采用的是共面点标定，所以s 。= 1 ，内部参数取5 幅图的均值。， 单位是p i x e l ，镌单位是l 肌聊2 。) 2 6 中国科学技术大学硕士论文张晓明第3 章摄像机的标定 表3 2 改进前后的图像均方根误差 i m a g e l i m a g e 2i m a g e 3i m a g e 4i m a g e 5 1 t s a i 两步法 0 2 8 1o 3 9 7o 2 4 1 o 4 4 3 o 1 8 8 改进的两步法 0 1 2 20 1 2 0o 1 6 70 0 9 10 0 8 7 用m a t l a b 工具包对这5 幅图像进行标定得出的图像u 方向和v 方向均方根误 差分别为0 2 0 4 p i x e l 和o 2 6 5 p i x e l 。从以上两表可以看出，改进的两步法是有效 的。 3 3 双摄像机的标定 双摄像机标定除了要求解左右摄像机的内外参数并校正畸变外，还要标定 左右摄像机之间位置关系，以便完成同名极线的校准工作。 3 3 1 基于极线几何的双摄像机标定 极线几何描述了两个任意摄像机之间的相对位置和方向，如图3 2 所示。 外 外极平面 图3 2 极线几何 墨与如分别是两个摄像机的图像平面，铂与鸭分别是三维空间上的点w 在 两个平面上的投影，由图可知，啊和研：构成了一对对应点。在图像墨上任取一 点加。，如果能够求出它在心上的对应点聊：的位置，则可以通过三角测量原理计 算出空间点w 的深度，进而可以计算出其在三维空间中的坐标。因此，对于立 体视觉来说，关键问题是对蜀中的每一点聊，找出它在心中的对应点的位置。 2 8 中国科学技术大学硕士论文张晓明第3 章摄像机的标定 的对应点位于墨内由铂和两个摄像机的相对位置决定的某一条直线岛上， 这条直线所：p ：称为图像尺：上对应于，z l 点的外极线。图像r 内的所有外极线相交 于点乞，吃称为外极点，它其实是左摄像机的投影中心c ，在图像垦上的投影， 和历，的这种位置关系称为外极线约束关系。 应用外极线约束，可以使立体匹配的视差搜索由二维图像降为一维的沿外极 线的搜索，从而可以大大地降低整个匹配算法的复杂度。但由于在实际工作中， 立体摄像机对的配置总是存在误差，即使是平行垂直投影方式，也不能保证外极 线是水平的。这样造成立体匹配视差搜索复杂化。由于外极线不与图像的扫描线 重合，而是横跨图像的不同行、列。这样带来的问题是：在进行立体匹配时，有 时图像数据是按扫描线顺序存放的，而现代处理器为了提高存储器效率，一般都 引入了高速缓存机制【3 1 1 ，该机制将会在图像数据在实际使用之前先行存入高速 缓存以提高存储器效率，如果后续的处理使用到的图像数据己经位于高速缓存 中，则称之为缓存命中，从而提高存储器效率，否则不但不会提高性能，反而会 由于增加了重新载入缓存线的操作而降低存储器效率。匹配时的跨行取数必然带 来缓存命中率的降低而使存储器效率严重下降，从而影响整个系统的性能。因此， 对于实时立体视觉系统来说，在匹配前对立体图对进行校准( r e c t i 丘c a t i o n ) 是十分 必要的。 3 3 2 采用f u s i e l l o 方法校准极线的过程 立体图像外极线校准过程的本质是通过对原摄像机的透视矩阵经过一定的 几何变换得到新的透视矩阵的过程。转换后立体图像对的外极线具有平行且水平 的特性，且同名极线共线。 如图3 3 所示，设两个摄像机绕着各自的光心旋转，当旋转到两个摄像机的 焦平面共面的时候，原来的图像平面r 转换为疋，由此得到的新的透视矩阵为 和。此时基线6 包含在左右两个摄像机的焦平面内，所有的外极线相互 平行。为进一步使所有外极线变成水平，在左右两个摄像机的焦平面内建立一条 新的x 轴，使得平行于x 轴，这将使空间任意一点在左右两个摄像机图像内的 对应点具有相同的纵坐标。于是，具有投影矩阵的和心r 的左右摄像机就必 2 9 史垦型堂垫鲞盔堂亟士论文 张晓明 第3 章摄像机的标定 由于配准是将两个摄像机绕着各自的光心旋转进行的，配准后生成的两个新 的摄像机和各自原摄像机应具有相同的光心位置，因此求取新摄像机的光心位置 即为求原摄像机的光心位置。 设左摄像机的透视矩阵为： m o l = r1 = i 匕i 儿i l j 则图像中的任意一点的坐标( “，) 可表示为： r 缸：掣垫 9 3 w + 9 3 4 7 v ：掣垫 q ，+ q 3 4 ( 3 2 9 ) ( 3 3 0 ) 式( 2 2 8 ) 中，g + = o 表示焦平面；当g + 吼。= o 时，它和图像平面的 交线是图像平面的纵轴；当平面时，它和图像平面的交线是图像平面的横轴，而 此三个平面的交点即为光心坐标，因此求得下式： 五嘲- 0 ，结合式( 3 2 6 ) 可得：气= 一乞_ 玩，进而求得w = q + a 毛一1 ，同理咯= 一厶一1 。 r = 圈 3 ， 上式中，、，2 和吩分别表示世界坐标系中的x 、y 和z 轴，可通过下述方 3 1 中国科学技术大学硕士论文张晓明 第3 章摄像机的标定( a ) 新的x 轴平行于基线，可取 2 酬；i i 气一靠0 (b)新的y轴垂直于新的x轴，且垂直于新的x轴与原z轴组成的平面， 因此，吒=后八，尼是原z轴方向的单位矢量，“八”表示矢量积； ( c ) 新的z 轴垂直于新的x 轴和新的y 轴组成的平面，故吩= 眨。已知气 i=坂w( 3 3 2 )= 蚝w( 3 3 3 ) 根据式(329)和(330)可以求得： 妒气+ 九刎? 儿 ( 3 3 4 ) 【w = 气+ 九勋爱藿薹誉 羹垂搴；萎鞘譬塞冀掌奏 ；套耋姜l 藩器墓；冀蓄思裂雾馋蓁囊i 叼魏鄞纂蠹始慕爷蓁赫荔麓霎努肇薛测曼霎； 羹娃；蓁汐尚“鹊冀霜海篓奏滴蔼； i i 薹。塞搴= 鎏旺薹价奏管羹 l 室雾耄l 冀蓁避蠼埋塑琴丝嚣睁i 窑奏翼曩茎霎箨i i i ? 孤孵塑蒙感惟蝗碍兹； 羹薹 边缘、 中国科学技术大学硕士论文张晓明第3 章摄像机的标定 1 0 02 0 03 0 04 0 05 6 0 07 0 01 0 02 叩3 0 04 0 d5 0 0 咖7 0 0 图3 4 极线校准的结果 从图中可以看出校准前图像有很明显的摄像机镜头畸变，并且两个图中对 应点的位置并不在同一条直线上，而对图对进行镜头畸变校正以及外极线校准之 后，可以看到图像畸变已经得到修整，并且将同名极线校正到水平共线的位置上。 3 4 本章小结 本章主要对立体视觉摄像机的标定、图像的畸变校正和外极线校准问题进 行了研究。采用改进的t s a i 方法完成了单摄像机标定，采用f u s i e l l o 的方法完成 了双摄像机的立体标定并校准了极线。 3 3 伽 瑚 | 昙 佃 锄 咖 中国科学技术大学历受士论文筮明第4 章鼠繇霭立体视觉空抟匹配技术的研究 另外，由于噪声、遮挡等因素的影响，匹配后得到的视差图中可能存在误匹 配点，所以在匹配之后还需对视差图进行后处理，以保证三维重构的准确性。 4 2 双目立体视党图像的预处理 一般情况下，成像系统获取的图像( 即原始图像) 由于受到种种条件限制和随 机干扰，往往不能在视觉系统中直接使用，必须在视觉的早期阶段对原始图像进 行噪声平滑滤波等处理，这类图像处理技术通常都被称为图像的预处理。 实验中发现：从实验室环境中采集的图像含有大量的高斯噪声和少量的随机 噪声；由于两台摄像机接收的光强不同，立体图对间存在较大的亮度差异。所以 本文中预处理工作具体化为两个问题：一是如何去除图像中的高斯噪声和随机噪 声，二是如何平衡立体图对间的亮度差异。 去除图像中的亮度噪声的方法常用的有：均值滤波【3 8 1 、中值滤波【3 9 】和l o g 滤波【删等，其中由m a r r 提出的l o g 算子【4 l 】的滤波效果较好。它可以有效的将 图对中绝大多数符合高斯分布的噪声滤除掉，并保证了图像边缘和细节的清晰程 度。但l o g 滤波也存在两个问题：一是它无法消除图像中的随机噪声【4 2 】，二是 它不能够很好的平衡立体图对间的亮度差异。 针对l o g 滤波的特点和不足，本文使用了一种四阶段预处理方法对图像进 行处理，首先用均值滤波去除少量的随机噪声，其次用高斯滤波去除主要的高斯 噪声，再次用直方图均衡化方法平衡立体图对间的亮度差异，最后用拉普拉斯算 子对图像进行锐化。 4 2 1 采用均值滤波去除随机噪声 梗 设 梗 板 图4 1 均值滤波模板 4 2 3 采用直方图均衡化去除立体图对间亮度差异 立体图对间亮度差异的实质是：相同景物信息在各幅图像中灰度分布不在 同一区间。而直方图均衡化的方法可以将图像原直方图分布映射为均匀分布，从 而达到平衡立体图对间亮度差异的目的。 直方图均衡化方法原理如下： ( 1 ) 首先对原图像作归一化处理，将原图像的灰度由 o ，2 5 5 】压缩到 o ，l 】，即 作如式( 4 5 ) 的线性变换： 变换后的图像压缩到，【o ，1 】。 ( 2 ) 作如式( 4 6 ) 变换： ，：雩娑 ( 4 5 ) 2 5 5 、7 j = 丁( ，) = p ，( w m ( 4 6 ) 式中所( 川是，的概率密度，变换后得到以s 为灰度的图像，j 在 o ，1 】中均 匀分布。 具体操作如下： ( 1 ) 在o 2 5 5 的灰度范围内，遍历整幅图像，得到图像中第七灰度级出现的 次数俾。 ( 2 ) 用频数近似代替概率值，如式( 4 7 ) ： 所( ) = 仇疗 ( 4 7 ) 式中噍【o ，1 】，尼 o ，2 5 5 】，力为图像中像素