（信号与信息处理专业论文）基于harris算子和颜色码算法的图像三维重建.pdf

基于h a r r is 算子和颜色码算法的图像三维重建 摘要 双目立体视觉是通过对同目标的两幅图像提取、识别、匹配和 解释，重建三维环境信息的过程。本文是采用一台摄像机通过移动拍 摄空间某一场景的两幅图像，通过计算空间点在两幅图像中的视差， 获得该点的三维坐标值。主要过程包括：图像获取、摄像机标定、图 像预处理和特征提取、立体匹配以及三维重建。本文在分析和总结了 国内外立体视觉研究的基础上，傲了以下的几点改进： 1 摄像机标定方法。首先选取图像中心附近的角点做第一步标定，因 其能满足二、三维图像坐标之间的近似线性关系，计算出投影矩阵， 在此基础上计算内外参数；然后应用上一步的结果作为初值，进行迭 代优化，利用优化模型求得摄像机的全部参数。 2 角点检测。采用由粗而精的步骤进行角点检测，有效地解决了传统 边缘提取算法中，无法区分因为噪声产生的虚假边缘点问题。利用 h a r r i s 算子提取出角点并从中获得各个角点梯度的信息，结合颜色 码的使用保证提取出的角点的正确性。 3 立体匹配。采用一种基于顺序一致性约束的立体匹配算法。同时 应用极线限制和双向匹配致性确保两幅图像中的特征点的正确匹 配，减少歧异性。 关键词：图像获取；摄像机标定；图像预处理；角点检测；特征提取； 立体匹配；三维重建 i l t h e3 dr e c o n s r u c t i o no fi m a g eb a s e do n h a l u u so p e r a t o ra n dc o l o rc o d e a l g o r i t h m a bs t r a c t s t e r e o v i s i o ni st h ep r o c e s so fc a p t u r i n g ，i d e n t i f y i n g ，m a t c h i n ga n d t r a n s l a t i n gt w oi m a g e sf r o mt h es a m eo b je c t ，r e c o n s t r u c t i n g t h e3 d e n v i r o n m e n ti n f o r m a t i o n w er o t a t eo n ec a m e r at op h o t o g r a p ht w o i m a g e sf r o mo n es c e n e ，b yc a l c u l a t i n gt h ep a r a l l a xf r o mt h et w oi m a g e s t og e tt h ec o o r d i n a t eo ft h ep o i n ti n3 d i ti n c l u d e st h e s es t e p s ：i m a g ec a p t u r e ，c a m e r ac a l i b r a t i o n ，i m a g e p r e - p r o c e s s ，s t e r e o m a t c h i n ga n d3 d r e c o n s t r u c t i o n t h i st h e s i sa n a l y z e s a n ds u m m a r i z e sd o m e s t i ca n df o r e i g nr e s e a r c ho ns t e r e ov i s i o n , m a k i n g s o m ep r o g r e s sa sf o l l o w s ： 1 i m p r o v e dc a m e r a c a l i b r a t i o n a tf i r s t ，s e l e c t i n gc o m e r sa r o u n dt h e c e n t e ro fi m a g et h a tc a nm e e tt h er e q u i r eo f2 3di m a g e s l i n e a r r e l a t i o n s h i pa p p r o x i m a t e l yt om a k e t h ef i r s tc a l i b r a t i o n ，t h e nw ec a l c u l a t e t h e p r o j e c t i o nm a t r i xt oa c q u i r et h ei n n e ra n do u t e rp a r a m e t e r so ft h e c a m e r a ；f r o mt h er e s u l to fl a s ts t e p ，w ee m p l o yi t e r a t i o no p t i m i z a t i o n m e t h o da n dt h e nu t i l i z eo p t i m i z i n gm o d e lt oo b t a i na l lp a r a m e t e r s 1 1 1 2 c o m e rd e t e c t i o n w ea p p l yc o m e rd e t e c t i o na l g o r i t h mf r o m c o a r s et of i n et h a te f f e c t i v e l ys o l v et h ed i f f i c u l t i e st r a d i t i o n a le d g e d e t e c t i o nc a n td i f f e r e n t i a t ef a l s ee d g ep o i n t sb r i n g i n gb yn o i s e w e u t i l i z eh a r r i sa l g o r i t h mt oe x t r a c tc o m e r sa n da c q u i r eg r a d i e n t i n f o r m a t i o n ，c o m b i n i n gt h eu s eo f c o l o rc o d et oe n s u r et h ea c c u r a c yo f t h ec o m e r s 3 s e q u e n c ec o n s i s t e n c ys t e r e om a t c h i n ga l g o r i t h m w e u s ee p i p o l a r l i n ec o n s t r a i n ta n db o t h - w a yc o r r e s p o n d e n c ec o n s i s t e n c ys i m u l t a n e o u s l y t og u a r a n t e et h ec o r r e c t n e s so ff e a t u r ep o i n t sf r o mt w oi m a g e sa n dd e d u c t a m b i g u i t i e s k e y w o r d s ：i m a g ec a p t u r e ；c a m e r a c a l i b r a t i o n ；i m a g ep r e p r o c e s s i n g ； f e a t u r ee x t r a c t i o n ；s t e r e om a t c h i n g ；3 dr e c o n s t r u c t i o n i v 1 绪论 1 1 概述 立体视觉技术是机器人技术研究中最为活跃的一个分支，是智能机器人的重 要标志。双目立体视觉是通过对同一目i 示的两幅图像提取、识别、匹配和解释， 重建三维环境信息的过程。主要包括：图像获取、摄像机标定、图像预处理和特 征提取、立体匹配以及三维重建。通过对双目立体视觉技术的进一步研究，对多 目视觉具有重要的启发，为解决智能移动机器人、工业装配机器人、家用机器人、 公共服务机器人的视觉问题奠定良好的技术基础。 计算机视觉的研究中主要存在以下特点：首先它是多学科的交叉与结合。视 觉是一个涉及生理心理的复杂过程，不仅仅和眼睛有关，还和大脑的推理、学习 有关。研究计算机视觉的目的是要实现对人类视觉的模拟和延伸。采用形式化的 方法研究视觉问题除了涉及生理、心理之外还需要光学以及相应的数学理论支， 持，此外计算机几乎是目前实现人工智能的唯一工具，这一领域的支持更是极其 重要的。其次，在计算机视觉研究领域中绝大多数问题都是病态的，存在着诸多 不确定性因素。由于视觉问题是成像过程的逆过程，成像是从三维向二维投影的 过程，因而在这个过程中会把深度信息丢失，同时诸如光照、材料特性、朝向、 距离等信息都反映成唯一的测量值一灰度，因而要从这唯一的测量值恢复上述。 个或几个反映物体本质特征的参数是一个病态的过程。计算机视觉研究的第三个 特点是一个相对完备的视觉系统同时也是一个知识管理系统。在视觉过程中对一 幅图像的理解需要大量的关于任务领域的知识，这些知识不同于问题求解中的知 识可以明确地显式表示，而且人类获取信息的8 0 是通过视觉得到的，因而这些 知识涉及面之广难以预测。因此视觉系统中的知识管理是一个重要问题。 随着跨学科基础研究的不断深入和计算机性能的迅速提高，计算机视觉正在 受到广泛的重视，并已应用于交通事故现场重建、逆向工程、三维医学图像重建， 三维形面测量等许多领域。立体视觉是计算机视觉的一个重要分支，是由不同位 置的两台或两台以上的摄像机( c c d ，c h a r g e - c o u p l e dd e 、 i c e ) 拍摄同一幅场景， 通过计算空间点在每幅图像中的视差，获得该点的三维坐标值。8 0 年代美国麻省 理工学院人工智能实验室的m a r r 提出了一种视觉计算理论并应用在双目匹配上， 使两张有视差的平面图产生有深度的立体图形，奠定了双目立体视觉发展的理论 基础。相比其它类的体视方法，如透镜板三维成像、投影式三维显示、全息照相 术等，双目立体视觉直接模拟人类双眼处理景物的方式，简便可靠，在许多领域 均极具应用价值，如三维测量学、虚拟现实、微操作系统的位姿检测与控制以及 机器人导航与航测等。 1 2 国内外研究现状 国外开展立体视觉技术的研究较早，所涉及的领域也较为广泛。 日本奈良科技大学信息科学学院提出了一种基于双目立体视觉的增强现实 系统( a r ) 注册方法，通过动态修正特征点的位置提高注册精度。该系统将单 摄像机注册( m r ) 与立体视觉注册( s r ) 相结合，利用m r 和三个标志点算出 特征点在每个图像上的二维坐标和误差，利用s r 和图像对计算出特征点的三维 位置总误差，反复修正特征点在图像对上的二维坐标，直至三维总误差小于某个t 阈值。该方法比仅使用m r 或s r 方法大大提高了a r 系统注册深度和精度。 j 日本冈山大学使用立体显微镜、两个c c d 摄像头、微操作器等研制了使用 立体显微镜控制微操作器的视觉反馈系统，用于对细胞进行操作，对种子进行基+ 因注射和微装配等。 ， 美国麻省理工学院计算机系提出了一种新的用于智能交通工具的传感器融 合方法乜1 ，由雷达系统提供目标深度的大致范围，利用双目立体视觉提供粗略的j 目标深度信息，结合改进的图像分割算法，能够在高速环境下对视频图像中的目，j 标位置进行分割，而传统的目标分割算法难以在高速实时环境中得到令人满意的。 结果。 ： 华盛顿大学与微软公司合作为火星卫星“探测者号”研制了宽基线立体视觉 系统嘲，使“探测者号能够在火星上对其即将跨越的几千米内的地形进行精确 的定位和导航，系统使用同一个摄像机在“探测者”的不同位置上拍摄图像对， 拍摄间距越大，基线越宽，能观测到越远的地貌。系统采用非线性优化得到两次 拍摄图像时摄像机的相对准确的位置，利用鲁棒性强的最大似然概率法结合高效 的立体搜索进行图像匹配，得到亚像素精度的视差，并根据此视差计算图像对中 各点的三维坐标。相比传统的体视系统，能够更精确地绘制材探测者 号周围的 地貌和以更高的精度观测到更远的地形。 日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统 2 h 1 ，利用双目体视的原理，以每幅图像中相对静止的三个标志为参考，实时计算 目标图像的雅可比矩阵，从而预测出目标下一步运动方向，实现了对运动方式未 知的目标的自适应跟踪。该系统仅要求两幅图像中都有静止的参考标志，无需摄 像机参数。而传统的视觉跟踪伺服系统需事先知道摄像机的运动、光学等参数和 目标的运动方式。 r 本东京大学将实时双目立体视觉和机器人整体姿态信息集成开发了仿真 机器人动态行走导航系统嘲。该系统实现分两个步骤：首先，利用平面分割算法 分离所拍摄图像对中的地面与障碍物，再结合机器人躯体姿态的信息将图像从摄 像机的二维平面坐标系转换到描述躯体姿态的世界坐标系，建立机器人周围区域 的地图；其次，根据实时建立的地图进行障碍物检测，从而确定机器人的行走方 向。 国内关于立体视觉技术的研究也比较深入，并且取得了一定的成果。 浙江大学机械系完全利用透视成像原理，采用双目体视方法实现了对多自由 度机械装置的动态、精确位姿检测，仅需从两幅匹配图像中抽取必要的特征点的 三维坐标，信息量少、处理速度快，尤其适于动态情况嘲。与手眼系统相比，被 测物的运动对摄像机没有影响，且不需知道被测物的运动先验知识和限制条件， 有利于提高检测精度。 东南大学电子工程系基于双目立体视觉提出了一种灰度相关多峰值视差绝 对值极小化立体匹配新方法盯】，可对三维不规则物体( 偏转线圈) 的三维空间坐标 进行非接触精密测量。 哈尔滨工业大学采用异构双目活动视觉系统实现了全自主足球机器人导航 嘲，将一个固定摄像机和一个可以水平旋转的摄像机分别安装在机器人的顶部和 中下部，可以同时监视不同方位视点，体现出比人类视觉优越的一面。通过合理 的资源分配及协调机制使机器人在视野范围、测距精度及处理速度方面达到最佳 匹配。双目协调技术可使机器人同时捕捉多个有效目标，观测相同目标时通过数 据融合也可提高测量精度。在实际比赛中其他传感器失效的情况下，仅仅依靠双 目协调仍然可以实现全自主足球机器人导航。 清华大学率先研究开发的拟人机器人t b i p r 一1 ，采用的是最为典型的平行双 目立体视觉系统1 ，其设计指标为：具有多关节手足运动以及视觉、触觉和听觉 3 功能的双腿机器人，身高1 6 0 米，体重1 0 0 - 2 1 4 公斤，能在内部动力驱动下， 根据视觉、触觉和听觉自主实现步行、慢跑、跨越障碍运动、拾取物体以及其它 与人类似的较高级运动。 天津大学精密测试技术与仪器国家重点实验室把立体视觉技术应用于复杂 自由曲面的非接触形貌检测n 0 1 ，根据立体视觉原理设计的光学非接触测头可以有 效的解决接触测头在测量中存在的问题，具有效率高、响应快和可测软质表面等 优点。实验证明他们设计的测盒系统可以有效地完成自由曲面和金属强反射表面 的测量。 国家8 6 3 计划课题“人体三维尺寸的非接触测量采用“双视点投影光栅二 维测量”原理，由双摄像机获取图像对，通过计算机进行图像数据处理，不仅可 以获取服装设计所需的特征尺寸，还可根据需要获取人体图像上任意一点的三维 坐标。该系统己通过中国人民解放军总后勤部军需部鉴定。可达到的技术指标为： 数据采集时间小于5 s 人，提供身高、胸围、腰围、臀围等围度的测量精度不低 于1 o c m 1 。 虽说国内在应用领域大部分成果还没有转化为生产力，但己具备了开展视觉 研究的人才储备和技术条件，如清华大学智能技术与系统国家重点实验室、中国 科学院模式识别国家重点实验室、天津大学精密测试技术与仪器国家重点实验 室、安徽大学人工智能研究所以及武汉汽车工业大学数字图像处理研究所等在立 体视觉研究领域处于领先地位n 3 。 1 3 本文的研究工作 立体视觉是由多幅图像( 一般两幅) 获取物体三维几何信息的方法。对生物视 觉系统，人们早就注意到，用两个眼睛同时观察物体时，会有深度或远近的感觉。 本文的应用正是基于模拟人眼观测周围景物的方式来实现空间场景中点的三维 重建。一个完整的立体视觉系统通常可分为摄像机标定、图像处理、立体匹配、 三维重建等几个部分。本文主要从以下几个方面展开了研究： 在计算摄像机内外参数初值的环节上，本文提出了一种改进的方法，主要利 用旋转矩阵的正交性和摄像机参数间的约束关系，减少了从投影矩阵中分解参数 的运算量。摄像机标定是为了建立实际成像模型，确定属性参数，以便确定空间 坐标系中物体点同它在图像平面上像点之间的匹配关系。摄像机标定技术可以分 4 为三类：( 1 ) 非线性最优化。这类方法的优点是考虑了畸变补偿，但是由于优化 迭代过程没有分离出畸变参数和外部参数，参数问的交互作用导致最后的结果发 散，甚至错误。( 2 ) 以直接线性变换算法n 2 1 ( d l t ) 为代表的线性优化方法。由 于没有迭代的过程，这类方法最大的优点是速度快，最大的缺点是没有考虑畸变 补偿，使得最后的标定精度不高。( 3 ) 以两步法为代表的多阶段优化算法。这类 方法是近年来较为成功的标定方法，标定精度高，容易实现。该算法模型克服了 前两类算法的缺点，考虑了非线性畸变补偿，而且实现了线性参数和非线性畸变 参数分离求解。本文重点研究了摄像机成像模型和张正友的平面模板两步法，以 及对摄像机模型改进后的张氏方法。并通过实验结果研究分析了图像幅数和位姿 对最后标定结果的影响。 在角点检测方面，本文通过研究，比较各类角点检测算法，采用了一种逐步 优化的策略精确定位角点的位置，取得了理想的效果。图像处理是摄像机标定中 的一个重要环节，其最终目的是提取精确的图像坐标值，进而提高标定精度，因 为图像坐标值是计算摄像机参数的已知条件，微小的误差都会因为误差传播效应 导致最后的标定精度不高。因此，做好这一步的工作显得尤为重要。图像处理一 般分为两个步骤：图像预处理和角点检测。预处理是将彩色图像转化为灰度图像， 并对灰度图像进行滤波降噪处理，再利用边缘算子提取边界。由于标定物一股选 取网格状的物体，所以角点可看成两个直线族构成的交点。角点检测中的难点是 需要排除因为噪声引起的虚假边缘点，因为边缘抽取方法在本质上都是检测信号 的高频分量，但信号的高频分量与信号的噪声很难区别开来。本文的角点检测算 法很好地解决了这个问题。 在立体匹配方面，本文提出一种先局部后整体的方法。先确定匹配特征点， 然后利用顺序一致性和极线约束缩小特征点邻域点的搜索范围，逐步确定区域匹 配。立体匹配是立体视觉中最重要也是最困难的问题，当空间三维场景被投影为 二维图像时，同一景物在不同视点下的图像会有很大不同，而且场景中的诸多因 素，如光照条件、景物几何形状和物理特性、噪声干扰和畸变以及摄像机特性等， 都被综合成单一的图像中的灰度值。因此，要准确地对包含了如此之多不利因素 的图像进行无歧义的匹配，显然是十分困难的。对于任何一种立体匹配方法，其 有效性有赖于3 个问题的解决，即：选择正确的匹配特征、寻找特征间的本质属 5 性及建立能正确匹配所选特征的稳定算法。在本文的实现方法中主要利用双向匹 配的一致性和彩色码距离的限制来实现图像对中的特征点的正确匹配，立体匹配 的研究都是围绕着前面所提的几个方面在开展工作，并已提出了大量各具特色的 匹配方法。但是由于立体匹配涉及的问题太多，至今仍未得到很好的解决，特别 是在复杂场景中，如何提高算法的去歧义匹配和抗干扰能力，降低实现的复杂程 度和计算量，都需要进行更深入的探索和研究。 在三维重建方面，本文重点研究了最小二乘法的原理，并结合空间点的三维 重建理论，将图像平面上的点重新投影到三维空间中，实验结果表明，三维重建 结果适合精度较高的场合。三维重建是立体视觉测量系统的最终目的，体现了其 应用价值。摄像机标定，角点检测，立体匹配是三维重建的前期基础工作。三维 重建包括点的重建，线的重建和面的重建，本文重点研究了点的重建，其关键问 题是如何通过四个线性方程求得三个未知数的值，当然前面的立体匹配工作在这 里也很重要，因为这四个方程的己知条件之一便是空间点匹配的图像点对的坐标 值。由于图像点对的坐标值属于观测值，所以存在偶然误差。本文通过研究发现， 为了减小这种误差，大多数应用采用的都是线性最小二乘法。 1 4 本文的组织结构 第一章绪论概述了立体视觉的基本理论并介绍了国内外相关的研究现状，论 述了与本文相关的研究内容的技术进展状况，重点阐述了本文开展研究的主要内 容。 第二章介绍了前人在实现双目立体视觉研究中在特征点提取与立体匹配方 面所做的一些工作。 第三章分析比较了各种摄像机标定方法。详细阐述了线性摄像机模型和非线 性摄像机模型，并介绍了两步法的原理以及张正友平面模板两步法的算法原理。 在改进的摄像机成像模型的基础上，基于张正友的平面模板两步法，本文对计算 摄像机内外参数初值的环节进行了改进，利用旋转矩阵的正交性和摄像机参数间 的约束关系，采用了一种简便的方法计算初值。 第四章分析比较了各种角点检测技术和h a r r i s 算子的基本理论。详细阐述了 本文角点检测算法的具体实现原理。 第五章首先介绍了立体匹配的基本理论，包括极线约束以及双向匹配一致性 6 的原理与分析，并详细介绍了本文中采用的基于颜色码的立体匹配方法的原理以 及计算过程，并给出了实验数据。 第六章应用前文的摄像机成像模型推导出用于求解空间点的四个线性方程， 详细阐述如何利用线性最小二乘法求出空间点的坐标值，并给出了结果。 结论部分对全文的工作做出总结，并对下一步的工作进行了展望。 7 2 相关研究与应用 本章将探讨在特征点提取与应用方面的相关文献，了解目前在特征点匹配问 题上所提出的各项解决方法以及研究的方向。 2 1 特征点的提取 m o k h t a r i a n 在n 3 1 一文中提出了判断特征点提取算法优劣的条件，算法必须 满足下列五个条件： 1 所有真正的特征点都必须被检测出来 2 假的特征点不能被检测出来 3 所提取出的特征点位置必须尽量靠近真正的特征点 4 特征点的检测必须稳定且可容忍杂质信息 5 特征点的检测必须有效率 根据这些准则我们可以对目前的各种特征点提取算法做评价，以选择出适合 在室内场景中可稳定的提取出图像中的角点的算法。目前特征点的提取大致可分 为两个方向：一类通过分析图像中色彩或灰度值来计算梯度( g r a d i e n t ) 、曲率 ( c u r v a t u r e ) 来提取特征点，例如m o r a v e c n 4 1 、h a r r i s 哺3 、s u s a n n 町所提出的算 法；另一类则是利用图像中的边的信息，找出边的最大曲率，或是利用边与边的 交点来提取特征点，如n 刀1 帅引，第二类方法由于计算复杂度较高，不太适用于机 器人视觉系统所需的即时性，因而我们不做详细讨论。 在第一类的方法中，h a r r i s 算法是计算图像中的灰度值在各个方向变化的 程度来决定特征点的位置，类似在图像上移动一个小窗口，根据窗口移动的方向 与灰度变化的强度，判断所在位置为边或角点。当窗口位于图像中边的位置时， 则沿着边的方向移动在灰度变化上较不明显，但移动方向若与边垂直，会产生明 显的改变；若窗口位于角点上，不管移动方向如何，都将产生剧烈的灰度变化。 s u s a n 算法则是以一圆形的遮罩( m a s k ) 在图像中移动，观察圆形遮罩中灰 度分布与圆形遮罩面积的关系；当遮罩中大部分面积都是相似的灰度值时，表示 目前所在区域为灰度变化平坦的区域：若遮罩中相似灰度值的面积接近全部面积 的二分之一，则可能为边；少于二分之一，则可能为角点。 至于其他的算法如z h c n g 计算图像梯度、h a r t 利用小波转换、j o l i o n 以明暗 对比和解析度的调整在提取特征点的方法，也都有其优缺点。由于h a r r i s 算法在 速度上的表现较佳，且所提取的特征点结果也较符合m o k h t a r i a n 的五个条件， 因此在目前许多的研究中都是使用h a r r i s 算法来提取图像中的特征点。 在我们的研究中也将使用h a r r i s 算法，在第四章特征点提取中会详细的介绍 h a r r i s 算法的原理以及计算流程，而我们所提出的特征点匹配算法也会利用 h a r r i s 计算过程中的一些中间结果来协助后续匹配的流程。 2 2立体图像特征点匹配 目前立体图像特征点匹配算法主要有三类： 以极线限制进行特征点的匹配 以特征比较为基础进行特征点的匹配 以灰度比较为基础进行特征点的匹配 下面我们分别针对这三类的算法进行进一步的探讨，并分析各自的优劣。 2 2 1 以极线限制进行特征点的匹配 在介绍这一类的算法前，首先我们必须要了解何谓极线限制( e p i p o l a r c o n s t r a i n t ) 。参考图2 - 1 ，假设空间中有一个点m 以及两台相机，尸和p 分别是 两台相机的投影矩阵，1 ，和矿为两台相机的图像平面，c 和c 为两台相机的相机 中心。点m 分别投影到v 和y ，则投影点肌和朋的点坐标为m = p m ，聊t - p m 。 我们称朋和棚为图像 ，和 ，上匹配点。 两相机中心c 和的连线分别交图像平面v 和，于点e 和e ，我们称这两 个点为极点( e p i p o l c ) 。极点也可以看成是一个相机中心对另一个相机中心的投 影，也就是 矿= p c ( 2 1 ) 9 c 图2 - 1 极线限制：给予图像平面，上的一点历，在图像平面v ，上必有一条匹配的极线z 如果没有点m 的深度信息，我们只能知道肘会在c 和m 的连线上，而c 和m 的连线会投影到第二台相机的图像平面v 上的一条直线，就是所谓的极线 ( e p i p o l a rl i n e ) 。因此我们可以得到这样的一个结论：给予图像平面v 上的一个 点m ，在图像平面上必有一条匹配的极线以且m 在 ，上的匹配点m7 必在，上， 这样的点和线的关系称为极线限制( e p i p o l a rc o n s t r a i n t ) 。极线限制可以式( 2 2 ) 表示 = f m ( 2 - 2 ) 其中，为一个秩为2 的3 3 矩阵，称为基本矩阵。 图像平面上不同的点会匹配到y ，上不同的极线，而v ，上所有的极线都会交于 极点p 上，因此极点也可以定义成任意两个极线的交点，如图2 - 2 所示。 c c 图2 - 2 所有极线均在极点上相交 张等人于一文中提出了针对立体图像建立特征点匹配的流程。在这篇文章 中，他们提出的算法主要有三个步骤： 1 计算相关系数以建立初步的特征点匹配 2 利用初步匹配的组合计算每一特征点所匹配的极线 3 由计算所得的极线再重新调整特征点匹配组合 关键在于第一步所得到的特征点匹配结果必须尽可能的好，在第二步才能够 准确地计算出特征点所匹配的极线。 首先定义一特征点的搜寻范围，当欲匹配点在此范围中搜寻可能匹配的候选 点后，分别计算两两之间的相关系数以决定初步的匹配关系。但是在利用相关系 数决定匹配的过程中，有许多候选点在相关系数计算后所得到的结果并不容易区 分哪一个才是正确的匹配点，因此必须透过其他的信息来协助解决模糊匹配的问 题。在这篇文章中提出可以利用与相邻点的笋系验证每一个模棱两可的候选点并 计算一个分数s 。，我们称之为评估分数，如式( 2 - 3 ) ： l o s m ( 聊，聊：，) ：c , j m a xo 掣粤塑立坠吐】( 2 - 3 ) n , w m i ，) n 2 t 叫m , j 1 + d i s t ( m l f ，m 2 ；n i ，z 2 ，j m 。，和耽：，为一组可能的匹配点，n 。为m 。，的相邻点，n ：，为m ：，的相邻点，c f ，和c 盯 为m ，和m ：，与n 。和，z 。，相关系数值，d i s t ( m i ，m ：，；，z n ：，) 为两对匹配组合的平均距 离，a ( m 矿m ：，；，z n ：，) 则根据两组匹配组合的距离所计算的一个比重，代入式 ( 2 3 ) ，最后所得到的分数s ，越高则越有可能为正确的匹配点。 经过了对特征点匹配组合的验证之后，所有匹配组合便可被用以计算出基本 矩阵f 以及每一特征点所匹配的极线。此时根据极线所在的位置可以判断匹配点 是否在极线上，或是接近极线；若是在极线上则表示匹配相当正确，否则可以重 新以靠近极线的特征点作为候选点并重复步骤1 建立新的匹配关系。经过多次重 新计算基本矩阵并调整匹配点之后，便可得到正确率很高的特征点匹配。 2 2 2 以灰度比较为基础进行特征点的匹配 目前有许多算法都利用灰度比较来建立特征点的匹配，在f u s i e l l o ，r o b e r t o 和t r u e c o 于疆妇一文中提出以多个窗口计算相关系数，建立图像的深度地图 ( d i s p a r i t ym a p ) 。假设两张图像仅有平移而无旋转的差异，将图像中每一个像素 均视为一特征点来匹配两张图像每一个像素，若是每一个像素都能正确匹配则可 以得到图像中不同物体的位移距离，具有相同位移距离的像素表示在实际场景中 深度相同。相关系数的计算目前较常使用的为s s d ( s u r no fs q u a r e dd i f f e r e n c e s ) e r r o r , 计算公式如下： ，( z + 善，y + r i ) - i ，( x + 孝+ d ，) ，+ 7 7 ) 丁， c ( x ，y ，力= 等些= = = i ( 2 4 ) 1 ( x + 孝，y + r 1 ) e i ，( x + 孝+ d ，少+ 刁y i i f 叮， 川j 式( 2 4 ) 中的l 与 分别为左图像与右图像的相关系数窗口，d 以不同大 小的距离代入，所得到的最小相关系数值的d 值即为此像素的水平位移距离。 一般灰度的比较方法是将相关系数窗口中的灰度值代入式( 2 - 4 ) 便可得到 灰度比较的结果，但是当相关系数窗口在图像中的位置恰好位于景深不同位置 时，灰度变化容易因拍摄角度的不同而有较大的差异性，此时单一窗口所计算的 结果便受到景深的因素而影响匹配的正确性。因此f u s i e l l o 等人提出以9 个相关 系数窗口来计算相关系数，再取最小相关系数的值作为最后的结果。这九个相关 系数窗口如图2 - 3 所示： 圈圈口豳圈 醯圈口豳 图2 3 九个相关系数窗口 当相关系数的窗口尺寸较小时，计算的结果容易受到杂质信息的影响，但是 对图像中景深问题较不敏感；而大尺寸的相关系数窗口则刚好相反。因此利用多 个相关系数窗口计算出结果之后，以最小值代表最后比较的结构可以减少因景深 在图像上造成灰度剧烈变化所带来的影响。 2 2 3 以特征比较为基础进行特征点的匹配 除了利用图像的灰度值来比较特征点之外，在图像中仍有许多的特征可以抽 取以协助图像的匹配iw e n g 、a h u j a 以及h u a n g 在乜嬲使用边、灰度值和角点配 合多层次的模糊比较来匹配两张图像。在这篇文章中提到适合由图像中提取出来 的特征应该要具有移动不变性( m o t i o ni n v a r i a n t ) ，例如对图像中的物体来说， 王工王工 ( b ) 图2 4 角点，边和灰度的匹配关系 其灰度值较不会因为相机移动后而发生剧烈改变的情形；而边和角点也同样具有 这样的特性。而利用这三项特征所提供的信息我们便能够更正确的匹配两张图 像，以图2 - 4 ( a ) 为例，若只有角点的信息而无边和灰度值的协助时，可能会因 为信息过少而发生错误；但是加入了边和角点周围的灰度信息之后，如图2 4 ( b ) 所示，在匹配时便有更多的信息可供判断。 1 2 3 摄像机的标定 3 1 引言 立体视觉是由多幅图像( 一般两幅) 获取物体三维几何信息的方法。对生物视 觉系统，人们早就注意到，用两个眼睛同时观察物体时，会有深度或远近的感觉。 一个完整的立体视觉系统通常可分为摄像机标定、图像处理、立体匹配、三维重 建等4 个大部分。本文主要从以下几个方面展开了研究。 在计算摄像机内外参数初值的环节上，本文提出了一种改进的方法，主要利 用旋转矩阵的正交性和摄像机参数间的约束关系，减少了从投影矩阵中分解参数 的运算量。摄像机标定是为了建立实际成像模型，确定属性参数，以便确定空间 坐标系中物体点同它在图像平面上像点之间的匹配关系。摄像机标定技术可以分 为三类：( 1 ) 非线性最优化。这类方法的优点是考虑了畸变补偿，但是由于优化 迭代过程没有分离出畸变参数和外部参数，参数间的交互作用导致最后的结果发 散，甚至错误。( 2 ) 以直接线性变换算法( d l t ) 为代表的线性优化方法。由于 没有迭代的过程，这类方法最大的优点是速度快，最大的缺点是没有考虑畸变补 偿，使得最后的标定精度不高。( 3 ) 以两步法为代表的多阶段优化算法。这类方 法是近年来较为成功的标定方法，标定精度高，容易实现。该算法模型克服了前 两类算法的缺点，考虑了非线性畸变补偿，而且实现了线性参数和非线性畸变参 数分离求解。 本文重点研究了摄像机成像模型和张正友的平面模板两步法，以及对其摄像 机模型改进后的张氏方法。并通过实验结果研究分析了图像幅数和位姿对最后标 定结果的影响。 由多幅图像获取物体的三维几何信息是当前计算机视觉领域中的重要研究 课题。三维计算机视觉系统应能从摄像机获取的图像信息出发，计算三维环境物 体的位置、形状等集合信息，并由此识别环境中的物体。当空间的三维场景投影 成二维图像时，场景中的很多因素，像光照条件、景物几何形状和物理特性、噪 声干扰和镜头畸变等，都被综合成单一的二维图像中的灰度值。图像上每一点的 亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空间物 体表面相应点的几何位置有关。这些位置的相互关系，由摄像机成像几何模型所 决定。该几何模型的参数为摄像机参数，这些参数必须由实验与计算来确定，实 1 3 验与计算的过程称为摄像机标定。 摄像机标定问题可分为两个子问题：建立成像模型和求解摄像机参数。这 两个子问题是紧密相连的，因为不同的摄像机成像模型匹配不同的参数几何，不 同的参数几何又匹配不同的求解方法。因此，应根据实际应用场合选择合适的摄 像机标定方法。摄像机成像模型包括线性模型和非线性模型。线性模型是根据小 孔成像原理，建立像点和匹配物体表面空间点的几何位置关系，描述的是理想情 况，即像点、投影中心和空间点三者是共线关系。实际应用中，由于立体视觉系 统多采用非测量摄像机，其物理构造导致产生各种畸变，使得实际像点位置会偏 移理想像点位置，造成像点、投影中心和相应的空间点之问的共线关系受到破坏， 所以需要建立畸变校正模型，即非线性模型。一个完整的成像模型应当包括线性 模型和非线性模型。将实际像点坐标值代入畸变校正模型，修正为近似理想点坐 标值后，才能代入线性模型求解摄像机参数。 本章首先概要介绍四种常见的摄像机标定方法的原理，并比较它们的优劣。 接着详细阐述了线性模型和非线性模型的推导过程。最后给出本文的摄像机标定 方法及标定结果。在计算摄像机内外参数初值的环节上，本文提出了一种改进的 方法，并作了详细说明。 目前摄像机标定方法主要分为四类： 非线性最优化方法。首先给出一般情况下的物像关系公式，通过代入一组控 制点的世界坐标值和投影到图像平面上的图像坐标值，计算摄像机的内外参数。 该方法有两大优点：第一，采用的摄像机成像模型包含了多种类型的畸变；第二， 当估算参数的模型具有正确良好的收敛性时，该算法最后可以达到很高的精度要 求。然而这种方法也存在一些不足，迭代的特点使得如果没有给出合适的初始值， 会导致一个非常糟糕的结果。另外，当参数集合中添加了畸变参数时，若无合理 的迭代步骤，最小化过程的鲁棒性会变差，并且畸变参数和外部参数的交互作用 会令最后的结果发散，甚至错误。 以直接线性变换算法n 2 1 ( d l t ) 为代表的线性求解方法。该方法的特点是将 原始的摄像机参数组合成一系列中间参数，所构造的线性方程的未知数是这组中 间参数，通过求解中间参数最后求得摄像机参数。由于没有迭代的过程，最大优 点就是速度快。然而该方法也存在不足：第一，没有考虑畸变效应，不能准确反 1 4 映实际成像模型；第二，该方法的目标是希望通过线性求解得到参数值，所以并 没有考虑中间参数之间的约束关系，加上噪声的影响，最后的标定精度不高。 以两步法为代表的多阶段最优化方法。这类方法的优点是先利用直接线性变 换方法或者透视变换矩阵方法求解一部分与畸变无关的摄像机参数，再以求得的 参数为初始值，考虑畸变效应，并利用最优化算法进一步提高标定精度。该类方 法的优点在于大部分摄像机的参数可通过线性方法求解出来，并且不受畸变影 响，而需要通过反复迭代求解的参数相对于其他非线性求解方法要少一些。不过， ， 两步法只能校正径向畸变，不能扩展到校正其他类型的畸变，也不是最优化的方 法，因为没有充分利用控制点提供的全部信息。 自标定方法嘲。近年来，摄像机的自标定方法受到重视。在某些场合，由于 摄像的焦距要经常调节，摄像机的位置也会根据周围的环境而移动，因此，需要 在每次调节后重新对摄像机的内外参数进行标定。若每次标定都需要在摄像机前 放置标定物，在许多情况下是很不方便甚至是不可能的，一般的摄像机标定方法 都需要在摄像机前放置一个已知形状与尺寸的物体，称为标定物或标定参照物， 而自标定技术不需要已知参照物，而仅利用摄像机在运动过程中周围环境的图像 及图像之间的匹配关系对摄像机进行标定。但是，自标定技术需要能控制摄像机 运动，并由运动图像分析中得到摄像机参数。 以上介绍的摄像机标定方法都针对不同的应用场合，而以两步法为代表的多 阶段最优化方法则是近年来较为成功的摄像机标定方法，其中的经典算法为张正 友提出的平面模板两步法。 3 2 摄像机标定方法 线性摄像机成像模型是严格依据小孔成像原理建立的，没有考虑因畸变造成 的图像点失真。模型建立的过程实质上是完成空间点到图像平面的投影，数学形 式表示为几个坐标系间的转换，转换过程中引入的参数即为线性模型摄像机参 数，确定这些参数的过程称为线性模型摄像机标定。 为了定量的描述光学成像过程，首先定义三个坐标系，然后用数学公式表示 出图像点与空间点的匹配几何位置关系汹1 。 3 2 1 坐标系变换 摄像机采集的每一幅图像在计算机内为m x n 数组，m 行列的图像中的每 一个元素的数值即是图像点的灰度。如图3 - 1 所示，在图像上定义直角坐标系 u , v ，每一像素的坐标( 蹦，d 分别是该像素在数组中的列数与行数。所以，( “，”是 以像素为单位的图像坐标系的坐标。由于 ，v ) 只表示像素位于数组中的列数与 行数，并没有用物理单位表示出该像素在图像中的位置，因而，需要再建立以物 理单位( 例如毫米) 表示的图像坐标系。该坐标系以图像内某一点d l 为原点，x 轴和y 轴分别与u , y 轴平行，如图3 1 所示。在x , y 坐标系中，原点d ，定义在摄 像机光轴与图像平面的交点，该点一般位于图像中心处，但由于摄像机制作的原 因，也会有些偏离，若d l 在 ，坐标系中的坐标为( “。，v o ) ，每一个像素在x 轴 与y 轴方向上的物理尺寸为也咖，则图像中任意一个像素在两个坐标系下的坐 标关系可表示为下面的公式： “2 一+ u 。dx 9 1 ，= 车+ v 咖 令： 只= 忑1 ，e = 万1 ： s x ，s 分别为沿训轴的尺度因子。 一o 0 1 ( u o ，v o ) ( 3 - 1 ) ( 3 - 2 ) v y 图3 - 1 图像坐标系 摄像机成像几何关系可由图3 2 表示，其中0 点称为摄像机光心，x 。轴和 k 轴与图像的x 轴与y 轴平行，z 。轴为摄像机的光轴，它与图像平面垂直。光 轴与图像平面的交点，即为图像坐标系的原点，由点0 与t ，【，乙轴组成的直 1 6 角坐标系称为摄像机坐标系。0 0 。为摄像机焦距。 zp ( x 。，y 。，z o ) 图3 2 摄像机坐标系与世界坐标系 由于摄像机可安放在环境中的任何位置，我们在环境中选择一个基准坐标系 来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐 标系。它由x z z 轴组成。摄像机坐标系与世界坐标系之间的关系可以用旋转矩 阵尺与平移向量t 来描述。因此，空间中某一点p 在世界坐标系与摄像机坐标系 下的齐次坐标如果分别是( x ，l ，z ，1 ) r 与( 以，t ，乙，1 ) r ，于是存在如下关系： x c z z c l f x r rf iy 坼岳 = m l x 】， z l ( 3 - 3 ) 其中，足为3 x3 正交单位矩阵；t 为三维平移向量；0 = ( 0 , 0 ，o ) 7 ：m 。为4 4 矩阵1 。 3 2 2 线性摄像机模型 空间任何一点p 在图像上的成像位置可以用针孔模型近似表示，即任何点 p 在图像上的投影位置p ，为光心0 与p 点的连线o p 与图像平面的交点。这种 关系也称为中心摄影或透视摄影。由比例关系有如下关系式： 工：里 ( 3 4 ) 1 7 f r 1 ，= 2 。 z ( 3 - 5 ) 其中( x ，y ) 为p 点的图像坐标；( 五，z ，z ) 为空间点p 在摄像机下的坐标。 我们用齐次坐标与矩阵表示上述透视投影关系： ( 3 - 6 ) 将式( 3 - 3 ) 代入上式，我们得到以世界坐标系表示的p 点坐标与其投影点 p 的坐标( “，们关系： 批 1 1 j = m ，m ： x 】， z 1 ix i iy = m i iz ll ( 3 7 ) 其中，= ，f = 么：m 为3 x 4 矩