（计算机软件与理论专业论文）基于不变特征的宽基线立体匹配研究.pdf

r e s e a r c ho fw i d eb a s e l i n es t e r e om a t c h i n gb a s e do ni n v a r i a n tf e a t u r e b y 、阮i 勋i b i n b e ( t a n g s h a nn o r m a lu n i v e r s i t y ) 2 0 0 7 at h e s i ss u b m i t t e di np a r t i a ls a t i s f a c t i o no ft h e r e q u i r e m e n t sf o rt h ed e g r e eo f m a s t e ro fe n g i n e e r i n g 1 n c o m p u t e rs o f t w a r ea n dt h e o r y i nt h e g r a d u a t es c h o o l o f l a n z h o uu n i v e r s i t yo ft e c h n o l o g y s u p e r v i s o r p r o f e s s o rz h a n gy o n g m a y 2 0 1 1 97肿75 8舢8川i-y 兰州理工大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特别加以标注引用的内容外j 本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：彳红饥彬 日褥：弘年名其7 b 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同 时授权中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据 库，并通过网络向社会公众提供信息服务。 作者签名：使凯彬 刷醛辄，( 吃乳 日期：矽年 日期咖年 |。 6 月) e t 占月) 日 硕士学位论文 目录 摘要i i i a b s t r a o t 1v 插图索引v l 附表索引v i l 第1 章绪论1 1 1 计算机立体视觉理论1 1 2 立体匹配算法1 1 3 宽基线的立体匹配问题2 1 4 本文的主要研究内容2 1 5 论文组织。2 第2 章计算机立体视觉与立体匹配4 2 1 计算机立体视觉理论4 2 2m a r r 视觉计算理论5 2 3 计算机立体视觉三维感知方法7 2 4 立体匹配的研究现状8 2 4 1 立体匹配概述。8 2 4 2 立体匹配研究现状9 2 4 3 立体匹配算法性能对比1 1 2 5 立体匹配存在的问题1 2 2 6 本章小结1 4 第3 章不变特征及其提取1 5 3 1 不变特征简介1 5 3 2 图像不变特征的研究现状。1 6 3 3 不变特征在宽基线匹配中的应用2 0 3 4 各种算法的性能特点。2 1 3 5 本章小结。2 2 第4 章基于p c a 的尺度空间算子优化2 3 4 1sif t 算子简介2 3 4 1 1 尺度空间理论2 3 4 1 2sif t 算子2 4 4 2p c a 对sif t 算子的优化j 2 9 4 2 1p c a - sif t 矩阵生成。3 0 4 2 2p c a - sif t 向量生成3 0 4 2 3 用相似性度量算子粗匹配。3 0 基于不变特征的宽基线立体匹配研究 4 2 4 去除误匹配3 2 4 3 实验分析3 2 4 3 1 评价标准3 2 4 3 2 模拟实验3 4 4 4 本章小结3 8 总结与展望3 9 参考文献4 1 致谢4 5 附录a 攻读硕士学位期问所发表的论文4 6 硕士学位论文 摘要 计算机立体视觉研究的主要内容是如何利用计算机实现人眼的视觉功能，即 利用摄像机获得的投影图像实现对现实世界三维场景的识别与理解。立体匹配是 计算机立体视觉研究领域最为重要的问题之一，它通过相邻两幅图像中对应像素 点的视差获得深度或距离信息。在宽基线条件下，由于视角偏差、遮挡和光照的 影响比较大，所以宽基线立体匹配是一个病态问题。 因为不变特征不受传感器获取图像时的视点变化、相机参数变化等因素的影 响，相比于其它特征量，在稳健性、区分度以及适用范围等方面都有很大优势， 所以不变特征提取算法的研究一直备受关注。到目前为止，尽管国内外的科研人 员在该方向上取得了丰富的研究成果，但仍然有许多关键性问题未能得到很好地 解决。本文围绕宽基线立体匹配问题，对不变特征的提取与匹配展开了深入的研 究和分析。 本文的主要工作有以下三个方面： ( 1 ) 在宽基线条件下，获得的图像存在较大的视角、旋转、尺度、光照等变 化。不能直接使用基于灰度相关的算法进行匹配和重建，本文采用尺度空间理论， 在多尺度空间下提取不变特征。 ( 2 ) 在尺度空间下，得到的特征向量维数可选性很强，对后续匹配算法效率 影响很大，本文利用主成分分析的思想，对特征向量进行降维。 ( 3 ) 在宽基线匹配中，由遮挡引起的误匹配率较高，本文将左右两幅图像分 别作为基准图，检测出遮挡区域，去除由遮挡引起的误匹配。 实验结果表明，本文的基于尺度空间的不变特征提取算法，在宽基线条件下， 特别是在有较大的视角变化、明显的光照变化以及较大尺度变化的情况下，仍然 能够准确地找到两幅图像之间的匹配点，表现出一定的可靠性和鲁棒性。 关键词：立体匹配；宽基线；不变特征；尺度不变特征变换 i l l a b s t r a c t c o m p u t e rv i s i o nm a i n l y s t u d i e sh o wt or e a l i z eh u m a nv i s u a l f u n c t l o nw l t h c o m p u t e r s t h e m a i ni d e ai s t o p e r c e i v e ， i d e n t i f y a n du n d e r s t a n d t h e l h r e e d i m e n s i o n a ls c e n ef r o mt w o d i m e n s i o n a lp r o j e c t i v ei m a g e s s t e r e om a t c h l n g 1 s o n eo ft h ek e yi s s u e si nc o m p u t e rv i s i o n t h ei n f o r m a t i o no fd e p t h o rd i s t a n c ec a nb e 0 b t a i n e df r o md i s p a r i t yo ft h ep o i n t s b e c a u s eo ft h el a r g e ra n g l ed e v i a t i o n a n dt h e 1 a r g e ri m p a c to fo c c l u s i o na n dl i g h ti nt h ec o n d i t i o n o fw i d eb a s e l i n e ，w i d eb a s e l l n e s t e r e om a t c h i n gi sa ni l l p o s e dp r o b l e m ，h o wt oe x t r a c ta f f i n ei n v a r i a n tf e a t u r e sf r o mi m a g e si s ac o m m o np r o b l e ml n m a n vf i e l d ss u c ha so b j e c to rs c e n er e c o g n i t i o n ，s c e n em a t c h i n g ， i m a g ef e t n e v a l e t c c o m p a r e dw i t ho t h e rf e a t u r e s ，a f f i n e i n v a r i a n tf e a t u r e sa f ei n v a n a n tt ot h e v i e w p o i n tc h a n g i n ga n dc a m e r ap a r a m e t e rv a r i a n c e ， a n dh a v eg r e a ta d v a n t a g eo v e r r o b u s t d i s t i n c t i o na n da p p l i c a b i l i t y ，h e n c et h et h e o r y a n dm e t h o do fa f f i n ei n v a r i a n t f e a t u r ee x t r a c t i o nh a v eb e c a m ea nc h a l l e n g i n gf i e l d a l t h o u g ha v a r i e t yo fw o r k s h a v eb e e nd o n ei nt h ef i e l d ，w i d eb a s e l i n e s t e r e om a t c h i n gi ss t i l l ac h a l l e n g i n g p r o b l e m t h i st h e s i s i sf o c u s e do ns o m ep r a c t i c a li s s u e s o nw i d eb a s e l l n es t e f e o m a t c h i n g t h em a j o rw o r k so ft h i sp a p e rc a n b eg e n e r a l i z e dw i t ht h r e ea s p e c t s ： 1 i m a g e sf r o md i f f e r e n tp e r s p e c t i v e s h a v et h eb i g g e rp e r s p e c t i v e ，r o t a t i o n , s c a l ea n dl i g h t i n gc h a n g e si nt h ec o n d i t i o no fw i d eb a s e l i n es t e r e om a t c h l n g i 。h e y c a n n o td i r e c t l yu s e t h ec o r r e l a t i o na l g o r i t h m b a s e do ng r a ym a t c h i n g o r r e c 彻s t r u c t i o n i nt h ep a p e r ，i tu s e ds c a l es p a c e t h e o r yt oe x t r a c ti n v a r i a n tf e a t u r e s 2 i nt h es c a l es p a c e ，t h ed i m e n s i o n so fd e s c r i p t o r s a r el a r g ec h a n g e sa n dt h e b e h i n do p e r a t i o ni s n o te f f i c i e n t i tw a su s i n gt h ei d e a so fp r i n c i p a lc o m p o n e n t a n a l v s i st or e d u c et h ed i m e n s i o no fd e s c r i p t o ra n di m p r o v et h em a t c h i n ge f f i c l e n c y 3 i th a st h eh i g h e rm i s m a t c ho fw i d e b a s e l i n es t e r e om a t c h i n g l nt n e c o n d i t i o no fo c c l u s i o n i nt h i sp a p e r ，t h ei m a g ew h i c hi s o nt h er i g h ta n d1 e f ts i d e s w a sr e s p e c t i v e l ya sr e f e r e n c ei m a g e i td e t e c t e do c c l u s i o n a r e a sa n dr e m 0 v et h e m i s m a t c hw h i c hw a sc a u s e db yb l o c k t h ec x p e r i m e n t a lr e s u l t s s h o wt h a tt h ei m p r o v e d s c a l ei n v a m n tf e a t u r e t r a n s f o 珊a l g o r i t h mc a np e r f o r mw e l l i nt h ec o n d i t i o n o fw i d eb a s e l i n e e s p e c i a l l ya 1 a r g e fp e r s p e c t i v ec h a n g e s ，i l l u m i n a t i o n c h a n g e sa n dl a r g e r s c a l ec h a n g e s t h e a i g o r i t h mc a ns t i l lf i n dt h em a t c h i n ga r e ab e t w e e nt w oi m a g e s ，s o i th a sac e r t a l n 硕七学位论文 r e l i a b i l i t ya n dr o b u s t n e s s k e y w o r d s ：s t e r e om a t c h i n g ；w i d eb a s e l i n e ；i n v a r i a n tf e a t u r e ；s c a l e i n v a r i a n tf e a t u r e t r a n s f o r m v 基于不变特征的宽基线立体匹配研究 插图索引 图2 1 视差与深度的关系4 图2 2 视觉信息处理的三个阶段6 图4 1 关键点局部特征向量生成2 8 图4 2mid die b u r y 测试图像对及其标准视差图3 3 图4 3t e d d y 左图像的三种类型区域3 4 图4 4t e d d y 左图像的高斯金字塔3 5 图4 5t e d d y 左图像的d o g 金字塔3 5 图4 6t e d d y 左、右图像提取的d o g 极值点3 5 图4 7t e d d y 左、右图像去除低对比度后的关键点3 6 图4 8t e d d y 左、右图像去除边缘点3 6 图4 9 最终获得的极值点3 6 图4 1 0t e d d y 左右图像的匹配结果3 7 图4 1 1t e d d y 左图像形成的视差图与标准视差图对比3 7 1 1 硕士学位论文 附表索引 表2 1 视觉系统研究的三个层次的含义7 表3 1 常见不变特征提取算子性能比较2 1 表4 1s i f t 与p c a - s i f t ( n = 2 0 ) 算法效率比较3 5 表4 2sif t 与p c a - sif t 优缺点比较图3 8 v n 第1 章绪论 1 1 计算机立体视觉理论 视觉是人类和许多生物的基本功能。人类从外界获得的信息中，约有7 5 是 通过视觉获得的。人类通过视觉观察外界环境，辨明物体的具体方位，确定周围 物体的组成及其相互间的联系。 “横看成岭侧成峰，远近高低各不同 ，北宋诗人苏东坡在他的名作题西 林壁中描述了人类在识别外部环境时，经常会遇到的一个普遍现象，即当从不 同角度，不同距离观察同一物体时，会对物体产生不同的理解，得到不同的信息。 但物体本身并没有发生变化，变化的只是外在表象。人类的视觉系统能够从变化 的表象中提取出不变的信息，从而实现对同一物体的识别和理解。不变信息的提 取是人类视觉系统的功能之一，人类正是通过这种能力来认识丰富多彩、千变万 化的外部世界。 运用计算机技术实现人眼的视觉功能是人类多年以来的梦想，随着视觉神经 生理学、视觉心理学，特别是图像处理技术、计算机图形学、模式识别以及人工 智能等学科的发展，使得以计算机为核心的机器视觉系统( 也称作计算机立体视 觉系统) 来辅助或替代人眼成为可能。 计算机立体视觉【1 】主要是通过多个视觉感应器，对在不同时间、不同地点拍 摄的多幅图像进行三维信息的重建，最终的目的是模拟生物的视觉功能，使计算 机能够利用图像上获取的二维信息来重建外部场景的三维信息，使计算机不仅可 以感知三维场景中物体的几何信息，如物体的形状、位置、姿态等信息的能力， 还可以对事物进行识别和理解。 在现代工业自动化生产过程中【2 1 ，例如对机器设备零件的自动检测、智能机 器人行为控制、生产流水线的自动监控，都可以应用计算机立体视觉系统，达到 提高生产效率，保证产品质量的目的；利用计算机立体视觉系统还可以减轻工作 量，完成人类目前还难以完成的任务，如火星探测、深海探测等；在国防与航天 等国民经济尖端领域，计算机立体视觉也发挥着重要作用，如运动目标的自动跟 踪与识别、自主车载导航以及空间机器人的远程视觉控制等。 1 2 立体匹配算法 立体匹配的任务【3 】是从两幅或多幅图像中，寻找属于同一空间的物理元素成 像点之间的对应关系。它是计算机立体视觉系统中最为重要也最为关键的一步。 近年来国内外众多学者提出了许多立体匹配算法【钔，一般情况下，可以根据算法 基于不变特征的宽基线立体匹配研究 所使用的匹配特征类型、约束假设、匹配准则以及优化或搜索方法将其进行分类， 立体匹配算法大致可以分为：基于全局约束的算法和基于局部约束的算法。局部 约束的算法又可以分为3 类：区域匹配算法、特征匹配算法和相位匹配算法。全 局算法分为4 类：动态规划算法，图割法，人工智能算法以及其他算法。 尽管国内外机器视觉领域的研究人员提出了很多立体匹配算法，有些也能达 到很高的匹配精度，但是这些算法大多是针对特定应用提出的，总体而言，目前 还不存在通用的立体匹配算法。 1 3 宽基线的立体匹配问题 传统的匹配算法多是基于短基线的情况【5 1 ，在采集左右两幅图像时，需要限 制摄像机的移动以及摄像机内部参数的变化，需要将匹配基元的搜索范围限制在 一个比较小的区域内。短基线的要求也限制了左右两图像上目标的几何形变、亮 度变化以及遮挡变化的大小，在这些约束条件下，可以应用基于图像灰度的匹配 算法实现图像的匹配。 在虚拟现实和场景感知过程中【6 1 ，需要进行多幅图像的三维重建，各视点之 间的基线往往较长，各图像之间存在较大的视角、旋转、尺度、光照等变化，这 就是宽基线立体匹配要研究的问题。在这种情况下不能直接使用基于灰度相关的 算法进行匹配与重建。当前所用的方法都是利用图像局部区域具有仿射不变性的 特征来完成宽基线图像的匹配与重建，选取的主要方法有尺度不变特征变换、最 大稳定极值区域等，这些方法都是通过提取图像局部区域的具有不变特性的特征 来实现宽基线条件下的匹配与重建。 由于宽基线匹配处理的图像视角偏差大【7 1 ，遮挡和光照的影响也比较大，特 别是在背景复杂的条件下，要得到精确度高而且稠密的视差图，并不容易。如何 提高算法的去歧义性和抗干扰能力，降低算法实现的复杂性和计算量，设计通用 性和时效性兼具的图像匹配算法，实现图像匹配的自动化，仍然是立体匹配以及 宽基线立体匹配领域所追求的目标。 1 4 本文的主要研究内容 本文以计算机立体视觉中的立体匹配技术为主要研究对象，综合分析和研究 了不变特征提取的各种算法在立体匹配中的特点及其不足，尤其对这些算子，在 宽基线背景下的立体匹配中存在的不足进行了详细阐述；通过对已有部分文献和 代表性算法的学习和分析，将尺度不变特征变换算法进行改进，运用到宽基线图 像的立体匹配中。 1 5 论文组织 2 硕士学位论文 第l 章首先介绍了论文的研究背景，简要介绍计算机立体视觉理论以及在计 算机立体视觉中发挥重要作用的立体匹配，同时也介绍了宽基线立体匹配的特点 与目前存在的问题。 第2 章详细介绍了计算机立体视觉理论的现实意义及其研究现状；对立体匹 配及其主要算法进行了介绍，综合比较了各类算法的特点及性能，最后介绍了后 人针对现有算法存在的不足，所做的研究工作。 第3 章介绍了不变特征的特点及其优势，详细阐述了不变特征提取技术在立 体匹配中所起的重要作用。在研究现状中对主要的不变特征提取算子进行了介绍， 特别是介绍了这些算子在宽基线立体匹配中发挥的重要作用，最后对多种算子的 性能进行了综合分析。 第4 章首先对尺度不变特征变换( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ，s i f t ) 算 法进行了详细阐述和分析，然后以尺度空间理论为基础，结合s i f t 算子的工作 原理，利用主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 的思想，对s i f t 算 子进行改进。文中详细介绍了改进算法的各个过程，并以m a t l a b2 0 0 9 a 为实验平 台，利用m i d d l e b u r y 实验室提供的标准测试图像对，对改进后的算法进行了验证， 并对实验结果进行了综合分析。 最后对文章所做的工作进行了总结，介绍了文中算法存在的不足及其今后的 研究方向，同时也介绍了当前宽基线立体匹配研究的热点与难点以及未来的发展 方向。 3 基于不变特征的宽基线立体匹配研究 第2 章计算机立体视觉与立体匹配 2 1 计算机立体视觉理论 计算机立体视觉利用各种成像系统提供的图像作为输入手段【引，模拟人类的 视觉系统，由计算机系统来代替人眼识别外界空间信息，完成对外界空间影像的 处理和理解。图像处理技术、人工智能以及模式识别技术的发展推动了计算机立 体视觉技术的不断发展和完善。 计算机立体视觉的主要是研究如何利用二维平面的投影图像恢复景物的三 维场景信息。依据的理论和方法涉及诸多学科领域，主要有射影几何学、模式识 别、人工智能。计算机立体视觉研究的本质问题是如何利用二维平面的投影图像 来重构三维空间物体的可视部分，最终的目的是实现对三维空间场景的理解，即 实现人眼的视觉功能。 计算机立体视觉研究要实现人眼的视觉功能需要达到以下几个目标【9 j ： ( 1 ) 利用一幅或多幅二维平面图像提供的信息，获取目标物体到观测地点的 实际空间距离，例如目标识别领域的研究目标。 ( 2 ) 利用一幅或多幅二维平面图像提供的信息，获取被观测物体的空间运动 信息，例如目标跟踪领域的研究目标。 ( 3 ) 利用一幅或多幅二维平面图像提供的信息，获取被观测物体的表面物理 细节信息，例如在现代工业生产过程中，利用立体视觉技术，检测产品表面或内 部是否存在瑕疵。 ( 4 ) 利用多幅二维平面图像提供的信息，恢复出更大空间区域的三维场景信 息，例如图像拼接，全景图，三维重建等领域的研究目标。 广 而 。i z 1 7 jl o l 飞、0 2 ，￥2 1 r 1r c 1 b c 2 图2 1 视差与深度的关系 4 硕士学位论文 图2 1 展示了在平行双目立体视觉系统中，左右两侧图像之间的视差与空间 深度的关系【1 0 l 。用p 表示拍摄场景中物体上的一点，它在左、右两个摄像机中 都有成像，成像的像素点分别用异、罡来表示，两条虚线分别表示两架摄像机透 镜的光轴，虚线与图像平面的交点分别为a 、0 2 ，只到q 与最到q 的距离分别 为五、岛。异、只两点分别距离各自原点q 、d 2 的差值为：茜一x 2 ，这个差值称 作视差( d i s p a r i t y ) ，用d 表示。视差是立体匹配最终的结果，通过物体的视差， 最终可以形成视差图，利用视差图可以对空间场景进行重建。 图2 1 表示了在平行双目视觉条件下，三维空间场景中一点p 到两透镜成像 平面的实际距离z 可以由下式( 2 1 ) 表示： z ；生( 2 1 ) 墨一屯 式( 2 1 ) 中厂表示摄像机透镜的焦距，b 表示两摄像机透镜光轴之间的垂直 距离，也就是所说的基线的长度。当图像采集设备的空间位置不变时，厂的值不 变或者已知，所要求的结果也就是视差d = 墨一x 2 ，只与p 点到基线b 的垂直距离， 也就是与z 相关，而与其它因素，如p 点到摄像机透镜光轴的距离无关，得到的 视差越大，说明物体到透镜成像平面的距离越近；反之，则越远。在平行双目视 觉系统中，外界景物的深度图可以通过反比计算得到，摄像机的焦距可通过标定 摄像机得到，基线距离也能得到，再利用物体的视差，我们根据式( 2 1 ) 就可以 确定外界景物距离成像设备的距离，进而获得物体的三维空间深度信息，为外界 场景的三维重建提供有力的技术支持。有这些技术作为支持，利用双目立体视觉 的理论，完全能够实现三维重建。 在平行双目视觉条件下，只要得到在不同视角下，两幅图像中像素点的对应 或相似关系，也就是得到准确的视差图，利用计算机立体视觉技术，就可以恢复 景物的三维空间深度信息【1 l 】。立体匹配所要做的工作就是要得到相邻两幅图像 中像素点的对应关系。立体匹配理想的结果是稠密而准确的视差图，结果越精确 对后续的三维重建越有帮助。 2 2m arr 视觉计算理论 计算机立体视觉的研究与人类对自身视觉功能的认识息息相关【1 2 l ，它的研 究是从2 0 世纪6 0 年代中期开始的，美国人r o b e r t s 完成了对三维空间景物的分 析与识别工作，将人类对图像的研究从二维平面推广到三维空间，在此基础上产 生了计算机立体视觉技术。8 0 年代，麻省理工学院人工智能实验室的m a r r 教授， 参阅了大量神经生理学、心理物理学和临床神经病理学等相关方面的著作，并从 多个角度出发，对人类的视觉系统进行了广泛而深入的研究，最终提出了一个理 论框架，这一框架在计算机立体视觉领域非常著名，它就是视觉计算理论。这一 5 基于不变特征的宽基线立体匹配研究 理论对计算机立体视觉研究的发展有着很大的推动作用。m a r r 教授以此为基础， 还提出了视觉计算三层表象理论，也就是将二维信息的获取到三维空间的重建这 一过程划分为三个层次，该理论也是迄今为止最为系统的视觉理论。 m a r r 的视觉计算理论从信息处理的角度出发，将人类的视觉系统看作是一个 信息处理过程。三层表象理论的三个层次分别是计算理论层次、算法与数据结构 层次、硬件实现层次。该理论的重点落脚在计算理论层次，根据临床神经学的研 究成果，人类视觉的目的是从人眼所成的图像中建立外在空间事物的形状和位 置。在计算理论层次，将视觉过程看作是一个从图像的二维特征信息中恢复平面 图像所反映的三维空间场景信息的过程，也就是通常所说的三维重建，这其中也 包括物体的外在形状和空间位置。在计算理论这一层次，m a r r 又将三维重建过 程细分成了三个视觉表象层次，如图2 2 所示。 图2 2 视觉信思处理的三个阶段 第一阶段是二维平面图像处理阶段，从输入的二维平面图像中获取二维信 息，例如灰度变化，局部几何特征，遮挡等信息。第二阶段是将上一阶段获得的 二维信息，通过一系列的数学运算，获到反映物体表面特性的信息，即2 5 维信 息。在计算机立体视觉研究中，这一部分信息就是通过立体匹配获得的视差图， 它是带有空间信息的图像。最后一个阶段是由2 5 维图像获得场景的3 维信息，进 而识别场景中物体的形状，姿态与位置。在计算机立体视觉研究中，这一阶段就 是通过稠密的视差图，重建场景的三维效果。 计算理论层次要回答视觉系统各个部分的计算目的与策略，各个模块的输入 输出以及它们之间的关系。对输入输出需要设定一个总体目标，要求输入的是二 维信息，输出的是重建的三维空间信息。 m a r r 设计的视觉系统还需要对外部场景中物体的三维信息进行识别和运动 分析。现实场景中的物体差异很大，需要一种数学计算层次上的普遍情况的描述。 6 硕士学位论文 如果实现了这个目标，那么不管处理的是什么样的场景与物体，计算机立体视觉 对外部环境的识别任务都可以完成。进一步的研究表明，如果在运动时刻能做到 对物体进行准确的识别，则对物体的空间运动也可以做进一步的分析。 在表达式与算法这一层次，视觉系统的功能需要得到各个部分的输入、输出、 信息的内部表达式以及实现算法。不同的表达方式和不同的算法，在计算理论的 意义上是相同的。 从信息处理的观点来看【1 3 1 ，计算理论层次最为重要，构成了计算机立体视 觉系统的计算本质，它的具体实现特点是由解决的具体问题决定，而不是由硬件 实现决定的。对于解决的问题需要正确理解它的本质特点，这样不仅有助于理解 现有算法，也有助于创造新的算法。 正确区分三个视觉层次有助于深刻理解立体视觉与生物视觉的区别以及它 们之间的联系。比如，人类的视觉系统与计算机立体视觉系统，虽然在硬件实现 上完全不同，但是它们在计算理论层次上要实现的是相同的功能。三个层次的含 义如表2 1 所示 表2 1 视觉系统研究的三个层次的含义 将视觉计算理论应用于双目立体匹配，能够利用两张存在视差的平面图，产 生有空间深度的立体图形，这是计算机立体视觉发展的理论基础。此后计算机立 体视觉进入了一个相对快速的发展阶段，在三维重建理论、匹配算法以及评价标 准等多方面都取得了显著的进步。当前计算机立体视觉研究特点呈现出更加关心 一些细节性问题，如立体匹配算法、实时性处理、遮挡检测等。 2 3 计算机立体视觉三维感知方法 计算机立体视觉1 1 4 l 在机器人视觉、医学诊断、航空测绘等许多领域都有着 广泛的应用，研究方法也从早期的以统计学理论为基础来研究，到目前利用具有 生理学背景的特征匹配来研究；信息的处理内容也从依赖于信号质量的低层次处 理方式，发展到了根据特征、结构的高层次处理。深度信息获取技术是立体视觉 的关键技术，目前，获取深度信息的技术与方法虽然众多，但每种方法都各有其 适用的范围，也各有其优势与不足。三维空间感知技术大致可以分为主动和被动 两类，简介如下： ( 1 ) 主动空间感知技术 主动空间感知技术基于的主要理论基于特定的环境条件，需要人为干预设置 7 基于不变特征的宽基线立体匹配研究 辐射光源对观测目标进行照射，再根据景物的反射及光学、声学等特性，经过特 殊的计算处理，获取目标的三维空间深度信息。这一技术能够得到很精确的空间 距离信息，外界干扰因素的变化对这一技术的影响不大，也能够满足算法实时性 的要求。代表性的方法有：结构光法，三角测距法等。 ( 2 ) 被动空间感知技术 被动空间感知技术是指不需要利用外界光源的照射，只需要景物自身及其静 态的周边环境信息来感知深度信息。典型的范例就是计算机立体视觉，其原理是 利用同一对象在相隔一定距离的不同摄像机中映射成的影像位置的差异，通过计 算获取视差【1 5 】，根据视差信息来获得景物的深度空间信息。 立体视觉方法依据人类眼睛观察外部环境的原理，对三维信息的感知。很早 就应用于深度信息的获取，最大的优点是硬件实现简单，算法的物理意义比较明 确，缺点是在宽基线条件下，摄像机视野中通常存在较大面积的遮掩，这样会造 成部分信息不能同时成像到两幅相邻图像上，造成遮掩部分的信息无法重建。有 两种方法可以减少此种情况的发生，一种是缩小基线长度，但这样会增加测量误 差；另外一种是采用多个摄像机，分别从多个不同视角采集信息，尽量减少相邻 图像间遮挡部分的所占的比例，但是这样处理会增加系统的复杂性和测量时间， 降低了系统的时间效率。 被动空间感知技术是目前研究最多、应用最广的深度信息获取技术，不需要 人为的设置和干预，只需利用景物在自然光线的照射下采集的二维图像，再利用 立体视觉技术进行处理，就可以重建景物的三维信息。这种技术对复杂环境有比 较强的适应性，算法与硬件的实现手段和方法都比较灵活，研制与开发的成本造 价也不高。但由于该技术是通过二维平面的低维信号得到三维空间的高维信号， 中间过程不可避免的存在失真，如果要对深度信息做准确的重建，目前面临的尚 未解决问题比较多，还需要进一步的研究。 2 4 立体匹配的研究现状 计算机立体视觉技术恢复深度信息的能力，依赖于在同一空间场景中，从不 同视点获取的图像之间的差异。立体匹配的任务就是在两幅或多幅图像中寻找属 于同一空间物理元素像素点的对应关系，然后得到视差图，再根据视差图获得三 维空间场景的距离信息。立体匹配是计算机立体视觉系统中，从二维平面图像到 三维空间场景的桥梁，是其中最为重要也最为关键的一步。 2 4 1 立体匹配概述 立体匹配等价于将一个相似性度量函数最小化【1 6 】。设像素集为p ，视差集 为，寻找的目标是从p 到的一个映射，使相似性度量函数的取值最小。相似 8 硕士学位论文 ! ! i m i l l _ l 性度量函数的数学表达形式如下： e ( ，) ；薹q ( ，) + ，姜，哆田( 厂p ，厶) ( 2 2 ) 在式( 2 2 ) 中，厂为视差，p 为像素的集合，d 。为数据项，它用来测量像素p 所匹配的标号厶与观测数据实际值的差别，c p p 为邻域的集合；圪呵( ，) 度量将厂，分配给相邻的像素p ，口。巧可为以丘一为自变量的函数。 立体匹配的难点在于【1 7 】：由于观察位置、噪声以及摄像机畸变等因素的干 扰，当三维空间场景被投影成二维图像时，同一景物在不同视角下的图像存在很 大的差异。立体匹配也不同于普通的图像匹配，立体匹配研究的图像之间存在的 差异是由拍摄时观察点的不同引起的，而不是由景物本身的变化、运动引起的， 其匹配效果的好坏也直接影响到最终三维重建的效果，因此立体匹配是一个不稳 定的病态问题，也是立体视觉研究中面临干扰因素最多的问题。尽管国内外计算 机立体视觉领域的研究人员提出了许多立体匹配算法，有些也达到了很高的匹配 精度，但这些算法大多是针对特定应用提出的，总体而言，目前还不存在有效且 通用的立体匹配算法。 2 4 2 立体匹配研究现状 立体视觉【1 8 】是计算机被动空间感知技术中最重要的距离感知方法，它模拟 人眼观察外界场景的方式，能够在多种条件下获得外界景物的三维空间信息。立 体视觉中最重要、最关键的步骤就是对从多幅图像中提取的特征进行匹配，即立 体匹配。双目立体匹配是从不同视角获得的两幅图像中选取匹配点，在它们之间 建立对应关系。任何一种立体视觉技术都包含一个核心的立体匹配算法，正因为 如此立体视觉领域的科研人员，不仅在立体视觉，三维重建领域有建树，而且很 多在立体匹配领域也有不俗的研究成果。 立体匹配算法的研究1 1 9 】多是基于一定的约束条件，根据匹配基元的差别， 匹配点的搜索策略也有所不同。根据匹配基元的不同，立体视觉匹配算法大致分 为三类：基于区域的匹配算法、基于特征的匹配算法与基于相位的匹配算法。 ( 1 ) 基于区域的匹配算法 基于区域的算法利用图像的灰度信息，在图像匹配领域，又称作区域相关法， 是解决匹配基元对应关系的一种比较简单的方法。该理论假设图像中一个像素与 其毗邻区域内相邻像素的视差应当是相等的，选取以像素为中心的邻近区域当做 在另一幅图像中寻找匹配点的测度，如果符合一定的条件，就可以作为匹配点对。 这种方法的基本思想是建立在匹配点各自邻域窗口内所有像素的相似性，而不是 针对单个像素搜索其相似性。 后人做了大量而丰富的研究工作，从在灰度区域内提取特征，到结合多种方 9 基于不变特征的宽基线立体匹配研究 法，综合考虑提取特定的信息，目的不单单是为了减少算法的计算量，也是为了 提高算法的匹配精度。l e v i n e 算法在匹配邻域的选择上，选取了一维区域，在一 维线性空间上搜索互相关值最大的点作为匹配点，大大减少了搜索范围。文献【2 0 】 提出的匹配算法结合了区域增长理论，改善了原有算法的性能。文献【2 1 】提出了 一种基于图像灰度信息的编码方法，这样做可以减少后续匹配算法运行的时间复 杂度。y o o n t 利用颜色信息和景物外表的相似性来确定不同位置像素的权重，算 法引入颜色信息作为条件，减少误匹配点对。k a n a d e 和o k u t o m i 2 2 】根据局部灰度 变化和局部视差变化的统计分布规律特性，对匹配窗口的大小做自适应地变化， 这一算法在处理视差发生突变的区域时，效果比较理想。 基于区域相关的算法【2 3 】优点是可以得到比较完整且稠密视差图一一这也是 立体匹配追求的目标之一，不足之处在于需要对特征点进行逐点匹配，在时间效 率上不高，而且噪声对匹配效果的影响也很大。 基于区域相关的算法存在的最大问题就是如何确定相关邻域窗口的大小。相 关窗口如果选取的过大，在视差不连续区域得到的视差会变得不清晰；而相关窗 口如果选取的过小，又容易在灰度分布均匀的区域造成误匹配。目前此类算法在 匹配窗口的选择上，还缺乏完善的理论依据，比较适合于处理自然景物等灰度信 息复杂的图像。 ( 2 ) 基于特征的匹配算法 基于特征的匹配【2 4 l 比基于区域的匹配算法更深入了一步，它不直接利用灰 度信息，而是从图像的灰度信息中提取重要特征信息作为匹配基元来进行匹配。 比如b i g o n e 和v e n k a t e s w a r 等f 2 5 1 人选择图像的边缘作为匹配特征，s c h m i d 2 6 】贝0 采 用曲线作为匹配特征，文献1 27 j 则另辟蹊径，利用以直代曲的思想，将直线作为 图像的匹配特征。这些特征信息普遍具有相对稳定，受外界因素，如光强变化和 噪声等因素干扰小的特点，这也是基于特征的匹配算法的优点。 在2 0 世纪8 0 年代，基于特征的匹配算法备受关注，获得了很大的发展。d h o n d 和a g g a l w a l 2 8 】对前人所做的研究进行了总结，比较了现有算法的性能，尤其对 基于特征的匹配算法进行了重点介绍，同时也指出了这类算法的不足，主要是匹 配得到的视差图是稀疏的，并不是我们想要的稠密视差图，特征量的多少以及提 取精度都会影响到视差图的疏密程度，要得到稠密的视差图，后续还需要应用内 插值法做进一步处理，而这些处理又容易引入误差，降低了最终视差图的精确度。 尤其在缺少显著特征的环境中，外界景物的特征规律少，如果选用内插值方法进 行处理时，容易偏离实际景物太多，得到的视差图误差较多，容易失真，难以达 到理想的精确度