（模式识别与智能系统专业论文）计算机视觉中立体匹配技术的研究.pdf

博士论文计算机视觉中立体匹配技术的研究 摘要 立体视觉匹配是计算机视觉和非接触测量研究中最基本的关键问题之一， 该技术使得通过像点获取距离信息，实现三维立体再现成为可能，但同时也是 最难彻底解决的问题。本文对双目视觉的立体匹配相关理论与算法进行了细致 的研究，在区域相关基础上，结合特征点和轮廓等全局结构信息，尝试对不同 需求建立相应的算法，并通过对真实图像的实验证明了算法的可行性和有效性。 灰度相关直接用图像灰度进行匹配，没有考虑场景物体之间的空间和结构 相关性，使得结果对结构、光照、纹理和畸变十分敏感。本文提取边缘点作为 初始匹配集，采用高斯核径向基函数网络模式，误差函数包含特征的训练误差 和非特征点估计视差的平滑条件。利用梯度下降法来估计最优全局视差分布。 本文发展了b a r n a r d 算法，利用边缘特征点的高可靠性，提出边缘引导的匹 配算法。特征点限定了非特征点的有效视差范围。在视差空间值的迭代更新过 程中，充分考虑匹配点邻域支持区的视差分布情况和相对可靠的边缘特征点， 非特征点的支持区窗口形状也根据特征点的分布而有所不同。这样，降低了对 视差空间中匹配值估计的不确定性。另外，结合视线冲突的检测和匹配闽值对 遮掩区进行检测和标记，视差的唯一性和连续性约束得到了体现。 针对匹配的实时性要求，本文给出了一种快速算法。利用l o g 算予生成稀 疏的边缘点初始视差图。对于非边缘点以初始视差图为约束，构造自适应窗口。 对得到的相容匹配序列，利用时间规整算法中的动态规划法寻找一条晟健的匹 配路径。根据回溯得到整体高密度视差图。极大缩小了匹配搜索空间。实验结 果表明该算法具有较高的运行效率。 边界特征点主要是一些离散的孤立的点，算法在处理过程中很难把握场景 的全局信息和结构。对于自主车避障和目标跟踪的领域，不一定要得到全部像 点的深度信息。本文引入区域的边界规则度来过滤过分割图像。根据分割区域 的空间位置关系等约束条件，通过设定的代价函数来计算图像间对应区域的不 变矩相似度，据此对分割区域进行匹配工作。该方法不需要对目标作先期了解 和建模，在检测人工目标的时候具有通用性。 关键词：计算机视觉，立体匹配，视差，径向基函数，视差空间，松弛迭 代，动态规划，区域生长。 博士论文计算机视觉中立体匹配技术的研究 a b s t r a c t v i s u a ls t e r e om a t c h i n gi so n eo f t h ef u n d a m e n t a la n ds i g n i f i c a n tp r o b l e m si nt h e s t u d yo ft h ec o m p u t e rv i s i o na n dc o n t a e t l e s sm e a s u r e m e n t s t h i st e c h n i q u em a k e si t p o s s i b l et or e p r o d u c eat h r e e d i m e n s i o n a ls t e r e ob yg e t t i n gt h ed i s t a n c ei n f o r m a t i o n t h r o u g hp i x e l s o nt h eo t h e rh a n d ，i ti st h em o s td i f f i c u l tp r o b l e mt ob es o l v e d c o m p l e t e l y i nt h i sw o r k ，t h et h e o r ya n da l g o r i t h m sf o rt h es t e r e om a t c h i n gi nt h e b i n o c u l a rv i s i o na r es t u d i e di n d e t a i l a c c o r d i n gt ot h ea r e a b a s e dc o r r e l a t i o n ， a p p r o p f i a t ea l g o r i t h m sa r ed e v e l o p e dw i t hc o m b i n i n ga l lt h es t r u c t u r a li n f o r m a t i o n i n c l u d i n gt h ec o n t o u ra n dt h ef e a t u r ep o i n t s e x p e r i m e n t so nt h er e a li m a g e ss h o w t h a tt h ea l g o r i t h mi nt h i sw o r ki sa p p l i c a b l ea n de f f e c t i v e m a t c h i n gi sp e r f o r m e dd i r e c t l yw i t ht h ei m a g ei n t e n s i t yi nt h ea r e a - b a s e d c o r r e l a t i o nw i t h o u tc o u n t i n gt h es p a c ea n ds t r u c t u r ec o r r e l a t i o nb e t w e e n o b j e c t s a n d t h e r e f o r e ，t h er e s u l t sa r ev e r ys e n s i t i v et op o s i t i o n ，1 i 曲r i n g ，t e x t u r e ，a n da b e r r a t i o n t h ed i s p a r i t yd i s t r i b u t i o nf u n c t i o ni sd e t e r m i n e db yu s i n gt h ee d g ep o i n t sa st h e i n i t i a lm a t c h i n gs e ta n dh i e r a r c h i c a lg a u s s i a nb a s i sf u n c t i o n s t r a i n i n ge r r o ro f f e a t u r e p o i n t sa n dd i s p a r i t i e ss m o o t hc p n s 廿a i n to fn o n - f e a t u r ep o i n t si si n c l u d e di nt h ee r r o r f u n c t i o n g l o b a lo p t i m u md i s p a r i t yf u n c t i o ni se s t i m a t e db yg r a d i e n td e s c e n tm e t h o d b yu s i n gt h eh i g hr e l i a b i l i t yo ft h ee d g ef e a t m ep o i n t s ，t h i sw o r kd e v e l o p st h e e d g et r a c t i o ns t e r e om a t c h i n gm e t h o d ，w h i c hf u r t h e ri m p r o v e st h eb a r n a r da l g o r i t h m t h ef e a t u r ep o i n tc o n f i n e st h ev a l i dd i s p a r i t yr a n g eo ft h en o n - f e a t u r ep o i n t s i nt h e i t e r a t i o np r o c e s sf o rt h ev a l u e si nt h ed i s p a r i t ys p a c e ，w ef u l l yc o n s i d e rt h ed i s p a r i t y d i s t r i b u t i o ni nt h em a t c h i n gp o i n t sn e i g h b o ra r e a ，t h er e l a t i v e l yr e l i a b l ee d g ef e a t u r e p o i n t s ，a n dt h ed i f f e r e n td i s t r i b u t i o n s t h ew i n d o ws h a p e so ft h es u p p o r t i n ga r e ao f t h en o n f e a t u r ep o i n t sc h a n g ea c c o r d i n gt ot h ed i f f e r e n td i s t r i b u t i o no ft h ef e a t u r e p o i n t s a sar e s u l t ，i tr e d u c e st h eu n c e r t a i n t yi ne s t i m a t i n gt h em a t c h i n gv a l u e si nt h e d i s p a r i t ys p a c e i na d d i t i o n ，t h eu n i q u e n e s sa n dt h ec o n t i n u i t yc o n s t r a i n ta r er e f l e c t e d b yc o m b i n i n gt h ee x a m i n a t i o no ft h ec o n f l i c ta ts i g h tl i n e sa n dt h ee x a m i n a t i o na n d m a r k i n gt h eo c c l u s i o na r e aw i t l lm a t c h i n gt h r e s h o l d t h i sw o r kd e v e l o p saf a s ta l g o r i t h mf o rt h en e e do ft h er e a l - t i m em a t c h i n g a s p a r s ei n i t i a ld i s p a r i t yi m a g eo ft h ee d g ep o i n t si sp r o d u c e dw i t hl o go p e r a t o r u s i n g 博士论文 t h ei n i t i a ld i s p a r i t yi m a g ea st h ec o n s t r a i n to nn o n - e d g ep o i n t s ，t h ea d a p t i v ew i n d o w i sc o n s t r u c t e d w i t ht h eo b t a i n e dc o m p a t i b l es e q u e n c e s ，a no p t i m u mm a t c h i n gp a t hi s s e a r c h e dw i t ht h ed y n a m i cp r o g r a mi nt h ed y n a m i ct i m ew a r p 啦a l g o r i t h m t h e i n t e g r a t e dd e n s ed i s p a r i t ym a pi so b t a i n e db yb a c k d a t e t h em a t c h i n gs e a r c hs p a c ei s r e d u c e ds i g n i f i c a n t l y e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h mh a sr e l a t i v e l yh i g h c o m p u t i n ge f f i c i e n c y t h eb o u n d a r yf e a t u r ep o i n t sa r em a i n l yd i s c r e t ea n di s o l a t e dp o i n t s i ti sd i f f i c u l t f o rt h ea l g o r i t h mt op r o c e s sa l lt h ei n f o r m a t i o na n ds t r u c t u r e sf o rt h ew h o l es c e n e f o rt h ea r e ao f a l vo b s t a c l ev o i d a n c ea n dt h et a r g e tf o l l o w i n g ，t h ed e p t hi n f o r m a t i o n o fa l li m a g ep o i n t sm a yn o tn e e dt ob eo b t a i n e d t h i sw o r ki n t r o d u c e st h er e g i o n a l b o u n d a r yr e g u l a t i o nt of i l t e rt h es e p a r a t e di m a g e s a c c o r d i n gt ot h ec o n s t r a i n to ft h e r e l a t i o na m o n gt h es p a c ep o s i t i o no ft h es e p a r a t e dr e g i o n s ，t h ei n v a r i a n tm o m e n t s s i m i l a r i t yo ft h ec o r r e s p o n d i n gr e g i o ni ni m a g e si sc o m p u t e db ys e l e c t i n gt h ec o s t f i m a i o n ，t h e nt h em a t c h i n gi sp r o c e s s e df o rt h es e p a r a t e dr e g i o n s p r e d i c t i n ga n d m o d e l i n gf o rt h et a r g e t sa r en o tn e e d e di nt h em e t h o d i tc a r lb eg e n e r a l l yu s e di n t c s t i n ga r t i f i c i a lt a r g e t k e y w o r d s ：c o m p u t e rv i s i o n ，s t e r e om a t c h i n g ，d i s p a r i t y , r b f , d i s p a r i t ys p a c e ， r e l a x a t i o ni t e r a t i o n ，d y n a m i cp r o g r a m m e ，r e g i o n sg r o w i v 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名年月 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：年月 日 博士论文计算机视觉中立体匹配技术的研究 1 绪论 视觉是人类观察世界、认知世界的重要功能手段。人类从外界获得的信息 约有7 5 来自视觉系统【l 】。这说明视觉的信息量是巨大的，同时表明人类对视觉 信息有着较高的利用率。人类视觉过程可以看作是一个复杂的从感觉到知觉的 过程，视觉的最终目的从狭义上说是要对场景作出对观察者有意义的解释和描 述；从广义上说，还有根据周围环境和观察者的意愿在这些解释和描述的基础 上制定出行为规划。 本章首先简要介绍计算机立体视觉的研究背景、研究现状和作为基础的摄 像机模型和透视投影理论，然后介绍本文的研究内容和论文的组织结构。 1 1 研究背景 计算机视觉是指利用计算机实现人类的视觉功能，即对客观世界的三维场 景的感知、识别和理解。计算机视觉的主要研究目标可以归纳为两个，第一个 目标是建成计算机视觉系统，完成各种视觉任务；第二个目标是把该研究作为 探索人脑视觉工作原理的手段，进一步加深对人脑视觉的掌握和理解。同时， 对人脑视觉的充分理解也将促进计算机视觉的深入研究。长期以来，对人脑系 统从生理、心理、神经等各个方面进行了大量的研究，但是还远没有揭开视觉 过程的全部奥秘，可以说对视觉机理的研究和了解还远远落后与对视觉信息处 理的研究和掌握。 融合两只眼睛获得的图像并观察它们之间的差别使我们可以获得明显德深 度感。这个差别，我们称作视差。相应地，获取空间三维场景的距离信息也是 计算机视觉研究中最基础的内容。可靠的立体感知算法在机器人视觉导航、地 图生成、航空勘测和近距离照相测量等领域都有很广阔的应用价值，另外在用 于目标识别的图像分割，以及计算机图形学的三维场景重建中也有用武之地 【2 】【3 ) 。 随着科学技术的发展，以自动驾驶为核心的自主车( a l v ) 技术的研究逐渐 开展起来，并在科学研究，军事和民用领域不断得到应用。本文的课题就是在 国防基础研究项目的背景下工作和完成的，其所探讨的立体视觉匹配是计算机 被动测距方法中最重要的距离感知技术，它直接模拟了人类视觉处理景物的方 第1 章绪论博士论文 式，可以在多种条件下灵活地测量景物的立体信息。对它的研究，无论是从视 觉生理的角度还是在工程应用中都具有十分重要的意义。 从2 0 世纪7 0 年代中期开始，以m a r t ，b a r r o w 和t e n e n b a u m 等人为代表的 研究学者提出了一整套视觉计算的理论来描述视觉过程f 4 l 【5 】【6 l 【7 】，其核心是从图 像中恢复物体的三维形状。其中以m a r r 的理论影响最为深远【7 j 。本文的研究内 容也不可避免地以其作为理论基础，并在参考了大量国内外相关资料和近年来 发展起来的技术基础上形成。 1 2 摄像机几何模型 摄相机的成像过程是从三维空间n - - 维图像平面的投影。为了研究图像的 投影及其包含的三维信息，必须首先确定相机的投影模型，才能确定三维空间 点和其在二维图像平面的投影之间的关系。在不同使用条件下，即摄像机和空 间物体之间有不同的位置关系时，可以采取不同的摄像机投影模型。透视投影、 平行投影和正透视投影是计算机视觉中最常用的三种摄像机模型，其中正透视 投影是透视投影的特例，而当摄像机和空间物体之间的距离比空间物体的最大 尺寸大很多的情况下，可以用平行投影来简化透视投影模型【2 l 。本文主要以透视 投影模型为研究前提。 在大部分应用环境中可以用理想的针孔模型来近似实际摄象机。针孔模裂 的几何关系就是透视投影。场景中的物体最终结果是投影到胶片或计算机里面 的数字图像。对场景和其图像的研究涉及到不同坐标系之间的变换，主要的坐 标系统有如下几种【l j ： ( 1 ) 世界坐标系：也称真实坐标系统，它是客观世界的绝对坐标。一般三 维场景利用这个坐标系统来表示； ( 2 ) 摄像机坐标系：以摄像机为中心制定的坐标系统； ( 3 ) 像平面坐标系：即在摄像机内的像平面上的坐标系统。原点在摄像机 的光轴上； ( 4 ) 计算机图像坐标系：类似于像平面坐标系，对于不同的计算机操作系 统，一般只是坐标原点和计量单位的差别。本文计算机图像坐标系的原点设定 在图像的左上角，计量单位是像素值。 摄象机坐标系的定义见图1 - 1 【2 见将坐标系( o ，f ，j ，k ) 附加到针孔摄像机上， 博士论文计算机视觉中立体匹配技术的研究 向量f ，j ，k 组成右手直角坐标系。原点0 与针孔重合，而向量i 和，组成一个与图 像平面n 平行的向量平面的基，n 平面位于沿k 向量正方向距离针孔厂。处。通 过针孔垂直于丌的线称为光轴。 为表示透视模型我们还需要在图象平面中建立像平面坐标系。像平面坐标 系是一个二维坐标系，图i - 1 中，光轴穿过和图象平面的交点c 称为图像中 心，作为像平面坐标系的原点。 如果用点p 表示景物中坐标为( x , y ，z ) 的一点，p 是它的投影像点，坐标为 ( 一，_ y ，。) 。因为p 处在图像平面中，所以有z = f 。又因为p ，0 ，p 这三点共 线，则应有o p = , c o p ，名为某个数，所以 f 一= 2 x ，：砂五：! ：兰：- ( 1 - 1 ) lf ：允 。y 2 因此有 一= f x 步，童 1 。2 z 图1 - 1 针孔成像模型及摄像机坐标系和像平面坐标系示意图 在实际应用中，物体距离摄像机原点的距离一般都远大于焦距。透视投影 产生的是一幅颠倒的图像，为了方便，可以设想一个虚拟图像平面。这幅图像 落在一个处于焦心前面的平面上，它到焦心的距离等于实际成像面到焦心的距 第l 章绪论博士论文 离。即它们关于摄像机原点对称。称此虚拟平面为像平面。如图】- 2 所示的订”平 面。 彳 1 3 透视投影 图1 - 2 使用虚拟图像平面的针孔成像模型 除了以摄像机为中心的基本投影原理和公式，在建立图像坐标与世界坐标 之间的关系时还要用到欧几里得解析几何的一些必要的公式表示【2 】。图像上点的 位置与空间物体表面上相应点的几何位置有直接的关系，该点的值反映了空间 物体表面上点的反射光亮度。这些位置关系，均由摄像机的成像模型所决定， 该成像模型的几何参数称为摄像机参数，包括内参数和外参数。由实验和理论 计算得到这些参数的过程称作摄像机定标。这里以简化的摄像机光学成像模型， 即针孔模型为基础，讨论透视投影和多个坐标系下坐标转换关系。 1 3 1 坐标系变换和刚体变换 考虑多个坐标系【6 】，设坐标系f 中点p 的坐标向量记为，p ，即 9 p = ”石= c i j 争西2 x ，+ + = t c t ， 考虑两个坐标系的情况：( 一) = ( o a ，i a ，l ，k _ ) 和( b ) = ( 仇，i 。，j b ，k 口) 。任 务是如何把叩表示成。户。 4 当两个坐标系之间是纯平移关系的时候，有o b p = o e o a + o a p ，则 博士论文 计算机视觉中立体匹配技术的研究 州f 厶 t 一。如1 ；月= li a 厶，。k 。j 。l l f k 日j d k 口k - k 日j ；r = c 8 r 。8 ，。8 t 。，= 菇 一般来说，旋转矩阵可以分解为绕i ，_ ，k 旋转的基本旋转矩阵的乘 积。由；r 是单位阵可以知道，在坐标系曰中满足 8 尸= b r 4 p ( 1 7 ) 若两个坐标系的原点和基向量都是不同的，我们称这两个坐标系之间 是一般的刚体变换，且有： bp = j r 。p + 8 o a 在齐次坐标情况下，上个方程可以写成矩阵乘积的形式 7 = b 。r a a p i ，其中，j r = ( i ；8 。a 1 ，。= c 。，。，。，7 ( 1 8 ) ( 1 - 9 ) 这样，我们就可以用一个4 x 4 矩阵和一个四维向量表示任意的坐标系 变换。 1 3 2摄像机参数和透视投影 在不考虑透镜引起的非线性畸变的前提下，我们讨论摄像机坐标系、像平 面坐标系、计算机图像坐标系与世界坐标系之间的投影关系。其中摄像机坐标 系和像平面坐标系、计算机图像坐标系之间的关系称为摄像机内参数，而外参 数表示摄像机在世界坐标系里的位置和方向。 哪蝴 呦 m 舣 m m 第l 章绪论博士论文 为了得到摄像机的内参数，可以定义一个归一化的图像平面。该平面平行 于摄像机的物理成像平面，且到针孔的距离为单位长度。在其上定义的坐标系 中，原点定在光轴和这个平面的交点处，即0 点。则透视投影方程可以写成 陲磅吲 m 其中，p 兰( ，口，1 ) r 是点p 投影到这个平面上的p 点的齐次坐标表示。 像平面坐标中，图像中的点( “，v ) 一般用像素表示，而不是用米等单位来表 示。而且像素般不是正方形，而是长方形，所以需要用两个额外的比例因子 和l ，且 “= 耵兰 v ：l f 兰 在这里，假设厂是用米表示的距离，像素的大小是i 1 ；，其中，和l 的单位是像素米。参数尼，l 和f 是相关的，如果用像素单位表示，有口= 铲 和口= t f 。 而在计算机图像坐标系中，一般把图像的左上角而不是中心定为原 点，则需要添加两个参数和v o 来定义点在计算机图像坐标系中的位置。 则式改为 z “= 口一+ “0 v ：# - y + v o ( 1 1 2 ) 最后，由于制造误差，摄像机坐标系可能会产生偏离，即两个坐标轴 不完全垂直。在这种情况下，式修正为 “：a x a c o t o y - - + u 。 v = 盎n 詈+ v os l z ( 1 - 13 ) 博士论文计算机视觉中立体匹配技术的研究 最终得到 胪土z m p ，其中，m = 僻o ) ，k 口一a c o t o u o 0 p v 。 s i n 曰 。 oo1 ( 1 1 4 ) p = ( x ，y ，z ，1 ) 7 表示摄像机坐标系里的齐次坐标。利用矩阵m ，齐次坐 标可以表示从四维到三维的投影变换。 摄像机在世界坐标系里的位置和方向是摄像机的外参数。摄像机坐标 系c 在世界坐标系w 中的位置记为 阱f 釉o r 。， m s ， 带入( 1 1 4 ) 得到 p = 脚，其中，肘= k ( r r ) ，丘= r = 嘉月是旋转矩阵，= 。d w 是平移向量，p = ( ”xw yw z ，1 ) 7 表示向量p 在 坐标系下的齐次坐标。 这样，投影矩阵可以表达为 m = 7 一口c o t 配+ i 黑0 + v o r f s i n 口2 蠢 耐x 一口c o t 日v + u o t 2 忐”吖： f 一 ( 1 1 7 ) 其中，吒7 ，巧和誓表示r 的三行，t x ，t y 和r ：是向量t 的坐标。 1 4 人类的立体视觉过程 应该注意到，与摄像机刚性地固定在一个立体支架上不同，人的两个眼睛 可以在眼眶内转动。在每个瞬间，它们注视着空间中的一个特定点，就是说， 眼睛旋转使得对应物体兴趣点成像在视网膜中央凹的中心。视网膜是一个网面， 但从成像的角度看相当于二维空间中的一个平面，但人却能从这样一个只有高 和宽的二维空间上形成的视像得到一个三维视觉空间，即可以看出深度。这就 p 哕予 一 甜0 o 第l 章绪论博士论文 是所谓的空间知觉。人在空间视觉中借助了一些称为深度线索的外部客观条件 和自身机体内部条件来帮助判断物体的空间位置 2 【“。 ( 1 ) 非视觉性深度线索 在观看远近不同的物体时，眼睛通过调节水晶体以在视网膜上获得清晰的 图像，同时，双眼还会调节视网膜中心对准远近不同的物体，以将物体图像投 射到视网膜感受程度最高的区域。这种调节活动传递给大脑的信号提供了有关 物体距离的信息，大脑据此可以给出物体距离的一个估计； ( 2 ) 双眼深度线索 人类对空间深度的感知主要依靠双眼来实现。每只眼睛的视网膜上各自形 成一个独立的图像。它们传到大脑皮层后结合起来，产生一个具有深度感的图 像。在这个过程中，视差是感觉立体物体深度的重要条件。一般情况下，当人 观察一个立体物体的时候，由于两眼距离为6 5 m m ，所以是从不同的角度来观察 物体的。具体来说，左眼看到物体的左边多一些，右眼看到物体的右边多些， 这样，在两个视网膜上得到不同的图像，因而两眼的图像不同，物体上同一点 相应落在双眼的不同部位。这就是双眼视差，是产生立体深度知觉的原因。 蕊a v 溯酗- 露 奄濑：瓷j蛰，颦棼j豢麟箜 弋谶 酽翅 图1 3 三维立体画原理示意图 三维立体画的成像凉理就是利用双眼的立体视觉，看到一个精彩的世界。 如图1 3 ，从图中我们可以看到，重复图案的距离决定了立体影象的远近，生成 三维立体画的程序就是根据这个原理，在水平方向依据三维影象的远近生成一 系列不同距离的重复图案。当这些图案在两只眼中重合时，就看到了立体的影 8 博士论文 计算机视觉中立体匹配技术的研究 象。在本文的工作中，主要就是根据人类双眼对同一景物成像的视差原理来研 究双目视觉图像的视差生成算法； ( 3 ) 其它线索 在立体视觉中，物体本身的一些自然物理条件，也能作为深度感知的线索。 比如物体大小、形状，物体的相互遮挡，阴影，颜色，各种透视情况等等，都 可以作为提示人脑感知和分析物体深度信息的条件。 1 5m a rr 的视觉理论框架 7 0 年代中期到8 0 年代中期，m a r t 提出了第一个计算机视觉领域的理论框 架 5 】【8 1 ，即视觉计算理论，极大地推动了计算机视觉的发展，并最终形成了这一 领域的主导思想。m a r r 的视觉计算理论立足于计算机科学，系统地概括了心理 学、物理学、神经生理学、临床神经病理学等方面已经取得的所有重要成果， 是迄今为止最系统的视觉理论。计算机视觉这一学科与此理论框架有着密切的 关系。 要素图 2 5 维图 图1 - 4m a n 的视觉理论框架 m a r t 的视觉计算理论从信息处理的角度出发，认为视觉处理中存在三个不 同的层次，即计算理论的层次、表示( 数据结构) 与算法的层次、硬件实现的 层次【4 】。其中最重要的是计算理论层次，并根据w a r r i n g t o n 临床神经学的研究结 果，阐明视觉的目的是从图像中建立物体形状和位置的描述。在这一层次把视 觉过程主要规定为从二维图像信息中定量地恢复出图像所反映的场景中的三维 物体的形状和空间位置，即三维重建。在计算理论这一层次上，m a n 将三维重 建这一过程分为三个阶段，如图i - 4 所示。 前期视觉处理阶段是由输入的二维图像而获得二维图素。图素指的是图像 中灰度变化剧烈处的位置及其几何分布和组织结构。中期视觉处理阶段由二维 图素而获得2 5 维图形，2 5 维图形指的是在以观察者为中心的坐标系中，可见 表面的法向，大致的深度以及它们的不连续轮廓等。由于2 5 维图中包含了深度 的信息，因而包含的比二维更多，但还不是真正的三维表示。这一阶段是由多 9 第1 章绪论博士论文 个相对独立的视觉模块组成，又称“s h a p ef r o mx ”模型，这些模型包括由某些 图像特征( 如边缘点、轮廓线、纹理、颜色、序列图像对应特征等) 恢复物体 的三维形状等。后期处理阶段是从2 5 维图获得场景中物体的三维描述，识别出 场景中存在的物体以及确定这些物体的位置和姿态。三维描述指的是物体为中 心的坐标系中，用含有体积基元和面积基元的模块化的分层次表示，同时给出 各物体之间的空间关系描述。 m a r t 的理论比较系统地、一般地揭示了用二维图像恢复三维物体形态的可 能性和基本方法，具有划时代的意义，为计算机视觉称为门学科奠定了重要 的基础。这一框架虽然在细节上甚至在主导思想上还存在不完备的方面，许多 方面还有很多争议。但至今仍是目前计算机视觉研究的基本框架。此后，计算 机视觉理论和技术已有了很大的进步，但是大部分工作仍可以用他的理论框架 概括。 1 6 计算机立体视觉深度感知方法的研究与现状 立体视觉的开创性工作是从6 0 年代中期开始的。美国的m i t 的r o b e r t s 完 成的三维景物分析工作【9 j ，把过去的二维图像分析推广到三维景物，这标志着立 体视觉技术的诞生，并在随后的2 0 多年中迅速发展成为- - n 新兴的学科。特别 是m a n 创立的视觉计算理论对立体视觉的发展产生了巨大的影响，现已形成从 图像获取到最终的景物可视表面重建的完整体系。经过2 0 多年的研究，立体视 觉在机器人、航空测绘、军事应用、医学诊断【lo 】及工业检测中的应用越来越广 泛，研究方法从早期的以统计理论为基础的相关匹配，发展到具有很强生理学 背景的特征匹配，从串行到并行，从直接依赖于输入信号的底层处理到依赖特 征、结构、关系和知识的高层次处理，性能不断提高，其理论也正处在不断发 展与完善之中。 三维景物深度感知是计算机视觉的关键技术之一。目前，获取距离信息的 方法和技术很多，每种方法备有其适用的范围和产生的背景，且各有优缺点。 一般来说，常用的三维感知和测距技术分为主动和被动两类【l ”。前者使用专门 的光源装置提供目标物体的照明，后者则使用物体本身的自然反射光线。 f 1 1 主动测距方法 主动测距方法的基本思想是利用特定的、人为控制的辐射源( 光源、声源 1 0 博士论文 计算机视觉中立体匹配技术的研究 等) 对景物目标进行照射，根据物体表面的反射特性及光学、声学特性来获取 目标的三维信息。其特点是具有较高的测距精度、抗干扰能力和实时性。具有 代表性的方法有：检测时间差和相位差的雷达观测法，光投影法，干涉波纹法 等1 2 】； ( 2 ) 被动测距技术 被动测距技术是目前研究最多、应用最广的一种距离感知技术，它不需要 人为地设置辐射源，只利用场景在自然光照下的二维图像来重建景物的三维信 息，具有适应性强，实现手段灵活，造价低的特点。但是，这种方法是由低维 信号计算高维信号，因而解决的困难很大。对它的研究涉及视觉心理和生理学、 数学、物理学以及计算机科学等学科的内容，是计算机视觉最为活跃的领域之 一。主要有以下几种方法：s h a p ef r o mx ，光度立体视觉和立体视觉等方法。 s h a p ef r o mx 方法中的x 是指图像中包含的阴影、遮挡边界、轮廓以及纹 理等，s h a p ef r o mx 是指利用单幅图像从x 恢复形状。空间物体表面取向的逐 步变化会引起图像的灰度平滑变化，由明暗恢复形状的方法就是如何在一定的 约束条件下从平滑变化的灰度图重建表面取向的信息，从而得到物体表面的相 对距离信息。s h a p e f r o m x 方法一般常用来重建物体表面的表面方向等信息，如 果要重建距离信息，则需要增加更多的约束条件和先验知识。 光度立体视觉是将立体视觉与从阴影恢复形状的技术相结合。其基本思想 为通过不同光源产生不同的图像辐射方程来增加方程数目，以求解表面方向。 对于朗伯表面，通过三个非共面的不同视点就可以唯一确定表面取向。 立体视觉是计算机被动测距方法中最重要的距离感知技术，它模拟人类视 觉处理景物的方式，可以在多种条件下灵活地测量景物的立体信息，其作用是 其它计算机视觉方法所不能取代的。立体视觉中最关键的部分是进行多幅视觉 图像的对应点( 基元) 匹配问题，即立体视觉匹配，简称立体匹配。双目立体 匹配算法就是在两幅图象的匹配点( 基元) 之间建立对应关系的过程，它是双 目立体视觉系统的关键。实际上，任何计算机视觉系统中都包含一个作为其核 心的匹配算法，因而对于匹配算法的研究是极为重要的。 立体匹配算法中对视差测距的约束主要体现在所采用的匹配策略上。根据 匹配所采用的基元以及成像几何的不同，匹配策略在很大程度上也是不同的。 根据匹配基元的不同，立体视觉匹配算法目前分为三大类：区域匹配、特征匹 配和相位匹配。 第1 章绪论 博士论文 ( 1 ) 基于区域灰度的匹配算法 1 3 1 4 】【1 6 l 基于区域灰度的算法是利用图象处理中所称的区域相关方法，它是解决基 元对应问题的一个最直观最简单的方法。在一幅图象中以点为中心选定一区 域( 窗口) ，在另一幅图象中寻找与该区域相关系数最大的区域，把该找到的区 域的中心认为是原来那区域中心的对应点。 基于区域的算法计算量很大，而且对噪声很敏感，但可以得到整幅图象的 视差图。窗口开得过大，可能匹配的选择较多，误匹配的可能性大，不适于灰 度分布均匀的图象，较适于自然景物等的灰度分布复杂的图象。采用该方法的 关键在于排除或减轻噪音的影响。 l e v i n e s 算法【1 4 】在一维的匹配邻域内搜索互相关值最大的匹配点。k a n a d e 和 o k u t o m i d 6 根据局部灰度变化以及局部视差变化的统计分析，自适应地调整匹配 窗口的大小，有效地处理视差突变的区域。n e v a t i a - m e d i o n i 算法【1 7 】【1 8 1 以线片段 为基元，以最小差别视差( m i n i m u md i f f e r e n t i a ld i s p a r i t y ) 为基准，建立匹配过 程。该基准实际上是连续性约束的一种表现形式。p r i c e 算法【1 9 】用于在图象间建 立区域对应。该算法利用区域间的相互关系，以松驰法为基本思想实现了多层 次表示结构下的匹配过程。具有类似于某种语义网络式的启发性。z i t n i e k 和 k a n a d e 4 0 】利用视差空间的匹配值基于邻域和视线方向的迭代进行匹配过程，并 进行遮掩区域的检测。 ( 2 ) 基于特征的匹配算测2 0 1 1 2 1 】【2 3 】 鉴于灰度区域相关方法的局限性，现在大部分研究集中在这方面。在许多 环境中，图象的特征是很有规律她分布的，反映了场景的核心，数量少，处理 方便。基于特征的立体视觉匹配算法，通过建立所选基元的对应关系获取稀疏 的深度图。如果需要，再经过内插等方法可以得到整幅深度图【2 4 1 1 2 5 。这一类算 法因各自采用的匹配基元不同而相异。概括而言，该类匹配算法都是建立在匹 配基元之间的相似性度量基础上的，是以匹配基元的各项参数信息为依据的局 部特征相似程度的度量。这种度量方法与摄像机模型相结合，可以大大减小匹 配时的搜索空间。具体实现中一般采用概率度量、松驰法迭代或者聚类等模式 识别算法来实现。 m a r t p o g g i o ( f i m s o n 2 6 5 4 】算法以过零点为基元，利用连续性约束通过迭代 方式实现匹配过程。b a m a r d 算法1 2 7 使用松弛法对所有的对象进行并行处理，使 其概率的累计受到周围影响的同时渐渐达到整体的视差平衡。 博士论文 计算机视觉中立体匹配技术的研究 基于特征的匹配算法特别适用于具有显著特征信息的环境( 如室内环境) ， 具有速度快、精度高的特点，但在缺少显著主导特征自然环境下，该方法也遇 到很大困难。如果利用启发式搜索方法可以大大减小搜索空间。这部分可望 能利用如专家系统等现代人工智能研究手段，作为承上启下，建立更高层次描 述的先导。 ( 3 ) 基于相位的匹配 一些研究人员口8 【2 9 1 提出了相位匹配的方法。相位匹配算法认为像对应点的 局部相位是相等的。根据傅立叶平移定理，信号在空间域上的平移产生频率域 上等比例的相位平移。频率域相位信号分析在数学表达上更有助于区域分析。 一般地，相位匹配方法对带通滤波信号的相位信息进行处理得到像对之间的视 差1 3 0 1 。目前，相位匹配方法主要有相位相关算法【1 7 】【2 8 】【3 1 1 和相位差频率算法 1 3 2 3 3 3 4 3 5 1 。 为了降低计算的时间和空间复杂度，提高算法效率，多种算法【2 2 】【3 3 】【3 6 】【3 7 l 【3 8 】 采用多分辨率的方法( 又称金字塔方法) 。多分辨率的方法提供一种层次的表示 与算法结构，可以与基于区域、特征和相位的方法结合使用。尽管极线约束将 匹配点的搜索范围缩小在极线上，但如果图像分辨率为5 1 2 5 1 2 ，则极线长度至 少为5 1 2 ，也即说每点要分别与5 1 2 个点逐一计算相似度。多分辨的方法可以进 一步缩小搜索空间。按金字塔的形式对图像进行分层处理，每一层的分辨率都 是上一层在每一维方向上减少一倍的结果。h o f f - a h u j a 算法。以过零点为最小特 征，将特征匹配、轮廓检测以及表面内插这三个过程结合在一起，采用基于多 层表示的由粗到精的控制策略，根据对于表面的光滑性约束重构三维表面。多 分辨率的分解方法通常采用构造低通滤波器的方法 3 9 1 。寻找匹配时，由于高层 的分辨率较小，因此可以很快搜索到匹配点，上层的匹配结果可以传递到下层， 并作为下层的初始解。 对于基于不同基元的匹配算法，其相似度的测量模型基本上是通用的。而 且，各类算法中不乏一些共有的约束条件，这种引入约束的方法实际上是将有 关环境模型的知识融于算法之中。最近，在计算机视觉领域也较多地利用各种 约束条件研究遮挡问题，一些研究人员i 删探讨根据m a r r 和p o g g i o 提出的共 轭点匹配的唯一性和连续性的约束条件，采用协同匹配算法检测遮挡区域。 目前，对立体匹配算法的评价还没有一个统一的方法。一般从以下几个角 度来比较各种匹配算法：精度，定量的表示正确匹配的程度；可靠性，表示排 1 3 第1 章绪论博士论文 除总体分类误差的程度；通用性，适于不同场景的能力；复杂性，设备及计算 量等的代价。 1 7 本文的研究内容和创新点 本文咀计算机视觉中的立体视觉匹配技术为主要研究对象，研究了在立体 视