（模式识别与智能系统专业论文）基于双目立体视觉的运动目标检测与跟踪.pdf

山东大学硕士学位论文 摘要 双目立体视觉是计算机视觉研究的一个重要分支，在多种条件下能够获得 景物的深度信息，相对单目视觉有着不可比拟的优势。近年来，随着微处理器 件和集成电子技术的飞速发展，双目立体视觉技术基本上可以满足实时性的要 求，因此再次成为研究的热点。 运动目标检测与跟踪是计算机视觉研究的核心课题之一，在视频监控、军 事视觉制导、医疗诊断、智能交通等方面都有着重要的实用价值和广阔的发展 前景。针对传统的基于单目视觉的目标检测与跟踪算法鲁棒性差，难以在复杂 场景中检测与跟踪运动目标，在多个运动目标发生遮挡时难以正确的跟踪运动 目标的问题，本文在目标检测与跟踪中采用了双目立体视觉技术，取得了不错 的效果，实现了单目视觉难以实现的功能。本文主要对静态背景下的运动目标 检测与跟踪算法进行了研究，主要的研究工作有： ( 1 ) 对立体匹配算法做了深入的研究，分析了传统的立体匹配算法的优缺 点，提出了一种基于控制点约束及区域相关的立体匹配方法。该方法首先在 h a r r i s 角点检测算法检测出角点的基础上，对角点进行立体匹配得到精确的匹 配点对即控制点，然后在控制点的约束下对非角点像素进行基于区域相关的立 体匹配，得到整体稠密的视差图。这样既缩小了匹配搜索空间，提高了匹配的 速度，又保证了匹配的可靠性。 ( 2 ) 对帧差法和背景差分法做了深入的研究，分析了传统的运动目标检测 方法的优缺点，提出了基于双目立体视觉的运动目标检测方法，采用基于视差 的目标检测方法和基于灰度的目标检测方法相结合的算法，检测出前景运动目 标。其具有以下几个优点：在环境光线发生变化时能正确检测出运动目标；当 物体被照射产生阴影时能正确检测出运动目标，不受阴影的影响；当目标发生 遮挡时能准确检测出运动目标。 ( 3 ) 分析了传统的均值漂移跟踪算法的优缺点，在此基础上提出了一种结 合双目立体视觉和改进的均值漂移跟踪算法的运动目标跟踪方法，该方法在运 用双目立体视觉技术检测出运动目标，得到运动目标的深度信息，去除背景干 扰的基础上，只对去除背景的前景运动目标运用改进的均值漂移跟踪算法进行 山东大学硕士学位论文 跟踪。改进的均值漂移跟踪算法中引入了卡尔曼滤波算法，对运动目标的位置 进行预测，采用不同的比例因子将卡尔曼滤波预测结果与均值漂移算法得到的 跟踪结果进行线性组合，改进的算法有效的利用了目标的空间位置信息，提高 了跟踪的可靠性。该方法能够克服环境光线变化，阴影的干扰以及具有相似颜 色的运动目标遮挡等问题。 关键词：双目立体视觉：视差；目标检测；目标跟踪；均值漂移 i i 山东大学硕士学位论文 a b s t r a c t b i n o c u l a rs t e r e ov i s i o ni sa l li m p o r t a n tb r a n c ho fc o m p u t e rv i s i o n o n e i m p o r t a n tt a s ko fb i n o c u l a rs t e r e ov i s i o ni st og e t3 一di n f o r m a t i o no no b j e c t su n d e r v a r i o u sc o n d i t i o n s b i n o c u l a rs t e r e ov i s i o nh a su n p a r a l l e l e da d v a n t a g e sc o m p a r e dt o m o n o c u l a rv i s i o n w i t ht h ef a s td e v e l o p m e n to fc o m p u t e ra n de l e c t r o n i c st e c h n o l o g y , r e a l t i m eb i n o c u l a rs t e r e ov i s i o nb e c o m e sr e a l i s t i ca n di tc a l la l m o s ts a t i s f yt h e d e m a n do fr e a l w o r l da p p l i c a t i o n s m o v i n gt a r g e td e t e c t i o na n dt r a c k i n gi so n eo ft h em o s ti m p o r t a n ts u b j e c t si n c o m p u t e rv i s i o n ，a n di th a sb e e nb r o a d l ya p p l i e di nm i l i t a r yv i s u a lm i s s i l eg u i d a n c e ， v i d e os u r v e i l l a n c e ，m e d i c a li m a g ea n a l y s i s ，i n t e l l i g e n tt r a n s p o r t a t i o na n do t h e rf i e l d s s i n c et h et r a d i t i o n a lm e t h o di sb a s e do nm o n o c u l a rv i s i o n ，i th a sd i f f i c u l t i e si n t r a c k i n gm u l t i p l em o v i n gt a r g e t s ，e s p e c i a l l yw h e nt h eo b j e c t sa r eo c c l u d e db ye a c h o t h e r w ea d o p tt h eb i n o c u l a rs t e r e ov i s i o nm e t h o di nt a r g e td e t e c t i o na n dt r a c k i n g ， a n da c h i e v er e s u l t sw h i c hm o n o c u l a rv i s i o nc a n n o tp r o v i d e t h i st h e s i si sp r i m a r i l y f o c u s e so na l g o r i t h m so fd e t e c t i n ga n dt r a c k i n gm o v i n gt a r g e t so nas t a t i o n a r y b a c k g r o u n d t h em a j o rr e s e a r c ha r e a sa r es u m m a r i z e da sf o l l o w s ： ( 1 ) t h r o u g hr e s e a r c ho ns t e r e om a t c h i n ga l g o r i t h m s ，a n a l y z i n ga d v a n t a g e sa n d d i s a d v a n t a g e so ft h et r a d i t i o n a lm a t c h i n ga l g o r i t h m s ，w cp r o p o s ean e ws t e r e o m a t c h i n ga l g o r i t h mb a s e do nc o n t r o l p o i n t sc o n s t r a i n t sa n da r e a - c o r r e l a t i o n f i r s t ， c o m e r sa l ed e t e c t e db yt h eh a r r i s c o m e r - d e t e c t i n ga l g o r i t h m s e c o n d ，s t e r e o m a t c h i n gi su s e dt oo b t a i np r e c i s em a t c h i n gp o i n t s ，w h i c ha r et h ec o n t r o lp o i n t s f i n a l l y , t h en o n c o m e rp i x e l sa r em a t c h e db ya l la r e a c o r r e l a t i o np r o c e s sm e t h o d a n du n d e rt h ec o n s t r a i n to fc o n t r o lp o i n t s i nt h i sw a y , ad e n s ed i s p a r i t ym a pi s o b t a i n e d t h em e t h o dn o to n l yr e d u c e st h es e a r c hm a t c h i n gs p a c e sa n di m p r o v e st h e m a t c h i n gs p e e db u ta l s oe n s u r e st h ev a l i d i t yo fm a t c h i n g ( 2 ) t h r o u g hr e s e a r c ho nt h ef r a m ed i f f e r e n c em e t h o da n dt h eb a c k g r o u n d d i f f e r e n c em e t h o d ，a n da n a l y s i st h ea d v a n t a g e sa n dd i s a d v a n t a g e so ft r a d i t i o n a l m e t h o d so ft a r g e td e t e c t i o n ，w ep r o p o s ean o v e ld e t e c t i o nm e t h o db a s e do n i i i 山东大学硕士学位论文 b i n o c u l a rs t e r e ov i s i o n i td e t e c t st h ef o r e g r o u n dm o v i n gt a r g e tb yu s i n gt h e i n t e g r a t i o no fd i s p a r i t y b a s e da n a l y s i sa n di n t e n s i t y - b a s e da n a l y s i s t h i sa l g o r i t h m h a st h ef o l l o w i n ga d v a n t a g e s ：i tc a nd e t e c tt a r g e t sc o r r e c t l yu n a f f e c t e db yc h a n g i n g l i g h t i n gc o n d i t i o n s s h a d o w sd on o tc a u s ep r o b l e m si nt h ep r o p o s e da l g o r i t h m i t c a nd e t e c tt a r g e t sc o r r e c t l yw h e nt h eo b j e c t sa r eo c c l u d e db ye a c ho t h e r ( 3 ) b ya n a l y s i so ft h ea d v a n t a g e sa n dd i s a d v a n t a g e so ft h et r a d i t i o n a lm e a n - s h i f tt r a c k i n ga l g o r i t h m ，w ep r o p o s ean o v e lm e t h o d ，w h i c hc o m b i n e sb i n o c u l a r s t e r e ov i s i o nw i t ha ni m p r o v e dm e a n - s h i f tt r a c k i n ga l g o r i t h m b yd e t e c t i n gt a r g e t a n dr e m o v i n gt h ei n t e r f e r e n c eo ft h eb a c k g r o u n d ，w et r a c kt h em o v i n gt a r g e t w e i n t e g r a t et h ek a l m a nf i l t e ra l g o r i t h ma n dt r a d i t i o n a lm e a n s h i f tt r a c k i n ga l g o r i t h m ， a n da d o p td i f f e r e n ts c a l ef a c t o r st oc o m b i n et h ek a l m a nf i l t e rp r e d i c t i o nr e s u l t sw i t h m e a n s h i f tt r a c k i n gr e s u l t s t h ei m p r o v e da l g o r i t h mm a k e sg o o du s eo fs p a c e p o s i t i o no ft h et a r g e t ，s ot r a c k i n gr e l i a b i l i t yi se n h a n c e d t h em e t h o dc a nt r a c k t a r g e t sc o r r e c t l yu n a f f e c t e db yc h a n g i n gl i g h t i n gc o n d i t i o n s ，s h a d o w sa n dt a r g e t o c c l u s i o n k e yw o r d s ：b i n o c u l a rs t e r e ov i s i o n ；d i s p a r i t y ；t a r g e td e t e c t i o n ；t a r g e tt r a c k i n g ； m e a n s h i f t 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体己经发表或撰写过的科研成果。对本 文的研究做出重要贡献的个人和集体，均己在文中以明确方式标 明。本声明的法律责任由本人承担。 论文作者签名：琏日期：论文作者签名：丝率： 日期： 关于学位论文使用授权的声明 本人同意学校保留或向国家有关部门或机构送交论文的印刷件 和电子版，允许论文被查阅和借阅；本人授权山东大学可以将本学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：短垒器导师签名：槛日 期： 山东大学硕士学位论文 第一章绪论 1 , 1 课题研究的背景及意义 人类获得的外界信息8 0 以上是由视觉系统得到的，视觉是观察世界、认 识世界的主要途径。计算机视觉就是通过图像传感器得到图像或图像序列，进 而通过计算机采用图像处理、模式识别、人工智能相结合的手段分析理解这些 图像，对三维世界进行描述和解释，其目的是用计算机代替人眼及大脑对景物 环境进行感知、解释和理解。随着计算机技术的发展，计算机视觉已成为人工 智能领域最热门的课题之一，它和专家系统、自然语言理解一起成为人工智能 最活跃的三大领域。 在计算机视觉系统中，常用两台或多台摄像机从两个或多个视点去观察同 一场景，获得在不同视角下的一组图像，然后通过同一场景点在不同图像中的 视差，推断出目标物体的空间几何形状和位置，这种方法称为立体视觉【1 捌。它 是计算机视觉的一个重要分支，也是计算机视觉的核心内容【3 1 。双目立体视觉 系统采用两台摄像机同时从两个不同视点获取同一景物的多幅图像，即立体图 像对，通过测量景物在立体图像对中的视差，进而恢复景物表面的灰度、形状、 距离等信息。双目立体视觉系统直接模拟人类双眼处理景物，简单可靠，具有 重要的实用价值和广阔的应用前景。 双目立体视觉的主要应用领域有： ( 1 ) 陆地移动机器人导航系统 移动机器人利用自身的两个摄像机来获取周围景物的二维图片，通过计算 视差来恢复景物的三维信息，从而躲避障碍物，规划路径，自主导航。 ( 2 ) 国防 在国防系统中，反应迅速、判断准确是对控制系统最基本也是最重要的要 求。双目立体视觉系统可以快速准确的分析各种图像传感器获得的图片信息并 得到目标的各项参数。 ( 3 ) 生物、医学 双目立体视觉系统可以从二维图片再现三维场景，并能得到准确的三维空 山东大学硕士学位论文 间的距离参数，因此运用此方法在生物学中可以观察微生物的状态，在医学中 可以实现手术器械的精确定位。 ( 4 ) 工业 双目立体视觉系统发挥其自身优势，可进行产品外型检验、表面缺损检验 以及零件识别、装配和定位。 运动目标的检测与跟踪是计算机视觉研究的主要内容，它融合了计算机图 像处理、模式识别、人工智能及自动控制等诸多相关领域的知识，形成了一种 能从图像序列中自动检测目标，提取目标位置信息，自动跟踪目标的技术。在 视频监控、虚拟现实、军事视觉制导、机器人导航、交通监视等许多领域有着 广泛的应用。其主要应用领域有： ( 1 ) 视频监控 视频监控系统主要用于那些对安全要求敏感的场合，如停车场、银行、商 店等。这些系统应能够自动分析摄像机捕捉的图像数据，实现对场景中目标的 定位、识别和跟踪，并在此基础上分析和判断目标行为。 ( 2 ) 人机交互 在人机接口的演化过程中，最初的键盘为我们提供的是基于文本的人机接 口，而鼠标的出现则给我们带来了图形界面，若计算机能够捕获人体运动，识 别甚至理解这些运动，则人与计算机的交互会更直观、简洁。实现这一目标的 可能方式之一是使机器具有识别和理解人的姿态、动作的能力，其关键技术是 可靠准确的跟踪技术。 ( 3 ) 军事领域 在军事领域目标检测与跟踪有着广泛的应用，特别是在制导和导航两个方 面，主要包括自动驾驶飞行器、自动目标跟踪、军事机器人视觉、无人驾驶车 辆等。 ( 4 ) 交通监视 在交通系统中，目标跟踪研究也具有非常广泛的应用，主要包括交通流量 控制、车辆异常行为检测、行人行为判定等。 此外运动目标检测与跟踪技术在生物医学上也有广泛的应用，如分析心脏、 肾、微血管及细胞的运动等。 2 山东大学硕士学位论文 传统的运动目标检测与跟踪大多为基于单目视觉的方法，相对于立体视觉 而言单目视觉有其优点，但也存在很大缺陷。单目视觉的信息量小，每次只需 处理一幅图像，运算速度相对较快，但是图像在投影过程中丢失了实际场景的 三维信息，因此有着不可弥补的缺陷。在采用基于单目视觉的方法进行运动目 标检测与跟踪时，常常存在着目标遮挡以及周围场景光线的变化和阴影的干扰 等问题，如何解决这些问题一直是研究的难点。针对这些问题许多学者做了大 量研究，针对光线变化和阴影干扰等问题，提出了多高斯背景模型【4 】和阴影消 除算法【5 ，6 1 ，针对遮挡问题提出了基于目标特征匹配的算法【7 捌，多子模板匹配 的算法，但这些方法受环境因素的影响较大，在实际应用中很容易出现运动目 标检测与跟踪失败的现象。双目立体视觉技术可以求取景物的三维信息，运用 场景的三维信息检测和跟踪运动目标，可以有效的解决场景光线变化和阴影的 干扰以及遮挡等单目视觉中难以解决的问题。因此，对基于双目立体视觉的运 动目标检测与跟踪技术的研究具有重要的现实意义和应用价值。 1 2 双目立体视觉技术发展现状 所谓双目立体视觉技术【1 0 , 1 1 】是指通过对同一物体从不同角度获得的两幅图 像来恢复物体的三维信息的过程。双目立体视觉技术主要包括图像获取、摄像 机标定、特征图像匹配以及三维信息恢复等方面。它具有非常重要的科学意义 和极为广泛的应用前景，因而激发了许多科研机构及研究人员的兴趣。双目立 体视觉技术可在多种条件下灵活的获得景物的三维信息，其作用是计算机视觉 中其它方法无法代替的，目前国内外对该项技术的研究都取得了长足的进步。 目前对于双目立体视觉的研究主要集中在摄像机标定和立体匹配部分。其 中立体匹配是立体视觉最为关键的部分，其结果将直接影响着后续工作。立体 匹配就是要确定同一空间景物在不同视点下，摄像图像的像素间的一一对应关 系。当前立体匹配的研究基本上分为两个方向：从理解人眼的立体融合机制出 发，试图建立一种通过人类双眼视觉计算模型；从实际应用和要求出发，建立 实用的立体视觉系统。对于第一个研究方向，1 9 7 6 年m a r r t l 2 】建立了模拟人类 立体视觉机制的匹配算法；1 9 8 5 年g r i m s o n 1 3 l 进行了改进，随后许多学者进行 了补充和修正。对于第二个研究方向，实质上就是在匹配准则下的最佳搜索问 山东大学硕士学位论文 题，数学中的许多最优化技术都可以应用于立体匹配。随着研究的深入，不断 有新方法出现，如通过空间景物更多的结构信息来解决歧义性问题；将立体匹 配与三维重建结合等等。最近，小波理论、神经网络也被引入立体匹配研究领 域。 由于立体匹配涉及的问题太多，至今未能得到很好的解决。特别是在复杂 的场景中，如何提高算法的去歧义匹配和抗干扰能力，降低实现的复杂程度和 计算量，都需进行更深入的研究和探索。 1 3 双目立体视觉的基本原理 获取场景中各点相对于摄像机的距离是立体视觉的重要任务。场景中各点 相对于摄像机的距离可以用深度图来表示，即深度图中的每一个像素值表示场 景中某一点与摄像机之间的距离。 双目立体视觉的几何关系如图1 1 所示【14 1 。连接光心c 和c 。的线称之为基 线，两个摄像机观察到的任何场景点x 和其相应的来自光心c 和c 的两条射线 定义了一个外极面。该面与图像平面相交于外极线，。当场景点x 在空间 中移动时，所有的外极线穿过极点e ，e ，极点是基线与各自的图像平面的交 点。我们把场景中同一点x 在两个不同图像中的投影点u 和u 称为共轭对。两 幅图像重叠时的共轭对之间的位置之差称为视差。射线c x 表示对于左图像来 说点x 所有可能位置，它在右图像中的投影是极线，。对应于左图像投影点u 的 右图像点u 。一定落在右图像的极线，。，这就是极线约束。 y 4 c 左图像右图像 图1 1 立体图像中的极线几何 山东大学硕士学位论文 通常使用一种称为规范的立体摄像机的特殊布置方式，基线与水平轴重合， 摄像机的光轴以及极线是平行的，即平行双目立体视觉，如图1 2 所裂15 1 。 。 y ，7 图1 2 平行双目立体视觉三维测量模型 假设选用两个型号相同的摄像机，并使两个摄像机的光轴互相平行，x 轴 重合，由于光轴与图像平面垂直，所以两个摄像机的y 轴平行。即将第一个摄 像机沿其x 轴平移一段距离后与第二个摄像机重合，这时两个摄像机坐标系只 差x 轴方向上的一个平移，将平移距离记为b 。假设两个摄像机的内部参数相 等，并且c l 、c 2 坐标系分别为o i x i y l z l 和0 2 x 2 y 2 2 2 ，则空间点p ( x ，y ，z ) 在c l 坐 标系下的坐标为( 五，y 。，z 1 ) ，在c 2 坐标系下的坐标为( _ - b ，乃，z 1 ) ，由投影比例 关系可得： 甜。一= 六丑，v l 一= 丛 z lz l 旷铲六军，屹一v o = 乃等 其中、v o 、六、乃为摄像机的内部参数，( ，h ) 、( “：，心) 为尸点的图像 坐标，由以上四式可得： ，一6 ( “l u o ) 而2 、_ 。 甜l 一1 2 2 胪篱剖 z j - 旦 “l u 2 、， l 0 ) ) ， q 0 山东大学硕士学位论文 其中一”，是空间点p 在两个坐标系下的视差。可见通过p 点的图像坐标 可以求出它的三维世界坐标，因此可以运用双目立体视觉技术得到场景中景物 的三维信息，尤其是深度信息。当然在实际情况中，很难保证两个摄像机参数 相同且拍摄图像时相互平行，但通过对图片的校正，就可以满足上面的假设条 件。本文研究立体视觉用到的图片都是经过极线校正的。 1 4 课题的主要研究内容和章节安排 1 4 1 课题的主要研究内容 本课题利用双目立体视觉技术，对立体匹配算法和基于双目立体视觉的运 动目标检测和跟踪算法进行了研究。主要内容如下： ( 1 ) 对立体匹配算法做了深入的研究，分析了传统的立体匹配算法的优缺 点，在此基础上提出了一种基于控制点约束及区域相关的立体匹配方法。 ( 2 ) 运用双目立体视觉技术对运动目标进行检测，提出了一种结合基于视 差与基于灰度的目标检测方法来获取运动目标。 ( 3 ) 在运用双目立体视觉技术检测出运动目标，得到目标的深度信息，去 除背景干扰的基础上，对去除背景的前景运动目标运用改进的均值漂移跟踪算 法进行跟踪。 1 4 2 论文的章节安捧 论文主要由五章组成，各章的内容及组织结构如下： 第一章是绪论。主要介绍了课题研究的背景及意义，双目立体视觉技术发 展的现状，双目立体视觉的基本原理，课题的主要研究内容。 第二章是双目立体匹配算法研究。首先介绍了立体匹配的过程，又介绍了 区域相关匹配算法和特征点匹配算法，最后在指出两种常用的匹配算法优点及 不足的基础上，详细介绍了本文提出的一种基于控制点约束及区域相关的立体 匹配方法，并给出了实验结果。 第三章是基于双目立体视觉的运动目标检测。首先介绍了几种基于单目视 觉的运动目标检测算法，然后介绍了运用双目立体视觉技术进行运动目标检测 的原理，最后在此基础上提出了一种准确的运动目标检测方法：基于视差的目 6 山东大学硕士学位论文 标检测与基于灰度的目标检测相结合的算法，并给出了运动目标检测结果。 第四章是基于双目立体视觉的运动目标跟踪。首先介绍分析了均值漂移跟 踪算法的原理及优缺点，然后介绍了双目立体视觉技术在目标跟踪中应用的原 理，并对传统的均值漂移跟踪算法进行了改进，最后提出了一种较准确的运动 目标跟踪方法：结合双目立体视觉及改进的均值漂移跟踪算法，并给出了跟踪 结果。 第五章是总结与展望。总结了全文的研究工作，对该课题的进一步完善和 研究进行了探讨。 在本文各章中，第二章双目立体匹配算法研究是基础，通过立体匹配，计 算视差，从而得到景物的深度信息。第三章基于双目立体视觉的运动目标检测 与第四章基于双目立体视觉的运动目标跟踪都是在立体匹配得到视差图的基础 上进行的相关算法研究。同时第三章又是第四章的基础，运动目标能否正确检 测直接影响着运动目标能否被正确跟踪。 7 山东大学硕士学位论文 第二章双目立体匹配算法研究 2 1 引言 立体匹配是计算机立体视觉系统的重要组成部分，也是最为关键和困难的 一步，由于立体匹配算法比较复杂，计算量大，因此它一直是立体视觉研究的 重点和难点【1 6 】。所谓双目立体匹配是指从两个不同视角所拍摄的同一场景的图 像对中，寻找出场景中同一点在两幅不同图像中的共轭点对，求出对应点的视 差值生成深度图。所谓深度图就是把共轭点对的视差量化成灰度值所形成的灰 度图。由于视差的大小描述了场景点远近，所以深度图中的不同灰度值代表不 同的距离，这样就对场景点的远近有了更直观的感受。在拍摄场景图像的过程 中，由于拍摄时间、拍摄角度、自然环境的变化，使拍摄的图像不仅受噪声的 影响，而且存在严重的灰度失真和几何畸变，因此立体匹配是典型的视觉病态 问题。其存在的主要问题是：对存在特殊结构的景物，如平坦、缺乏纹理等部 分容易产生假匹配；对方向平行于外极线的特征匹配会出现歧义；在基线距离 长的双目立体视觉系统中，由于遮挡以及公共视区太小，会产生失配。因而立 体匹配算法如何满足匹配精度高、匹配速度快等要求，成为人们研究的主要目 标。近几十年来，各种立体匹配算法相继出现，但目前还没有一种能够适应于 各种情况的鲁棒的立体匹配方法。因此本章的研究重点放在如何提高双目立体 匹配的速度和准确度上。 2 2 立体匹配过程 立体匹配的过程大体可以分为三步：确定匹配基元，选择相似性测度，选 择匹配搜索策略。 2 2 1 确定匹配基元 在设计匹配算法时，首先必须选择合适的匹配基元，不同匹配基元的选择 具有各自的理论基础【1 7 】。选择匹配基元时要考虑基元的稳定性和敏感性。由于 图像对中不可避免的出现光度学和几何学的畸变，为使在这种情况下，仍能可 靠的检测所需的位置标志，所选用的匹配基元应能经受上述两方面的畸变，即 8 山东大学硕士学位论文 应有较高的稳定性。同时，为了减少出现不正确匹配的可能性，所选的匹配基 元应能灵敏的反映两个匹配基元之间的差别，即应有较高的敏感性。在选择匹 配基元时还应考虑便于检测、能准确定位和允许在较大视差范围内进行匹配等 因素。 根据匹配基元的不同，目前的立体匹配算法基本上可分为三类：基于区域 相关的匹配【1 8 2 2 1 、基于特征的匹配e 2 3 - 2 5 l 、基于相位的匹配【2 6 2 7 1 。 ( 1 ) 区域相关匹配 基于区域相关的匹配算法一般要逐点计算视差，但仅凭单个像素的灰度值 无法直接获取图像的结构信息，不能得到可信的同名点。一般的做法是利用邻 近区域的像素灰度值的分布来表征该像素。这些邻近点所构成的区域就是作为 匹配基元的灰度值窗口区域。其一般过程是在立体图像对的左图以待匹配的点 为中心构造一个窗口，在右图像中按照某种准则来搜索对应的窗口，最终确定 的对应窗口的中心点就作为待匹配点的对应点。所以在立体匹配中立体图像对 的左图叫目标区，右图叫搜索区。 ( 2 ) 特征匹配 特征匹配的基本思想是选择能够表示景物自身特性的特征，通过更多的强 调空间景物的结构信息来解决匹配的歧义性问题，在立体图像对中提取这些特 征，并对选取的特征在图像对之间进行匹配。基于特征的匹配将匹配的搜索范 围限制在一系列稀疏的特征上，通过对特征属性的比较实现匹配。作为匹配基 元的特征分为局部特征和全局特征两大类，局部特征常见的有点、兴趣点、局 部能量、边缘、线段等，全局特征包括多边形和图像结构等。基于特征的匹配 一般含有特征提取和定位、特征描述、特征匹配三个步骤。面向局部特征提取 的算子很多，而全局特征的定义和提取跟具体应用有关，所以一般根据实际情 况而设计相应的算法。 ( 3 ) 相位匹配 相位匹配基于这样一种假设，认为立体图像对中对应点的局部相位是相等 的。根据傅里叶平移定理，信号在空间域上平移，产生频率域上成比例的相位 平移。相位匹配方法恢复视差精度高，而且视差场密集，对各种噪声干扰鲁棒 性好，目前常用的相位匹配方法有相位差频率法和相位相关法1 2 9 , a o 。 9 山东大学硕士学位论文 2 2 2 相似性测度 在立体匹配中如何判断匹配的好坏，即选取恰当的相似性测度是至关重要 的。根据所选基元的不同，相似性测度的具体形式将有所不同，但对于大多数 立体匹配算法而言，相似性测度可归纳为一种求解匹配代价函数的形式。常用 的有相关测度、距离测度和概率测度。其中距离测度应用比较广泛，最常用的 形式有绝对误差距离和平方误差距离，在此简单介绍一下相关测度和距离测度。 ( 1 ) 相关测度 在此度量准则下，相关度最大处确定为匹配位置。匹配是在对准图的位置 集合中进行搜索，可以看作是对大量像素点对的相似性测度进行统计度量的过 程，由于误差源的性质是随机的，当相关系数最大时，其实质是搜索“信噪比 最大 的像素序列，因此归一化互相关方法普遍的应用于匹配度量。 ( 2 ) 距离测度 在此度量准则下，距离度量值最小处确定为匹配位置。距离测度最常用形 式有绝对误差距离和平方误差距离。在计算距离测度支撑范围时，可以是当前 的像素，也可以是具有一定大小和形状的窗口。在一定条件下最小平方距离分 类器就是最小误识概率b a y e s 分类器。 2 2 3 匹配搜索策略 在匹配过程中，由于受到光照等外部因素的影响导致图像畸变，使得匹配 结果陷入局部最优。为避免这一情况出现，在匹配算法中通常引入匹配搜索策 略。搜索策略是指用合适的搜索方法在搜索空间中找出平移、旋转等变换参数 的最优估计，使得图像之间经过变换后的相似性最大。最常用的有两种搜索策 略：全局最优搜索策略和分层搜索策略。全局最优搜索策略常用方法有动态规 划法【3 1 1 、松弛法【3 2 】、图形切割、法【3 3 1 等。 2 3 立体匹配算法 2 3 1 区域相关匹配算法 区域相关匹配算法是一种经典的立体匹配算法，它可以得到稠密的视差 图。要匹配的元素是固定尺寸的图像窗口，相似性准则是两幅图像中窗口间的 1 0 山东大学硕士学位论文 相关性度量。当搜索区域中的像素使相似性准则最大化时，则认为元素是匹配 的。匹配用的相似性测度有s a d 、s s d 、z n c c 、n c c 等。对于已经进行外极 线校正的立体图像对，可以认为匹配的对应点在图像的同一行上。现以z n c c 3 4 】 为例介绍该匹配算法。 1 七d 一 “ 相关窗口 搜弋围 孵一 m 2肌l r乍2 川 h 刊 一 上一i 1 2 七+ 1 一一d 7 i 一 + d i v 图2 1z n c c 匹配算法示意图 如图2 1 所示，在第f 条扫描线上，图像对的左图有特征点m 。( f ，j ) ，要在 右图中寻找对应点m 2 ，使用面积为a = ( 2 k + 1 ) ( 2 l + 1 ) 的相关窗口，窗口中心 位于特征点m 处，在右图中沿肌。的同一水平扫描线，在一定视差范围( 一d ，+ d ) 内，搜索特征点坍：。m 与m ：相似的程度用它们邻域像素的归一化协方差系数 来衡量。如果用，。( f ，) ，1 2 ( f ，) 表示图像对中( f ，) 特征点处的灰度值，d 表示 的是视差， 而，而表示聊，所：所在邻域的灰度平均值，则聊。，m ： 的归一化协方差c ( 聊。，肌：) 定义为： c ( m l ，7 2 ) = k1 e t z 。( ，竹+ f ，力+ - ，) 一而】 ，：( _ ，z + f ，甩+ j f + d ) 一万天z 而 k f l i 1 【，。( 朋+ i ，z 十_ ) 一而】2 ) i e t i ：( 脚+ f ，甩+ + d ) 一z x 丽 2 i ( 2 1 ) c 越大说明左右图像对应点的相似性越大。该方法虽然可以得到稠密的视 差图，但耗时较多，而且在成像过程中，由于噪声及遮挡等原因，导致一幅图 山东大学硕士学位论文 像中的某一点在另一幅图像中有几个候选匹配点或者无匹配点。为了使匹配结 果更加准确，通常引入m a r r 立体视觉理论中的约束条件【2 1 。常用的有： ( 1 ) 唯一性约束：即在绝大多数情况下，第一幅图像的一个像素只能对应 第二幅图像中的一个像素。 ( 2 ) 连续性约束：物体表面一般都是光滑的，因此物体表面上的点在图像 上的投影也是连续的，它们的视差也是连续的。但在物体边界处，连续性约束 不能成立。 ( 3 ) 顺序一致性约束：这是说对于相似深度的表面，对应的特征点一般以 相同的次序落在极线上，即实际场景点在图像对左图中出现的排列顺序应与其 在图像对右图中出现的顺序一致。 ( 4 ) 外极线约束：根据外极线的原理，两幅图像的匹配点位于同一条共轭 极线上，在这种约束下可以把匹配限定在一定的小区域。 此外，为了减少计算量，加快匹配速度，可以从立体图像对大致观察整个 图像对的视差范围，因此可以预先设定视差范围( 一d ，+ d ) ，对于左图像中点 m 。( f ，) ，可以在右图中同一扫描线上设定的视差范围内搜索其匹配点，这样就 避免了搜索整个扫描线，提高了效率。这种约束对于不同测度函数的区域匹配 都是适用的。 2 3 2 特征点匹配算法 特征点匹配是计算机视觉和模式识别领域中一个基本而重要的问题，有着 广阔的应用背景，如图像配准、物体识别、运动目标检测与跟踪等。一般情况 下，对于图像中包含有大量非规则形状和高度突变的场景，由于提取线段、区 域等特征既困难又会引入误差，因此适合提取点状特征。特征点一般包括边缘 点、角点、拐点等。基于特征点匹配算法，只需要对立体图像对的某些像素进 行匹配，求出视差。此方法运行速度快，可以独立于硬件，因此很多应用于实 际的纯软件的立体视觉系统都是基于特征点的。 现以角点匹配为例简单介绍一下特征点匹配算法。角点是两条边界以一定 的角度相交的地方、边界方向发生巨变的地方以及图像灰度梯度变化较大的地 方的点。角点匹配首先在立体图像对的左右两幅图像中检测角点，在角点检测 1 2 山东大学硕士学位论文 完成以后进行标记然后进行角点匹配，匹配时先在立体图像对的左图中找到待 匹配的角点，在外极线等约束条件下，在定视差范围内寻找匹配点，从而生 成匹配点对。具体算法实现步骤在下一节中详细介绍。 2 4 一种基于控制点约束及区域相关的新的立体匹配算法 立体匹配算法中最常用的是基于区域相关的匹配算法和基于特征的匹配算 法。基于区域相关的匹配算法主要假设左右图像对应点邻域内的灰度具有相关 性，这种方法的特点是简单易于实现，并且能够得到稠密的视差图，但是精确 度不高，而且运算量大，称之为稠密匹配。基于特征的匹配算法只是对图像中 的特征进行匹配，这种方法的特点是匹配准确，运算速度快，但是仅能获得稀 疏的视差图，难以得到高密度的视差图，称之为稀疏匹配。 本文提出一种基于控制点约束及区域相关的立体匹配算法，综合了以上两 种方法的优点，以期得到稠密精确的视差图且满足实时性的要求。 2 4 1 算法原理及实现 立体匹配之所以成为难点的原因是寻找对应点时可能存在多个候选点，怎 样缩小匹配搜索空间和怎样减少候选点就成为立体匹配首先要解决的问题，本 算法的出发点也正在于此。即在比较准确的角点稀疏匹配视差图的约束下，将 非角点的匹配搜索空间大大缩小，从而减少计算量，且也能减少误匹配。 本文的算法主要有以下三个步骤组成g ( 1 ) 角点提取：利用h a r r i s 角点检测算法【3 5 1 在左右两幅立体图像对上检测 角点，并对检测出的角点进行标记。 ( 2 ) 角点匹配：确定两个角点之间的位置匹配，把比较准确的匹配点对称 之为控制点。 ( 3 ) 非角点的匹配：在角点匹配得到控制点的基础上，对于其它大量的非 角点，采用基于区域灰度相关匹配算法进行匹配。 2 4 2 角点检测 角点是图像的重要特征。至今为止，在机器视觉和图像处理领域对角点还 没有统一的定义，常见的数学描述主要有：一阶导数的局部最大值对应的像素 山东大学硕士学位论文 点；两条及两条以上边缘的交点；物体边缘变化不连续的方向；一阶导数最大， 二阶导数为零的点；梯度值和梯度方向的变化速率都很高的点等。总之，角点 是和其周围的邻点有着明显差异的点，它指示了图像在二维空间内灰度变化剧 烈的位置。 目前角点检测方法主要分为两类：一类是基于边缘的角点检测，另一类是 基于亮度变化的角点检测。 基于边缘的角点检测首先提取图像的边缘特征，然后对边缘进行分析，来 提取角点。进行边缘分析时，有基于边界链码的方法，利用链码处像素坐标估 计最大曲率值来寻找角点【3 6 1 或者使用多边形近似边界链，再把两边的交点作为 角剖3 7 】；也有基于边界曲率的角点检测方法【3 8 3 9 1 ，这种方法通过计算边缘某点 处局部极值，再通过阈值技术来进行角点检测。基于图像边界信息的角点检测 算法需要一定的预处理过程，容易引入误差，复杂性高。 基于亮度变化的角点检测又分成两种：基于模板的角点检测和基于几何特 征的角点检测。基于模板的角点检测，一般首先建立一列具有不同角度的角点 模板，然后在一定的窗口内比较待测图像与标准模板间的类似程度，以此来检 测图像中的角点。由于角点结构的复杂性，模板不能覆盖所有方向的角点，这 一类角点检测方法计算量大且比较复杂而且不容易检测出所有角点。 基于几何特征的角点检测算法为自相关角点检测算法，其特点是不依赖于 目标的其它局部特征，而利用角点本身的特征直接提取角点，精度高、稳定性 好、对噪声具有鲁棒性且计算迅速，常用的有h a r r i s 算法阅和s u s a n 算、法【4 0 1 。 本文采用h a r r i s 角点检测算法，该算法是c h a r r i s 和m s t e p h e n s 在1 9 8 8 年提出的【3 5 1 ，它是一种基于信号处理中自相关函数的点特征提取算子。给出与 自相关函数相联系的矩阵m ，m 矩阵的特征值是自相关函数的一阶曲率，如 果两个曲率值都高，那么就认为该点是角点。算法的具体步骤如下： ( 1 ) 对于灰度图像中的每一个点，计算其水平方向和竖直方向的一阶导数 ( 梯度) 以及其乘积，得到三幅新图像： f x = ，o ( 一l ，o ，1 ) = a l l o x y = io ( - 1 ，0 ，1 ) 7 = 0 1 1 0 3 ,( 2 2 ) lz = x y = ( o i o x ) ( o i 砂) 1 4 山东大学硕士学位论文 其中，表示灰度图像，x ，y 是一阶灰度梯度， 表示卷积。 ( 2 ) 为了提高抗噪能力，对图像进行高斯滤波，选用高斯窗口 w 附= e x p 一( “2 + ，2 ) ( 2 盯2 ) ，并计算自相关矩阵m ，公式如下： la = x 2ow 曰= y 2 固w ( 2 3 ) 【c = z 。w m = 绸 、 亿4 ， ( 3 ) 为了避免求解m 矩