（检测技术与自动化装置专业论文）基于小波相位基元的机器人双目视觉深度信息获取研究.pdf

山东科技夫学硕上学位论文摘要 摘要 机器人取目视觉是机器人技术研究中最为活跃的一个分支，是智能机器人的一个重 要特征，深度信息的获取是其研究的重要目的之一，又是重建三维环境信息的关键步骤。 对机器人双目视觉的进一步研究，为解决智能移动机器人导航、工业装配机器人等的定 位相关问题奠定了良好的技术基础。 完整的机器人双目视觉算法可分为六个主要部分：图像获取、摄像机定标、特征提 取、图像匹配、深度计算及深度信息内插。摄像机定标和图像匹配是其中比较活跃的方 向。本论文主要是对深度信息获取的关键环节一图像匹配进行了深入的研究。双目视觉 图像匹配是寻找同一目标点在立体像对中的成像位置，文中对平行双目视觉原理进行了 详细的介绍，给出了图像匹配的数学模型，进而讨论了匹配基元的选取、匹配准则的确 定、匹配的约束准则和匹配算法结构，即图像匹配的四个重要问题。在本文图像匹配算 法中，我们选取二元树复小波作为匹配基元。这是因为它有良好的平移不变性、方向选 择性、完全重建特性、高效的计算效率以及小波所共有的良好的局部特性。很多研究人 员也在利用复小波做图像匹配方面做了很多工作，但传统上都是只利用复小波某一个方 向的相位基元，本文结合二元树复小波的良好的方向选择性，充分利用了其六个方向的 相位基元，充分保留了图像的纹理信息。结合二元树复小波的金字塔结构，文中采用了 基于金字塔结构的松弛算法。 关键词：双日视觉，图像匹配，二元树复小波，深度信息 生蔓型塾墨兰堡兰：兰垡笙苎。塑里 a b s t r a c t r o b o tb i n o c u l a rv i s i o n ，a sam o s ta c t i r eb r a n c hi nr o b o tt e c h n o l o g yr e s e a r c h ， isa ni m p o r t a n tf e a t u r eo fi n t e l l i g e n tr o b o t s d e p t hi n f o r m a t i o na c q u is i t i o nis n o to n l yo n eo fi t si m p o r t a n tr e s e a r c hp u r p o s e ，b u ta l s oak e ys t e pt or e c o n s t r u c t 3 - de n v i r o n m e n t c o n s e q u e n t l y ，f u r t h e rr e s e a r c ho nr o b o tb i n o e u a rv is i o n p r o v i d e sn e c e s s a r yt e c h n o l o g i c a ls u p p o r t f o rs o l v i n gp r o b l e m ss u c ha st h e n a v i g a t i o no fi n t e l l i g e n tr o b o t s ，t h eo r i e n t a t i o no fj n d u s t r i a lr o b o t s ac e m p e t ea l g o r i t h mo fr o b o tb i n o c u l a rv is i o nc o n t a i n ss i xm a i np a r t s ：i m a g e a c q u is i t i o n ，c a m e r ac a l i b r a t i o n ，f e a t u r ee x t r a c t i o n ，i m a g em a t c h i n g ，d e p t h c a l c u l a t i o na n dd e p t hi n f o r m a t i o ni n t e r p o l a t i o n ，a m o n gw h i c hc a m e r ac a li b r a t i o n a n dp i c t u r em a t c h i n ga r ew i d e l ys t u d i e d t h i sd i s s e r t a t i o nm a i n l ym a k e sf u r t h e r e x p l o r a t i o no nt h ek e ys t e po fd e p t hi n f o r m a t i o na c q u is i t i o n - - i m a g em a t c h in g b i n o c u l a rv is j o ni m a g em a t c h i n gi st of i n di m a g i n gl c o a t i o n so ft h et i ep o i n t i ns t e r e oi m a g ep a i r s t h ed is s e r t a t i o ni n t r o d u c e sp a r a l l e lb i n o c u l a rv i s i o i l t h e o r yi nd e t a i l sa n dp r o v i d e st h e m a t h e m a t i cm o d e lo fi m a g em a t c h i n g a n df u r t h e r m o r e ，i td i s c u s s e sf o u ri m p o r t a n tf a c t o r so fi m a g em a t c h i n g ：t h es e l e c t i v i t yo f m a t c h i n gp r i m i t i v e s ，t h e c o n f i r m a t i o no f m a t c h i n gp r i n c i p l e s ，m a t c h in g c o n s t r a i n ta n dt h es t r u c t u r eo fm a t c h i n ga l g o r i t h m i nt h i sd i s s e r t a tio q ，w e c h o o s ed u a l t r e ec o m p l e xw a v e l e ta st h em a t c h i n gp r i m i t i v ew i t ht h er e a s o nt h a t i th a sg o o ds h i f ti n d e p e n d e n c e ，d i r e c t i o n a ls e l e c t i v i t y ，c o m p l e t er e c o n s t r u c t i o n h i g hc o m p u t i n ge f f i c i e n c ya n de x c e l l e n tl o c a lc h a r a c t e r is t i c so w n e db yw a v e l e t l a n yr e s e a r c h e r sh a v ed o n ea 】o to fw o r ko nc o m p le xw a v e l e ti ni m a g em a t c h in g b u tt r a d i t i o n a yt h e yo n l ym a k eu s eo f o n e d i r e c t i o np r i m i t iv ei nt h isp a p e r s ix d i r e e l io np h a s ep r i m i t i v e sa r eu s e dt oa b t a i nm e r et e x t u r ei n f o r m a 5 i o b c o m b i n e dw i t hp y r a m i ds t r u c t u r eo fd u a l t r e ee o m p e xw a v e l e t ，t h ed is s e r t a t i o n a d o p lsr e l a x a t i o na l g o r i t h m k e y w o r d s ：b i n o c u a rv js i o n ，1 m a g em a t c h i n g b u m 一1f e ec o m p e xw u v e e t ，d e p t h 声明 本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和世所 t 公认的文献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交 j ：其他任何学术机关作鉴定。 硕l j 生签 广1 a f f i r m a t i o n id e c l a r et h a t t h i sd i s s e r t a t i o n s u b m i t t e di nf u l f i 】1 m e n t0 ft h e r e q u ir e m e n l ，sf o r t h ea w a r do f m a s t e ro fp h i l o s o p h yi ns h a n d o n gu n i v e r s i t y ( ) _ fs c i e n c ea n dt e c h n o l o g y i sw h o l l ym yo w nw o r ku n le s sr e f e r e n c e do f “c k , l o w le d g e f h ed o c u m e n th a sn o tb e e ns u b m i t t e df o rq u a i f i e a t i o na t a n yo t h e ra c a d e m i ci n s t i t u t e s i g n a t u d a t e ： j 肯沦 11 引言 1 绪论 对丁二人类而言，8 0 的信息来源于视觉，可以说视觉是人类获取信息强有力且最有 效的手段之一。人类主要依靠视觉来了解周围的环境。依靠视觉，人类可以感觉物体的 形状、颜色和纹理信息，更进一步，还可以获耿物体与自己的空间位置和空间关系的信 息，利用这些信息，人类就可以与周围的环境进行有效的互动。 机器人是具有思维、感知和行动功能的机器。随着第一代示教再现型机器人和第二 代感知型机器人技术的不断成熟和完善，第三代智能机器人的研究已逐渐成为机器人技 术的主要发展方向。智能移动机器人需要多种传感器的支持，如视觉、接近觉传感器、 位置角度传感器、速度角速度传感器等。其中，视觉传感器是机器人获取外界信息总量 最大的，它能为机器人自主避障、道路跟踪、障碍物检测、目标检测与识别、导航与路 径规划等智能决策提供大量可靠的信息，进一步增加其感知范围和功能。 最近2 0 年来，信号处理技术和机器人技术都得到了长足的发展，人们对用摄像机模 拟人的眼睛获取周围景物信息进行了广泛的研究，利用机器人的大脑( 计算机) 实现对获 取的视觉信息进行处理，从而形成了一门新兴的学科，即机器人视觉。机器人视觉可以 理解为给出具体应用背景的计算机视觉。 在对视觉信息进行处理的过程中，机器人可以获取大量的信息，如周围环境中物体 的形状、姿态、运动、深度等信息，其中深度信息的获取是本文主要研究的内容，即从 二维的图像信息中获取周围环境的三维信息。这方面的研究同时也是机器人视觉中发展 最为迅速的领域，它可以为基于深度识剐任务的机器人技术研究提供大量的可靠而又十 分有效的信息。为了获取深度信息，目前具有代表性的主要方法有：立体视觉计算深度、 运动中计算深度、飞行时间法、结构光法等。在机器人视觉中，为了获取机器人周围环 境的深度信息，主要采取的方法是立体视觉计算深度、运动中计算深度和飞行时间法。 本论文所采取的方法就是立体视觉法，也称为双目视觉法。 双目立体视觉是一种被动三角测量方法，用两台性能相同、位置固定的c c d 摄像机， 沿基线放置，其光轴相互平行，通过专用图像采集卡与计算机连接，获取同一景物的两 幅图像然后匹配两幅图像中的同名点进而计算出相应的视差( d js p e a r jt y j ，以此来确定 场景的深度信息。 一套完整的双目立体视觉算法可分为六个主要部分：图像获取、摄像 “东越技，、学硕j 学位论文绪论 村l 定标、特征提取、图像匹配、深度计算及深度信息内插。目前，在机器人立体视觉中 摄像机定标、图像匹配是最为活跃的两个研究分支，原因是这两部分关系到机器人深度 能翟、获取的准确性和精度。其中图像匹配是视差计算的关键步骤，也是双目立体视觉中 最闭难的部分。 本文中对图像匹配算法进行了广泛丽深入的研究。 1 2 n 度信息获取方法概述 根据测量过程中所采用的照明方式不同，深度信息获取方法主要可分为以f 两大类： 主动式方法和被动式方法，其中主动式方法包括主要可以分为结构光法和飞行时问法。 被动式方法中主要是双目视觉法，该方法模仿人眼，设置完全相同的两台摄像机，对两 台摄像机进行定标和校准，依据视差进行测距。结构光法只适合于较小的物体，飞行时 间法利用激光等进行测量，需要逐点测量，速度慢成本商。丽双目视觉法可以克服上述 缺点，但获取视差是其难点，而图像匹配又是获取视差的关键。 1 3 双目视觉图像匹配概述 双目视觉的开创性工作是从6 0 年代中期开始的。美国m i t 的r o b e r t 完成的三维景物 分析工作，把过去的二维图像分析推广到了三维景物，这标志着双目视觉技术的诞生， 并在随后的2 0 年中迅速发展成- - i 1 新的学科。 经过2 0 多年的研究，双目视觉在机器人视觉、航空测绘、军事应用、医学诊断及工 业给测中的应用越来越广。7 0 年代末，m a r t 1 】创立的视觉计算理论对双目视觉的发展产生 了巨大影响，特别是作为其理论重要组成部分的立体图像匹配三大约束( 唯一性、相容性 和连续性) 、零交叉匹配基元以及多通道协同处理方式对双目视觉的发展起了巨大的推动 作用。m a r l - 4 j 基于其理论建立了模拟人类双目视觉机翩的匹配算法，该算法的核心就是 采用v 2 g 零交叉作为匹配基元，随后g r i m s o n 在计算机上实现【5 1 并在1 9 8 5 年对m a r r 的匹 配算法进行了改进【6 1 。( n 是m a y h e w 等【8 发现单纯的零交叉匹配基元并不能对某些特殊结 构的景物进行正确的解释，为此，这些研究人员以视觉生理学的观点对m a r r 的图像匹配 算法进行了补充修f ，将v2 g 的卷积峰也作为双目视觉盼匹配基元，并提出了形状连续 性约束，在一定程度上解决t m a r r 理论的问题。 2 j e n k i n 等【9 1 证明了v ! g 零交叉加卷积峰同样不能f 确解释所有的景物形式，很多研究 人员也试图寻找更符合人类视觉生理的匹配基元。 d r e s c h l e r f t l n a g e l 等提出了基于高斯( g a u s s i a n ) 曲率原则的检测方法。s m i t h 提出了著 名的s u s a n 角点检测算予，该方法对像素周围区域最小化，用统计特性来决定该像素的 属性，即角点、边上的点还是圆上的点。k i t c h e n f 1 r o s e n f e l d 提出的角点检测器利用了灰 度沿边界轮廓梯度方向变化最大的性质。n o b e i 试图用微分几何给出角点检测的理论公 式，并归纳了在p l e s s e y 算法下的检测原则。1 9 8 8 年h a r r i s ：$ s t e p h e n s 27 x c j p l e s s e y 角点进行 了改进，提出了h a r r i s 算子。h a r r i s 角点检测方法的角点一般集中在某一区域，因此有必 要用一种全局相对均匀分布的特征点检测方法。再有，特征点的定位要能达到亚像素级 的精确度。h a r r i s 角点对噪声比较敏感，噪声鲁棒性蓑，而且不能很好地达到亚像素级的 精度。 和上面所说的特征匹配相比，区域匹配的一个很重要的优点就是可以达到致密的视 差，但模板窗口大小的选择是个困难的问题，窗口太d , n 视差图的生成容易受噪声干扰， 如果尺寸+ 过大则视差图容易模糊，精度不商。为解决这个问题，k a n a d e 等 2 0 1 提出了自适 应窗口选择算法，充分考虑图像灰度变化和视差变化信息，决定最优窗口尺寸的选择。 虽然如此，由于视差的计算仅由局部信息取得，容易受噪声干扰，为提高算法的精度， 有人提出利用全局灰度信息进行匹配处理，即图像点的视差信息不仅由局部灰度信息决 定，而且受邻域的视差信息影响。z i m i c k 等f 2 l 】根据这一原理作了进一步的研究和完善。 尽管很多研究人员对区域匹配图像匹配进行了大量的研究，该种匹配方法还是对于图像 的旋转、光强和对比度的变化非常敏感，而且计算量很大，复杂性很高。 早在7 0 年代，r o b o s o n f 2 卅就从生理学角度证明了人类视觉系统中简单视细胞是以正交 相位关系形式成对出现的，并且可以用一对实部与虚部相互正交的复数滤波器来模拟。 j u l e s z 等【10 也指出相位信息在人类解释景物像点之间的过程中起着非常重要的作用，相 位信息可能是人类立体融合中最理想的基元形式。受此启发，图像匹配研究人员发现图 像相位确实是一种值得重视的信息。这是因为，许多已有的匹配基元，如上面提到的零 交叉、卷积蜂匹配基元等都对应着特定的相位值，相位信息包含了更多图像的信息，与 幅度信息确定图像的狄度变化相比，频率相位却决定了图像的结构位置信息。基于此， s a n g e r , f 3 j e n k i n 等1 9 1 提出了基于o a b o r 滤波相位的双目视觉系统，w e n g 26 】研究了采用短 眠。傅立叶变换相位基元的图像匹配，f l e e t 等【1 7 j 2 4 1 1 2 5 1 对于基于相位的立体视差获取进行了 山麓科投人学坝t 一学位f ；仑义绪论 更详细的分析，徐奕等1 3 0 也对基于相位的匹配进行了比较系统的阐述。 同时，与m a r t 的多通道协同处理思想相一致的多频率通道图像分析方法受到了视觉 领域内研究人员的极大重视，它一样有着深刻的生理学和心理学背景。更进步的生理 学实验证明，人类视觉的感知通道不仅是多频率通道，而且是多方向通道，也就是况人 类视觉具有很强的方向鉴别能力。 上面的分析为我们选择匹配基元提供了相应的考虑因素和标准，更为我们选择图像 的信号处理方法提供了依据。近年来，随着科学理论的发展，许多信号理论己被引入图 像匹配领域，如经典的傅立叶分析和短时傅立叶分析，而8 0 年代新出现的小波理论是个 值得引起研究人员们注意的新的图像分析工具。小波变换作为一种信号处理方法，被认 为是傅立叶分析发展的新阶段，它突破了傅立叶分析中没有灵活的时频分辩力的缺陷， 具有照好的时频域局部化特性、多频率分辩特性和良好的方向选择性，符合上面我们分 析得出的选择匹配基元应该考虑的因素和标准，在图像处理方面存在许多优于其他方法 的圈有特性。首先，小波变换具有完善的重建能力，保证了信号在分解过程中没有任何 信息损失；其次，小波变换的多尺度分析 j8 】把信号分解成不同分辨率的信号之和，可以 从各个尺度对信号进行处理和观察，可以从局部或者全局相结合的角度对信号进行分析， 从而可以由粗到精地对信号进行处理；更重要的是，小波变换具有符合实际需要的快速 算法一m a l l a t 算法f 2 9 】，它在小波变换中的作用相当于f f t 在f o u r i e r 变换中的作用；再 者二维复小波的分解的小波相位基元，为图像的分析提供了方向选择性，这种方向选 择性正如上面所说非常适合于人眼的视觉系统特性，也就是说，小波变换的方向性恰与 视觉系统的方向性相吻合。从上面的描述我们可以看出，采用小波理论可以将多频率通 道特性与多方向通道特性相结合，从而有助于建立更加有效的机器人双目视觉系统。 由于上面提到的小波理论的很多优点，很多研究人员开始了这方面的研究，1 9 9 4 年， 游素亚等【”j 干l 用小波变换的多分辨率零交叉为匹配基元，从零交叉局部属性的相似性和 全局匹配的相容性方面解决了模糊匹配的问题；1 9 9 6 年，游素亚等利用t l a r d y 小波 基函数将原始像对表示成一系列具有良好空频域定位的带通分量，以多通道带通分量的 相i 芑信息作为匹配基元，可以快速有效地产生密集的视差场；余武荣等【2 8 】提出了一种采 用小波变换基于相位的立体匹配算法，引入了多分辨率分析思想，结合金字塔式的多尺 度匹配结构，从而显著提高了匹配效率；p a n 等【4 2 1 引入了复小波变换，从一定程度j 2 解决了立体相对中不连续和遮挡的问题。正因为小波分析和相位信息具有的很多优点， 本义也试图将二者结合起来，利用小波相位作为匹配基元进行图像匹配。下一节将对小 d 靖论 波分析进行更为详细的介绍，其中会主要提到我们将要使用的二元树复小波变换= 1 4 小波分析概况 小波分析属于时频分析的一种，传统的信号分析是建立在傅立叶( f o u r i e r ) 变换基础 之上的，由于傅立叶分析使用的是一种全局的变换，要么完全在时域，要么完全在频域， 因此无法表示信号的时频局部性质，而这种性质恰恰是非平稳信号最根本和最关键的性 质。为了分析和处理非平稳信号，人们对傅立叶分析进行了推广乃至根本性的革命，提 出并发展了+ 一系列新的信号分析理论：短时傅立叶变换、g a b o r 变换、小波变换等。其 中，短时傅立叶变换和小波变换也是应传统的傅立叶变换不能够满足信号处理的要求而 产生的。短时傅立叶变换分析的基本思想是：假定非平稳信号在分析窗函数g ( 1 ) 的一个 短时时间间隔内是平稳的，并移动分析窝函数g q f ) ，从而计算出各个不同时刻的功率 谱。单从本质上讲，短时傅立叶变换是一种单一分辨率的信号分析方法，因为它使用一 个固定的短时窗函数。因而短时傅立叶变换在信号分析上还是存在着不可逾越的缺陷。 图1 1 显示了短时傅立叶变换这种单一频率分析特性【3 _ 7 】。 剀1 1 短时傅立n l 变换时频盒表示 f i g 1 1t i m e f r e q u e n c yb o x e so fs h o r t7 f i m ef o u r i e rt r a n s f o r m 小波分析是碍十信号的时州一尺度( 时间一频率) 分析方法，它具有多分辩率分析的特 点，而且在时频两域都具有表征信号局部特征的能力，是一种窗口大小固定不变但其彤 5 兰篓! ! 丝查堂塑圭兰竺笙苎 堕堡 牲可改变的时频局部化分析方法，即在低频部分具有较高的频率分辨率和较低的时间分 辨率，在高频部分具有较高的时间分辨率和较低的频率分辨辜，很适合于探测正常信号 中央带的瞬间反常现象并展示其成分，所以披誉为分析信号的显微镜，正是这种性质， 使小波变换具有对信号的自适应性，由于图像信号是典型的非平稳信号，这种自适应性 使得小波分析能够对图像信息进行有效地分析。图1 2 照示了小波分析这种时频特性【3 7 j 。 1 1 s 。 图1 2 小波分析时频盒 f i g 】2t i m e f r e q u e n c yb o x e so f w a v e i e t 小波分析是调和分析这一数学领域半个世纪以来的工作结晶，已经和必将广泛应用 于信号处理、图像处理、机器视觉等领域。原则上讲，传统上使用傅立叶分析的地方， 都可以用小波分析取代。由上面的分析我们可以看出，小波分析优于傅立叶变换的地方 是，它在时域和频域同时具有良好豹局部化性质。 怕1 1 a t 算法是小波分析的核心，其算法仅仅用到了小波所对应的滤波器组对图像 分解和重构，实正交的滤波器组其能量是守恒的，但缺乏线性相位特性。 在图像匹配概述中我们可以知道，为了满足小波相位基元匹配的要求，小波的选取 应设满足以下几个性质： l 具有平移不变性； 2 良好的方向选择性； 3 可以完全重建： 6 东科技九学坝j 一学位睦义 1 有限的冗余性，高效的计算效率，保留了m a u a t 算法的金字塔结构。 满足条件1 可以保证小波变换对图像信号的平移不敏感，不改变小波变换后小波系 数能量的分布，这j f 是图像匹配所需要的；满足条件2 可以经过小波变换后获取图像充 分多的相位和结构信息；满足条件3 可以保证小波变换过程中没有图像信息的损失；满 足条件4 保证了匹配算法的快速性和实用性，满足机器人控制技术的实时性要求。 在传统小波( 实数系数) 分解中，每一个尺度空间只能被分解成有限的3 个方向( 水 、f 、垂直和斜方向) ，其方向选择性非常有限。在某些图像应用中，往往希望通过处理后 图像在某些方向上的纹理或边界得到增强，这种处理称为方向滤波。图像纹理或边界的 方向变化一般都是连续的，其取值范围为l 叩( z ) ，h i p ( z ) z = 一j ，传统小波变换有限的方 向选择性很难满足分析这样连续方向的要求。而二元树复小波变换f 1 9 】【3 3 】 3 4 _ | 不仅保持了传 统小波变换良好的时频局部化的分析能力，还具有良好的方向分析能力，它能反映出图 像在不同分辨率上沿多个方向的变化情形，更好地描述图像的方向属性。通过对二元树 复小波分解后的1 2 个高频子带的方向性进行分析和研究，利用其良好的方向选择性对图 像进行有效的方向滤波。 复小波变换的滤波系统与实小波变换的滤波系统在结构上完全相同，不同之处只是 在于复小波变换中使用的滤波器的系数都是复数，而且输出结果也都是复数。在可分离 的二维实小波变换中，二维小波滤波器是一维行滤波嚣和列滤波器的乘积。而复小波变 换中小波滤波器只在f o ，硝1 范围内有响应，如果要以相同的方式来构造二维复小波变换， 则等价滤波器只能覆盖单位频率单元的第l 象限，但是实数图像数据却包含有第1 象限和 第2 象限的非冗余信息，为了不丢失信息，有必要扩展二维可分离操作，使等效滤波器能 覆盖负的水平频率轴。为此，至少需要使行、列滤波器中的一个滤波器的系数为共轭复数。 图1 3 给出了二层的二维复小波变换过程，l o ，肋分别表示行、y f j 4 , 波滤波器。在第1 层 滤波器三叩( z ) 和h i p ( z ) 中，由于其输入的是实数，因此它包含有一个附加的前黄滤波器， 以确保当z = 一，时，输出的结果为0 。 7 绪论 豳1 3 两层二维复小波 f i g 1 3t w ol e v e l so f d tc w ti n2 - d 我们将在后面的“小波及二元复小波”章中详细分析二元复小波的相关性质，在 那里我们可以更清晰地看到选择二元复小波作为双目视觉图像匹配的优越性。 1 4 国内外研究现状及课题研究意义 机器人双目视觉是指用机器人来实现人类的视觉功能，也就是用机器人来实现对客 观三维世界的识别，即实现人类视觉系统的某些功能，其目标是实现对三维景物世界的 理解。因此，机器人双目视觉成为人类智能领域最热门的研究课题之一，它是机器人智 靛亿、自主车导航、目标跟踪以及各种工业检测、医疗和军事应用的核心内容之一。 2 0 世纪7 0 年代中期以m a r r 、b a r r o w 和t e n e n b a u m 等人为代表的一些研究者提出了 努套视觉计算的理论来描述视觉过程，其核心是从图像恢复物体的三维形状。在视觉 研，：的理论上，以m a r r 的理论影响最为深远，并成为这一领域的主导思想。 s h n 女 n 6 ：i 三 耋 孵 苎兰 j 东科技夫学碗上学位论文绪论 对于移动机器人而言，行动的规划是极其重要的，舰划的前提是对环境的j 解。因 此，赋予移动机器人以视觉功能对其了解环境从而适应环境具有非常重要的作用。于是， 随着移动机器人的发展，产生了一些专门用于道路分析和避障的视觉系统。典型的系统 如卡内基梅隆大学研制的自主行驶汽车n a v l a b 上的视觉系统。此外，在m i t ( 麻省理工 学院) a i l a b 研制的p o l l y 机器人中引入了所谓轻度视觉的概念，利用这一方法大大加快 了处理室内环境下的道路识别和避障的速度。将视觉引入机器人系统已经有许多研究成 果，但采用现有技术构造一套通用的视觉系统去解决实际工业问题仍面临重重困难，关 键是视觉过程的机理还远没有搞清楚，视觉处理算法的鲁棒性还没有很好解决，在复杂 的工业环境下工作的可靠性还未达到实际要求。现有的机器人视觉系统一般只能在非常 严格的环境下才能工作，如照明、工件数量都必须预先精确设计好，视觉所能处理的环 境非常简单，如果外部环境复杂，视觉系统就要花费巨大的计算时间，而机器人系统是 实时操作的，因此目前的大多数视觉系统不能满足实时处理的需要。基于以上所提到的 现状，我们有必要对机器人双目视觉进行更广泛和深入的研究，这也是本论文课题之所 以被提出的主要原因。 9 h 科技大学f i l j ! b 学位论空 摄像机模型模型与机器人般目桃觉原堙 2 1 引言 2 摄像机模型与机器人双目视觉原理 摄像机模型决定了图像上点的位置与空间物体表面相应点的位置的相互关系模型 的参数称为摄像机参数，其中内部参数描述摄像机内部光学和几何特性，外部参数刻画 摄像机坐标系相对于世界坐标系的位置和方向。对极几何则描述了对于空间同一物体， 同一摄像机在不同位置拍摄的两幅图像之间必然满足的一种几何上的关系，这种关系常 被用来在匹配过程中构成约束。 根据机器人双目视觉原理，利用三角测量原理得出视差与深度信息之间的公式关系。 2 2 摄像枧模型 这里我们先定义几种不同类型的坐标系：世界坐标系、摄像机坐标系与图像坐标系。 l 、世界坐标系：h ，儿，z 。 由于摄像机可安放在环境中的任何位置，所以在环境中还应该选择一个基准坐标系来 描述摄像机的位置，并用它描述环境中其他任何物体的位置，该坐标系称为世界坐标 系，它由x w , y 。，气轴组成。 2 、摄像机坐标系：x 。，y 。，z 。 为了分析摄像机成像的几何关系，我们又定义了一个新的坐标系，其原点0 在摄像 机的光心上，_ 轴和y c 轴与图像坐标系中的z 轴和一轴平行，t 为摄像机的光轴， 它与图像平面垂直，光轴与图像平面的交点即为图像坐标系的原点。 3 、图像坐标系：( “，v ) ，( x ，y ) 在计算机中，图像是以m n 的二维数组的形式存储的，图像坐标系“一v 也是以像 素为单位的，像点的像素坐标( “，v ) 仅表示该点位于二维数组中的列数和行数，并没 有用物理单位表示出该像点在图像中的位置，因此，需要再建立以物理单位( 如毫米) 表示的图像坐标系。浚坐标系以摄像机光轴与图像平面的交点q 为原点，并轴与y 轴 分别与 轴和1 ，轴平行，如图2 1 所示： 1 0 山东料投人学碗土学位论文 摄像帆模型模型与机器人取日视觉原蛙 2 21 图像数字化+ 0 + 摄像枫坐标系+ 图2 1 摄像机与图像坐标系 f i g 2 1c o o r d i n a t e so f c c da n di m a g e 图2 2 仿射变换 f i g 2 2a f f i n e dt r a n s f o r m 若q 在“一v 坐标系中的坐标为( “。，v 0 ) ，每一像素在x 轴与y 轴上的物理尺寸为出和 d y ，则在图像中任意一像素在两个坐标系下的坐标有如下关系 q 在“，v 中的坐标为( ，v 。) 像素在轴上的物理尺寸为出，咖 仿射变换为： 。厶乐科技大学硪七学位论文 摄像机模型模型与机器人坝目视觉原理 齐次坐标形式为： 2 2 2 透视投影模型 2 2 2 1 透镜成像原理 ”差一学 一v 。+ 盎 阡慝 一l c o t 0 ，i s i n e o 其中工= _ 1 ，工= _ 1 a x a t 图2 3 透镜成像原理 f i g 2 ，3p r i n c i p l eo f l e n t i c u i a ri m a g i n g ( 2 j ) f 2 ，2 ) ( 2 3 ) 图2 3 是透镜成像原理图，其中厂为透镜的焦距，m 为像距，胛为物距，三者满足 下列关系： 三：土+ ! ( 2 4 ) ，m 托 其中= 0 b ，m = o c ，i 1 = a o 。 在一般情况下，由于机器人双目视觉应用中，”厂一般可以满足，由式( 2 4 ) 得 “。东科救犬学颂l 学位论文 摄像机模型模型与帆器久取目说觉缘理 m = ，从而成为小孔成像模型，所以实用中可以小孔成像模型来代替透镜成像模型。f 两就介绍下+ t l 成像原理。 22 2 2 小孔成像原理 由图2 4 可得： 写成齐次坐标形式为 0 0 0 - 0 0 0l0 幽2 4 , q r b 成像原理 t y 。 z c 1 ( 2 6 ) p b 汜 t一儿一乙 y i i 一一 矗 儿 歹o o r。，ill i | 1，j 虬 l 0 j jr 末科技大学砸：匕学位论文 摄像机模型模型与机器几坝日视觉j 泉理 12 23 中心透视投影模型 在小孔成像模型中，为了方便起见，取坐标系为成正实像的投影变换坐标系，即将 被平晴i 的位置与光一t b ( 空间坐标系的原点) 的位置对调，以此作为视觉坐标系，如图2 5 所示，其中原点0 为视点，视平面距视点0 的距离为，。 山图2 5 得： 写成齐次坐标形式为 x 。= ，生 ( 2 7 ) y 。= f h f t f 虬 = 0 l1 00 t 虬 zc l ( 2 8 ) 如果已知空间某点的三维坐标信息，可以通过透视投影变换求出它在像平面上的位 置然而仅知道某点的图像坐标，不能唯一确定空间点的位置。也就是说，当一个空间 点成像到像平面时损失了一维深度信息。所以对于像平面上的点p ( x ，咒) 对应于共线的 点集，这个点集位于经过( 0 ，0 ，o ) 和( t ，y c ，) 的直线上。 ! ：至! 堕! 查兰堕! ：兰丝堡兰 兰堡坚堕里堕型兰型苎尘望生生塑型竺! 生 幽25 中心透视投影 ：2 2 d 世界坐标系到摄像机坐标系转换 小陆 佗9 、 其中r 和f 分别是3 x3 旋转矩阵( 实际上是两坐标系统三组对应坐标轴间夹角的函数) 和l 3 平移矢量 写成齐次坐标形式为： 于是我们得到 堋= t y c 三c= 酬 k y 。 k 1 牝o l 3 ； i 厂工一，工c o t 8 l = 1 0 ，工s i n 8 v o 陋f 】 00 1 2 3 双目视觉深度信息获取的一般原理 ： x ” y 。 z ” 1 x w y 。 气 l ( 2 1 0 ) f 2 1 1 ) 取目线索是人类和动物视觉系统获取深度信息的主要手段之一，双t 7 i 成像可获得同 场景的两幅不同图像，双目成像时的模型可看作是由两个单目成像模型组合丽成。这 单先就一般性原理进行阐述。如图4 所示，设c ，c ，分别为左、右摄像机的光学中心位 置( 透视中心) ，c ，与c ，之间的距离为h 摄像机焦距为f ，设物体上的点过c 一日c ，分 别向图像面( 视平面) 作垂线，垂足为4 、一，过p 向图像面作垂线，垂足为b = 1 5 i 。碧、科技久掌硕士学位论文 摄像机模型模型与机器人双目视觉扳埋 图2 6 视差测距原理图 f i g 2 6p r i n c i p l eo f d i s p a r i t ym e a s u r i n gd i s t a n c e 令j 4 ，鼻l 一。， 爿，pj = ，。，防b i = n ，则由三角形相似有 d 一 一a 。d a + ， 由式( 2 t 2 ) 、( 2 1 3 ) 得 从而有 代入式( 2 1 2 ) 有 生：! 二蔓盘! d b + 厶+ a ( 2 1 2 ) ( 2 1 3 ) 生：垒二垒刍! ：1 一! !( 2 1 4 ) - 1 6b + ，6 十口 b + ，6 + a d ：l 一，。 1 0 一lh 2 扛厂半= 黄 ( 2 1 5 ) ( 2 1 6 ) 由式( 2 1 6 ) 可以番出，距离d 与b 、f 哥 j l 。一，。有关。，。一称为p 在左、右两个图 像面上形成的视差，它表示了p 点在左、右两幅图像中成像点的位景差异。由于b 、是 已知的，因此，要实现双目立体视差测距，最关键的就是要求得视差，。一，。，即要实现空 州甲同一点p 在左、右两幅图像上的投影点之间的对应，即获取同名点，两幅图像间同 1 6 江j 东科技大学硕士学位论文 摄像机模型模型与机器人双目视觉原理 名点的寻求称为两幅图像的配准。 7 山东科技大学硕l - 学位论文摄像机模型模型与机器人双目视觉原理 2 4 本章小结 本章引入了世界坐标系、摄像机坐标系和图像坐标系，详细地介绍了透镜成像模型、 小孔成像模型及中心透视模型，从而建立了三种坐标系之间的关系，最后通过双目视觉 原理的介绍，根据三角几何原理得出了深度信息的获取公式。 本章并没有对摄像机定标进行介绍，这方面的资料在文献5 5 】 5 6 】f 5 7 1 中有详细的阐述。 t h 东利技学硕1 ：学位论文 图像匹配算法的研究 3 1 引言 3 图像匹配算法的研究 从第二章的分析中我们可以看出，对于机器人双目视觉的深度信息获取，其关键就 在于立体像对视差信息的获取，而这又依赖于同名点的识别和确定，究其根本是图像的 匹配，因此我们有必要专门用一章来对图像匹配算法进行系统的介绍和比较研究。 3 2 图像匹配的数学模型 图像匹配实质上是在两幅( 多幅) 图像之间识别同名点，它是计算机( 机器) 视觉及测 绘领域中数字摄影测量的核心问题。对图像匹配可作如下数学描述。 若图像j 与，中的像点o l 与0 2 具有坐标 只= ( 五，y 1 ) ( 3 1 ) 及其特征属性石与 ，即 最= ( x 2 ，款) ( 3 2 ) o l = ( 鼻，石) ( 3 3 ) q = ( 最， ) ( 3 4 ) 其中工与厶可以是以e 与最为中心的小图像窗口的灰度矩阵g 。与g ：，也可以是其他 能够描述0 】与0 2 的特征( 广义的情况，0 1 与q 可以是一定元素的集合，舅与墨分别是描 述它们的几何参数向量) 。基于；与石定义某种溅度t 。所谓图像匹配就是建立一个映 射函数m ，使其满足 忍= ( e t ) m ( 矗，厶) = i n a xm i n ( o j i ，0 2 1 2 ) ( 3 5 ) 矮中t 为描述映射m 的参数向量，测度m 表示q 与q 的匹配程度，也称为匹配测 度、相似性测度等。 1 9 东科技学硕士学位论文 阁像匹配算法的研究 对任意一对点( d i ，0 2 ) ，我们感兴趣的状态只有两种：q 与。2 是匹配点( 同名点) ；0 1 与g 不是匹配点。这样，匹配问题可简化为 】) 寻找匹配点对 2 ) 确定参数向量， 这两个问题是等价的，因为确定了匹配点，则映射参数也就确定了；反之亦然。 从上面图像匹配的数学模型我们可以看出，要解决图像匹配的问题，最根本的我们 需要解决四个方面的问题： 1 ) 与像点联系的特征属性的选取问题，在图像匹配中一般称之为匹配基元的选择问 题。根据匹配基元选择的不同，图像匹配可以分为三大类：区域匹配、特征匹配 和相位匹配。 2 ) 表征像点匹配程度的匹配测度或相似性测度的选择问题，一般来讲，如何定义匹 配测度，是图像匹配最首要的任务。基于不同的理论或不问的思想可以定义各种 不同的匹配测度，主要有：相关测度、绝对差或平方差距离测度等。 3 ) 算法结构的设计问题。利用适当的数学方法设计能正确匹配所选基元的稳定算 法。 4 ) 匹配约束：将关于物理世界的某些固有特性表示为匹配所必须遵循的若干约束， 使匹配结果能真实反映景物的本来面目，一定程度上减小匹配的计算量，同时提 高匹配的准确度。 3 3 匹配基元的选择 3 3 1 基于区域相关的匹配 基于区域相关的珏配方法，是把一幅图像中的某一点的灰度领域作为模板窗口，在 另4 幅图像中搜索具有相同( 或相似) 灰度值分布的对应点领域，从而实现两幅图像的匹 配，存搜索过程中，通常是以相关函数作为两个搜索领域的相似性测度，这是目前最简 单、最易于用硬件实现的匹配方法。其经典方法之一是最小平方误差法。由于该法是直 接对图像像素进行匹配，可得到很高的定位精度和密集豹视差表面。然而对于区域相关 来讲，适当地选择窗口宽度是至关重要的，同时也是很困难韵。为了获取比较致密的视差， 股会选择比较小的窗口，但这样会造成窗口内包含的灰度信息不足，从而使得视差估 t i i 东科技掌坝上学位论义斟像匹配算法豹磷究 汁不可靠：反之，选择大窗口，虽然可以包含足够的灰度信息，因为假设窗口内的像素 都具有相同的视差，这对深度( 视差) 不连续的区域又是不合适的。总的来说，窗f 大小 的优化选择依赖于窗口内灰度的统计特性，比如纹理及视差的变化。 虽然有很多人在这方面作了深入的研究，但是由于这种方法过分依赖于图像灰度统 计特性，对图像的旋转以及光强和对比度的变化非常敏感，当左右两幅图像的匹配存在 = ! 嚣复结构的纹理特性时，常常会引起匹配混淆。因此，当空间景物表面缺乏足够的纹理 细节以及成像失真较大( 如视点距离过大) 时，区域相关匹配法难以应用，由于机器人双 日视觉是对近景目标的测量，很难保证有很丰富的纹理信息，光照的影响也很大，l 扭此 该算法不适合用于机器人双目视觉应用中，而且