（计算机应用技术专业论文）基于特征点和灰度相关的双目视觉匹配研究.pdf

沈阳理工大学硕士学位论文 摘要 双目视觉由于仿照人类视觉的立体感知过程，成为计算机视觉领域的研究热 点。立体匹配是双目视觉中最关键的步骤，立体匹配根据对所选特征的计算，建 立特征间的对应关系，将同一空间点在不同图像中的映像点对应起来，并由此得 到视差图像。本文利用双目立体视觉系统获取的图像展开了立体匹配的研究工作。 首先，全面阐述了双目立体视觉理论及研究内容，并且根据选择的立体视觉 成像系统模型介绍了立体视觉测距的基本原理。 其次，在视觉图像预处理阶段，介绍了图像的灰度线性变换、直方图均衡化、 平滑滤波及图像锐化等内容，并给出了视觉图像预处理的结果图。 另外，在分析了边缘检测算子对图像特征提取的基础上，针对立体匹配的要 求，研究了一种基于对称指数滤波与l a p l a c i a n 相结合的边缘检测算法。 最后，阐述了双目视觉立体匹配原理，详细分析了立体视觉匹配算法。针对 灰度相关匹配计算量大、特征匹配算法复杂的特点，研究并实现了一种基于多特 征约束的分阶段立体匹配算法。实现过程中，选择特征与区域相结合的复合基元， 在第一阶段通过灰度相关双闽值判断获取最佳匹配点和候选匹配点，第二阶段则 以第一阶段粗匹配结果为基础，依据图像的视差相容性约束寻求最佳匹配。实验 结果表明，该算法取得了较好的匹配效果。 关键词：计算机视觉；双目视觉：立体匹配；视差 沈阳理工大学硕士学位论文 a b s t r a c t b i n o c u l a rv i s i o nh a sa s t r o n gr e s e m b l a n c et ot h ev i s u a lp e r c e p t i o np r o c e d u r eo f m a n k i n d ，t h er e s e a r c ho nb i n o c u l a rv i s i o nb e c o m e sah o t s p o ti nt h ef i e l do fc o m p u t e r v i s i o n t h es t e r e om a t c h i n gi st h ek e yo fb i n o c u l a rv i s i o n , s t e r e om a t c h i n gb a s e do nt h e s e l e c t e df e a t u r e s ，a n de s t a b l i s h e st h er e l a t i o n s h i p 协t w e e nt h ec h a r a c t e r i s t i c s i no r d e rt o g e tc o r r e s p o n d i n gd i s p a r i t y , t h ec o r r e s p o n d i n gp o i n t si nt h ed i f f e r e n ti m a g e a l es e a r c h e d r e s e a r c ho nb i n o c u l a rv i s u a li m a g es t e r e om a t c h i n gi sc a r r i e do u ti nt h i sp a p e r f i r s t l y ，b i n o c u l a rs t e r e ov i s i o nd i s t a n c em e a s u r e dt h e o r ya n dt h ec o n t e n t so ft h e b i n o c u l a rs t e r e ov i s i o na 糟e l u c i d a t e di nd e t a i l s a c c o r d i n gt ot h em o d e lo fs e l e c t i v e s t e r e oi m a g i n gs y s t e m , t h ef u n d a m e n t a lp r i n c i p l ei si n t r o d u c e d s e c o n d l y , i nt h es t a g eo fv i s u a li m a g ep r e p r o e e s s i n g ，t h ei m a g ef a yl i n e a r t r a n s f o r m a t i o n , h i s t o g r a me q u a l i z a t i o n , f i l t e r i n ga n di m a g es h a r p e n i n ga r ei n t r o d u c e d , a n dt h er e s u l to f v i s u a li m a g ep r e p r o c e s s i n gi sp r e s e n t e d i na d d i t i o n , b a s e do nt h ea n a l y s i so ft h ee d g ed e t e c t i o no p e r a t o ro ft h ei m a g e c h a r a c t e re x t r a c t i o n , a l g o r i t h mc o m b i n e sas y m m e t r i ce x p o n e n t i a ls m o o t h i n gf i l t e ra n d l a p l a c i a no p e r a t o ri sp r e s e n t e dt om e e tt h er e q u i r e m e n t so fs t e r e om a t c h i n g f i n a l l y ，t h ec o n t e n t sr e l a t e dt ot h eb i n o c u l a rs t e r e om a t c h i n gi se x p o u n d e d ，s t e r e o m a t c h i n ga l g o r i t h m sa r ea n a l y z e di nd e t a i l i na l l u s i o nt ot h eb i gc o s to fc a l c u l a t i o ni n g r a yc o r r e l a t i o nm a t c h i n ga n dc o m p l e x i t yo fa l g o r i t h mi nf e a t u r e - b a s e dm a t c h i n g ，a t w o - s t a g es t e r e ov i s i o nm e t h o du s i n gm u l t i p l ec o n s t r a i n t sa n dt w o - t h r e s h o l dv a l u e j u d g m e n ti s r e s e a r c h e da n dr e a l i z e d i nt h ep r o c e d u r eo fr e a l i z a t i o n , c o m p o u n d c h a r a c t e r i s t i co ff e a t u r ea n da r e ai ss e l e c t e d i nt h ef i r s ts t a g e ，t h eo p t i m a lm a t c m n g p o i n t sa n dc a n d i d a t em a t c h i n gp o i n t sc a l lb eg o t t h em e t h o dl l s e sg r a yc o r r e l a t i o nt o m a t c hc o r r e s p o n d i n ga l g aa n dt w o - t h r e s h o l d - v a l u ej u d g m e n t i nt h es e c o n ds t a g e , t h e u n i q u em a t c h i n gf o rc a n d i d a t ep o i n t si sd o n ew i t hp a r a l l a xc o r r e l a t i o n , s o ，t h em e t h o d h a ss e l f - a d a p t a t i o nt ot h ec o m p l e xs c e n e e x p e r i m e n t ss h o wt h a t ，t h em a t c h i n gm e t h o d h a sa d v a n t a g e so f p r e f e r a b l ee f f e c t k e yw o r d s ：c o m p u t e rv i s i o n ；b i n o c u l a rv i s i o n ；s t 盯e om a t c h i n g ；d i s p a r i t y 沈阳理工大学 硕士学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本 人独立完成的。有关观点、方法、数据和文献的引用已在文中指出， 并与参考文献相对应。除文中已注明引用的内容外，本论文不包含任 何其他个人或集体已经公开发表的作品成果。对本文的研究做出重要 贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本 声明的法律结果由本人承担。 作者( 签字) ：弓良金苍 日期 ：珈7 年弓月j 日 学位论文版权使用授权书 本学位论文作者完全了解沈阳理工大学有关保留、使用学位论文 的规定，即：沈阳理工大学有权保留并向国家有关部门或机构送交学 位论文的复印件和磁盘，允许论文被查阅和借阅。本人授权沈阳理工 大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可 以采用影印、缩印或其它复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：祆念冀 日 期：炒 f j 喾导教师签煮：弓衫茗 日 瓤彳训， 第1 章绪论 1 1 计算机视觉简介 第1 章绪论 视觉是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息 约有8 0 来自视觉系统，这说明视觉的信息量是巨大的，同时也表明人类对视觉 信息有着较高的利用率1 1 1 。视觉是人类获取信息的最强有力而又最有效的手段，它 不仅是指对光信号的感受，而且也包括对视觉信息的获取、传输、处理、存储与 理解的全过程。视觉的最终目的从狭义上说是要对场景给出对观察者有意义的解 释和描述；从广义上说，是根据周围环境和观察者的意愿在这些解释和描述的基 础上制定出行为规划。 计算机视觉是指利用计算机实现人类的视觉功能，即对客观世界的三维场景 的感知、识别和理解。计算机视觉的主要研究目标是；建成计算机视觉系统，完 成各种视觉任务；把该研究作为探索人脑视觉工作原理的手段，进步加深对人 脑视觉的掌握和理解。同时，对人脑视觉的充分理解也将促进计算机视觉的深入 研究。长期以来，对人脑系统从生理、心理、神经等各个方面进行了大量的研究， 但是还远没有揭开视觉过程的全部奥秘，可以说对视觉机理的研究和了解还远远 落后于对视觉信息处理的研究和掌握。 融合两只眼睛获得的图像并观察它们之间的差别( 通常称为视差) ，可以获 得明显的深度感o ”。相应地，获取空间三维场景的距离信息也是计算机视觉研究 中最基础的内容。可靠的立体感知算法在机器人视觉导航、地图生成、航空勘测 和近距离照相测量等领域都有很广阔的应用价值，另外在用于目标识别的图像分 割，以及计算机图形学的三维场景重建中也有用武之地。 计算机视觉是计算机科学研究领域的重要分支，其研究的核心问题是从景物 图像或序列图像求出景物的精确的三维几何描述，并定量地确定景物中物体的空 间性质，其过程是成像过程的逆过程。与计算机视觉相关的学科主要有：数字图 像处理、计算机图形学，模式识别、人工智能，人工神经网络等口】。 沈阳理工大学硕士学位论文 1 2 国内外研究现状及存在问题 1 2 1 国内外研究现状 立体视觉是计算机被动测距方法中最重要的距离感知技术，它模拟人类视觉 处理景物的方式，可以在多种条件下灵活地测量景物的三维信息。立体视觉中最 关键的部分是进行多幅视觉图像的对应点( 基元) 匹配问题，即立体视觉匹配，简称 立体匹配1 4 l 。双目立体匹配算法就是在两幅图像的匹配点( 基元) 之间建立对应关系 的过程，它是双目立体视觉系统的关键。实际上，任何计算机视觉系统中都包含 一个作为其核心的匹配算法，因而对于匹配算法的研究是极为重要的。 立体匹配算法中对视差测距的约束主要体现在所采用的匹配策略上。根据匹 配所采用的基元以及成像几何的不同，匹配策略在很大程度上也是不同的。立体 视觉匹配算法目前分为三大类：区域匹配、特征匹配和相位匹配嘲。 ( 1 ) 基于灰度相关的区域匹配算法 基于灰度相关的区域匹配算法是解决基元对应问题的一个最直观最简单的方 法。在一幅图像中以一点为中心选定一个区域( 窗口) ，在另一幅图像中寻找与该区 域互相关系数最大的区域，把找到的区域的中心认为是原来区域中心的对应点。 基于灰度相关的区域匹配算法计算量很大，而且对噪声很敏感，但可以得到 整幅图像的视差图。窗口开得过大，可能匹配的选择较多，误匹配的可能性大， 不适于灰度分布均匀的图像，较适于自然景物等灰度分布复杂的图像。采用该方 法的关键在于排除或减轻噪声的影响。 l e v i n e s t 卅算法在一维的匹配邻域内搜索互相关值最大的匹配点。k a n a d e 和 o k u l o m i 【7j 根据局部灰度变化以及局部视差变化的统计分析，自适应地调整匹配窗 口的大小，有效地处理视差突变的区域。n e v a t i a m e d i o n i 算法以线片段为基元， 以最小差别视差为基准，建立匹配过程，该基准实际上是连续性约束的一种表现 形式。z i t n i c k 和k a l l a d g i s l 利用视差空间的匹配值基于邻域和视线方向的迭代进行 匹配过程，并进行遮掩区域的检测。 ( 2 ) 基于特征的匹配算法 基于特征的匹配方法是有选择地匹配能表示景物自身特性的特征，通过更多 墨! 童丝堡 地强调空间景物的结构信息来解决歧义性问题。根据特征类型的不同，基于特征 的匹配方法又分为基于点特征的匹配方法，如b a k e r i ”，a r n o l d ”l ，l l o g d j 等提出 的边缘点匹配，k i m t ”1 的零交叉点匹配以及b a m a r d i ”的m o r a v e c 算子“兴趣点” 匹配；基于线特征的匹配方法，如o h t a t ”l 的边缘线匹配，m e d i o n i t ”l ，a l u o 【1 q 的 直线段匹配以及n a s r a b a d i ! ”1 的曲线段匹配；基于面特征的匹配方法，如l e e t “1 的 分割区域匹配算法。其中，b a k e r , a m o l d ，l i e - g d 的边缘点匹配以及o h t a 的线特征 匹配中运用了动态规划技术通过搜索最佳路径对匹配进行了优化；l e d m ，b a m a r d 的特征点匹配，m e d i o n i ，n a s r a b a d i 的线特征匹配以及l e e 的面特征匹配中首先根 据简单的相似准则求得初始匹配，然后根据匹配特征间的几何和视差约束，利用 松弛迭代技术增强初始匹配结果，提高匹配正确率；a ，l u o 的直线段匹配中则采用 了模糊技术，运用分层策略来减少匹配歧义，提高正确率。 特征匹配的优点是：匹配基元包含了令人满意的统计特性以及算法编程上的 灵活性；算法的许多约束条件均能清楚地应用于数据结构，而数据结构的规则性 使得特征匹配适用于硬件设计。其中，基于线段的特征匹配算法将场景模型描绘 成相互联结的边缘线段，而非区域匹配中的平面模型，能很好地处理一些几何畸 变问题。此外，特征匹配不直接依赖于灰度，具有较强的抗干扰性，而且计算量 小，速度快。由于边缘特征往往出现在视差不连续的区域，特征匹配较易处理立 体视觉匹配中的视差不连续问题。同样地，特征匹配算法也存在着一些不足：首 先，特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场，要获得密集的 视差场必须辅以复杂的插值过程；其次，特征的提取和定位过程直接影响特征匹 配结果的精确度。 鉴于灰度区域相关方法的局限性，现在大部分研究集中在这方面。在许多环 境中，图像的特征是很有规律地分布的，反映了场景的核心，数量少，处理方便。 基于特征的立体视觉匹配算法，通过建立所选基元的对应关系获取稀疏的深度图。 如果需要，再经过内插等方法可以得到整幅深度图，这一类算法因各自采用的匹 配基元不同而相异。概括而言，该类匹配算法都是建立在匹配基元之间相似性度 量的基础上的，是以匹配基元的各项参数信息为依据的局部特征相似程度的度量。 这种方法与摄像机模型相结合，可以大大减小匹配时的搜索空问。具体实现中一 般采用概率度量、松驰法迭代或者聚类等模式识别算法来实现。 鎏里里三丕堂堡主堂垡丝奎 m a r t - p o g g i o c n i m s o n 算法以过零点为基元，利用连续性约束通过迭代方式实 现匹配过程。b a m a r d 算法使用松弛法对所有的对象进行并行处理，使其概率的累 计受到周围影响的同时渐渐达到整体的视差平衡。 基于特征的匹配算法特别适用于具有显著特征信息的环境( 如室内环境) ， 具有速度快、精度高的特点，但在缺少显著主导特征的自然环境下，该方法也遇 到了很大困难。这部分可望能利用如专家系统等现代人工智能研究手段，作为承 上启下，建立更高层次描述的先导。 ( 3 ) 基于相位的匹配 继区域匹配和特征匹配之后，k u g l i n 和h i n e s ”1 等提出了第三种匹配算法 基于相位的匹配算法，相位匹配是近二十年来才逐步发展起来的一类匹配算法， 相位匹配算法认为图像对应点的局部相位是相等的。 相位匹配算法是一种基于像对中对应点局部相位相等的假设的匹配方法。根 据傅立叶平移定理，信号在空间域上的平移产生频率域上成比例的相位平移。频 率域信号分析在数学表达上更有助于区域分析】。 依据傅立叶平移定理，信号在空间域的平移产生频率域上等比例的相位平移。 考虑傅立叶变换的空间支撑为无限，相位匹配方法对带通滤波信号的相位信息进 行处理而得到像对间的视差，常用的相位匹配方法有相位相关法和相位差频 率法【2 ”。匹配后建立的视差图由于周期性模式、光滑区域的存在以及遮挡效应、 约束原则的不严格等原因会导致视差图产生误差，因此还必须对视差图进行误差 检测和校正。k a n a d e 根据局部图像强度变化模式和局部视差变化模式来调节窗口 建立了一种自适应算法。 1 2 2 立体匹配存在问题 虽然立体视觉经过2 0 多年的研究，已经有了很大的发展，但无论是从视觉生 理的角度，还是从实际应用方面来看，现有的立体视觉技术还处在十分不成熟的 阶段。这不仅仅涉及到技术上的原因，而且更多地在于人类对自身视觉机理还不十 分了解。人类视觉系统具有惊人的分析理解能力，但人类是如何精选、获取和分析 理解视觉知识的，至今还未充分搞清楚。 立体匹配作为立体视觉的核心，在理论上和技术上都存在着很多问题，主要困 第1 章绪论 难在于图像之间不可避免地存在着差异。造成图像之间存在差异的原因有很多， 概括起来包括以下几种 2 2 1 ： 灰度差异：由于成像角度的不同及照明条件的变动，使景物表面上某点在 不同成像平面上的投影点的灰度值产生较大的差别； 遮挡效应引起的差异：现实景物之间，不可避免地存在着视线的遮挡效应， 景物被遮挡的部位和遮挡的程度会随着视角的不同而发生改变： 特征抽取结果的差异：发生在立体像对特征之间的匹配是以图像特征提取 为基础的，所以当两图像的不同部位的反差存在差异时则会在反差弱的区 域产生特征丢失的现象。丢失特征部位和丢失特征程度的差异给图像匹配 带来了很大的困难； 噪声引起的差异：由于成像系统和图像预处理技术远非理想，在每个环节 都会引进虚假噪声，并且对两幅图像的损害程度可能不同，所以噪声也是 引起图像匹配出错的重要原因。 由于这些难点，至今并无通用的匹配算法，各种算法都只是针对匹配技术的 特定问题进行探讨，并且都有自己的限定条件。 1 3 选题背景及研究意义 1 3 1 选题背景 立体视觉的开创性工作是从6 0 年代中期开始的，美国m i t 的r o b e r t 完成了 三维场景的分析工作，把过去的二维图像分析推广到三维景物，这标志着立体视 觉技术的诞生。七十年代，立体视觉在图像的预处理技术、提取特征信息和图像 立体匹配技术等许多方面都有重大突破；七十年代末，m a r t 和p o g g i o 等人创立的 计算机视觉理论对立体视觉的发展产生了巨大影响，使得景物可视表面的重建形 成了一个完备的体系。8 0 年代美国麻省理工学院人工智能实验室的m a r r 提出了一 种视觉计算理论并应用在双目匹配上，使两张有视差的平面图像产生有深度的立 体图形，奠定了双目立体视觉发展的理论基础【”1 。 双目立体视觉是计算机视觉的一个重要分支，是由不同位置的两台摄像机 ( c c d ) 拍摄同一幅场景，通过计算空间点在每幅图像中的视差，获得该点的三维坐 沈阳理工大学硕士学位论文 标值。相比其他类的计算机视觉方法，双目立体视觉直接模拟人类双眼处理景物 的方式，可靠简便，在许多领域均极具应用价值。经过2 0 多年的研究，立体匹配 得到了越来越广泛的应用，研究方法也从早期的以统计相关理论为基础的相关匹 配，发展到具有很强生理学背景的特征匹配，从串行到并行，从直接依赖于输入 信号的低层处理到依赖于特征、结构、关系和知识的高层次处理，且性能不断提 高。 立体视觉作为一个多学科交叉领域，吸引着大批包括视觉生理、心理、物理、 数学以及计算机科学等多种学科的研究人员，运用不同的技术手段对之进行深入 的研究；并且在现代工业、国防、医学、空间技术等领域有着广阔的应用前景。 对立体视觉的研究不仅具有重要的理论意义，而且具有重要的实用价值： ( 1 ) 人们生活和工作在三维几何空间中，对外界的感性认识首先是各种三维物 体的信息，三维几何的信息处理是人类活动中最重要的也是最基本的信息处理内 容。与几何处理及其显示相关的学科实际是一个大学科群，一方面，研究从主观 构思到生成模型和模拟客观世界显示的正向过程，主要是计算机图形学、c a d 等； 另一方面，研究从客观世界实物原始数据进行分析建模的逆向过程，主要是立体 视觉、数字图像和视频处理、模式识别等。其中，逆向过程因其从二维信息求取 三维信息，存在多义和多解的障碍，需要进行大量的智能分析和推理，较之正向 过程的难度相对更大。但是，如果逆向处理识别重构技术能够取得进展，必将促 进整个几何处理及显示大学科群的发展。立体视觉属于基于影像的重构技术，具 有非接触性测量、实施较为简易的特点，具有广阔的应用前景，是有待于进一步 开发的领域。 ( 2 ) 立体视觉是在图像处理的基础上发展起来的新兴学科。立体视觉从信息处 理的层次研究视觉信息的认知过程，研究视觉信息处理的计算理论、表达与计算 方法。进入八十年代后，立体视觉理论获得了蓬勃的发展，尤其是受高分辨率数 字相机出现的影响。基于图像的立体匹配长期以来一直是个热点研究问题，而基 于双目图像的研究更具一般性。 ( 3 ) 随着对应用系统的自动化程度和智能水平要求的提高，许多实际应用系统 都希望增加机器视觉功能。而近年来，c c d 光电输入和数字化技术的不断进步， 数码相机的普及，硬件装置价格的不断下降，计算机性能的不断提高，也为立体 第1 章绪论 视觉技术的应用提供了条件，使得立体视觉技术的应用更加广泛和普及。 1 3 2 研究意义 立体视觉应用领域也很广泛，己应用于遥感图像分析、文字识别、医学图像 处理、多媒体技术、图像数据库、工业检测与军事等方面。 随着计算机科学的飞速发展，摄像机的普及，立体视觉研究的前景逐渐显现 出来。而在整个立体视觉过程中的关键就是立体匹配，它的精度直接影响着三维 信息恢复的精度。 立体视觉系统在分析和理解图像时都需要立体匹配，而这一技术还很不完善。 在具有灰度失真、几何失真( 透视、旋转、缩放等失真) 和噪声的情况下匹配图像是 十分困难的。目前还没有一个可靠的通用的匹配方法，尤其是在失真和噪声比较 严重的情况下，匹配更为困难。 立体匹配技术是计算机视觉领域中最关键的研究分支，立体匹配根据对所选 特征的计算，建立特征间的对应关系，将同一个空间物理点在不同图像中的映像 点对应起来，解决对应点匹配问题是计算机视觉中的永恒主题。 基于特征点的匹配方法能够更多的利用图像的结构信息，因而计算量小，可 提高匹配速度，但只能获得离散的信息。利用灰度相关方法，易于得到快速的匹一 配，但它们的定位精度差，特征提取与描述困难。因此综合利用两种算法对图像 进行匹配，能够得到相对较好的匹配结果。 1 4 论文主要研究内容 本课题是“基于双目视觉的产品设计三维建模技术”项目中图像获取、图像处 理、视觉图像边缘特征信息提取、立体匹配等关键技术的研究。“基于双目视觉的 产品设计三维建模技术颂目主要是将计算机视觉技术和c a d 反求工程相结合， 以机械设计为背景，研究大型产品外观设计的三维建模技术，根据已有的实物模 型，通过双目立体视觉的匹配方法获得对应点坐标、视差等数据，然后重建实物 的c a d 模型。因此，本课题采用类似人类视觉的平行双目立体视觉系统获取图像 并进行匹配算法的研究与实现，以恢复空间物理点在左右图像中的对应点视差。 第一章对计算机视觉理论作了概述，并介绍了课题研究背景、国内外研究现 7 鲨旦里三查堂堡主堂垡丝奎 状及存在问题、选题背景、课题研究意义。 第二章对m a n 计算机视觉理论框架。立体视觉主要研究内容作了详细介绍， 并阐述了摄像机成像模型、坐标系间变换、三维测量原理等内容。 第三章介绍了图像预处理内容，包括图像灰度线性变换、直方图均衡、图像 平滑、图像锐化等内容。 第四章介绍边缘检测算法，针对立体匹配要求，研究了一种基于对称指数滤 波与l a p l a c i a n 相结合的边缘检测算法，并给出了检测结果。 第五章详细叙述了立体视觉匹配算法，并且阐述了基于多特征约束的分阶段 立体匹配算法的实现过程。 如上所述，本文的研究重点放在视觉图像预处理、视觉图像边缘特征信息提 取和立体匹配等方面，同时为了保证文章的系统性，也介绍了立体视觉系统中其 它部分研究内容。 8 第2 章双目立体视觉理论研究 第2 章双目立体视觉理论研究 视觉是人类获取信息的主要手段之一，让计算机具有人类视觉功能一直是科 学工作者的梦想。很久以来，由于人类对视觉机理理解的局限以及计算手段的限 制，视觉研究基本上是基于二维的，且多数是采用模式识别的方法完成此类工作。 直到2 0 世纪6 0 年代r o b e r t s 用程序成功地对三维积木世界进行解释，才把视觉研 究从二维推广到了三维，从而诞生了立体视觉。而双目立体视觉由于模拟人类视 觉的感知过程，因此得到了广泛的应用。 2 1m a r r 的计算机视觉理论框架 2 0 世纪8 0 年代初，m a r t 首次从信息处理的角度综合了图像处理、心理物理 学和神经生理学及临床神经病学等方面已取得的重要成果，提出了第一个较为完 善的视觉系统框架，使计算机视觉研究有了个比较明确的体系 2 4 1 。 m a r r 认为，视觉系统的任务是对环境中的三维物体进行识别、定位与运动分 析。三维物体千差万别，应存在一种计算理论层次上的一般性目的描述。如果达 到了这一目的，则不管是什么具体物体，视觉任务均可完成，即通过视觉系统， 重建三维物体的形状、位置。然而，如果在每一时刻都能够做到这点，则可以 实现对物体的运动分析。 m a r t 计算机视觉理论把视觉过程看作一个信息处理过程，认为对视觉系统的 研究应分为三个层次，即计算理论层次，表达与算法层次和硬件实现层次。表达 与算法层次的研究是要给出各部分的输入、输出和内部信息的表达。以及实现计 算理论层次所规定的一般性目的算法。表达与算法是比计算理论低一层次的问题， 不同的表达与算法，在计算理论层次上可以是相同的。硬件实现层次则是要解决 如何用硬件实现以上算法的问题。目前计算机视觉的研究工作主要集中在计算理 论和表达与算法这两个层次上，对于硬件实现，目前有一些比较成熟的部分如 低层次图像处理中的去噪声，边缘抽取：对简单三维物体识别及简单场景下的视 觉方法，已有专用芯片或并行处理体系结构方面的研究与试验产品：而在构建通 用的视觉系统方面，虽有一些尝试，但一般并不会成功。 垫旦里三奎堂堡主兰堡堡奎 m a r t 理论着重强调计算理论层次，阐明视觉的目的是从图像中建立物体形状 和位置的描述。在这一层次把视觉过程主要规定为从二维图像信息中定量恢复图 像所反映的三维场景中物体的形状和空间位置，即三维重建。在计算理论这一层 次，m a r r 将整个视觉过程分为早期视觉、中期视觉和后期视觉三个阶段，如图2 1 所示。 型盥臣亟碰虹堕e 陋绌屯圃型举 图2 1m a r t 视觉理论过程 在视觉问题划分为三个层次的基础上，m a r t 理论把视觉过程主要规定为定量 地恢复出图像所反映的场景中二维物体的形状和空间位置，将这一恢复过程分为 三个阶段。 图2 2m a r t 理论中图像恢复三阶段 第一阶段( 也称为早期阶段) 是将输入的原始图像进行处理，抽取图像中诸如角 点、边缘、纹理、线条、边界等基本特征，这些特征的集合称为基元 ( p r i m i t i v e s k e t c h ) ；第二阶段( 中期阶段) 是指在以观察者为中心的坐标系中，由输入图像和基 元图恢复场景可见部分的深度、法线方向、轮廓等，这些信息包含了深度信息， 但不是真正的物体三维表示。因此，称为二维半图( 2 5d i m e n s i o n a ls k e t c h ) ，即部分 的、不完整的三维信息描述图，是要素图和三维图像模型之间的中间层次，包含 物体表面的局部内在特征，是重建的三维物体在以观察者为中心的坐标系下的三 维形状与位置。当人眼或摄像机观察周围环境物体时，观察者对三维物体最初是 以自身坐标系来描述的。另外，观察者只能看到物体的一部分，另一部分是物体 的背面或被其它物体遮挡。因此，重建结果是在观察者坐标系下描述的部分三维 物体形状，称为2 5 维描述。这一阶段中存在许多并行的相对独立的模块，如立体 10 第2 章双目立体视觉理论研究 视觉、运动分析、由灰度恢复表面形状等不同的处理单元；在以物体为中心的坐 标系中，由输入图像、基元图、二维半图来恢复、表示和识别三维物体的过程称 为视觉的第三阶段( 后期阶段) 。 2 2 双目立体视觉系统主要研究内容 双目立体视觉在实际应用中有很多问题需要解决，例如，选择怎样的视觉图 像特征，如何寻找点与点之间的对应关系等，这些技术难点的解决直接构成了双 目立体视觉系统的相应组成部分。根据双目立体视觉技术处理问题的顺序可以把 它分为图像获取、摄像机标定、特征提取、立体匹配、深度确定及内插重建等六 大部分例。 ( 1 ) 图像获取 双目视觉图像对( 有时也称为立体图像对) 的获取是双目立体视觉的基础， 也就是用摄像机获取3 d 物体的二维图像。获取含有立体信息的图像的方式有很 多，实际选用时要考虑具体应用的场合和目的。采集视觉图像的视点可以在一条 直线上，也可以在一个平面上，或甚至里立体分布，理想的情况是获取的视点在 一条直线上。在获取立体图像的过程中，不但要考虑满足应用要求，而且要考虑 视点差异、光照条件、摄像机的几何特性、景物特点等因素的影响。另外，摄取 自然景物时要尽量避免平滑无特征区域以及重复结构景物的影响。 ( 2 ) 摄像机标定 摄像机标定的目的是建立有效的成像模型，并确定摄像机的内外部属性参数， 以便正确建立空间坐标系中物点与它在图像平面上像点之间的对应关系。在立体 视觉中，常使用多个摄像机，对每个摄像机都要进行标定。在从2 - d 计算机图像 坐标推导出3 - d 信息时，如果摄像机是固定的，只需一次标定就可以了。 ( 3 ) 视觉图像特征提取 特征提取是为了得到匹配赖以进行的图像特征，由于目前尚没有一种普遍适 用的理论可以用于图像特征的提取。从而导致了立体视觉研究中匹配特征的多样 性。根据多视点的视差确定3 d 信息，其关键的一步就是确定场景中同一物点在 不同图像中的对应关系。解决该问题的方法之一是选择合适的图像特征并进行匹 配，这里的特征是一个泛指的概念，可以是像素或像素的集合，也可以是它们的 沈阳理工大学硕士学位论文 抽象表达。目前还没有一种获取图像特征的普遍适用的理论，常用的匹配特征从 小到大主要有点状特征、线状特征和区域特征等。一般来讲，大尺度特征含有较 丰富的图像信息，本身数目较少，易于得到快速的匹配；但对它们的提取与描述 相对复杂，定位精度也差。另一方面，小尺度特征本身的定位精度高，表达描述 简单；但其数目常较多，而所含信息量却较少，因而在匹配时需要采用较强的约 束准则和匹配策略。 ( 4 ) 立体匹配 立体匹配是双目立体视觉中最关键、最困难的一步，与普通的图像配准有所 不同，立体像对之问的差异是由摄像时观察点的不同引起的，而不是由其它如景 物本身的变化、运动所引起的。立体匹配的方法主要可以分为：基于灰度相关、 基于特征以及基于相位的匹配i 。 基于灰度相关的匹配方法直接用像素灰度进行匹配，这类方法的优点是匹配 结果不受特征检测精度和密度的影响，因而可以得到很高的定位精度和密集的视 差表面。这类方法的缺点是依赖于图像灰度统计特性，所以对景物表面结构以及 光照反射较为敏感，因此在空间景物表面缺乏足够纹理细节、成像失真较大( 如 基线长度过大) 的场合存在一定的困难。实际匹配中可采用一些灰度的导出量， 但有实验表明在用灰度、灰度微分大小和方向、灰度拉普拉斯值以及灰度曲率作 为匹配参数进行的匹配比较中，利用灰度参数取得的效果最好。 基于结构特征的匹配方法需要检测能够表示景物自身结构特性的特征，如直 线边缘、各种边缘交点等。这类方法的优点是由于使用从视觉图像得到的符号特 征作为匹配基元，所以在环境照明发生变化的情况下性能较为稳定。这类方法的 缺点是特征提取需要额外计算量，另外由于特征是离散的，所以不能在匹配后直 接得到密集的视差场。 相位匹配是近二十年来才发展起来的一类匹配算法。相位作为匹配基元，本 身反映信号的结构信息，对图像的高频噪声有很好的抑制作用，适于并行处理， 能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自 适应滤波器解决m l 。 ( 5 ) 3 d 信息的恢复 当通过立体匹配得到视差图像后，便可以确定深度图像，并恢复场景3 d 信 蔓! 童翌旦皇堡塑堂里笙堕壅 息。影响距离测量精度的因素主要有数字量化效应、摄像机标定误差、特征检测 与匹配定位精度等。一般来讲，距离测量精度与匹配定位精度成正比，与摄像机 基线( 不同摄像机位置阃连线) 长度成反比。增大基线长度可以改善深度测量精 度，但同时会增大图像间的差异，增加匹配的困难程度。因此，要设计一个精确 的立体视觉系统，必须综合考虑各个方面因素，保证各个环节都具有较高的精度。 ( 6 ) 后处理 经过以上各个步骤所得到的3 d 信息常因各种原因而不完整或存在一定的误 差，需要进一步的后处理。常用的后处理有三类： 深度插值 立体视觉的首要目的是恢复景物可视表面的完整信息，而基于特征的立体匹 配算法只能恢复出图像中特征点处的视差值。因此在后处理中要追加一个视差表 面内插重建步骤，即对离散数据进行插值以得到不在特征点处的视差值。插值的 方法很多，如最近邻插值、双线性插值、样条插值等，另外还有基于模型的内插 重建算法。在内插过程中，最重要的问题就是如何有效地保护景物表面的不连续 信息。从某种意义上说，内插是个重建过程，这里要重建的是与图像信息相容的一：。 最佳拟合面，所以内插重建必须满足表面相容性原理。 误差校正一一 立体匹配是在受到几何畸变和噪声干扰等影响的图像间进行的，另外由于周 期性模式、光滑区域的存在，以及遮挡效应、约束准则的不严格性等原因都会在 视差图中产生误差，对误差的检测和校正也是重要的后处理内容。这里常需要根 据误差产生的原因和方式选择合适的手段进行。 精度改善 视差的计算和深度信息的恢复是各项后续工作的基础，因此对视差计算的精 度常有较高的要求。因此，可在获得一般立体视觉通常的像素级视差后，进一步 改善精度，以达到亚像素级的视差精度。 沈阳理工大学硕士学位论文 2 3 成像系统模型分析 2 3 1 摄像机模型和成像原理 立体视觉系统应能从摄像机获取的图像信息出发，计算三维环境物体的位置、 形状等几何信息，并由此识别环境中的物体。图像上每一点的亮度反映了空间物 体表面某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几 何位置有关。这些位置的相互关系由摄像机成像几何模型决定，该几何模型的参 数称为摄像机参数。摄像机模型是光学成像几何关系的简化，最简单的模型是线 性模型，或称为针孔模型：当计算精度要求较高，尤其是当摄像机的镜头是广角 镜头时，线性模型不能准确描述摄像机的成像几何关系，这时就需要建立摄像机 的非线性模型。在本论文的研究中线性模型可以满足精度要求，因此详细地介绍 摄像机的线性模型。 要通过两个摄像机从不同方向拍摄两幅二维图像，通常假定两个摄像机的参 数一致，而且每个摄像机都被假设为一个理想的小孔摄像机，也就是采用透视投 影成像模型。 图像平 面坐标 系原点 2 光轴 图2 3 小孔摄像机模型图 图2 3 0 0 位于图像平面前距离为厂的点被称为摄影中心。由于图像平面位于摄 影中心的后面，这种小孔摄像机模型又称为后投影模型，小孔摄像机模型不考虑 透镜的畸变，在大多数应用场合，这种模型可以满足精度要求。 第2 章取目立体视觉理论研究 2 3 2 图像坐标系、摄像机坐标系与世界坐标系 摄像机通过成像透镜将三维场景投影到摄像机二维像平面上，这个投影可以 用成像变换描述，即摄像机成像模型。 摄像机采集的图像以标准电视信号的形式输入计算机，经计算机中的专用数 模转换板转换成数字图像。每幅数字图像在计算机内为m x 数组，m 行n 列的图 像中的每一个元素( 称为像素，p i x e l ) 的数值既是图像点的亮度。如图2 4 所示： v o u x 在图像上定义直角坐标系& ，v ) 分别是该像素在数列中的列数与行数。所以， 0 ，v ) 是以像素为单位的图像坐标系的坐标。由于u ，v ) 只表示像素位于数组中的列 单位表示的图像坐标系。该坐标系以图像内某一点d l 为原点，x 轴与j ，轴分别与甜 点一般位于图像中心处，若d i 在却，v 坐标为“，) ，每一个像素在石轴与y 轴方向 上的物理尺寸为以和d y ，则图像中任意一个像素在两个坐标系的坐标有如下关 拈r ( 2 。) 忙砉+ v o 沈阳理工大学硕士学位论文 一1o o l ( 2 - 2 ) 眺并翻 ， 轴与图像的工轴与y 轴平行，互轴为摄像机的光轴，与图像平面垂直：光轴与图 像平面的交点即为图像坐标系的原点，由点0 ，以，k ，互轴组成的直角坐标系 ， 图2 5 摄像机坐标系和世界坐标系 由于摄像机坐标系可安放在环境中的任意位置，在环境中选择一个基准坐标 系来描述摄像机的位置，并用它描述环境中的任何物体的位置，该坐标系称为世 界坐标系。它由j 0 ，y w ，z 。轴组成。摄像机坐标系与世界坐标系的关系可以用 旋转矩阵矗与平移变量f 来描述。因此空间中某一点p 在世界坐标系与摄像机坐标 系下的齐次坐标如果分别为( 。，乙，l 厂与似。，圪，z c ，l y ，于是存在如下关系： x c 匕 z c l 以 = 刚巨 1 1 = m x w z l ( 2 4 ) 第2 章双目立体视觉理论研究 r 为3 x 3 正交单位矩阵；r 为三维平移向量o = ( o ，0 ，o ) 7 ；m ，为4 x 4 矩阵。 2 3 3 坐标系间变换 从3 - d 场景到数字图像的成像变换可以看作由以下四步组成田1 ： 至t ，叶三卜t z 卜叶j 卜c 叫三 一h 卜( 口 图2 6 成像变换步骤 ( 1 ) 从世界坐标系( x ，l z ) 到摄像机3 - d 坐标( x ，y ，z ) 的变换。则变换可以表 示为： hh l ：j 2 r 匕j + r ( 2 - 5 ) 其中r 和r 分别是3 x 3 旋转矩阵( 实际上是两坐标系统三组对应坐标轴轴i 司夹 角的函数) 和1 3 平移矢量。 ( 2 ) 从摄像机3 - d 坐标( x ，y ，z ) 到失真像平面坐标g ，y ) 的变换是： ，= f x _ 2 ( 2 6 ) j y f，= 三 ( 3 ) 从无失真的像平面坐标x ，y ) 到受镜头失真影响而偏移的实际像平面坐 标g ，y ) 的变换是： 工：叫一咫( 2 - 7 ) y = y r 。 其中r 和置，代表镜头的径向失真，一般在计算机视觉中切向失真比较小，因 此只需考虑径向失真就可以了。 ( 4 ) 实际的像平面坐标0 ，y ) 到计算机图像坐标( m ，) 的变换是： 肚皆 p 。， n = 旦+ 晓sy n 其中，m ，n 是计算机存储器中像素的行数和列数( 计算机坐标) ，0 ，和眈是 沈阳理工大学硕士学位论文 计算机存储器中心像素的行数和列数，s ，是沿x 方向( 扫描线方向) 两相邻传感器中 心间的距离，s ，是沿y 方向两相邻传感器中心间的距离，工。是x 方向传感器元素 的个数，m ，是计算机在一行里的象素个数。最后，是一个取决于c c d 摄像机 的不确定图像尺度因子，当使用c c d 时。图像是逐行扫描的。沿