[硕士论文精品]基于特征点和灰度相关的双目视觉匹配研究

沈阳理工大学硕士学位论文摘要双目视觉由于仿照人类视觉的立体感知过程，成为计算机视觉领域的研究热点。立体匹配是双目视觉中最关键的步骤，立体匹配根据对所选特征的计算，建立特征间的对应关系，将同一空间点在不同图像中的映像点对应起来，并由此得到视差图像。本文利用双目立体视觉系统获取的图像展开了立体匹配的研究工作。首先，全面阐述了双目立体视觉理论及研究内容，并且根据选择的立体视觉成像系统模型介绍了立体视觉测距的基本原理。其次，在视觉图像预处理阶段，介绍了图像的灰度线性变换、直方图均衡化、平滑滤波及图像锐化等内容，并给出了视觉图像预处理的结果图。另外，在分析了边缘检测算子对图像特征提取的基础上，针对立体匹配的要求，研究了一种基于对称指数滤波与LAPLACIAN相结合的边缘检测算法。最后，阐述了双目视觉立体匹配原理，详细分析了立体视觉匹配算法。针对灰度相关匹配计算量大、特征匹配算法复杂的特点，研究并实现了一种基于多特征约束的分阶段立体匹配算法。实现过程中，选择特征与区域相结合的复合基元，在第一阶段通过灰度相关双闽值判断获取最佳匹配点和候选匹配点，第二阶段则以第一阶段粗匹配结果为基础，依据图像的视差相容性约束寻求最佳匹配。实验结果表明，该算法取得了较好的匹配效果。关键词计算机视觉；双目视觉立体匹配；视差沈阳理工大学硕士学位论文ABSTRACTBINOCULARVISIONHASASTRONGRESEMBLANCETOTHEVISUALPERCEPTIONPROCEDUREOFMANKIND，THERESEARCHONBINOCULARVISIONBECOMESAHOTSPOTINTHEFIELDOFCOMPUTERVISIONTHESTEREOMATCHINGISTHEKEYOFBINOCULARVISION,STEREOMATCHINGBASEDONTHESELECTEDFEATURES，ANDESTABLISHESTHERELATIONSHIP协TWEENTHECHARACTERISTICSINORDERTOGETCORRESPONDINGDISPARITY,THECORRESPONDINGPOINTSINTHEDIFFERENTIMAGEALESEARCHEDRESEARCHONBINOCULARVISUALIMAGESTEREOMATCHINGISCARRIEDOUTINTHISPAPERFIRSTLY，BINOCULARSTEREOVISIONDISTANCEMEASUREDTHEORYANDTHECONTENTSOFTHEBINOCULARSTEREOVISIONA糟ELUCIDATEDINDETAILSACCORDINGTOTHEMODELOFSELECTIVESTEREOIMAGINGSYSTEM,THEFUNDAMENTALPRINCIPLEISINTRODUCEDSECONDLY,INTHESTAGEOFVISUALIMAGEPREPROEESSING，THEIMAGEFAYLINEARTRANSFORMATION,HISTOGRAMEQUALIZATION,FILTERINGANDIMAGESHARPENINGAREINTRODUCED,ANDTHERESULTOFVISUALIMAGEPREPROCESSINGISPRESENTEDINADDITION,BASEDONTHEANALYSISOFTHEEDGEDETECTIONOPERATOROFTHEIMAGECHARACTEREXTRACTION,ALGORITHMCOMBINESASYMMETRICEXPONENTIALSMOOTHINGFILTERANDLAPLACIANOPERATORISPRESENTEDTOMEETTHEREQUIREMENTSOFSTEREOMATCHINGFINALLY，THECONTENTSRELATEDTOTHEBINOCULARSTEREOMATCHINGISEXPOUNDED，STEREOMATCHINGALGORITHMSAREANALYZEDINDETAILINALLUSIONTOTHEBIGCOSTOFCALCULATIONINGRAYCORRELATIONMATCHINGANDCOMPLEXITYOFALGORITHMINFEATUREBASEDMATCHING，ATWOSTAGESTEREOVISIONMETHODUSINGMULTIPLECONSTRAINTSANDTWOTHRESHOLDVALUEJUDGMENTISRESEARCHEDANDREALIZEDINTHEPROCEDUREOFREALIZATION,COMPOUNDCHARACTERISTICOFFEATUREANDAREAISSELECTEDINTHEFIRSTSTAGE，THEOPTIMALMATCMNGPOINTSANDCANDIDATEMATCHINGPOINTSCALLBEGOTTHEMETHODLLSESGRAYCORRELATIONTOMATCHCORRESPONDINGALGAANDTWOTHRESHOLDVALUEJUDGMENTINTHESECONDSTAGE,THEUNIQUEMATCHINGFORCANDIDATEPOINTSISDONEWITHPARALLAXCORRELATION,SO，THEMETHODHASSELFADAPTATIONTOTHECOMPLEXSCENEEXPERIMENTSSHOWTHAT，THEMATCHINGMETHODHASADVANTAGESOFPREFERABLEEFFECTKEYWORDSCOMPUTERVISION；BINOCULARVISION；ST盯EOMATCHING；DISPARITY沈阳理工大学硕士学位论文原创性声明本人郑重声明本论文的所有工作，是在导师的指导下，由作者本人独立完成的。有关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中已注明引用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文的研究做出重要贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。作者签字弓良金苍日期珈7年弓月J日学位论文版权使用授权书本学位论文作者完全了解沈阳理工大学有关保留、使用学位论文的规定，即沈阳理工大学有权保留并向国家有关部门或机构送交学位论文的复印件和磁盘，允许论文被查阅和借阅。本人授权沈阳理工大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其它复制手段保存、汇编学位论文。保密的学位论文在解密后适用本授权书学位论文作者签名祆念冀日期炒“FJ喾导教师签煮弓衫茗日瓤彳训，第1章绪论11计算机视觉简介第1章绪论视觉是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有80来自视觉系统，这说明视觉的信息量是巨大的，同时也表明人类对视觉信息有着较高的利用率111。视觉是人类获取信息的最强有力而又最有效的手段，它不仅是指对光信号的感受，而且也包括对视觉信息的获取、传输、处理、存储与理解的全过程。视觉的最终目的从狭义上说是要对场景给出对观察者有意义的解释和描述；从广义上说，是根据周围环境和观察者的意愿在这些解释和描述的基础上制定出行为规划。计算机视觉是指利用计算机实现人类的视觉功能，即对客观世界的三维场景的感知、识别和理解。计算机视觉的主要研究目标是；建成计算机视觉系统，完成各种视觉任务；把该研究作为探索人脑视觉工作原理的手段，进步加深对人脑视觉的掌握和理解。同时，对人脑视觉的充分理解也将促进计算机视觉的深入研究。长期以来，对人脑系统从生理、心理、神经等各个方面进行了大量的研究，但是还远没有揭开视觉过程的全部奥秘，可以说对视觉机理的研究和了解还远远落后于对视觉信息处理的研究和掌握。融合两只眼睛获得的图像并观察它们之间的差别通常称为视差，可以获得明显的深度感O”。相应地，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。可靠的立体感知算法在机器人视觉导航、地图生成、航空勘测和近距离照相测量等领域都有很广阔的应用价值，另外在用于目标识别的图像分割，以及计算机图形学的三维场景重建中也有用武之地。计算机视觉是计算机科学研究领域的重要分支，其研究的核心问题是从景物图像或序列图像求出景物的精确的三维几何描述，并定量地确定景物中物体的空间性质，其过程是成像过程的逆过程。与计算机视觉相关的学科主要有数字图像处理、计算机图形学，模式识别、人工智能，人工神经网络等口】。沈阳理工大学硕士学位论文12国内外研究现状及存在问题121国内外研究现状立体视觉是计算机被动测距方法中最重要的距离感知技术，它模拟人类视觉处理景物的方式，可以在多种条件下灵活地测量景物的三维信息。立体视觉中最关键的部分是进行多幅视觉图像的对应点基元匹配问题，即立体视觉匹配，简称立体匹配14L。双目立体匹配算法就是在两幅图像的匹配点基元之间建立对应关系的过程，它是双目立体视觉系统的关键。实际上，任何计算机视觉系统中都包含一个作为其核心的匹配算法，因而对于匹配算法的研究是极为重要的。立体匹配算法中对视差测距的约束主要体现在所采用的匹配策略上。根据匹配所采用的基元以及成像几何的不同，匹配策略在很大程度上也是不同的。立体视觉匹配算法目前分为三大类区域匹配、特征匹配和相位匹配嘲。1基于灰度相关的区域匹配算法基于灰度相关的区域匹配算法是解决基元对应问题的一个最直观最简单的方法。在一幅图像中以一点为中心选定一个区域窗口，在另一幅图像中寻找与该区域互相关系数最大的区域，把找到的区域的中心认为是原来区域中心的对应点。基于灰度相关的区域匹配算法计算量很大，而且对噪声很敏感，但可以得到整幅图像的视差图。窗口开得过大，可能匹配的选择较多，误匹配的可能性大，不适于灰度分布均匀的图像，较适于自然景物等灰度分布复杂的图像。采用该方法的关键在于排除或减轻噪声的影响。LEVINEST卅算法在一维的匹配邻域内搜索互相关值最大的匹配点。KANADE和OKULOMI【7J根据局部灰度变化以及局部视差变化的统计分析，自适应地调整匹配窗口的大小，有效地处理视差突变的区域。NEVATIAMEDIONI算法以线片段为基元，以最小差别视差为基准，建立匹配过程，该基准实际上是连续性约束的一种表现形式。ZITNICK和KALLADGISL利用视差空间的匹配值基于邻域和视线方向的迭代进行匹配过程，并进行遮掩区域的检测。2基于特征的匹配算法基于特征的匹配方法是有选择地匹配能表示景物自身特性的特征，通过更多墨童丝堡地强调空间景物的结构信息来解决歧义性问题。根据特征类型的不同，基于特征的匹配方法又分为基于点特征的匹配方法，如BAKERI”，ARNOLD”L，LLOGDJ等提出的边缘点匹配，KIMT”1的零交叉点匹配以及BAMARDI”的MORAVEC算子“兴趣点”匹配；基于线特征的匹配方法，如OHTAT”L的边缘线匹配，MEDIONIT”L，ALUO【1Q的直线段匹配以及NASRABADI”1的曲线段匹配；基于面特征的匹配方法，如LEET“1的分割区域匹配算法。其中，BAKER,AMOLD，LIEGD的边缘点匹配以及OHTA的线特征匹配中运用了动态规划技术通过搜索最佳路径对匹配进行了优化；LEDM，BAMARD的特征点匹配，MEDIONI，NASRABADI的线特征匹配以及LEE的面特征匹配中首先根据简单的相似准则求得初始匹配，然后根据匹配特征间的几何和视差约束，利用松弛迭代技术增强初始匹配结果，提高匹配正确率；A，LUO的直线段匹配中则采用了模糊技术，运用分层策略来减少匹配歧义，提高正确率。特征匹配的优点是匹配基元包含了令人满意的统计特性以及算法编程上的灵活性；算法的许多约束条件均能清楚地应用于数据结构，而数据结构的规则性使得特征匹配适用于硬件设计。其中，基于线段的特征匹配算法将场景模型描绘成相互联结的边缘线段，而非区域匹配中的平面模型，能很好地处理一些几何畸变问题。此外，特征匹配不直接依赖于灰度，具有较强的抗干扰性，而且计算量小，速度快。由于边缘特征往往出现在视差不连续的区域，特征匹配较易处理立体视觉匹配中的视差不连续问题。同样地，特征匹配算法也存在着一些不足首先，特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场，要获得密集的视差场必须辅以复杂的插值过程；其次，特征的提取和定位过程直接影响特征匹配结果的精确度。鉴于灰度区域相关方法的局限性，现在大部分研究集中在这方面。在许多环境中，图像的特征是很有规律地分布的，反映了场景的核心，数量少，处理方便。基于特征的立体视觉匹配算法，通过建立所选基元的对应关系获取稀疏的深度图。如果需要，再经过内插等方法可以得到整幅深度图，这一类算法因各自采用的匹配基元不同而相异。概括而言，该类匹配算法都是建立在匹配基元之间相似性度量的基础上的，是以匹配基元的各项参数信息为依据的局部特征相似程度的度量。这种方法与摄像机模型相结合，可以大大减小匹配时的搜索空问。具体实现中一般采用概率度量、松驰法迭代或者聚类等模式识别算法来实现。鎏里里三丕堂堡主堂垡丝奎MARTPOGGIOCNIMSON算法以过零点为基元，利用连续性约束通过迭代方式实现匹配过程。BAMARD算法使用松弛法对所有的对象进行并行处理，使其概率的累计受到周围影响的同时渐渐达到整体的视差平衡。基于特征的匹配算法特别适用于具有显著特征信息的环境如室内环境，具有速度快、精度高的特点，但在缺少显著主导特征的自然环境下，该方法也遇到了很大困难。这部分可望能利用如专家系统等现代人工智能研究手段，作为承上启下，建立更高层次描述的先导。3基于相位的匹配继区域匹配和特征匹配之后，KUGLIN和HINES”1等提出了第三种匹配算法基于相位的匹配算法，相位匹配是近二十年来才逐步发展起来的一类匹配算法，相位匹配算法认为图像对应点的局部相位是相等的。相位匹配算法是一种基于像对中对应点局部相位相等的假设的匹配方法。根据傅立叶平移定理，信号在空间域上的平移产生频率域上成比例的相位平移。频率域信号分析在数学表达上更有助于区域分析】。依据傅立叶平移定理，信号在空间域的平移产生频率域上等比例的相位平移。考虑傅立叶变换的空间支撑为无限，相位匹配方法对带通滤波信号的相位信息进行处理而得到像对间的视差，常用的相位匹配方法有相位相关法和相位差频率法【2”。匹配后建立的视差图由于周期性模式、光滑区域的存在以及遮挡效应、约束原则的不严格等原因会导致视差图产生误差，因此还必须对视差图进行误差检测和校正。KANADE根据局部图像强度变化模式和局部视差变化模式来调节窗口建立了一种自适应算法。122立体匹配存在问题虽然立体视觉经过20多年的研究，已经有了很大的发展，但无论是从视觉生理的角度，还是从实际应用方面来看，现有的立体视觉技术还处在十分不成熟的阶段。这不仅仅涉及到技术上的原因，而且更多地在于人类对自身视觉机理还不十分了解。人类视觉系统具有惊人的分析理解能力，但人类是如何精选、获取和分析理解视觉知识的，至今还未充分搞清楚。立体匹配作为立体视觉的核心，在理论上和技术上都存在着很多问题，主要困第1章绪论难在于图像之间不可避免地存在着差异。造成图像之间存在差异的原因有很多，概括起来包括以下几种221灰度差异由于成像角度的不同及照明条件的变动，使景物表面上某点在不同成像平面上的投影点的灰度值产生较大的差别；遮挡效应引起的差异现实景物之间，不可避免地存在着视线的遮挡效应，景物被遮挡的部位和遮挡的程度会随着视角的不同而发生改变特征抽取结果的差异发生在立体像对特征之间的匹配是以图像特征提取为基础的，所以当两图像的不同部位的反差存在差异时则会在反差弱的区域产生特征丢失的现象。丢失特征部位和丢失特征程度的差异给图像匹配带来了很大的困难；噪声引起的差异由于成像系统和图像预处理技术远非理想，在每个环节都会引进虚假噪声，并且对两幅图像的损害程度可能不同，所以噪声也是引起图像匹配出错的重要原因。由于这些难点，至今并无通用的匹配算法，各种算法都只是针对匹配技术的特定问题进行探讨，并且都有自己的限定条件。13选题背景及研究意义131选题背景立体视觉的开创性工作是从60年代中期开始的，美国MIT的ROBERT完成了三维场景的分析工作，把过去的二维图像分析推广到三维景物，这标志着立体视觉技术的诞生。七十年代，立体视觉在图像的预处理技术、提取特征信息和图像立体匹配技术等许多方面都有重大突破；七十年代末，MART和POGGIO等人创立的计算机视觉理论对立体视觉的发展产生了巨大影响，使得景物可视表面的重建形成了一个完备的体系。80年代美国麻省理工学院人工智能实验室的MARR提出了一种视觉计算理论并应用在双目匹配上，使两张有视差的平面图像产生有深度的立体图形，奠定了双目立体视觉发展的理论基础【”1。双目立体视觉是计算机视觉的一个重要分支，是由不同位置的两台摄像机CCD拍摄同一幅场景，通过计算空间点在每幅图像中的视差，获得该点的三维坐沈阳理工大学硕士学位论文标值。相比其他类的计算机视觉方法，双目立体视觉直接模拟人类双眼处理景物的方式，可靠简便，在许多领域均极具应用价值。经过20多年的研究，立体匹配得到了越来越广泛的应用，研究方法也从早期的以统计相关理论为基础的相关匹配，发展到具有很强生理学背景的特征匹配，从串行到并行，从直接依赖于输入信号的低层处理到依赖于特征、结构、关系和知识的高层次处理，且性能不断提高。立体视觉作为一个多学科交叉领域，吸引着大批包括视觉生理、心理、物理、数学以及计算机科学等多种学科的研究人员，运用不同的技术手段对之进行深入的研究；并且在现代工业、国防、医学、空间技术等领域有着广阔的应用前景。对立体视觉的研究不仅具有重要的理论意义，而且具有重要的实用价值1人们生活和工作在三维几何空间中，对外界的感性认识首先是各种三维物体的信息，三维几何的信息处理是人类活动中最重要的也是最基本的信息处理内容。与几何处理及其显示相关的学科实际是一个大学科群，一方面，研究从主观构思到生成模型和模拟客观世界显示的正向过程，主要是计算机图形学、CAD等；另一方面，研究从客观世界实物原始数据进行分析建模的逆向过程，主要是立体视觉、数字图像和视频处理、模式识别等。其中，逆向过程因其从二维信息求取三维信息，存在多义和多解的障碍，需要进行大量的智能分析和推理，较之正向过程的难度相对更大。但是，如果逆向处理识别重构技术能够取得进展，必将促进整个几何处理及显示大学科群的发展。立体视觉属于基于影像的重构技术，具有非接触性测量、实施较为简易的特点，具有广阔的应用前景，是有待于进一步开发的领域。2立体视觉是在图像处理的基础上发展起来的新兴学科。立体视觉从信息处理的层次研究视觉信息的认知过程，研究视觉信息处理的计算理论、表达与计算方法。进入八十年代后，立体视觉理论获得了蓬勃的发展，尤其是受高分辨率数字相机出现的影响。基于图像的立体匹配长期以来一直是个热点研究问题，而基于双目图像的研究更具一般性。3随着对应用系统的自动化程度和智能水平要求的提高，许多实际应用系统都希望增加机器视觉功能。而近年来，CCD光电输入和数字化技术的不断进步，数码相机的普及，硬件装置价格的不断下降，计算机性能的不断提高，也为立体第1章绪论视觉技术的应用提供了条件，使得立体视觉技术的应用更加广泛和普及。132研究意义立体视觉应用领域也很广泛，己应用于遥感图像分析、文字识别、医学图像处理、多媒体技术、图像数据库、工业检测与军事等方面。随着计算机科学的飞速发展，摄像机的普及，立体视觉研究的前景逐渐显现出来。而在整个立体视觉过程中的关键就是立体匹配，它的精度直接影响着三维信息恢复的精度。立体视觉系统在分析和理解图像时都需要立体匹配，而这一技术还很不完善。在具有灰度失真、几何失真透视、旋转、缩放等失真和噪声的情况下匹配图像是十分困难的。目前还没有一个可靠的通用的匹配方法，尤其是在失真和噪声比较严重的情况下，匹配更为困难。立体匹配技术是计算机视觉领域中最关键的研究分支，立体匹配根据对所选特征的计算，建立特征间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来，解决对应点匹配问题是计算机视觉中的永恒主题。基于特征点的匹配方法能够更多的利用图像的结构信息，因而计算量小，可提高匹配速度，但只能获得离散的信息。利用灰度相关方法，易于得到快速的匹一配，但它们的定位精度差，特征提取与描述困难。因此综合利用两种算法对图像进行匹配，能够得到相对较好的匹配结果。14论文主要研究内容本课题是“基于双目视觉的产品设计三维建模技术”项目中图像获取、图像处理、视觉图像边缘特征信息提取、立体匹配等关键技术的研究。“基于双目视觉的产品设计三维建模技术颂目主要是将计算机视觉技术和CAD反求工程相结合，以机械设计为背景，研究大型产品外观设计的三维建模技术，根据已有的实物模型，通过双目立体视觉的匹配方法获得对应点坐标、视差等数据，然后重建实物的CAD模型。因此，本课题采用类似人类视觉的平行双目立体视觉系统获取图像并进行匹配算法的研究与实现，以恢复空间物理点在左右图像中的对应点视差。第一章对计算机视觉理论作了概述，并介绍了课题研究背景、国内外研究现7鲨旦里三查堂堡主堂垡丝奎状及存在问题、选题背景、课题研究意义。第二章对MAN“计算机视觉理论框架。立体视觉主要研究内容作了详细介绍，并阐述了摄像机成像模型、坐标系间变换、三维测量原理等内容。第三章介绍了图像预处理内容，包括图像灰度线性变换、直方图均衡、图像平滑、图像锐化等内容。第四章介绍边缘检测算法，针对立体匹配要求，研究了一种基于对称指数滤波与LAPLACIAN相结合的边缘检测算法，并给出了检测结果。第五章详细叙述了立体视觉匹配算法，并且阐述了基于多特征约束的分阶段立体匹配算法的实现过程。如上所述，本文的研究重点放在视觉图像预处理、视觉图像边缘特征信息提取和立体匹配等方面，同时为了保证文章的系统性，也介绍了立体视觉系统中其它部分研究内容。8第2章双目立体视觉理论研究第2章双目立体视觉理论研究视觉是人类获取信息的主要手段之一，让计算机具有人类视觉功能一直是科学工作者的梦想。很久以来，由于人类对视觉机理理解的局限以及计算手段的限制，视觉研究基本上是基于二维的，且多数是采用模式识别的方法完成此类工作。直到20世纪60年代ROBERTS用程序成功地对三维积木世界进行解释，才把视觉研究从二维推广到了三维，从而诞生了立体视觉。而双目立体视觉由于模拟人类视觉的感知过程，因此得到了广泛的应用。21MARR的计算机视觉理论框架20世纪80年代初，MART首次从信息处理的角度综合了图像处理、心理物理学和神经生理学及临床神经病学等方面已取得的重要成果，提出了第一个较为完善的视觉系统框架，使计算机视觉研究有了个比较明确的体系241。MARR认为，视觉系统的任务是对环境中的三维物体进行识别、定位与运动分析。三维物体千差万别，应存在一种计算理论层次上的一般性目的描述。如果达到了这一目的，则不管是什么具体物体，视觉任务均可完成，即通过视觉系统，重建三维物体的形状、位置。然而，如果在每一时刻都能够做到这点，则可以实现对物体的运动分析。MART计算机视觉理论把视觉过程看作一个信息处理过程，认为对视觉系统的研究应分为三个层次，即计算理论层次，表达与算法层次和硬件实现层次。表达与算法层次的研究是要给出各部分的输入、输出和内部信息的表达。以及实现计算理论层次所规定的一般性目的算法。表达与算法是比计算理论低一层次的问题，不同的表达与算法，在计算理论层次上可以是相同的。硬件实现层次则是要解决如何用硬件实现以上算法的问题。目前计算机视觉的研究工作主要集中在计算理论和表达与算法这两个层次上，对于硬件实现，目前有一些比较成熟的部分如低层次图像处理中的去噪声，边缘抽取对简单三维物体识别及简单场景下的视觉方法，已有专用芯片或并行处理体系结构方面的研究与试验产品而在构建通用的视觉系统方面，虽有一些尝试，但一般并不会成功。垫旦里三奎堂堡主兰堡堡奎MART理论着重强调计算理论层次，阐明视觉的目的是从图像中建立物体形状和位置的描述。在这一层次把视觉过程主要规定为从二维图像信息中定量恢复图像所反映的三维场景中物体的形状和空间位置，即三维重建。在计算理论这一层次，MARR将整个视觉过程分为早期视觉、中期视觉和后期视觉三个阶段，如图21所示。型盥臣亟碰虹堕E陋绌屯圃型举图21MART视觉理论过程在视觉问题划分为三个层次的基础上，MART理论把视觉过程主要规定为定量地恢复出图像所反映的场景中二维物体的形状和空间位置，将这一恢复过程分为三个阶段。图22MART理论中图像恢复三阶段第一阶段也称为早期阶段是将输入的原始图像进行处理，抽取图像中诸如角点、边缘、纹理、线条、边界等基本特征，这些特征的集合称为基元PRIMITIVESKETCH；第二阶段中期阶段是指在以观察者为中心的坐标系中，由输入图像和基元图恢复场景可见部分的深度、法线方向、轮廓等，这些信息包含了深度信息，但不是真正的物体三维表示。因此，称为二维半图25DIMENSIONALSKETCH，即部分的、不完整的三维信息描述图，是要素图和三维图像模型之间的中间层次，包含物体表面的局部内在特征，是重建的三维物体在以观察者为中心的坐标系下的三维形状与位置。当人眼或摄像机观察周围环境物体时，观察者对三维物体最初是以自身坐标系来描述的。另外，观察者只能看到物体的一部分，另一部分是物体的背面或被其它物体遮挡。因此，重建结果是在观察者坐标系下描述的部分三维物体形状，称为25维描述。这一阶段中存在许多并行的相对独立的模块，如立体10第2章双目立体视觉理论研究视觉、运动分析、由灰度恢复表面形状等不同的处理单元；在以物体为中心的坐标系中，由输入图像、基元图、二维半图来恢复、表示和识别三维物体的过程称为视觉的第三阶段后期阶段。22双目立体视觉系统主要研究内容双目立体视觉在实际应用中有很多问题需要解决，例如，选择怎样的视觉图像特征，如何寻找点与点之间的对应关系等，这些技术难点的解决直接构成了双目立体视觉系统的相应组成部分。根据双目立体视觉技术处理问题的顺序可以把它分为图像获取、摄像机标定、特征提取、立体匹配、深度确定及内插重建等六大部分例。1图像获取双目视觉图像对有时也称为立体图像对的获取是双目立体视觉的基础，也就是用摄像机获取3D物体的二维图像。获取含有立体信息的图像的方式有很多，实际选用时要考虑具体应用的场合和目的。采集视觉图像的视点可以在一条直线上，也可以在一个平面上，或甚至里立体分布，理想的情况是获取的视点在一条直线上。在获取立体图像的过程中，不但要考虑满足应用要求，而且要考虑视点差异、光照条件、摄像机的几何特性、景物特点等因素的影响。另外，摄取自然景物时要尽量避免平滑无特征区域以及重复结构景物的影响。2摄像机标定摄像机标定的目的是建立有效的成像模型，并确定摄像机的内外部属性参数，以便正确建立空间坐标系中物点与它在图像平面上像点之间的对应关系。在立体视觉中，常使用多个摄像机，对每个摄像机都要进行标定。在从2D计算机图像坐标推导出3D信息时，如果摄像机是固定的，只需一次标定就可以了。3视觉图像特征提取特征提取是为了得到匹配赖以进行的图像特征，由于目前尚没有一种普遍适用的理论可以用于图像特征的提取。从而导致了立体视觉研究中匹配特征的多样性。根据多视点的视差确定3D信息，其关键的一步就是确定场景中同一物点在不同图像中的对应关系。解决该问题的方法之一是选择合适的图像特征并进行匹配，这里的特征是一个泛指的概念，可以是像素或像素的集合，也可以是它们的沈阳理工大学硕士学位论文抽象表达。目前还没有一种获取图像特征的普遍适用的理论，常用的匹配特征从小到大主要有点状特征、线状特征和区域特征等。一般来讲，大尺度特征含有较丰富的图像信息，本身数目较少，易于得到快速的匹配；但对它们的提取与描述相对复杂，定位精度也差。另一方面，小尺度特征本身的定位精度高，表达描述简单；但其数目常较多，而所含信息量却较少，因而在匹配时需要采用较强的约束准则和匹配策略。4立体匹配立体匹配是双目立体视觉中最关键、最困难的一步，与普通的图像配准有所不同，立体像对之问的差异是由摄像时观察点的不同引起的，而不是由其它如景物本身的变化、运动所引起的。立体匹配的方法主要可以分为基于灰度相关、基于特征以及基于相位的匹配I。基于灰度相关的匹配方法直接用像素灰度进行匹配，这类方法的优点是匹配结果不受特征检测精度和密度的影响，因而可以得到很高的定位精度和密集的视差表面。这类方法的缺点是依赖于图像灰度统计特性，所以对景物表面结构以及光照反射较为敏感，因此在空间景物表面缺乏足够纹理细节、成像失真较大如基线长度过大的场合存在一定的困难。实际匹配中可采用一些灰度的导出量，但有实验表明在用灰度、灰度微分大小和方向、灰度拉普拉斯值以及灰度曲率作为匹配参数进行的匹配比较中，利用灰度参数取得的效果最好。基于结构特征的匹配方法需要检测能够表示景物自身结构特性的特征，如直线边缘、各种边缘交点等。这类方法的优点是由于使用从视觉图像得到的符号特征作为匹配基元，所以在环境照明发生变化的情况下性能较为稳定。这类方法的缺点是特征提取需要额外计算量，另外由于特征是离散的，所以不能在匹配后直接得到密集的视差场。相位匹配是近二十年来才发展起来的一类匹配算法。相位作为匹配基元，本身反映信号的结构信息，对图像的高频噪声有很好的抑制作用，适于并行处理，能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波器解决ML。53D信息的恢复当通过立体匹配得到视差图像后，便可以确定深度图像，并恢复场景3D信蔓童翌旦皇堡塑堂里笙堕壅息。影响距离测量精度的因素主要有数字量化效应、摄像机标定误差、特征检测与匹配定位精度等。一般来讲，距离测量精度与匹配定位精度成正比，与摄像机基线不同摄像机位置阃连线长度成反比。增大基线长度可以改善深度测量精度，但同时会增大图像间的差异，增加匹配的困难程度。因此，要设计一个精确的立体视觉系统，必须综合考虑各个方面因素，保证各个环节都具有较高的精度。6后处理经过以上各个步骤所得到的3D信息常因各种原因而不完整或存在一定的误差，需要进一步的后处理。常用的后处理有三类深度插值立体视觉的首要目的是恢复景物可视表面的完整信息，而基于特征的立体匹配算法只能恢复出图像中特征点处的视差值。因此在后处理中要追加一个视差表面内插重建步骤，即对离散数据进行插值以得到不在特征点处的视差值。插值的方法很多，如最近邻插值、双线性插值、样条插值等，另外还有基于模型的内插重建算法。在内插过程中，最重要的问题就是如何有效地保护景物表面的不连续信息。从某种意义上说，内插是个重建过程，这里要重建的是与图像信息相容的一。最佳拟合面，所以内插重建必须满足表面相容性原理。误差校正一一立体匹配是在受到几何畸变和噪声干扰等影响的图像间进行的，另外由于周期性模式、光滑区域的存在，以及遮挡效应、约束准则的不严格性等原因都会在视差图中产生误差，对误差的检测和校正也是重要的后处理内容。这里常需要根据误差产生的原因和方式选择合适的手段进行。精度改善视差的计算和深度信息的恢复是各项后续工作的基础，因此对视差计算的精度常有较高的要求。因此，可在获得一般立体视觉通常的像素级视差后，进一步改善精度，以达到亚像素级的视差精度。沈阳理工大学硕士学位论文23成像系统模型分析231摄像机模型和成像原理立体视觉系统应能从摄像机获取的图像信息出发，计算三维环境物体的位置、形状等几何信息，并由此识别环境中的物体。图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置有关。这些位置的相互关系由摄像机成像几何模型决定，该几何模型的参数称为摄像机参数。摄像机模型是光学成像几何关系的简化，最简单的模型是线性模型，或称为针孔模型当计算精度要求较高，尤其是当摄像机的镜头是广角镜头时，线性模型不能准确描述摄像机的成像几何关系，这时就需要建立摄像机的非线性模型。在本论文的研究中线性模型可以满足精度要求，因此详细地介绍摄像机的线性模型。要通过两个摄像机从不同方向拍摄两幅二维图像，通常假定两个摄像机的参数一致，而且每个摄像机都被假设为一个理想的小孔摄像机，也就是采用透视投影成像模型。图像平面坐标系原点2光轴图23小孔摄像机模型图图2300位于图像平面前距离为厂的点被称为摄影中心。由于图像平面位于摄影中心的后面，这种小孔摄像机模型又称为后投影模型，小孔摄像机模型不考虑透镜的畸变，在大多数应用场合，这种模型可以满足精度要求。第2章取目立体视觉理论研究232图像坐标系、摄像机坐标系与世界坐标系摄像机通过成像透镜将三维场景投影到摄像机二维像平面上，这个投影可以用成像变换描述，即摄像机成像模型。摄像机采集的图像以标准电视信号的形式输入计算机，经计算机中的专用数模转换板转换成数字图像。每幅数字图像在计算机内为MX数组，M行N列的图像中的每一个元素称为像素，PIXEL的数值既是图像点的亮度。如图24所示VOUX在图像上定义直角坐标系，V分别是该像素在数列中的列数与行数。所以，0，V是以像素为单位的图像坐标系的坐标。由于U，V只表示像素位于数组中的列单位表示的图像坐标系。该坐标系以图像内某一点DL为原点，X轴与J，轴分别与甜点一般位于图像中心处，若DI在却，V坐标为“，每一个像素在石轴与Y轴方向上的物理尺寸为以和DY，则图像中任意一个像素在两个坐标系的坐标有如下关拈R2。忙砉VO沈阳理工大学硕士学位论文一1OOL22眺并翻，轴与图像的工轴与Y轴平行，互轴为摄像机的光轴，与图像平面垂直光轴与图像平面的交点即为图像坐标系的原点，由点0，以，K，互轴组成的直角坐标系，图25摄像机坐标系和世界坐标系由于摄像机坐标系可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中的任何物体的位置，该坐标系称为世界坐标系。它由J0，YW，Z。轴组成。摄像机坐标系与世界坐标系的关系可以用旋转矩阵矗与平移变量F来描述。因此空间中某一点P在世界坐标系与摄像机坐标系下的齐次坐标如果分别为。，乙，L厂与似。，圪，ZC，LY，于是存在如下关系XC匕ZCL以刚巨11MXWZL24第2章双目立体视觉理论研究R为3X3正交单位矩阵；R为三维平移向量OO，0，O7；M，为4X4矩阵。233坐标系间变换从3D场景到数字图像的成像变换可以看作由以下四步组成田1至T，叶三卜TZ卜叶J卜C叫三一H卜口图26成像变换步骤1从世界坐标系X，LZ到摄像机3D坐标X，Y，Z的变换。则变换可以表示为HHLJ2R匕JR25其中R和R分别是3X3旋转矩阵实际上是两坐标系统三组对应坐标轴轴I司夹角的函数和13平移矢量。2从摄像机3D坐标X，Y，Z到失真像平面坐标G，Y的变换是，FX_226JYF，三3从无失真的像平面坐标X，Y到受镜头失真影响而偏移的实际像平面坐标G，Y的变换是工叫一咫27YYR。其中R和置，代表镜头的径向失真，一般在计算机视觉中切向失真比较小，因此只需考虑径向失真就可以了。4实际的像平面坐标0，Y到计算机图像坐标M，的变换是肚皆P。，N旦晓SYN其中，M，N是计算机存储器中像素的行数和列数计算机坐标，0，和眈是沈阳理工大学硕士学位论文计算机存储器中心像素的行数和列数，S，是沿X方向扫描线方向两相邻传感器中心间的距离，S，是沿Y方向两相邻传感器中心间的距离，工。是X方向传感器元素的个数，M，是计算机在一行里的象素个数。最后，是一个取决于CCD摄像机的不确定图像尺度因子，当使用CCD时。图像是逐行扫描的。沿Y方向相邻像素间的距离也就是相邻CCD感光点间的距离，但沿一方向由于有诸如图像获取硬件和摄像机扫描硬件间的时间差或摄像机扫描本身时间的不精确性而会引入某些不确定因素。这些不确定因素可以通过引入不确定性图像尺度因子来描述。24立体视觉三维测量原理241双目平行视立体视觉结构两台在空问分离且平行的摄像机对同一个景物从两个不同角度拍摄时，其视野会产生一定的重叠。从而在一定的空间范围内形成一个二维空间，即所说的双目视觉或立体视觉区域。由于摄像机角度不同，产生的两幅二维图像会稍有不同。在双目区域中的任意一点，只要没有被其它景物遮挡，就会找到该点在两幅图像中的对应关系。两幅稍有差别的图像相当于经过左眼和右眼观看而得到，这会产生视差，从而在大脑中产生三维立体感。双目立体视觉是基于视差，由三角法原理进行三维信息的获取，即由两个摄像机的图像平面或单摄像机在不同位置的图像平面和被测物体之间构成一个三角形。已知摄像机之间的位置关系，便可以获得两个摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。双目立体视觉系统一般由两个摄像机或者由一个运动的摄像机构成，最理想的情况就是选用平行立体视觉成像系统，即两台摄像机平行放置，如图27所示。图27平行视立体视觉成像图在平行视立体结构设置中，由于两相机在水平方向相隔一定距离，所以要考第2章双目立体视觉理论研冗虑以下问题11双目立体视觉中的一个固有问题是无法控制由匹配点所引起的不正确对应性。产生无法匹配点的原因有两种二一是目标元素不处于共同视野，只有一个摄像机的成像平面中有其投影；二是即使目标元素处于共同视野，一个像机平面中有其投影。而另一个摄像机的成像平面中，因为由其它的目标元素所遮挡。不存在投影。在这两种情况下，对一幅图像选择这些投影点，而在另一幅图像中则找不到它的对应点。显然，减小摄像机之间的位移，可使其共同视野增加，出现上述情况的概率也随之减小。2在双目立体视觉结构设置中的另一个突出的问题是提高深度测量的精度与降低不正确对应性，对摄像机间的间隔有不同的要求。为了扩大共同视野，就要减少像机间的距离，这样距离测量的准确度就变差。反之，若增加像机之间的距离，则将增加深度测量的精度，而共同视野及不含匹配的概率也随之降低。242视差测距原理下面将进一步推导视差与深度的关系。根据视差测距原理图28，设C、C，分别为左、右两个摄像机的光学中心位置透镜中心，C与C，之间的距离为B，相机焦距为FO设物体上的点P在左右相机图像面上的投影点分别为置，P到C。C连线的距离为D，过C和C，分别向图像面即视平面作垂线，垂足分别为A、A。，过P向图像面作垂线，垂足为B，令14引屯。14CI_厶，LP占I口，则由相似三角腧孚焘垡，BZ101AA210D6LHA焘A瓮B警斗志BLH七KOLBO口咎一LOLB4如FA厶L一羔2一II2一122一T3沈阳理工大学硕士学位论文PJL乃。、B1L卜JI一。一C图28视差测距原理图CAAZ式可以看出，距离鹃6，F和乞一毛有关，毛一乇称为点尸在左、右两个图像面上形成的视差，它表示了P点在左、右两幅图像中成像点的位置差异。由于6，是已知的。因此，要实现双目立体视觉测距，最关键的就是要求得视差乞一厶，即要实现空间中同一点户在左、右两幅图像上的投影点之间的对应，两幅图像间对应点的寻求称为两幅图像的立体匹配。对于左摄像机像面上的任意一点，只要能在右摄像机像面上找到对应的匹配点二者是空间同一点在左、右摄像机像面上的对应点，就可以确定出该点的三维坐标。因此，近年来人们一直寻找立体匹配的最佳算法，期望提高立体匹配的精度，从而减少三维坐标的误差。243双目立体视觉数学模型立体视觉是由多幅图像一般是由两幅图像获取物体三维几何信息的方法。对于生物视觉系统，几乎所有具有视觉系统的动物都具有两个眼睛，用两个眼睛同时观察物体时，会有深度或者远近的感觉，通俗地讲就是看到的世界是三维的世界。随着计算机视觉理论的发展，双目立体视觉在计算机视觉研究中发挥了越来越重要的作用。双目立体视觉是由两个摄像机的图像平面或单摄像机在不同位置的图像平面和被测物体之间构成了一个三角形。由图29可见，对于空间物体表面上的任一点尸，如果用CL摄像机观察，看到它在CL摄像机上的成像点最，但无法由只得到P的三维位置。事实上在DLP连线上的任一点尸，的图像点都是月。但是如果同时用CL与C2两个摄像机观察P点，并20_第2章双目立体视觉理论研究且能够确定在摄像机CL上的像点只与在摄像机G上的像点只是同一物体上P点的像点，由于空间点尸即在直线DJ以上，又在D2B上，因此尸点是两直线OIPL与现只的交点，即它的三维位置是唯一确定的。如果能得到物体表面上所有点的三维坐标，则三维物体的形状和位置就是唯一确定的。在有些简单的场合，例如三维物体是一个多面体，只需要知道它的各个顶点的三维坐标与相邻关系，则该多面体的形状和位置也是唯一确定的。因此用立体视觉的方法获取三维点的坐标是最基本、也是最简单的方法。P图29用双摄像机观察空间点下面进一步讨论，在已知空间任意一点P在两摄像机CI与C2上的图像点鼻与只情况下，如何求得P点空间坐标。假设空间任意点尸在两摄像机CI与G上的图像为置与最，并且已经从两图像中分别检测出来，即已知异与县为空间同一点尸的对应点。同时还假设CL与C2摄像机己经标定，它们的投影矩阵分别为M与M，。于是有L”，FIU乙1叶划LJ历LLIR21M3LM12IM22IM32L1M13I朋23I肌“彗RTL2M氆2MMM毒L22223228所312，223，234207R2142一15XRZR1NIIIIL；脾加胁鎏里里三奎堂堡主堂堡堡苎其中，Q，1与“，V，1分别为只与B点在各自图像中的图像齐次坐标，X，Y,Z，1为P点在世界坐标系中的齐次坐标，M。TL，2；F1,2,3；J1,2，3，4分别为帆的第衍I第，列元素，可在上式中消去ZC。或ZC得到关于X，Y，Z的四个线性方程“聊”I。一1地N。、，。、，。一“所”CZS，【VL，玎3I_MRVIM3211一M121Y】，UVL，M行”3311一历M21331ZZ24LM211MM221M1一VIM柚1、。鼢M码Z躺嚣M22巍2M黧3M23322篆鬈葛P乃LV2鸭12一12XV2码22一YV232一Z他42一V242、7由解析几何知，三维空间的平面方程为线性方程，两个平面方程的联立为空间直线的方程该直线为两个平面的交线，式216或217的几何意义是过DL毋与D2最的直线。由于空间点P是D1只与D2最的交点，它必然满足式216与式217。因此，可以将式216与式217联立求出P点的坐标X，Y，Z。事实上，式216与式217为包含X，Y，Z三个变量的四个线性方程，根据数学原理只需知道三个方程就可以求出X，Y，Z，也就是说，式216与式2176P，只有三个独立的方程，这是因为己经假设置与最点是空间同一点尸的对应点，因此已经假设了直线DL丑与D只一定相交，或者说四个方程一定有解，而且解是唯一的。25小结本章详细说明了立体视觉理论及其涉及的摄像机模型，主要包括MART计算机视觉理论框架；立体视觉研究内容；摄像机模型及成像原理；成像涉及到的坐标系及其变换；双目立体视觉视差测距原理；立体视觉数学模型。第3章双目视觉图像预处理第3章双目视觉图像预处理针对双目立体视觉匹配