[硕士论文精品]空中目标的双目立体视觉测距

摘要基于立体视觉原理的立体视差测距方法是进行三维测量，获取三维场景距离信息的重要方法。随着计算机视觉技术的不断发展，立体视觉传感器得到越来越广泛的应用，尤其是双目视觉传感器的结构简单、使用方便、速度快、精度高等诸多优点被广泛应用于工业检测、物体识别、机器人自导引、航天、航空、及军事等很多领域。本文就是基于空中目标的特性进行立体视觉测距研究的。在第一章介绍了课题来源和选题背景及立体视觉研究动态第二章介绍了立体视觉系统的测量原理第三章介绍了针对空中目标的特性提出的图像分割和图像匹配算法，提出了采用目标重心特征作为匹配特征，双目并行运算的设计思想，并在匹配时采用了区域增长法的思想和模糊处理的思想第四章介绍了系统的实现和各项实验，以及在各类测距实验中针对不同因素对测距精度的影响所进行的数据处理和分析，其中在系统实现中重点介绍了图像采集系统的软硬件设计，设计了一套基于DSP的图像采集系统。最后总结了全文所取得的成果，及对本课题未来发展方向做了展望。关键字立体视觉图像分割图像匹配图像采集ABSTRACTTHEBINOCULARSTEREORANGINGMETHODBASEDONTHEPRINCIPLEOFSTEREOVISIONISANIMPORTANTMETHODWHICHCANDOTHREEDIMENSIONMEASUREMENTANDACQUIRETHEINFORMATIONOFTHREEDIMENSIONSURFACEPROFILEWITHTHEDEVELOPMENTOFTHETECHNOLOGYOFTHECOMPUTERSTEREOVISION,THEBINOCULARSTEREOSENSORHASAPPLIEDINFIELDOFINDUSTRYDETECTION,OBJECTIDENTIFICATION,ROBOTAUTOMATICGUIDANCE,NAVIGATION、MILITARYETCMEASURINGDISTANCEBYBINOCULARSTEREOVISIONTECHNIQUEBASEDONTHECHARACTERISTICOFAERIALOBJECTISRESEARCHEDINTHISPAPERINCHAPTERONE,ATFIRSTTHEORIGINANDBACKGROUNDOFTHISSUBJECTAREINTRODUCED,THENTHESTATEOFTHEDEVELOPMENTOFSTEREOVISIONISINTRODUCEDTHEPRINCIPLESOFTHEBINOCULARSTEREOINTHREEDIMENSIONMEASUREMENTAREILLUSTRATEDINCHAPTERTWOTHEALGORITHMOFIMAGESEGMENTATIONANDIMAGEMATCHINGWHICHISBASEDONTHECHARACTERISTICOFAERIALOBJECTISINTRODUCEDINCHAPTERTHREE,THEALGORITHMCONTAINSTHOUGHTOFCGMATCHINGANDBINOCULARPARALLELCOMPUTING,ANDDURINGMATCHINGITADOPTSTHEIDEAOFAREAINCREASINGANDFUZZYPROCESSINGTHEREALIZATIONOFTHESYSTEM,THEEXPERIMENTS,DATAPROCESSINGANDTHEANALYSISOFRANGINGACCURACYWITHTHEEFFECTOFSEVERALFACTORSINDIFFERENTEXPERIMENTSAREPRESENTEDINCHAPTER4,INTHESECTIONOFTHEREALIZATIONOFTHESYSTEMTHEDESIGNOFVIDEOACQUISITIONSYSTEMISINTRODUCEDINDETAIL,INTHISSECTIONAHIGHSPEEDANDFUNCTIONALAGILITYVIDEOACQUISITIONSYSTEMBASEDONDSPISREALIZEDFINALLY,THECONCLUSIONOFTHISPAPERANDFUTUREDEVELOPMENTOFTHESUBJECTAREDISCUSSEDKEYWORDSSTEREOVISIONIMAGESEGMENTATIONIMAGEMATCHINGVIDEOACQUISITION第一章绪论第一章绪论互1I课题来源及选题背景自然界的物体都是三维的，人类通过两眼获得物体的三维立体信息。但一般的摄影系统只能把三维的物体以二维的形式保存、记录下来，同时丢掉大量的信息。计算机立体视觉指的就是运用计算机技术和光学手段在获取的一幅或多幅图像中还原出被摄物体的立体信息，获得三维数据值。由于计算机立体视觉技术在军事、航空、航天、机器人导引、目标识别和工业检测等各种领域有着广泛的应用前景，所以它是当今国际上的热门课题之一，美国、日本、德国、加拿大等发达国家早在60年代末就开始投入大量资金进行这方面的研究，且提出了许多新的测量原理和方法，我国在近几年也开始有一些研究成果。现有的立体视觉测量的方法主要有双目立体视差法、莫尔条纹法3A傅里叶变换轮廓法35、位相测量法36、主动三角形法37、几何光学聚焦法38、飞行时间法等。其中双目立体视觉测距系统正是基于立体视差测距原理，它是利用两相对固定的摄像头，从不同位置采集到两幅图像，经过匹配特征点得到视差，然后计算出目标的三维信息，它是三维测量的一种重要方法。虽然双目立体视差法是最传统的一种立体视觉测量方法，但在这一方面的研究这些年并不多，随着计算机技术和传感技术的发展，使得它结构更加简单、使用更加方便，又具有较高的检测精度和检测速度，使它具有了应用于军事、航空、航天、机器人导引、目标识别和工业检测等各种领域的广泛前景，有必要对双目立体视觉测距方法做进一步的研究。本课题来源于某项目建设，就是从实际应用角度出发，针对空中目标的双目立体视觉侧距进行研究，寻求具有高速并行采集和处理思想的双目立体视觉的测量方法，要从理论和实验角度对双目立体视觉方法进行研究，其间要针对空中目标特性的匹配方法进行研究，对测量精度和距离分辨率进行分析，寻求一种切实有效的测量方法。12立体视觉研究概况立体视觉的开创性工作是从60年代中期开始的，美国MIT的ROBERT完成的三维景物分析工作，把过去的二维图像分析推广到了三维景物，标志着立体视觉技术的诞生，并在随后20年中迅速发展成为一门学科，特别是70年代末，DMARR空中目标的双目立体视觉测距创立的立体视觉计算理论对立体视觉的发展产生了重大影响，经过这些年的研究，在军事、航空、航天、机器人导引、目标识别和工业检测等各种领域应用越来越广泛，研究方法从早期的统计相关理论为基础的相关匹配，发展到现在有很强生物学背景的特征匹配，从串行到并行，从直接依赖于输入信号的底层匹配到依赖于特征、结构、关系和知识的高层次处理，性能不断提高，其理论处在不断发展和完善之中。从当前的发展方向来看，其发展方向可归纳如下1以全面的观点将立体视觉系统的各个模块联系起来，充分挖掘内在信息。2综合利用各种技术，多传感器融合，包括综合使用不同的匹配方法和主动式、被动式单目视觉技术等，提高技术的性能。3由传统的双目视觉向多目视觉，完全静态的视觉向动态视觉发展，通过增加信息输入降低视觉计算的难度。4向智能化发展，建立基于知识的、模型的和规则的立体视觉方法。5算法向并行化发展，采用并行流水线机制和专用的信号处理器件，增强系统的实用性。6强调场景和任务约束，针对不同的应用目的，优化选择各部分，建立有目的的和面向任务的立体视觉系统。现在国际上以计算机视觉为主题的会议有国际计算机视觉会议工CCV，国际计算机与模式识别会议CVPR，国际模式识别会议ICPR，欧洲计算机视觉会议ECCV与亚洲计算机视觉会议ACCV。以计算机视觉为主要内容的国际刊物也很多，如INTERNATIONALJOURNALOFCOMPUTERVISION,IEEETRANSONPAMI、IEEETRANSONROBOTICSANDAUTOMATION、IEEETRANSONIMAGEPROCESSING,CVGIP,LJPRAI,VISIONIMAGECOMPUTING,PATTERNRECOGNITION等。立体视觉系统一般可分为图像采集、摄像系统标定、特征选择与提取、立体匹配、深度确定和内插6个步骤。图像采集的方式很多，主要取决于应用的场合和目的摄像系统标定是为了确定摄像头的位置、属性参数和成像模型，以便确定空间坐标系中物体点同它在物像平面上像点的对应关系特征提取是为了得到匹配赖以进行的图像特征，由于目前尚没有一种普遍适用的理论可用于图像特征的提取，从而导致了立体视觉研究中的匹配特征的多样性，常见的匹配特征主要有点状特征、线状特征和区域特征等立体匹配是立体视觉中的核心问题，也是难点问题，对于任何一种匹配方法，其有效性有赖于3个问题的解决，即选择正确的匹配特征，寻找特征间的本质属性及建立能正确匹配所选特征的稳定算法已知立体成像模型和匹配视差后，三维信息的测量是很容易的，影响距离测量精度的因素主要有摄像系统标定误差、数字量化效应、特征检测与匹配定位精第一章绪论度等内插是为了恢复景物可视表面的完整信息而进行的，所以对于双目立体视觉测距系统可不予进行。立体视觉作为一门多学科的交叉科学，正吸引着大批包括视觉生理、心理、物理、数学以及计算机视觉等多种学科的研究人员应用不同的技术手段对之进行深入的研究，可以相信，随着众多工作者的努力，立体视觉的研究和应用必将会取得丰硕的成果。T32，13课题主要研究内容和及其安排本课题来源于某项目建设，由于人眼估测空中目标距离存在不准确问题，为了节省人力，实现对空中目标的自动识别测距，和大大提高目标检测精度和自动化程度，决定针对空中目标的双目立体视觉测距系统进行研究。本课题项目主要研究的是基于空中目标特性的双目测量系统，它是一个针对区域环境的以重心特征为匹配单元的立体视觉系统，用来对背景相对单纯的空中目标更加方便、快捷、灵活、准确的获取距离信息，实现对空中目标的自动识别测距。如果能从两个不同的位置观察同一物体，我们就能用三角计算方法测量摄像头到目标的距离。这种方法就被称为双目立体视觉。它主要包含摄像模型问题和图像对应特征点匹配问题，其中系统的硬件构成主要集中在摄像模型问题上，系统的软件设计是基于摄像模型进行的，它的核心集中在匹配问题上。在摄像模型方面，本文自行设计了图像采集系统，搭建了实验平台，使得在该模型中，双摄像头彼此参数一致，光轴互相平行且垂直于基线，构成一共线性结构，这样基本上只有在水平方向上有视差，就简化了对应过程。针对空中目标和背景的特性，在匹配问题上采用了基于区域的特征选择，经过目标识别、匹配，由匹配目标区域重心作为特征点进行计算视差，这样能大大提高匹配精度。整个系统组成如图11所示图像采集特征选择目标的识别与匹配计算距离图11论文具体内容安排如下第一章概述了本课题研究背景和立体视觉发展现状以及本课题的研究的主空中目标的双目立体视觉测距要内容。第二章介绍了双目视觉测量原理，对立体视觉测距的工作原理、标定理论私匹配方法都进行了研究，并在此基础上对应用神经网络的方法进行双目视觉测量的方法进行了研究。第三章介绍了针对空中目标特性本文提出的一种匹配方法。图像采集系统并行运算的设计，故提出了下列规则采用了双目3731将外极线约束引用到该图像的匹配过程中。由于两摄像头光轴平行，故目标在两幅图像中形成的图像的重心基本上只有水平方向的差，在垂直方向上基本没有差别，故在匹配过程中引入外极线约束，当匹配过程中两幅图像中识别出的目标重心在垂直方向上差值大于一定值时即排除匹配。C2引入区域的统计量作为匹配规则。把图像识别目标重心区域里的统计量计算出来，如将其均值、方差、目标像素数计算出来，然后在匹配过程中与另一副图像作比较，在满足外极线约束的规则下，以区域的统计量来确定匹配最优化和唯一化。不并在图像识别分割过程中以子区域增长的方式确定目标区域，然后在目标区域用模糊的方法计算目标区域目标图像重心，然后计算其它统计参数。第四章介绍了双目测距系统的实现，搭建了测距系统平台，对图像采集系统进行了软硬件设计，并且做了各类实验，包括摄像头参数标定实验、应用三角模型测距的实验、应用BP神经网络模型测距的实验，最后在测距实验中针对不同因素对测距精度的影响进行了数据处理和分析。第五章总结本文的研究成果和对该课题的展望。第二章立体视觉测距理论及方法第二章立体视觉测距理论及方法本章介绍了立体视觉测距理论和方法，介绍了双目视觉测量原理，对立体视觉测距的工作原理、标定理论和匹配方法都进行了研究，并在此基础上对应用神仑网络的方法进行双目视觉测量的方法进行了研究。21传统的三角测量方法简介211三角测量的工作原理1N21S1双目成像的模型可看作是由两个单目成像模型组合而成因为在一般情况一，透镜物距U焦距F，可得像距V近似为F，所以实用中可以用小孔成像模型来代替透镜成像模型。图27给出双目成像的一个示意图，图中两个镜头中心间的连线称为系统的基线B。利用双目系统可以确定具有像平面坐标点CX,Y和X2,Y2的世界点W的坐标X,Y,ZE当摄像机坐标系统和世界坐标系统重合后，像平面与世界坐标系统的XY平面也是平行的。在以上条件下，W点的Z坐标对两个摄像机坐标系统都是一样的。X1,YJ卜C2,YY2叮中心图21先考虑两个摄像机相同且它们坐标系统的各对应轴精确地平行主要是光轴平行，只是它们原点位置不同在这种情况下双目成像可借助图22来分析，那里给出两摄像头连线所在平面XZ平面的示意图将第一个摄像机叠加到现实世界坐标系统上两系统原点重合，根据三角形相似性原理有X,典F一Z,J211空中日标的双目立体视觉侧距上式中X和Z,表示第一个摄像机移到了世界坐标系统的原点机和W点在保持图21所示相对几何关系的条件下也会跟着移动，而第二个摄像X,IMAGELYZIMAGE2X2图22如果第二个摄像机移到世界坐标系的原点，则W点的X坐标可表示为XZ一今JZZ212因为基线长度是B且W点的Z坐标对两个摄像机坐标系统是一样的，所以有XBZZ1314N，Y介7右将式213和式214代入式21122和式212中得到X，一X,F一ZJ215XB丘F一Z了一用式216减去式215可解出Z，即有216F一已二一夕217X,一X,B_了又1一下刀上式把物体与像平面的距离Z即目标的距离信息与视差D像坐标X2和X的差直接联系了起来，视差的大小与深度有关，所以视差包含了3D物体的空间信息。如果视差D可以确定并且基线和焦距已知，计算W点的Z坐标是很简单的。故下面对摄像头的参数标定再介绍一下。212摄像头参数的标定20第二章立体视觉测距理论及方法图像采集系统采集的图像是以数字图像的形式输入到计算机的，每幅图像在计算机储存格式为一个MXN的数组，M行N列图像中的每一个像素在MXN的数组中对应的值就是图像点的灰度值。VY图23图像坐标系在图像中定义直角坐标系U,V，每一像素的坐标U,V分别是该像素在数组中的列数和行数，所以，U,V是以像素为单位的图像坐标系的坐标，由于U,V只表示位于数组中的列数和行数，并没有用物理单位表示出该像素在图像中的位置，因而要建立以物理单位表示的图像坐标系。该坐标系以图像内某一点0,为原点，X轴、Y轴分别与。、V轴平行，如图29所示。在X,Y坐标系中，原点0定义在摄像机光轴与图像平面的交点，该点一般位于图像交点处，但由于摄像头制作的原因，也会有些偏离，若0。在U,V坐标系中的坐标为U,VU,每一个像素在X轴与Y轴方向上的尺寸为DX,DY，则图像中任一像素在两个坐标系下的坐标有以下关系“DX十“。YF一万RTDY，。218219L0川对上两式的坐标进行平移，XUDXV兰DY使00与0,2重合，则有21用矩阵形式表示为空中目标的双目立体视觉测距21121去。一言二2113DYV111,11单个摄像头的标定是基于以下原理的，模型见图2100物高图24在两个不同的位置对同一参考物进行摄像，并保证每次摄像时参考物均平行于摄像镜头。设标准物体0大小为A，第一次摄像时物距为U,，成像大小为S,毫米，第二次摄像时物距为U,，成像大小为S,毫米。通过图像处理的方法得到第一次获取的像的大小为M,像素，第一次获取的像的大小为M,像素，那么根据式2110和2111有兰击凡M,MDY同时根据三角形相似性有其中F为镜头的焦距。由式2116和2117可得到，AU，一U，I一一S,于2118再将式2114和式2115代入式2118，并取DXDY得到第二章立体视觉测距理论及方法U，一“二兰一二DXM2M,2119。_F_F，_二性X之，一一，一UZUL,DC即则有下式M、M，2120M,一M2L可以测量得到，标定的基础。当参数F标定后行的三角测量的公式2BXFDR,则参数F可通过式2120求得，该式即为线性摄像头参数且由于F相对测量距离来讲可以忽略，则两摄像头光轴平217可改写为2121其中B仍为两摄像头光轴的间距，F就为摄像头刚才的标定参数，D。为目标在两摄像头采集图像中的像素差值。22立体视觉匹配方法介绍从原理上讲，根据“立体图像对”抽取深度信息的处理应包括以下四部分A在图像中寻找两幅图像中都便于区分的特征，或用于匹配的基元。B把左、右两幅图像中的有关特征进行匹配，即解决特征匹配的方法问题。C确定摄像机的相对几何位置和有关参数，即摄像系统的校准。D根据视差计算成像物体相对摄像镜头的距离。后两个问题在前一节中已介绍，但这些问题中最重要和困难的是前两个问题，也就是在左、右图像中发现与同一空间对应的成像点对，这就是所谓的对应性问题，一旦确定了对应关系就可容易地计算出这些图像点所代表的物体点在空间的位置。这一节对匹配的基本原理和方法进行了介绍，并针对空中目标特性的图像匹配提出了见解221匹配基元的选择对应性问题不是简单地把两幅图中像素的灰度左比较就能解决的。左右图像中单个像素点的灰度不够稳定，即使认为它们是稳定的话，也很容易出现在相当空中目标的双目立体视觉测距大的区域里像素具有相同灰度的情况，这样就造成了严重的多义性问题，或假目标问题。立体视觉处理中对搜索对应点时的多义性问题可分两步来解决。第一步，是在单幅图像作预处理时通过抽取图像局部结构较为丰富的描述来减少错误对应的可能性第二步，是在两幅图的对应点间作匹配时应用选择性规则来限制搜索空间。各种算法间的区别主要在于它们在匹配时选择什么样的匹配基元作为表面位置标志的基本要素，以及选用什么规则来限制搜索空间和删除不合格的匹配。选择匹配基元时要考虑基元的稳定性和敏感性。由于图像对中不可避免地存在光度学和几何学的畸变。为使在这种情况下仍能可靠地检测所需的位置标志，所选的匹配基元应能经受上述两方面的畸变，也就是应有较高的稳定性。同时，从减少不正确匹配的可能性来看，所选的匹配基元应能灵敏地反映两个匹配基元之间的差别，这就是说要有较高的敏感性。人类的立体视觉经受图像对之间对比度差别的能力很强，这意味着在人的立体视觉中可能应用了如局部灰度梯度最大点这样的与对比度大小无关的匹配基元。在选择匹配基元时还应考虑便于检测、能准确定位和允许在较大的视差范围内进行匹配等因素。目前所用的匹配基元可以分成两大类A所有图像点上抽取的量测这类匹配基元一般是在每个像素位置处都产生一个描述，所以这时把匹配基元看成是一种量测比看成一种特征更为确切。这些特征表示图像中的局部结构状态，在数量上要比像素少得多属于这类的匹配基元有以下几种1像素灰度。像素灰度可由成像系统直接得到，因此是最简单的，目前被用于大多数商用的视觉系统中。2局部区域的灰度函数。在各种大小窗口中求得的灰度分布的导数可用于产生描述各点周围结构的矢量。3VG卷积图像的符号。把图像与各种大小的V2G算子卷积后，图像中各点的符号可作为原始图像特征的描述。在卷积后的图像可得到正号区和负号区。这两个区域的边界接近于灰度梯度局部极大值的位置。B图像特征这种匹配基元较为符号化，它检测图像中包含丰富信息的结构所在的位置，例如图像中的边缘，这些边缘可能与景物中表面的边界相对应。与像素相比图像特征数量较少。1VZG卷积图像中的过零点。这种方法是由MARR和POGGIO,MARR和HILDRETH提出和发展的它虽然也可用于检测边缘，但是更确切说这种方法的第二章立体视觉测距理论及方法目的是检钡9稳定的、稠密的表面标志。按这种方法任何小的影调变化或小的纹理变化只要稳定都是一个特征。2边缘。这种基元试图抽取景物中表面之IR或不同颜色区域之间的实际边界。这种匹配基元上还可以带有如边缘方向、对比度、长度、边缘曲率等附加信息。在选择边缘作为特征时有两点需要考虑第一，由于对于给定的特征点来说，对应的外极线上的点都是可能的匹配点。所以与外极线方向平行的边缘线段无法作为匹配的特征，只有其方向与外极线交叉的边缘点才能作为匹配基元。第二，因为边缘经常代表深度的不连续点，在从不同位置所取得的图像中，边缘两侧的区域情况将会不同。因此，基于边缘特征的立体视觉匹配算法通常只利用边缘的位置和方向的信息，而对边缘两侧的灰度信息用的很少。I2J4本文针对空中目标所具有的特性，提出了采用目标重心特征作为匹配特征。这是因为空中目标所对应的背景比较单纯，即背景一般为天空，目标物相对于背景一般灰度值对比强烈，故很容易的通过设定灰度阂值的方法把目标从背景物中分割出来。然后综合了传统的选择匹配基元的两类方法，把目标所有图像点都纳入匹配计算范畴，这样就能大大提高匹配精度，将目标图像点的重心计算出来，然后将它作为特征点进行基于图像特征点的匹配。222匹配规则在研究具体的匹配规则以前需要先讨论在匹配过程中应遵循的约束条件。这些约束条件是根据对匹配所作的假设产生的，约束条件主要包括以下三条A相容性约束如果两个匹配基元确实是由同一物理标记产生的，那么它们就可以匹配起来。如果不是这样，它们就不能匹配。在判断两个匹配基元是否相容时要根据它们之间的相似性问题是如何度量匹配基元的相似性。有两种相似性的假设。一种是基于光学不变性的性质。即左、右图像对应区域中灰度的变化情况相似。另一种相似性的假设是根据几何学不变性，即两幅图像中描述对象的几何结构相同。例如，在以边缘作为匹配基元时，沿外极线上任何扫描方向，在左、右图像边缘出现的次序相同。B唯一性约束由于在任何时刻位于某一物质表面上的一个给定点在空间只占有一个唯一的位置，所以，除了极个别的情况外，某个匹配基元只能与另一幅图像中的一个匹配基元相匹配。这样，图像中的每一个匹配基元最多只能有一个视差值。C连续性约束空中目标的双目立体视觉测距这条约束条件的含义是匹配得到的视差值的变化在图像中几乎处处平滑。本文针对将目标重心作为特征的情况下，并且为了以后能方便的应用于实际测距产品设计中，采用了双目双图像采集系统并行运算的设计，故提出了下列规则1将外极线约束引用到该图像的匹配过程中。由于两摄像头光轴平行，故目标在两幅图像中形成的图像的重心基本上只有水平方向的差，在垂直方向上基本没有差别，故在匹配过程中引入外极线约束，当匹配过程中两幅图像中识别出的目标重心在垂直方向上差值大于一定值时即排除匹配。2引入区域的统计量作为匹配规则。把图像识别目标重心区域里的统计量计算出来，如将其均值、方差、目标像素数计算出来，然后在匹配过程中与另一副图像作比较，在满足外极线约束的规则下，以区域的统计量来确定匹配最优化和唯一化。23基于神经网络进行立体视觉测距的新方法立体视觉系统是近20几年才发展起来的一种新兴三维测量方法，特别对于大尺寸物体或实时测量，其表现出相当强的生命力，但传统的立体视觉方法是基于三角测量原理、在考虑到透镜的径向、切向畸变后。该方法将带来很复杂的非线性系统误差，且对测量系统要求较高。基于神经网络的立体视觉系统研究方法、不仅能减少非线性因素的影响，而且降低了对系统的要求。训练好的网络几乎可以进行实时测量，获取物体的三维信息。该方法是对非接触、大尺寸物体实时测量的立体视觉系统研究方法的有益探索。图2SBP网络拓扑结构图若忽略透镜畸变影响、立体视觉是基于小孔成像原理从三结构空间到二维像空间是一个投影变换关系，通过两只摄像头相似于人的双眼，由投影逆变换可以从两幅二维图像中获得物体的三维信息，考虑透镜径向、切向畸变等非线性因素后，这一问题将变成一复杂的非线性方程求解问题。基于人工神经网络的立第二章立体视觉测距理论及方法体现觉系统就是用三层前向型BP网络来模拟物、像对应关系，而畸变、环境因素所带来的非线性误差都将通过网络的学习被分散到各神经元之间的连接权值上，当网络的输出值与学习样本值的均方误差满足系统精度要求，即可认为学习成功。对于学成的网络可通过其自回忆功能送行实时的物体三维信息获取工作。本文选用的三层前向型BP网络的拓扑结构如图210所示，输入矩阵为两摄像头的二维像面坐标，输出矩阵为物体距两摄像头平面距离丫。神经元的输入X都赋以权值矩阵W中的相应权值，加权的输入和经传递函数F作用得到输出矩阵Y,已PNETS艺叽XKF231几FNET,232通过使网络输出均方误差最小原则进行权值修正，误差函数为粤5,Y、一孔，233式中YJ表示第K个训练模式输出节点J的期望输出，Y,为相应的实际输出。BP算法的权值修正公式表示为叽1叭17艺凡XK,234其中、一Y、一几FNETKI艺SKW,FNETK,一对于输出节点一对于输入节点此外，为了防止一个训练样本转化为另一个样本时，由于开始误差值很大而引起核系数扩过调，往往引入一惯性项以减小过调量，故权值公式又可写成叽T1叽T7叉凡Y,A叽，一叽T1235其中17为学习效率，A为动量因子，二者可根据训练情况在。1之间动态调节。用神经网络的方法，可以建立起立体视觉系统中三维物空间与二维原平面的映射关系，进而几乎可以实时进行三维物信息的获取。与传统立体视觉三角测量方法比较，二者的系统模型不同。传统的三角测量方法，在标定时确定系统的变换关系，是一种基于线性变换的方法，对于光学系统畸变等非线性因素的影响，解决起来比较麻烦，而神经网络系统本质上是非线性动力系统，因此它在解决非空中目标的双目立体视觉测距线性映射等问题时表现出相当大的优势，而且网络固有的并行处理能力将使网络的测量速度非常快，可达到实时测量的要求，这是传统立体视觉测量方法无法比拟的。神经网络的三维视觉测量方法目前的缺点主要是所需的训练点数较多，训练过程相对较慢。在理论上，这是一种新的测量方法，在机械制造、机器人、航空、航海等实际应用领域，此方法也显示出巨大的潜力。但也应该看到立体视觉真正应用于实际仍有一定的局限性，诸如双目匹配点的精确获得，神经网络结构的不完善性，大量数据的快速处理等。对于人眼，其信息处理量为300MB/S，这是现代数字计算机难以达到的。因此，发展新一代智能计算机、高速并行处理的光学计算饥，神经网络的进一步仿真化，对人类视觉系统生物机理更为深入的研究，以及提出更为精确的匹配算法，无疑将给立体视觉提供更为广阔的应用前景，同时也会带动相关学科的发展。W73124小结本章主要介绍了立体视觉测距基本原理和方法，首先介绍了双目视觉三角测量原理，其中对标定参数的选择和标定方法进行了论述，然后对图像匹配的一般原理和方法进行了介绍，最后在此基础上对应用神经网络的方法进行双目视觉测量的方法进行了研究，为后面的测距实验工作奠定了良好的理论基础。第三章基于模糊区域的匹配方法研究第三章基于模糊区域的匹配方法研究31概述立体匹配是立体视觉中最重要也是最困难的问题。当空间三维场景被投影为二维图像时，同一景物在不同视点下的图像有很大不同，而且场景中的诸多因素，如光照条件、景物几何形状和物理特性、噪声干扰和畸变以及摄像机特性等，都被综合成单一的图像中的灰度值，因此要准确地对包含了如此之多的不利因素的图像进行无歧义的匹配，显然是十分困难的。对于任何一种立体匹配方法，其有效性有赖于山三个问题的解决，即选择正确的匹配特征、寻找特征间的本质属性及建立能正确匹配所选特征的稳定算法，立体匹配的研究都是围绕着这三方面在工作，并己提出了大量各具特色的匹配方法，但是由于立体匹配涉及的问题太多，至今仍未得到很好的解决，特别是在各种不同的复杂场景中，如何提高算法的去歧义匹配和抗干扰能力，降低实现的复杂程度和计算量，都需进行更深入的探索和研究。JY本章主要讲的就是匹配算法的具体实现过程，在前一章已经介绍它针对空中目标所具有的特性，提出了采用目标重心特征作为匹配特征，针对将目标重心作为特征的情况下，采用了双目双图像采集系统并行运算的设计，故提出了下列规则1将外极线约束引用到该图像的匹配过程中。由于两摄像头光轴平行，故目标在两幅图像中形成的图像的重心基本上只有水平方向的差，在垂直方向上基本没有差别，故在匹配过程中引入外极线约束，当匹配过程中两幅图像中识别出的目标重心在垂直方向上差值大于一定值时即排除匹配。G引入区域的统计量作为匹配规则。把图像识别目标重心区域里的统计量计算出来，如将其均值、方差、目标像素数计算出来，然后在匹配过程中与另一副图像作比较，在满足外极线约束的规则下，以区域的统计量来确定匹配最优化和唯一化。图31是图像匹配处理过程的示意图，它一般包括图像的预处理、图像的分割、图像的匹配三方面组成。空中日标的双目立体视觉测距32图像的预处理图像的预处理一般分为图像的锐化和图像的平滑，锐化增强了图像的细节变化，但也增大了图像的噪声干扰，平滑降低了图像的噪声千扰但同时也削弱了图像的细节变化，由于本文是对空中目标特性图像采取模糊区域的方法进行匹配，对图像的细节变化要求并不高，故本文中图像的预处理工作是对图像做了平滑处理。图像平滑的目的是为了消除噪声，图像噪声的来源有以一F三方面一为光电、电磁转换过程中引入的噪声二为自然环境存在的强电磁脉冲的干扰三为自然起伏性噪声。常用的噪声消除方法有邻域平均法和低通滤波法A邻域平均法是一种图像局部空间处理的算法。设一副图像FX,Y为NXN的阵列，平滑后的图像为B、，Y，它的每个像素的灰度级山包含在X,Y的预定邻域的儿个像素的灰度级的平均值所决定，即用下式得到平滑的图像9一，ZYFMONE,，J31式31中的X,YQ,1,2，二，N1,S是以点LB的邻域像素的集合不包含该点，M是S内坐标点的总数。如下X,Y为邻域中用卷积的形式表示SX,Y艺艺FM,NHX一M1,，一N132式中，B为NXN阵列，H为LXL阵列。称之为卷积模板。四邻域平均算法用公式表示为9I,I一生厂I一1,J、了I,，一1、厂I,J1厂I十1,J33一“4一“式31卷积模板为34此外还有其他8邻域平均算法。日低通滤波法由信号频谱分析可得，信号的缓变部分在频域属于低频部分，信号的快变部分在频域属于高频部分，对于图像来说，它的边缘和干扰噪声的频率分量都处于二维频域的高频部分，因此可以采用低通滤波的方法来除去噪声，而频域的滤波又很容易从空间域的卷积来实现，为此只要适当设计空IA1域系统的单位冲击响应第二章基于模糊区域的匹配方法研究矩阵就可以达到滤除噪声的效果。GX,Y一艺艺FM,NHX一M1,，一NL35式中，G为NXN阵列，H为LXL阵列，又叫低通卷积模板。常用于噪声平滑的低通卷积模板有LESESESESESESESESESJ1211124勺H，一生16136，LEEESESEE一11司卫上司卫人J一十引，孟1J119H本文选用的平滑方法是低通滤波法中的H模板。由于进行的是直接以灰度值作为门限来分割图像的思想，故不对原图像进行边缘检测，直接选择阐值对图像进行区域分割。33图像的分割331阐值选择II7A图像直方图分析法图像的灰度级范围为0,1,2,255，设有灰度级I的像元数为N,，那么一副图像的总像元数N为N二艺N37灰度级I出现的概率定义为P,1N灰度级I38出现频率P，和灰度级I的二维关系，用直方图的形式表现出来，就称为灰度直方图。一般，灰度直方图的横轴表示灰度级，纵轴表示出现频率P,。对于有突出目标和背景的图像，其灰度直方图将有明显的双峰。在这种情况下，可以选择两峰之间的最低点作为阐值。B类判别分析法设图像中的灰度范围为0,1,“,255，选择分割值T将图像分为两类CO0,1,“,T1,C,TL,“,2551，计算出图像的灰度直方图并进行归一化处理，且有概率分布空中目标的双日立体视觉测距尸255艺曰一N,P,。，139其中N像素总数，N，为灰度为I的像素总数。整个图像的灰度均值为、。一艺IP,310C类的出现概率及其类均值分别为。一艺P,3111二0FTT二艺P,312本文用下面的准则测量出的阐值有较好的分离特性77T,UERT一PTL2313LAT1一RVT当目标灰度比背景灰度弱时，T08MAXOZSSQT314阐值为A当目标灰度比背景灰度强时，ICJ值为T12MAXOZSSQT314B332图像分割的参数计算由于分割的阐值已经确定，图像的分割应该很容易，但是，由于背景的不单纯，以及目标的不唯一性，故如果直接分割图像，并不能完全的把待测目标图像从背景中分离出来，故本文采取了分区域的图像分割技术，将一副图像分割为12X12144个子区域，分别在各子区域内进行图像粗分割，即若该区域内有属于阐值内的值的象素数大于一门限1/2象素数，即判定该子区域为1，若该区域内有属于阐值内的值的象素数为0，则判为0，其他的情况标记判为2。由于待测目标假定在图像中心附近，故先找标记为1的距离图像中心最近的子区域作为种子区域，然后在其周围找标记为1的其他子区域，直到区域增长到再没其他子区域与该增长区域相连通为止。将这一增长了的区域包含连通标记为2的子区域标定为目标存在区域，将这一区域作为邻域进行后面的模糊中心计算。该分区域的图像分割技术如下列图所示该图选择6X636个子区域第二章基于模糊区域的匹配方法研究曰曰曰口曰曰门曰曰肠曰门口门门叫已门门门门门图32子区域分割前的分割图像000000000210000110000210210000110000图33子区域分割图像标记结果000000000010000110000010D00000000000图34种子区域增长后的标记结果日00000000Z1000011D曰00210曰0A000厂勺0A0000图35目标存在区域如果在目标区域内直接拿硬门限作为判决目标象素点的判断准则，就没有充分利用像素灰度值的信息，故本文提出了在目标区域内生成了与像素灰度值有关的模糊隶属度函数，该隶属度函数将0,255的灰度值分为3段空中目标的双目立体视觉测距在目标灰度比背景灰度高时，0,T隶属度为0，即该像素完全不是目标像素，255T/2,255隶属度为1，即该像素就是目标像素，将其间的T,255十T/2的像素的隶属目标像素的隶属度设为一在0,1之间正比于灰度值的值，设隶属度为LIR1,，灰度值为PI，则有下式尸I_255TZL一爪2P一T/25，一T,TPI处0,PI该隶属度函数如下图所示255T三2315图36在目标灰度比背景灰度低时，T,255隶属度为0，即该像素完全不是目标像素，0,T/2隶属度为1，即该像素就是目标像素，将其间的T/2,T的像素的隶属目标像素的隶属度设为一在0,1之间正比于灰度值的值，设隶属度为LI，灰度值为PI，则有下式厂0,尸I_TI_TLI1一1PL一一，42DB自动增益控制018DBE帧频50且FL4时，最小照度为051UXF帧频50时，峰值功耗小于L00MWG5V模拟供电和5/33V数字供电芯片内部有11个8位寄存器，通过对地址线A3明的设置来选择寄存器，通过读写数据线【707来读取或设置寄存器。在对寄存器进行读或写时，应使片选CSB与输出使能OEB或写使能WEB有效。OV5017输出模拟视频信号，格式为逐行扫描，可以同步输出8位的数字视频流D70。在输出数字视频流的同时，还提供像素时钟PCLK、水平参考信号HREF、垂直同步信号VSYNC，便于外部电路读取图像。FILL图412第四章系统实现及实验数据分析采集卡设计思想是以通用的DSP芯片TMS320VC5402作为核心处理器、OV5017作为系统的图像传感器，而两路摄像头数据通过PCI桥电路发送给PC机，因此该系统结构简单，具有即插即用、传输速率高的特点，并且由于OV5017可通过编程实现对该芯片的控制，TMS320VC5402又可对图像做一些图像的预处理工作，因此具有采集系统的灵活性、可控性。实验平台是将一摄像头固定在一个3米的滑杆上，将仿真空中目标特性的日标基本放在滑杆中央正前方不同距离上进行测量，然后水平移动摄像头得到光轴平行，不同间距的多幅图像，对图像数据处理后再计算得到目标距滑杆的距离信息，然后分析比较实验数据。实验平台简易如图412所示。411图像采集卡硬件设计图像采集系统硬件结构图如下厂一一一一一一R一一一DSP数据处理1IOV5017TMS320VC5402二丁二丁二二二二二二二二丁亡_HP1接口DSPPCI桥芯片PC12040石卜区7L1图413在本系统中，OV5017作为系统的图像传感器，其内部将获取的图像采集量化，在TMS320C5402的控制下输出数字图像，经过DSP存入图像存储器。根据OV5017视频读取时序如图2可设计如下连接OV5017的管脚A仁307,D70与TMS320C5402的管脚A30,D70直接相连，用DSP的R/W产生OV5017的读写使能信号，用DSP的IS产生。V5017的片选信号，即只在DSP的工/0空间读写，用OV5017的PCLK,VSYNC产出读数据的中断信号，HREF作为数据有效的判断信一号与BIO连接，OV5017的时钟信号由DSP的一个串口发送时钟CLKXO分频产生。TMS320VC5402的HINT与本身的INT2相连用于HPI方式引导，HPIENA,HDS2,HAS接高电平，HDS1接PCI2040的HDS,IIBIL接PCI2040的HWIL,HAD0“7接PC12040的HAD仁07，RS接PCI2040的HRSTO,HRDY接PC12040的HRDY5XO,HCS接PC2040的HCSO,HR/W接PC12040的HR/W,HCNTLO,1接PC12040的HCNTLO,1。2S空中目标的双日立体视觉HILL距OV5017的视频读取时序图如下DATAR701水平时序VSYNCHRFF之III冲TIXDATC70垂直时序图414基本电路图为图415412图像采集系统软件设计第四章系统实现及实验数据分析由于DSP内部存储器容量不能存放一帧图像数据，故把DSP内部存储器分设出两个384X83072存储空间，即每个存储空间可放一帧数据的8行，一个存储空间用于接收OV5017的图像数据，另一个存储空间用于向PC机发送图像数据，即一帧数据要被主机读取288/836次，主机每隔一段时间查询有关两段存储空间的两个标志字，标志字的最高位用于判断该存储空间数据是否有效，低15位用于判断该存储空间的数据属于一帧数据36部分的哪一部分。通过对于两个存储空NJ的标志字的判断可得到该存储空间的数据的有效性和该数据在一帧数据中的位置，读取后置该存储空间的标志位使之无效，直至DSP又在该存储空间存好数据，这时再改写该存储空间的标志位。ADSP采集数据软件设计101A15161DSP复位后，通过HPI口引导加载程序，然后初始化DSP，初始化两块存储空间的标志字使之无效且低15位都为0。当VSYSNC即帧同步中断到来时，选择一个标志字无效的存储空间作为当前接收数据的存储空间，并设置该标志字的低15位为0，接着根据PCLK中断和HREF值依次读入各象素值直至该帧数据的前8行，这时标志字的低巧位加1，并改写该存储空间标志位为有效，选择另一个标志字无效的存储空间作为当前接收数据的存储空间，并且使该存储空间的标志字低15位等于上一存储空间的标志字的低15位，接着继续根据PCLK中断和HREF值依次读入各象素值直至读取到该帧8行数据，这时标志字的低15位继续加I并改写该存储空间标志位为有效，这样依次读入一帧数据，并且每读取8行数据就被主机查询接收。B主机采集数据软件设计主机程序启动后，先初始化分配一帧大小的内存，然后不断查询DSP中两存储空间的标志字，当两标志字有一个为有效时，就读取该标志位对应的存储空间的图像数据，并根据标志字的后15位知道该存储空间存储的图像数据在该帧图像中的位置，读取完后设置该标志字为无效，表示该数据己被读取，以供DSP继续用来存放图像数据。当读取完一帧数据后就可对该帧图像进行后期处理，或直接显示或存储。在PC主机的软件设计工作中，首先通过DRIVERWORKS开发一套针对该采集系统的驱动程序，然后根据上述流程编写应用程序，应用程序中对硬件的读写操作通过调用标准WIN32API函数DEVICELOCONTROL函数来完成，下面就简单介绍空中目标的双目立体视觉测距一下关于DSPPCI桥的驱动设计。C关于DSPPCI桥的驱动设计【91213由于主机的操作系统是WINDOWS2000，故选取了微软公司主推的驱动开发模型WDMWINDOWSDRIVERMODEL来设计自己的驱动程序，开发工具为DRIVERSTUDIOOWDM模型使用了如图4的层次结构，图中左边是一个设备对象堆栈，设备对象是系统为帮助软件管理硬件而创建的数据结构，一个物理硬件可以有多个这样的数据结构，其中PDO为物理设备对象FDO为功能设备对象。其中总线驱动程序负责列举设备，总线驱动程序每发现一个设备就创建一个对应的物理设备对象，一些总线驱动程序只是简单地控制对总线的访问权，功能驱动程序负责完成特定的功能，知道如何控制设备工作，它在驱动程序堆栈中位于总线驱动程序上面，功能驱动程序负责创建一个功能设备对象。图416一个完整的驱动程序它包含许多例程，当操作系统遇到一个IRP时，它就调用这个驱动程序容器中的例程来执行该工RP的各种操作，通过DRIVERWORKS的代码向导可生成专门为PCI设备定制的代码，PCI设备应用的各种例程都可通过向导生成，我们所做的工作是向各例程中添加代码。系统加载驱动时，在检测到硬件设备后，通过读写PCI配置寄存器中的HPICSR内存基址寄存器偏移IOH自动把PCI2040的CSR内存空IOJ映射为BARO大小为4K，通过读写PCI配置寄存器中的控制空间基址寄存器偏移14H自动把TMS320VC5402的HPI寄存器空间映射为BART大小为32K，共在驱动程序中映射为两段内存区。第四章系统实现及实验数据分析由于该采集系统对硬件的操作大部分请求都是读写数据，需要设备执行IOCTL操作，应用程序使用标准WIN32API函数DEVICEIOCONTROL来执行这样的操作。在驱动程序一方，这个DEVICE工。CONTROL调用被转化成一个带有IRPMJ_DEVICE_CONTROL功能码的IRP,驱动程序中共设置了4对共8个这样的IOCTL操作，都使用METHOD_BUFFERED方式。这时工/0管理器创建一个足够大的内核模式拷贝缓冲区，当派遣例程获得控制时，用户模式的输入数据被复制到这个拷贝缓冲区，在IRP完成之前，向拷贝缓冲区填入需要发往应用程序的输出数据。当IRP完成时