（信号与信息处理专业论文）空中目标的双目立体视觉测距.pdf

摘要 基于立体视觉原理的立体视差测距方法是进行三维测量，获取三维场景距离 信息的重要方法。随着计算机视觉技术的不断发展，立体视觉传感器得到越来越 广泛的应用，尤其是双目视觉传感器的结构简单、使用方便、速度快、精度高等 诸多优点被广泛应用于工业检测、物体识别、机器人自导引、航天、航空、及军 事等很多领域。 本文就是基于空中目标的特性进行立体视觉测距研究的。在第一章介绍了课 题来源和选题背景及立体视觉研究动态；第二章介绍了立体视觉系统的测量原理； 第三章介绍了针对空中目标的特性提出的图像分割和图像匹配算法，提出了采用 目标重心特征作为匹配特征，双目并行运算的设计思想，并在匹配时采用了区域 增长法的思想和模糊处理的思想；第四章介绍了系统的实现和各项实验，以及在 各类测距实验中针对不同因素对测距精度的影响所进行的数据处理和分析，其中 在系统实现中重点介绍了图像采集系统的软硬件设计，设计了一套基于d s p 的图 像采集系统。最后总结了全文所取得的成果，及对本课题未来发展方向做了展望。 关键字：立体视觉图像分割图像匹配图像采集 a b s t r a c t t h eb i n o c u l a rs t e r e or a n g i n gm e t h o db a s e do nt h ep r i n c i p l eo fs t e r e ov i s i o ni sa n i m p o r t a n t m e t h o dw h i c hc a l ld ot h r e e - d i m e n s i o nm e a s u r e m e n tm a d a c q u i r e t h e i n f o r m a t i o no ft h r e e d i m e n s i o ns u r f a c ep r o f i l e w i t ht h ed e v e l o p m e n to ft h et e c h n o l o g y o ft h ec o m p u t e rs t e r e o v i s i o n ，t h eb i n o c u l a rs t e r e os e n s o rh a sa p p l i e di nf i e l do f i n d u s t r y d e t e c t i o n 、o b j e c ti d e n t i f i c a t i o n 、r o b o ta u t o m a t i cg u i d a n c e 、n a v i g a t i o n 、m i l i t a r ye t c m e a s u r i n g d i s t a n c e b y b i n o c u l a rs t e r e ov i s i o n t e c h n i q u e b a s e do nt h e c h a r a c t e r i s t i co fa e r i a lo b j e c ti sr e s e a r c h e di nt h i s p a p e r i nc h a p t e ro n e ，a tf i r s tt h e o r i g i na n db a c k g r o u n do f t h i ss u b j e c ta r ei n t r o d u c e d ，t h e nt h es t a t eo ft h ed e v e l o p m e n t o fs t e r e ov i s i o ni si n t r o d u c e d ；t h e p r i n c i p l e so f t h eb i n o c u l a rs t e r e oi nt h r e e d i m e n s i o n m e a s u r e m e n ta r ei l l u s t r a t e di nc h a p t e rt w o ；t h ea l g o r i t h mo fi m a g es e g m e n t a t i o na n d i m a g em a t c h i n gw h i c hi sb a s e do nt h ec h a r a c t e r i s t i co fa e r i a lo b j e c ti si n t r o d u c e di n c h a p t e rt h r e e ，t h ea l g o r i t h mc o n t a i n st h o u g h to fc gm a t c h i n ga n db i n o c u l a rp a r a l l e l c o m p u t i n g ，a n dd u r i n gm a t c h i n g i t a d o p t s t h ei d e ao fa r e a i n c r e a s i n g a n df u z z y p r o c e s s i n g ；t h er e a l i z a t i o no ft h es y s t e m 、t h ee x p e r i m e n t s 、d a t ap r o c e s s i n ga n dt h e a n a l y s i so fr a n g i n ga c c u r a c yw i t ht h ee f f e c to fs e v e r a lf a c t o r si nd i f f e r e n te x p e r i m e n t s a r ep r e s e n t e di nc h a p t e r4 ，i nt h es e c t i o no ft h er e a l i z a t i o no ft h es y s t e mt h ed e s i g no f v i d e o a c q u i s i t i o ns y s t e mi s i n t r o d u c e di n d e t a i l ，i nt h i ss e c t i o nah i g hs p e e da n d f u n c t i o n a l a g i l i t y v i d e oa c q u i s i t i o n s y s t e mb a s e do nd s pi sr e a l i z e d f i n a l l y , t h e c o n c l u s i o no f t h i sp a p e ra n df u t u r ed e v e l o p m e n to f t h e s u b j e c ta r cd i s c u s s e d k e y w o r d s ：s t e r e ov i s i o n i m a g es e g m e n t a t i o ni m a g em a t c h i n g v i d e oa c q u i s i t i o n 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 本人签名：盘煎壹日期：递炷i 星璺 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在攻读学位期间论文工作的知识产权单位属于西安电子科技大学。本人保证毕 业离校后发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论 文在解密后遵守此规定) 本人签名：盘啦空 导师签名 同期：坦睾i 盈璺 日期：礁蛙l 目纽 第一章绪论 第一章绪论 i 。l 课题来源及选题背景 自然界的物体都是三维的，人类通过两眼获得物体的三维立体信息。但一般 的摄影系统只能把三维的物体以二维的形式保存、记录下来，同时丢掉大量的信 息。计算枫立体视觉指的就是运用计算机技术和光学手段在获取的一幅或多幅图 像中还原出被摄物体的立体信息，获得兰维数据值。由于计算机立体视觉技术在 军事、航空、航天机器人导引、目标识别和工业检测等各种领域有着广泛的应 用前景，所以它是当今国际上的热门课题之一，美国、日本、德国、加拿大等发 达国家早在6 0 年代末就开始投入大量资金进行这方面的研究，且提出了许多新 的测量原理和方法，我国在近几年也开始有一些研究成果。现有的立体视觉测量 的方法主要有双目立体视差法、莫尔条纹法【3 4 】、傅里叶变换轮廓法i 蚓、位相测 量法【3 6 】、主动三角形法【3 ”、几何光学聚焦法【3 8 】、飞行时间法等。 其中双目立体视觉测距系统正是基于立体视差测距原理，它是利用两相对固 定的摄像头，从不同位置采集到两幅图像，经过匹配特征点得到视差，然后计算 出目标的三维信息，它是三维测量的一种重要方法。虽然双目立体视差法是最传 统的一种立体视觉测量方法，但在这一方面的研究这些年并不多，随着计算机技 术和传感技术的发展，使得它结构更加简单、使用更加方便，又具有较高的检测 精度和检测速度，使它具有了应用于军事、航空、航天、机器人导引、目标识别 和工业检测等各种领域的广泛前景，有必要对双目立体视觉测距方法做进一步的 研究。 本课题来源于某项目建设，就是从实际应用角度出发，针对空中目标的双目 立体视觉测距进行研究，寻求具有高速并行采集和处理思想的双目立体视觉的测 量方法，要从理论和实验角度对双目立体视觉方法进行研究，其间要针对空中目 标特性的匹配方法进行研究，对测量精度和距离分辨率进行分析，寻求一种切实 有效的测量方法。 i 2 立体视觉研究概况 立体视觉的开创性工作是从6 0 年代中期开始的，美国m i t 的r o b e r t 完成的 三维景物分析工作，把过去的二维图像分析推广到了三维景物，标志着立体视觉 技术的诞生，并在随后2 0 年中迅速发展成为一门学科，特别是7 0 年代末，d m a r r 空中目标的双目立体视觉测距 创立的立体视觉计算理论对立体视觉的发展产生了重大影响，经过这些年的研 究，在军事、航空、航天、机器人导引、目标识别和工业检测等各种领域应用越 来越广泛，研究方法从早期的统计相关理论为基础的相关匹配，发展到现在有很 强生物学背景的特征匹配，从串行到并行，从直接依赖于输入信号的底层匹配到 依赖于特征、结构、关系和知识的高层次处理，性能不断提高，其理论处在不断 发展和完善之中。从当前的发展方向来看，其发展方向可归纳如下： ( 1 ) 以全面的观点将立体视觉系统的各个模块联系起来，充分挖掘内在信息。 ( 2 ) 综合利用各种技术，多传感器融合，包括综合使用不同的匹配方法和主 动式、被动式单目视觉技术等，提高技术的性能。 ( 3 ) 由传统的双目视觉向多目视觉，完全静态的视觉向动态视觉发展，通过 增加信息输入降低视觉计算的难度。 ( 4 ) 向智能化发展，建立基于知识的、模型的和规则的立体视觉方法。 ( 5 ) 算法向并行化发展，采用并行流水线机制和专用的信号处理器件，增强 系统的实用性。 ? ( 6 ) 强调场景和任务约束，针对不同的应用目的，优化选择各部分，建立有 目的的和面向任务的立体视觉系统。 现在国际上以计算机视觉为主题的会议有国际计算机视觉会议( i c c v ) ，国 际计算机与模式识别会议( c v p r ) ，国际模式识别会议( i c p r ) ，欧洲计算机视觉 会议( e c c v ) 与亚洲计算机视觉会议( a c c v ) 。以计算机视觉为主要内容的国际 刊物也很多，如i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n 、i e e et r a n s o n p a m i 、i e e et r a n s o nr o b o t i c sa n da u t o m a t i o n 、i e e et r a n s o ni m a g e p r o c e s s i n g 、c v g i p 、l j p r a i 、v i s i o ni m a g ec o m p u t i n g 、p a t t e r nr e c o g n i t i o n 等。 立体视觉系统一般可分为图像采集、摄像系统标定、特征选择与提取、立体 匹配、深度确定和内插6 个步骤。图像采集的方式很多，主要取决于应用的场合 和目的；摄像系统标定是为了确定摄像头的位置、属性参数和成像模型，以便确 定空间坐标系中物体点同它在物像平面上像点的对应关系；特征提取是为了得到 匹配赖以进行的图像特征，由于目前尚没有一种普遍适用的理论可用于图像特征 的提取，从而导致了立体视觉研究中的匹配特征的多样性，常见的匹配特征主要 有点状特征、线状特征和区域特征等i 立体匹配是立体视觉中的核心问题，也是 难点问题，对于任何一种匹配方法，其有效性有赖于3 个问题的解决，即：选择 正确的匹配特征，寻找特征间的本质属性及建立能正确匹配所选特征的稳定算 法；已知立体成像模型和匹配视差后，三维信息的测量是很容易的，影响距离测 量精度的因素主要有摄像系统标定误差、数字量化效应、特征检测与匹配定位精 第一章绪论 度等；内插是为了恢复景物可视表面的完整信息而进行的，所以对于双目立体视 觉测距系统可不予进行。 立体视觉作为一门多学科的交叉科学，正吸引着大批包括视觉生理、心理、 物理、数学以及计算机视觉等多种学科的研究人员应用不同的技术手段对之进行 深入的研究，可以相信，随着众多工作者的努力，立体视觉的研究和应用必将会 取得丰硕的成果。” i 3 课题主要研究内容和及其安排 本课题来源于某项目建设，由于人眼估测空中目标距离存在不准确问题，为 了节省人力，实现对空中目标的自动识别测距，和大大提高目标检测精度和自动 化程度，决定针对空中目标的双目立体视觉测距系统进行研究。 本课题项目主要研究的是基于空中目标特性的双目测量系统，它是一个针对 区域环境的以重心特征为匹配单元的立体视觉系统，用来对背景相对单纯的空中 目标更加方便、快捷、灵活、准确的获取距离信息，实现对空中目标的自动识别 测距。如果能从两个不同的位置观察同一物体，我们就能用三角计算方法测量摄 像头到目标的距离。这种方法就被称为双目立体视觉。它主要包含摄像模型问题 和图像对应特征点匹配问题，其中系统的硬件构成主要集中在摄像模型问题上， 系统的软件设计是基于摄像模型进行的，它的核心集中在匹配问题上。 在摄像模型方面，本文自行设计了图像采集系统，搭建了实验平台，使得在 该模型中，双摄像头彼此参数一致，光轴互相平行且垂直于基线，构成一共线性 结构，这样基本上只有在水平方向上有视差，就简化了对应过程。 针对空中目标和背景的特性，在匹配问题上采用了基于区域的特征选择，经 过目标识别、匹配，由匹配目标区域重心作为特征点进行计算视差，这样能大大 提高匹配精度。 整个系统组成如图i 1 所示： 图1 1 论文具体内容安排如下： 第一章概述了本课题研究背景和立体视觉发展现状以及本课题的研究的主 4空中目标的双目立体视觉测距 要内容。 第二章介绍了双目视觉测量原理，对立体视觉测距的工作原理、标定理论释 匹配方法都进行了研究，并在此基础上对应用神经网络的方法进行双目视觉测量 的方法进行了研究。 、 第三章介绍了针对空中目标特性本文提出的一种匹配方法。采用了双目( 酽 图像采集系统) 并行运算的设计，故提出了下列规则： 。 ( 1 ) 将外极线约束引用到该图像的匹配过程中。由于两摄像头光轴平行， 故目标在两幅图像中形成的图像的重心基本上只有水平方向的差，在垂直方向上 基本没有差别，故在匹配过程中引入外极线约束，当匹配过程中两幅图像中识别 出的目标重心在垂直方向上差值大于一定值时即排除匹配。 ( 2 ) 引入区域的统计量作为匹配规则。把图像识别目标重心区域里的统计 量计算出来，如将其均值、方差、目标像素数计算出来，然后在匹配过程中与另 一副图像作比较，在满足外极线约束的规则下，以区域的统计量来确定匹配最优 化和唯一化。 并在图像识别分割过程中以子区域增长的方式确定目标区域，然后在目标区 域用模糊的方法计算目标区域目标图像重心，然后计算其它统计参数。 第四章介绍了双目测距系统的实现，搭建了测距系统平台，对图像采集系统 进行了软硬件设计，并且做了各类实验，包括摄像头参数标定实验、应用三角模 型测距的实验、应用b p 神经网络模型测距的实验，最后在测距实验中针对不同 因素对测距精度的影响进行了数据处理和分析。 第五章总结本文的研究成果和对该课题的展望。 第二二章立体视觉测距理论及方法 第二章立体视觉测距理论及方法 本章介绍了立体视觉测距理论和方法，介绍了双目视觉测量原理对立体视 觉测距的工作原理、标定理论和匹配方法都进行了研究，并在此基础上对应用神 网络的方法进行双目视觉测量的方法进行了研究。 2 1 传统的三角测量方法简介 2 1 1 三角测量的工作原理乜 双目成像的模型可看作是由两个单目成像模型组合而成。因为在一般情况 。：，透镜物距u 焦距f ，可得像距v 近似为f ，所以实用中可以用小孔成像模型 来代替透镜成像模型。图2 7 给出双目成像的一个示意图，图中两个镜头中心间 的连线称为系统的基线b 。利用双目系统可以确定具有像平面坐标点( x ，y ) 和( x 。，y 。) 的世界点w 的坐标( x ，y ，z ) 。当摄像机坐标系统和世界坐标系统 重合后，像平面与世界坐标系统的x y 平面也是平行的。在以上条件下，w 点的z 坐标对两个摄像机坐标系统都是一样的。 图2 1 ，y i ) 中心 先考虑两个摄像机相同且它们坐标系统的各对应轴精确地平行( 主要是光轴 平行) ，只是它们原点位置不同。在这种情况下双目成像可借助图2 2 来分析， 那里给出两摄像头连线所在平面( x z 平面) 的示意图。将第一个摄像机叠加到 现实世界坐标系统上( 两系统原点重合) ，根据三角形相似性原理有： = 粤( 厂一z ) ( 2 1 1 ) 6空中目标的砹目立体视觉测距 上式中x 和z 表示第一个摄像机移到了世界坐标系统的原点，而第二个摄像 机和w 点在保持图2 1 所示相对几何关系的条件下也会跟着移动。 l r w ( x 。 f 图2 2 z y 。z ) 如果第二个摄像机移到世界坐标系的原点，则w 点的x 坐标可表示为 x ：= 每( ，一z ：) j ( 2 1 2 ) 因为基线长度是b 且w 点的z 坐标对两个摄像机坐标系统是一样的，所以有： x 。= x + b ( 2 1 3 ) z ：= z 。= z ( 2 i 4 ) 将式( 2 1 3 ) 和式( 2 1 4 ) 代入式( 2 i 1 ) 和式( 2 1 2 ) 中得到： x 1 = 粤( 厂一z ) ( 2 1 5 ) ， x i + b = 每( 厂一z ) ( 2 i - 6 ) 用式( 2 1 6 ) 减去式( 2 1 5 ) 可解出z ，即有： z 铲告川卜寺 ( 2 _ 1 7 ) 上式把物体与像平面的距离z ( 即目标的距离信息) 与视差d ( 像坐标x 2 和 x j 的差) 直接联系了起来，视差的大小与深度有关，所以视差包含了3 - - d 物体 的空间信息。如果视差d 可以确定并且基线和焦距已知，计算w 点的z 坐标是很 简单的。故下面对摄像头的参数标定再介绍一下。 2 1 2 摄像头参数的标定心。 第二章立体视觉测距理论及方法 图像采集系统采集的图像是以数字图像的形式输入到计算机的，每幅图像在 计算机储存格式为一个m x n 的数组，m 行n 列图像中的每一个像素在m x n 的数 组中对应的值就是图像点的灰度值。 u o v y 图2 3 图像坐标系 在图像中定义直角坐标系u ，v ，每一像素的坐标( u ，v ) 分别是该像素在数组 中的列数和行数，所以，( u ，v ) 是以像素为单位的图像坐标系的坐标，由于( u ， v ) 只表示位于数组中的列数和行数，并没有用物理单位表示出该像素在图像中 的位置，因而要建立以物理单位表示的图像坐标系。该坐标系以图像内某点0 为原点，x 轴、y 轴分别与u 、v 轴平行，如图2 9 所示。在x 、y 坐标系中，原 点0 定义在摄像机光轴与图像平面的交点，该点一般位于图像交点处，但由于 摄像头制作的原因，也会有些偏离，若0 ；在u 、v 坐标系中的坐标为( ，v ) ， 每一个像素在x 轴与y 轴方向上的尺寸为d x 、d y ，则图像中任像素在两个坐 标系下的坐标有以下关系： “：兰+ ( 2 1 8 ) “5 五十 2 1 8 v ；上+ v 。 ( 2 1 9 ) ”孟w 。 皑1 。 对上两式的坐标进行平移， x “皇 出 。：上 咖 用矩阵形式表示为： 使o o 与0 ，重合，则有 ( 2 1 1 0 ) 空中目标的双目立体视觉测距 州刘习 l咖j 害删 单个摄像头的标定是基于以下原理的，模型见图2 1 0 。 物 图2 4 在两个不同的位置对同一参考物进行摄像，并保证每次摄像时参考物均平行 于摄像镜头。设标准物体0 大小为a ，第一次摄像时物距为u ，成像大小为s ( 毫米) ，第二次摄像时物距为u ：，成像大小为s ：( 毫米) 。通过图像处理的方法 得到第一次获取的像的大小为m ，( 像素) ，第一次获取的像的大小为m 。( 像素) ， 那么根据式2 1 1 0 和2 i 1 i 有： 肌1 ：s _ l ( 2 1 1 4 ) 甜 埘，：喜 ( 2 i 1 5 ) 1 咖 同时根据三角形相似性有： ：生 ( 2 1 1 6 ) s ， ：u _ l ( 2 i 1 7 ) s lf 其中f 为镜头的焦距。由式2 i 1 6 和2 i 1 7 可得到： 旷铲( 妾一争( 2 i 1 8 ) 再熔式2i1 4 和式2 i 1 5 代入式2 i i 8 # 取d x = d v 得到 第二章立体视觉测距理论及方法 9 “：一“。：；( 一) ( 2 1 1 9 ) 出2 1 设f = - - 出- f = 号，l 。u z u t ，则有下式 f ：土。! 堕 ( 2 1 2 0 ) a m ，一，”， l 可以测量得到，则参数f 可通过式2 1 ，2 0 求得，该式即为线性摄像头参数 标定的基础。 当参数f 标定后，且由于f 相对测量距离来讲可以忽略，则两摄像头光轴平 行的三角测量的公式2 1 7 可改写为： z ：型 ( 2 1 2 1 ) 上) d 其中b 仍为两摄像头光轴的间距，f 就为摄像头刚才的标定参数，耽为目标 在两摄像头采集图像中的像素差值。 2 2 立体视觉匹配方法介绍 从原理上讲，根据“立体图像对”抽取深度信息的处理应包括以下四部分： a 在图像中寻找两幅图像中都便于区分的特征，或用于匹配的基元。 b 把左、右两幅图像中的有关特征进行匹配，即解决特征匹配的方法问题。 c 确定摄像机的相对几何位簧和有关参数，即摄像系统的校准。 d 根据视差计算成像物体相对摄像镜头的距离。 后两个问题在前一节中已介绍，但这些问题中最重要和困难的是前两个问 题，也就是在左、右图像中发现与同一空间对应的成像点对，这就是所谓的对应 性问题，一旦确定了对应关系就可容易地计算出这些图像点所代表的物体点在空 间的位置。这一节对匹配的基本原理和方法进行了介绍，并针对空中目标特性的 图像匹配提出了见解。 2 2 i 匹配基元的选择 对应性问题不是简单地把两幅图中像素的灰度左比较就能解决的。左右图像 中单个像素点的狄度不够稳定，即使认为它们是稳定的话，也很容易出现在相当 空中目标的烈日立体视觉测距 大的区域里像素具有相同灰度的情况，这样就造成了严重的多义性问题，或假目 标问题。 立体视觉处理中对搜索对应点时的多义性问题可分两步来解决。第一步是 在单幅图像作预处理时通过抽取图像局部结构较为丰富的描述来减少错误对应 的可能性：第二步，是在两幅图的对应点间作匹配时应用选择性规则来限制搜索 空间。各种算法间的区别主要在于它们在匹配时选择什么样的匹配基元作为表面 位置标志的基本要素，以及选用什么规则来限制搜索空间和删除不合格的匹配。 选择匹配基元时要考虑基元的稳定性和敏感性。由于图像对中不可避免地存 在光度学和几何学的畸变。为使在这种情况下仍能可靠地检测所需的位置标志， 所选的匹配基元应能经受上述两方面的畸变，也就是应有较高的稳定性。同时， 从减少不正确匹配的可能性来看，所选的匹配基元应能灵敏地反映两个匹配基元 之问的差别，这就是说要有较高的敏感性。人类的立体视觉经受图像对之自j 对比 度差别的能力很强这意味着在人的立体视觉中可能应用了如局部灰度梯度最大 点这样的与对比度大小无关的匹配基元。在选择匹配基元时还应考虑便于检测、 能准确定位和允许在较大的视差范围内进行匹配等因素。目前所用的匹配基元可 以分成两大类： a 所有图像点上抽取的量测 这类匹配基元一般是在每个像素位置处都产生一个描述，所以这时把匹配基 元看成是一种量测比看成一种特征更为确切。这些特征表示图像中的局部结构状 态，在数量上要比像素少得多。属于这类的匹配基元有以下几种： ( 1 ) 像素灰度。像素灰度可由成像系统直接得到，因此是最简单的，目前 被用于大多数商用的视觉系统中。 ( 2 ) 局部区域的灰度函数。在各种大小窗口中求得的灰度分稚的导数可用 于产生描述各点周围结构的矢量。 ( 3 ) v2 g 卷积图像的符号。把图像与各种大小的v2 g 算予卷积后，图像中 各点的符号可作为原始图像特征的描述。在卷积后的图像可得到正号区和负号 区。这两个区域的边界接近于灰度梯度局部极大值的位置。 b 图像特征 这种匹配基元较为符号化，它检测图像中包含丰富信息的结构所在的位置， 例如图像中的边缘，这些边缘可能与景物中表面的边界相对应。与像素相比图像 特征数量较少。 ( 1 ) v2 g 卷积图像中的过零点。这种方法是由m a r r 和p o g g i o ，m a r r 和 h “d r e t h 提出和发展的。它虽然也可用于检测边缘，但是更确切说这种方法的 第二二章立体视觉测距理论及方法 目的是检测稳定的、稠密的表面标志。按这种方法任何小的影调变化或小的纹理 变化只要稳定都是一个特征。、 ( 2 ) 边缘。这种基元试图抽取景物中表面之间或不同颜色区域之间的实际 边界。这种匹配基元上还可以带有如边缘方向、对比度、长度、边缘曲率等附加 信息。在选择边缘作为特征时有两点需要考虑：第一，由于对于给定的特征点来 说，对应的外极线上的点都是可能的匹配点。所以与外极线方向平行的边缘线段 无法作为匹配的特征，只有其方向与外极线交叉的边缘点才能作为匹配基元。第 二，因为边缘经常代表深度的不连续点，在从不同位置所取得的图像中，边缘两 侧的区域情况将会不同。因此，基于边缘特征的立体视觉匹配算法通常只利用边 缘的位黉和方向的信息，而对边缘两侧的灰度信息用的很少。o “”“3 本文针对空中目标所具有的特性，提出了采用目标重心特征作为匹配特征。 这是因为空中目标所对应的背景比较单纯，即背景一般为天空，目标物相对于背 景一般灰度值对比强烈，故很容易的通过设定灰度阚值的方法把目标从背景物中 分割出来。然后综合了传统的选择匹配基元的两类方法，把目标所有图像点都纳 入匹配计算范畴，这样就能大大提高匹配精度，将目标图像点的重心计算出来， 然后将它作为特征点进行基于图像特征点的匹配。 2 2 2 匹配规则 在研究具体的匹配规则以前需要先讨论在匹配过程中应遵循的约束条件。这 些约束条件是根据对匹配所作的假设产生的，约束条件主要包括以下三条： a 相容性约束 如果两个匹配基元确实是由同一物理标记产生的，那么它们就可以匹配起 来。如果不是这样，它们就不能匹配。在判断两个匹配基元是否相容时要根据它 们之间的相似性。问题是如何度量匹配基元的相似性。有两种相似性的假设。一 种是基于光学不变性的性质。即左、右图像对应区域中灰度的变化情况相似。另 一种相似性的假设是根据几何学不变性，即两幅图像中描述对象的几何结构相 同。例如，在以边缘作为匹配基元时，沿外极线上任何扫描方向，在左、右图像 边缘出现的次序相同。 b 唯一性约束 由于在任何时刻位于某一物质表面上的一个给定点在空间只占有一个唯一 的位置，所以，除了极个别的情况外，某个匹配基元只能与另一幅图像中的一个 匹配基元相匹配。这样，图像中的每一个匹配基元最多只能有一个视差值。 c 连续性约束 空中目标的般目立体视觉测距 这条约束条件的含义是匹配得到的视差值的变化在图像中几乎处处平滑。 本文针对将目标重心作为特征的情况下，并且为了以后能方便的应用于实际 测距产品设计中，采用了双目( 双图像采集系统) 并行运算的设计，故提出了下 列规则： ( 1 ) 将外极线约束引用到浚图像的匹配过程中。由于两摄像头光轴平行， 故目标在两幅图像中形成的图像的重心基本上只有水平方向的差，在垂直方向上 基本没有差别，故在匹配过程中引入外极线约束，当匹配过程中两幅图像中识别 出的目标重心在垂直方向上差值大于一定值时即排除匹配。 ( 2 ) 引入区域的统计量作为匹配规则。把图像识别目标重心区域里的统计 量计算出来，如将其均值、方差、目标像素数计算出来，然后在匹配过程中与另 副图像作比较，在满足外极线约束的规则下，以区域的统计量来确定匹配最优 化和唯一化。 2 3 基于神经网络进行立体视觉测距的新方法 立体视觉系统是近2 0 几年才发展起来的一种新兴三维测量方法，特别对于 大尺寸物体或实时测量，其表现出相当强的生命力，但传统的立体视觉方法是基 于三角测量原理、在考虑到透镜的径向、切向畸交后。该方法将带来很复杂的非 线性系统误差，且对测量系统要求较高。基于神经网络的立体视觉系统研究方法、 不仅能减少非线性因素的影响，而且降低了对系统的要求。训练好的网络几乎可 以进行实时测量，获取物体的三维信息。该方法是对非接触、大尺寸物体实时测 量的立体视觉系统研究方法的有益探索。 图2 5b p 网络拓扑结构图 若忽略透镜畸变影响、立体视觉是基于小孔成像原理：从三结构空间到二维 像空间是一个投影变换关系，通过两只摄像头 相似于人的双眼 ，由投影逆变换 可以从两幅二维图像中获得物体的兰维信息，考虑透镜径向、切向畸变等非线性 因素后，这一问题将变成一复杂的非线性方程求解问题。基于人工神经网络的立 第二章立体视觉测距理论及方法 体现觉系统就是用三层前向型b p 网络来模拟物、像对应关系，而畸变、环境因 素所带来的非线性误差都将通过网络的学习被分散到各神经元之间的连接权值 上，当网络的输出值与学习样本值的均方误差满足系统精度要求，即可认为学习 成功。对于学成的网络可通过其自回 乙功能送行实时的物体三维信息获取工作。 本文选用的三层前向型b p 网络的拓扑结构如图2 1 0 所示，输入矩阵为两摄像头 的二维像面坐标，输出矩阵为物体距两摄像头平面距离y 。神经元的输入x 。都赋 以权值矩阵w 中的相应权值，加权的输入和经传递函数f 作用得到输出矩阵y ， 即： n e t 目= 扎 ( 2 3 1 ) = f ( n e t 目) ( 2 3 2 ) 通过使网络输出均方误差最小原则进行权值修正，误差函数为 e 。= 寺( y 自一) 2 ( 2 3 3 ) 式中y u 表示第k 个训练模式输出节点j 的期望输出，y 。为相应的实际输 出。b p 算法的权值修正公式表示为： ( f + 1 ) = ( f ) + 玎+ z 。 ( 2 3 4 ) 其中：f 轰夥戮；鬻 此外，为了防止一个训练样本转化为另一个样本时，由于开始误差值很大而 引起核系数扩过调。往往引入一惯性项以减小过调量，故权值公式又可写成： ( ，+ 1 ) = ( f ) + ，7 气匕+ 讲( f ) 一( f 一1 ) 】 ( 2 3 5 ) 其中，7 为学习效率，口为动量因子，二者可根据训练情况在o 一1 之间动态 调节。 用神经网络的方法，可以建立起立体视觉系统中三维物空间与二维原平面的 映射关系，进而几乎可以实时进行三维物信息的获取。与传统立体视觉三角测量 方法比较，二者的系统模型不同。传统的三角测量方法，在标定时确定系统的变 换关系，是一种基于线性变换的方法，对于光学系统畸变等非线性因素的影响， 解决起来比较麻烦，而神经网络系统本质上是非线性动力系统，因此它在解决非 空中目标的双目立体视觉测距 线性映射等问题时表现出相当大的优势，而且网络固有的并行处理能力将使网络 的测量速度非常快，可达到实时测量的要求，这是传统立体视觉测量方法无法比 拟的。神经网络的三维视觉测量方法目前的缺点主要是所需的训练点数较多，训 练过程相对较慢。 在理论上，这是一种新的测量方法，在机械制造、机器人、航空、航海等实 际应用领域。此方法也显示出巨大的潜力。但也应该看到立体视觉真正应用于实 际仍有一定的局限性，诸如双目匹配点的精确获得，神经网络结构的不完善性， 大量数据的快速处理等。对于人眼，其信息处理量为3 0 0 m b s ，这是现代数字 计算机难以达到的。因此，发展新一代智能计算机、高速并行处理的光学计算饥， 神经网络的进一步仿真化，对人类视觉系统生物机理更为深入的研究，以及提出 更为精确的匹配算法，无疑将给立体视觉提供更为广阔的应用前景，同时也会带 动相关学科的发展。m m ” 2 4 小结 本章主要介绍了立体视觉测距基本原理和方法，首先介绍了双目视觉三角测 量原理，其中对标定参数的选择和标定方法进行了论述，然后对图像匹配的一般 原理和方法进行了介绍，最后在此基础上对应用神经网络的方法进行双目视觉测 量的方法进行了研究，为后面的测距实验工作奠定了良好的理论基础。 第三章基于模糊区域的匹配方法研究1 5 第三章基于模糊区域的匹配方法研究 3 1 概述 立体匹配是立体视觉中最重要也是最困难的问题。当空间三维场景被投影为 二维图像时，同一景物在不同视点下的图像有很大不同，而且场景中的诸多因素， 如光照条件、景物几何形状和物理特性、噪声干扰和畸变以及摄像机特性等，都 被综合成单一的图像中的灰度值，因此要准确地对包含了如此之多的不利因素的 图像进行无歧义的匹配，显然是十分困难的。对于任何一种立体匹配方法，其有 效性有赖于山三个问题的解决，即选择正确的匹配特征、寻找特征间的本质属性 及建立能正确匹配所选特征的稳定算法，立体匹配的研究都是围绕着这三方面在 工作，并己提出了大量各具特色的匹配方法，但是由于立体匹配涉及的问题太多， 至今仍未得到很好的解决，特别是在各种不同的复杂场景中，如何提高算法的去 歧义匹配和抗干扰能力，降低实现的复杂程度和计算量，都需进行更深入的探索 和研究。”本章主要讲的就是匹配算法的具体实现过程，在前一章已经介绍它针 对空中目标所具有的特性，提出了采用目标重心特征作为匹配特征，针对将目标 重心作为特征的情况下，采用了双目( 双图像采集系统) 并行运算的设计，故提 出了下列规则： ( 1 ) 将外极线约束引用到该图像的匹配过程中。由于两摄像头光轴平行， 故目标在两幅图像中形成的图像的重心基本上只有水平方向的差，在垂直方向上 基本没有差别，故在匹配过程中引入外极线约束，当匹配过程中两幅图像中识别 出的目标重心在垂直方向上差值大于一定值时即排除匹配。 ( 2 ) 引入区域的统计量作为匹配规则。把图像识别目标重心区域里的统计 量计算出来，如将其均值、方差、目标像素数计算出来，然后在匹配过程中与另 一副图像作比较，在满足外极线约束的规则下，以区域的统计量来确定匹配最优 化和唯一化。 图3 1 是图像匹配处理过程的示意图，它一般包括图像的预处理、图像的分 割、图像的匹配三方面组成。 图3 1 空中目标的烈目立体视觉洲距 3 2 图像的预处理 图像的预处理一般分为图像的锐化和图像的平滑，锐化增强了图像的细节变 化，但也增大了图像的噪声干扰，平滑降低了图像的噪声干扰但同时也削弱了图 像的细节变化，由于本文是对空中目标特性图像采取模糊区域的方法进行匹配， 对图像的细节变化要求并不高，故本文中图像的预处理工作是对图像做了平滑处 理。图像平滑的目的是为了消除噪声，图像噪声的来源有以下三方面：一为光电、 电磁转换过程中引入的i 噪声；二为自然环境存在的强电磁脉冲的干扰；三为自然 起伏性噪声。 常用的噪声消除方法有邻域平均法和低通滤波法： a 邻域平均法是一种图像局部空问处理的算法。设副图像f ( x ，y ) 为n n 的阵列，平滑后的图像为g ( x ，y ) ，它的每个像素的灰度级出包含在( x ，y ) 的预定邻域的几个像素的扶度级的平均值所决定，即用下式得到平滑的图像： 烈置力。击。蒹) - 1 式( 3 。1 ) 中的( x ，y ) = 0 ，l ，2 ，n 一1 ，s 是以点( x ，y ) 为邻域中 心的邻域像素的集合( 不包含孩点) ，m 是s 内坐标点的总数。用卷积的形式表示 如下： g ( x ，y ) = f ( m ，n ) h ( x m + 1 ，y 一 + 1 ) ( 3 ，2 ) 式中，g 为n n 阵列，h 为l l 阵列，称之为卷积模板。 四邻域平均算法用公式表示为： g ( i ，j ) = 【厂( f 一1 ，) + i 厂( f ，一1 ) + 厂( f ，+ 1 ) + 厂( f 十l ，j ) ( 3 3 ) 式( ： 1 ) 卷积模板为 f o l o l h 。= 去l t 0 i a ， l o 1 o j 此外还有其他8 邻域平均算法。 b 低通滤波法 由信号频谱分析可得，信号的缓变部分在频域属于低频部分，信号的快变部 分在频域属于高频部分，对于图像来说，它的边缘和干扰噪声的频率分量都处于 二维频域的高频部分，因此可以采用低通滤波的方法来除去噪声，而频域的滤波 又很容易从空问域的卷积来实现，为此只要适当设计空间域系统的单位冲击响应 第三章基于模糊区域的匹配方法研究 g ( x ，y ) = f ( m ，n ) h ( x m + l ，y 一 + 1 ) ( 3 5 ) 耻州卜击b | 4 慨e ，耻牝卜铆 i j 耻托小6 ) 3 3 1 阈值选择 3 3 图像的分割 a 图像直方图分析法 图像的灰度级范围为0 ，1 ，2 ，2 5 5 ，设有灰度级i 的像元数为n 。，那么 一副图像的总像元数n 为 2 5 5 n ：y h ( 3 7 ) 篙 狄度级i 出现的概率定义为 p = 专 ( 3 8 ) 灰度级i 出现频率p 。和灰度级i 的二维关系，用直方图的形式表现出来 就称为狄度直方图。一般，灰度直方图的横轴表示灰度级，纵轴表示出现频率 p i 。对于有突出目标和背景的图像，其灰度直方图将有明显的双峰。在这种情 况下，可以选择两峰之间的最低点作为阈值。 b 类判别分析法 设图像中的灰度范围为 0 ，1 ，2 5 5 ，选择分割值t 将图像分为两类：c 。： 0 ，l ，t j ，c l ： t + l ，2 5 5 ) ，计算出图像的灰度直方图并进行归一化处理， 且有概率分布： 空中目标的双目立体视觉测距 p = 专，( 只 o ，善2 5 5 p _ 1 ) ( 3 9 ) 其中n 像素总数，n ，为灰度为i 的像素总数。整个图像的灰度均值为 o = i + p ( 3 1 0 ) c 。类的出现概率及其类均值分别为： 珂( f ) = 只 ( 3 1 1 ) ( f ) = i + p ( 3 1 2 ) 本文用下面的准则测量出的闽值有较好的分离特性 砸，= 篱m 当目标狄度比背景灰度弱时，闽值为： 卜0 8 + 麟( 3 - 1 4 a ) 当目标灰度比背景灰度强时，闽值为： r 2 1 2 + 。m s a x 7 7 ( t ) ( 3 - 1 4 b ) 3 3 2 图像分割的参数计算 由于分割的阈值已经确定，图像的分割应该很容易，但是，由于背景的不单 纯，以及目标的不唯一性，故如果直接分割图像，并不能完全的把待测目标图像 从背景中分离出来，故本文采取了分区域的图像分割技术，将一副图像分割为 1 2 1 2 = 1 4 4 个子区域，分别在各子区域内进行图像粗分割，即若该区域内有属 于阈值内的值的象素数大于一门限( 1 2 象素数) ，即判定该子区域为1 。若该区 域内有属于阈值内的值的象素数为o ，则判为o ，其他的情况标记判为2 。由于 待测目标假定在图像中心附近，故先找标记为1 的距离图像中心最近的子区域作 为种子区域，然后在其周围找标记为l 的其他子区域，直到区域增长到再没其他 予区域与该增长区域相连通为止。将这一增长了的区域( 包含连通标记为2 的予 区域) 标定为目标存在区域，将这一区域作为邻域进行后面的模糊中心计算。该 分区域的图像分割技术如下列图所示( 该图选择6 6 = 3 6 个子区域) ： 笙三茎墨王垡塑堕塑塑竖墼互鲨堑塑! ! 一 _ _ _ 图3 2 子区域分割前的分割图像 00000 0 oo0210 0001l0 0002lo 2l00o o l10000 图3 3 子区域分割图像标记结果 0000o0 00o0lo 00ollo oo0o10 00oo00 00 0000 图3 4 种子区域增长后的标记结果 o00000 oo02l0 00ol1 0 o002l0 0