（地图制图学与地理信息工程专业论文）地面立体影像匹配技术研究.pdf

摘要 立体影像匹配是数字摄影测量和计算机视觉的核心技术，被广泛应用于多个领域。可以 说，立体影像匹配技术的发展程度决定了数字摄影测量的自动化程度。本文选择了地面立体 影像匹配技术作为主要的研究内容，围绕着匹配算法和技术流程，对涉及到的方法和理论进 行了深入的分析和研究，并在此基础上建立了地面立体影像自动匹配的试验系统。 本文通过对现有立体影像匹配技术的对比、分析和总结，给出了立体影像匹配系统的基 本构成形式，在此基础上提出了一种新的基于特征点的匹配系统，并详细的阐述了该系统的 每个组成部分。首先，介绍了一些常见的特征点提取算法，并对其中的h a r r i s 算子进行了改 进，得到了规则格网h a r r i s 点特征提取算子，保证了特征点均匀的分布，为后续的匹配任务 提供了良好的匹配基元。然后，从匹配测度、约束条件和匹配策略三个方面详细的说明了本 文提出的匹配系统。该系统中采用梯度向量距离作为匹配测度，其中梯度向量是通过本文中 设计的各向同性描述符计算得到的；匹配系统中所涉及到的约束条件包括核线约束、仿射变 换约束和唯一性约束，通过对这三种约束进行组合应用，实现了优势互补，确保了匹配结果 的稳定性和准确性；本文中采用了粗、精两级匹配的策略，极大地提高了匹配的准确性和效 率，避免了直接在较大的影像上进行全局搜索所带来的低效率和大量的误匹配。 最后的实验证明，本文中所提出的基于特征点的匹配系统具有较强的稳定性，抗噪性； 对于存在一定角度的旋转或存在一定交会角的地面立体像对，都能取得不错的匹配效果。并 且通过与相关系数法和s i f t 法的比较，证实了本文方法的匹配精度远远优于其它两种方法， 匹配速度也优于相关系数法。 本文还将匹配的成果应用于d s m 的自动生成，影像拼接和立体显示等工作中，实验结 果表明这些应用都是成功的，取得了一定的效果。 最后，对本文的主要工作进行了总结并进行了展望。 关键字：点特征提取，立体影像匹配，匹配约束，两级匹配 a b s t r a c t s t e r e om a t c h i n gi saf u n d a m e n t a la s p e c to fm a n yp r o b l e m si nd i g i t a lp h o t o g r a m m e t r ya n d c o m p u t e rv i s i o n i ti su s e di nm a n yf i e l d sa n dt h ed e v e l o p m e n to fi th a sd e c i d e dr e a l t i m ea n d d e g r e eo fa u t o m a t i o no fd i g i t a lp h o t o g r a m m e t r y t h ec o n t e n to fr e s e a r c hi sm a i n l ya b o u tt e r r e s t r i a ls t e r e om a t c h i n gt e c h n i q u ei nt h i sp a p e r t h et h e o r yo fm a t c h i n ga l g o r i t h m sa n dp r o c e s s e sa l es t u d i e da n da n a l y z e dd e e p l y at e s t i n g s y s t e mh a sb ee s t a b l i s h e dt oc h e c kt h ea p p r o a c h e dm e t h o d s b yr e v i e w i n ga n ds u m m a r i z i n gt h e e x i s t i n gs t e r e om a t c h i n gt e c h n i q u e ，t h es l l a l c t u r eo fm a t c h i n gs y s t e mh a sb 咖a c c e s s e da n da n o v e lm a t c h i n gs y s t e mb a s e do nf e a t u r ep o i n t sh a sa l s ob e e np r o p o s e d t h e ne v e r yi n t e g r a lp a r to f i th a sb e e ne x p o u n d e d f i r s t ，s o m ef a m i l i a ro p e r a t o r so ff e a t u r ep o i n t se x t r a c t i o na r ea n a l y z e d t h ef e a t u r ep o i n t sw i t hg o o dd i s t r i b u t i o na r ee x t r a c t e db yu s i n go fai m p r o v e dh a r r i so p e r a t o r t h e ya r eg o o df o rt h em a t c h i n go nt h en e x t s e c o n d ，t h em a t c h i n gs y s t e mi sd e s c r i b e do n m a t c h i n gm e a s u r e ，c o n s t r a i n tc o n d i t i o na n dm a t c h i n gs t r a t e g yi n t h i sp a p e r mm a t c h i n g m e a s u r ei se u c l i d - d i s t a n c ei nt h et w og r a d sv e c t o r s t h e ya r er e l a t e dt of e a t u r ep o i n t sa n d e s t a b l i s h e db yu s i n gai s o t r o p ym o d u l a r t h ec o n s t r a i n tc o n d i t i o ni n c l u d e se p i p o l a rg e o m e t r y , a f f m eu a n s f o r ma n du n i q u e n e s s t h et h r e ec o n s t r a i n t sa 托u s e df o rc h e c k i n gt h em a t c h e sw i t h d i f f e r e n tc o m b i n a t i o n sa n dt h e yc o m p l e m e n te a c ho t h e rw e l l t h et w o - l e v e lm a t c h i n gs t r a t e g yi s u s e df o ra v o i d i n gg l o b a ls e a r c h i n go nl a r g ei m a g ea n di m p r o v i n ga c c u r a c ya n de f f i c i e n c y t h ee x p e r i m e n ti sa b o u td i f f e r e n tk i n d so ft e r r e s t r i a li m a g e sa n dp r o v i d e st h a tt h em a t c h i n g s y s t e mo ft h i sp a p e ri sn o ts e n s i t i v et on o i s ea n dg u a r a n t e e sb e t t e rr e l i a b i l i t ya n da c c u r a c y f o r i m a g e sw i t hr o t a t i n ga n dv i e wp o i n tc h a n g i n g ，i tc a na l s oa c h i e v eg o o dm a t c h i n ge f f e c t m o r e o v e r , i ti sc o m p a r e dw i t hn c ca n ds i f t t h er e s u l ts h o w st h a tt h em a t c h i n ga c c u r a c yo fu s i n gt h e m e t h o do ft h i sp a p e ri sb e t t e rt h a nu s i n go t h e rt w oa n dt h em a t c h i n gs p e e di sh i g h e rt h a nn c c b e s i d e s ，t h em a t c h i n gr e s u l ti su s e di na u t o - b u i l d i n gd s m ，i m a g em o s a i ca n ds t e r e od i s p l a y t h e r e s u l ts h o w st h a tt h e s ea p p l i c a t i o n sa r es u c c e s s f i n a l l y , t h ek e yw o r ko ft h i sp a p e ri ss u m m a r i z e da n dt h eo u t l o o ki sg i v e n k e y w o r d s ：f e a t u r ep o i n t se x t r a c t i o n ，s t e r e om a t c h i n g ，m a t c h i n gc o n s t r a i n t s ，t w o - l e v e lm a t c h i n g i i 北京建筑工程学院 硕士学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容 外，本论文不含任何其他个人或集体己经发表或撰写过的作品成 果。对本文的研究做出重要贡献的个人和集体，均已在文中以明 确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：彳魄以矽 日期：蟛年p 月巧日 授权书 本人同意将所著硕士学位论文 著作权中的数字化制品复制权、信息网络传播权和汇编权授权业 宝建筑工程堂院婴宜生处行使。上述授权的范围包括：j 匕宝建篁 工程学院自己使用或委托他人使用。 本人保证为该论文作者，依法享有著作权，并愿承担因著作权问题引起的责任。 j 匕塞建筑- 王猩堂院须依照我国著作权法的有关规定，充分尊重本人享有的著作权权利 ( 包括获酬权) 。 本授权有效期王年。 作者联系方式： 地址： 电话： 手机： 论文作者： ( 签章) 年月 日 邮编： 传真： 电子信箱： 北京建筑工程学院硕士生学位论文地面立体影像匹配技术研究 第一章绪论 1 1 概述 随着新兴科学技术特别是空间技术、计算机技术和信息技术的飞速发展，人类社会进入 了信息时代，各行各业对空间三维信息的需求与日俱增，人们对空间三维信息的采集、管理、 应用等提出了更新、更高的要求。传统的空间测量方法存在采集周期长、效率低的缺陷，难 以满足大批量空间三维信息快速采集以及动态更新的需求。当前的信息时代要求以数字化的 形式运用计算机进行空间信息的处理、管理和应用，实现信息的共享和再利用。遥感、计算 机、计算机视觉、人工智能、模式识别以及数字图像处理等技术的发展，促使传统的空间测 量方法沿着信息科学的方向发展，数字摄影测量正顺应这一发展潮流。 数字摄影测量是基于数字影像与摄影测量的基本原理，应用计算机技术、数字图像处理、 影像匹配、模式识别等多学科的理论和方法，提取所摄对象用数字方式表达的几何与物理信 息的摄影测量学。而数字近景摄影测量又是数字摄影测量的一个重要的学科分支，凡是能够 被摄取影像的目标，均可作为数字近景摄影测量的对象，以获得目标的三维空间信息。数字 近景摄影测量在记载时间信号的同时，还可获取运动目标的运动状态，即获取运动目标点的 速度、加速度和运动轨迹等信息。与其他的三维测量手段相比，其具有以下优点： 1 ) 它是一种瞬间获取被测物体大量物理信息和几何信息的测量手段，能够及时对动态物体 进行定量分析，适合于物体外形和运动状态测定，也可用于微观世界和较远目标测量的手段。 2 )它是一种非接触式的量测手段，不损坏测量目标，不干扰被测物的自然状态，并且可以 在极为恶劣的条件下( 如水下、放射性强、有毒缺氧等) 作业。作为信息载体的数码相片包含 了被测目标的大量信息，并且这些信息可重复使用，易于存储。 3 )它采用各类摄像设备，不但获取的原始数据是数字形式的，记录的中间数据及最终成果 也均是数字形式；而且它能够快速甚至实时地处理数据、输出产品。 4 )它是一种基于严谨的理论和现代的软硬件，能够快速的提供具有高精度和可靠性的量测 结果。 在过去的二十年中，随着数字摄影测量技术的快速发展和数码相机的出现，传统近景摄 影测量的方法和工作设备也发生了巨大的变化。早期的近景摄影测量是采用专业的光学量测 相机，获取光学影像后在测图仪上进行摄影测量处理，这种作业方式中仪器价格昂贵、操作 繁琐，且产品多是线画图，不利于成果的使用和共享。随着数字摄影测量软件的出现，可将 光学影像通过数字扫描后转化成数字影像，然后在数字摄测量软件中进行摄影量测。近年来 随着数字摄影技术、图像处理技术、计算机视觉、三维重建等技术的发展，数字摄影测量技 术在信息记录、处理、数据存储和管理方面发生了根本性的变化，引发了摄影测量的一场深 刻变革。量测数码相机的出现和普通数码相机量测化应用技术的研究，以及相应近景摄影测 量系统的出现，使摄影测量技术在实际应用中可同时进行数字影像记录和数据处理，实现了 从传感器到处理和存储系统直接而快速地数据传送，改变了过去用专业光学相机获取影像， 然后通过数字化的方法得到数字影像的作业方式。现在数字近景摄影测量技术已经应用于各 类建筑工程、机械制造、航空航天技术、汽车制造、地质、医学、生物、采矿、冶金、结构 变形、粒子运动等方面。根据不同的应用精度要求，可分为高精度应用，如机械构件的量测， 用于检测车辆生产中外壳的设计、仿制或改型中所需的测量工作；用于飞机外形测量、设计、 仿制、改型飞机过程中的测量等等。中低精度的应用在工程建设中，如对水电站的排水泄水 北京建筑工程学院硕士生学位论文地面立体影像匹配技术研究 洞、坝内结构、大型管道、建筑物内部结构量测、对整个施工过程进行监测以及快速地提供 土石方量；在交通事故中，对事故现场快速量测，准确的分析事故原因；在文物保护中，对 古建筑物文物进行三维量测及重建等等。随着固态摄像机、数码相机、图像处理硬件以及微 型计算机在精度、稳定性和功能上的迅速提高，以及这些设备造价不断降低，数字近景摄影 测量的发展及应用前景是极其广阔的。从数字近景摄影测量已有的发展历程来看，虽然它已 经逐步走向实用阶段，但是距离人们所期望的仍有较大差距。目前数字近景摄影测量存在的 主要问题是自动化程度难以达到完全令人满意的程度。就其本质而言，无论是数字空间三维 目标的自动采集、还是目标的自动识别与提取，其核心技术都是影像匹配。因此，从某种意 义上说，影像匹配问题的解决程度决定了数字近景摄影测量的自动化程度。 鉴于影像匹配在数字近景摄影测量中的重要地位和作用，本文选择了地面立体影像匹配 技术作为主要的研究内容，并围绕影像匹配的方法，技术流程等展开了系统的理论分析和实 践研究，并在此基础上编写了地面立体影像自动匹配程序。本文研究的重点是在地面立体影 像特征点稳定、准确的自动匹配，从而推动数字近景摄影测量系统的普及和应用，提高系统 整体的自动化程度。 1 2 普通数码相机的特点 自二十世纪九十年代起，数码相机的发展可谓一日千里。数码相机的出现不但改变了人 们一个世纪来使用胶卷的摄影习惯，更是图像处理正式踏入数码化阶段的里程碑。普通数码 相机的出现，为推广数字近景摄影测量技术提供了有利条件。在近景摄影测量的信息获取手 段中，最常选用的设备是晕测相机。这类相机是专门为测量目的而设计制造的，它的构像畸 变小，相机的内方位元素已知，构像的几何精度高。但是随着近景摄影测量发展到数字近景 摄影测量阶段后，选择使用光学量测相机作为获取影像信息的设备就显出诸多不足，如仪器 笨重、价格昂贵、数量极少及作业时对摄影人员技术要求高等；而专业的量测数码相机由于 其价格高昂，目前国内尚无成熟产品。因此，价格便宜、灵活轻便、操作简单的普通数码相 机，便被引入到数字近景摄影测量领域中。普通数码相机作为获取摄影测量数据的重要设备， 与传统的量测相机相比它具有以下明显的优点： 1 ) 一般非量测相机是不能提供内方位元素的，但是由于数码相机是以数字方式存储像片 的。对于每一张像片而言，像素点的数目及排列都是一定的，这就使得在计算机上所量测得 到的像平面坐标系参考点的位置会保持不变，精确度甚至超过了带有框标的普通相机。这样， 在像片量测之前，可以将x o 、y o 作为已知数据输入。 2 ) 软片压平误差是量测相机的主要系统误差之一。如果量测时采用冲洗、放大的复制片， 像片变形误差的影响将会更加显著。而数码相机摄影不需要底片且像元几何位置固定，因此 不存在需要标准格网以改正底片变形的问题。 3 ) 采用普通相机，需要冲洗底片、放大像片。这样不仅消耗人力物力，而且数据处理周期 较长，效率低，信息反馈慢，以致在许多工程中不能应用。而数码相机采用存储卡存储影像， 可直接与计算机连接，因而效率高，信息处理周期短。 4 ) 由于数码相机影像数据处理过程是通过计算机直接从相机上读取像片，在计算机上进行 像片量测及数据处理，因此作业自动化程度高，现场应用方便。 5 ) 全固体化，体积小，重量轻，适应性强，在环境复杂地区进行拍摄具有很强的机动灵活 性。 但是普通数码相机的内方位元素是未知的。为了提高基于普通数码相机摄影测量作业的 适用性和精度，本文针对普通数码相机所拍摄的立体像对的匹配方法进行了深入的研究。 2 北京建筑工程学院硕士生学位论文地面立体影像匹配技术研究 1 3 立体影像匹配技术研究现状 摄影测量中立体像对的量测是提取物体三维信息的基础。在数字摄影测量中是以影像匹 配代替传统的人工观测，来达到自动确定同名点的目的张祖勋1 9 9 6 。因此，匹配的质量决 定了数字近景摄影测量数据后续处理的精度，而匹配的自动化程度，则是提高数字近景摄影 测量效率的关键。近几十年来，关于影像匹配的研究取得了长足的进展，各类算法层出不穷。 归纳起来，影像匹配系统可分为以下几个部分： 1 ) 选择哪一种匹配基元。 2 ) 建立什么样的关于图像先验知识的假设模型。 3 ) 匹配基元之间的相似性如何度量。 4 ) 匹配中采取什么样的策略来保证最终结果的稳定性、准确性。 以上几点基本上概括了各类图像匹配算法所包含的主要内容，需要指出的是它们之间并 不是互相独立的，例如匹配基元的选取与图像间几何、运动模型有很大的关系。要全面地分 析影像匹配系统，以上几点是缺一不可的。下面就对上述四点分别进行探讨并对相关的图像 匹配算法做概括性的描述。 1 3 1 匹配基元的选取 采用何种匹配基元是区分各种影像匹配算法的重要标准。影像匹配方法按匹配基元可以 分为3 类： 1 ) 基于区域的匹配。利用相关函数作为相似测度，在两张影像上比较一定尺寸窗口的相似 程度，确定对应关系。 2 ) 基于特征的匹配。在两张影像上分别提取特征，然后对特征进行比较来确定同名像点。 特征的相似度可用如边缘线的形状、灰度在边缘处梯度变化，以及梯度向量的距离等来度量。 3 ) 基于语义的匹配。根据从两影像中提取的语义信息确定同名像点。 基于区域的匹配方法通常利用点周围邻域的像素作为匹配基元。匹配时，首先以参考影 像中的点为中心构造一个窗口，然后在待匹配影像中按照某种相关函数搜索对应窗口，相关 函数最大时对应窗口的中心点即为匹配点。该类算法在图像纹理丰富的区域通常可以获得较 高的精度，是数字摄影测量中最常用的匹配方法，如互相关和最小二乘匹配等。基于区域灰 度的匹配优点是匹配精度高，最小二乘匹配的理论精度可达到1 1 0 - - 一1 1 0 0 像素，因此最小 二乘匹配被广泛应用于数字摄影测量。基于区域的匹配方法的区域的范围可以从局部窗口扩 大到整幅图像，即图像上很多像素点都满足某种假设的参数模型，直接根据灰度值的相似程 度估计参数。但是基于区域的匹配算法一般有以下几个缺点：对由投影畸变( 摄像机姿态 变化及场景深度变化所引起的变化) 和辐射畸变( 由光照条件发生变化所引起的) 较为敏感； 在缺乏纹理的区域，容易出现无匹配或误匹配；在重复纹理的区域( 如建筑物的墙面) 会 出现多峰值而导致误匹配；计算量大，速度慢。该类方法中，匹配窗口的尺寸很重要，一 方面为了提高信噪比倾向于选用大的窗口，但另一方面，由于投影畸变，窗口内的区域并不 完全一致，因此为了提高匹配的精度，匹配窗口以小为宜。 基于区域的匹配方法主要可以分为互相关匹配、相位匹配、互信息的匹配三大类。互相 关匹配方法要求参考图像和待匹配图像具有相似的尺度。通常以参考图像区域为模板在待匹 配图像可能的范围内进行遍历，计算参考图像和待匹配图像对应部分的互相关，互相关最大 的位置所对应的参数即为待估计的参数，该方法思路简单，但运算的复杂度较大。宋毅针对 s s d 和n c c 算法提出一种基于递推增量计算的改进算法以提高计算速度1 2 ，邓汉华采用在搜 3 北京建筑工程学院硕士生学位论文 地面立体影像匹配技术研究 索窗口中利用连续消除搜索点来降低匹配的计算量的方法，在获得和穷尽搜索算法相同性能 的情况下提高y 2 0 3 0 倍左右的速度【2 2 1 。刘宝生提出了结合小波与增量符号相关的鲁棒图像 匹配方法，在一定程度上解决了存在噪声干扰、阴影和部分遮挡等影响下的图像匹配问题 【2 3 1 。赖睿提出了一种基于积分投影技术的抗噪声实时图像配准算法。该算法通过将图像序 列中的每一帧图像分别沿水平和垂直方向进行积分投影形成两个积分投影向量，并应用基于 梯度的一维平移估计技术处理，从而精确地获取二维空间上的平移量1 2 4 j 。王珏提出了一种 基于圆投影及直方图不变特征的图像匹配方法。通过圆投影方法进行预处理，采用圆形模板 对待匹配图像进行快速搜索，然后选择三种直方图不变矩作为图像特征量进行匹配，有效解 决了目标图像和匹配图像之间存在的较大旋转问题，大大减少了匹配时间【z 5 j 。 相位匹配是利用傅立叶变换的平移性质进行图像匹配的方法。图像经过傅立叶变换，由 空域变换到频率域，则两组数据在空间上的相关运算变为频谱的复数乘法，同时图像在变换 域中还能获得高的信噪比和最大峰值比，比空域有更好的鲁棒性。相位匹配法最初用于计算 图像之间的平移，随后被扩展到旋转的图像匹配中。强赞霞提出了一种基于傅里叶的遥感图 像自动配准方法，通过对数极坐标变换、利用傅里叶变换的比例特性和旋转特性搜索图像 间的比例和旋转变化，利用傅里叶的相位相关技术( 能量谱) 确定图像间的平移关系 2 6 o 郭 晓新对f o u r i e r - m e l l i n 不变量的图像配准方法进行了改进，针对有限离散图像采用了滤波技 术，去除f o u r i e r - m e l l i n 域中的伪像，并能产生明显的相关峰值，同时又能克服噪声干扰的影 响，并将原有方法中二维相关函数的计算简化为两个一维相关函数的计算，降低时间计算复 杂度【2 7 1 。李晓明将基于f o u r i e r - m e l l i n 变换的图像配准方法的应用于全景图像的拼接和图像曲 线的匹配，取得了不错的效果睇引。 互信息是信息理论中的一个基本概念，用来描述两个变量之间的相关性或是反映一个基 于熵的概率分布度量。一般用嫡表示，嫡表达的是一个系统的复杂性或者不确定性。基于最 大互信息的匹配方法基于如下假设：当两幅图像的空间位置完全一致时，对应像素灰度的互 信息最大。该方法广泛地应用于医学图像的配准中。基于互信息的配准过程实际上是一个多 参数寻优的过程。曹治国提出以改进的模拟退火单纯形算法作为优化策略进行图像配准【2 引。 罗欣采用二阶同步试探随机逼近( 2 s p s a ) 算法解决互信息的多变量优化问题p o j ；徐东对 p o w e l l 算法的方向替换策略进行矫正，最大限度地保持原搜索方向；采用预设旋转量的方 法有效解决了插值赝像局部极值问题l 孔j 。黄镜荣提出一种加快寻优的医学图像互信息配准 算法，使用形态学方法提取图像的边界，再用力矩主轴法算出浮动图像进行刚性变换的初步 平移量和旋转量，然后以此作为互信息法的初始参数进行寻优，找出最佳变换口引。强赞霞 通过小波变换构造图像金字塔，从金字塔的最项层开始搜索，根据互信息最大的原则确定图 像间的变换参数，并作为下一层搜索的粗略位置，然后逐层细化，实现由粗到细的搜索过程 【3 3 1 。由于图像信息嫡只与图像中的图像像素点值的数目有关，而与像素点的位置信息无关， 即图像信息嫡不能很好地反映图像间的形状差异。江和平提出了基于单元信息嫡矢量特征的 图像匹配跟踪算法，解决了嫡相同而形状不同的问题，利用单元信息墒矢量间的距离相关性 来完成图像的匹配跟踪m j 。 基于特征的匹配一般包括特征的提取、特征的描述、特征匹配三个步骤，而特征又包括 指点、线和小的面等。面向点、线、面等特征提取的算子很多。特征描述是用一系列的参数 来描述特征，包括位置、线段的方向、长度、曲率，区域的平均亮度或梯度方向等。为了取 得较好的匹配效果，特征尽可能地反映出影像中目标的重要的、本质的特性。重要的特征应 该满足在特征空间中同类聚集，异类分散的性质。当使用距离测度时，同类的特征距离较小， 不同类的特征距离较大。在匹配时，要求特征具有尽量强的绝对性，最大限度的不依赖于提 取目标特征时的条件和环境。也就是说，特征与获取目标影像的视点位置尽量无关，同时受 设备、光照等物理因素的影响极小。通常采用特征描述子来描述此类特征，特征描述子应该 4 北京建筑工程学院硕士生学位论文 地面立体影像匹配技术研究 满足下列要求：不变性，参考图和目标图中同名点的描述子相同；唯一性，两个不同的 特征点的特征描述子显著不同；稳定性，描述子在轻微偏离假设的条件下变化不大；独 立性，如果特征描述子为一个向量，其各个元素应该保持独立。具体采取何种特征描述子要 根据特征的属性和影像之间的几何关系，例如高维的梯度方向特征向量，闭合边界曲线的傅 立叶描述，基于灰度分布的区域矩以及基于目标形状的边界矩等描述子都具有仿射不变的特 性。 在基于特征的匹配算法中，以离散特征点为基础的匹配算法具有特征丰富、抗干扰性强、 适用面广等特点，在摄像机校正、目标跟踪与识别、图像配准、运动恢复、全局运动估计等 应用中占主导地位。在视差、运动场等致密估计中，通常采用特征点匹配获得稀疏的视差或 运动场，然后进一步获得致密场。特征点可以是线段的交点，物体结构的交叉点，局部纹理 特征变化最为显著的点，局部曲率变化不连续的点等。特征点的提取可以在原始图像上进行， 也可以在滤波或者变换后的图像上进行。通常定义特征点为线段的交点、轮廓线上曲率最大 的点、封闭区域的中心点、局部能量最大的点、小波变换后局部幅度最大的位置等。目前已 有的关于特征点提取算法非常之多，用来解决从目标识别到内容检索等极其广泛的任务。例 如基于灰度变化的特征点提取算子就有m o m v e c 算子、h a m s 算子、f o r s t n c r 算子、k l t 算子、 c o o p e r 算子、s u s a n 算子等等。s c h m i d 对其中的部分算子进行了评估和比较。对于立体影 像匹配来说，稳定性和重复性是衡量特征点提取算法的重要依据。稳定性反映特征点的定位 精度以及在图像中的分散程度。重复性表示同一特征点在参考影像和待匹配影像都能检测出 来的概率。 在获得特征点坐标后，通常以特征点为基础，构造特征描述子。传统的方法以特征点为 中心，构造一个矩形窗口区域，采用互相关算法进行匹配。哥伦比亚大学的l o w e 提出了一 种新的点特征提取算法s i f t ( s c a l ei n v a f i a n tf e a t u r et r a n s f o r m ) 算法，在场景部分遮挡、尺 度变化，旋转、视点变化等情况下都能获得较好的效果，并且成功应用于目标识别、图像 复原、图像拼接等领域【3 5 1 。s c h m i d 以特征点为圆心构造局部圆形区域，在圆形区域内用高 斯差分滤波器的滤波输出描述纹理特性，通过改变圆形区域的半径估计尺度变化【3 6 j 。然而， 算法仍存在一些问题，如阈值过多且难以确定，特征描述符维数过高导致计算过于复杂等。 m i k o l a j c z y k 通过自适应h a r r i s 算法定位特征点，仿射不变性描述子定义为局部邻域的归一化 二阶矩，并根据梯度的极值估计尺度【37 l 3 8 o 程亮提出基于信息量和空间分布均衡性双重约 束的多层次特征筛选方法，集成该特征筛选方法、m s e r ( m a x i n l a l l ys t a b l ee x t r e m a lr e g i o n d e t e e t o r ) 、s l f r 的特征提取算法，以达到提取高质量( 高信息量、空间分布均衡、高重复率) 仿射不变特征的目的【3 9 1 。李博把多分辨分析的思想引入到经典的h a r r i s 角点检测中，构造 了基于小波变换的灰度强度变化公式，并得到了具有尺度变换特性的自相关矩阵，从而构 建了一种新的h a r r i s 多尺度角点检测算法m 1 。周成平对模糊和有噪声干扰图像设计的高对比 度角点提取算法进行了改进，将角点检测范围限定在高对比度“边缘带”，减少了角点检测 范围，在保持角点检测精度的同时，算法效率提高了大约1 倍【4 。张登荣利用h a r r i s 算子提 取待匹配图像的特征点，然后利用小波金字塔完成匹配哗j 。 除此之外，基于线特征和面特征的影像匹配以及基于混合特征的匹配也有很多算法出 现。聂炬提出一组快速高精度计算切线斜率的五点公式，用以估计图像边缘曲线的角度特征， 并利用角度直方图估计图像几何变换的旋转参数，实现具有大旋转差异图像间的粗匹配在 进行角度补偿后，利用灰度互相关判据搜索匹配点对，计算出几何变换参数，实现较高精度 的旋转和平移校正，最后用松弛迭代法完成图像的精确匹配【4 引。李言俊用侧抑制竞争方法， 克服两图的轮廓形状存在旋转和变形等差异，边缘特征提取方法受图像灰度分布影响存在变 形和移位的问题，快速准确的提取边缘特征l 4 4 j 。李健针对d s m 的自动提取中全自动影像匹 配出现的纹理信息缺乏、重复纹理、深度断裂与阴影、较大的投影变形等问题，提出了基于 5 北京建筑工程学院硕士生学位论文 地面立体影像匹配技术研究 特征点匹配与边缘线匹配相结合的方法【4 5 】。何芳芳提出了一种基于图像区域特征的模糊熵 差景像匹配新算法针对两幅不同时相图像该方法先进行区域特征提取然后通过构造模糊熵 差匹配度量函数来实现图像的自动匹配1 4 6 1 。牛宗标对光学遥感图像的配准，提出了一种快 速有效的图像配准方法：首先分割出参考图像和待配准图像中的高亮度小面元，根据小面元 自身的几何特征，获得小面元间的模糊匹配，然后进一步利用r a n s a c 方法确立小面元 间的精确对应关系；提取匹配小面元的中心作为控制点对，解出仿射变换的参数，从而实现 图像的自动配准 4 7 1 。张继贤采用特征点与面结合的方法。首先在待配准影像上提取均匀分 布的特征点，以提取的特征点为引导，利用金字塔逐层模板匹配的方法获得配准用同名控制 点，基于此构建不规则三角网将影像分解为各三角形区域，在每个三角形范围内实现逐三角 网的高精度影像纠正与配准j 。 一般说来，特征匹配具有较强的抗干扰性，因为特征不直接依赖于灰度。此外在图像之 间运动或变形不大的场合，结合先验知识，通常可以限定匹配的搜索范围，从而具有较强的 鲁棒性，适应面广的优点。此外，对于高精度( 如超分辨率应用) 以及致密估计( 例如运动场和 视差场) 的应用，单单依靠特征匹配无法完成。所以在实际应用中，需要结合基于区域的匹 配和基于特征的匹配，发挥各自的优点，取长补短。 基于语义的匹配算法理论上可以具有极高的可靠性和精度，是一种理想的匹配算法。但 由于它涉及诸如计算机视觉、模式识别和人工智能等许多领域，并且依赖于这些领域中许多 理论方面的突破，因此，到目前为止还没有明显进展。 1 3 2 影像之间的几何、物理模型 不同影像之间对应目标的映射关系是由场景和摄像机之间成像模型、摄像机与物体的相 对运动、物体的结构决定的。成像模型包括正摄成像模型和中心投影成像模型，实际环境中 的成像一般是中心投影成像，正摄成像比较简单但较为少见。在两种情况下可以用正交成像 代替中心成像：透视成像的畸变可以略去不计；舍去畸变会使理论推导变得较为简单和 容易。通常来说，中心透视成像模型可以近似地用小孔成像模型进行分析，这种情况下图像 和场景之间的位置关系由摄像机的姿态( 也称为外方位元素) 决定。实际过程中，由于摄像机 成像过程并非完全理想，在高精度的应用中，还需要分析摄像机内部的几何参数，这些几何 参数包括焦距、透镜变形系数、比例因子等。摄像机和场景之间的运动关系可以分为：摄像 机静止物体静止，摄像机静止- 物体运动，摄像机运动物体静止，摄像机运动物体运动四 种情况。其中摄像机静止物体静止属于简单的静态场景分析，不属于图像匹配研究的范围， 图像匹配主要针对后面三种模式。摄像机静止物体运动下，图像匹配的目的通常是运动物 体的目标检测和跟踪，这种情况下匹配的难点通常在于运动物体形状、纹理等特征的描述， 此外，非刚性变形、遮挡、阴影的处理也是十分困难的，有效的算法要充分地利用应用背景 的先验知识约束可能搜索的范围，比如基于光流连续性假设的光流方程、视频序列相邻帧之 间的连续性假设等。摄像机运动物体静止下图像匹配研究有着广泛的应用，如立体视觉、 图像配准、基于图像的绘制、全局运动估计等都属于这一类，两幅图像对应点之间满足核线 约束，三个或更多的摄像机则构成了多基线；在一般运动下场景中刚性平面物体之间满足 r s t 的约束，如果摄像机的运动不大，可以进一步加强对应点之间的约束。摄像机运动物 体运动是最一般的情况，由于涉及到复杂的运动分割，匹配的算法通常和具体应用有很大关 系，比如视频编码中基于块估计的方法未必反映真实的运动，但是残差图像也要编码传输， 所以目前通用的国际编码标准仍然以块匹配为基础。对于动态目标跟踪、包含运动物体的全 局运动估计、基于对象的视频编码、基于内容的视频检索等应用，通常要结合场景中物体的 结构进行有效的算法设计。本文研究的地面立体影像属于摄像机运动物体静止这种类型。 6 北京建筑工程学院硕士生学位论文 地面立体影像匹配技术研究 此外，由于成像过程中光照分布不同、物体光学特性不同( 反射、折射率不同、反射方 式不同) 、摄像机本身光谱特性不同以及各种随机噪声的影响，目标上同一点在不同的图像 中表现为不同的灰度值，因此在匹配中需要进行辐射畸变纠正。对于基于灰度区域的匹配， 在相关函数中需要考虑这种物理影响。此外，不透明性也是有关物体表面模型的一个很重要 的假设。它保证了匹配基元至多只有一个对应的基元，而在遮挡的情况下，没有对应的基元。 1 3 3 匹配测度 在影像匹配中如何判定是否匹配，即选取恰当的匹配测度，是很重要的。基于区域的匹 配算法中常用的有差的绝对值和，差的平方和，互相关等测度。这些相关函数都是根据灰度 的相关性定义某种测度( 匹配测度最大或者最小时为对应基元) 。对于基于特征的图像匹配来 说，如果在参考影像和待匹配影像上完成提取特征点之后，直接建立特征点之间的对应关系， 通常采用局部窗口归一化互相关函数为匹配测度。另外一种方法是采用h a u s d o r f j 眶离测度， 通过计算特征点集合之间的最小最大距离来衡量两幅图像之间的相似度。标准的h a u s d o r f 距离( h d ) 测度易受噪声和遮挡的影响，王跃对基于p a r t i a l - h a u s d o r f f 距离的图像配准方法作 了改进，采用多尺度的配准方法，避免了p a r t i a lh a u s d o r f f 距离准则引起的无值和多值性问题 4 9 】。在图像之间畸变比较大的场合，通常以特征点为中心计算某种不变性描述子，然后采 用欧式距离作为匹配测量。l o w e 提出了的基于梯度方向的特征描述符通过计算得至u 2 s 维的 向量，能够较好的体现了每个点的特性【”l 。以直线、边沿等为匹配基元的特征匹配中，通 常也是根据几何意义上的最小距离作为相似度测度。 1 3 4 匹配策略 匹配算法都会包括前面的几个部分，每一个部分都可以采用不同的方法，每种方法都有 其优缺点。匹配基元可以选灰度窗口或特征，相似性测度可以用归一化互相关或灰度差的均 方和等。匹配时可以根据图像之间的几何、物理上的模型，限制搜索的范围，例如在立体影 像匹配中，同名点必定位于同名核线上，即只眼同名核线进行一维搜索即可。所以，如何在 匹配中合理地协调好每个环节，发挥每个部分的最大作用，对匹配的结果有很大的影响。所 谓匹配策略就是研究如何更好地组织和发挥每个环节中算法的优点以达到整体最佳的匹配 效果。常用的策略有三个：分层结构，互补策略，全局性约束条件。 分层结构 分层结构在图像匹配中有广泛的应用，目的是为了减少匹配的歧义性，扩大算法的收敛 范围和提高算法的匹配速度。通常表现为从粗到精的形式，即用不同带宽的滤波器对图像进 行滤波得到不同分辨率的图像，从最低的分辨率开始匹配，将上一层( 低分辨率图像) 的匹配 结果传到下一层( 高分辨率图像) 作为初始值，在当前层匹配时以这些初始值为“控制点”来 估算图像间的模型或预测其它点的匹配，在每层匹配时都要考虑误差的影响，并加以剔除和 改正，以减少错误匹配的传递。因为不同分辨率的图像具有不同的尺寸，由粗至精，表现为 一个金字塔的形状，所以此策略通常称为图像金字塔匹配策略。金字塔分解中通过不同带宽 的带通滤波器对图像进行多次滤波，图像中的高频分量逐次被滤去，减少了噪声的影响。 互补策略 基于区域的匹配具有计算精度高，能获得密集的对应点并且容易达到亚像素级的精度， 但初始匹配困难，抗几何和辐射畸变能力差。基于特征的匹配一般只能得到稀疏的对应点， 而且一般都是整像素的精度级，但具有更好的抗畸变能力，在畸变不大的场合，计算速度也 7 北京建筑工程学院硕士生学位论文 地面立体影像匹配技术研究 比较快。显然，这两种方法具有很强的互补性，所以实际算法中可以综合两种方法。匹配算 法的几个部分之间也存在着互补性，例如特征的提取、描述和匹配几个步骤就需要发挥各自 的优点，好的特征提取算法及描述子能有效地减少后续匹配中的错误，而鲁棒的匹配算法能 克服不理想的特征和描述算法，在包含错误数据的情况下获得正确的结果，所以需要结合各 自的优点和适用范围，互相补充，克服缺点。 全局性约束条件 m a r r 提出了关于立体视觉不确定性的重要理论，他认为早期视觉的一个恰当定义是成像 过程的逆过程。经典光学或计算机图形学中遇到的是确定三维物体的影像，而在计算机视觉 和摄影测量中面对的是它的逆问题，即由影像恢复三维物体的表面信息，由于在从三维世界 向二维影像投影的过程中丧失了大量的信息，是一个病态问题，因此必须充分利用所要解决 的问题中包含的约束条件以限制其解空间的大小。实际的各种匹配方法或多或少要用到一些 约束条件，在某种意义上，多数算法的区别就在于如何有效地应用这些约束条件或假设，将 约束嵌入求解过程中。下面介绍一些主要的约束：局部相似性约束：通过搜索图像间具有 相似属性的相似区域和特性，就能找到一个可能匹配的候选像素。位置变动约束：摄像机 和场景之间的相对位置缓慢变动，这就允许一开始就限定搜索区域。连续性约束t 由于物 体表面一般是平滑的，因而物体表面上各点在图像上的投影也是连续的，它们的视差也是连 续的。而在物体边界处的深度不连续的地方，连续性约束是不能成立的，比如在边界处两侧 的两个点，其视差十分接近，但深度值相差很大。唯一性约束：一幅图像上的每个特征点 只能与另一幅图像上的唯一一个特征点对应。互对应约束：假设搜索左像的p 点的对应点， 结果为右像的p 点；将此过程反过来，即搜索右像的p 点的对应点，如果结果不是左像的p 点，则匹配不可靠，剔除。这个约束有助于排除由于遮挡、高光或噪声原因而不存在对应的 那些点。 将约束嵌入求解过程中，可以有几种不同的方法。图像匹配问题不论是采用确定性的还 是不确定性的描述方法，通常可以转化为满足一定条件下的寻优问题。正则化方法通过在代 价函数中引入光滑项( 相当于连续性约束) ，将约束和匹配问题归结为一个全局最优问题( 也称 为能量最小化问题) ，然后运用变分的原理获得最优解。另外一种方法是将约束和启发式算 法结合起来，通过迭代收缩、随机初始等思想获得最优解。动态规划、神经网络、遗传算法、 进化规划、模拟退火、禁忌搜索及各种混合优化策略目前都已经应用在图像匹配中。动态规 划方法的依据是数学上的动态规划原理，首先定义一个相似度代价函数，然后将满足有序性 约束的全局最优问题转化为代价最小的路径搜索问题。在视差估计中，以左右图上对应的扫 描线为横纵轴组成一个搜索平面，对应扫描线上的特征点两两组合称为搜索平面上的结点， 然后在此平面上搜索代价最小的路径。基于神经网络的匹配方法一般是首先提取特征点，结 合对应点匹配的约束设计一个能量函数，利用某种神经网络模型对能量函数进行优化，当能 量函数达到最小值时，网络就达到了稳定状态，此时各神经元结点就反映了对应点的匹配情 况。遗传算法以自然选