（信号与信息处理专业论文）基于surf的图像配准与拼接技术研究.pdf

大连理工大学硕士学位论文 摘要 图像配准作为图像处理领域的关键技术之一，是图像拼接、立体视觉、变化监测、 多传感器图像融合等实用技术的基础。图像拼接技术是图像配准的一种重要应用形式， 被广泛应用于虚拟现实、遥感图像处理、视频压缩和传输等领域。 s u r f 算法作为一种新近出现的特征提取方法，在重复度、独特性、鲁棒性3 个方 面，均超越或接近以往提出的同类方法，并在计算效率上具有明显的优势。本文将s u r f 应用于图像配准：首先使用s u r f 算法检测并描述兴趣点；然后将h e s s i a n 矩阵迹的正 负性与最近邻比次近邻的方法相结合匹配兴趣点，并用r a n s a c 算法剔除错误匹配； 进而通过直接线性变换算法求取透视变换矩阵的最小二乘解；最后通过图像插值获得配 准结果。在实现配准的基础上，又进一步研究了图像融合和柱面投影变换，最终用基于 s u r f 的图像配准技术实现了柱面全景图像的拼接。 本文的主要工作可概括为以下3 个方面： ( 1 ) 实现了基于s u r f 的图像配准方法，并分析了该方法在兴趣点检测与描述阶段 的速度优势。比较了s u r f 6 4 和s u r f 1 2 8 的匹配速度。验证了h e s s i a n 矩阵迹的正负 性对兴趣点匹配效率的改善。实现并比较了基于对极几何约束和基于单应矩阵约束的两 种r a n s a c 算法，并分析了s u r f 6 4 对剔除误配的影响。 ( 2 ) 对基于s u r f 的图像配准方法的精度做了定量分析，并与同类方法做了比较。 对不同视角、不同传感器、不同时相的遥感图像进行了配准实验，验证了该配准方法在 遥感图像配准领域的实用价值。 ( 3 ) 实现并比较了线性渐变融合和多频段融合两种图像融合方法。将基于s u r f 的 图像配准方法应用于图像拼接，并最终实现了柱面全景图的拼接。针对柱面全景图拼接 的特点，运用了一种基于兴趣点匹配的图像排序处理技巧。在逐帧扩大式的拼接过程中， 通过设定滑动窗口避免了对不断增大的参考图像进行重复检测。 实验表明，将s u r f 算法应用于图像配准，可以在保证配准精度与适用性的前提下， 显著提高计算效率。通过实现不同类型的遥感图像配准，证明了基于s u r f 的配准方法 在该领域具有较高的实用价值。使用基于s u r f 的配准方法进行柱面全景图像的拼接， 取得了良好效果，证明该配准方法在图像拼接领域具有较好应用前景。 关键词：兴趣点；图像配准；图像拼接；s u r f ；r a n s a c ；柱面全景图 基于s u r f 的图像配准与拼接技术研究 r e s e a r c ho ni m a g er e g i s t r a t i o na n dm o s a i cb a s e do ns u r f a b s t r a c t i m a g er e g i s t r a t i o n ，a sak e yt e c h n o l o g yi ni m a g ep r o c e s s i n gf i e l d ，i st h ec r u c i a ls t e po f v a r i o u so p e r a t i v et e c h n o l o g i e ss u c ha si m a g em o s a i c ，s t e r e o s c o p i cv i s i o n ，c h a n g ed e t e c t i o n , i m a g ef u s i o no fd i f f e r e n ts e n s o r s ，e t c i m a g em o s a i c s ，a sai m p o r t a n ta p p l i c a t i o no fi m a g e r e g i s t r a t i o nc a l lb ea p p l i e dt ov a r i o u sf i e l d ss u c ha sv i r t u a lr e a l i t y ，r e m o t es e n s i n gi m a g e p r o c e s s i n g ，v i d e oc o m p r e s s i o na n d t r a n s m i s s i o n s u r fi san e wf e a t u r ee x t r a c t i o na l g o r i t h mw h i c hi sp r o p o s e dr e c e n t l y ，i ta p p r o x i m a t e s o re v e n o u t p e r f o r m sp r e v i o u s l yp r o p o s e d s c h e m e sw i t l l r e s p e c t t o r e p e a t a b i l i t y ， d i s t i n c t i v e n e s s ，a n dr o b u s t n e s s a n di ti sm u c hf a s t e rt h a nt h et h eo t h e rs i m i l a ro n e s w eu s e s u r ft oa c h i e v ei m a g er e g i s t r a t i o n ：f i r s t l y ，w eu s es u r ft od e t e c ta n dd e s c r i p tt h ei n t e r e s t p o i n t s ；s e c o n d l y ，w ec o m b i n et h es i g no ft h et r a c eo fh e s s i a nm a t r i xa n dt h er a t i oo ft h e c l o s e s tn e i g h b o ra n ds e c o n dc l o s e s tn e i g h b o rt om a t c ht h ei n t e r e s tp o i n t s ，a n dw ee l i m i n a t e t h ew r o n gm a t c h e su s i n gr a n s a c ；t h i r d l y ，w eu s ed l tt og e tt h el e a s ts q u a r es o l u t i o no f t h eh o m o g r a p h ym a t r i x ；l a s t l y ，w ea c h i e v ei m a g er e g i s t r a t i o nt h r o u g hi n t e r p o l a t i o n a f t e r i m a g er e g i s t r a t i o n ，w ed os o m er e s e a r c ho ni m a g ef u s i o n ，a tl a s tw ea c h i e v ei m a g em o s a i c s u s i n gs u r f b a s e di m a g er e g i s t r a t i o nm e t h o d m yj o pi nt h i sp a p e rc a l lb es u m m a r i z e di n t o3i t e m s ： ( 1 ) w ei m p l e m e n t e ds u r f b a s e di m a g er e g i s t r a t i o nm e t h o d ，a n dd i ds o m ea n a l y s i so n i t sa d v a n t a g ei nt h es t a g eo ft h ei n t e r e s tp o i n t sd e t e c t i o na n dd e s c r i p t i o n w ec o m p a r et h e t i m ec o n s u m i n go ft h ei n t e r e s tp o i n t sm a t c hb e t w e e ns u r f 一12 8a n ds u r f - 6 4 w ep r o v et h a t t h es i g no ft h et r a c eo ft h eh e s s i a nm a t r i xc a na p p r o v et h ee f f i c i e n c yo fi n t e r e s tp o i n t s m a t c h i n g w ei m p l e m e n t e dr a n s a cc o n s t r a i n e db ye p i p o l a rg e o m e t r ya n dr a n s a c c o n s t r a i n e d b y - h o m o g r a p h ym a t r i xr e s p e c t i v e l y - a n dw ed i ds o m ec o m p a r eb e t w e e nt h e m w ea n a l y s e dt h ei n f l u e n c eo fs u r f 6 4o nt h et i m ec o n s u m i n go fe l i m i n a t i n gt h ew r o n g m a t c h e s ( 2 ) w em a d eq u a n t i t a t i v ea n a l y s i so nt h ep r e c i s i o no f t h es u r f - b a s e di m a g er e g i s t r a t i o n m e t h o d ，a n dc o m p a r ei t 诚t ho t h e ri m a g er e g i s t r a t i o nm e t h o d w em a d ei m a g er e g i s t r a t i o n e x p e r i m e n t so fr e m o t es e n s i n gi m a g ea c q u i r e da td i f f e r e n tv i e w p o i n t s ，d i f f e r e n ts e n s o r sa n d d i f f e r e n tt i m e s ( 3 ) w ei m p l e m e n t e dt w oi m a g ef u s i o nm e t h o d s ：g r a d u a lc h a n g eb l e n d i n ga n dm u l t i - b a n d b l e n d i n g ，a n dd i ds o m ec o m p a r eb e t w e e nt h e m w eu s e ds u r f b a s e di m a g er e g i s t r a t i o n m e t h o dt od oi m a g em o s a i c s ，a n di m p l e m e n t e dt h ec y l i n d r i c a lp a n o r a m i ci m a g ea tl a s t w e p r o p o s e dan e wm e t h o db a s e di n t e r e s tp o i n t sm a t c ht os o r tt h et h eu n o r d e r e di m a g es e q u e n c e s i i 大连理工大学硕士学位论文 i nt h ep r o c e s so fm o s a i c i n gf r a m eb yf r a m e ，w es e tas l i d i n gw i n d o wt oa v o i dr e p e a td e t e c t i o n o ft h er e f e r e n c ei m a g ew h i c hi sg e t t i n gl a r g e ra n dl a r g e r t h ee x p e r i m e n t si n d i c a t et h a to nt h ep r e m i s eo fk e e pa c c u r a c ya n da p p l i c a b i l i t y ，s u r f c a l li m p r o v et h ec o m p u t a t i o ne f f i c i e n c yo fi m a g er e g i s t r a t i o no b v i o u s l y w ep r o v et h a t s u r f b a s e di m a g er e g i s t r a t i o nm e t h o dh a sm u c hp r a t i c a lv a l u ei nr e m o t es e n s i n gi m a g e p r o c e s s i n gt h r o u g hs u c c e s s f u lr e g i s t r a t i o no fv a r i o u sr e m o t es e n s i n gi m a g e w eb e l i e v e s u r f b a s e di m a g er e g i s t r a t i o nm e t h o da l s oh a sm u c hp r a t i c a lv a l u ei ni m a g em o s a i cb e c a u s e o fi t ss u c c e s s f u lb u i l d i n go fc y l i n d r i c a lp a n o r a m i ci m a g e k e yw o r d s ：i n t e r e s tp o i n t ；i m a g er e g i s t r a t i o n ；i m a g e m o s a i c ；s u r f ；r a n s a c ； c y l i n dr i c a lp a n o r a m i ci m a g e i i i 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 学位论文题目：垄量型墨丝鱼玉銎亟兰鲢垫堡型：塑 作者签名：一一二驻一日期：4 年j 生月上l 日 基于s u r f 的图像配准与拼接技术研究 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目： 作者签名： 导师签名： 6 0 大连理工大学硕士学位论文 绪论 1 1 图像配准与拼接技术概述 图像配准是图像处理领域中的项重要课题，在文献【l 】中图像配准被定义为：不同 时间、不同视角、不同传感器所采集的，描述相同景物的，两幅或多幅图像之间的匹配、 叠加的过程，它实现了两幅图像，参考图像和待配准图像，几何意义上的对齐。 图像配准技术应用广泛，按照图像获取的方式可以将其应用形式分为4 大类i l j ： 第1 类，对不同视角获取的图像进行配准，其目的就是获取一个视野更大的2 d 图 像，或者对3 d 场景进行重构。图像拼接就属于这一类应用，计算机视觉领域的3 d 重 建也是属于这种情况。 第2 类，对不同时间获取的图像进行配准，目的是为了对某一场景进行变化检测。 遥感领域的环境监测，计算机视觉领域的安全监测，以及医学图像领域对病人在治疗过 程中的监测也是属于这种情况。 第3 类，对不同传感器采集的图像进行配准，目的就是为了整合不同传感器获取的 信息。在遥感图像领域，对全色遥感图像和多光谱遥感图像进行配准、融合，在医学图 像领域c t 和m 的图像进行配准，都属于这种情况。 第4 类，对某一个场景的图像和该场景的模型进行配准。这里的模型一般是指计算 机构建出的模型，d e m ( d i g i t a le l e v a t i o nm o d e l ) ，数字高程模型就是一个典型的例子。 这类配准主要是为了对某一场景的图像进行定位，并对场景图像和场景模型进行比较。 为了验证基于s u r f 的图像配准方法的应用价值，本文的第4 章集中展示了该配准 方法对彩色遥感图像、不同传感器的遥感图像、不同时相的遥感图像以及不同视角的遥 感图像的配准效果。 按照图像配准的实现形式，有基于图像灰度的配准和基于图像特征的配准两大类方 法【14 1 。 所谓基于图像灰度的配准方法，就是直接利用整幅图像的灰度信息，建立两幅图像 间相似性度量，然后利用某种搜索方法，寻找使相似性度量最大( 或最小) 的变换模型 参数。主要有相关系数法、互信息法、快速傅里叶变换法等。 所谓基于图像特征的配准方法，就是首先提取图像间的共有特征( 兴趣点、边缘、 轮廓等) ，然后进行特征匹配，进而估计出图像间几何变换模型的参数，最后经过图像 插值实现配准。 基于图像特征的配准方法压缩了图像信息量，速度快，对灰度变化具有鲁棒性，应 用较多。兴趣点是最理想的图像特征，因为兴趣点坐标可以直接用来估计图像间几何变 化模型的参数，所以基于兴趣点的配准方法是近年来的研究热点【5 。0 1 。另外需要说明的 基于s u r f 的图像配准与拼接技术研究 是，一些文献中使用了“特征点这个称谓，但是鉴于本文的主要参考文献t n , 1 2 1 q b 使用 了“i n t e r e s tp o i n t 这个称谓，因此本文使用“兴趣点这个称谓。 在图像处理领域，配准与拼接是两个紧密关联的技术概念。图像拼接( i m a g e m o s a i c s ) 是将一组重叠图像集合拼接成一幅大型的无缝高分辨率图像的技术【l3 1 。图像 拼接的核心步骤就是实现两幅重叠图像间的配准，图像拼接是配准技术的一个重要应用 领域。 图像拼接技术应用广泛。在遥感图像领域，经常使用图像拼接技术把多个局部区域 的遥感图像拼接成一个包含完整场景的大幅图像。在日常生活当中，我们可以将几幅普 通数码相机拍摄的照片拼接成一个大幅照片，从而解决普通数码相机在场景大小与分辨 率之间的矛盾。另外，图像拼接还是虚拟现实中的关键环节，在构建虚拟场景时，就要 用到图像拼接技术去构建各种类型的全景图像。此外，图像拼接技术还常常被应用在视 频压缩和视频检索等领域【l 4 1 。 文献【13 】把图像拼接技术归纳为3 个技术环节：局部对齐、全局对齐和图像融合。其 中，局部对齐就是图像配准。 全局对齐技术解决的是多幅图像配准过程中所造成的累计误差问题，主要有4 类解 决方法：多帧调整对齐【15 1 、线性方程系统求解技术【1 6 1 、基于对应点的多帧调整技术【1 7 】、 逐步扩大的拼接方法【18 1 。本文最后所实现的柱面全景图的拼接就运用了逐步扩大的拼接 方法。该方法运用了帧到拼接图像( f l a m e t o m o s a i c ) 的思想，就是先在一组图像中选 取一个几何拓扑上的中间帧为参考图像，继而寻找一个与参考图像重叠最大的一帧图像 i l ，令i l 与参考图像拼接，形成一个m o s a i c s 记为m l ，然后寻找与1 1 重叠最大的1 2 ，令 1 2 与m l 拼接生成m 2 ，以此类推。需要指出的是，本文第5 章中所提出的图像排序方法， 就隐含完成了寻找中间帧和寻找重叠最大相邻帧的工作。所以，本文最后在实现柱面全 景图拼接的过程中就是运用了逐帧拼接，逐步扩大的思想。 图像融合技术就是为了实现图像重合区域的平滑过渡，从而消除光强和色彩的不连 续性所带来的影响【l3 1 。不同时刻采集的图像，光强都会有差异，因此在拼接图像中常常 会有拼接缝的存在，图像融合的主要目的就是消除拼接缝。常用的融合方法主要有：中 值滤波器、加权平均法、多频段融合方法( m u l t i b a n db l e n d i n g ) 。在本文的拼接实验中， 我们主要实现并比较了线性渐变的加权平均法融合方法和多频段融合方法。 因为图像配准是图像拼接的核心步骤，图像拼接的实现形式完全取决于我们采用哪 一种配准方法，因此图像拼接的分类和图像配准的分类是一致的。 1 2 基于兴趣点的配准与拼接基本步骤 基于兴趣点的图像配准与拼接可以分为6 个步骤： 第1 步，兴趣点检测( i n t e r e s tp o i n t sd e t e c t o r ) ，就是在一些具有独特性的位置把兴 2 大连理工大学硕士学位论文 趣点检测出来，这些具有独特性的位置通常为角点( c o m e r s ) 、斑状结构( b l o b ) 、t 型 结合处( t - i u n c t i o n s ) 。对于一个兴趣点检测算子来说，最有价值的品质就是重复度 ( r e p e a t a b i l i t y ) 。所谓重复度就是检测算子在不同视角拍摄的图像中找到相同( 物理意 义) 的兴趣点的能力。 第2 步，兴趣点描述( i n t e r e s tp o i n td e s c r i p t o r ) ，就是用一个特征向量( f e a t u r ev e c t o r ) 去描述每一个兴趣点邻域的信息。兴趣点描述算子最有价值的品质就是独特性 ( d i s t i n c t i v e n e s s ) ，即特征向量间的可区分性。此外，兴趣点描述算子还必须对噪声、 光照变化、拍摄视角变化等因素保持一定的鲁棒性。 第3 步，描述子向量( 兴趣点描述算子生成的特征向量) 间的匹配。两幅图像间， 兴趣点的对应关系就是靠描述子向量间匹配得到的。这种匹配通常是基于向量间的欧式 距离( e u c l i d e a nd i s t a n c e ) 或马氏距离( m a h a l a n o b i sd i s t a n c e ) 的。 第4 步，变换模型估计。根据两幅图像的兴趣点之间对应关系估计他们之间的几何 变换模型。刚性变换、相似变换、仿射变换、透视变换都可以选择的变换模型，本文第 4 章的试验均采用了透视变换作为变换模型，对与第5 章的柱面全景图拼接试验，因为 柱面投影之后的相邻帧基本只存在平移，和轻微的旋转，所以可以选用仿射变换甚至刚 性变换。 第5 步，图像插值。待配准图像在完成坐标映射之后，其像素点有可能落在非网格 位置，这就需要图像插值。常用的插值方法有最近邻插值、双线性插值、双三次插值， 本文试验主要使用了双线性插值方法。 第6 步，图像融合。图像融合就是为了消除拼接缝以及光度和色度的影响，实现图 像重叠区域的平滑过渡。 兴兴兴变图 j 占 图完兀 趣趣 趣换像成像成 l 点 l llllk 点 点模 嬲溷 插鳓翱配 - - 融拼 麓蠲一 圈糟 检 r 描 ， 匹 ， 型 r 值 r 准 ， 合 r 接 测述 配估 计 1 3 兴趣点检测、描述、匹配相关的研究现状、 上一节中所介绍的第4 、5 两步属于比较成熟的理论，第6 步的执行过程中，本文 直接实现了两种较为成熟的融合方法，所以我们在这里着重介绍一下与兴趣点检测、描 述、匹配相关的研究进展。 1 3 1兴趣点检测的研究现状 。 3 基于s u r f 的图像配准与拼接技术研究 h a r r i s 角点检测是一个影响巨大的兴趣点检测算法，由h a r r i s 和s t e p h e n 在1 9 8 8 年 提出1 1 引，该算法通过一个二阶矩矩阵( s e c o n dm o m e n tm a t r i x ) 的特征值检测兴趣点，所 提取的特征具有旋转不变性，但不具有尺度不变性。 1 9 9 8 年l i n d e b e r g 在文献【2 0 j 中引入了自动尺度选择( a u t o m a t i cs c a l es e l e c t i o n ) 的概 念，可以检测图像中具有自身特征尺度的兴趣点，从而使其所提取的特征具有尺度不变 性。文献p 0 使用了h e s s i a n 矩阵的行列式与拉普拉斯算子检测斑状结构( b l o b 1 i k e s t r u c t u r e s ) 。 2 0 0 1 年，在文献【z i j 中m i k o l a j c z y k 和s c h m i d 完善了自动尺度选择，提出了 h a r r i s l a p l a c e 和h e s s i a n l a p l a c e ，这两种特征检测算法均具有尺度不变( s c a l e i n v a r i a n t ) 的特性，并具有较好的鲁棒性和重复度。这两种算法分别使用自适应尺度的h a r r i s 方法 和h e s s i a n 矩阵的行列式确定兴趣点的位置，然后使用拉普拉斯算子选择尺度。 在文献1 2 2 j 中，l o w e 用d o g ( d i f f e r e n c eo fg a u s s i a n s ) 算法近似l o g ( l a p l a c i a no f g a u s s i a n s ) 算法，提高了运算速度。d o g 算法是著名的s i f t 算法的一部分，s i f t 算法 就是通过在d o g 空间检测局部极值来定位兴趣点的。 还有其他的一些兴趣点检测算法，就不再逐一介绍。根据一些经典的算法比较文献 ( 如文献【2 3 2 4 1 ) ，可以得出这样的结论【1 l 】：基于h e s s i a n 矩阵的检测算子比基于h a r r i s 的检测算子更稳定，重复度更高。 1 3 2 兴趣点描述的研究现状 文献【2 5 】中提出的高斯微分方法，文献f 2 6 】中提出的不变距方法( m o m e n ti n v a r i a n t s ) ， 文献【2 7 】中提出的基于相位的局部特征方法等等。一般情况下，描述算子( d e s c r i p t o r ) 所 表达的都是兴趣点的邻域内( 与兴趣点特征相比) 更小尺度意义下的特征分布信剧l i 】。 l o w e 在文献【2 9 】中提出了s i f t ( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ) 特征提取算法， 包括兴趣点检测和兴趣点描述两部分。2 0 0 3 年，在文献【3 0 】中m i k o l a j c z y k 等人对各种局 部描述算子( l o c a ld e s c r i p t o r s ) 做了系统比较，结果表明s i f t 是最出色局部描述算子。 s i f t 算法通过计算兴趣点周围一个局部区域的梯度方向直方图来构建特征向量。每个 局部区域分成4 x 4 个小块，在每个小块区域内计算8 个方向的梯度方向直方图，因此每 个兴趣点对应的特征描述向量都是1 2 8 维的。 文献【2 9 】提出p c a s i f t ，通过采用主成分分析法把s i f t 的特征向量维数从1 2 8 维降 到3 6 维，加快了匹配速度，但根据文献【2 4 】中的比较结果，p c a s i f t 特征向量的独特性 要略差于s i f t 的特征向量，而且计算量更大。 文献【2 4 j 中，m i k o l a j c z y k 提出了s i f t 的另外一种扩展形式g l o h ( g r a d i e n t l o c a t i o n o r i e n t a t i o nh i s t o g r a m ) ，把原来s i f t 中的4 x 4 棋盘格状的小块分区，分成放射状 的同心圆的1 7 个小块分区，然后计算每个分区中梯度方向直方图( 1 6 个方向) ，因此形 4 大连理工大学硕士学位论文 成1 6 x 1 7 = 2 7 2 维的特征向量，然后使用p c a 将其降到1 2 8 维。g l o h 的特征向量的独 特性要好于s i f t ，但是计算量比s i f t 更大。 s i f t 作为一种优秀的算法已经被很多文献应用于图像配准与拼接领域。文献【7 j 最早 把s i f t 应用于遥感图像配准，实现了不同视点、不同光照、不同分辨率的图像配准。 文献【5 】使用了仿射参数模板改善了s i f t 对仿射变换的适应性，扩大了应用范围。文献【6 】 用互信息改善了s i f t 对不同传感器图像的匹配能力。文献【9 】将s i f t 算法应用于全景图 像的拼接。 1 3 3s u r f 算法的优势 s u r f ( s p e e d e d u pr o b u s tf e a t u r e s ) 是由h e r b e r tb a y 在2 0 0 6 年提出的一种特征提 取算法【1 1 1 ，包括兴趣点检测和兴趣点描述两个部分。该算法提取的特征具有尺度不变、 旋转不变的性能，对光照变化和仿射、透视变换具有部分不变性。s u r f 在重复度 ( r e p e a t a b i l i t y ) 、独特性( d i s t i n c t i v e n e s s ) 、鲁棒性3 个方面，均超越或接近以往提出的 同类方法，并且在计算速度上具有明显的优势。 在文献【1 2 】中，h e r b e r tb a y 等人按照m i k o l a j c z y k 提供的试验数据和标准，在旋转、 缩放、视角变化、图像模糊、j p e g 压缩、光照变化6 个方面，对s u r f 的性能进行测 试。对于兴趣点检测算子，以重复度为标准对s u r f 、d o g 、h a r r i s l a p l a c e 、h e s s i a n l a p l a c e 作比较。对于兴趣点描述算子，以r e c a l l 、1 - p r e c i s i o n ( 其中r e c a l l 表示“正确匹配的点 数与图像对中所有相关点总数的比值”，1 p r e c i s i o n “错误匹配数与匹配对总数的比值”) 为标准对s u i 强、g l o h 、s i f t 、p c a s i f t 作比较。比较结果显示，s u r f 在各个方面 均接近或超越了s i f t 的性能，但是计算速度却是s i f t 的3 倍左右。 另外，在文献【3 l - 3 3 】中，均对s u r f 的性能以及与s i f t 等算法的比较做了较为详细 的阐述，且结论基本一致。因为这些文献的相互独立性和详实的论述，所以我们这里就 直接采纳了他们的结论，而不再对s u r f 的性能做专门的评价。我们这里仅以一个简单 试验来验证一下s u r f 的计算效率。 图1 1 所示的图像尺度为5 1 2 x 5 1 2 像素。我们通过在m a t l a b 中分别调用s u r f 和s i f t 的可执行程序来提取图像特征，并统计它们所提取的兴趣点数量以及兴趣点检 测、兴趣点描述两个阶段总共耗费的时间。本实验所用程序均为c 语言编写，其中s i f t 的可执行程序由其原作者提供，参数默认。我们调整了s u r f 的参数以保证两种算法检 测到的兴趣点数量相近。因为兴趣点和描述子向量是一一对应的，而建立每一个描述子 向量都需要时间，所以兴趣点数量相近时，描述子向量的数量也是相近的，只有在这种 情况下，对两种算法的时间比较才是有意义的。试验结果如表1 1 所示，本试验所有时 间数据均为运行3 次取最小值。实验环境为：c p u ，p e n t i u m 42 6 6 g ；内存，1 0 2 4 m ；操作系 统，w i n d o w sx p 。 基于s u r f 的图像配准5 拼接技$ 究 l 醚 表1ls u r f 与s i f t 的速度比较 t a bii c o m p a r i s o no f s p e e db e t w e e ns u r fa n ds i f t 根据以上的分析，我们可以得出这样的结论：将s u r f 应用于图像的配准与拼接领 域，可以在不损失精度的前提下大幅提高计算效率，增加算法的实用性。 134 兴趣点匹配的研究现状 兴趣点的匹配主要涉及到两个方面的内容i “】：兴趣点的相似性度量和兴趣点搜索 策略两部分。兴趣点的相似性度量正如1 2 节所述，就是利用欧式距离或马氏距离衡量 两个描述向量之间的距离。 本文的试验均采用了线性擅索方法也就是遍历式的搜索方法，此种方法的计算量 大，但却是目前最为可靠的搜索方法。文献r ”提出了基于k d 树的b b f 方法 ( b e s t b i n f i r s t ) 文献i 使用l o c a l l ys e n s i t i v eh a s h i n g 加快搜索。但是这些方法都是 一种近似匹配会引起误配率的升高。在后面的论述中我们可以看到。* 趣点的误配再 所难免，我们需要使用r a n s a c 算法剔除误配点。然而r a n s a c 算法的选代次数与兴 趣点的正确匹配率密切相关。误配率的升高必然会导致r a n s a c 算法的选代次数增加。 所以如果使用b b f ，l o c a l l ys e t j s i t i v e h a s h i n g 这类快速的近似匹配方法进行兴趣点匹配 可以加速匹配过程，同时却会增加剔除误配的计算量。所以我们使用了遍历式搜索这种 最可靠的搜索策略。另外在第3 章我们还介绍了利用h e s s i a n 矩阵迹的正负性加速匹配 大连理工大学硕士学位论文 的方法，这也是s u r f 算法的另一个优势。 1 4 本文的章节安排 第1 章，绪论。介绍了图像配准与图像拼接的概念和研究价值；给出了基于兴趣点 的配准与拼接方法的步骤；分析了兴趣点检测、描述、匹配的研究现状；说明了s u r f 算法的优势和我们将s u r f 算法应用于图像配准与拼接的原因。 第2 章，兴趣点检测与描述。系统介绍了s u r f 算法的基本原理与实现过程，并用 实验展示了s u r f 算法的特征提取效果。 第3 章，兴趣点匹配。首先叙述了最近邻比次近邻的匹配方法和实验效果；然后叙 述了h e s s i a n 矩阵迹的正负性加速匹配的原理和实验效果；最后叙述了r a n s a c 算法剔 除误配的原理和实验效果。 第4 章，变换模型估计与配准结果。首先介绍了几何变换模型及其参数估计方法； 随后介绍了图像插值方法；然后分析了基于s u r f 的配准方法的精度；最后展示了对各 种遥感图像的配准效果。 第5 章，图像拼接技术研究与柱面全景图的实现。首先介绍了两种融合方法和我们 的实现过程；随后介绍了柱面投影的原理；然后介绍了本文提出的一种图像排序方法； 最后叙述了逐帧扩大式的柱面全景图的拼接过程，并展示了实验效果。 基于s u r f 的图像配准与拼接技术研究 2 兴趣点的检测与描述 本章叙述了s u r f 算法的原理与实现步骤，并最终用具体试验展示了s u r f 提取图像 特征的实际效果。 2 1 兴趣点检测 s u r f 使用了近似的h e s s i a n 矩阵检测兴趣点，并使用积分图像朝大幅减少了运算 量。 2 1 1 积分图像( i n t e g r a li m a g e ) 积分图像可以大幅提高框状卷积滤波器( b o xt y p ec o n v o l u t i o nf i l t e r s ) 的计算效率。 对于积分图像中某点x ，x = ( x ，y ) ，该点的值i 三( x ) 表示：原始图像中，原点和点x 形成的 矩形区域里面所有像素值之和。 毛( 耻丢丢砸 ( 2 1 ) 图2 i 积分图像的示意图 f i 9 2 1d i a g r a mf o ri n t e g r a li m a g e 一旦将幅图像转换成积分图像的形式，在积分图像中计算一个矩形区域内的灰度 之和就可以用3 个加减运算来解决。如图2 1 所示，s = a b c + d ，与矩形的面积无关。 在后面的论述中可以看到，s u r f 算法中所使用的卷积模板都是框状模板，这就大大提 高了运算效率。 2 1 2 近似的h e s sia n 矩阵：h 。 s u r f 的兴趣点检测是基于h e s s i a n 矩阵的，它依靠h e s s i a n 矩阵行列式的局部最大 值定位兴趣点位置。当h e s s i a n 矩阵行列式局部最大时，所检测出的实际上是斑状结构 ( b l o b 1 i k es t r u c t u r e s ) 。所谓斑状结构是指：比周围区域更亮或更暗的一个小区域。当然， 8 大连理i 大学硬士学位论文 这里的小区域是指兴趣点及其周围的小邻域。 对于图像1 中某点x ；( x ，y ) ，在x 点的。尺度上的h e s s i a n 矩阵定义为： 4 ( x , o - ) = 瞄：乏舄l z ， 其中k 。( ) ( ，o ) 表示高斯二阶偏导在x 处与图像i 的卷积。k 舻( o ) 、b 0 o ) 具 有相似的含义。 高斯函数适合做尺度空间的分析口q ，但在实际应用过程中，它必须要被离散化和裁 剪，如图2 2 中的左列。文献【l ”中的实验表明，由于被离散化和裁剪，在图像旋转的过 程中基于h e s s i a n 的检测算子在n 4 的奇数倍附近，其重复度会有所下降。然而这种离 散化和裁剪的近似过程是不可避免的，鉴于l o w e 在用d o g 近似l o g 时获得的成功， b a y 等人将这种近似过程更加推进一步，直接用框状滤波器去近似高斯的二阶偏导如 图2 2 中的右列。用这种近似后的卷积模板处理积分图像的好处显而易见，因为这种模 板均由简单的矩形构成，运算量独立于模板的尺寸，大大的提高了运算效率。 王j 珏习旺了_ i 蓝_ il 圈l 几r _ 下1 一 罐一胖 图2 2 用框状滤波器近似高斯二阶偏导 f i 9 22a p p r o x i m a 忙ds e c o n do r d e r d c r v a t i v 曲w i t hb o x f i l t e r s 文献“中的试验数据表明，这种近似处理并没有造成卷积模板性能的下降。图2 2 中滤波器模板是o = 1 2 的高斯函数的近似，这是计算斑状响应过程中的最小尺度。将近 似模板与图像卷积的结果用d 。、d d w 表示，用它们代替l n 、k ，、l y y 得到近似 h e s s i a n 矩阵h 梆，其行列式为： d e t ( h ”| o x ) = d 。d r ) _ - - ( w 仇y p ( 2 3 ) 基fs u r f 圈像配准与拼接技术研究 其中w 是个权重系数，实际应用中取0 9 就可以了。按照式( 2 3 ) 中所示的近似 h e s s i a n 矩阵行列式的计算方法，对图像中每一点求取响应并记录下来就得到了在尺度 。上的响应图( r e s p o n s em a p ) 。 213 尺度空间的表示 要在存在缩放关系的图像问找到相互匹配的兴趣点，检测算子就必须具备可以在不 同尺度下找到表示同一个物理位置的兴趣点的能力。尺度空间( s c a l es p a c e ) 通常用图 像金字塔来实现，就是通过用不同尺度因子的高斯函数与图像傲卷积，井通过对原始图 像做降采样处理，获得更高阶的图像金字塔。l o w e ”韫过对图像金字塔中相邻的层做 差而获得d o o 空间，并在d o g 空间中通过局部极值定位兴趣点。 与上述方法不同，s u r f 直接用不同尺寸的框状滤波器对原始图像进行处理，因为 使用了积分图像，不同尺寸的框状滤波器的计算速度是相同的。图2 2 右列中的两个尺 寸( s i z e ) 为9 x 9 的近似模板是初始尺度( s c 出e ) 对应的模板，近似o - = l2 的高斯2 阶 偏导滤波器。我们用s 来表示近似模板的尺度，此时s = 萨l2 。用初始尺度的近似模板 对图像做卷积得到的是尺度空间的第一层，接下来的层依次通过尺寸逐渐增大的模板与 原始图像做卷积来获得。为了保证模板尺寸的奇数性和其中心像褒的存在，相邻模板的 尺寸总是相差偶数个像素。如图23 所示。 ；l - 三叠二i ，e 熏：1 ： 圈23d ，所对应的相邻的两个模扳尺寸( 9 9 和1 5 1 5 ) f i 9 23 f m e n d ，。如r t w os u c c e s s i v e 虻a l e l e v e l s ( 9 x 9 a n d1 5 x 1 5 ) 每4 个模板为一阶( o c t a v e ) 。第1 阶中，相邻的模板尺寸相差6 个像素，第2 阶 中相差1 2 个像素，第3 阶中相差2 4 个像素，以此类