（地图学与地理信息系统专业论文）基于surf特征点库的遥感影像自动配准研究.pdf

e a s tc h i n an o r m a lu n i v e r s i t y ( n o 1 0 2 6 9 ) m st h e s i s ，2 0 1 0 n o ：5 1 0 7 0 8 0 1 0 4 4 7 fy 1 7 4 2 9 7 2 “” r e s e a r c ho fs u r fb a s e dr e m o t e s e n s i n gi m a g e a u t o m a t i c r e g i s t r a t i o n s c h o o l ：r e s o u r c e sa n de n v i r o n m e n t a ls c i e n c e d e p a r t m e n t ：g e o g r a p h y s p e c i a l t y ：c a r t o g r a p h ya n dg e o g r a p h i ci n f o r m a t i o ns y s t e m m a j o rf i e l d ：r e m o t es e n s i n gi m a g ep r o c e s s i n g s u p e r v i s o r ：p r o f j i a n p i n gw u g r a d u a t e ：z h a nx u s h a n g h a i ，c h i n a m a y ，2 0 1 0 郑重声明 是在华东师范 及取得的研究 撰写过的研究成果。对本文的研究做出重要贡献的个人和集体，均已在文中作了明确说 明并表示谢意。 作者签名：日期：加矿年厂月吵日 华东师范大学学位论文著作权使用声明 基于s u r f 特征点库的遥感影像自动配准研究系本人在华东师范大学攻读学位 期间在导师指导下完成的硒生博士( 请勾选) 学位论文，本论文的研究成果归华东师范 大学所有。本人同意华东师范大学根据相关规定保留和使用此学位论文，并向主管部门 和相关机构如国家图书馆、中信所和“知网”送交学位论文的印刷版和电子版；允许学 位论文进入华东师范大学图书馆及数据库被查阅、借阅；同意学校将学位论文加入全国 博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇编出版，采 用影印、缩印或者其它方式合理复制学位论文。 本学位论文属于( 请勾选) () 1 经华东师范大学相关部门审查核定的“内部 或“涉密 学位论文木， 于年月日解密，解密后适用上述授权。 ( 奶2 不保密，适用上述授权。 导师签名 秋眨2 “涉密”学位论文应是已经华东师范大学学位评定委员会办公室或保密委员会审定过的学位 论文( 需附获批的华东师范人学研究生申请学位论文“涉密”审批表方为有效) ，未经上 述部门审定的学位论文均为公开学位论文。此声明栏不填写的，默认为公开学位论文，均适用 上述授权) 。 兰 签 汐 燧 徐展硕士学位论文答辩委员会成员名单 姓名职称单位备注 孙建中教授上海城市发展信息研究中心主席 束炯教授、博导华东师范大学 周红妹教授级高工上海海洋气象遥感中心 过仲阳副教授华东师范大学 李响副教授华东师范大学 华东师范人学2 0 1 0 届硕上毕业论文 摘要 近年来，随着遥感影像被越来越广泛的应用到许多领域，作为各种应用的基础和的提， 遥感影像的配准特别是自动配准技术越来越受到人们的关注，成为了国内外研究的热点。 本文围绕遥感影像的自动配准，开展了如下几个方面的研究： 1 本文首先针对自动配准技术，对国内外参考文献的论述进行了研究，接着对多种 特征点提取算法在准确度，速度和可重复度三个方面进行了分析和比较并分析了 特征点匹配的算法和流程。s u r f ( s p e e d e du pr o b u s tf e a t u r e s ) 特征点和描述向 量在这几个方面都有比较好的表现，因此本文确定采用s u r f 特征点提取算法进 行遥感影像特征的提取。 2 接下来本文讨论了遥感影像特征库的概念以及其在遥感影像自动配准中的作用。 为了提高遥感影像配准的效率，将配准过程中产生的特征以合适的形式保存下来 形成遥感影像特征库是非常必要的。利用特征库使得配准过程中最耗费时间的特 征提取过程被跳过了，使得两幅图像之间的配准最终拓展到图像与特征库的配准， 提高了工作效率。 在以上研究的基础上，我们开发了基于s u r f 特征点库的遥感影像自动配准系统，它 主要完成影像预处理，特征入库，特征点匹配，计算遥感影像坐标变换参数，和重采样几 个步骤。在实验阶段分别分析和讨论了影响自动配准精度和速度的几个参数，对如何通过 设置合适的参数，以及处理好参数之间的关系，从而准确快速地配准一幅遥感影像给出了 我们的方法。最后的实验结果证明基于s u r f 特征点库进行遥感影像自动配准是可行的， 并且具有较好的准确度和效率。 关键词：遥感影像，自动配准，s u r f 特征点，遥感影像特征库，特征匹配 a b s t r a c t r e m o t es e n s i n gi m a g er e g i s t r a t i o n ， a st h ek e yt e c h n o l o g yi nr e m o t es e n s l n gl i i l a g e p r o c e s s i n i st h ec r u c i a ls t e po fv a r i o u so p e r a t i v e t e c h n o l o g i e ss u c h a sc h a n g ed e t e c t i o n , 1 m a g e f u s i o n 觚di m a g em o s a i c i nt h i sp a p e rw ep r e s e n ta a u t o m a t i cr e m o t es e n s i n gi m a g er e 9 1 s t r a t i o n a p p r o a c hb a s e do ns u r f ( s p e e du pr o b u s tf e a t u r e s ) w eh a v ed o n e0 u e s e a r c hm t h e f o l l o w i n g f i e l d s ： f i r s t lv w ed os o m es t u d yi nt h ea r e a b a s e dm e t h o da n df e a t u r e - b a s e dm e t h o dm 姗a g c r e g i s t r a t i o n t h e nw ec o m p a r es e v e r a lp o i n tf e a t u r ee x t r a c t i o n m e t h o d si na s p e c t so fs p e e d ， a c c u r a c ya n dr e p e a t a b i l i t y b e c a u s eo ft h eb e t t e rp e r f o r m a n c eo f s u r ff e a t u r e ，w ed e c i d e dt o u s es u r ff e a t u r et oe x t r a c tt h ep o i n tf e a t u r e i ni m a g e s n e x tw ei n t r o d u c et h ec o n c e p to ff e a t u r e d a t a b a s e i no r d e rt of u r t h e m p r o v et h e e f f i c i e n c vo f0 u ra u t o m a t i cr e g i s t r a t i o nt a s k ，a n dr e u s et h ef e a t u r ew eh a v ee x t r a c t e d ，w e s t o r e t h o s ef e a t u r e si n t oo u rf e a t u r ed a t a b a s e t h ef e a t u r ed a t a b a s em a k e s i t p o s s i b l e t of u l f i l lo u r r e g i s t r a t i o nt a s k b e t w e e no b j e c ti m a g ea n dd a t a b a s e i n s t e a do fb e t w e e ni n p u t1 m a g ea n d r e f e r e n c ei m a g e f i n a l l yw ed e m o n s t r a t eo u r a u t o m a t i cr e g i s t r a t i o ns y s t e m a f t e ra n a l y z i n gt h ep a r 锄e t e r s a n dt h e i ri n f l u e n c eo ni m a g er e g i s t r a t i o np e r f o r m a n c e ，e s p e c i a l l y o ns p e e da n da c c u r a c y , w ea l s o p r e s e n to u ra p p r o a c h t 。c h 。s ep r o p e rp a r a m e t e r s t h ee x p e r i m e n tp r o v e s t h a ts u r ff e a t u r ea n d i t sf e a t u r ed a t a b a s eh a sm u c hp r a c t i c a lv a l u ei nr e m o t es e n s i n gi m a g er e g i s t r a t i o n k e yw o r d s ：r e m o t es e n s i n gi m a g e ，a u t o m a t i ci m a g er e g i s t r a t i o n ，s u r ff e a t u r e ， f e a t u r ed a t a b a s e ，f e a t u r em a t c h n 华东师范大学2 0 1 0 届硕十毕业论文 目录 摘要i a b s t r a c t i i 第一章前言1 1 1 遥感影像配准1 1 1 1 影像配准的定义1 1 1 2 影像配准问题的分类1 1 1 3 影像配准的步骤与方法2 1 1 4 遥感影像配准及其相关问题研究现状和发展趋势3 1 2 本文研究的内容4 第二章遥感影像特征点的提取、匹配以及建库5 2 1 特征点检测算法概述5 2 1 1 特征点的概念5 2 1 2 几种典型的特征点检测算法及其比较6 2 2 特征点的匹配1 4 2 2 1 特征点匹配的概念1 4 2 2 2 特征点匹配的策略1 6 2 3 建立遥感影像特征库1 7 2 3 1 遥感影像特征库的概念1 7 2 3 2 遥感影像特征库的建立1 8 2 3 3 使用遥感影像特征库进行配准1 8 2 3 4 使用遥感影像特征库的优点1 9 第三章基于s u r f 特征点库的遥感影像自动配准系统的设计开发2 0 3 1 系统模块2 0 3 1 1 影像预处理模块2 0 3 1 2 影像切割模块2 2 3 1 3 特征点检测与匹配模块2 3 3 1 4 特征库操作模块2 3 3 1 5 影像配准与重采样模块2 5 3 2 影像配准主程序与操作2 6 第四章 4 1 4 1 2 配准过程3 1 4 2 配准精度讨论3 4 第五章总结与展望4 2 5 1 本文总结4 2 5 2 展望4 2 参考文献4 4 后记4 7 2 华东师范人学2 0 1 0 届硕上毕业论文 1 1 遥感影像配准 1 1 1 影像配准的定义 第一章前言 配准是指两幅或多幅影像在灰度与空间几何上的匹配【1 1 。因为通常情况下灰度变换并 不重要，因此寻找空间几何变换关系成为配准的关键所在。作为基准的影像叫做参考影像， 待配准的影像称为目标影像，配准操作的目的就是要将目标影像的坐标系变换到参考影像 提供的坐标系中，实现两幅影像在空间上的对齐。 如果将影像表示为一个2 维矩阵，尺阮纠表示参考影像，s ( x ，y ) 表示目标影像，函仅纠 表示配准后的目标影像，则岛亿纠与r 似纠在相同坐标系统中，并且是空间对齐的，函仅纠 与s 伍功在灰度信息上应该是一致的。其中x ，y 表示参考影像坐标系下点的坐标，x ，】， 表示目标影像坐标系下点的坐标( 实际上是栅格图像的行列坐标) 。影像函似纠与s 伍功 的关系可以表示其为： s l ( x ，) ，) = s ( r ( x ，y ) ，f r ( x ，l ，) )( 1 1 ) 或者表示为： 1；二fx(、x，,y； ( 1 2 ) 其中f x ( x ，y ) 、f r ( x ，】，) 表示二维的空间几何变换函数，公式( 1 1 ) 和( 1 2 ) 就是影像配 准的数学模型。配准的主要目的就在于寻找最佳的空间变换关系，使得目标影像和参考影 像在考虑畸变的前提下实现最佳匹配。 1 1 2 影像配准问题的分类 b a r b a r az i t o v a 等在文酬1 】中对遥感影像的配准进行了如下的分类： 华东师范大学2 0 1 0 届硕士毕业论文 1 1 2 1 不同视角的影像配准 不同视角的影像配准是指，从不同视角获取的同一地区的不同影像之间的配准，目 的是为了获得具有更大范围的2 d 影像，或者是该地区的3 d 影像【3 。 1 1 2 2 不同传感器影像的配准 不同传感器的影像的配准，又涉及到不同波段，不同分辨率的影像之间的配准问题， 在解决这些问题之前，首先要对影像进行预处理，统一分辨率等等操作，必要时要进行人 工选取控制点。 1 1 2 3 不同时相影像的配准 不同时相的遥感影像的配准主要应用在土地监测，变化区域对比分析等方面，对不同 时相的遥感数据也要进行影像的预处理，人工确定参考影像和目标影像的公共区域，再进 行配准步骤。 1 1 3 影像配准的步骤与方法 遥感影像配准的步骤有如下的流程： ( 1 ) 建立参考影像和目标影像的坐标系。通常是以参考影像的影像坐标系作为参考坐标系。 ( 2 ) 检测出影像特征。以手动或自动的形式检测出用于配准的影像特征，如：边缘，轮廓， 特征点，区域等等。 ( 3 ) 对影像特征进行匹配。建立参考影像与目标影像特征之间的匹配关系，在此过程中常 用到特征的描述向量。 ( 4 ) 建立变换模型。根据参考影像特征的地理坐标和目标影像特征的图上坐标建立目标影 像到参考影像的映射函数。 ( 5 ) 应用变换模型对目标影像进行重采样，最后一般还包括精度分析。 用框图开始表示为图1 1 的形式 2 华东师范大学2 0 1 0 届硕士毕业论文 特征提取 1r 特征匹配 1 r 计算变换参数 1r 重采样 图1 - 1 影像配准流程图 影像配准的方法大致可以分为人工( 半自动) 配准和全自动配准，人工配准是以人机 交互的方式提取特征，然后利用计算机对影像进行特征匹配，变换和重采样。自动配准指 的是，在选择参考影像和目标影像后，由计算机自动完成特征提取，匹配，计算坐标变换 参数和重采样的工作。在配准过程中用到的特征一般包括点，线，边缘和封闭区域等，在 自动配准领域用到最多的还是点特征。 1 1 4 遥感影像配准及其相关问题研究现状和发展趋势 国外对影像配准的课题起步的比较早，在文献【5 1 中对遥感影像的配准问题进行了总 厶七 ；日o 国内在遥感影像自动配准方面的研究起步相对较晚，但经过不断的努力和研究也 取得了许多成果：李晓明等提出了基于s i f t 特征的遥感影像自动配准在s p o t 卫星不同 分辨率遥感影像上进行实验取得了相对稳定可靠的效果【2 1 ，张迁等提出了基于s u s a n 算 子的影像配准方法，在航拍影像上实验得到了比较好的配准效果【3 1 。刘臻和宫鹏等提出的 基于分层多模板配准方法，先在影像中提取模板，再根据匹配的模板进行配准，实际上是 基于区域的配准方法，在航拍影像上也取得了一定的效果【4 1 。 陈功，舒宁，王欢，胡勇对遥感影像特征库的建立，管理以及在影像配准中所起的作 用进行了论述【剐。莫华，董成松，秦志远对遥感影像纠正中控制点库的建立和实际应用效 3 华东师范大学2 0 1 0 届硕士毕业论文 果进行了论述m 。 通过分析国内外有关遥感影像配准( 特别是自动配准) 和遥感影像特征库的文献资料， 我们发现： ( 1 ) 在遥感影像自动配准系统中如果借助遥感影像特征库，可以提高配准的效率和对特征 的重复利用率； ( 2 ) 多数使用点特征进行自动配准的研究都存在计算量大，效率不高的问题； 根据上述两点分析，我们决定采取一种计算量相对比较小，精度比较高的特征点提取 算法，结合遥感影像特征库进行自动配准的研究和系统开发。 1 2 本文研究的内容 本文的研究是面向实际的遥感影像配准工作的，旨在建立一个基于特征点，以及由特 征点建立的遥感影像特征库的遥感影像自动配准系统。实验阶段主要使用的遥感数据是 l a n d s a t 卫星遥感数据，核心环节在特征点提取算法，特征点匹配算法，遥感影像坐标 变换参数的获取，影像重采样和数据库的操作，以及最佳参数的分析等。 4 第二章遥 2 1 特征点检测算法概述 2 1 1 特征点的概念 特征点的概念最初是在计算机视觉领域提出来的，现在并没有一个统一的定义，如： 两条或两条以上的边缘的交点；边缘上具有局部最大曲率并且曲率大于一定阈值的点；图 像中梯度值和梯度变化都很大的点；各个方向亮度变化均足够大的点【8 1 。对于特征点一般 包括两个属性：特征点的位置和特征点描述向量。从上世纪7 0 年代后期首次提出特征点 的概念，已经发展出了许多种不同的特征点检测算法，由于特征点能极大的减少计算量提 高工作效率，它的应用已经扩展到了多个领域。 在许多计算机视觉的应用中，寻找两幅有关同一场景同一目标的影像之间的对应关 系成为其中重要的一部分。而寻找这两幅影像之间的同名特征点( 对同一实际地物进行描 述的特征点) 又成为第一步必须解决的问题。对于一个特征点来说，它必须满足以下几个 约束： ( 1 ) 重复性，也就是说在不同的视觉环境下都能非常可靠的找到同一个点。 ( 2 ) 有一个多维向量【9 】来表述特征点周围的环境，这个描述向量也必须是独特的，同时也 必须是对噪声，几何和光学变形不敏感的。 ( 3 ) 遥感影像在特征点附近的区域具有非常丰富的信息。 ( 4 ) 不同影像上特征点之间的匹配是通过比较特征点描述向量之间的距离来实现的，比如 马氏距离或是欧氏距离。为了快速的计算这个距离，对描述向量的要求是维度要比较 低。 ( 5 ) 速度快，效率高，对于现在的海量遥感数据进行实时自动化处理的要求，特征点检测 时间必须被控制在最短。 对现有的特征点检测算法，大致的可以归为三大类： 1 基于边缘的特征点提取算法 基于边缘的特征点提取算法是指：选取区域边缘轮廓上的凸凹点为特征点的算法。 5 华东师范人学2 0 1 0 届硕士毕业论文 k i t c h e n 和r o s e n f e l d 1 0 l 第一次将几何算子应用在特征点检测领域，他们为给一个像素点计 算一个特征点测度( 是边缘强度和边缘梯度的函数) ，然后使用非最大化抑制的方法，当 特征点的特征点测度最大时，认为是特征点。但由于它对二阶导数的依赖所以对噪声比较 敏感。 2 基于拓扑学的特征点提取算法 基于拓扑学的特征点提取算法是最早的特征点提取算法之一，是由b e a u d e t 1 1 l 提出来 的。基于拓扑的特征点检测算法的特征点测度依赖于h e s s i a n 矩阵行列式的值，由于计算 h e s s i a n 矩阵用到了二阶微分，这类方法也对噪声比较敏感，它的实质是寻找边缘上高斯曲 率最大的点。 3 基于自相关的方法 基于自相关的特征点提取算法是指：根据灰度自相关矩阵估计特征强度，并通过设置 阈值来检测特征点的方法。m o r a v e c 1 2 】首先提出了这类算法，进而引出了h a r r i s 等人的被 广泛使用的p l e s s e y 特征点检测算法，m o r a v e c 的方法提出在每一个像素点上有一个活动窗 口在各个方向上移动，通过计算窗口内平均强度的变化取最小变化值作为特征点测度，由 于m o r a v e c 只计算了离散的八个主要方向的局部自相关，所以最后的响应是各向异性的。 后来h a r r i s 对这一方法进行了改进。 对于高分辨率影像的配准来说，获取影像上的特征点对配准工作影响重大，怎样快速 精确的找到合适的特征点就显得至关重要，以下阐述了比较常用的几种特征点检测方法， 并进行了对比分析。 2 1 2 几种典型的特征点检测算法及其比较 2 121s i f r 特征点算法 s i p - t ( s c a l ei n v a r i a n tf e a t u r e t r a n s f o r m ) 最早是由l o w e 在2 0 0 4 年提出的【1 3 】。它在特 征点检测方面，将输入影像通过不同尺度的高斯核函数连续滤波和下采样，形成高斯金字 塔影像，然后再对相邻尺度的高斯金字塔影像相减得到d o g ( d i f f e r e n c eo fg u s s i a n ) ，金 字塔多尺度空间表示。对d o g 尺度空间每个点与相邻尺度和相邻位置的点逐个进行比较， 得到的局部极值位置即为特征点所处的位置和对应的尺度。 在描述向量方面首先为每个特征点赋予了一个主方向。主方向是指特征点邻域内各点 梯度方向直方图中最大值所对应的方向。描述向量的构造首先取一特征点在其尺度空间内 以特征点为中心取1 6 1 6 像素大小的区域，再将此区域分为4 * 4 个子区域，每个子区域4 * 4 6 华东师范大学2 0 1 0 届硕上毕业论文 个像素大，对每个子区域计算梯度方向直方图( 直方图均匀分为8 个方向) 。然后对1 6 个子区域的8 方向直方图根据位置一次排序，这样就形成了1 6 8 = 1 2 8 个向量，该向量就 是s i 订描述向量。 s i f t 特征的主要特点： ( 1 ) 在多尺度空间，采用d o g 算子检测特征点大大提高了检测速度。 ( 2 ) 特征点具有较高的精度和稳定性。 ( 3 ) 多维的描述向量不是以单个向量为研究对象而是研究子区域的统计特性，提高了对局 部变形的适应能力。 2 1 2 2h a r r i s 特征点算法 h a r r i s 特征点又叫做p l e s s y 特征点，最早由h a r r i s 等人在1 9 8 8 年提出的【1 4 】。它是 在m o r a v e c 特征点检测算法的基础上改进得到的，它们的区别就在于对局部自相关的测度 上。由于m o r a v e c 只对像素八个主方向的强度变化进行了测量( 具有各向异性) h a r r i s 等 人针对这些不足提出了以下的方法： ( 1 ) 对影像上的每一个像素计算自相关矩阵m m ：鬯c 1 【c bj ( 2 1 ) 其中a = ( 0 0 x ) 2 0 w ，b = ( o z a r ) 2 宰o w ，c = ( a i a x ) 宰( o ，o v ) o w 去怔习 仁2 ， c ( x ，y ) = d e t ) 一k ( t r a c e ( m ) ) 2( 2 3 ) 其中d e t ) = a a 2 = a b c 2 t r a c e ( m ) = a i 1 a 2 = a + b k = 常数 计算c 纠的值，其实质是判断m 的两个特征值a t 和a z 的关系，如果两个都很大则 7 华东师范大学2 0 1 0 届硕士毕业论文 是特征点，如果a z 很大于a 或者a t 很大于a z 则是边缘，如果a ，a ：都很小接近于0 ，则 是区域内点。分为三类情况如图2 - 1 所示： ( 3 ) 进行非最大化抑制，找到c ( x ，y ) 取最大值的点即为特征点 图2 - 1a l 与a 2 与特征点代表的图上特征的关系 用h a r r i s 特征点检测影像得到的实际效果如图2 2 所示： 8 华东师 图2 - 2h a r r i s 特征点检测的实际效果 但是h a r r i s 特征点也存在如下的不足之处： ( 1 ) 计算量大。h a r r i s 特征点是各种特征点检测算法中计算量最大的一种。 ( 2 ) 对噪声比较敏感。所有使用梯度或者高阶导数的特征点检测算法都对噪声比较敏 感。 ( 3 ) 能较好的提取出l 型特征点，对其他特征点则不能很好的提取。 由于h a r r i s 特征点具有较好的重复度，与m o r a v e c 特征点相比又有较大的提高，因而 在各个领域得到了广泛的使用。然而它也具有比较高的计算量，以及对噪声的敏感和并非 旋转不变等缺点。对噪声的敏感虽然能够靠扩大窗口的大小来减小，但是这无形中又增大 了计算量。许多方法在h a r r i s 特征点的基础上做了一些改变，改善了缺点，提高了性能。 2 1 2 3t r a j k o v i c 特征点算法 t r a j k o v i c 特征点是m i r o s l a vt r a j k o v i c 和m a r kh e d l e y 在1 9 9 8 年提出来的i ”j ，他们接 受了m o r a v e c 对特征点的定义，也即特征点是图上的像素点在它的周围各个方向影像强度 都变化最大的点。它的算法的思路是，将特征点重新分为几何特征点和纹理特征点，其中 纹理特征点是指影像上纹理特征比较一致的小块区域，比如草地等，在实际应用中用到的 是几何特征点，那么首先将影像上的纹理特征点排除掉的话可以大大的减少计算量， t r a j k o v i c 的做法是通过对原始分辨率影像进行n 抽一的方法转换成一个低分辨率影像再在 上面进行操作。特征点测度是在一个圆形窗口上，判断过圆心的直线与圆上两交点和圆心 这三点的影像强度1 1 ，1 2 和i o 的关系来确定特征点的类型，如图2 3 所示，对左边第一幅 图，点是属于一个内容均一的区域的内点，这时至少有一条直线满足1 1 = 1 2 = 1 0 ；对左边第二 幅图点是属于区域边缘点，这时有且只有一条直线满足1 1 = 1 2 = i o ；对第三种情况，点是区域 角点，这时有不止一条直线满足i l ，1 2 其中之一不等于1 0 ；对于最后一种情况，点是一个 孤立的像素，这时没有一条直线满足1 1 = 1 2 = i o 。 图2 - 3t r a j k o v i c 特征点类型的判别方法 9 ：、 么一 、 华东师范大学2 0 1 0 届硕士毕业论文 t r a j k o v i c 特征点的实际检测结果如图2 - 4 所示： 图2 4t z a j k o v i c 特征点的实际检测效果 由于在低分辨率影像上操作，使得t r a j k o v i c 特征点具有较小的计算量，这在实时影像 处理工作中适合使用，但是与h a r r i s 特征点一样t r a j k o v i c 特征点也对噪声比较敏感，而且 响应也是各向异性的。 2 1 2 4s u s a n 特征点算法 s u s a n 特征点算法最早是由英国牛津大学的s m s m i t h ，j m b r a d y 首先提出的【1 6 】， s u s a n 算法用一个圆形模板在影像上滑动，在每个位置上，比较模板内各影像像素的亮度与 模板核的亮度 m ，r o ，；黼篙二矧羔 仁4 ， 然后计算模板内所有点亮度与核亮度的比较， n ( r o ) = c ( v 。) ( 2 5 ) n ( r o ) 又被称作此圆形区域的u s a n 值，然后用n ( r o ) 与预设的一个门限g 比较，若小 于g 则被认为是边缘点，而如果核是特征点的话，u s a n 值达到最小。 s u s a n 算法的特点： ( 1 ) 对特征点的检测比对边缘检测的效果要好，适用于基于特征点匹配的影像配准。 1 0 华东师范大学2 0 1 0 届硕士毕业论文 ( 2 ) 无需梯度运算，保证了算法的效率。 ( 3 ) 具有积分特性( 在一个模板内计算s u s a n 面积) ，这样就使得s u s a n 算法在抗噪和 计算速度方面有较大的改进。 2 1 2 5s u r f 特征点算法 通过以上对几种特征点检测方法的比较，h e r b e r tb a y 等人于2 0 0 6 年在文献【1 7 】提出了 一种叫做s u r f ( s p e e du pr o b u s tf e a t u r e s ) 的方法，它由特征点检测算法和多维描述向量 两部分组成，合称为s u r f 特征。 1 特征点检测 在特征点检测算法方面，由于h e s s i a n 算子在精确度和效率方面的均衡性，s u r f 使用 了一种叫做快速h e s s i a n 算子，和积分图像来检测特征点，大大减少了计算量 a ) 积分影像( i n t e g r a li m a g e ) 积分图像指的是对于积分图像中的某一点f 一 ，y ) ，该点的值，o 表示为 原始图像中，原点和点f 之间形成的矩形区域中所有像素点的像素值之和【1 8 】。 图2 - 5 积分图像不恿图 一旦将一幅影像转换为积分影像的形式，在积分图像中计算一个矩形区域的像素值之 和就可以用3 个加减运算束解决，如图2 5 所示，图中黑色矩形的面积s = a b c + d ，与矩 形的面积无关，由于s u r f 算法中使用的都是正方形滤波器( b o xf i l t e r ) ，使用积分图像 可以大大提高计算效率。 b ) 快速h e s s i a n 算子 快速h e s s i a n 算子是因为它通过操作积分图像来加速卷积，只使用h e s s i a n 矩阵( h e s s i a n m a t r i x ) l 拘行列式同时来选择位置( l o c a t i o n ) 和尺度( s c a l e ) 。 华东师范大学2 0 1 0 届硕士毕业论文 在点x 和尺度o r 。f ，h e s s i a n 矩阵的定义如下： h ，陉僻，仃：，铆( 助) 1 (26)z lx y ( x ，口) ，l y y ( x ，仃) l 、7 其中，k ( x ，盯) 是在点x 的高斯二阶导数a2 9 ( a ) ax2 与i 伍y 夕的卷积，其他的 i z y ( x ，仃) ，铆僻，盯) 和l y y ( x ，o r ) 的定义也如此类推，为了快速的计算高斯二阶导数 a2 9 ( u ) ox2 这里用了正方形滤波器( b o xf i l t e r ) 代替了高斯滤波器，这两种滤波器的 比较如图2 6 所示： 互 了乃z r 强 ：ll，l2 it ：。 ，；：荽 翻睡毒。三 “! 。：r l i 隔；翻 图2 - 6 从左至右y 方向和) 【) ，方向的高斯滤波器，y 方向和x y 方向的正方形滤波器 应用了正方形滤波器以后式( 2 6 ) 可以被近似为 h = 队宰d y y 一水现) 2( 2 7 ) 其中队，d y y 和巩分别是使用了正方形滤波器以后对眈，l y y 和铆的近似，w 是 权重系数，h 是h e s s i a n 行列式的值，这样我们就得到了在尺度仃上的近似响应。 c ) 尺度空间 对于不同的尺度o r ，相应的正方形滤波器的尺寸s 也做相应的调整，比如：1 5 1 5 ， 2 1 术2 1 ，和2 7 * 2 7 ，举例来说，当正方形滤波器的尺寸为2 7 * 2 7 时，影像的尺度仃为3 倍( s 9 ) 的原始尺度( 原始尺度对应最高分辨率) 。通过依次使用不同尺寸的正方形滤波器对原始 图像做卷积，用公式( 2 7 ) 计算每一点的响应，我们就得到了不同尺度口对应的响应值，从 而构成了3 维尺度空间( x ，y ，s ) 。 d ) 特征点定位 为了在目标影像上确定s u r f 特征点，我们使用了3 * 3 * 3 的模板在3 维尺度空间进行 非最大化抑制，根据预设的h e s s i a n 阈值h ，当h 大于h ，而且比临近的2 6 个点的响应值 都大的点才被选为兴趣点。 2 特征点描述向量 在描述向量方面，鉴于s i f t 特征点描述向量的优秀特性，s u r f 特征点描述向量也借 鉴了相应的方法，并提出了一些改进。 1 2 一叠感 7 _ 弭一一_一 甲搠碍0；、秘 孵隘二睦 ，； 霸：i童一疆限 华东师范大学2 0 1 0 届硕士毕业论文 曲确定特征点主方向 在特征点邻域内，取一个圆形区域，此圆形区域半径的尺度是6 倍的特征点尺度( 6 s ) ， 对该圆形区域内的每个点计算边长为4 s 的h a a r 小波模板在x 和y 方向的响应，使用原 点在特征点，方差为2 5 s 的高斯函数为权重函数，计算6 0 度的扇形窗口在圆形区域上扫 过的h a a r 小波响应的和，如图2 7 所示，扇形窗口以5 度步进转动，选出圆内模值最大的 向量作为特征点的主方向，这样一来s u r f 特征点就具有了旋转不变性。其中h a a r 模板如 图2 8 所示，左侧模板计算x 方向响应，右侧模板计算y 方向响应。 厂 、 ，r1 l 图2 7 扇形窗口 图2 8 h a a r 小波模板 b ) 构造描述向量 以特征点为中心取一个正方形，半径是2 0 s ，它的方向就是在上一步所确定的主方向。 对每一个小正方形，再划分成4 4 = 1 6 个子区域，每个子区域包含5 * 5 个采样点，对每个 采样点按水平和垂直方向( 这里的水平和垂直是对第一步确定的主方向而言的) ，使用图 2 8 的h a a r 小波模板计算h a a r 小波响应，模板尺寸为2 s 2 s 。记录d x ，d y ，ei d x l ，e i d y l 个值。这样每一个子区域就有4 维描述向量，每个特征点就有4 1 6 = 6 4 个描述向量。 华东师范大学2 0 1 0 届硕上毕业论文 唧臼 l - 一 图2 - 9 d x ，d y ，i d xj ，i d y i 在几种典型图像上的表现 对于图2 - 9 来说，左边第一幅图，内容均一，所有的四个值都比较小。对于中间的第 二幅图来说，水平方向变化显著而且是突变，所以l d x i 拘值比较大，但由于d x 是有方向 的，所以d x 的值是o 。对于右边第三幅图来说，x 方向的变化是渐变的，所以d x 和 i d x l o q 变化都比较大。 通过在各种影像上进行测试，h e r b e r tb a y 等人得出结论，s u r f 特征检测算法在特征 点检测方面具有很好的速度，较好的稳定性和重复度，对影像旋转和尺度的变化都有较好 的适应能力，在描述向量方面的比较也显示出，s u r f 特征点描述向量具有非常好的准确 度和速度。 2 2 特征点的匹配 以上对几种主要的特征点提取算法进行了论述，要完成遥感影像的配准的前提必须是 在参考影像和目标影像之间找到适当数量的同名特征点，我们才能够正确地计算出变换模 型的参数，实现重采样。所以说，特征点的匹配情况是影像配准的最主要因素。 2 2 1 特征点匹配的概念 当我们从图像上提取了足够多的特征点后，下一步就是进行特征点的匹配，也就是指 在参考影像所有特征点和目标影像所有特征点中匹配出对同一真实地物( 对遥感影像而 言) 进行描述的两个特征点，称为匹配特征点对，也叫做同名特征点。如图2 1 0 所示： 1 4 图2 1 1 进行了特征点识别和匹配后的遥感影像 这是在两幅影像上找出特征点，然后完成匹配后的对比图像，可见在左边影像上的红 色像素点和右边影像上的绿色像素点描述的实际上是同一地物，所以每一个红色点都有一 个相应的绿色同名点( 不同影像上对同一地物进行描述的像素点) 与之对应，即是完成了 1 5 华东师范大学2 0 1 0 届硕士毕业论文 特征点的匹配。 2 2 2 特征点匹配的策略 在图像匹配的过程中，我们要利用参考影像特征点描述向量和目标影像特征点描述向 量，通过匹配算法确定相似度，然后设定一定的阈值进行限制，当特征点对相似度大于阈 值也就是相似度达到一定程度时，认为特征点对是同名点f 1 9 】，可见特征点匹配的流程可以 描述如下： 在图上计算特征点 1r 确定参与匹配的特征向量 1r 相似度度量 i 利用阈值剔除错误匹配 i 1r 图2 1 2 特征点匹配的一般流程 1 6 的确 欧氏距离的定义即为阂可夫斯基距离在n = 2 的情况。 本文的特征点检测使用s u r f 特征点检测，s u r f 特征点的描述向量是6 4 维的，在进 行相似性度量的时候，我们使用欧式距离来进行度量。这罩的阈值我们使用的是最小距离 和次小距离之间的比例关系t 。在进行匹配时我们首先计算目标影像上某一个特征点与参 考影像上所有特征点之间的欧氏距离，取出其中的最小值和次小值，如果它们的比例小于 t ，我们就认为它们是匹配的同名点，如果它们之间的比例大于t ，我们就舍弃，计算下一 个点。之所以这样来选取相似度阈值是基于这样的考虑：只有当目标影像中某一个特征点 与参考影像中所有特征点的距离中最近的距离在近的程度上比次近距离大很多的情况下， 我们才认为它是匹配的同名点，其实本质上是避免了在目标影像和参考影像上有特征比较 接近的特征点但不是同名点，却被误匹配的可能。 2 3 建立遥感影像特征库 2 3 1 遥感影像特征库的概念 在遥感影像配准的应用方面，有很多情况下是对一定地区的影像进行不断地更新，这 1 7 华东师范大学2 0 1 0 届硕士毕业论文 个时候前期在已配准影像上产生的特征点还能够在后续配准的时候加以利用，而跳过了在 影像上获取特征点这个阶段，从而提高了配准工作的效率。有些时候还有这样的情况，影 像甲和影像乙是已经经过配准的影像，影像丙是待配准的影像，而影像丙与影像甲有一部 分重叠，与影像乙也有一部分重叠，为了找到足够多的特征点，保证配准精度，必须同时 把影像甲和乙作为参考影像。对于已有的配准方法来说，必须首先把影像甲和影像乙进行 拼接，然后才能进行配准，但是如果我们能将影像甲和乙的特征点作为特征保存在特征数 据库中随时调用，这样我们的配准就不再是影像对影像而是特征对特征了，这对我们以后 的配准工作可以说是事半功倍【2 0 1 。 遥感影像特征库指的是存储了从遥感影像上提取的某种特征的数据库，它完成数据的 存取，更新，管理和查询等任务，为后续使用遥感影像特征的工作提供方便。 2 3 2 遥感影像特征库的建立 遥感影像数据库的建立主要包括一下几个关键问题： ( 1 ) 确定数据来源，以及存入数据库的数据的属性和格式； ( 2 ) 确定库表的结构，选用合适的数据类型，保证数据的精度； ( 3 ) 数据库的独立性，即数据库要独立于应用； ( 4 ) 数据库的安全性，加强身份验证管理； ( 5 ) 数据管理的方便性，更新，备份等问题【3 0 l 。 2 3 3 使用遥感影像特征库进行配准 由于本文确定采用特征点进行自动配准，所以在遥感影像特征库中主要保存了特征点 属性表，每一幅影像保存为一张表，表中的记录保存每个特征点的描述向量，特征点的实 际地理坐标，图上坐标以及属性信息，在配准的过程中使用特征库主要包括以下的步骤： ( 1 ) 配准的过程中，首先根据库表中的每一条记录，生成参考影像每一个特征点的描述向 量，然后将其与目标影像上产生的所有特征点的描述向量进行匹配，产生匹配的特征 点对； ( 2 ) 对于已经匹配的特征点对，将特征点属性表中参考影像上的特征点的实际地理坐标值 赋给目标影像上的相应特征点； ( 3 ) 在配准完成后，对于在上一步中，在目标图像上并未得到匹配的特征点，将其在配准 1 8 2 3 ( 4 ) 建立遥感影像特征库使得实际的配准工作具有更好的规律性，管理的方便性和较好的 安全性。 1 9 华东师范大学2 0 1 0 届硕士毕业论文 第三章基于s u r f 特