（信号与信息处理专业论文）遥感图像配准算法与性能评估研究.pdf

摘要 摘要 图像配准研究是图像处理中的一个基础性研究，是许多图像处理技术具体应 用的前提和核心。图像配准技术具有较强的技术综合性，涉及学科广泛，同时具 有较强的学科综合性。 本文首先分析了当前图像配准的主要理论及方法，把当前主要算法总结为三 类：基于图像灰度相关性的图像配准方法，基于图像内容和结构信息的图像配准 方法和基于物理模型的图像配准方法，并对他们各自的优点及不足进行了分析与 比较。 其次，本文重点讨论了第二类基于图像内容和结构信息的遥感图像配准方法， 深入研究了其中的遥感图像特征提取、特征描述以及有效的特征匹配算法和基于 s i f t 特征的配准算法，并结合具体遥感图像处理领域里的应用实例对这些算法进 行了实现和讨论。 为克服不同分辨率遥感图像自动配准的困难，本文把s u r f 描述算子和l o g 尺度选择理论引入图像配准中，并提出了一种基于多尺度角点检测和尺度自动选 择理论的遥感图像自动配准算法。该算法首先利用h a r r i s l a p l a c i a n 算子进行多尺 度角点检测，然后计算每个角点的s u r f 描述算子并进行以最小距离为原则的角 点匹配，最后利用多尺度l o g 算子自动求出遥感图像间的尺度信息并进行尺度变 换。实验表明该算法较好地解决了不同尺度遥感图像的自动配准问题，在无手工 辅助的情况下能自动地对不同尺度的遥感图像进行配准。 遥感图像配准效果的评估也是配准过程中的一个重要组成部分，因此本文随 后研究了配准效果的性能评估问题。本章中首先探讨了遥感图像配准的 c r a m c r - r a o 基本性能界限，并结合具体的配准例子对结果进行了分析：然后对遥 感图像配准的一些客观评价方法进行了分析与阐述，并提出了一种配准精度指标 的量化衡量方法。仿真结果显示了该精度衡量方法的合理性和易操作性。 在最后一章中对本文所做的工作进行了一些总结，同时对本文在遥感图像配 准领域中仍需要深入研究的地方进行了一些展望。 关键词：遥感图像配准，配准评估，特征提取，特征描述，特征匹配 a b s t r a ( 玎 a bs t r a c t i m a g er e g i s t r a t i o ni saf u n d a m e n t a lr e s e a r c hi ni m a g ep r o c e s s i n ga n di ti st h e p r e c o n d i t i o na n de s s e n t i a lp a r to fm a n ya p p l i c a t i o n so fi m a g ep r o c e s s i n gt e c h n o l o g i e s i ti si n v o l v e di naw i d er a n g es u b j e c t st h a tc o n c e r ns e n s o r sa n di m a g i n gk n o w l e d g e ， o p t i m i z a t i o nt h e o r y , p a t t e r nr e c o g n i t i o nt h e o r y , i n f o r m a t i o nt h e o r y t h i sp a p e rf i r s ta n a l y z e st h ec u r r e n tm a i ni m a g e r e g i s t r a t i o nt h e o r i e sa n dm e t h o d s a n ds u m m a r i z e si nt h r e ec a t e g o r i e s ：g r a yi n t e n s i t ym e t h o d ，i m a g ec o n t e n ta n ds t r u c t u r e i n f o r m a t i o nm e t h o d sa n dp h y s i c a lm o d e lm e t h o d s ，t h e na n a l y z e sa n dc o m p a r e do nm e i r r e s p e c t i v es t r e n g t h sa n dw e a k n e s s e sa n dm a k e ss o m ei m p r o v e m e n t sf o rt h e s ew e a k n e s s t h e nt h i sp a p e rf o c u s e so nt h es e c o n dr e g i s t r a t i o nm e t h o d ：f e a t u r eb a s ei m a g e r e g i s t r a t i o n t h i sp a p e rr e s e a r c h e sd e e p l yo nt h o s ea l g o r i t h m so ff e a t u r ee x t r a c t i o n ， f e a t u r ed e s c r i p t i o na n df e a t u r em a t c h i n ga n dt h e i ra p p l i c a t i o ni nr e m o t es e n s i n gi m a g e p r o c e s s i n gf i e l d i no r d e rt oo v e r c o m et h ed i f f i c u l t yo fa u t o m a t i ci m a g er e g i s t r a t i o n ，t h i sp a p e r p r o p o s e s a n i m a g er e g i s t r a t i o na l g o r i t h mb a s e d o nm u l t i - s c a l et e c h n i q u ea n d h a r r i s l a p l a c i a n c o m e rd e t e c t o r t h e a l g o r i t h m c o n t a i n sf o u r p a r t s ：( 1 ) h a r r i s l a p l a c i a nc o m e rd e t e c t o ri su s e dt od e t e c ta n dl o c a l i z ec o m e r s ；( 2 ) t h ed e t e c t e d c o m e r s s u r f ( s p e e d e du pr o b u s tf e a t u r e ) d e s c r i p t o r sa r et h e nc a l c u l a t e d ；( 3 ) t h e c o m e rm a t c h i n gi sc a r r i e do u ta c c o r d i n gt oe u c l i dd i s t a n c e ；a n d ( 4 ) t h el o g ( l a p l a c i a n o fg a u s s i a n ) i sf i n a l l ya d o p t e dt od e t e r m i n et h es c a l ef a c t o rb e t w e e nt h et w oi m a g e s t h i sp a p e rt h e ne x a m i n e st h ep e r f o r m a n c ee v a l u a t i o no fi m a g er e g i s t r a t i o n t h e p a p e rd e r i v e st h eb a s i cp e r f o r m a n c eb o u n do fi m a g er e g i s t r a t i o na n da n a l ) ，z e st h e o b j e c t i v ee v a l u a t i o nm e t h o do fa c c u r a c y , s p e e d ，i m m u n i t ya n da u t o m a t i o n f i n a l l y , t h ep a p e rs u m m a r i z e st h ew o r kh a v eb e e nd o n e ，a n dg i v e ss o m e s u g g e s t i o n sf o rf u r t h e rr e s e a r c h k e y w o r d s ：i m a g er e g i s t r a t i o n , r e g i s t r a t i o ne v a l u a t i o n ，f e a t u r ee x t r a c t i o n ，f e a t u r e d e s c r i p t i o n , f e a t u r em a t c h i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 日期：加加年乡月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名：近垒 日期：扣。年s 月 日 第一章绪论 1 1 课题研究目的和意义 第一章绪论 概括地说，图像配准过程就是对同一场景的两幅或多幅图像进行最佳匹配的 过程，而这些图像一般是在不同时间、不同传感器或者不同视角获取的。图像配 准技术在国民生产和生活中发挥着极其重要的作用，具体体现在以下几个方面： 一、基础性，图像配准是许多图像处理技术具体应用的前提和核心，如变化检测、 图像融合、图像镶嵌与拼接、自动目标跟踪与制导等；二、广泛性，图像配准具 体应用领域包括：军事、医学、遥感、计算机视觉、工业检测等，在现代化的国 防建设、工业生产及医疗卫生领域中扮演着重要的角色；三、综合性，图像配准 的前期处理有图像增强与恢复、灰度和几何校正、分割和特征提取；后期处理涉 及到图像识别、特征匹配、图像变换及重采样技术。图像配准具有很强的学科综 合性，具体涉及领域包括传感器与成像知识、模式识别、优化理论、信号处理、 信息论、统计学等。 图像配准效果评估也是配准过程中的一个重要组成部分，如果不对配准的效 果进行合适的评估，则算法性能就没有一个客观统一的衡量标准，不同配准算法 的准确性和实用性就难以比较，配准结果的实际意义也容易受到置疑。因此研究 有效的图像配准客观评估方法也非常重要，而这也是当前图像配准领域中的一个 薄弱环节。 由此可见，图像配准技术研究不但具有重要的实用价值，而且也是图像处理 技术的一个重要组成部分，具有很大的理论价值。 1 2 图像配准国内外发展现状与趋势 图像配准最初产生于计算机视觉领域，始于上世纪6 0 年代，但是直到上世纪 8 0 年代初才引起学者们的重视。早期的图像处理技术一般都是基于图像狄度相关 方法进行图像配准，其中有代表性的算法有上世纪7 0 年代a n u t a 【1 】提出的使用快 电子科技大学硕士学位论文 速傅里叶变换( f f t ) 对图像进行相似性检测计算的图像配准技术和b a m e a 2 】等提 出的使用模板图像差值相似性度量的图像配准技术。而后者( 使用模板图像差值 相似性度量的图像配准方法) 比前者( 使用f f t 计算互相关进行图像相似性检测 的方法) 有更高的性能；1 9 9 2 年，b r o w n 3 】对图像配准理论进行了系统的研究与总 结，并对当时出现的主要配准方法进行了分析与讨论；2 0 0 3 年，z i t o v a 4 j 总结了继 b r o w n 之后出现的一些新的图像配准相关技术和方法，并重点讨论了图像特征在 图像配准中的应用，而这正是图像处理技术研究的热点和难点，这两篇综述文章 成为图像配准研究的经典回顾。l e e 5 】等在2 0 0 8 提出了一种基于加权高斯映射的图 像配准方法，该方法在对人脑核磁共振图像配准中收到了良好的效果。m a n u e l 【6 l 等人则分析比较了三种最新出现的能够实现亚像素级配准精度的算法：基于非线 性优化理论和矩阵乘法离散傅里叶交换法。 相对于国外，图像配准在国内的研究起步较晚，真正的关于图像配准的研究 在1 9 9 0 年后才开始的。早在1 9 9 3 年胡庆茂【_ 刀就提出了一种基于自适应阈值序列快 速图像配准算法。刘小军【8 】等就大尺度图像的配准以及不同传感器所获取的图像配 准问题，提出了一种基于s i f t 算法的图像配准方法。该算法首先提取图像中尺度 不变特征点，并在提取过程中结合多尺度h a r r i s 检测算子以提高匹配点对的重复 率，然后通过聚类和归一化互信息准则对提取出的候选匹配点对的角度、尺度和 位置进行迭代筛选以删除错误的匹配点对，最后再利用这些最终得到的正确匹配 点对对图像进行配准。葛永新【9 】等针对基于特征的图像配准方法所存在特征提取的 多样性和相似度计算的复杂性等问题提出了一种基于边缘特征点对对齐度的图像 配准方法。 在配准效果评估方面w e s t 1 0 】等总结了研究者们对于刚体变换模型的配准效果 评估所做的许多工作，而对于非线性的配准( 例如局部配准、弹性模型) 效果评估工 作仍有待于进一步的发展。i 渤i n s o n 【1 l 】等使用c r a m e r - r a o 不等式研究了图像配准 主要算法的均方误差( m s e ) 性能下界限并阐述了图像配准方差与配准偏差间的 基本折中问题，指出基于梯度的图像配准算法可以得到较好的性能。y e t i k t l 2 】等推 导出了常见的图像配准变换( 包括平移、旋转、斜切、刚体变换及仿射变换等) 的c r a m e r - r a o 性能界限，并指出常见的配准算法都是具有偏差的。p h a m 1 3 】等推 导了图像配准的理论界限并给出了实现这一界限的迭代估计算子。上官晋太【1 4 】等 就图像在完全配准、不完全配准、相互独立的情况下其灰度值的联合概分布率进 行了数值统计分析，并分别对5 种配准情况的不同配准测度进行了数值和图表分 析对比，分析了不同配准测度之间的评价一致性问题。 2 第一章绪论 从上面的分析可以看出，图像配准技术从开始单一的依靠图像灰度相关到后 来的基于图像特征及物理模型的配准算法，已经逐渐发展为一个独立的图像处理 研究领域。而随着图像处理技术的不断发展，基于特征的图像配准算法已成为当 下图像配准研究领域中的热点，受到研究者越来越多的关注。 1 3 论文研究内容及结构安排 本文主要研究遥感图像配准的问题，主要关注基于特征的图像配准与性能评 估。本文首先详细研究了图像特征的提取方法、描述方法及特征的有效匹配方法； 本文把s u r f 描述算子和l o g 尺度选择理论引入图像配准中，提出了一种基于多 尺度角点检测和尺度自动选择理论的图像自动配准算法；最后本文研究了图像配 准中容易被忽视的配准效果和性能评估问题，并提出了一种配准精度衡量方法。 具体章节内容安排如下： 第一章为绪论，综述了本文研究的目的与意义、国内外研究动态和趋势以及 本文主要的工作及解决的问题。 第二章为图像配准理论的综述，系统介绍了图像配准的理论基础，分析了当 前图像配准的主要理论及方法，并把当前算法总结为三类：基于图像灰度相关性 的图像配准方法，基于图像内容和结构信息的图像配准方法和基于物理模型的图 像配准方法，对他们各自的优点及不足进行了分析与比较，并提出了部分改进方 案。 第三章研究基于特征的图像配准算法，重点讨论了基于特征的图像配准方法 的实现过程，深入研究了其中的图像特征提取方法、描述方法以及图像特征的有 效匹配方法，包括基于h a r r i s 的图像角点提取算法、曲线特征描述方法、基于s i f t 特征的图像配准算法等，并讨论了图像配准与目标识别之间的联系，把对图像配 准的认识提升到一个较高层次上进行讨论。 第四章提出了一种基于多尺度角点检测及自动尺度选择的自动图像配准算 法。该算法首先利用h a r r i s l a p l a c i a n 角点检测算子在不同尺度的图像中进行多尺 度角点检测，然后在每个角点的一个小邻域中计算该角点的s u r f 描述算子并以 最小距离原则进行角点匹配，最后利用多尺度l o g 算子自动求出图像间的尺度信 息并进行尺度变换。实验结果表明该方法能快速有效地实现不同尺度的图像间的 自动配准，提高图像自动配准的精度并能有效减少误配准发生，提高配准质量。 3 电子科技大学硕士学位论文 第五章研究了配准算法的性能评估，主要分析了图像配准的c r a m e r - r a o 性能 界限，图像配准评估的衡量指标，并提出了配准精度指标的一种量化衡量方法。 第六章对本文的工作进行了总结，并对本文在图像配准领域仍需要深入研究 的地方进行了展望。 4 第二章图像配准理论综述 第二章图像配准的基本理论与方法 2 1 图像配准应用简介 图像配准在实际中有着广泛的应用。大体上说，图像配准就是对同一场景的 两幅或多幅图像进行最佳匹配的过程，而这些图像一般是在不同的时间、不同传 感器或者不同视角获取的。图像配准技术在国民生产和生活中发挥着极其重要的 作用，具体体现在以下几个方面：一、基础性，图像配准是许多图像处理技术具 体应用的前提和核心，如变化检测、图像融合、图像镶嵌与拼接、自动目标跟踪 与制导等；二、广泛性，图像配准具体应用领域包括：军事、医学、遥感、计算 机视觉、工业检测等，在现代化的国防建设、工业生产及医疗卫生领域中扮演着 重要的角色；三、综合性，图像配准的前期处理有图像增强与恢复、灰度和几何 校正、分割和特征提取；后期处理涉及到图像识别、特征匹配、图像变换及重采 样。图像配准具有很强的学科综合性，具体涉及领域包括传感器与成像知识、模 式识别、优化理论、信号处理、信息论、统计学等。图像配准在遥感领域和医学 领域都有着广泛的应用。典型的遥感应用包括多光谱图像分类、环境监测、变换 检测、图像镶嵌、气象预报、合成超分辨率图像、g i s 系统的信息集成等。医学应 用包括诊断分析中的肿瘤检测、病灶定位及生物医学研究中的血细胞分类、子宫 颈抹片、染色体识别等。 b r o w n 【3 】在1 9 9 2 第一次对图像配准的过程、分类、发展、应用及算法进行了 全面的概括总结，并根据图像配准在应用上不同粗略地将其为四类：多模态配准 ( 同一场景上由不同传感方式获得的图像的配准，典型应用是多传感器图像的信 息融合，如医学图像分析、遥感影像融合与场景分类) 、模板配准( 在图像中为参 考模板样式寻找最佳匹配，典型应用是在图像中识别和定位模板样式，如物体定 位、字符识别) 、观察点配准( 对从不同观察点获得的图像进行配准，典型应用是 深度或形状重建，如三维重建、目标跟踪) 和时间序列配准( 对同一场景上不同 时间或不同条件下获得的图像的配准，典型应用是检测和监视变化或增长，如肿 瘤检测、城市监控) 。从中可以看出，图像配准在实际生产生活中具有广泛的应用， 而针对不同的应用领域，图像配准的方法又各不相同，每种方法只是针对特定的 5 电子科技大学硕士学位论文 应用而提出，而其最终目的都是为了寻找一种最优变换，该变换能够使相同场景 的不同图像在某种意义下达到最好的空间位置的吻合，从而为后续的进一步处理 做好准备。随着图像处理技术的不断发展，图像配准技术也由开始的利用灰度相 关理论的简单配准算法向基于图像特征和结构信息及基于物理模型的复杂配准算 法发展，在图像处理技术的理论和实际应用中发挥的作用也越来越重要。 2 2 图像配准的基本理论 2 2 1 图像配准的定义 如果用厶( x ，y ) 和厶( 工，y ) 分别表示参考图像和待配准图像矩阵中位于 位 置的灰度值，则图像配准可以用公式简单的表示为： 厶( x ，y ) = g ( i l f ( x ，y ) ) ( 2 - 1 ) 其中( x ，y 。) = f ( x ，y ) 表示一个二维坐标变换，g 为一维的辐射矫正函数或灰度变换 函数，一般在图像的预处理或后处理中实现。图像配准问题的最终目标就是要寻 找一种空间变换f ( x ，y ) 及灰度变换g ，使得待配准图像与参考图像在某种衡量标准 下达到空间的对齐统一。实际应用中f ( x ，y ) 也可以分解为两个单值函数六和工的 形式，如沿x 轴及y 轴分解或在极坐标下沿径向和切向分解，此时的配准公式可 以表示为： 1 2 ( x , y ) = 厶( 六( 工，y ) ，工( x ，j ，) ) ( 2 - 2 ) 2 2 2 图像配准变换模型 常见的图像变换类型有平移、旋转、缩放、镜像、投影及非线性变换：常见 的配准变换模型由复杂到简单依次包括非线性变换( n o n l i n e a rt r a n s f o r m a t i o n ) 、投 影变换( p r o j e c t i v et r a n s f o r m a t i o n ) 、仿射变换( a f f i n et r a n s f o r m a t i o n ) 和刚体变换 ( r i g i db o d y t r a n s f o r m a t i o n ) 。表2 1 列出了这四种常见全局变换模型对于不同的变 换类型的支持情况，其中非线性变换一般比较复杂，实际配准中使用的不多。 6 第二章图像配准理论综述 表21 配准变换模型对变换类型的支持 变换类型 平移 旋转镜像缩放投影扭曲 变换模亟 刚体变换 仿射变换 j 投影变换 非线性变换 下面对这四种全局变换分别加以分析。 1 刚体变换( r i g i d b o d y t r a n s f o r m a t i o n ) 刚体变换是最简单的图像变换模型，定义为：变换前图像中两点间的距离通 过变换映射后不发生改变的变换为刚体变换，包括平移变换、旋转变换、镜像变 换。变换后的像点( x ，y 。) 在变换前图像中的原像点是( z ，y ) ，变换的映射公式为： 阱瞄= 料 ：； 其中口为图像旋转角度，a z 和a y 为图像平移量。图像刚体变换结果如图2 - 1 所示。 镜像 豳2 1 旋转 图像的刚体变换 莘鉴 电子科技大学硕士学位论文 2 仿射变换( a f f m e t r a n s f o r m a f i o n ) 仿射变换是实际中遇到的最多的变换模型，定义为：变换i j i f 图像中的两条平 行直线在变换后的图像中仍然保持平行关系不变的变换称为仿射变换，具体包括 平移变换、旋转变换、镜像变换和缩放变换。变换后的像点“，y ) 在变换前图像中 的原像点是( ，y ) ，变换的映射公式为： ：爿 其中 。0 dt 7 0 - 1 称为变换矩阵，包含三个自由度变量，因此仿射变换需要知道至少 l a l oq ij 三对已知映射点才能求解出变换方程。实际上，仿射变换也包括斜切变换，即矩 形到平行四边形的变换，其变换结果如图2 2 所示。 鞋粥 口s ， 其中t = * j ，正= y 5 ，5 为缩放因子。投影变换的结果如图2 - 3 所示。 第二章图像配准理论综述 抽) 原幽) 投影变换 图2 - 3 投影变换 4 非线性变换( n o n l m e a r t r a n s f o r m a t i o n ) 非线性变换是最为复杂的图像变换，定义为：变换前图像中的直线在变换后 的图像中不再是直线韵变换称为非线性变换。非线性变换也是对除去咀上三种变 换外的其他一切变换的总称。变换后的像点( x ，y ) 在变换前图像中的原像点是 忆，) 变换的映射公式可简单的表示为： o ，y = g ( x , y )( 2 - 6 ) 其中，g ( x , y ) 是任意一种非线性函数。 在图像配准的实际操作中可根据具体情况确定选用不同的图像变换模型来完 成配准任务，一般而言刚体变换模型和仿射变换模型在实际应用中出现的比较多， 实现自动配准的难度相对而言也较小，因此这两种变换模型也是研究地晟多的配 准变换模型。刚体变换和仿射变换只需要3 对匹配点对就可以完全确定其变换参 数，而投影变换最少需要4 个匹配点对才能确定其变换参数，对于非线性变换则 需要根据具体的情况确定。 2 3 图像配准的主要方法 图像配准算法从上世纪6 0 年代至今已经发展成为一个庞大的算法体系，不同 的算法原理与适应情况也各不相同。但总的来说，目前为止已经出现的图像配准 算法可以根据其复杂程度总的概括为三个大类：第一类是直接利用图像灰度的相 关性方法实现配准。该类方法的主要特点就是根据图像全局或局部灰度信息通 电子科技大学硕士学位论文 过计算参考图像与待配准图像间的互相关程度寻找匹配点实现图像配准，如互相 关法、信息熵法、傅里叶变换域法等方法；第二类是对图像内容和结构信息进行 描述并利用特征匹配来实现图像配准。该类方法首先在图像中提取特殊的图像特 征( 点、线、区域、轮廓等) ，然后对这些特征进行匹配，并根据由匹配的特征点 建立的映射关系进行图像配准变换。第三类图像配准方法是基于物理模型的图像 配准。该方法把图像视为连续的弹性或者流体材料模型，再根据其物理参量关系 进行配准。下面我们就对这三类配准方法中一些具有代表性的算法做一个系统性 综合阐述。 2 3 1 基于图像灰度相关信息的配准方法 基于图像灰度相关信息的图像配准是把待配准图像的某一区域或者整幅图像 与参考图像进行相关度计算，最终的匹配点位于相关度最大处。常见的相关度衡 量标准有相关系数法、互信息法、频域法等。 1 ) 相关系数方法 相关系数方法是把统计学中的随机变量相关性计算引入到图像配准中，是最 常见的相关性度量方法之一，在图像匹配中有着广泛而重要的应用。相关系数计 算公式为 ( ( 厶( x ，少) 一e ( 厶( x ，y ) ) ( 厶( x ，少) 一e ( 厶( x ，y ) ) ) ( 2 - 7 ) 其中i i ( x ，y ) 和1 2 ( x ，y ) 表示两幅图像在相应位置上的灰度值，e 表示求均值。 相关系数法的优点是算法简单，容易实现，而且对光照的轻微变化及图像轻微扭 曲有较好的鲁棒性；缺点是计算量大且只能用于轻度旋转或尺度拉伸不大的图像。 因此实际中更一般的方法是综合考虑图像灰度信息和图像的结构信息，把二者结 合起来以得到更为满意的效果，如利用角点特征进行特征匹配后，再使用灰度相 关进行角点匹配的验证，如本文第四章提出的算法中所采用的方法。 2 ) 互信息法 互信息法是建立在信息论的基础上，用图像的狄度变化包含的信息量作为衡 量两个区域匹配程度的标准。互信息法计算公 l o 第二章图像配准理论综述 i ( “( 石) ，1 ，( 丁( x ) ) ) = 月( “( 曲) + 月( 1 ，( 丁( x ) ) ) - h ( u ( x ) ，1 ，( 丁( x ) ) ) 1h ( y ) = ，p ( y ) l np (y)dy(2-8) 互信息法相对于相关系数法的优势是互信息法速度较快，因此适合速度要求 较高的场合。r o c h e 1 5 】已经证明在统计框架下互信息法与相关系数法只是在不同参 数下的最大似然估计。 3 ) 频域法 频域法是利用傅里叶变换性质把图像的时域匹配转换为频域中的脉冲检测， 进而通过反傅里叶变换求得相应的时域图像变换参数。例如，假设参考图像和待 配准图像分别为( x ，y ) 和厶( 工，y ) ，若二者之间存在平移关系，即 厶( x ，y ) = 厶0 一而，y 一) ，则根据傅里叶变换的平移性质易知经过傅罩叶变换后参 考图像与待配准图像的频谱之间存在一定的联系，即f z ( u ，1 ，) = e ( “，v ) e 哪石嘶慨。 由此可见两幅图像的傅立叶变换有相同的振幅，但有不同的相位，这样通过计算 相位差就可以确定图像的相对平移量： 鲫，1 ，) ：譬咎等= e x p j 0 2 ( u , v ) 吲训) ( 2 - 9 ) 一i 曩( “，v ) i j e ( “，v ) i 7” 其中研( “，v ) ，o z ( u ，v ) 分别为参考图像频谱互( “，1 ，) 和待配准图像频谱互( “，) 的相 位。由傅立叶变换的性质可知，q ( u ，1 ，) = e 一2 石砜+ 的傅立叶反变换是在( x o ，y o ) 处 的冲激信号，因此通过定位这个冲击的位置可以很容易地确定图像的相对平移量。 与此相似，假设待配准图像相对于参考图像发生旋转变换，旋转角度为岛，即 1 2 ( x , y ) = i , ( x c o s o o + y s i n8 0 - x o ，x s i na o + yc o s 8 0 一) ，则对两幅图像进行傅里叶 变换可得e ( “，d = 5 ( u c o s e o + v s i n t 9 0 ，- us i n o o + v c ( , s o o - y o ) e 川石“。+ ，如果把 互( 甜，v ) 不断旋转，则当0 = a o 时，则上式的傅里叶反变换会在相应位置上形成一个 冲激。频域方法的优点是利用快速傅立叶变换可提高计算速度，而且对频域独立 的噪声具有一定的抑制力。频域法的缺点是很难消除时域的噪声影响。 电子科技大学硕士学位论文 2 3 2 基于图像内容和结构信息的配准方法 基于图像内容和结构信息的图像配准通过特征选择与提取手段得到图像特 征，并在特征空间中对提取的图像特征进行匹配获得图像映射矩阵，再经过变换 和重采样等步骤实现图像的配准。基于内容和结构信息配准算法一般包含以下四 个步骤：特征选择、特征匹配、变换估计和图像采样与变换。 1 ) 特征提取 对于图像中的易于提取的显著特征( 如边界闭合的区域，边缘，轮廓，直线 交叉点，角点等等) 可通过手动，或者更理想的情况是自动的提取出来，然后使 用它们各自具有代表性的点( 如重心、直线端点或其他有代表性的点) 表示出来， 这些点在后续处理中被当做控制点( g c p s ) 用来计算图像变换矩阵。 2 ) 特征匹配 在特征匹配这一步骤中主要是为那些在参考图像和配准图像中提取的特征点 建立一一对应关系。可利用各种已有的特征描述算子( 如尺度不变特征算子s i f t ， 加速特征描述算子s u r f 等) 和相似度量准则( 如欧氏距离准则，马氏距离准则， 相关性度量等等) 来建立特征点之间的空间对应关系。 3 ) 变换估计 在这个步骤中，主要是确定变换模型及该模型中的未知参数，进而确定图像 变换的映射函数，并对配准图像进行变换使其与参考图像达到空间对齐。变换参 数的确定是通过已建立的特征点的对应关系计算出来。 4 ) 图像采样与变换 这一步是对配准图像通过映射函数进行变换，使其与参考图像达到空间位置 的对齐。对于变换中未在整数坐标上的像素点，可通过适当的插值方法确定其灰 度值。常见的插值方法包括最邻近插值法，双线性插值法及立方插值法。 图像中的几何特征一般比较稳定，受光照变化、噪声干扰等因素的影响较小， 而且易于提取和精确定位。因此基于特征的图像配准技术被广泛的应用于各种图 像处理中，是研究的较多的一类配准算法。图像特征具体又可细分为点特征、线 特征、区域特征、轮廓特征等，实际配准中可根据配准图像的特点及任务的不同 选择不同的图像特征。在下一章中将详细介绍各种特征的提取与描述算法和特征 的有效匹配算法。 1 2 第二章图像配准理论综述 2 3 3 基于物理模型的配准方法 基于物理模型的图像配准法是把整个图像看做一个完整的物理模型( 如弹性 材料模型，流体材料模型等) 采样后获得的离散模型，因此图像灰度值的高低可 视为物理模型受力发生位移后的变形所造成，通过计算图像矢量场的刚度和弹性 模量等参数来获得图像间的变换参数，进而实现图像配准。基于物理模型的配准 方法具有许多优点，如特征匹配和图像变换可以同时完成，对局部的变形敏感； 基于离散像素模型的特征描述在图像变形比较复杂的情况下会发生很大的变化， 这时传统的匹配手段就很难建立准确的图像间映射关系，而基于物理模型的配准 方法则可以很好地解决这一难题。但基于物理模型的配准方法仍有很多地方有待 于进一步的发展与完善，如怎样选择合理的模型来模拟物理传感器的成像过程， 如何进一步减小计算量以提高配准的速度，如何降低模型误差以提高配准精度和 对配准的结果采取什么样的评估方法等等，这些问题的解决都需要进一步的研究。 2 4 本章小结 本章主要介绍了图像配准的一些基本理论与方法。首先介绍了图像配准问题 的起源和在生产生活中的具体应用领域，然后介绍了图像配准的一些基本理论， 并对图像配准中所运用到的一些常见变换模型进行了详细的介绍。接着本章重点 讨论了基于灰度相关性的图像配准方法和基于图像内容和结构信息的配准方法的 原理及特点。通过上述分析可以看出，不同的图像配准方法具有各自的优缺点， 往往都是针对不同类型的图像配准任务而专门设计的，与具体图像的特征有着紧 密的联系。所以到目前为止还没有任何一种图像配准方法能适用于所有的图像配 准任务，究其原因一方面图像配准的应用领域非常广泛，配准任务所面对的不同 类型的图像千差万别，另一方面图像配准算法本身尚处于发展阶段，仍有很多问 题没有一个统一有效的解决方法。因此今后图像配准的研究也将围绕这两个方面 进行，即拓宽算法的适用性和应用领域，提高算法的有效性、准确性和鲁棒性。 电子科技大学硕士学位论文 第三章基于特征的图像配准研究 本章主要研究基于特征的图像配准方法。基于特征的图像配准方法一般包含 以下四个步骤：特征选择、特征匹配、变换估计和图像重采样与变换。图像中有 很多种可以利用的特征，常用到的图像特征有：点特征( 包括角点、高曲率点等) 、 直线段、边缘、轮廓、闭合区域以及统计特征等等。图像尺度空间在图像特征提 取与匹配中扮演着重要的角色，是许多优良的特征提取和描述算法的基础，因此 本章首先简单介绍了图像尺度空间的相关理论。 3 1 图像尺度空间简介 图像的高斯( g a u s s i a n ) 尺度空间被定义为输入图像i ( x ，y ) 与变尺度( 或变方差) 高斯函数g ( x ，y ；c r ) 的连续卷积而成，其中( x ，y ) 表示坐标，盯表示尺度。用函数表 示为( 五y ； 三( z ，y ；= i ( x ，y ) 木g ( x ，y ； ( 3 一1 ) 其中，幸表示卷积算子，g ( x ，y ；c r ) 为二维高斯函数，表达式为 眠y ；5 丽1 e 一咖一( 3 - 2 ) k o c l l d 耐1 1 1 ( 【1 6 】和l i n d e b e r g t l 刀已经证明，在一定的合理假设条件下，高斯函数 g ( x ，y ；仃) 是唯一的构建图像尺度空间的核函数。理论上通过对高斯函数取连续变 化的尺度，然后再与输入图像进行卷积就可以得到图像尺度空间。但在实际运用 中，通常是按照某一规律只取一些离散的尺度进行计算，如t r ( n ) = o - o k “，其中，吼 是一个初始尺度，k 是尺度增长步长。图3 1 是取t r o = 0 2 ，k = - i 4 时构建的一个具 有1 2 尺度的图像空间例子。 1 4 第三章基于特征的阁像配准研究 尺度空间第9 层( 封尺度空间第1 0 层尺度空间第1 1 层 圈3 - 1 “= 0 2 k = l4 的高斯图像尺度空间 从图3 - 1 中可以看出，小的尺度适合于提取图像中细小的特征( 如图3 - 1 中油 罐和飞机) ，而大的尺度下适合于提取较大的图像特征( 如图3 - 1 中停机坪与房屋) 。 电子科技入学硕士学住论文 由于高斯函数的平滑作用，因此图像尺度空间的抗噪声性能大大提高。 除了g a u s s i a r , - 尺度空间外，另一个比较重要的图像尺度空间d o gf d i f f e r e n c eo f g a u s s i a n ) ) 己度空间，它被定义为高斯尺度空间中两个相邻的尺度差，用函数表 示为 d ( x ，y ；叻= 三k ，；女一z ( x ，y ； = g ( x ，y ；似”) ) 一g ( x ，y ；叫n 1 ) ) i ( x ，y )( 3 - 3 ) ； g 0 ，y ；k c r ) 一g ( x ，y ；砷) + l ( x ，y ) d o g 尺度空间的构造如图3 - 2 所示。 尺 度 售 一 层 蓁雾霎藿霪罗 毒蚕兰二蚕 舞雾；：二爹 笔蚕三二雾 么曩毳萝一一鼍忌意蓑 高斯尺度空闷 图3 - 2 d o g 尺度空间的构造 d o g 尺度空间是对尺度归一化的l o g 尺度空间( l a p l a e i a no fg a u s s i a n ) 的- - 种有效近似，在基于s i f t 的图像配准算法中发挥了重要的作用。 32 特征的提取与描述 图像特征的提取与描述是基于特征的图像配准算法的前两个关键步骤。一般 经过提取后的图像特征需要采用合适的描述算子进行描述以得到特征向量，这是 后续进行特征匹配和图像变换的必要前提。 3 21 图像特征的提取 一般而言，图像扶度曲面的不连续点包含着显著的图像几何特征，这些特征 包括点特征( 如角点、线交叉点、曲率最大点等) 和边界、轮廓等线特征或纹理 特征等。 第三章基丁特征的图像配准研究 1 ) 角点特征的提取。图像中的角点特征是一个相对比较稳定的特征，在计算 机视觉、模式识别以及图像配准领域都有非常广泛的应用。h a r r i s 角点检测算子【1 9 】 是一种基于图像局部二阶相关矩阵的检测方法，该算法主要通过计算图像中各点 的局部灰度曲率及梯度来检测角点。假设i ( x ，y ) 定义为图像在( 工，y ) 点的灰度，那 么平移( 缸，a y ) 所引起的灰度变化量瓦可使用如下公式算得： 岛= ( ， + x ，夕+ 匈) 一，( z ，y ) ) 2 ( 3 - 4 ) 其中吃，为窗1 2 1 函数。式( 3 4 ) 是一个二次多项式，可进一步展开为 = 皿+ 玛+ 。( 巧) 2 。( x 2 c 2 + y 2 髟+ 2 以玛) ( 3 - 5 ) a 工，4 y = 【x ，y m x ，y 】 其峨彬惭咖方向的一阶黼m 瞄钳c 删 二阶实对称矩阵。由线性代数知识可知，c 可以相似对角化为： 一 五友 r ( 3 6 ) 其中丑，五是二阶实对称矩阵c 的两个特征值，r 为正交矩阵。这里丑，五的大 小关系，可以分三种情况讨论：1 ) ，五，五 1 时， 沿任何方向的移动均将导致岛的剧烈变化，这表明目标点处于角点上。因此，通 过式( 3 5 ) 和式( 3 6 ) ，角点检测问题就转化为线性代数中的特征值问题。理论 上只需要计算c 的两个特征值的大小就可以确定图像的边缘和角点。但是实际中， 由于特征值和特征向量的计算量比较大，因此一般把问题等价的转化为计算角点 响应函数的大小。h a r r i s 定义角点响应函数为： 1 7 电子科技大学硕士学位论文 c 少) = d c t ( m ) - k t r ( m )( 3 7 ) 其中d e t ( m ) 表示矩阵m 的行列式，t r ( m ) 表示矩阵的迹，k 为常数因子，一般取 o 0 0 4 。 2 ) 线特征的提取。线特征也是图像中比较丰富的可利用特征，包括直线特征 和曲线特征。目前为止h o u g h 变换【2 0 】仍是提取图像中可参数化的线特征最为有效 的方法。h o u g h 变换是把原始图像中的参数化直线或曲线映射到参数空间中的某 个点上，使得原始图像中给定形状的参数化直线或曲线上所有的点都映射到参数 空间中的某一个点位置。这样，连续的直线或曲线在参数空间就会聚集成一个峰 值，原图像中的参数化线特征的检测问题就转化为参数空间中的最值检测问题。 参数化的曲线特征一般是指二次曲线，如圆曲线，而更为广泛的非参数化曲线一 般无法使用特定的数学公式描述，因此很难通过h o u g h 检测提取，通常包括物体 的边缘或轮廓的一部分，如海岸线，城市道路等；直线特征一般包括人工建筑的 边缘和机场跑道等。对于把将图像中提取的一条曲线段( 部分) 与整条曲线( 整体) 相匹配的问题，赵训坡等【2 l 】提出了一种基于证据积累的图像曲线匹配方法比较有 效地解决这个难题，在基于曲线的图像配准算法中有重要意义。 3 ) 结构特征提取。结构特征一般指物体的轮廓线或图像中的连通区域特征。 由于在分割后的二值图像中物体的轮廓与物体所占据的区域有密切的联系，它们 与物体的结构紧密相联，因此可将轮廓与区域统一称为图像的结构特征。区域生 长法是提取图像中区域特征最常用的方法之一，基本的方法是以一组“种子点 开始，将与种子点性质相似( 诸如灰度级或颜色的特定范围) 的相邻像素附加到 生长区域的每个种子上，形成更大的区域的过程。区域生长一般包含三个比较重 要的问题：1 ) 种子点的选取；2 ) 生长准则；3 ) 终止条件。可以认为，这三个问 题需要具体分析，而且每个问题解决的好坏直接关系到区域生长的结果。 具体在实际应用中使用什么特征