（信息与通信工程专业论文）基于结构信息的sar图像配准方法研究.pdf

国防科学技术大学研究生院工学硕士学位论文 摘要 图像配准的主要目的是实现同一场景下不同时间、不同视角或不同传感器获 取的图像数据在空间位置上的对齐，它是变化检测、图像融合、目标识别以及地 图更新等图像分析任务中的关键步骤之一。论文在全面分析和总结当前图像配准 技术的基础上，对基于图像结构信息的配准方法进行了研究。 由于s a r 图像固有特性的不同，s a r 图像配准面临很多新的问题。针对s a p , 图像的特性及已有算法的不足，利用图像的结构信息，改进了一种基于像素迁移 的图像配准方法，并通过实际s a r 图像的配准验证了该方法的有效性。 论文的主要工作包括以下几方面： l 、概述图像配准技术及s a p , 图像配准的基本理论。介绍了图像配准研究的 现状，对比了基本的配准方法。在阐述s a r 图像固有特性的基础上，对s a r 图像 配准的发展现状及面临的问题进行了分析。 2 、利用s a r 图像中地物的结构信息，改进了一种基于像素迁移的配准方法。 针对s a r 图像特性的不同，利用有效地r o e w a 算子检测器提取s a r 图像的边 缘，利用提取的边缘简洁有效的表示s a r 图像的主体结构信息。并以表示结构信 息的特征点集为依据，提出一种适用于s a r 图像配准的相似性测度 3 、充分利用遗传算法和p o w e l l 方法的优势，构建出能够有效解决所提出的相 似性测度问题的优化算法。实验结果证实了该算法的有效性。 主题词：s a r ，图像配准，像素迁移，r o e w a ，优化算法 第l 页 国防科学技术大学研究生院工学硕士学位论文 a bs t r a c t n l em a i np u r p o s eo fi m a g er e g i s t r a t i o ni st or e a l i z et h ep r o c e s so fg e o m e t r i c a l l y o v e r l a y i n gt w oo rm o r ei m a g e so ft h es a m es c e d et a k e na td i f f e r e n tt i m e s ，f r o m d i f f e r e n tv i e w p o i n t so rb yd i f f e r e n ts e n s o r s i m a g er e g i s t r a f i o ni sac r u c i a ls t e pi nm a n y i m a g ea n a l y s i s t a s k sw h i c hi n c l u d ec h a n g ed e t e c t i o n , i n f o r m a t i o nf u s i o n , o b j e c t r e c o g n i t i o na n dm a pu p d a t ea n ds oo n o nt h eb a s i so fc o m p r e h e n s i v e l ya n a l y z i n ga n d s u m m a r i z i n gt h ec u r r e n ti m a g er e g i s t r a t i o nt e c h n i q u e s ，s a ri m a g er e g i s t r a t i o nb a s e d o ns t r u c t u r a li n f o r m a t i o nh a sb e e ns t u d i e di nt h i sd i s s e r t a t i o n 。 d u et ot h ei n t r i n s i cc h a r a c t e r i s t i c so fs a ri m a g e ，s a ri m a g er e g i s t r a t i o ni s c o n f r o n t e dw i t hs o m en e wp r o b l e m s 砀ed i s s e r t a t i o nm o d i f i e sas a ri m a g e r e g i s t r a t i o nb a s e do np i x e lm i g r a t i o nu s i n gt h es t r u c t u r a li n f o r m a t i o n o fi m a g e a n dt h e e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h ee f f e c t i v i t y ，n l em a i nw o r k so f t h ed i s s e r t a t i o na r el i s t e d 髂f o l l o w s ： 1 ，n l ef u n d a m e n t a lt h e o r yo fi m a g er e g i s t r a t i o na n ds a ri m a g er e g i s t r a t i o na r e s u m m a d z e di nt h i st h e s i s i nt h ed i s s e r t a t i o n , t h ea c t u a l i t yi se x p a t i a t e da n dt h em e t h o d s o fi m a g er e g i s t r a t i o na r ec o m p a r e d a n a l y z i n gt h ei n t r i n s i cc h a r a c t e r i s t i co fs a ri m a g e ， t h ed e v e l o p m e n ta n dp r o b l e mt ob ec o n f r o n t e do fs a ri m a g er e g i s t r a t i o na r ea n a l y z e d 2 t h ed i s s e r t a t i o nm o d i f i e sas a ri m a g er e g i s t r a t i o nb a s e do np i x e lm i g r a t i o nu s i n g t h es t r u c t u r a li n f o r m a t i o no fi m a g e t h er o e w ao p e r a t o ri su s e dt od i s t i l le d g e so f s a r i m a g e sw h i c hc a l lr e p r e s e n tt h em a i ns t r u c t u r a li n f o r m a t i o no fs a ri m a g e s a n d t h e nan e ws i m i l a r i t ym e a s u r ei sc o n s t r u c t e db a s e do nt h ec o n t r o lp o i n t s 3 t h ed i s s e r t a t i o nc o n s t r u c t san e wa l g o r i t h mw h i c hc a ns o l v et h ep r o b l e mo ft h e s i m i l a r i t ym e a s u r ee f f e c t i v e l y a n di tm a k e st h eb e s tu s eo ft h es u p e r i o r i t yo ft h eg a a n dp o w e l l r n l ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h mi sf e a s i b l e k e yw o r d s ：s a r , i m a g er e g i s t r a t i o n ，p i x e lm i g r a t i o n ，r o e w a ，o p t i m i z e d a l g o r i t h m 第1 i 页 国防科学技术大学研究生院工学硕士学位论文 表目录 表4 - l 参数取值范围4 3 表4 2 + 图像中选取的控制点坐标4 6 第i i i 页 国防科学技术大学研究生院工学硕士学位论文 图目录 图2 1 图像变换形式：5 图2 2 最近邻法7 图2 3 双线性法8 图2 4 图像配准的一般步骤9 图2 52 0 0 3 2 0 0 9 年s c u i s t p 检索的图像配准论文年度和国家分布图1 1 图3 1 一维多边缘模型2 1 图3 2i s e f 滤波器及其一阶微分形式2 2 图3 3 特征匹配基本流程2 5 图4 1 配准流程图2 8 图4 2 图像结构图3 0 图4 3 参考图和待配准图像3 0 图4 4 不同比例特征点集选取得到的搜索结果3 0 图4 5 染色体编码方式3 5 图4 - 6 文中遗传算法迭代结果3 6 图4 7 基于g a 的模型参数求解流程图3 9 图4 8 本文流程图4 2 图4 - 9s a r 图像配准结果。4 4 图4 1 0 配准结果4 4 图4 1 1 互信息方法配准结果4 6 第i v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他入已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目： 一 基王箜捡焦! 塾鲍墨丛图像墼壅友洼珏究 学位论文作者獬：她 疏叶钏月石日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留，使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存，汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名：盘型暨 作者指导教师签名：苤! 叠堑： 日期：如夕年，月万旨 吼川年f 月妯 国防科学技术大学研究生院工学硕士学位论文 第一章绪论 1 1 课题背景及意义 合成孔径雷达( s y n t h e t i ca p e r t u r er a d a r ，s a r ) 是一种先进的对地观测工具。 由于它具有全天候、全天时工作的特点，并对地表植被具有一定的穿透性，s a r 日益成为当今最具有代表性的对地观测手段之一。s a r 技术是一种远距离、非接 触的目标探测技术与方法，具体地说，就是利用搭载在信息处理平台上的传感器， 接收从目标发射和辐射的电磁波信息，实现对目标定性以及定量的描述。 随着s a r 技术的进步和性能的提升，其在军用和民用领域的应用逐步深入。 在军用方面，包括军事侦察、打击效果评估、武器制导和导航等；在民用方面， 包括地形测绘和制图学、水资源环境和洪涝监测、农业和林业以及地质和矿物资 源勘探等s a r 所具有的优良特性和强大的应用潜力促使世界各国都非常重视对 s a r 传感器的研究。 s a r 图像处理是s a r 处理技术中的一个重要方面。然而，通过雷达获取的图 像，通常情况下并不能够直接为人们所用，与人们通常的视觉景象不相容，所以 必须要进行相关的s a r 图像的解译工作。从某种意义上讲，s a r 图像解译的水平 直接决定了s a r 技术在实际中的应用能力。而从s a r 图像中获取信息并加以利用， 是合成孔径雷达工作的最终目的，雷达在军事和地球科学等方面的应用效果都依 赖于从雷达图像中提取信息的能力。随着数字图像处理技术的快速发展和进步， 多种图像处理技术在s a r 图像上的应用，大大加强了从s a r 图像中获取信息的能 力，同时扩展了s a r 图像的应用领域。 在图像处理过程中，对于获取的多幅图像往往要对其进行分析和比较，如 变化检测、信息融合等。在分析和比较的过程中，很重要的一个条件就是图像之 间是配准的。在图像处理技术中，图像配准技术是一个独立的图像处理研究方向， 也是多种图像解译技术的基础。然而，不同的成像条件带来的问题使得图像之间 并不能够严格匹配，这就需要将获取的多幅图像变换到同一平台。 图像配准是对同一场景不同时间、不同视角或者不同传感器的图像( 两个或 更多) 进行覆盖的过程【。由于成像条件的不同，图像之间会存在或大或小的差别， 为了找出图像之间的联系或差别，就对图像之间的配准提出了要求。图像配准是 在灰度和几何上校正两幅图像( 参考图像和观测图像) ，它在图像分析工作中是很 重要的一个阶段。实质上，图像配准需要分析各待处理的图像上的几何畸变，然 第1 页 国防科学技术大学研究生院工学硕士学位论文 后采用一种几何变换将图像归化到统一的坐标系中。图像配准总是相对于多幅图 像来讲的，在实际工作中，通常取其中的一幅图像作为配准的基准图，称它为参 考图像，另一幅图像称为待配准图像。 尽管图像配准应用的领域非常广泛，并且各个领域之间差异较大，包括遥感、 医学、计算机视觉和虚拟现实等，但是它们之间配准的本质是一样的，都是将待 配准图像的坐标系变换到参考图像的坐标系中去，即配准的步骤和方法在总体上 相同，都是由特征选择、特征匹配、变换模型估计和图像重采样四个步骤组成。 这样就可以依据一个基本的框架来进行图像之间的配准。 s a p , 图像配准是s a r 处理技术与图像配准技术的有机结合。与传统的图像配 准方式不同，s a r 图像配准有其自身的特点。在s a r 图像配准中，最显著的特点 就是图像中存在相干斑的影响，而这也是s a r 图像中干扰的主要表现形式。现如 今，对s a r 图像配准的研究并不是很成熟，而且效果也不能够满足实际应用的需 求，这是由于s a r 图像配准的确是存在一定的难度。 s a r 图像配准是寻求s a p , 图像中像素点对应关系的过程，是s a r 图像应用 中的重要环节和一个技术难点。它直接涉及和影响到s a r 图像的多种应用。 在测绘应用方面，s a r 图像配准技术在目标快速定位、目标检测与打击效果 评估等方面都发挥着重要的作用。配准的准确程度直接关系到目标定位的可能性 和精确性。 在组合导航技术中，针对目标特性进行匹配制导方面，可以依据s a r 的高分 辨率的特点，在即将接近目标时将s a r 图像与参考图像进行高精度匹配，从而达 到精确命中的效果。图像配准的优劣直接影响导航系统引导的定位点。 在图像融合方面，配准的正确与否会影响融合时对应点是否正确。配准不准 确，那么融合后的图像就毫无意义。 本文正是基于s a r 图像的特点来研究s a r 图像的配准，有针对性地利用s a r 图像的特性，减小或消除相干斑的不良影响，达到配准的目的，为实际中的各种 应用提供技术基础。 1 2 本文的主要内容及组织结构 本文针对s a r 图像自动解译的需求，深入研究了基于结构信息的s a r 图像配 准方法。论文对图像配准的基本理论做了综述，并且对s a r 图像的主要特点进行 了进一步的阐述。同时本文对s a r 图像配准的现状做了综合分析，并针对s a p , 图 像配准面临的问题，研究了基于结构信息的图像配准方法，改进了一种基于像素 第2 页 国防科学技术大学研究生院工学硕士学位论文 迁移的图像配准算法。通过实际s a r 图像配准实验表明，该算法是有效的。 本文的主要工作包括： 1 。概述图像配准技术及s a p , 图像配准的基本理论。介绍了图像配准研究的 现状，对比了基本的配准方法。在阐述s a r 图像固有特性的基础上，对s a r 图像 配准的发展现状及面临的问题进行了分析。 2 、s a 使图像中包含丰富的地物结构信息，利用s a r 图像的结构信息，改进 了一种基于像素迁移的配准方法。该方法利用r o e w a 算子的边缘指示函数，成 功提取了s a r 图像的边缘，并利用提取的边缘简洁有效地表示了s a r 图像的主体 结构信息，使改进的基于像素迁移的配准方法适于s a r 图像的配准。 3 、基于本文所提取的结构信息都包含在梯度最大点的位置，文中构建出一种 新的相似性测度。该测度以经r o e w a 提取的梯度信息为背景，以梯度模值平方 和最大为准则，只需采用合适的寻优策略进行求解对s a r 图像配准具有良好的 适用性。 4 、为了有效解决s a r 图像配准参数寻优问题，本文将遗传算法与p o w e l i 方 法结合起来，充分利用了全局与局部寻优的优势，构造出一种参数寻优混合算法。 实验结果证明了该算法的有效性。 下面是论文各章的内容安排： 第一章是绪论，主要对本文的研究背景和意义进行了总体的概述。 第二章对图像配准做了详细的解释和说明。首先对图像配准的基本知识做了 介绍。其中包括图像配准的应用、要素等；然后进一步介绍图像配准的国内外研 究现状，其中包括研究内容和研究方法。 第三章主要阐述s a p , 图像配准。对s a p , 图像的特性做了一定的描述；然后对 s a p , 图像配准的现状、应用及面临的问题进行说明；最后介绍了s a r 图像配准流 程中的关键步骤特征匹配，包括相似性测度和最优化设计。 第四章是算法实现及实验结果。针对本文的问题，结合算法的原理，对s a r 图像配准进行实现。同时介绍了遗传算法和p o w e l l 方法，最后给出实验结果。 第五章是结束语，对本文工作进行总结归纳。 第3 页 国防科学技术大学研究生院工学硕士学位论文 第二章图像配准基本理论 2 1 引言 图像配准是图像处理的一个基础性问题，它源自于多个领域的很多实际问题。 本章主要是对图像配准的基本理论进行介绍。在第二节中，给出了图像配准的定 义，然后对图像配准的要素进行说明，最后给出配准的一般步骤。第三节概述了 图像配准的国内外研究现状。首先对图像配准研究的概况做了阐述，然后对主要 的方法进行回顾，其中包括基于灰度的方法和基于特征的方法。 2 2 图像配准基本知识 2 2 1 图像配准的定义 图像配准是一个将不同时期、不同视点或者不同传感器获得的同一地域或者 同一物体的图像叠加起来的过程，它的主要目的是消除或者减少参考图像和待配 准图像之间由于成像条件不同所引起的畸变，从而使两幅图像能够达到一致。本 文处理的都是二维图像，可以用一个二维数组表示一幅图像的信息。论文中将参 考图像和待配准图像表示为五( 一，y o 、厶( 而，儿) ，其值的大小表示两幅图像中的像 素灰度值，其中( 而，y o 、( 而，奶) 是两幅图像中的像素点坐标。所以，图像配准在 数学上就可以定义【2 】为 ( 五，m ) = g ( 厶( z ( 恐，款) ) ) ( 1 1 ) 其中g ( o ) 是一维灰度变换，r ( o ) 是二维空间位置变换。 由公式( 2 1 ) 可以看出，图像配准的目的就是对待配准图像进行灰度变换和 几何变换，最终达到与参考图像在灰度和空间位置上的一致性。但是在实际中， 灰度的变化可以通过传感器的校正实现匹配，所以通常不考虑灰度的变化，即图 像配准是消除或减少图像之间的几何畸变，达到空间几何位置上的一致。那么公 式( 2 1 ) 可以近似改写为 厶( 五，y o = 厶( 丁( 而，儿) ) ( 1 2 ) 第4 页 国防科学技术大学研究生院工学硕士学位论文 一般情况下，r ( ) 可以分解为( ) 和弓( ) ，式( 2 2 ) 可以进一步写为 ( 而，m ) = 厶( 正( 而，咒) ，乃( 而，儿) ) ( 1 3 ) 这样，寻找空间或者几何的变换关系就成为图像配准的关键。 2 2 2 图像配准的空间变换模型 由图像配准的公式可以看出，变换模型在图像配准中是一个很重要的因素， 所以要把求取变换参数作为一个重点故而首先要确定图像之间的变换关系。图 像配准的本质就是寻找两幅图像之间的变换关系。这就是说，如果找到了两幅图 像之间的变换关系，基本上就完成了图像配准的任务，达到图像配准的目的。在 实际应用中，图像之间的关系是很复杂的，变换一般也不是单一的形式，但是为 了实验研究，并考虑到误差的可允许性，通常将变换模型分为两大类【3 j ：全局变换 和局部变换。 在图像处理中，经常用到的变换形式主要有刚体变换( r i g i dt r a n s f o r m a t i o n ) - 、 仿射变换( a f t m et r a n s f o r m a t i o n ) 、投影变换( p r o j e c t i v et r a n s f o r m a t i o n ) 、透视变 换( p e r s p e c t i v et r a n s f o r m a t i o n ) 、多项式变换( p o l y n o m i a lt r a n s f o r m a t i o n ) 等。简 单刚体变换指物体或者镜头的运动不影响成像物体保持相对尺寸和形状，一般由 平移、旋转和缩放这三种变换组合而成。仿射变换是更复杂一些的图像形变，它 在复杂畸变下仍然能保持很好的数学特性。投影、透视交换需要的条件更多。图 2 1 显示了几种常见的几何变换。 目 臼- - x 囵i 四i 圃 平移 旋转 刚体仿射投影 图2 - 1 图像变换形式 ( 1 ) 刚体变换。如果第一幅图像中的亮点问的距离经过变换到第二幅图像中 后仍保持不变，那么这种变换称为刚体变换，它是平移、旋转和缩放的组合，其 数学描述为 - - $ 瞄捌卧 m 4 ， 其中，s 是比例缩放因子，秒是旋转角，和f ，是平移量。一般最少需要两对 第5 页 国防科学技术大学研究生院工学硕士学位论文 点来求解变换参数。 ( 2 ) 仿射变换是较刚体变换更一般的变换模型，其数学表达式为 盼眨乏心+ n 5 ， 仿射变换是一种常用的配准变换模型，对于在不同位置的相同视角拍摄同一 场景目标而成的两幅图像的配准问题，它能够很好地满足配准要求。仿射变换使 直线依然映射为直线，仍然保持平衡关系，其包含六个参数，至少需要三对不在 一条直线上的控制点来求解变换参数。 ( 3 ) 二维投影数学描述为 投影变换与仿射变换之间有许多相同的特性。例如，它们都可以保证任意方 向的直线变换后仍为直线。但是投影变换的九个自由度( 对应于九个系数) 可以 满足平行四边形的映射，这是具有六个自由度的仿射变换所不能做到的。 ( 4 ) 多项式变换的一般形式可表示为 西= 嘞彰 i = o 暑o nn - i 乃= t “ ( 1 7 ) 多项式变换最早应用于遥感图像的几何校正。用一般变换矩阵表示的变换都 可以用多项式变换得到。当多项式阶数升高时，所能实现的变换种类和任意性也 相应地增加，但是其运算量就急剧增大。为了保证计算速度，实际中，多项式变 换模型般均采用三次以下，一次多项式模型就是仿射变换模型。 ( 5 ) 透视变换通常用于描述三维场景到平面的映射。如果一个目标在三维场 景中坐标为( ，气) ，那么它投影到平面上的图像坐标 ，y ) 通过透视变换可描 述为 一乌 磊一厂 严乌 ( 1 8 ) 在两幅图像的配准过程中，图像的畸变形式可能不只是一种，可能同时存在 第6 页 i 一 3 眨一 略锄一锄q一吩 + 一+ + 一+ 耽一儿洗一以 l 一 3 眩一 国一呱屹一 + 一+ + 一+ 恐一恐屯一而 l 一 3 ：= 一 1 一 一钲红 国防科学技术大学研究生院工学硕士学位论文 几种变换，此时只运用一种变换模型来近似处理是不准确的，所以，在实际处理 中，选取合适的变换模型是非常重要的，也是比较困难的。 2 2 3 变换模型参数求解及重采样 确定了变换模型之后，可以根据特征对应的坐标关系来求解图像变换参数。 当获得配准参数估计后，就可以将待配准图像坐标做相应的几何变换，使之 与参考图像处于同一坐标系下。由于变换以后的坐标不一定是整数，所以变换后 的图像需要重新采样进行插值处理。到目前为止，插值方法主要有：最近邻法、 双线性法、双三次法、二次样条、立方b 样条、高次b 样条等，而且也有研究人 员提出新的方法。 虽然在精度和图像变换的视觉表现方面，双线性法不如高次方法，但是它能 在精度和计算复杂度之间找到最佳平衡，所以双线性方法仍然是最常用的方法之 一。而当对一个较大的图像进行几何变换时，则更倾向于使用三次插值。最近邻 法是比较简洁的插值方法。下面我们仅就这三种方法进行简要的介绍 ( 1 ) 最近邻法 最近邻法是一种一阶近似，其实质是将原始畸变图像中距离位置最近的像素 灰度值作为它在新的坐标系中对应点的像素灰度值。 图2 - 2 最近邻法 如上图所示，点p 变换到新的坐标系之后，其值变为q 。最近邻法求得的各 点的强度值与各真实输入像素点的强度值相应，但一个像素的位置却可能不精确， 其误差最大可达到l 2 像素。但是在确定采样像素值时，只需要一个数据值，所 以最近邻法的计算量是比较小的。 ( 2 ) 双线性法 第7 页 国防科学技术大学研究生院工学硕士学位论文 双线性法通过在输入网格中找到四个最接近输出网格中的像素点，并用线性 逼近法得到新的值。 图2 - 3 双线性法 由于线性法有使图像平滑和模糊的性质，因而双线性法会使图像分辨率有所 损失。另一方面，双线性法可明显减少最近邻法所伴有的线性特征呈块状外观的 现象。但是由于使用这种方法时，需要额外的运算，所以这种方法比最近邻法的 计算代价高。 ( 3 ) 双三次法 双三次法应用了像素点的1 6 个最近邻点，对两个方向分别进行采样，最后得 到插值。它去掉了最近邻法的数值错位的缺点，而且减少了双线性法所伴有的分 辨率下降问题，对图像细微结构的表现能力比其他方法要好很多，但是这种方法 的运算量是最高的。各种插值方法都有各自的优点和缺点，所以，在实际的应用 中，要根据实际的应用目的和计算速度等要求来选择。 2 2 4 图像配准的要素 由于图像的爆炸式增长以及待配准图像的多样性，现在还没有一种能够适用 于所有图像的图像配准方法，已有的配准方法都是针对特定领域或者是针对具体 某一类的图像。但是，无论图像差异有多大，图像配准方法都是由四个要素组成【2 】： 搜索空间、特征空间、搜索策略和相似性测度。 ( 1 ) 搜索空间 搜索空间指的是图像之间建立关系的所有可能变换的集合。两幅图像之间畸 变的类型和强度决定了搜索空间的组成和范围。根据具体应用的不同和先验知识 的多少，可以采用不同的变换空间来描述待配准图像与参考图像的映射关系。搜 第8 页 国防科学技术大学研究生院工学硕士学位论文 索空间的取值范围，由两幅图像之间畸变的强度决定。目前应用较多的是仿射变 换模型和多项式变换模型文献【4 给出了一种针对透视变换的图像配准方法。 ( 2 ) 特征空阊 在设定了配准的搜索空间后，必须确定某种图像特征作为相似性测度的基础。 提取的特征可以是图像的灰度特征，也可以是图像的空间几何特征，如点特征、 边缘、直线、区域等。具体选择哪种特征，则要根据具体的图像以及其应用来决 定。 ( 3 ) 搜索策略 若没有任何先验知识，搜索空间在理论上是无穷大的，所以。设计高效的搜 索策略是实现高性能配准算法的关键之一。已有的搜索策略包括：穷举法，松弛 匹配，动态规划，广义的h o u g h 变换，线性规划，逐层求精技术，树图匹配等。 ( 4 ) 相似性测度 相似性测度是评价待配准图像和参考图像之间相似程度的一个重要指标，这 个步骤与特征空间是紧密相连的，从某种意义上说，相似性测度的选择取决于特 征空间。文献 2 】介绍了一些相似性测量的技术，包括一般相关函数、统计相关、 匹配滤波器、相位相关、绝对差和、平方根以及掩膜相关等，文献 1 】也进行了总 仕 ；口。 在图像配准的四个要素中，特征空间和相似性测度是尤为重要的。选取的特 征一定要能充分代表整幅图像信息，而非只能够阐明图像局部内容；相似性测度 的选取，不只是关系到配准性能的好坏，而且直接决定配准的运算量大小。 2 2 5 图像配准的一般步骤 在上一节中，我们已经对配准的要素进行了阐述，下图表述了图像配准的一 般步骤。 取酬确定相吲选鬻和吲确黧数 图2 _ 4 图像配准的一般步骤 第一步是特征空间的选择，也即特征提取。特征空间可以是图像上灰度变换 剧烈的地方，如图像中的闭合曲线，角点，图像闭合区域的重心等。这些特征在 图像中出现频繁且易于提取。并且有一定的区分度。特征提取的方法应该有好的 定位精度，并且对图像退化是不敏感的。在理想情况下，即使图像细节受图像退 第9 页 国防科学技术大学研究生院工学硕士学位论文 化影响，同一场景的各个投影也应该可以提取出相同的特征。 第二步是构造相似性测度准则。此步骤与特征空间密切相关，因为它度量的 是特征之间的相似性。图像中的本质结构，可以通过特征空间和相似性测度的合 理选择而在图像处理的过程中保持不变性，成为配准的依据。典型的相似性测度 有互相关方法、绝对差方法、傅立叶方法( 如相位相关) 等。最终相似性测度的 选择是依据具体的配准应用而决定的。这一步在图像配准中是最重要的步骤之一， 它决定图像中哪些因素参与配准，哪些不参与，因此可以消除或减弱图像畸变对 配准的影响，所以它将决定如何确定图像配准中的变换模型。 第三步是确定搜索空间和搜索策略。 2 3 图像配准的国内外研究现状 2 3 1 图像配准研究的概况 有学者曾经对图像配准技术的研究发展做过调查【5 】，图像配准研究开始于2 0 世纪6 0 年代，但是直到2 0 世纪8 0 年代才引起各国学者的关注，进入9 0 年代后 图像配准技术的研究才逐渐增加。我国是从2 0 世纪9 0 年代初开始图像配准领域 的研究【6 1 。 在过去几十年中，图像获取设备经历了快速发展，而且数量是越来越多，通 过各种形式获取的图像都应用到图像自动配准研究中。1 9 9 2 年，b r o w n 2 1 发表了一 篇图像配准的综述文章，对图像配准方法进行了详尽的阐述；2 0 0 3 年，z i t o v a 和 f l u s s e r 1 】对1 9 9 2 年以后图像配准的发展状况进行概述总结，并指出，在这期间， i s i 数据库有超过1 0 0 0 篇的文章都是关于图像配准的。可见，图像配准在图像处 理领域的重要性日益凸显。而在2 0 0 3 年到现在，作者通过查询各数据库，了解到 s c i i s t p 数据库中关于图像配准的论文供有1 7 5 1 篇( 根据论文题目检索得到) ， 其中，不同年度发表论文情况和不同国家发表的论文情况如下图所示： 第1 0 页 国防科学技术大学研究生院工学硕士学位论文 6 0 0 5 0 0 4 0 0 3 0 0 2 0 0 1 0 0 美中德加英 日法 a 、年度分布图b 、国家分布图 图2 52 0 0 3 2 0 0 9 年s c i i s t p 检索的图像配准论文年度和国家分布图 庸图中年度分布图数据可以看出，图像配准在图像研究中是逐渐受到重视的， 而且所取得的成果也是呈逐年上涨的趋势。从各国所取得的成果来看，美国在该 领域遥遥领先，我国近年来在该领域的研究也取得了一定的成果。 2 3 2 图像配准主要方法回顾 图像配准方法大致可以分为两大类：基于图像灰度的配准方法和基于图像特 征的配准方法。 基于图像灰度的配准方法充分利用图像所包含的灰度信息，直接利用图像灰 度值确定待配准图像与参考图像之间的变换关系。这类方法对辐射特性比较敏感， 不太适合辐射失真较大的情况，更不适合不同传感器获得的图像之间的配准。 基于特征的配准方法与基于灰度的配准方法相比，只是配准的四要素具体内 容是不同的。应用于图像配准的图像特征一般为点特征、线特征和面特征。这类 方法克服了基于灰度方法的缺点，已经成为目前图像配准研究的主要发展方向。 但是由于特征提取的结果与图像的内容和质量密切相关，目前绝大多数算法只能 在作者选用的图像上获得比较好的结果。 2 3 2 1 基于灰度的方法 基于灰度的图像配准方法实现简单，不需要对待配准图像和参考图像进行复 杂的预处理，是图像配准技术早期研究的一类主要方法，现在依然是很重要的一 类配准方法。 ( 1 ) 互相关( c r o s s - c o r r e t a t i o n ) 方法 第1 1 页 国防科学技术大学研究生院工学硕士学位论文 互相关方法 7 】是一种最基本的统计匹配方法，由r o s e n f e l d 于1 9 8 2 年提出。它 要求待配准图像和参考图像具有相似的尺度和灰度信息，其广泛应用于模式识别 和模板匹配等领域。对于一幅图像门阳一个尺寸小于j 的模板z ，二维归一化的互 相关函数为 t ( x ，y ) i ( x - i ，y - j ) 似舻蘼零而 0 9 、f 了 y 互相关方法也有一些其他的改进形式。b e r t h i l s s o o n 8 】采用改进的互相关方法配 准了两幅具有仿射变换的图像。 ( 2 ) 相关系数法 相关系数法【1 伽是一种与互相关方法类似的度量方法，其计算公式为 仃 ，y ) 一所) ( m f ，y - j ) - z ；) 鼢以l 力2 霭丽xy 而雨覆霈丽 o j y jyxy 其中所是模板丁的均值，所是图像，中与模板z 同样大小的子图像的灰度均 值。s k a n e k o 9 1 等利用扩展的相关系数法解决了存在部分遮挡的两幅图像之间的配 准问题。 ( 3 ) 傅立叶方法 如果需要提高计算速度，或者是图像受到频域噪声的影响，那么傅立叶方法 要比相关方法性能好。傅立叶变换的很多性质如平移、旋转、缩放等可用于图像 配准，加上傅立叶变换有成熟的快速算法和易于硬件实现等特点，这就使其成为 变换域图像配准的最主要方法。 相位相关技术是最早提出的用于配准平移失配的两幅图像的傅立叶变换方 法。它计算待配准图像和参考图像的互功率谱并且寻找其反变换尖峰的位置，这 样就可以找到图像的平移量。 墨笔噤：e 2 x l ( 训 ( 1 1 1 ) 一= i1 il - lf u ) f ( g ) l 、7 d ec a s t r o 和m o m d i 【l l 】介绍了用于附加旋转变换的相位相关的扩展。遥感图像 和医学图像的应用在文献 1 2 1 中也进行了相应的阐述。 变换域方法在计算复杂度和对噪声的敏感性方面有一定的优势，但是这一方 法受限于傅立叶变换的不变性质，只适用于发生平移、旋转和缩放的两幅图像之 间的配准，对于变换形式复杂的图像配准问题就不能有效解决。 第1 2 页 国防科学技术大学研究生院工学硕士学位论文 ( 4 ) 互信息方法 根据信息理论，互信息方法是两个数据集之间的统计依赖的测度，在统计、 通信理论和复变分析等领域有着广泛的应用。v i o l a 和w e l l s 在文献【1 3 】中首次将互 信息方法应用到图像配准领域。下面给出两个随机变量x 和】，的互信息。 m i ( x ，d = h ( y ) 一日( y ix ) = h ( x ) + h ( i o 日( x ，y )( 1 1 2 ) 其中 ( x ) = 墨ro o g ( 尸( x ) ) )( 1 1 3 ) h ( x ，功= 一乓y ( 1 0 9 ( p ( x ，d ) ) ( 1 1 4 ) h ( r ix ) = 一日诺0 0 9 ( j ( rlx ) ”( 1 1 5 ) h ( x ) 代表随机变量x 的熵，p 是x 的分布函数此方法是以互信息的最 大化为基础的，通过寻优方法来寻找互信息最大时的图像变换参数。 对于待配准图像厶和参考图像，基于互信息的配准方法，就是要找到一个几 何变换z 使得和t ( 1 2 ) 之间的互信息施( 五，t ( 1 0 ) 达到最大。 在图像配准领域，互信息方法的运用非常多，有很多文章都涉及到这一方法， 尤其是在医学图像处理方面，其应用更是日趋成熟。目前为止，针对互信息的改 进方法也是层出不穷，而且也有一些研究人员将互信息方法与其他方法结合使用。 文献【1 5 】比较研究了基于互信息的配准方法与其他五种配准方法的性能。基于互信 息的配准方法不只是基于图像灰度信息，吴亚娟等f 1 4 】运用频域信息的互信息方法 对图像进行配准。 基于灰度的方法考虑的是像素邻域的灰度特性变化，是利用图像的统计特性， 而不是利用像素本身的信息，所以此方法计算量必然是很大的；而且基于灰度的 方法对灰度特性敏感，这样就会导致基于灰度的方法的应用范围必然受到限制。 2 3 2 2 基于特征的方法 基于特征的方法是图像配准中的另一类方法，它不是直接对图像的灰度信息 进行操作，而是首先从参考图像和待配准图像中提取一些共同特征构成特征空间， 然后通过建立特征之间的对应关系求解变换模型参数，从而完成图像之间的配准。 与基于灰度的配准方法相比，基于特征的配准方法有其自身的优点。一是计算量 小：基于灰度的配准方法是利用全图像信息，而基于特征的配准方法只是通过两 第1 3 页 国防科学技术大学研究生院工学硕士学位论文 幅图像中少量的同名特征求解变换模型参数，这样就大大降低了计算量。二是稳 健性高：基于特征的方法在特征空间上进行匹配，受两幅图像中灰度和噪声干扰 影响小，所以性能相对稳定。三是适应性广：特征点的提取过程可以减少噪声的 影响，对灰度变化、图像形变以及遮挡等都有较好的适应能力。基于特征的图像 配准方法在图像配准领域已经得到了广泛应用，而且现在已经成为图像配准领域 研究的热点。 总体而言，常用的图像特征有：轮廓、边缘、区域特征结构和特征点等。 ( 1 ) 基于轮廓的方法 基于闭合轮廓的方法是比较有效的图像配准方法，它可以解决图像间的平移、 旋转、尺度缩放等变换，适用于多传感器配准。然而，实际情况中往往无法得到 足够多的闭合轮廓，或者区域之间的重叠比较严重，这些都限制了基于闭合轮廓 的图像配准方法的应用范围。相对于闭合轮廓，普通边缘即非闭合轮廓是图像中 更普遍存在的特征，所以，相对于基于闭合轮廓的图像配准方法来说，基于非闭 合轮廓的图像配准方法更有实用意义。 ( 2 ) 基于边缘特征的配准方法 边缘特征代表了图像中的部分结构信息，能较好地剔除灰度畸变的影响，而 且边缘检测计算快捷。文献 1 6 】中首先进行边界提取，去除伪边界，然后应用区域 相关进行配准。文献【1 7 】将提取的边界点作为特征点，以h a u s d o r f f 距离作为特征 的匹配相似度，对几何畸变采用优化算法进行搜索，具有较好的鲁棒性。但是边 缘特征在提取过程中容易出现断裂、提取不完整等现象，不利于后续的图像匹配 处理。 ( 3 ) 基于区域特征结构的配准方法 若能较好地进行区域分割，则可以采用基于区域特征结构的匹配算法。矩不 变量就是一种常用的区域统计特征，它对图像旋转、平移、缩放等具有不变性， 采用欧式距离作为相似性度量，使两幅图像的矩不变量的相似性达到最大。 g o s h t a s b y l l 8 】提出用具有闭合边界的区域的重心作为控制点来配准图像。刘苏钱【1 9 】 采用扩展质心作为控制点进行s a r 图像配准。利用区域特征进行匹配的算法的缺 点是区域提取的一致性不是很容易实现。 ( 4 ) 基于特征点的配准方法 文中的特征点是指图像灰度在各坐标轴方向都有很大变化的一类局部特征 点。它包含边缘点、角点、线交叉点、高曲率点、轮廓中心等。点特征可以是人 工选取的也可以是利用算法自动提取的。由于人工选取需要一定的认知背景知识， 而且还需要特殊的训练，精度方面也容易受到人为因素的影响，这些缺点都阻碍 了人工图像配准的进一步发展，所以逐步被自动方法取代。常用的点特征自动提 第1 4 页 国防科学技术大学研究生院工学硕士学位论文 取方法有兴趣算子法、角点检测法和小波变换提取法等。定位精度、重复率和信 息含量等是衡量特征点检测方法的标准。 从以上对各类图像配准方法的总结可以看出，图像配准的方法多是针对某类 具体图像类型提出的，是根据具体问题进行分析的。至今还没有一种图像配准方 法能适用于所有的图像配准问题。因此，图像配准问题研究的目标就是，针对具 体的图像类型，尽可能地提高图像配准方法的自动化程度、配准精度、实时性和 鲁棒性等 2 4 本章小结 本章介绍了图像配准的有关理论和方法。首先描述了图像配准的基本知识， 包括定义、配准要素以及配准的步骤，然后对图像配准的国内外研究现状进行了 概述。通过这一章的阐述，我们知道，不同的图像配准方法与配准的任务是相关 联的，而且尚不存在一种通用的图像配准方法。 第1 5 页 国防科学技术大学研究生院工学硕士学