（信息与通信工程专业论文）基于隐含相似性的光学和sar图像配准研究.pdf

国防科学技术大学研究生院硕士学位论文 摘要 图像配准是建立一幅图像区域与另一幅图像区域之间空间地理位置对应关系 的一门重要的图像处理与分析技术。图像配准技术广泛应用于计算机视觉、模式 识别、医学图像分析、遥感图像处理等诸多领域中。 在遥感图像应用中，多传感器图像的配准已经变得越来越重要，光学图像与 s a r 图像的配准研究就是其中一大热点问题。由于光学图像与s a p , 图像的成像 机理不一样，图像表象差别较大，因此，如何在同一个框架中处理这种不同类型 数据以及成像机理差异造成的各种畸变，成为光学图像与s a r 图像配准的难点和 关键问题。 由于s a r 本身的成像机理，一者精确提取特征十分困难，二者也很难设计出 一种能同时针对不同噪声强度、不同分辨率以及含有不同场景结构的s a p , 图像都 适用的特征提取算法，这将导致出现一种配准算法只适用于一类s a p , 图像的情况。 因此，常用的基于特征的方法在s a r 图像配准应用中具有很大的局限性。 本文在分析与总结已有的异质图像配准技术特点的基础上，提出了一种基于 隐含相似性的光学和s a r 图像配准方法。论文主要工作包括： 1 分析并总结了图像配准技术的基础理论以及光学和s a r 图像配准的特点。 首先，介绍了图像配准问题的数学描述和本质；其次，给出了配准算法的四个构 成因素并对常用配准算法进行了总结；最后，通过对s a r 图像成像特点的研究以 及与光学图像目标特性的比较，总结出二者之间配准的特点。 2 提出了一种基于隐含相似性的配准方法。将光学和s a r 图像在经过简单预 处理后，构建出二者相似性度量准则函数，先在图像结构较易提取的光学图像中 获得特征点集，然后按参数变换模型迁移到s a r 图像中对准则函数优化求解，最 佳变换参数即为最终的配准解。将配准问题转换为参数寻优的数学问题，并分析 了牛顿法在优化求解准则函数过程中的局限性及原因。 3 介绍了遗传算法的基础理论，阐述遗传算法的模型及构成因素，对其特点 进行了分析。最后，结合本文配准优化问题，提出了一种基于混合遗传算法的准 则函数优化方法。实验结果说明了该方法可行有效，并具有较好的适用性。 主题词：s a r 图像；光学图像；图像配准；隐含相似性；遗传算法 第i 页 国防科学技术大学研究生院硕士学位论文 a bs t r a c t i m a g er e g i s t r a t i o ni s a l li m p o r t a n tt e c h n i q u ei ni m a g ea n a l y s i sa n di m a g e p r o c e s s i n gt oe s t a b l i s ht h eg e o m e t r i cc o r r e s p o n d e n c eb e t w e e nt w oi m a g e s i th a sb e e n w i d e l yu s e di nc o m p u t e rv i s i o n ，p a t t e r nr e c o g n i t i o n ，m e d i c a li m a g ea n a l y s i s ，a n d r e m o t e s e n s i n gi m a g ep r o c e s s i n ge t c m u l t i s e n s o ri m a g er e g i s t r a t i o ni sb e c o m i n gm o r ea n dm o r ei m p o r t a n ti nr e m o t e s e n s i n ga p p l i c a t i o n s ，a m o n gw h i c ht h er e g i s t r a t i o nb e t w e e ns a ri m a g ea n do p t i c a l i m a g eh a sb e e no n eh o n y s t u d i e di s s u e d u et ot h eo b v i o u sd i f f e r e n c e sb e t w e e nt h e s e t w oi m a g i n gp r i n c i p l e sa n dd i s p a r a t eg a i nc o n d i t i o n sw h i c hm a k ei m a g ep r e s e n t a t i o n d i s s i m i l i t u d e ，t h ec r u c i a lc h a l l e n g ei sh o wt oi n c o r p o r a t ed i f f e r e n tt y p e so f d a t aa n dt o c o p e 、杭也v a r i o u sa b e r r a n c e si na ni d e n t i c a lf r a m e w o r k o w i n gt os a r si n h e r e n tc h a r a c t e r i s t i c ，i t sd i 伍c u l tn o to n l yt oe x t r a c tf e a t u r e s f r o mas a ri m a g e ，b u ta l s ot od e s i g nag e n e r i cf e a t u r ee x t r a c t i o np r o c e d u r eu n d e r v a r i o u si m a g i n gc o n d i t i o n s ，s u c ha su n e q u a b l en o i s e ，d i f f e r e n tr e s o l u t i o no rd i f f e r e n t s c e n e 。w h i c hl e a d st ot h er e g i s t r a t i o nm e t h o d sa r ec a s ed e p e n d e n t f o rt h es a m er e a s o n ， t h er e g i s t r a t i o nm e t h o do fs a r i m a g e sb a s e do nf e a t u r e si sa l s ol i m i t e d i nt h i st h e s i s ，f o c u s i n go nt h er e g i s t r a t i o nt e c h n i q u e sb e t w e e ns a ri m a g ea n d o p t i c a li m a g e ，w ep r e s e n t an o v a lh e t e r o g e n o u si m a g er e g i s t r a t i o na l g o r i t h mb a s e do n a l li m p l i c i ts i m i l a r i t y n em a i nw o r k sa r ea sf o l l o w s 1 t h ef u n d a m e n t a lp r i n c i p l e so fi m a g er e g i s t r a t i o np r o b l e ma r eo v e r v i e w e d ，a n d t h ec h a r a c t e ro fr e g i s t r a t i o nf o rs a ra n do p t i c a li m a g e si ss u m m a r i z e d f i r s t l y , t h e m a t h e m a t i c sd e s c r i p t i o na n dh y p o t h e s i so fi m a g er e g i s t r a t i o np r o b l e ma r ed i s c u s s e di n d e t a i l s s e c o n d l y , f o u re s s e n t i a l f a c t o r so fr e g i s t r a t i o na l g o r i t h ma r el i s t e da n d f u n d a m e n t a lm e t h o d so fi m a g er e g i s t r a t i o na r es u m m a r i z e d 1 1 1 e i l ，t h ec h a r a c t e ro f r e g i s t r a t i o nf o rs a ra n do p t i c a li m a g e si s s u m m e du pw i t ht h e 如旺d yo ft h e i ro b j e c t c h a r a c t e r i s t i cd i s c r e p a n c yi ni m a g i n g 2 an o v a lr e g i s t r a t i o na l g o r i t h mb a s e do na ni m p l i c i ts i m i l a r i t yi sp r o p o s e d t h e s i m i l a r i t yc r i t e r i o nf u n c t i o nb e t w e e ns a ra n do p t i c a li m a g e si sf i r s tc o n s t r u c t e da f t e r s i m p l yp r e p r o c e s s i n g ap o i n ts e te x t r a c t e df r o mo p t i c a li m a g ew i t hg o o ds t r u c t u r ei s c o n s i d e r e da si m m i g r a t i o ns e t t h e nt h es e ti ss e t t l e di nt h es a ri m a g et og e tt h e o p t i m u mp a r a m e t e ro f t h ec r i t e r i o nf u n c t i o nw i t ho p t i m i z a t i o na l g o r i t h m ，w h i c hi su s e d t ob et h er e g i s t r a t i o nr e s u l t i ni m p l e m e n t a t i o n ，w ea d o p tn e w t o n - r a p h s o ni t e r a t i v et o o b t a i no p t i m u ms o l u t i o na sr e g i s t r a t i o nr e s u l t e x p e r i m e n t sa r ec a r r i e do u t f o r e v a l u a t i o n 3 t o g e t h e rw i t ht h em a t h e m a t i c sm o d e la n di t sc o m p o n e n t s ，g e n e t i ca l g o r i t h m i s b r i e f l yi n t r o d u c e d w 色t h e np r o p o s eah y b r i d g at oo p t i m i z et h ec r i t e r i o nf u n c t i o n b a s e do nt h er e g i s t r a t i o na l g o r i t h m e x p e r i m e n t a lr e s u l t ss h o wt h a to u rp r o p o s e d 第页 国防科学技术大学研究生院硕士学位论文 a l g o r i t h ma c h i e v e sp i x e l l e v e lr e g i s t r a t i o na c c u r a c ya n dh a sa d a p t a b i l i t yi na p p l i c a t i o n s k e yw o r d s - s a ri m a g e ，o p t i c a li m a g e ，i m a g er e g i s t r a t i o n ，i m p l i c i ts i m i l a r i t y , g e n e t i ca l g o r i t h m 第j i 页 国防科学技术大学研究生院硕士学位论文 表 目录 表2 1 变换模型特性6 表2 2 基于区域配准方法比较1 5 表4 1 各基因编码范围及分辨率4 2 表4 2 两幅图同名控制点参考坐标4 4 表4 3 实验二编码范围及参数分辨率4 4 第l l l 页 国防科学技术大学研究生院硕士学位论文 图目录 图2 1 基于特征的配准流程1 5 图3 1 高幅值梯度图与边缘的关系2 2 图3 2 像素迁移过程2 2 图3 3 图像结构在梯度幅值图中的表示2 3 图3 4 点集匹配过程示意2 3 图3 5 光学和s a r 图像配准流程2 4 图3 6 与互信息法类似的配准过程2 5 图3 7s a r 图像斜地转换示意图2 6 图3 8 实验一牛顿法迭代配准3 0 图3 9 实验二牛顿法迭代配准31 图3 1 0s s g 随某个参数变化3 2 图4 1 标准遗传算法流程。3 4 图4 2 轮盘选择法3 8 图4 3 混合遗传算法流程4 1 图4 4 实验一原始图4 2 图4 5 实验一遗传算法配准结果4 3 图4 6 精度测试控制点的选取4 3 图4 7 实验二配准结果4 5 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的 研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 耋! 量墨日期：z 。孵年f 1 月l 望日 学位论文版权使用授权书 本入完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档，允许论文被查阅和借阕；可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文题目： 基王隐金担塑! 睦笪迸堂塑曼垦图逸醒丝盈窒 学位论文作者签名： 学位论文导师签名： 日期：扫略年i1 月峰日 日期：口占年，月i - - 日 裟 国防科学技术大学研究生院硕士学位论文 第一章绪论 1 1 研究背景与意义 随着s a p , 、光学、红外、激光等不同传感器系统不断涌现并应用，多样化空 间平台组成的对地立体观测网络已成为获取多源遥感数据的有效途径，对同一地 区多种图像数据( 多时相、多传感器、多平台、多分辨率) 的获取也变得越来越容易。 遥感技术的发展为人们提供了丰富的多源遥感数据，这些来自不同传感器的数据 具有不同的时间、空间和光谱分辨率以及不同的极化方式，单一传感器获取的图 像信息量有限，往往难以满足应用需要，通过对多个传感器得到的图像进行融合 可以从中获得更多的有用信息，补充单一传感器的不足。在多源传感器系统中， 由于信息表现形式的多样性、信息数量的巨大性、相互之间关系的复杂性及要求 信息处理的及时性，需要将这些数据在计算机中自动处理完成。多源图像融合技 术应运而生并迅速发展起来，在军事指挥、控制、通信与情报及各种武器平台上 得到了广泛的应用，而且又很快推广到自动控制、航空交通管制及医疗诊断等民 用领域。 多源遥感图像融合目前广泛应用在军事领域中，其内容主要是处理包括检测、 关联、相关、估计以及组合多源图像的多个层次、多个方面，以便获得准确的状 态和身份估计，完整而及时的战场态势和威胁估计。这一定义强调融合的核心是 指对来自多个传感器的数据进行多级别、多方面、多层次的处理，从而产生新的 有意义的信息，而这种新信息是任何一种单一传感器所无法获得的。多源图像融 合在目标检测上具有以下优点：( 1 ) 能增强系统的抗干扰能力。( 2 ) 增加系统的可信 度。( 3 ) 减少信息的模糊性，降低目标的不确定性。( 4 ) 提高系统的空间分辨率i l 】。 作为多源遥感图像融合处理中的一项关键支撑技术，图像配准技术的重要性 不言而喻。由于不同传感器的成像机理不同，以及图像获取的时间、角度、环境 的不同，使得待融合的图像需要先进行图像配准。除了在多传感器图像融合领域 中的应用，图像配准在遥感图像镶嵌、医学图像分析、目标变化检测、目标识别 等应用中也是必不可少的步骤。图像配准是上述各类问题中提高精度和有效性的 关键步骤，是必需完成的前期工作。比如对于目标变化检测问题，如果不进行较 高精度的配准，则在整个场景中多传感器、多时相图像之间的位置交错将使图像 发生变化，而并非是目标本身发生了相对于背景的变化，这将导致错误的目标变 化检测，因此必须在变化检测前对图像作高精度的配准。图像配准在众多场合下 不可或缺的作用也使得它在遥感、军事、医学、计算机视觉等领域得到了广泛的 发展和应用。 第1 页 国防科学技术大学研究生院硕士学位论文 s a r 图像与光学遥感图像的融合是多源遥感图像融合中非常重要的一部分。 二者之间有着很大互补性，例如s a r 图像对目标的粗糙度、多次反射等以及材质 属性( 例如塑胶草地、天然草地) 极其敏感，而光学图像对目标的反射率、颜色等更 为敏感，对目标的材质属性则较难感知。此外，光学图像依赖于光源，s a r 图像 则具有全天候特性。这些互补的特性，使得我们可以通过图像融合，获得对地物 及目标更为客观和更为本质的认识，为特征提取、分类、目标识别以及最终的理 解和解译提供更为有效的信息。实现两种图像的信息集成，可以在连续对地观测 意义下，富集两种图像关于地物的互补信息。但是，正是由于s a r 图像的这种信 息表达方式与光学图像有着很大的差异，并受到相干斑噪声及阴影、透视收缩、 迎坡缩短、顶底倒置等几何特征的影响，使得s a r 图像的自动处理比光学图像困 难得多。s a r 图像与光学图像这种完全不同的成像机理也增大了图像特征提取及 配准的难度，配准技术成为二者信息有效集成的“瓶颈”。这也使得这一类图像的 配准成为目前的研究热点和难点。 1 2 异质图像配准研究现状 图像配准最早于七十年代美国从事的飞行器辅助导航系统、武器投射系统的 制导和寻的等应用研究中提出，并得到军方的大力支持和赞助。经过二十年来的 研究，图像配准技术最终成功用于潘兴式中程导弹及战斧式巡航导弹上，使其 弹着点平均圆半径误差不超过十几米，大大提高了导弹的命中率。八十年代后， 图像配准技术逐步从单一的军事应用扩展到计算机视觉、医学图像处理、光学和 雷达图像目标跟踪、资源分析和气象预报等领域的应用。各个领域的图像配准技 术都是针对各自具体的应用背景，并结合实际情况度身定制的特定技术。但是不 同领域的配准技术之间在理论方法上又具有很大的相似性，在某一领域的配准技 术很容易移植到其他相关领域。 对于异质图像的配准技术研究，主要应用在医学多源图像以及遥感多源图像 处理中。下面对当前主要多源图像配准技术国内外研究情况进行一下总结。 l i l 2 等人给出了基于轮廓特征的多传感器遥感图像配准方法，首先在光学遥感 图像中分别提取满足一定长度条件的轮廓，利用主动轮廓模型方法使能量函数最 优得到s a r 图像边缘，并区分为封闭轮廓( c l o s e db o u n d a r y ) 和开放轮廓( o p e n c o n t o u r ) ，以此作为两图像的待匹配基元，以差分链码和不变矩描述封闭轮廓，然 后根据提取的各个闭合轮廓的重心生成同名特征点，进而得到配准控制点( g c v ) 来 配准。由于受到遥感图像分辨率的限制，图像边缘获取本身就很困难。 s t o c k m a n 【3 】等人采用聚类技术估计变换模型的参数。作者分别采用直线、曲线、 圆和交叉点等特征检测算子提取点特征，并以特征向量表示，最终将这些向量作 第2 页 国防科学技术大学研究生院硕士学位论文 为匹配基元。对于参考图像的每一基元，分别与测量图像的基元进行比较，并确 定出匹配基元所对应的旋转、缩放、平移等变换值。将上述过程应用于参考图像 和测量图像元素的所有可能组合，生成一个r s t ( r o t a t i o ns c a l et r a n s l a t i o n ) 空间，通 过识别r s t 参数空间的聚类中心，确定最终图像配准的相似变换模型参数。 g o s h t a s b y 【4 】等人通过分割的方法，分别从参考图像和测量图像中提取子块， 以子块为匹配基元，采用聚类方法识别出匹配子块，基于对应封闭区域形心，实 现图像的初始匹配；以初始匹配的子块边界为初始条件，进一步优化匹配的区域， 使对应的区域更相似，最终得到关于匹配区域几何中心更准确的位置，从而实现 相似变换模型的估计和配准图像。已经证明，闭合区域的控制点具有旋转、平移、 尺度、变形不变的特点，所以可以作为r c p 利用区域的特征匹配可以得到图像 间封闭区域的对应关系，可以实现自动配准该方法的优点是适用于不同性质图 像之间的配准；缺点是由于闭合区域在图像上的分布是随机的，只有图像中具有 封闭区域才可找到r c p 。 f l u s s e r t 5 】和s u k 假定参与配准的图像问仅存在仿射几何变换。他们采用基于边 缘检测的分割技术提取图像的子块特征，确定各子块的轮廓，阈值化筛选满足条 件的子块，用仿射不变矩来匹配图像中对应的子块，最终确定仿射变换模型，实 现图像配准。 y o s ik e l l e r 6 7 】提出一种隐含相似性的配准方法，矫正梯度极值区域来配准图 像，这一矫正过程可以简单描述为：使用牛顿迭代法来求解像素梯度模平方和的 最优变化参量问题。这种算法的前提是必须经过粗配准得到迭代初始参量。 z h e n g 羽，v e 纳1 r a 【9 1 、g r e e n f e l d 1 0 】等人使用角、脊等特征，并以这些特征为依 据，寻找配准参数，使它们相似度最大。 v i o l a 1 1 】和c o l l i g n o s t l 2 】分别独立提出用互信息( m i ) 法实现多源传感器图像的配 准，此后，互信息相似测度法在医学图像以及遥感图像配准中的研究取得了飞速 的进展。 m a e s 1 3 】等人提出熵相关系数( e i l 加p yc o r r e l a t i o nc o e f f i c i e n t ，e c c ) ，以解决重 叠区域小而导致的误配准问题，s t u d l l o l i l l e 【1 4 】等人提出了归一化互信息，对于两幅 图像重叠区域较小的情况，使用归一化互信息( n m d i 贝! j 度的配准效果优于互信息 ( m i ) 。 以上研究大多采用基于特征或基于区域的配准方法，基于特征方法优点在于： ( 1 ) 有效地消除由于背景或局部环境、光照等造成的局部辐射失真引起的误配准； ( 2 ) 对图像的各种非本质变化( 如旋转、缩放和光照强度变化等) 不敏感，对含有一定 噪声和轻微扭曲的图像可以进行配准；( 3 ) 利用特征点配准时，配准的速度较快。 但是它也存在一定的缺点，其中最主要的原因在于特征提取算法通常很复杂，且 第3 页 国防科学技术大学研究生院硕士学位论文 对不同类型图像具有很大的针对性。基于区域的方法一般采用互信息作为测度， 虽然能针对不同类型的图像，但其计算量巨大，且对噪声敏感，主要针对变换范 围较小的图像进行。因此，并不存在一种方法能够解决所有的图像配准问题，每 种算法都有自己的适用范围，在解决不同类型问题中也各有优缺点。 1 4 本文的工作内容和结构安排 本文将主要针对异质图像中的光学和s a p , 图像配准技术进行研究。文中对图 像配准的基本概念、内容、意义、常用配准算法、图像配准的应用领域做了综述； 对光学和s a p , 图像主要特点以及成像差异进行了描述；重点研究了基于隐含相似 性的图像配准方法。通过一系列图像的配准和融合实验，证明了本文算法的有效 性和适用性。本文的主要工作： 1 研究并总结异质图像配准理论和方法，并重点对光学与s a p , 图像配准特点 进行了分析。 2 研究了s a p , 图像的成像特点以及差异，并分析了其在与光学图像配准过程 中的一些处理方法。 3 实验并分析了基于牛顿迭代优化的配准算法。 4 研究了遗传算法的机理、特点以及应用技术。 5 结合基于隐含相似性的配准思想，设计基于混合遗传算法优化相似性度量 方法的匹配算法。 全文共分为五章，第二章至第五章的内容安排如下： 第二章主要叙述了图像配准的基本概念，图像配准的数学模型，图像重采样 理论，对图像配准算法设计的四大要素进行了探讨，对常见配准方法进行了分类 和总结，并对光学和s a r 图像特点及差异进行了研究。 第三章主要研究了基于隐含相似性的配准方法。讨论了隐含相似性基本思想 及准则函数构建过程，并将配准问题数学模型化，最后实验并分析了牛顿法优化 结果。 第四章研究了遗传算法的基本过程、特点以及局限性，并针对本文问题，提 出了一种基于混合遗传算法( 与牛顿法结合) 的配准优化算法。最后给出实验结果。 第五章是结束语，总结了本文方法的特点以及不足之处，并对尚需研究的工 作进行了归纳。 第4 页 国防科学技术大学研究生院硕士学位论文 第二章异质( 光学和s a r ) 图像配准方法及特点 2 1 图像配准基本理论 2 1 1 图像配准的定义 图像配准( i m a g er e g i s t r a t i o n ) 是对不同时刻，不同的视角或不同的传感器拍摄 的同一景物的重叠图像的处理过程【1 5 1 。可以说是几何上连接( a l i g n ) 两个图像( 参考 图像和待配准图像) 。图像之间的差异是由于成像条件的不同造成的。图像配准又 可以定义为两幅图像在空间和灰度上的映射。如果用给定尺寸的2 维矩阵五和厶代 表两幅图像，i i ( x ，y ) 和厶( x ，y ) 分别表示相应位置( x ，y ) 的灰度值，则图像间的映射 可表示为：厶( x ，y ) = g ( i i ( f ( x ，y ) ) ) 。式中厂表示2 维空间坐标变换，即 ( x t , y ) = f ( x ，y ) ，g 表示1 维灰度或辐射变换。 配准的目的就是要找出最佳的空间和几何变换参数。通常意义的配准只关心 图像位置坐标的变换，灰度或辐射变换则可以归为图像预处理部分。因此，通常 对于同质图像灰度变换g 可以不需要，对于灰度特性不同的异源图像( 如光学到雷 达) 等应用中可能要用到。寻找空间或几何的变换是解决配准问题的关键，这一变 换一般可参数化为两个单值函数z 和：1 2 ( x ，y ) = 五( 正( x ，y ) ，( x ，y ) ) 。 一般而言，可对待配准图像的空间畸变建模，故其坐标间的对应关系可通过 未知参数的空间变换模型拟合得到。可以认为，图像配准的实质就是选择最好的 图像问坐标空间变换。图像配准的过程也就是“确定空间变换模型求解变换 模型参数 的过程。 2 1 2 图像变换模型 图像配准需要建立合适的数学变换模型，变换空间的选取与图像的变形特性 有关，图像的几何变换可分为全局、局部两类，全局变换对整幅图像都有效，通 常涉及矩阵代数，典型的变换运算有平移、旋转和缩放；局部变换有时又称为弹 性映射，它允许变换参数存在对空间的依赖性。对于局部变换，由于局部变换随 图像像素位置变化而变化，变换规则不完全一致，需要分成小区域处理。 经常用到的图像变换主要有刚体变换( r i g i db o d yt r a n s f o r m a t i o n ) 、仿射变换 ( a t t i n et r a n s f o r m a t i o n ) 、投影变换( p r o j e c t i v et r a n s f o r m a t i o n ) 和非线性变换( n o n l i n e a r t r a n s f o r m a t i o n ) 等。 第5 页 国防科学技术大学研究生院硕士学位论文 表2 1 变换模型特性 反转旋转 平移 缩放投影扭曲 刚体变换 -_ 仿射变换 - _ 投影变换 0- 非线性变换 - _ 0 - 2 1 2 1 刚体变换 如果第一幅图像中的两点之间的距离变换到第二幅图像后仍保持不变，则这 样的变换称为刚体变换。刚体变换可分解为平移、旋转和反转( 镜像) 。在二维空间 中，点( x ，y ) 经刚体变换到点( x ，y - ) 的变换公式为： ；： = r s i m 婶p 千c s o 打s 妒( p j r l y z j + 乏 c 2 - ， 其中，9 为旋转角度，l ：工i 为平移量。 bj 2 1 2 2 仿射变换 如果第一幅图像中的一条直线经过变换后映射到第二幅图像上仍然为直线， 并且保持平行关系，则这样的变换称为仿射变换。仿射变换可以分解为线性( 矩阵) 变换和平移变换。在二维空间中，点( x ，y ) 经仿射变换到点( x ，y ) 的变换公式为： y x ， j l _ 。r c a 三 ； + 乏 ( 2 - 2 ) 其中，l 口b ，l 为缩放加平移矩阵。 l ca j 2 1 2 3 投影变换 如果第一幅图像中的一条直线经过变换后映射到第二幅图像上仍然为直线， 但平行关系基本不保持，则这样的变换称为投影变换。在二维空间中，点( x ，y ) 经 投影变换到点( x ，y - ) 的变换公式为： x ：竺堑! p x + q y + l ( 2 3 ) 1 ，：d x + e y + f 、7 p x + q y + 1 2 1 2 4 非线性变换 如果第一幅图像中的一条直线经过变换后映射到第二幅图像上不再是直线， 则这样的变换称为非线性变换。在二维空间中，点( x ，y ) 经非线性变换到点( x ，y ) 第6 页 国防科学技术大学研究生院硕士学位论文 的变换公式为：( x ，y 9 = f ( x ，y ) 。典型的非线性模型有多项式模型。多项式模型可 以写成： 仁 吩x 卜1 y 产1 i f f i lj = l x 卜1 y 一 ( 2 4 ) 非线性变换比较适合于那些具有全局性形变的图像配准问题，以及整体近似 刚体但局部有形变的配准情况。 2 1 3 图像插值重采样 由于采用的变换模型会使得变换后的图像坐标不是整数值，所以要对变换后 的遥感图像进行相应的插值。插值本身就是用一个插值算子与图像卷积。目前， 经常采用的插值方法有：最近邻取样法、双线性插值法，三次卷积法和样条插值 法。 2 1 3 1 最近邻取样法 最近邻取样法的思想很简单。对于通过变换得到的一个浮点坐标，对其进行 简单的取整，即取浮点坐标最近邻的左上角点对应象素的值得到一个整数型坐标， 这个整数型坐标所对应的象素的值就是目的象素的值。最近邻法得到的图像质量 不高。 2 1 3 2 双线性内插法 若已知点( x ，y ) ，则对其对应点( x ，y ) 可以通过下式得到：( x ，y ) = t - 1 ( x ，y ) 其中，r 。1 表示投影逆变换，需要求点( x ，y ) 的象素值，则要对输入图像重采 样，即进行插值： f ( x ，j ，) = g 工( 1 a x ，k a y ) h ( x - t a x ，y - k a y ) ( 2 5 ) i f f i - - k f f i - - 其中，厂“力为输入图像的插值结果图，& u ，的为输入原始图，h ( x ，力为插 值运算核。 双线性插值法研究点( x ，y ) 邻近的4 个点，并且假定在这些邻近区域图像的亮 度函数是双线性的，f ( x ，y ) 的值计算如下： f ( x ，y ) = b f ( x ，k + 1 ) + ( 1 - b ) f ( x ，后) = 6 ( 1 - a ) g , ( 1 ，七+ 1 ) + q 鲧( ，+ 1 ，k + 1 ) 】+ ( 1 - b ) ( 1 - a ) g 。( 1 ，后) + a g , ( 1 + 1 ，七) 】 = ( 1 - a ) ( 1 - b ) g , ( t ，七) + 口( 1 一b ) g ，( ，+ 1 ，七) + ( 1 一口) b g 。u ，k + 1 ) + a b g , ( 1 - i - 1 ，j j + 1 ) 双线性插值法的插值运算核为： 第7 页 国防科学技术大学研究生院硕士学位论文 i1 一x ，x 【o ，l 】 办( x ) = x + l ，x 【- 1 ，0 】 i o ，其它 双线性插值法是目前综合插值精度和计算复杂度最好的一种方法，所以使用 的最广泛。 2 1 3 3 三次卷积法 三次卷积法能够克服前面两种算法的不足，计算精度高，但是计算量很大。 它考虑一个浮点坐标( i + u ，j + v ) 周围的十六个邻点，目的象素的值卵+ 珥，+ 砂可 通过如下的插值公式得到： f ( i + u ，+ v ) = 【么】【b 】【c 】 ( 2 6 ) 其中，h 2 ( s ( 1 + 掰) s ( 甜) s ( 1 - “) s ( 2 - u ) ) 【c 】= s ( 1 + v ) s ( v ) s ( 1 - v ) s ( 2 - v ) 【b 】_ f ( i - 1 ，j - 1 ) f ( i ，j - 1 ) f ( i + 1 ，j - 1 ) f ( i + 2 ，j - 1 ) f ( i - 1 ，) f ( i ，歹) f ( i + l ，j f ) 厂( f + 2 ，歹) f ( i - 1 ，j + 1 ) f ( i ，j + 1 ) f ( i + l ，歹+ 1 ) f ( i + 2 ，+ 1 ) f ( i - 1 ，_ ，+ 2 ) f ( i ，+ 2 ) f ( i + l ，+ 2 ) 厂o + 2 ，j + 2 ) i 1 2i 万1 2 + i 刃1 3 ，珂 1 这里，s p ) ：t4 8w 1 + 5i 巧1 2 一i 珂1 3 ，1 马巧1 2 ，它是对s ) ：塑的逼近。 l o ， l 巧i 2 巧 2 1 3 4 样条函数法 所i w ( 多项式) 样条函数，是指具有一定光滑性的分段( 分片) 多项式，一元玎次 且n 1 阶连续可微的样条函数具有如下的表示式： s ( x ) = 以( x ) + 巳( x 一_ ) ：( 选用更好的相似性测量方法 采用由粗到精( c o a r s e t o f i n e ) 的配准方法 选用更合适的匹配变换模型 2 5 本章小结 本章先对图像配准理论进行了概述，然后对配准基本要素以及常用基本方法 进行综述，最后通过对s a r 图像成像特点的研究以及与光学图像目标特性的比较， 可以总结出二者之间配准的特点。 由于s a r 本身的成像特性，对于s a r 图像配准问题很难设计出一种同时针对 不同质量、不同分辨率以及含有不同场景结构的s a r 图像都能通用的特征提取算 法，这将导致特征提取方法需要随图像内容不同而改变，即可能出现一种配准方 法只适用于一类s a r 图像的情况。因此，常用基于特征的方法在s a r 图像配准应 用中具有很大的局限性。 第2 0 页 国防科学技术大学研究生院硕士学位论文 第三章基于隐含相似性光学和s a r 图像配准 3 1 引言 常用配准方法通常对同源传感器图像配准比较有效，但对于成像机理差异巨 大的异质图像，难以取得良好的配准效果。例如对比特征反转或消失使提取边缘 进行特征匹配的方法很难同时得到一致的图像边缘和轮廓信息，另外，传感器中 随机和系统噪声的存在也会影响边缘检测等处理过程。例如s a r 图像中固有的干 涉条纹以及斑点噪声会使得边缘模糊。对于基于区域相关配准方法，由于不同传 感器图像之间的相关系数会随灰度特性差异而衰减或不复存在，因此很难适用。 y o s ik e l l e r 6 7 】在研究多态医学图像配准过程中提出了利用隐含相似性配准的 思想，其基本依据是利用图像共同场景中存在的物理结构，这种结构在不同传感 器中可能表现为不同灰度属性，但结构间仍然存在某种意义上的相似，把包含这 类隐含相似特性的点集提取出来，并根据这种相似性构建度量准则，最终实现异 源传感器图像的配准。 这种研究方法属于“基于图像”的配准，即预先假定两幅图像结构位置关系 能够基本对应，而不去考虑成像原理、物理模型的差异。这在光学和s a r 图像的 配准中非常适宜，二者虽在成像解释上很难统一为同一个框架，但在一定的预处 理后相同场景的结构仍然具有对应关系。这也是二者之间配准的基本依据。 3 2 基于隐含相似性配准方法基本思想 3 2 1 隐含特征描述 由上章可知，多源图像配准过程描述为四个基本要素：特征空间( 图像描述) 、 相似度量准则( 评估准则) ，搜索空间以及搜索算法。其中，准确的图像描述和适当 的相似度量对配准尤为重要。配准问题也可以归结为一个求解变换模型参数解的 过程。从匹配准则的角度来说，配准的数学模型可以描述为： m i ，n ，j = 池( 删吡嘶 ( 3 - 1 ) ，k 其中，f 为变换模型，五、厶是灰度信息，x ( k ) 代表坐标点集， o i 表示对 灰度的某种映射，为准则函数。对基于特征的配准，在灰度图中提取同名点集 五( 七) 、屯( 尼) 后，模型可以简化为：r r i n j = 乏b ( p 一恐( 研，x 2 ( 忌闩。五( p ，一般用 七 最小二乘法求解最优丁。而对于基于区域的配准，其坐标点集为整个区域，f o i 可 第2 1 页 国防科学技术大学研究生院硕士学位论文 以描述为灰度映射的确定性或统计形式。这类研究方法包括区域相关、交互信息、 协相关等。 在基于特征图像配准方法中，提取的常用特征( 如点、线、矩、曲率、边缘、 轮廓等) 和梯度之间有着很大的联系，这些特征所处位置一般都是梯度模值比较大 的地方。这种现象在异质遥感图像中也普遍存在。事实上，异质图像虽然是用不 同的传感器获取的，但它们表示的是相同的实体。也就是说，对相同的空间位置， 我们进行了不同的测量，获取的结果也自然有很多共同的信息。虽然这些共同的 信息并没有非常完善地表达出异质图像之间的联系，但我们仍然可以以一种相对 的方式将它们之间的几何联系估计出来，即比较不同的几何变形，保留能够导致 两种测量间较强关联的几何变形。对于提取出的梯度较大的点集，其物理意义可 看作是涵盖了大量不同结构特征和少量别的无关因素( 如孤点大噪声等) 在某种程 度上的综合。 f a ) 梯度图像三维地形图( b ) 截面曲线图 图3 1 高幅值梯度图与边缘的关系 由于图像边缘处于梯度图像局部极大值点，宽边缘中心像素灰度值较两边像 素高。梯度图像可看成一个“地形图”，梯度幅值看成地表的海拔高度，得到类似 图3 1 ( a ) 三维梯度图。图像边缘在梯度图像中对应局部极大值点，即图3 1 ( a ) 中的 山脊线对应于图像的边缘。将这些局部极大值标记出，连接起来，可得到完整一 条如图3 2 ( b ) 的边缘。若将这些局部较大梯度幅值点标记出来，得到的即为宽边缘 结构。 对于具有相同场景的不同图像，这类特征存在着某种意义上的相似。因此， 只需对这种隐含特征之间的相似性度量定义一个定性的评估准则，则可以依据其 来获取配准解。为了说明这些富含大量结构信息的点集与图像之间的定性关联， 将引入像素迁移【4