（模式识别与智能系统专业论文）图像配准方法研究.pdf

华中科技大学硕士学位论文 摘要 图像配准是计算机视觉、模式识别、医学图像分析、遥感数据分析等领域的一项关 键技术，它可以用于不同传感器图像信息的融合，分析在不同情况下不同时间内拍摄的 图像，搜索相机或物体移动后拍摄的同一场景内的点的对应关系，实现对场景中物体的自 动识别等。图像配准的目的在于：去除或减小模板图像相对于基准图像之间的几何畸变， 从而实现图像的几何校正。 本文提出了一种基于h a u s d o r f f 距离的自动图像配准算法，该算法以基于g a b o r 小 波分解与尺度交互的特征点抽取算法从两幅待配准的图像中分别抽取特征点，然后选用 h a u s d o r f f 距离对两特征点集进行匹配，得到点集间的仿射变换，从而实现图像的自动配 准。 此算法以特征点作为h a u s d o r f f 距离的匹配特征，与直接选用边缘来匹配的方法相 比较，大大减小计算量。同时，基于h a u s d o r f f g e 离的图像匹配只需要点集之间的对应，无 须点与点的对应，因而可以使用于存在较大物体畸变的情况，即完成两幅差异较大图像 的配准实验结果证明了算法的有效性。 广、 在上述算法的基础上，结合基于区域的直接法，本文随后又提出了一种新的红外与可 见光图像自动配准算法，f 该算法首先以基于h a u s d o r f f 距离的配准算法实现图像的粗配 准，在粗配准的基础之上，选用直接法继续迭代精配准，最后获得较高的红外与可见光 配准精度。实验结果证明了算法的有效性。此算法适用于具有比较突出的特征结构且特 征较为一致的红外与可见光图像配准。 关键词：图像配准，仿射变换，g a b o r 小波，h a u s d o r f f 龋。 _ _ 一- 一一一一 -一“ i 华中科技大学硕士学位论文 a b s t r a c t i m a g er e g i s t r a t i o n i sak e yt e c h n i q u ei n c o m p u t e rv i s i o n ，p a a e mr e c o g n i t i o n ，m e d i c a l i m a g ea n a l y s i sa n dr e m o t es e n s i n gi m a g ea n a l y s i s i ti so f t e nn e c e s s a r yf o rf u s i n gi n f o r m a t i o n t a k e nf r o md i f f e r e ms e n s o r s ，f i n d i n g c h a n g e si ni m a g e st a k e na t d i f f e r e n tt i m e so ru n d e r d i f f e r e n tc o n d i t i o n s ，i n f e r r i n gt h r e ed i m e n s i o n a li n f o r m a t i o nf r o mi m a g e si nw h i c he i t h e rt h e c a m e r ao rt h eo b j e c t si i lt h es c e n eh a v em o v e da n df o rm o d e l - b a s e do b j e c tr e c o g n i t i o n t h e m a j o rr e g i s t r a t i o np u p o s e i st or e m o v eo r s u p p e r s sg e o m e t r i c d i s t o r t i o n sb e t w e e nt h e r e f e r e n c ea n ds e n s e di m a g e s ，w h i c ha r ei n t r o d u c e dd u et od i f f e r e n ti m a g i n gc o n d i t i o n s ，a n d t h u st ob r i n g i m a g e si n t og e o m e t r i ca l i g m e n t i nt h i sp a p e r , an e wa u t o m a t i ci m a g e r e g i s t r a t i o nm e t h o di sp r e s e n t e d i nt h i sm e t h o d ， f i r s t ，as m a l ln u m b e ro ff e a t u r ep o i n t sa r ee x t r a c t e di nb o t hi m a g e su s i n gag a b o rw a v e l e t f e a t u r ed e t e c t o r t h e n ，t h e s ef e a t u r e p o i n t sa r em a t c h e d a n dt h ea f f i n et r a i l s f o r m a t i o nb e t w e e n t h et w o i m a g e si so b t a i n e dt h r o u g h a m a t c h i n gt e c h n i q u eb a s e do nt h eh a u s d o r f f d i s t a n c e w e c h o o s et h ef e a t u r e p o i n t s i n s t e a do ft h e e d g e s o f o b j e c t s t os e a r c hf o rt h ea f f m e t r a n s f o r m a t i o ns ot h a tt h ec o m p u t a t i o nl o a dc a nb ed e c r e a s e d l a r g e l y o nt h es a m et i m e ， b e c a u s et h eh a u s d o r f fd i s t a n c ei sam e a s u r ed e f i n e db e t w e e nt w op o i n ts e t sa n dd o e sn o t r e q u i r et oe s t a b l i s hae x p l i c i tp o i n t sc o r r e s p o n d e n c eb e t w e e ni m a g e s ，i tc a l lt o l e r a t ee r r o r s i n t r o d u c e db yt h ep r e s e n c eo fo u t l i e rp o i n t s ( n o i s e s ) a sw e l la st h ea b s e n c eo f s o m e m i s s i n g p o i n t s c o n s e q u e n t l y , t h i sr e g i s t r a t i o n m e t h o dc a nb e a p p l i e d t o i m a g e s w i t h l a r g e m i s a l i g n m e n t e x p e r i m e n t sw i t hs y n t h e t i ca n dr e a li m a g e si l l u s t r a t et h a tt h i sa l g o r i t h mi s e 伍c i e n t i no r d e r t o r e g i s t r a t e t h ei ra n dv i s u a l i m a g e s ，a n e wa u t o m a t i ci r v i s u a l i m a g e r e g i s t r a t i o nm e t h o di s p r e s e n t e db a s e do nt h ea l g o r i t h mm e n t i o n e da b o v e t h em e t h o d c o n s i s t so ft w os t e p s ：f i r s t l y , ac o a r s e i m a g er e g i s t r a t i o n i s a c c o m p l i s h e db yt h ei m a g e r e g i s t r a t i o n b a s e do nh a u s d o r f f d i s t a n c e ，t h e n ，u s i n g w h o l ei n f o r m a t i o no fi m a g e sw e i t e r a t i v e l yg e taf i n e rr e g i s t r a t i o nr e s u l t t h i sa l g o r i t h mi ss u i t a b l ef o ri r v i s u a li m a g e sw i t h s a l i e n tf e a t u r es t r u c t u r e sa n da c c o r d a n t f e a t u r e s k e yw o r d s ：i m a g e r e g i s t r a t i o n , a f f m et r a n s f o r m a t i o n ，g a b o rw a v e l e t ， h a u s d o r f f d i s t a n c e 一 i l 华中科技大学硕士学位论文 1绪论 1 1引言 1 1 1 图像配准的研究目的及意义 图像配准是信息融合研究的基本内容之。在图像信息融合过程中，对取自不同时 间、不同传感器或不同视角的同一景物的两幅图像或多幅图像进行匹配、叠加的过程要 进行图像配准。配准的主要目的在于去除或减小模板图像相对于基准图像之间的几何畸 变，从而实现图像的几何校正【1 】。 不同领域中的许多问题的解决使得图像配准需求的不断增加，配准在下面几种情况 下常常是必不可少的： 1 ) 融合不同传感器信息 2 ) 寻找采自不同时间或不同条件下的多幅图像间的变化 3 ) 从物体或相机发生移动后拍摄下来的多幅图像中重构三维信息 4 ) 目标识别 以多传感器图像信息融合为例，图像配准的研究目的和意义便可窥一斑了： 多传感器图像提供的信息可相互协作，互为补充。如可见光传感器与红外传感器工 作在不同的波段，二者输出的图像具有不同的灰度特征，这些信息互为补充，可以融合 在起用于目标识别( 目标检测和目标跟踪等) 。具体地说，红外图像可在场景内定位 具有较高温度的物体( 热源) ，而可见光图像则提供背景信息，将二者融合，便能实现在 背景中定位热源物体的功能1 3 】。 但是，由于各传感器通过的光路不同，或成像体制不同等原因，图像间可能出现平 移、旋转、比率缩放等差异，融合不能直接进行，而必须先作配准处理。例如，考虑 一个多传感器跟踪的防空侦察系统，为了获取完整、准确和实时的空中状态，需对各传 感器系统的参照系进行配准。未经配准的传感器组合可能导致系统性能比单独使用一个 传感器还差，甚至当实际上只有一架飞机存在时，较大的配准误差会使系统产生似乎有 两架飞机的不实信息。经过适当配准的多传感器图像可以在像素级直接融合形成融合图 像，然后在此基础上完成目标探测、特征提取和目标识别等操作。 i 华中科技大学硕士学位论文 1 1 2 图像配准的应用 图像配准的应用相当广泛，归纳起来主要有下面三个大的应用领域1 5 j ： 1 ) 计算机视觉与模式识别 。 如图像分割、目标识别、形状重建、运动检测、立体匹配、特征识别等。 2 ) 医学图像分析 包括诊断医学成像如肿瘤检测、病灶定位等，以及生物医学如血细胞微观图像分类等。 3 ) 遥感数据处理 如对农业、地质、海洋、石油矿产勘探、环境污染、森林植被等目标定位识别等。 其他领域，比如语音识别、机器人学、天文学、计算机辅助设计( c a d ) 、计算机辅助 制造( c a m ) 等方面，也需要用到一些特定的图像配准技术。 依据配准图像的不同获取方式，图像配准的应用也可划分成如下四类【l 】： 1 ) 不同视点图像配准( 多视点分析) 配准的目的在于获取更大范围的二维视角，或重构被摄场景的三维信息。 应用实例： 遥感一被摄区域图像镶嵌 计算机视觉一形状恢复 2 ) 不同时间图像配准( 多时段分析) 配准的目的在于寻找并度量两幅不同时间内拍摄的图像中场景的变化。 应用实例： 遥感一区域规划 计算机视觉一运动跟踪 医学成像一肿瘤病变检测 3 ) 不同传感器图像配准( 多模式分析) 目的在于融合不同传感器信息，以获取更为丰富细致的场景信息。 4 ) 场景与场景模型图像配准 场景模型多为场景的数字表示，如地理信息系统( g i s ) 中的数字高程图等。配准场景 与场景模型的目的在于在场景中定位模型，或在模型中定位场景，或者对场景与模型作 相应的比较。 应用实例： 遥感一将航片或卫片与地图或g i s 相配准 计算机视觉匹配模板图像与实时场景 华中科技大学硕士学位论文 = ；_ _ _ - ；_ 目= = 目= ；j 目_ 目= ；_ _ i = = = ；目_ = ；l 目 医学成像一将数字解剖图与病人的图片相比照 1 1 3 国内外研究概况 在过去的二十年里，图像采集技术获得了长足的发展，大量不同类型图像的出现极 大促进了图像配准方法的研究。依据i s l o n s t i t u t eo f s c i e n c ei n f o r m a t i o n ) 的统计数据，最 近十年中有关图像配准的论文超出了1 0 0 0 篇，而1 9 9 2 年以前的提出的一些方法已经成 为经典算法而被继续沿用【l 】。 多图像间的配准与几何精校正的原理是一致的：一般是利用图像间的配准控制点的对 应关系( r c p ) ，模拟图像间的几何畸变进行配准。r c p 的选取是该研究中的核心内容。 在早期的研究中，一般选用图像中具有明显特征的点作为r c p ，这种r c p 的选取是基 于手工方法的，需要专业人员的手工介入，而且精度受到限制。目前的研究工作基本上 都是致力于图像的自动配准研究，虽然如此，自动图像配准的研究仍然处在起步阶段， 其中，对存在着复杂的非线性以及局部畸变的图像配准、多模态图像配准、n 维f n 2 ) 图像配准，在目前来说，是图像配准中最具挑战性的范畴1 1 1 。 1 2 本论文的主要工作 1 ) 提出了一种基于h a u s d o r f f 距离的自动图像配准算法，该算法从两幅待配准的图像中 分别抽取特征点，然后选用h a u s d o r f f 距离对两特征点集进行匹配，得到点集间的仿射 变换，从而实现图像的自动配准。此算法以特征点而不是物体边缘为匹配特征，大大降 低了计算仿射变换的运算量：同时，基于h a u s d o r f f 距离的图像匹配只需要点集之间的对 应，而无须点与点的对应，因而可以使用于存在较大物体畸变的情况，即完成两幅差异 较大图像的配准。实验结果证明了算法的有效性。 2 ) 尝试着将基于h a u s d o r f f 距离的自动图像配准算法应用于红外与可见光图像配准中， 因为红外与可见光图像处在不同波段，二者不具备完全的相关性，此算法处理后的配准 精度不高，所以基于h a u s d o r f f 距离的自动图像配准算法作为配准的第一步，首先实现 粗配准，然后选用最小化灰度平方和的方法，对粗配准图像再作精配准处理，从而达到 比较理想的配准效果。实验验证了算法的可行性。 华中科技大学硕士学位论文 1 3 本论文的课题来源 本课题源于国家自然科学基金( 项目编号6 0 1 3 5 0 2 0 f f 0 3 0 4 0 5 ) ，国防科技预研基 金项目( 项目编号0 0 j 1 4 2 j w 0 5 ) 及航天技术创新基金。 1 4 本论文的内容安排 第一章绪论简要叙述了图像配准的研究目的、意义、应用及国内外研究概况；第二 章对图像配准的基本原理、常见方法以及基于特征配准算法的基本构成和步骤作了较为 详尽的阐述；第三章着重讨论了o a b o r 滤波器及g a b o r 小波滤波器的空一频特性，然后引 出基于g a r b o r 小波分解与尺度交互的特征点抽取算法：第四章提出了一种新的基于 h a u s d o r f f 距离的同源图像配准算法，并以实验证明了该算法的有效性；在第四章的基础 之上，提出了基于h a u s d o r f f 距离的的红外与可见光图像配准算法，实验结果显示算法 获得了高精度的配准效果：第六章对本论文的工作作了一个总结，并指出了进一步的研 究方向。 4 华中科技大学硕士学位论文 2 图像配准算法概述 图像配准是图像处理的一项基本工作，主要用于匹配取自不同时间、不同传感器或不 同视点的两副或多幅图像。图像配准的最终目的在于建立两幅匿像之间的对应关系，确 定配准一幅图像与另一幅图像的几何变换关系式。设计或选择某种配准算法，首先必须 弄清待配准图像的畸变类型，依据畸变类型来确定相应的配准算法【5 1 。本章对图像配准的 基本原理、常见方法以及基于特征配准算法的基本构成和步骤作了较为详尽的阐述。 2 1 图像配准的原理1 5 】 2 1 1 定义 图像配准定义为两幅图像在灰度与空间几何上的匹配。如果我们将图像表示为一个二 维序列，i i ( x ，y ) 、i ：( x ，y ) 分别表示两幅图像在点( x ，y ) 处的灰度值，那么图像i ，、i ：的配准 关系可用如下关系式表示： 1 2 ( x ，y ) = 甙i ，( f 取，y ) ) )( 2 - 1 ) 这里f 代表二维的空间几何变换函数，g 则表示一维的灰度变换函数。 配准的主要目的在于寻找最佳的空间与灰度变换关系，使得两幅图像在考虑到畸变的 前提下实现最佳匹配。通常情况下灰度变换关系并不是必要的，所以寻找空间几何变换 关系f ( x ，y ) 便成为配准的关键所在。于是上式可改写成更为一般的表示方式： 1 2 ( x ，y ) = 1 1 ( f ( x ，y ) )( 2 - 2 ) 如果二维函数f ( x ，y ) 能够分离成两个一维函数f ( x ) ，f 2 ( y ) 的乘积，即： f ( x ，y ) = f l ( x ) + f 2 0 ) 那么在实现配准的过程中将可以显著地减少存储量，提高运算效率。 2 1 2 几何转换模型 空间几何转换模型是所有配准技术中需要考虑的一个最重要因素。虽然每一幅图像里 e 华中科技大学硕士学位论文 都存在着许多类型的畸变，但是配准前必须确定一种变换模型，这种模型下的某一变换 可以有效地校正因为获取方式的差异而产生的图像间畸变。常见的基本变换模型有：仿 射变换、透射变换、投影变换。如果需要考虑图像内非刚性物体的因素，则模糊变换模 型更加适用。 本节我们将简要地定义几种常见的转换模型。 1 ) 仿射变换 当场景与相机的距离很大时，被拍摄的图像可以认为满足仿射变换模型6 1 。仿射变 换是配准中最常用的一类转换模型，由尺度、平移、旋转的笛卡尔变换构成，它可以有 效地匹配视角相同而拍摄位置发生变化的同一场景的两幅图像。因为变换不改变图像点 集间的空间几何关系，所以仿射变换属于全局刚体变换。仿射变换通常具有四个参数： t x , t ，s ，口。仿射变换模型下，若点( x ，y 。) ，( x ：，y ：) 分别为基准图像与模板图像中对应的两 点，则有： 盼瞄s i n o ) x 1 p s ， 仿射变换式 盼巴鞠： + ( ：x 口4 ， 则更具普遍性，除了尺度、平移、旋转外，它还考虑了畸变中的倾斜、纵横比变化。 仿射变换具有平行线转换成平行线和有限点映射到有限点的一般特性【”。 2 ) 透视变换 如果需要考虑将三维场景投影到二维平面时产生的畸变，则应当选用透视变换。透 视变换是三维空间到二维空i b - j 的映射。若( x 。，y 。，z 。) 为三维场景内的一点，那么它在二 维平面的对应点( x ；，y ；) 为： 驴鲁 ( 2 - 5 ) y ，= 鲁 ( 2 6 ) 穰示相机镜头中心所在位置。 6 华中科技大学硕士学位论文 3 ) 投影变换 若场景由一相对于图像平面倾斜的平面构成，这时便需要投影变换将场景平面映射 到水平的图像平面上。以( x ，y 。) ，( x ，y ，) 分表示场景平面与图像平面内的对应两点，两 者的映射关系为： 2 1 3 图像畸变 x ：= 兰! ! 兰! ：兰! ! 兰2 兰! ! a 3 l xp + a 3 2 y pq - a 3 3 、，= 兰蛰兰：兰望兰兰望 j 1 a 3 1 x p + a3 2 y p + a 3 3 ( 2 7 ) ( 2 - 8 ) 1 ) 图像配准算法选择依据 每种算法都是针对某一特定应用而设计的，因而无法比较各算法的优劣。大多数配 准都是在变换空间中挑选一种转换类型( 如仿射变换、多项式变换、弹性变换等) ，以实 现对特定问题的最好处理。 配准误差源是选择配准方案的重要依据。图像的畸变依据它对配准误差的影响可分 为两种类型： 一种畸变是误配准的根源所在，它决定了配准两幅图像的最佳转换类型，而图像的 转换类型又反过来影响我们该选择何种方案。这种畸变主要由传感器位置的改变、视点 的改变、视属性及物体的畸变或位移等引起。 另一种畸变则对配准误差没有影响，它多影响图像的灰度值。这类畸变不能通过配 准消除，它使得高精度的特征匹配不再可能，从而加大了配准的难度系数。它影响特征 空间、相似性度量、搜索空间以及完善最终方案的策略。这种畸变一般源于传感器噪声， 传感器类型的改变以及环境的变化。 2 1 图像畸变 图像畸变可分成：静态类，动态类，外部类内部类，几何类光度测定类。 静态类：在任何图像内都保持不变，可以通过标度校准来校正。内部类：典型的内部 几何畸变有定中心、尺度、倾角、非线性扫描等，部分程度上从属于光度测定类，与传 感器有关。外部类：源于连续变化的传感器操作以及不同的景象特性，这类畸变可拆分 为空间几何畸变和灰度畸变。大多数内部类和光度测定类畸变同时又是静态类畸变，因 华中科技大学项士学位论文 _ = = ；= = 。= = = = = 自；= = = = = = = ；= = = = = 而可以通过标度校准校正。我们将着重讨论外部几何畸变。灰度畸变不是静态畸变，多 由传感器的改变、光照的变化、环境的变更等因素造成。融合两图信息时，灰度畸变的 校正往往是必不可少的，这时通常都会用到灰度直方图及其他有关灰度分布的信息。有 时候灰度畸变的校正与几何畸变的校正是同时进行的。 由于配准的目的在于获取两幅图像之间的变化关系，因此匹配时必须考虑配准的误 差源，否则，一些重要的变化信息在匹配的同时也将被去掉。很显然，我们对一个特定 的系统中存在的畸变信息了解得越多，最后的配准也越有效。例如，p v a nw i e 将卫星多 波段图像的畸变分解为三个部分：源于传感器操作的畸变、源于轨道及高度变化的畸变 和源于地球偏转造成的畸变【s 】。针对不同的图像畸变配准时将采用不同的特定的校正手 段。当获取了有关配准误差源的丰富信息之后，我们将可以运用解析且静态的方式实现图 像的配准。举个例子，如果两幅图像仅在视觉几何上存在差异，而且两者差异的关系也已明 了，那么便可运用一系列适当的笛卡尔变换( 也即：平移、旋转和尺度变换) 来校准两幅图像 了，这样，两幅图像的差异，如一幅图中的某一点相应于另一幅图中的对应点的位置、 方向、尺度变化等都将被确定。 如上所述，配准的转换类型依赖于配准误差源( 可能是也可能不是两图间的畸变) ， 主要的配准算法又必须考虑转换类型的复杂度。传统的相关技术常用于小的已经定义好 了的仿射变换，多为单纯的平移；另外一种针对于仿射变换的技术是傅氏变换法，用于 存在随频率变化的噪声的情形。如果需要的变换是全局的，则主要的方法便是使用特征 点匹配，定义一个多项式变换实现全图匹配：在最复杂的情况下，存在局部畸变时，配 准必须定义局部变换，使用特定的转换模型，比如弹性膜等。 2 2 图像配准的一般方法 归纳国内外的图像配准算法，大致可分为以下四类： 2 2 1 基于相关的配准方法【5 ，9 】 互相关常用于模板匹配与模式识别，它给出了模板图像与基准图像之间的相似度值。 对于模板图像，r 与基准图像i c ( u ，v ) = 二者的二维标准互相关函数为： t ( x ，y ) l ( x _ u ，y v ) r1 i r1 l 医t 2 ( x ，y ) f 医1 2 ( x - u , y v ) f ( 2 9 ) 如果模板图像平移( i ，j ) 后与基准图像完全匹配，则相关函数将在c ( i ，j ) 达到峰值。上式 华中科技大学硕士学位论文 可归一化为相关系数： c o v a r i a n c e ( i , t ) ：圣圣坠：型：竺些：! ：兰：型 ( 2 - 1 0 ) a ! a t l x ( i ( x u ，y v ) 确) 2 ，。( t ( x ，y ) 所) 2 f 这里，。、a t 分别表示基准图像i 、模板图像t 的均值与标准方差，“、q 分别表示基 准图像i 、模板图像t 的均值与标准方差。 一般来说，相关算法存在较多的缺陷：比如计算量太大，对不同条件下( 光照变化、 环境变化等) 拍摄的图像配准无能为力等。虽然引入弹性模板、预滤波去噪、采用金字塔 式模型等方法可在一定程度上改进本算法，但是实际应用中通常很少采用。 2 2 2 基于傅氏变换的配准o 】 傅里叶变换的一些属性可以运用于图像配准中。空域平移、旋转、尺度、偏转都可 以在频域中找到对应。傅里叶变换法对于频率相关的噪声表现出了良好的鲁棒性，而且 快速傅里叶变换及其硬件实现可以在很大程度上提高算法的运算效率。 相位相关法是实现图像配准一种比较有效的算法： 给定仅存在相对位移( d 。，d ，) 的两副图像i 。与i ：，其中 1 2 ( x ，y ) = 1 1 ( x d 。，y d 。)( 2 - 1 1 ) 它们对应的傅里叶变换的关系为： f 2 ( 国。，y ) = e 1 。、6x + 。“f j ( 山。，。)( 2 1 2 ) 可以看出，i 与1 2 的差异由e - j ( 叫x + q 给出，通过计算两幅图像的互功率谱可以得到： 麓薏畿筠“叫m 邮 if l ( 国。，y ) f 2 + ( ，) 这里，f 为f 的共轭复函数。也就是说，计算两幅图像的互功率谱可以得到它们之间的位 移差( d ，d 。) 。 如果两图之间不仅存在平移( d 。，d ，) ，还存在旋转纯，那么二者的傅里叶变换关系变 化为： 一 华中科技大学硕士学位论文 f 2 ( r o 。，r a y ) = e 水q 4 + 叶4 ”f l ( c o 。c o s 声o + y s i n # o ，。s i n # o + q c o s 如) ( 2 1 4 ) 两图的互功率谱函数用极坐标的形式可表示为： g 。，曰；妒，2 ：耥 c z 一- s ， 这样，通过使互功率谱相位近似于单位脉冲的方法计算出旋转角声后，在这个脉冲的位 置我们便可继续计算出二者的相对位移( d ，d ，) 。 基于傅里叶变换的配准算法特别适合于存在着低频噪声的图像，如不同照明条件下 的图像：而且因它对频域能量变化不敏感，所以适用于多传感图像配准：另外，在精度 和计算量上本算法明显优于典型的相关算法。针对计算量，可继续作如下优化：将二维 傅氏变换转化为一维傅氏变换；对乘积式作对数处理。但是，傅里叶变换法依赖于它的 不变性，因而只适于己确定了的变换，如旋转、平移等。 2 2 3 基于点匹配的配准 点匹配方法是目前配准差异类型不完全确定的图像的首要方案，一般分为三个步骤”3 第一步：抽取特征； 第二步：确定两图中特征点( 控制点) 的对应关系； 第三步：利用点匹配找出二者变换关系式，常常是有着确定阶数的二维多项式。变 换模板图像，采用内插法重抽样。 下面我们将就特征点的抽取与匹配作较详细的讨论。 1 ) 控制点 点匹配中的控制点在配准中有着很重要的意义。点匹配的精度决定着配准精度。 匹配控制点既可以是内在固有的点，也可是非固有的。内在固有的点与图像数据无关， 为了方便配准，作为标记常被置于特定的位置，以易于识别。但是配准过程中并非总有 可以利用的固有点，比如说医学诊断图像，有时候难以将标志精确地内置于图像内。非 固有的控制点则需要依据图像数据来确定。早期常用人工介入的方式手动选择比较突出 的标记作为控制点，但前提是操作者必须熟悉本研究领域，因而在更多情况下，多采用 自动定位的方式确定控制点。常用的控制点有：拐点、交叉点、轮廓线局部最大曲率点、 闭合区域的质心、具有局域最大曲率的窗口中心等。被抽取出来的特征点在两图中是唯 一的，并能容忍一定程度的局部畸变。这些特征决定着变换精度，应有足够的特征点来 l o 华中科技大学硕士学位论文 参与计算。然而，过多的特征却加大了特征匹配的难度。特征的数目在很大程度上影响 着点匹配算法的精度与效率，因而是一个很关键的因素。 特征被抽取出来之后，下一步便是匹配这些特征。对于人工识别的特征点，寻找与 匹配特征点是同时进行的。对于自动抽取的特征点，特征的匹配方式取决于这些特征点 的属性，不是逐点匹配，而是将一图中的一组点与另一图中的一组点相匹配。方法有聚 类法、松弛法、匹配两组点凸包边缘、匹配两组点最小跨距树等。 2 ) 点匹配方法 全局匹配法 全局匹配法致力于寻找适于整幅图像的单个理想变换。依据给定的充足的特征点通 过近似或内插的方法导出变换的所有参数值，特征点数必须大于参数个数。对于内在固 有的控制点或手动选择的控制点，内插法比较合适。这时，对每个独立的变换参数应有 一个准确的匹配点与之对应，以保证整个约束方程组有唯一解。然而如果控制点太多， 约束方程的数目也会随之增加。若选用的是多项式方程，这将导致多项式的阶数上升， 起伏加剧。最小二乘法及样条插值法较适合于此类情形。 对于静态畸变，两图间的映射函数是已知的，选用近似法或插值法便可实现配准。 然而一般情况下，我们是不知道准确的映射函数的，这时通常选用普通的双变量多项式 变换函数，用两个空间映射表示： u = a u x ”y 1 ( 2 1 6 ) v = b 。x ”y 。( 2 - 1 7 ) ，枷目o 这里，点( x ，y ) 、( u ，v ) 分别为基准图像和模板图像中对应的两点。多项式的阶数取决于特 定问题的精度与速度要求的平衡。通常，多项式变换仅适用于低频畸变，因为当多项式 阶数很高时会出现难以预料的情形。 若选用内插法，多项式的系数则由n 组控制点对应的n 组方程式构成的方程组来确 定。最小二乘法通过使得对应所有控制点的方程式两端的方差和达到最小来求得多项式 的系数。当控制点数很大时，使用常规方程式作最小二乘法的方法不再稳定和精确，以 正交多项式作多项式映射函数可以解决这一问题。 全局点匹配算法的主要缺陷在于：不适于存在局部几何畸变的情况，比如传感器的 非线性型畸变，因环境变化或从不同视点观测到的局部三维景象特征等引起的畸变。 局部匹配法 1 l 华中科技大学硕士学位论文 依据局部作不同的匹配，仅充分靠近的控制点或用它们的接近程度加权的控制点可 以影响匹配变换。相对于全局匹配法，局部匹配法更有效且可处理许多全局法无法处理 的情形，如：摄于不同视角的三维场景，变形的物体或运动的物体，以及不同传感器、 不同场景条件的影响。 通过点匹配来处理局部畸变的方法是分段插值。对n 对匹配控制点来说，它们各自 的映射关系为： x t 2 f x l l ，y t ? i ：1 ，2 ，n ，插在控制点对之间的坐标点对也指定为 y i2r v 晖- ，y ij 相同的映射关系。此类方法适用于无规则分布的数据点，因为控制点不可避免是散乱的。 常用样条插值法来分段插值，表面插值后，许多配准算法便可行了。 仅依赖于局部计算的局部匹配法不仅更有效，而且局部可控，图像的区域可以在不 影响其他已匹配部分的条件下实现匹配。 局部点匹配也有它的不足之处：局部匹配算法中主要的部分是确定控制点及对应匹 配关系，在遗漏控制点并缺乏足够的信息确定如何匹配时，此方法常常变得非常复杂： 而且，其精度主要取决于匹配的个数、位置及精度。虽然有时它们能校正局部畸变，但 因单步执行，匹配点与插值之间没有反馈：另外，算法不能引入递归、分层等方法来加 速局部畸变的提取。 2 2 4 基于弹性模型匹配的配准 在基于局部点匹配配准算法的基础上用弹性模型来约束配准过程，以克服局部点配 准算法对控制点精确匹配的依赖。 它将图像或物体模型化为一个弹性体，两图间的点或特征的相似性度量便表现为拉 伸弹性体的外力。算法的最终目的在于确定最小能量态，最小能量态使变形变换实现了 配准。过程中常使用递归方法。通过样条插值可以实现能量最小化( 满足弹性模型约束 项) ，所以本算法与分段插值的方法紧密相关。 弹性方法因模拟物理畸变，所以常以匹配结构的方式实现配准，故而常用于运动重 建、医学图像处理等。在这些领域，关键的任务是配准仅有细节差异图像对的拓扑结构。 这种方法可以配准一些有着非常形变的图像，包括3 d 物体的2 d 投影。 2 3 基于特征的配准算法 从另外一个方面来说，图像配准的方法又可以分为两类：手工配准和自动配准。手 华申科技大学硕士学位论文 工配准中按制点( c p ，s ) 以手动的方法来确定，在绪论中我们曾撮到，这种方法需要专 业人员的手工介入，而且精度受到限制，所以人们多倾向于采用自动鼯己准的方法* 自动 配准算法叉分为基于特征的方法和基于区域的方法1 4 】，基于区域的方法通常只适于两幅 图像已经糨对准的情形，朋前使用得最多的则是基于特征的配准方法。下面我们就对藻 于特征的配准算法作详细介绍。 ：。3 。1 鬈准算法静蒸本构成 基予特征龄图像配准算法哥鞋拆分戏三个部分：特徭空润、楱 缓性度耄、援索空阉及 搜索繁赡。如蘩聚述，形成配准误差源翳强豫璃变决定了赝饕的强橡变换模鹫，韬强像 变换模型爱过寒又决定了舅法豹类型与复杂度。其它琏变( 黪配磺误蒺滚) 粼决定我们 该如倪选撼算法的上述三个组成部分 5 1 1 ) 特征空间 确定特征空间基予特征配准的第一步。特征空闻可以是图像本囊，也可以是边缘、轮 廓、拐点、交叉点、赢蛆率点、不变擞、句法描述等，它是诗冀枫视髓硪究载基本蝇题 之一。选择特征空间需要考虑下面几个因素： 传感器与图像数据对什么比较敏感 选择的特征空间应当能够减少传感器噪声及其它图像畸变的影响。 匹配图像的何种特征，一般来说，多选择结构特征而不是纹理特征。 搜索特征空间的计算代价。 常趋向于抽取内部结构特征，这样可以降低传感器与图像噪声的影响，达到结构上的 最大相似，并减少相应特征空间的搜索。边缘特 正较多地反映了图像内部结构信息，对 噪声相对不敏感，是运用褥最为频繁的特征空间。图像的统计特征，如不变短，虽然相 应的计算羹较大，而且只能用刚体变换，但它们独立于坐标系，所以也是运用较多的特 征空间之一。突出的特征，例如局部曲率最大点、闭合区域的重心、线的交叉点、傅立 时描述予等，满于图像内部结构特征，其有可准确定位的优点。而结构特征、句法特征 等高级特征，翔适用予准确度不高的局部鲢配。 2 裰似程度羹 嚣度煮静楚两辐待配准闺像特征之简豹相似槛，所以相似性度量与抽取的匹酉已特征 紧密楼关。对肉在结构特征，典鹜的稻儆往度霪方法有互相关、绝对麓和、傅里叶相位 摆头等；豢鞋彗鏊线戏秘蔼为特征对，多选蠲邻域点闯酌均方差来度量稠似性；结聿句或句 法特征爨冬榭 蛙榷度耋方法剩取浃于特，鬣静瀚有隅毪。 1 3 华中科技大学硕士学位论文 # ，_ ；# = # ；t _ # ；目= _ 口自# 目 选择痍鬃楣锨性熬尺度怒确定配准转换瓣最蓬要因素之一。糖议性度量在绘定抟转 换可能存在款空懿孛搜索，找到簸终霹数实现配准豹转换。瓣予互撩关秘绝对蓑秘浆相 似性度量法，蜂艇点对应豹转换麴即为酝准转换。同撵，点莲琵中蟓僮点确定7 最德豹 甄配控割点，由这组控制匹配点慰便可以计算出配壤转换。惩基于辣性模板豹配准算法 里，在可承受的弹性张力范围内找到的最大相似性才对应于爨终的配准转换。 相似性度量决定着图像的哪一些信息是将被匹配，哪一些不被吸配。如果 寺匹配的 不是特征而熙图像灰度，那么相似性度爨应具备强的容噪性。使用囊相关度量相似度之 前，祷要对图像作相应的预处理。傅氏交换法，如相位相关法，则邋用于存在与频率相 关的噪声的图像。 如前所述，适当的特征空间与相似性度鬃可以减小噪声对配准的影响。如果噪声当 作特征被抽取出来，可以想象最终必然难以达到理想的首己准效果。所以应当尽可能的保 诞两幅图像量抽取的特征表镊同样的结构，特别是多传感器图像的配准。另方面，因 为对每个变抉空悯里的每一个可能的转换，都需簧度量一次两图的相似1 生，计算景很大， 所以好的特，谯抽取算法会大幅减小特征空间以减少计算爨。 使用特征可以减小光学系统的噪声，但对空问畸变却没有大的作用。相似憔度囊则 能够减小多种畸变的影响。 3 ) 搜索空间和搜索策略 特征匹配与相儆往度囊蘧一个计算薰相当大的过程，因而配准算法嫩后应设计相应 豹援索空闻与擅索策略。对计算强度大的特征如不交矩等，设计的搜索策略应当限制需 要计簿鹃特鬣数羹。同样，对相似健度蘩如稽关也需要搜索策醅来减少度量的次数。图 像碡变越严鬟，这释需求就越高。在大多数情况下，擅索空间氇就燕所商可能的配准转 换豹存在窆簿。鬻觅靛攘索繁略镶括分震法、决策牟歹l j 、松弛标记、广义h o u g h 交换、 线性嫂划、撵图嚣醚、动态规划帮启发式搜索。 搜索空阕 搜索窆溺豹特点取决专二配准转换模型。转挟模型冒分为逶于局部交换、适予全褥变 换两类，逸炎这囊接影璃到搜索空阂豹大枣与复杂庭。全局法一般来说淤是对最大佬 檩似度变换的搜索，也可以是对转换瞒数 多必对瘫匹配控刳淼静个低除多项式) 参数静 搜索。控制点的锼月使褥搜索空闻丈为减小。鼹部法絮分段捶毽法或基予弹性模板的配 准方法，除了相似性发量之孙，还要弓| 入很多豹约柬项，配准模型交褥受秀复杂。掰潋 局部配准算法的搜索空间最为庞丈和复杂。 除了转换模型外，图像畸变也是决寇搜豢空阉的一个重要因素，疃变霹以不是导致 配准误差的畸变。如果搜索模式仪适宜予全局变换，这时常规的搜索蒺赡不蹲适熙。 4 华中科技大学硕士学位论文 搜索策略 松弛匹配经常用于使用了全局变换模型而图像又存在局部畸变的情形。如果图像中 没有局部畸变，那么通常以爬山法或决策序列法搜寻最大值，以线性方程或回归法拟合 多项式即可求得全局变换关系式。动态规划法则用来配准需要局部变换模型的图像。其 他用于局部配准算法的搜索策略很大程度上依赖于所使用的特定模型，例如递归法求解 偏微分方程，广义h o u g h 变换用于形状匹配。 2 3 2 图像配准的主要步骤 由于待配准图像的多样性以及图像退化的多样性，设计一个具有通用性的配准算法 是不可能的。每一种算法不仅应当考虑图像间的几何畸变，还应当考虑辐射度畸变，噪 声损害、配准精度、与应用相关的数据属性等因素。 虽然如此，基于特征配准算法的主要部分基本保持一致，其步骤如下 检测特征：以自动的方式检测出作为特征的显著对象，如闭合区域、物体边缘、轮 廓、线的交叉点，拐角等。为了便于进一步处理，常用点( 质心、端点、突出点) 即控制 点( c p s ) 来表征这些特征。 匹配特征：通过匹配，建立起基准图像与模板图像中特征之间的对应关系。匹配 过程中，为了建立特征间的空间对应关系，常用到多种特征描述子以及相似性度量方法。 估计变换模型：在建立图像特征之间的对应关系后，我们便可计算出由模板图像 到基准图像映射函数( 转换函数) 的参数值。 图像重采样并作变换：以映射函数变换模板图像，非整数坐标处的图像值以适当 的内插技术估计出来。 配准的每一步都有其特定问题。首先，我们必须针对给定的工作任务决定选择何种 特征。特征应为显著的对象，大量分布于整幅图像中，并易于检测。通常情况下，被检 测的特征需有一定的物理意义。基准图像与模板图像的特征集应有足够的共同之处，即 使两幅图像拍摄的场景并不完全一致或存在其他一些难以预料的变化。检测算法需定位 准确，对模板图像的退化不敏感。在理想的情况下，不论图像出现何种畸变，好的检测 算子应具有在两幅图像中检测出相同特征的能力。 匹配特征时，因图像畸变导致的错误特征检测将使得误配准概率增加。由于拍摄环 境存在差异或( 和) 传感器对不同波段具有不同的敏感度，配准图像的相应物理特征会有 所不同，选择特征描述子与相似性度量方法时必须考虑这些因素的影响。特征描述子需 在可能存在的图像退化情况下保持不变特性，应当有能力区分不同的特征，并且具有足 够的稳定性，不受轻微的意外特征变化和噪声的影响。而不变空间里的匹配算法则应当 华中科技大学硕士学位论文 有强的鲁棒往粕高效性，一幅闺像相应于勇一幅图像菜一特征的缺失对整稀图像的匹配 不适成影响。 浃射函数( 转羧函数) 类鼙韵确定依赖子裔关两幅鼙像懿先验辩谖。懿粟没有糯痰 的先验知识，那么在选择交换模型糖，应当充分考虑胃能敬现豹图像遮纯，当然，特 逶 检溺算法蠹备精度、特征薅瘦估计懿w 靠性、丐接受静配准谈差等毽部庭在考虑乏残。 最嚣，内援方法静耩度嚣求与