（信号与信息处理专业论文）图像配准技术研究.pdf

摘要 图像配准是遥感、医学、计算机视觉等很多领域中的一个基本问题。所谓图 像配准是指将来自不同传感器，或者是由同一传感器在不同时刻、不同角度拍摄 的同一场景的两幅或多幅图像在空间位置上最佳地融合起来。 本文主要对图像配准方法中基于灰度的图像配准方法和基于特征的图像配准 方法分别进行了一下研究： ( 1 ) 图像预处理：分析了自然界图像颜色的可能种类，针对自然界图像颜色种 类多，难以实施对比，提出先将真彩色图像进行灰度化，一般有四种灰度化方法， 本文采用加权平均值法对彩色图像进行灰度化，该方法得到的灰度图像在视觉上 比较接近人的主观感觉。 ( 2 ) 基于灰度的图像配准：分析了传统的空间互相关和相位相关图像配准法， 针对上述两种方法只能对存在平移变化的图像进行配准，不能对存在旋转变化的 图像进行配准，提出采用r a d o n 变换和相位相关相结合的方法，首先将旋转变化 转换成平移变化，然后再利用相位相关进行配准。实验证明该方法具有准确率高， 鲁棒性好的特点。 分析了用于旋转图像配准的常见方法一对数极坐标变换法，针对该方法存 在采样不均匀的问题：一是由于靠近中心处的过采样而造成计算上的浪费，二是 因靠近边缘处的欠采样而造成信息的丢失。本文提出一种自适应对数极坐标变换 的方法来，该方法实现了图像从笛卡尔坐标系转换到对数极坐标系时的均匀采样。 经实验证明，本文提出的方法精确度高，实时性好。 ( 3 ) 基于特征点的图像配准：分析了比较常用的两种特征点提取算子 h a r r i s 特征点提取算子和s i f t 特征点提取算子，针对h a r r i s 算子提取的特征点可 能集中在某一个小区域，本文采用最大统计滤波对图像进行非最大抑制的方法来 实现角点的均匀分布。实验证明该方法可以获得分布比较均匀的角点。针对特征 点的匹配，本文首先采用l t sh a u s d o r f f 距离进行特征点的初匹配，然后采用基于 s a m p s o n 距离的随机抽样一致性算法去除伪匹配的特征点对。实验证明，该方法可 以实现图像的精确配准。 关键字：图像配准；相位相关；自适应极坐标变换；h a r r i s 算子；s i f t 算子；特 征点匹配 a b s t r a c t i m a g er e g i s t r a t i o ni s af u n d a m e n t a lp r o b l e mi nm a n yf i e l d s ，s u c ha sr e m o t e s e n s i n g , m e d i c i n e ，c o m p u t e rv i s i o na n ds oo n i ti su s e dt om a t c ht w oo rm o r ep i c t u r e s t a k e n ，f o re x a m p l e ，f r o md i f f e r e n ts e n s o r s ，o ra td i f f e r e n tt i m e so rf r o md i f f e r e n t v i e w p o i n t so ft h es a m es 钮l s o r s i i m a g ep r e p r o c e s s i n g t h ei m a g ec o l o ri nn a t u r eh a sb e e na n a l y s e d ，t h e r ea r es om a n yd i f f e r e n c ec o l o r s t h a ti ti sd i f f i c u l tt oc o m p a r a t i o n t r a n s f o r mt r u ec o l o ri m a g et og r a yi m a g eh a sb e e n p u tf o r w a r d g e n e r a l l yt h e r e a r ef o u rm e t h o d st ot r a n s f o r m a t i o n t h ep a p e l u s e w e i 曲t e da v e r a g em e t h o dt oi m p l e m e n t e x p e r i m e n tr e s u l t s s h o wt h a t i m a g e s t r a n s f o r m e db yt h i sm e t h o da r em o r ec l o s et ot h ep e r s o n ss u b j e c t i v ef e e l i n go nt h e v i s i o n i i i m a g er e g i s t r a t i o nb a s e do ng r a y t h et r a d i t i o n a ln o r m a l i z c dc r o s s c o r r e l a t i o na n dp h a s ec o r r e l a t i o nh a v eb e e n a n a l y s e d ，c o n s i d e r i n g t h ea b o v et w om e t h o d sa r ea v a i l a b l ei nt r a n s l a t i o nc h a n g e b u tn o ta v a i l a b l ei nr o t a t i o nc h a n g i n gi m a g er e g i s t r a t i o n ，t h er a d o nt r a n s f o r m a t i o n c o m b i n e d 耐t hp h a s ec o r r e l a t i o nh a sb e e np u tf o r w a r d f i r s t l y , i tt r a n s f o r m sr o t a t e d i f f e r e n c et ot r a n s l a t i o nd i f f e r e n c e , t h e nu s e sp h a s ec o r r e l a t i o nf o r r e g i s t r a t i o n e x p e r i m e n tr e s u l t ss h o w t h a tt h em e t h o di sa c c u r a t ea n dr o b u s t 1 1 1 ec o m m o ni m a g er e g i s t r a t i o nm e t h o d - 一t h el o g p o l a rt r a n s f o r mm e t h o dh a s b e e na n a l y s e d , c o n s i d e r i n gl o g - p o l a rc o o r d i n a t e st r a n s f o n ne x i s t s p r o b l e mo ft h e u n e v e ns a m p l i n g ：o n ei so v e r s a m p l i n ga sn e a rt h ec e n t e ro ft h ei m a g ew h i c hc a u s e st h e c o m p u t a t i o ni sl a r g et h a ni ti s ，t h eo t h e ri sd o w n s a m p l i n g a sn e a rt h ee d g eo ft h ei m a g e w h i c hc a u s e st h em i s so fu s a b l ei n f o r m a t i o n a na d a p t i v ep o l a rc o o r d i n a t et r a n s f o i t n m e t h o dt oa c h i e v ei m a g e sf r o mac a r t e s i a nc o o r d i n a t es y s t e mo fp o l a rc o o r d i n a t e c o n v e r s i o nt os a m p l i n gu n i f o r m i t yh a sb e e np u tf o r w a r d p r o v e db yt h ee x p e r i m e n t ，t h e m e t h o di sh i 曲p r e c i s i o n ，g o o dr e a l t i m ei nt h i sp a p e r i i i i m a g er e g i s t r a t i o nb a s e do nf e a t u r ep o i n t s t h ec o m m o nt w o f e a t u r ed e t e c t i o nm e t h o d ：h a r r i sa l g o r i t h ma n ds i f ta l g o r i t h m i nh a v e b e e na n a l y z e d c o n s i d e r i n gt h eh a r r i so p e r a t o r se x t r a c tf e a t u r ep o i n tm a yf o c u s o nas m a l lr e g i o n , t h eb i g g e s ts t a t i s t i c a lf i l t e r i n go ni m a g en o n - m a x i m a ls u p p r e s s i o n m e t h o dt oc o n t r o lt h ed i s t r i b u t i o no ft h ea n g u l a rp o i n th a sb e e np u tf o r w a r d p r o v e db y t h ee x p e r i m e n t , t h ef e a t u r ep o i n t sd e t e c t e db yt h em e t h o da r ee v e n f o rt h er e g i s t r a t i o n o ff e a t u r ep o i n t s ，f i r s t l y , l t sh a u s d o r f fd i s t a n c eh a sb e e nu s e dt om a t c hf e a t u r ep o i n t s ， r c l t l o v ef a l s em a t c h i n go ff e a t u r ep o i n t sw i t ht h eh e l po far a n d o ms a m p l eo f c o n s i s t e n c y e x p e r i m e n tr e s u l t ss h o wt h a tt h i sm e t h o dr e a l i z e st h ep r e c i s ei m a g e r e g i s t r a t i o n k e y w o r d ：i m a g er e g i s t r a t i o n ；p h a s ec o r r e l a t i o n ；a d a p t i v ep o l a rc o o r d i n a t et r a n s f o r m ； h a r r i sa l g o r i t h m ；s i f ta l g o r i t h m ；m a t c h i n gf e a t u r ep o i n t s 1 绪论 1 1 图像配准技术的原理及意义 1 1 1 图像配准原理 把掣实平面分为网格，每一网格中心的坐标是笛卡儿积z 2 的一对元素，z 2 是 所有有序元素对( 毛，z ，) 的集合，z f 和z j 是z 中的整数。令 ，y ) 为z 2 中的整数， 厂为把灰度级值r 赋予每个坐标对( x ，y ) 的函数，则厂y ) 就表示一幅数字图像。 若约定原点坐标值亿y ) = ( 1 ，1 ) ，则m 的数字图像f ( x ，y ) 可用矩阵表示为 f ( x ，y ) = f ( 1 ，1 ) f ( 2 ，1 ) f ( m ，1 ) f ( 1 ，2 ) f ( 2 ，2 ) f ( m ，2 ) f ( 1 ，m f ( 2 ，加 f ( m ，加 ( 1 - 1 ) 数字图像可以用一个二维矩阵表示，如果用( 石，y ) 、厶( x ，y ) 分别表示浮动图 像和参考图像在点( x ，y ) 处的灰度值，那么图像厶、厶的配准关系可表示为 h ( x ，y ) = g ( i i ( f ( x ，y ) ) ) ( 1 - 2 ) 其中，厂代表二维的几何变换函数：g 表示一维的灰度变换函数。 配准的主要任务就是寻找最佳的空间变换关系厂与灰度变换关系g ，使两幅图 像实现最佳对准。由于空间变换是灰度变换的前提，而且有些情况下灰度变换关 系的求解并不是必需的，所以寻找空间几何变换关系就成了配准的关键，于是 式子( 1 2 ) 可以改写为 厶( x ，y ) = i t ( f ( x ，y ) ) ( 1 3 ) 1 1 2 图像配准的意义 随着新型传感器的不断涌现，人们获取图像的能力迅速提高，不同物理特性 的传感器所产生的图像也不断的增多。由于不同图像传感器获取的图像数据存在 明显的局限性和差异性，所以仅仅利用一种图像数据往往难以满足实际需求。为 此，需要通过图像融创l 】或拼接【2 技术将不同传感器获取的图像综合起来使用，达 到对目标更全面、清晰、准确的理解和认识的目的。而图像配准技术是实现图像 融合的重要前提，因此对图像配准技术进行研究具有重大意义。 所谓图像配准 3 巧】是指将来自不同传感器，或者是由同一传感器在不同时刻、 不同角度拍摄的同一场景的两幅或多幅图像在空间位置上最佳地融合起来。它已 经在遥感图像处理( 环境监测、图像拼接、多谱分类、天气预报、地球信息融合系 统( g i s ) 、超分辨率重构) 、医学图像处理中c t 、m r i 、p e t 图像信息融合和计算 机视觉( 目标定位、自动质量控制) 、模式识别、自动导航等领域广泛应用。其中 比较典型的是在遥感图像和医学图像中的应用。 遥感学l - ，岱j 作为- f lj 下在兴起、并有着广泛应用前景的学科，是到目前为止能 够提供全球范围动态观测数据的唯一手段，具有空间上的连续性和时间上的序列 性。遥感图像数据类型多种多样，包括不同空间分辨率的、不同光谱范围的以及 不同传感器的，而这些图像之间往往存在比较大的差异性，因此对这些图像的配 准必不可少。 医学图像【9 。10 】的配准是二十世纪九十年代才发展起来的一项技术，它是指通 过寻找某种空间变换，使两幅或多幅图像的对应点达到空间位置和解剖结构上的 完全一致。配准的结果应使两幅或多幅图像上所有的解剖点，或至少是所有具有 诊断意义及手术区域的点都达到匹配。比如，m r 图像对软组织解释清晰，但对骨 组织分辨能力不佳；c t 图像正好与之相反，它对骨组织相当敏感，分辨率非常好； p e t 图像刚好可以弥补m r 、c t 对功能成像方面的不足，因为它主要反映身体各 部的代谢情况。将不同模态的图像精确地配准，可以得到更全面可靠的资料，从 而进行更细致的医学诊断。 1 2 图像配准技术的现状与发展 二十世纪七十年代，图像配准技术最早被应用于从事武器投射系统的末制导、 飞行器辅助导航系统以及寻地等领域。八十年代后，图像配准技术在医学图像、 遥感、计算机视觉等很多不同领域得到了广泛的应用。目前像素级图像配准技术 已基本成熟，亚像素级图像配准技术正在快速的发展，也正得到越来越广泛的应 用。 国外，l e e s e 【1 1 】于1 9 7 1 年提出了绝对帧差( m a d ) 算法；b n r n e a 于1 9 7 2 年提出 了序贯相似性检测法一s s d a 法；p e a n u t a 1 2 j 提出了使用f f t 计算图像互相关的 图像配准技术，来提高配准的速度：c h a r r i s 和m j s t e p h c n s 1 3 提出了一种鲁棒的 h a r r i s 角点提取算法并得到广泛的应用，取得了良好的配准效果：d a v i dc tl o w e 【l 4 j 于1 9 9 9 年在图像尺度空间理论的基础上提出了s i f t 特征提取算子，并在2 0 0 4 年 进行了完善。 在国内，图像配准技术起步相对较晚，但后来也获得了较大的发展。李智【1 副 等针对轮廓特征丰富的图像提出了基于轮廓相似性测度的图像配准方法。t , b 睿l l 6 】 等提出了使用互相关系数作为相似性测度的半自动的图像配准方法。郭海涛 l 等 提出将遗传算法( g e n e t i ca l g o r i t h m ，简称g a ) 用于图像配准的算法。熊兴华等【1 驯 提出将遗传算法和最d , - 乘法结合用于图像的亚像素级配准。 综上可知，图像配准技术经过多年的不断研究，己经取得了很多的研究成果， 不论在国内还是国外，图像配准技术都得到了迅速的发展。某种配准算法的提出 大多是针对某一领域的图像而提出的，因此寻找一种在医学图像、遥感、计算机 视觉等诸多领域通用的并且行之有效的图像配准技术也是目前正在积极探索和研 究的课题。图像配准算法的高精度性、强鲁棒性、实时性以及图像配准的自动化 一直以来都是图像配准领域所不断追求的目标。 1 3 本文组织结构 由于待配准图像的多样性，图像配准算法也多种多样。本文主要研究具有平 移和旋转特性图像的配准算法。对基于灰度的图像配准和基于特征的图像配准做 了主要研究，并在提出了自己的见解。同时，通过大量的图像配准实验仿真，证 明了本文提出的新算法的有效性和稳定性。 全文共分为五章，各章节内容安排如下： 矗： 第一章为绪论，阐述了图像配准的原理、背景与意义，并概述了图像配准技 术的应用领域及国内外研究进展。 第二章介绍了图像预处理技术，包括真彩色图像灰度化，图像的四种空间变 化模型，图像三种灰度插值方法和边缘检测算子。 第三章研究了基于灰度匹配的图像配准方法，重点研究了空间互相关、频域 互相关和r a n d o n 变换在灰度匹配中的优缺点，并通过实验进行了分析；针对相关 匹配不能有效地对存在旋转变换的图像进行匹配，在现有极坐标变换的基础上提 出了自适应极坐标变换，改进了匹配的速度，又不降低匹配的精度。 第四章研究了基于点特征的图像配准方法，其中重点分析研究了h a r r i s 和 s i f t 两种应用比较广泛的特征提取算法，针对h a r r i s 算子提取的特征点可能集中 在某一个小区域，提出采用最大统计滤波对图像进行非最大抑制的方法来进行角 点分布的控制。最后采用l t sh a u s d o r f f 距离进行特征点的初匹配，采用基于 s a m p s o n 距离的随机抽样一致性算法去除伪匹配的特征点对来实现图像的精确配 准。 第五章是总结展望，给出了全文的总体结论，并提出了进一步的研究方向。 2 图像预处理 2 1 真彩色图像转化为灰度图像 自然界中的所有颜色都可以由红( 尺) 、绿( g ) 和蓝( 曰) 三原色组合而成，r g b 色 彩系统是通过将r 、g 、曰这三种颜色按一定的比例相加来产生其他颜色。真彩 色图像中包含最多达2 2 4 种颜色，难以实施对比，所以通常将彩色图像转化为灰 度图像。将彩色图像转化为灰度图像的方法很多，比较常用的方法有加权平均值 法、平均值法、最大值法和单色法。 ( 1 ) 加权平均值法 l w 是被欧洲电视系统所采用的一种颜色编码方法。其中“y 表示亮度 ( l m i n a n e e ) ，即灰度值；而“u 和“y 表示色度( c h r o m i n a n c e ) ，作用是描述影 像色彩及饱和度，用于指定像素的颜色。亮度是通过r g b 输入信号来创建的，方 法是将r g b 信号的特定部分叠加到一起。r g b 与h 之间有下面的对应关系 ，p 9 9 - o 1 4 80 6 1 5 【y 【，v j = r gb 10 5 8 7 0 2 8 9 0 5 1 5 ( 2 一1 ) l o 11 40 4 3 7 一o 1 0 0 - j 由于y 代表了图像的灰度值，所以用y 分量表示像素点的灰度值，即： y = 0 2 9 9 r + o 5 8 7 g + 0 1 1 4 b ( 2 2 ) 由式( 2 2 ) ，根据图像的尺、g 、口值求出】，值，然后将像素点的尺、g 、曰值 都赋值成y ，就能将真彩色图像转换成灰度图像。 ( 2 ) 平均值法 平均值法，就是将图像的r 、g 、b 值求平均，然后将平均值作为灰度图的 灰度值。转换公式如式( 2 3 ) 】，= ( r + g + b ) 3 ( 2 - 3 ) ( 3 ) 最大值法 最大值法，就是求像素的尺、g 、曰值的最大值，将其最大值作为灰度图的 灰度值。转换公式如式( 2 - 4 ) y = m a x ( r ，g ，曰) ( 2 4 ) ( 4 ) 单色值法 单色值法，就是将图像的r 、g 、曰值的任何一个值作为灰度图的灰度值。 转换公式如式( 2 - 5 ) y = r 或y = g 或y = b ( 2 5 ) 最大值法和平均值法灰度化以后，相同颜色的像素具有相同的亮度，这就形 成了以亮度为层次的灰度图像。灰度值大的像素比较亮，反之较暗。而加权平均 值法的系数取值建立在人眼视觉模型的基础上，对于人眼比较敏感的绿色分量， 赋予了较大的系数，对于人眼比较迟钝的蓝色分量则取较小的系数。这样得到的 灰度图像在视觉上比较接近人的主观感觉。 本文采用加权平均值法，将彩色图像转换为灰度图像( 通常将灰度值分为2 5 6 个等份，“o 表示最暗的级别；“2 5 5 表示最亮的级别) ，实验结果如图2 2 所示。 ( a ) 彩色图像泐加权平均值法灰度化结果铲 图2 1 彩色图像经加权平均值法灰度化后效果图 2 2 图像空间变换模型 两幅图像之间的空间几何变换函数厂可以用空间变换模型进行描述，空间变 换模型可以分为刚体( r i g i db o d yt r a n s f o r m a t i o n ) 、仿射变换( a t f i n e t r a n s f o r m a t i o n ) 、投影变换( p r o j e c t i v et r a n s f o r m a t i o n ) 和非线性变换( n o n l i n e a r t r a n s f o r m a t i o n ) 。 2 2 1 刚体变换 刁= - c s o ；三s 秒0 - c 葛s i n 汐o 习 i + 钥 q 二 其中p 是图像的旋转角度，k 缈】是图像的平移量。上述变换是以坐标原点 阡牌训 + 钢， 2 2 2 仿射变换 乏， = 丢考习 i + 芎 c 2 8 ， 1 001 1 ( a ) 源图像刚体变换后图像 图2 2c 锄踟髓a n 图像的刚体交换 ( a ) 源图像仿射交换后图像 图2 3c 锄嘲哑粗图像的仿射变换 2 2 3 投影变换 投影变换使一幅图像中的直线经过变换后仍为直线，但是平行关系不再保持， 如图2 4 所示。投影变换具有8 个参数，能够更加全面的描述图像间的平移、旋转、 缩放等变换。在二维图像空间中，点( x ，y ) 经过投影变换到点g ，y ) 的映射公式为： 雠兰爿iya i1 口5口6i i j 。儿l x = x w ，y = y w ，w 为缩放参数，w = a t x + a 8 y + 1 ( a ) 源图像泐投影变换后图像 图2 4c a l l l a a l n a 图像的投影变换 ( 2 9 ) 2 2 4 非线性变换 非线性变换使一幅图像里的直线经过变换后不再是直线，而是成了魄线，如 图2 5 所示。非线性变换一般使用多项式函数，如二次、三次函数及薄板样条函 数。在二维图像空间中，点心y ) 经过非线性变换至点( ，y ) 的多项式函数映射公 式为： 石2 口。+ 口l x + a 2 y + a 3 x y + a 4 + 口5 ：+ ( 2 1 0 ) l y = b o + 岛石+ 如少+ 岛砂+ 石2 + 岛y 2 + 、 7 这一变换非常适合于表征凹凸镜头或者拍摄扭曲的成像情况。 从上面的分析可知，针对不同的应用，我们可以选取不同的变换模型，变换模 型的参数越多，描述图像配准问题就越详细，但是相应的计算复杂度也随之增加， 而在我们的应用( 物体无形变) 中，刚体模型己满足了要求，因此，本文的基本 模型选择为刚体变换模型。 2 - 3 灰度插值 ( a ) 源图像( b ) 非线性变换后图像 图2 5c a l l l c t a m a i l 图像的非线性变换 灰度插值技术主要解决像素灰度级的赋值问题，当确定了参考图像和浮动图 像间的空间变换参数之后，需要对配准图像中像素灰度级赋值，实现赋值的方法 有正向映射法和反向映射法两大类，如图2 ：6 所示。所谓正向映射法是从原始图像 上的像素点坐标出发，求出配准后图像上对应的像素点坐标，然后将原始图像上 像素点的灰度值赋值给配准后图像上对应的像素点；反向映射法是指从配准后图 像上像素点坐标出发，求出原始图像上对应的像素点坐标，然后将原始图像上像 素点的灰度值赋值给配准后图像上的对应的像素点。由于计算机中的图像是数字 图像，像素值只定义在整数坐标处，采用正向映射法将存在两大问题：一是配准 图像可能有些像素没有赋值；二是原始图像上的多个像素点可能同时映射到配准 图像的同一个像素点。通常反向映射比正向映射更容易实现，所以在配准中一般 采用反向映射法。 赢f 、 ? 、 融询 的i 。 r 澡蟹豢 i g 准l t l u t 磊 的乌 jl 摄厢t e 准苍 ( a ) 正向映射不意图( b ) 反向映射示意图 图2 - 6 正向映射和反向映射示意图 反向映射法的具体实现过程是：从配准后图像上的像素出发，找到原始图像 上对应的坐标位置，由于该位置的坐标值可能不是整数，因此需要利用原始图像 上该对应位置周围像素点的灰度值，通过插值方法求出该位置的灰度值，然后将 求得的灰度值赋给配准后图像上的像素点。 常用的灰度级插值方法有最近邻插值法( n e a r e s ti n t e r p o l a t i o n ) 、双线性插值法 ( b i l i n e a ri n t e r p o l a t i o n ) 和立方卷积插值法( c u b i cc o n v o l u t i o ni n t e r p o l a t i o n ) 。一般来说， 在三种插值技术中，最近邻插值法速度最快，效果最差；双线性插值法效果较好， 运算时间是最近邻插值法的3 , - 4 倍；立方卷积插值法效果最佳，但运算速度最慢， 是最近邻插值法的1 0 倍左右。 基于上述分析，本文本着取中的原则，采用双线性插值法。? 2 3 1 最近邻插值法 所谓最近邻插值法是：配准图像的像素经过反向映射得到原始图像上的一个 浮点坐标，对其进行四舍五入的取整，得到一个整数型坐标，这个整数型坐标对 应的灰度值就是配准图像对应像素的像素值。也就是说，取原始图像浮点坐标最 邻近的点对应的灰度值赋给配准图像。 在图像配准的灰度级插值过程中，经常需要处理出界点的问题。出界点是指 反向映射点超出原图像区域，比如在几何变换时，反向映射点坐标值为负值。对 于不在原图像中的点，可以直接将它的灰度值统一设置为某一个固定值( 如对于 灰度图设置为0 或2 5 5 ，即黑色和白色) 。 在二维图像空间中，配准图像，：中点( 工，j ，) 经过反向映射到原始图像，。中点 ( x ，y ) 的最近邻插值的计算表达式为： j2zy勺=il(xro，un，)d=(x),加“孢dy：xx，,yy)e12y 0 萑2 1 ( 2 11 ) 【 ( x ，7 ) = ( x ，y ) 萑l 、7 2 3 2 双线性插值法 双线性插值假定内插点p 四周四个点围成的区域内的灰度变化是线性的，从 而可以用线性内插方法，根据四个近邻像素的灰度值，计算出内插点p 的灰度值。 双线性插值法的计算示意图如图2 7 所示。 ( i ，+ d 一 ( 1 + l j + o 9 十i ，刀9 图2 7 双线性插值示意图 假设配准图像映射得到参考图像上的一个浮点坐标为( f + 缸，_ ，+ 缈) ，其中i 、j 为正整数，缸、a y 为【0 ，1 区间的纯小数，则f ( i + a x ，j + a y ) 的值可以由参考图像 中坐标为g ，) 、( i + 1 ，j ) 、( f ，j + 1 ) 、( f + 1 ，+ 1 ) 所对应的四个像素的灰度值共同决 定，即： ( f + z ，j + a y ) = ( 1 - a x ) o a y ) f ( i ，) + 缸( 1 一a y ) f ( i + 1 ，) + a y o - a x ) f ( i ，j + 1 ) + a x a y f ( i + 1 ，+ 1 )( 2 - 1 2 ) 2 3 3 立方卷积插值法 立方卷积插值法根据反向变换点p 周围邻域1 6 个像素点的灰度值按一定的加 权系数计算加权平均值，从而内插出反向变换点的灰度值。立方卷积插值法的计 算示意图如图2 - 8 所示。 假设浮动图像通过反向映射得到参考图像上的一个浮点坐标为 g + 血，j + 缈) ，其中f ，j 为正整数，a x ，缈为 o ，1 】的纯小数，, 贝l j f ( i + a x ，- + 缈) 的 割墅云；图像配准挂盔硒究 1 5 值可以由参考图像中i 池为中心邻域的1 6 个像素的灰度值共同决定，其计算公式为 f ( i + 缸，_ + a y ) = a 木b 半c( 2 - 1 3 ) b = “- l d - 1 ) t l 力 e i j + ot j 曲 t ，s - z ) 融力p ，+ 1 )辱阳 二母 卧l 产p 虿p + z j 一9 a + 工j 口埘+ d簟+ z 2 + 2 1 图2 8 立方卷积插值法示意图 彳= b ( 1 + 缈) 4 a y ) j ( 1 一缈) 4 2 - a y ) ( 2 1 4 ) 厂( f 一1 ，一1 ) f ( i ，一1 ) 厂( f + l ，一1 ) f ( i + 2 ，一1 ) 厂( f l ，) f ( i ，歹) f ( i + l ) f ( i + 2 ，歹) c = f ( i 一1 ，j f + 1 ) f ( i ，_ + 1 ) f ( i + l ，_ ，+ 1 ) f ( i + 2 ，+ 1 ) s ( 1 + a x ) s ( 缸) s ( 1 一缸) s ( 2 - - a x ) s ( w ) 为插值加权系数函数，其表达式为 2 4 图像边缘检测 s ( w ) = 1 2 l 叫2 + i 叫3 4 8 | 卅+ 5 i 叫2 一i 叫3 0 f ( i 一1 ，_ ，+ 2 ) f ( i ，_ ，+ 2 ) f ( i + 1 ，+ 2 ) f ( i + 2 ，_ ，+ 2 ) ( 2 - 1 5 ) ( 2 一1 6 ) ( 2 1 7 ) 边缘是图像最基本的特征之一，自二十世纪六十年代年以来，先后发展了一 系列采用梯度算子和l a p l a c e 算子的边缘检测技术；为了降低图像噪声对边缘检测 算法的干扰，1 9 8 0 年，建立了高斯低通滤波与l a p l a c e 算子相复合的过零点检测 m a r r - h i l d r e t h 理论( 即l o g 过零点检测理论) ；1 9 8 3 年c a n n y 在麻省理工的硕士 论文中提出了c a n n y 边缘检测算子。目前边缘检测技术已经广泛应用于计算机视 觉、图像分析等领域，是图像分析与识别的重要环节。 一幅数字图像的一阶导数是基于各种二维梯度的近似值。图像f ( x ，y ) 在位置 ( x ，y ) 的梯度定义为下列向量： v 尹= 旧= j l c - j 毯 a x 毯 砂 ( 2 1 8 ) 从向量分析中我们知道，梯度向量指向在坐标( 石，y ) 的厂的最大变化率方向。 在边缘检测中，一个重要的量是这个向量的大小，用v f 表示，这里 v f = ，z a g ( v i ) = k + 霉弘 ( 2 - 1 9 ) v f 一般称为梯度，表示在盯方向上每增加单位距离后f ( x ，y ) 值增大的最大 变化率。 由上面的分析可知：两个具有不同灰度值的相邻区域之间总存在边缘，边缘 是灰度值不连续的结果。这种不连续性通常可以利用求导数的方法方便地检测到， 一般常用一阶导数或二阶导数来检测。 边缘检测的实质是采用某种算法来提取出图像中对象与背景间的交界线。我 们已经知道边缘定义为图像中灰度发生急剧变化的区域边界。图像灰度的变化情 况可以用图像灰度分布的梯度来反映。边缘检测技术一般都采用图像滤波的方法， 即先对图像滤波，再对滤波结果作一阶或二阶导数以寻找边缘。该方法可以分为 两大类：局部极值检测和过零点检测。前者有r o b e r t s 算子、k i r s c h 算子、s o b d 算子、p r e w i r 算子、c a n n y 算子等一次微分算子。c a n n y 算子是对经g a u s s 函数平 滑后的图像的方向导数求极值。后者最具代表的有m a r r h i l d r e t h 边缘检测方法 ( l o g 算子) 以及二次微分算子l a p l a c i a n 算子。l o g 算子是对原始图像用g a u s s 函 数平滑，然后用l a p l a c i a n 算子处理平滑后的图像，即检n - 阶差分的过零点。 边缘检测的基本思想是首先利用边缘增强算子，突出图像中的局部边缘，然 后定义像素的“边缘强度”，通过设置门限的方法提取边缘点集。 常用的边缘检测算子由r o b e r t 算子、s o b d 算子、p r e w i r 算子、l o g 算子和 c a n n y 算子，下面分别予以介绍。 1r o b e r t 算子 r o b e r t 算子是一种利用局部差分算子寻找边缘的算子，其模板如图2 - 9 所示。 r o b e r t 算子对具有陡峭的低噪声图像效果较好。由于2 x 2 大小的模板没有清楚的 中心点，很难使用，所以一般使用3 x 3 的模板。 l p0 矿 0 p1 = i ，0 审l p ，1 p0 妒 图2 - 9r o b e r t 算子 2p r e w i t t 算子 p r e w i t t 算子的两个卷积计算核如图2 1 0 所示，与使用s o b c l 算子的方法一样， 图像中的每个点都用这两个核作卷积，取最大值作为输出。p r c w i t t 算子也产生一 幅边缘幅度图像，也是对灰度渐变和噪声较多的图像处理得较好。 1 p0 f一1 ， 1 了0 ，一1 p 1 p0 p一1 p 1 矿1 p1 矿 o p0 p 0 p 一1 pl p 一1 ， 图2 - 1 0p r e w i t t 算子 3s o b e l 算子 s o b e l 算子的两个卷积计算核如图2 1 l 所示，图像中的每个点都用这两个核做 卷积，第一个核对通常的垂直边缘响应最大，第二个核对水平边缘响应最大。两 个卷积的最大值做为该点的输出值，运算结果是一幅边缘幅度图像。s o b e l 算子对 灰度渐变和噪声较多的图像处理的较好。s o b e l 算子在抑制噪声特性方面比p r c w i t t 略好些。 图2 - 1 1s o b e l 算子 4l o g 算子 拉普拉斯算子的卷积核如图2 1 2 所示，它是一个二阶算子，将在边缘处产生 一个陡峭的零交叉。拉普拉斯算子是一个线性的、移不变的算子，它的传递函数 在频域空间的原点是零，因此经拉普拉斯滤波过的图像具有零平均灰度。l o g 算 子先用高斯低通滤波器将图像进行预先平滑、然后用拉普拉斯算子找出图像中的 陡峭边缘，最后用零灰度值进行二值化产生闭合的、连通的轮廓，消除了所有内 部点。 0 p一1 p 0 矿 一1 p4 , 0 1 p 一1 p 0 p 一1 p一1 ，一1 ， 一1 p8 p一1 p 一1 ，一1 p一1 p 图2 1 2 拉普拉斯算子 5c a n n y 算子 c a n n y 算子检测边缘的方法是寻找图像梯度的局部最大值。c a n n y 算子使用一 阶导数的极大值表示边缘。其基本思想是先将图像使用g a u s s 函数进行平滑，再 由一阶微分的极大值确定边缘点。c a n n y 方法使用两个阈值来分别检测强边缘和弱 边缘，并且仅当弱边缘与强边缘相连时，弱边缘才会包含在输出中。因此，此方 法不容易受噪声的干扰，能够检测到真正的弱边缘。 在用高斯函数对图像f ( x ，y ) 进行滤波得到f g 4 ( 工，y ) ，其中a 为相应的尺度 因子。计算其梯度矢量的模和方向： m a = l l s ( x ，y ) 宰v g o ( x ，y ) 0 ( 2 2 0 ) a a 箍耥( 2 - 2 1 )颐石雨葡 图像边缘点即为在方向4 上使心取得局部极大值的点。 ( a ) 原图像 c o ) r o b e r t 边缘检测图像 ( c ) s o b e l 边缘检测图像( d ) p r c 嘶t t 边缘检测图像 ( e ) l o g 边缘检测图像c a n n y 边缘检测图像 图2 1 3 几种边缘检测算子对c a m c r a m a l l 图像检测结果的比较 由上面的五种边缘检测的效果图可以看出，c a n n y 边缘检测可以检测出更多的 细节边缘，从而可以获得图像的更多的细节信息。故本文采用c a n n y 边缘检测。 2 5 本章小结 本章详细介绍了彩色图像转化为灰度图像的四种方法一加权平均值法、平 均值法、最大值法和单色法；图像转换中用到的四种变换模型，刚体变换、仿射 变换、投影变换和非线性变换；图像三种插值方法一最近邻插值法、双线性插 值法和立方卷积插值法；图像边缘的定义以及五种边缘检测算子一r 0 b 甜边缘 检测算子、s o b e l 边缘检测算子、p r e w i t t 边缘检测算子、l o g 边缘检测算子、c a n n y 边缘检测算子。通过分析，指出本文采用加权平均值法对彩色图像进行灰度化： 所用模型为刚体变换模型，插值方法采用折中原理选择双线性插值法，由于c a n n y 边缘检测可以检测出更多的细节，所以采用c a n n y 边缘检测算子。 3 基于灰度的图像配准 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是 利用图像本身具有的灰度的一些统计信息来度量图像的相似程度。主要特点是实 现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的 搜索过程中往往需要巨大的运算量。 3 1 空域互相关 3 1 1 空域互相关原理 空域互相关【1 9 】配准方法是最基本的基于灰度统计的图像配准方法。它要求参 考图像和待配准图像具有相似的尺度和灰度信息，并以参考图像作为模板在待配 准图像上进行遍历，计算每个位置处参考图像和待配准图像的互相关。互相关最 大的位置就是参考图像中与待配准图像相应的位置，所以通常空域互相关配准又 称模板匹配法。 模板匹配法是在一幅图像中选取一个的m x m 图像窗口作模板，m 的取值通 常为5 或7 ，然后通过计算相关函数来找到它在搜索图中的坐标位置。设模板t 放在搜索图s 上平移，模板覆盖下的那块搜索图叫做子图s ( i j ) ，子图的中心点在 s 图中的坐标( 功叫参考点。如图3 1 所示： m xm 模板 图3 - 1 互相关匹配模板 对于一个模板z 和图像f ( x ，y ) ，则两者的归一化互相关函数为 r ( x ，y ) f ( x - u ，y v ) a u 2 蔫一 。- 1 ) 如果t 对于( x ，y ) 有平移a 、b ，那么c ( u ，v ) 在a 、b 处达到最大值，如图3 2 中的( c ) 图所示。 3 1 2 实验结果与分析 为了测试空间互相关匹配的旋转特性，本文现将待配准图像分别旋转1 8 个不 同的角度数得到一组图像，然后与模板图像匹配，得到的峰值如表3 1 所示，部分 实验结果如图3 3 所示。 从表3 1 中可以看出，当旋转角度大于5 0 时，相关峰值明显下降，匹配的准 确性已经达到了不能接受的程度，所以空间互相关不适合用在存在较大旋转角度 的图像配准中。并且由于空域互相关是采用遍历的，尤其是对于图像像素比较大 的图像而言，计算量相当大。 ( a ) 待配准图( b ) 模板图 ( c ) 相关图( d ) 配准图 图3 2 空间互相关配准实例 ( a ) 旋转4 5 0 后的图像( b ) 模板图 ( c )