（计算机应用技术专业论文）多传感器图像配准技术研究.pdf

摘要 摘要 图像配准是图像处理的基本任务之一，用于将不同时间、不同传感器、不同 视角或不同拍摄条件下获取的两幅或多幅图像进行( 主要是几何意义上的) 匹配。 本文提出了基于量子行为粒子群优化算法的图像配准新方法，是基于灰度的 图像配准方法，该方法将图像配准作为一个最优化问题，并采用在经典粒子群优 化算法和量子理论基础上提出的量子行为粒子群优化算法来搜索最优解，以归一 化互信息作为相似性准则，来提高配准的精度和鲁棒性。实验表明，该方法对于 多模态图像可以得到快速准确的配准结果。 基于特征的图像配准方法主要存在特征提取的多样性和相似性计算的复杂性 两个难点。本文针对以上两个难点实现了一种基于特征的图像配准算法。 首先采用小波多尺度积提取图像的特征点，同时保留特征点的角度信息。然 后，利用相关度匹配准则的优点，结合特征点的角度直方图信息，根据一定的阈 值，确定匹配点对。最后利用线性加权的方法消除误匹配点对，计算出仿射变换 参数，得到配准图像。实验表明，该方法计算复杂度低，提取的特征点分布均匀， 对于单模态图像可以快速、精确配准。 关键字：图像配准量子行为粒子群优化归一化互信息小波多尺度积相关度 i i i a b s t r a c t i m a g er e g i s t r a t i o ni saf u n d a m e n t a lt a s ki ni m a g ep r o c e s s i n g , m a t c h i n gt w oo r m o r ei m a g e sa td i f f e r e n tt i m e sf r o md i f f e r e n ts e n s o r so rv i e wp o i n t sg e o m e t r i c a l l y t h i sp a p e rg e n e r a l i z e san e wg r a y - b a s e di m a g er e g i s t r a t i o nm e t h o d ，w h i c hb a s e d o nq u a n t u m - b e h a v e dp a r t i c l es w a r m o p t i m i z a t i o n ( q p s o ) a l g o r i t h m q p s o d e v e l o p e do nt h eb a s i so f c l a s s i c a lp a r t i c l es w a r mo p t i m i z a t i o na n dq u a n t u m t h e o r y w e f o r m u l a t et h ei m a g er e g i s t r a t i o np r o b l e mu p o ns u c hi m a g e sa sa no p t i m i z a t i o np r o b l e m a n da d o p tq p s ot os o l v ei t a n du s en o r m a l i z em u t u a li n f o r m a t i o na ss i m i l a r i t yt o i m p r o v et h ev e r a c i t ya n dh a l e n e s so ft h em e t h o d i tc a ng e tf a s ta n da c c u r a t er e g i s t r a t i o n r e s u l tf o ri m a g e st h a tf r o md i f f e r e n ts e n s o r s t h e r ea r em a i n l yt w od i f f i c u l t i e si nf e a t u r e - b a s e da p p r o a c h ：v a r i e t yo fd e t e c t e d f e a t u r e sa n dc o m p l e x i t yo fc o m p u t a t i o no fs i m i l a r i t y t os o l v et h e s et w od i f f i c u l t i e s ， t h i sp a p e rr e a l i z e daf e a t u r e - b a s e da p p r o a c h f i r s t ，w a v e l e tm u l t i - s c a l ep r o d u c ti su s e dt od e t e c tf e a t u r ep o i n t so ft h ei m a g e ，a t t h es a m et i m e ，a n g l e so ft h ef e a t u r ep o i n t sa r eo b s e r v e d s e c o n d ，c o n f i r mt h em a p p i n g p o i n t su s i n gt h em e r i to fc r o s sc o r r e l a t i o n ，t h ei n f o r m a t i o no fa n g l eh i s t o g r a ma n da l l a p p r o p r i a t et h r e s h o l d a tl a s t ，m i s m a t c h e sa r er e m o v e du s i n gl i n e a r i t yw e i g h ta l g o r i t h m a n da f f i n ep a r a m e t e r sa r ec a l c u l a t e di no r d e rt oo b t a i nt h e r e g i s t r a t i o ni m a g e s e x p e r i m e n ts h o w st h a t t h i s m e t h o dc a ng e tc o n t r o l p o i n t su n i f o r m i t ya n dt h e c o m p u t a t i o ni ss i m p l e ，a n dc a l lg e ta c c u r a t er e g i s t r a t i o nr e s u l tq u i c k l yf o ri m a g e st h a t f r o ms a m es e n s o r s k e y w o r di m a g er e g i s t r a t i o nq p s o n o r m a l i z em u t u a li n f o r m a t i o nw a v e l e t m u l t i - s c a l ep r o d u c tc r o s sc o r r e l a t i o n 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在导 师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注 和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果； 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明 并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在年解密后适用本授权书。 本人签名： 导师签名： 日期 日期 第一章绪论 第一章绪论 1 1 论文背景和选题意义 图像配准是图像处理的一个基础问题，简单来说，图像配准就是将同一场景 的不同图像“对齐或进行广义的匹配。对同一场景使用相同或不同的传感器( 成 像设备) ，不同条件下( 天候、照度、摄像位置和角度等) 获取的两个或多个图 像一般会有所不同。同一场景多幅图像的差别可以表现在：不同的分辨率、不同 的灰度属性、不同的位置( 平移和旋转) 、不同的缩放、不同的非线性变换等。 为获得对场景更清晰、更易理解的图像，对场景进行深入分析，需要把这些图像 数据融合起来，而图像配准则是将这些图像数据进行融合的关键一步。具体而言， 图像配准主要应用于以下领域：( 1 ) 模式识别，如特征识别、目标运动跟踪、序 列图像分析等；( 2 ) 医学图像分析，肿瘤检测、白内障检测、图像结构信息融合 ( c t 、m r i 、p e t 和s p e c t 图像等) ；( 3 ) 计算机视觉，可用于目标定位、自 动质量控制等；( 4 ) 遥感数据分析，如定位和识别定义好的或已知特征的场景、 自然资源控制、市区增长检测等。 近年来，数字化战场环境技术逐渐成为军事力量倍增的关键，对于夺取信息 优势、提高精确打击、作战识别和导弹防御能力特别重要【1 】。战场可视化是数字化 战场取得信息优势的关键，其要素包括敌、我、友军的位置、作战环境的变化和 地形可视化，而正确的决策取决于对作战空间的一致性了解和对战场态势与战场 损伤的正确评估和判断。为此，要对多种传感器( 如可见光、红外、微波、激光、 雷达等传感器等) 得到的图像信息进行融合，以得到全面的作战空间的态势状况。 如在野战环境中，热红外图像能观察到藏匿于树丛中的人和坦克，但却不能反映 整个环境情形；可见光图像能清楚地反映整个环境的面貌，但是对于树丛后面的 人和坦克却观测不到。对热红外和可见光图像配准融合后，能定位目标隐藏的位 置，协助作战。因此，军事上需要图像融合、目标跟踪与识别，而图像配准则是 将这些图像数据进行融合和识别最基础的一步。 2 多传感器图像配准技术研究 1 2 图像配准技术研究现状和难题 1 2 1 遥感图像和图像配准 遥感( r e m o t es e n s i n g ) 是一种远距离的、非接触的目标探测技术和方法。通 过对目标进行探测，获取目标的信息，然后对所获取的信息进行加工处理，从而 实现对目标定位、定性或定量的描述。搭载传感器的载体称之为遥感平台。传感 器是接收从目标反射和辐射来的电磁波信息的设备的总称。对获取图像的传感器 而言，除了可见光黑白摄像仪、多光谱成像仪、红外摄像仪和紫外线摄像仪，还 包括合成孔径雷达( s y n t h e s i z ea p e r t u r er a d a r ，s a r ) 在内的各种雷达等。这些传 感器通过不同载体、不同高度、不同空间分辨率、不同波谱段和不同时相获得对 目标观测的遥感图像数据。遥感是目前能够提供全球范围的动态对地观测数据的 唯一手段，它在航空、航天、军事侦察、气象预报等很多军用和民用领域有着广 泛的应用。 图像配准就是对不同时间、不同视场、不同成像模式的两幅或多幅图像进行 空间几何变换，使得各个图像在几何上能够匹配对应起来。在实际工作中，通常 取其中的一幅图像作为配准的基准，称为参考图像，另一幅图像称为待配准图像 ( 或浮动图像) 。图像配准的主要目的是去除或者抑制待配准图像和参考图像之 间几何上的不一致，包括平移、旋转和形变。造成图像畸变的原因多种多样，对 于遥感图像而言，传感器噪声、由传感器视点变化或平台不稳定造成的透视变化、 被拍摄物体的移动、变形或生长、闪电和大气等变化以及阴影和云层遮盖都会使 图像产生不同形式的形变。本质上，图像配准需要分析各分量图像上的几何畸变， 然后采用一种几何变换将图像归化到统一的坐标系统中。图像配准的基本问题就 是找出一种图像转换方法，用以纠正图像的畸变。 1 2 2图像配准技术研究现状及难题 在过去的几十年里，图像采集设备发展迅猛，大量图像信息的获取增加了对 自动配准技术的需求。早在1 9 8 3 年g h a f f a r y l 2 】就发表了关于配准综述的论文，但 是内容基本上是针对相关算法( c o r r e l a t i o n ) 的。第一篇影响深远的配准综述性文章 由b r o w n s 3 】发表于1 9 9 2 年。文献 4 ，5 ，6 】中对医学图像配准有特别阐述：文献 7 ，8 ，9 中概括了遥感图像配准的方法。另一方面，根据i n s t i t u t eo fs c i e n t i f i ci n f o r m a t i o n ( i s i ) 的调查数据表明，最近l o 年里至少有超过1 0 0 0 篇的学术论文在研究图像配准问 题。2 0 0 2 年网上公布的美国专利申请中，与图像配准相关的部分超过5 0 项，m m 第一章绪论 3 和g e 等大型跨国企业都有自己的工作组专门研究图像配准问题。而在最近几年的 国际顶级学术会议上( c v p r2 0 0 4 、i c i p2 0 0 5 和i c 球2 0 0 7 ) 上都有关于配准的专题 讲座，这足可见图像配准问题被关注的程度。 一方面配准问题持热，另外一方面也说明仍然有许多技术难题没有解决。特 别是图像或数据类型差异大( 如光学与s a r 图像) 、波段差异大( 如可见光与长 波红外图像) 等情况下的图像高精度和自动配准技术的实现，更是存在较大的困 难。当今配准领域的几大热点、难点为： ( 1 ) 多源图像配准； ( 2 ) 全自动配准技术研究； ( 3 ) 高精度( 亚像素级别) 的图像配准； ( 4 ) 提高配准速度： ( 5 ) 提高大几何位移情况下配准的成功率。 因此建立新的理论框架，提高算法的自动化程度、鲁棒性和运算速度等是图 像配准技术的发展方向。为此，需要尽可能挖掘现有方法中的优点，同时针对上 述难点问题，开发研究新的算法。 1 3 本文的工作和组织 本文对基于灰度相关的图像配准方法和基于特征的图像配准方法进行了广泛 而深入的学习和研究。在基于灰度的粒子群优化算法( p a r t i c l es w a r mo p t i m i z a t i o n , p s o ) 的基础上，将量子行为粒子群优化算法( q u a n t u m - b e h a v e ap a r t i c l es w a r m o p t i m i z a t i o n ，q p s o ) 应用到配准领域。基于特征的方法由于其对光照、噪音的抵抗 能力较强，计算复杂度低而得到广泛的应用。后面实现一种基于特征的图像配准 方法，该方法采用小波多尺度积提取特征点，并结合对齐度准则和特征点的角度 直方图实现图像配准。具体内容及安排如下： ( 1 ) 第一章介绍了图像配准的概念、研究背景。 ( 2 ) 第二章是图像配准理论研究和综述，通过查阅大量国内外图像配准的文 献资料，对图像配准的理论进行了深入学习和归纳总结。 ( 3 ) 第三章在深入研究经典粒子群优化算法( p s o ) 的基础上，提出了以量 子行为粒子群优化算法( q p s o ) 为搜索策略的图像配准方法。该算法以归一化互信 息( n o r m a l i z em u t u a li n f o r m a t i o n ，n m i ) 作为相似性准则，以量子行为粒子群优化算 法作为搜索准则来搜索图像配准的最优解。实验表明，该方法对具有仿射变换的 图像进行配准能得到快速、精确的配准结果。 4 多传感器图像配准技术研究 ( 4 ) 第四章实现了一种基于特征的图像配准方法。在小波分析的基础上，定 义小波多尺度积概念，利用小波多尺度积的模极大值提取图像的特征点，以匹配 点对相关度为相似性准则并结合特征点的角度直方图和一定的阈值，确定匹配点 对，用线性加权的方法消除误匹配点对后，确定图像间的变换关系，进行配准。 实验表明，小波多尺度积的模极大值方法提取的特征点分布均匀，且受噪声影响 较小。小波多尺度积保留的角度信息和相关度相似性准则结合，能确保后面匹配 点对的准确性，该配准方法对于同源图像可以得到精确的配准结果且计算复杂度 低。 ( 5 ) 第五章是实验结果与分析，对于上述两种配准方法，选择多模态或者同 模态具有代表性的图像，做大量的实验，进行对比分析，总结验证。 第二章图像配准理论研究 第二章图像配准理论研究 2 1 1 图像配准的框架 2 1 图像配准基本理论 在b r o w n 综述【3 】中，配准方法被分解成四个部分的组合：特征空间、搜索空 间、搜索策略和相似性度量。 ( 1 ) 特征空间 特征空间指从图像中提取用于匹配的特征。图像配准中使用的图像特征有着 重要的意义，因为它们通常决定了这个方法适合于什么样的图像。基本的像素灰 度值可以是一种特征，还可以包括常见的特征如边缘、曲线、曲面；显著的视觉 特征如拐角、交叉线、高曲率的点等；统计特征，如不变矩以及高层语义的描述 算子等等。图像特征几乎是所有计算机视觉和图像处理任务都会涉及到的基本因 素，在图像配准上它会影响到： 1 成像设备和景物中哪种特征会对算法敏感( 通常选择的特征都会降低图像噪 音和畸变的干扰) 。 2 图像的何种特征被匹配( 如需要的是匹配景物的结构而不是纹理信息) 。 3 算法执行的效率和搜索代价。 因此，好的特征选择是将会消除畸变噪音的干扰，降低参与计算的数据量又 不失充分地表达图像内容的内部结构。 ( 2 ) 搜索空间 搜索空间是一系列可以配准图像的变换操作的集合，其中以几何变换为主要 因素。图像的几何形变可以分为三类：全局的、局部的和位移场形式的。全局的 变换指整副图像的畸变都可以用统一的参数矩阵来描述。典型的全局几何变换包 括以下的一种或几种简单变换的组合：平移、旋转、各向同性或各向异性的缩放、 二次或三次多项式变换等等。局部变换允许变换参数有位置依赖性，在图像中不 同的位置上具有不同的变换参数矩阵，一般变换参数只是定义在特定的关键点上， 而在其他区域进行插值。位移场方法，有时候又称为光流场法，使用一个连续函 数优化机制，为图像中的每一点计算出一个独立的偏移量，并使用某种规整化机 制进行约束。一般来说，变换类型在某个特定应用场合可以作为一种先验知识， 将搜索空间限制在几种可能出现的特定变换。当没有先验知识参考时，就必须考 虑所有可能出现的变换形式。 6 多传感器图像配准技术研究 ( 3 ) 搜索策略 搜索策略决定了下一步可选的变换的依据，用于最优变换的评估。由于很多 配准算法伴随着庞大的计算量，常规的贪婪搜索法实际上无法实现，因此有效的 搜索策略成为一个不容忽视的问题。给定一组对应特征和特征间参数化的变形， 由搜索空间和相似性度量方法决定了搜索策略。常用的搜索策略有：松弛匹配、 动态规划、牛顿法、最速下降法、共扼梯度法等。 ( 4 ) 相似性度量 相似性度量决定了每一次变换优劣评估的结果。相似性度量往往和提取的图 像特征相关，它给出的评价值将直接决定了配准变换的选择。在从每幅图像中提 取图像特征后，由相似性度量函数来计算决定在当前所取的变换模型下图像是否 被正确匹配了。通常，配准算法抗干扰的能力是由特征提取和相似性度量所共同 决定的。最常见的相似性度量方法为特征空间的欧式距离，一般这样的相似性度 量必须考虑归一化。 以上四个方面的组合，就构成了配准算法的基本框架。几乎目前所有的配准 算法都可以分解成这样四个步骤。 2 1 2 图像配准数学模型 图像配准可以定义为两幅图像在空间和灰度上的映射。如果用给定尺寸的二 维矩阵厶和厶代表两幅图像，( x ，y ) 和厶( x ，y ) 分别表示相应位置( x ，y ) 上的灰度 值，则图像间的映射可表示为： 厶( x ，y ) = g ( i l ( f ( x ，y ) ” ( 2 - 1 ) 式中厂表示一个二维空间坐标变换，即： ( x ，y ) = ，( 五y )( 2 2 ) 且g 是一维灰度或辐射变换。 通常灰度变换中g 是不需要的，但在如传感器变化( 如光学到雷达) 等应用中 可能要用到。大多数情况下，寻找空间或几何的变换是解决配准问题的关键，这 一变换一般可参数化为两个单值函数正和工： 厶( x ，j ，) = ( 正( 而y ) ，工( x ，y ) )( 2 3 ) 图像配准问题都是在变换空间中寻找一种特定的最优的变换，达到两幅图像 在某种意义上匹配，但对于不同图像和不同应用，则要具体问题具体分析。 第二章图像配准理论研究 2 1 3 空间变换 各种配准技术都要建立自己的变换模型，变化空间的选取和图像的变形特性 有关，图像的几何变换可分为全局和局部两类，全局变换对整幅图像都有效，通 常涉及矩阵代数，典型的变换参数存在对空间的依赖性。对于局部变换，由于局 部变换随图像像素位置变化而变化，变化规则不完全一致，需要进行分段小区域 处理。 经常用到的主要变换有刚体变换、仿射变换、投影变换和非线性变换【l o 】，下 面分别进行详细的介绍： ( 1 ) 刚体变换( r i g i db o d yt r a n s f o r m a t i o n ) 如果第一幅图像中两个点的距离变换到第二幅图像后仍然保持不变，则称这 种变换为刚体变换。刚体变换可分解为平移、旋转和反转( 镜像) 。在二维空间 中，点( 工，y ) 经刚体变换到( x l9 y ) 的变换公式为： ； = - l s i n s q 缈，：t ：c s o i i l s 缈驴 1 l x y + z c 2 - 4 ， 其中妒为旋转角度，r xl 为平移量。 l o j ( 2 ) 仿射变换( a f f i n et r a n s f o r m a t i o n ) 经过变换后的第一幅图像上的直线映射到第二幅图像上仍然为直线，并且保 持平衡关系，这样的变换称为仿射变换。仿射变换可以分解为线性( 矩阵) 变换 和平移变换。在二维空间中，变换公式为： ； = ：乏 ； + z c 2 - 5 ， 其中i 口1 o 1 ：l 为实数矩阵。 l a 2 1 口2 2 j ( 3 ) 投影变换( p r o j e c t i v et r a n s f o r m a t i o n ) 经过变换后的第一幅图像上的直线映射到第二幅图像上仍为直线，但平行关 系基本不保持，这样的变化称为投影变换。投影变换可用高维空间上的线性( 矩 阵) 变换来表示。变换公式为： 川 - ；l _ r a , , 心a , 2a , , l r x j l + 引 p 回 多传感器图像配准技术研究 ( 4 ) 非线性变换( n o n l i n e a rt r a n s f o r m a t i o n ) 非线性变换可把直线变换为曲线。在二维空间中， ( x ，y ) = f ( x ，y ) 可以用以下公式表示： 其中，表示把第一幅图像映射到第二幅图像上的任意一种函数形式。 线性变换如多项式变换，在二维空间中，多项式函数可写成如下形式： ( 2 7 ) 典型的非 x = = a o o + - i - 岛a l 。o x - ka o l l y + a 2 。0 x 2 2 + - k 岛口l l 砂l x y + - l - a t u y y 22+yb o ox + b oy + b 2x 。 ( 2 - 8 ) = + 岛olo2 + 岛l 砂+ y 2 + 非线性变换比较适合于那些具有全局性形变的图像配准问题，以及整体近似 刚体但局部有形变的配准情况。 在图像配准中，采用不同的图像交换模型说明了图像直接的映射变换将会不 同。因此，对于不同类型的图像，选取恰当的图像变换模型可以适当的提高图像 的配准精度。在对需配准的图像进行空间变换后，要对变换图像进行重采样，以 取得变换后的像素值。 2 1 4 图像重采样 在图像配准中，首先根据参考图像与待配准图像对应的点特征，求解两幅图 像之间的变换参数；然后将待配准图像作相应的空间变换，使两幅图像处于同一 坐标系下：最后，通过灰度变换，对空间变换后的待配准图像的灰度值进行重新 赋值，即重采样。重采样是一个灰度值提取和插值的过程，即待配准图像中提取 像元灰度值，重新配置到配准图像矩阵的合适的位置。灰度值插值即将参考图像 的像元灰度值加权平均，计算配准图像中的像元值。常用的重采样方法主要有：1 、 最近邻法；2 、双线性插值法；3 、双三次卷积法。 ( 1 ) 最近邻法 最近邻法是直接取与输出点位置最邻近像元的灰度值为该点的灰度作为采样 值，设t - 1 ( f ，_ ，) = ( x ，y ) ，则邻近法的计算公式为： g r ( f ，) = g ( i n t ( x + 0 5 ) ，i n t ( y + 0 5 ) ) ( 2 - 9 ) 最近邻法耗时最少，不改变灰度级大小，因此最适合于需要保存灰度级微小 差别的情况，但是，它增加了新的误差，纠正图像的空间位移可达半个像元，如 果纠正过程有加大旋转或比例变换，那么纠正后图像会显得挤压或者边缘不平整。 ( 2 ) 双线性插值法 假定图像厂为参考图像，图像g 为待配准图像，对图像g 的坐标进行空间变换 t ：( x ，y ) _ ( f ，_ ，) ，得到点阵钉。假设空间变换r 是可逆的，其逆变换为丁。对于 第二章图像配准理论研究 9 点阵断的坐标点o ，歹) ，其原像素点为( x ，y ) = t 1 ( f ，j ) 不一定是整数网格。双线性 插值法是利用图像g 中与t 。( f ，j ) 最临近的4 个像素点的灰度，使得线性逼近的方 法得到点阵岛的坐标点( f ，_ ，) 的灰度g r ( f ，j ) ，从而得到最终的配准图像，如图2 1 所示。 图2 1 双线形插值法 这个线性逼近的表达式为： 形( 曲= l - i x io _ l x i l ( 2 - 1 0 ) 对于数字图像，设 t 。1 ( f ，j ) = ( x ，y ) i n t ( x ) = i o i n t ( y ) = j o ( 2 1 1 ) u = z i o 1 ，= y j o 其中i n t ( ) 为取整运算，则双线性插值法的计算公式为： g r ( f ，) = ( 1 一“) ( 1 1 ，) g ( i o ，j o ) + “( 1 1 ，) g ( i o + 1 ，矗) ( 2 - 1 2 ) + ( 1 一u ) v g ( i o ，j o + 1 ) + u v g ( i o + 1 ，矗+ 1 ) 采用双线性插值法进行重采样能够保持图像连续且精度高，但由于其具有低 通滤波性质，抑制高频成分，会导致图像出现模糊或分辨率降低。这种方法是最 近邻法耗时的3 - 4 倍，显然，在坐标变换中配准越精确，灰度值重采样越可信。 ( 3 ) 双三次卷积法 在双三次卷积法中配准图像的灰度值是待配准图像上1 6 个最近像元的加权平 均。尽管它避免了最近邻法的不连贯性，比双线性法图像清晰，但也改变了待配 准图像的灰度值。双三次卷积法的耗时是最近邻法的1 0 倍，而且实际上对图像的 内插效果比双线性内插并无明显改善，所以用的不多。 插值公式为： 1 0 多传感器图像配准技术研究 g r ( i ，) = 口“x 】r 7 ( 2 - 1 3 ) a t ，_ ，为待定的参数值，根据4 个端点的高程和斜率求得。 2 2 图像配准方法综述 在第一节中提到配准算法的基本框架，包括特征空间、搜索空间、搜索策略 和相似性度量方法。按照这四个组成部分侧重点比较，也产生了对各种具体的图 像配准技术的不同分类方法。 图像配准的方法大致可分为三类【1 1 】，第一类是基于灰度相关的配准方法；第 二类是基于图像特征( 控制点) 的配准方法；第三类是基于图像的理解和解释的配准 方法。下面对上述三种方法进行简单地介绍。 2 2 1 基于灰度相关的配准方法 这类算法研究得最早，主要根据配准图像的相关函数，如f o u r i e r 变换等关系 来计算配准参数。这类方法一般不需要对图像进行复杂的预处理，而是直接利用 图像本身具有的一些灰度统计信息来度量图像的相似程度。主要特点是实现简单， 精度高，但对目标的旋转、形变以及遮挡比较敏感，同时也对图像的灰度变化比 较敏感，尤其是非线性的光照变化将大大降低算法的性能，因此应用范围较窄， 不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的 运算量。 最常见也是最简单的方法就是窗口匹配法。这种方法首先从参考图像中提取 目标区作为配准的模板，然后用该模板在待配准图像中滑动，通过相似性度量( 如 相关系数法、差的平方和法、差的绝对值法、协方差法) 来寻找最佳匹配点。 1 9 8 2 年r o s e n f e l d 提出的交叉相关也是最基本的基于灰度统计的图像配准方法 【1 0 】，通常被用来进行模板匹配和模式识别。对一幅图像，和相对于图像小尺度的 模板r ，归一化二维交叉相关函数表示了模板在图像上每一个位移位置的相似程 度： t ( x ，y ) l ( x 一”，y v ) c ( u ，) = 二l t ( 2 - 1 4 ) 厂 i i 1 2 ( x - u ，y - v ) l 第二章图像配准理论研究 如果除了一个灰度比例因子外，模板和图像在位移( f ，歹) 处匹配时，交叉相关 会在c ( i ，j ) 出现峰值。在这里，交叉相关必须归一化，否则局部图像灰度将影响相 似度的度量。 另一类比传统的交叉相关更容易实现的算法，称为序贯相似检测算法 ( s e q u e n t i a ls i m i l a r i t yd e t e c t i o na l g o r i t h m s ，s s d a ) 【1 4 】。s s d a 是由b a m e a 等人 提出来的，这种方法最主要的特点是处理速度快。这一方法的改进体现在两个方 面，首先建议一个计算上更为简单的相似性度量准则e ( u ，v ) ： e ( u ，) = i r ( x ，y ) - i ( x - u ，y 一1 ，) i ( 2 - 1 5 ) jy 归一化的准则定义为： e ( 州) = i 丁( x ，y ) - t - l ( z 喵y - v ) + l ( u , v ) i ( 2 - 1 6 ) x y 其中丁和，分别表示模板和图像窗口的均值。即使在非归一化情况下这一准则仍可 匹配，并且没有惩罚运算。 为了进一步改进算法效率，还可以选择对应的搜索策略以减少计算量。最常 用的金字塔法是由粗糙到精细的迭代搜索算法，它将分辨率较高的图像分解为分 辨率较低的图像从而减少搜索数据量，再由低分辨率图像的搜索结果作为下一步 搜索过程的初始值，利用迭代逐步提高分辨率直到得到原分辨率图像的搜索结果。 这种方法还可应用于不同分辨率图像的配准中。 2 2 2 基于图像特征( 控制点) 的配准方法 基于特征的图像配准是配准中最常见的方法，对于不同特性的图像，选择图 像中容易提取，能够在一定程度上代表待配准图像相似性的特征作为配准依据， 结合相似性准则，实现特征的匹配。常常提取图像中明显的区域块( 森林、湖泊、 田地) 、线结构( 区域边界、海岸线、公路，河流) 和关键点( 区域拐点、线交叉点、 曲线上高曲率点) 作为特征。这些特征要求足够显著，容易在各种畸变条件下稳定 得被检测到。由于同直接利用像素灰度信息的互相关算法相比，特征提取包含了 高层信号信息，所以该类算法对光照、噪音的抗干扰能力较强。 根据特征选择和特征匹配方法的不同所衍生出的具体配准方法是多种多样 的，但这类方法其基本步骤和方法是一致的，如图2 2 所示： 1 2 多传感器图像配准技术研究 图2 2 基于特征的图像配准流程 其中特征提取和特征匹配是关键。 1 特征提取提取的特征有区域特征、线特征和点特征。区域特征可以是任 意封闭区域投影，水坝湖泊，建筑，森林，城市或者阴影。区域特征一般是通过 图像分割得到的，因而分割的精度对接下来的配准步骤影响很大。g o s h t a s b y 1 5 提 出了一种修正分割过程以提高配准精度的算法。图像分割的步骤和配准步骤循环 执行，在每一次循环中，粗估计的物体对应关系被重新用来更新分割参数，最终 能获得亚像素精度的配准。 线特征可以用线段，物体边界，海岸线，公路或者医学成像上延长的解剖结 构。线对应关系通常用线端点或者中间点的对应关系来表示。标准边缘检测算法 比如c a n n y 算子【1 6 】或者基于l o g ( l a p l a c i a no fg a u s s i a n ) 的算子【17 】经常被用来提取 线特征。不同边缘检测算子在医学多模态图像中应用的效果由m a i n t z i 博拶j 阐述。 点特征包括线交叉点、公路交叉点、区域中心点、局部曲率断点、小波变换 的局部极值点等。其中很多算法都涉及到所谓“拐点的检测，因为拐点往往有 几何不变性且很容易被人们视觉上注意到。 k i t c h e n 和r o s e n f e l d t 2 0 提出了关于图像二阶偏微分函数的关键点检测方法，先 计算图像与垂直图像梯度方向平面的交线，再计算该交线上各点的曲率，由曲率 的局部极值点作为关键点。类似的，d r e s c h l e r 和n a g d 【2 l j 搜索的是高斯曲率， b e a u d c t 【2 2 】搜索图像的h e s s i a n 行列式值的局部极值。然而，基于图像函数二阶导 的关键点检测对噪音是敏感的。f o r s m e r 2 3 提出了更加鲁棒且只与一阶导相关的检 测算法，著名的h a r r i s 2 4 】算子被实验证明似乎更加有效并沿用至今。 2 特征匹配使用特征点空间关系的方法。假设原始图像和待配准图像的特 征都通过各自提取的特征点集( c o n t r o lp o i n t s ) 来表示。目标是寻找点集之间的对应 关系，可以通过特征点对的空间关系或者领域的不变描述算子来获得。 g o s h t a s b y i 2 5 】描述了基于图匹配的算法。通过计算畸变图像中的特征在某参数 下反变换后落入原始图像相应位置一定邻域范围内的“有效”特征数目来为该设 定参数打分，得分最高的参数便是最优变换参数。s t o c k m a n l 2 6 提出聚类技术在配 准上的应用。对每一对c p 的变换参数视作搜索参数空间的一个点，在对图像中所 有c p 对做变换参数估计后，最优参数将在参数空间中形成聚类，代表能够最大限 第二章图像配准理论研究 度得正确映射最多的c p 对，而错误的参数估计往往在参数空间形成稀疏分布。聚 类在检测出后，由其重心代表最优变换参数。由于聚类的鲁棒性，使得局部突变 不会影响整体配准效果。 另外一种使用特征空间关系的方法是利用在交换下保持不变的描述算子。这 些描述算子要求具有不变性( 原始图像和变换后的图像中相应的特征描述要保持一 致) 、独特性( 不同特征的描述要不同) 、稳定性( 在微小未知突变干扰下特征描述不 能改变太大) 、独立性( 如果特征描述算子是矢量形式，分量应当保持相互独立) 。 然而，这四个特性一般很难同时兼顾，实际运用中往往才用折中的办法。 通过不变描述算子，原始图和变换图中最相似的特征被视作一组对应的特征。 在描述算了空间中搜索最佳特征匹配时往往采用最小距离加阈值限定的方法。更 加鲁棒的方法可以采用匹配概率系数。 有大量的配准算法是基于解决c l p ( c o n s i s t e n tl a b e l i n gp r o b l e m ) 的松弛算法 的，即用原始图像的特征标注畸变图像中特征，循环执行直到找到一种稳定的标 注方法【2 7 1 ，w a n g t 2 8 】扩展了经典的松弛算法，用尖锐性、对比度和斜率特征来描述 特征点，允许平移和旋转，但是计算量非常大。在文献 2 9 】给出了不同松弛算法的 比较。对c l p 问题的另外一个解决方法是回朔法，用递归的思想来产生标注，可 以用于配准。 当局部畸变影响较大或者发生复杂形变，难以用简单几何交换参数估计时， 特征的不变描述算子很难直接获得，特征间的对应关系也就难以建立。于是可以 采用弹性可变模型的方法来配准。此时，图像看作可在定义的内力和外力下收缩 或者延展，获得配准是通过循环中最小化能量范函。为了提高速度通常都要采用 多分辨率结构。力的定义经常与图像中信息相关，或者是灰度信息、或者是梯度 信息。 基于图像特征( 特征点) 的配准方法的优点主要体现在三个方面。 ( 1 ) 图像的特征点比图像的像素点要少很多，因此大大减少了匹配过程的计算 量；( 2 ) 特征点的匹配度量值对位置的变化比较敏感，可以大大提高匹配的精确度； ( 3 ) 特征点的提取过程可以减少噪声的影响，对灰度变化、图像形变以及遮挡等都 有较好的适应能力。因此基于图像特征( 特征点) 的配准方法在图像配准领域得到了 广泛应用。 2 2 3 基于图像的理解和解释的配准方法 这种配准算法不仅能自动识别相应像点，而且还可以由计算机自动识别各种 目标的性质和相互关系，具有极高的可靠性和精度。这种基于理解和解释的图像 1 4 多传感器图像配准技术研究 配准涉及到诸如计算机视觉、模式识别、人工智能等许多领域。它的发展不仅依 赖于这些领域中理论上的突破，而且有待于高速度并行处理计算机的研制。 2 3 图像配准的性能评价体系和方法 多模态图像配准在图像配准中是一个非常困难的任务，即便是同样场景的同 一物体，在不同的成像模式下，其灰度属性也常常存在非常大的差异。在某些情 况下，同样的物体在其中一种成像模式下，呈现出清晰的图像，而在另一种成像 模式下，则无法成像，甚至在图像中根本就不出现。同时，不同模态的图像又含 有互补的信息，同一地理结构的图像尽管灰度属性不同，但包含着一定程度的共 同信息。这些特点决定了多模态图像配准既有实现方面的困难性，同时又有理论 上的可能性。图像配准具有非常广泛的方法论，对两幅图像间是否“配准 往往 没有一个明确的标准，这使得对于图像配准技术的比较评判很困难。 在对多模态图像配准技术的研究中，人们提出了多种有效的评价方法，如划 分灰度一致性( p a r t i t i o n e di n t e n s i t yu n i f o r m i t y ，p i u ) 、互信息、归一化互信息、 r e n y i 熵、t s a l l i s 熵等 1 2 】。其中互信息和归一化互信息等基于s h a n n o n 信息论的多 模态图像配准测度，得到了普遍的承认，并应用到多种场合。基于r e n y i 熵和t s a l l i s 熵的配准测度是2 0 0 4 年提出来的，它们是s h a n n o n 熵的一种广义表达形式，其性 能尚待进一步深入的分析和通过更多的实验进行验证。 其中，不同的测度在不同的条件下性能存在一定程度的差异，p i u 一类的配准 测度在计算时间、对噪声的鲁棒性方面优于基于s h a n n o n 熵的测度；而基于s h a n n o n 熵的测度在测定图像间旋转角度方面比基于p i u 一类的测度更精确；p i u 对重叠 区域的大小不敏感，也能够测定出更大程度的平移。基于r e n y i 熵和基于t s a l l i s 熵的归一化互信息配准测度比基于s h a n n o n 熵的归一化互信息测度的时间开销更 节省，并且在不同的噪声和旋转角度的时候他们也有一定的差别。 在特征匹配中，匹配的方法也有很多种，提取的特征可分为点特征、线特征 和面特征，特征匹配也可在这三种方式下进行，但多数情况下，无论是线特征还 是面特征最终归结为点特征，如线特征的拐点、面特征的重心等。因此这里主要 讨论点特征的局部区域匹配方法中的测度。 点特征的匹配方法有很多种，常见的主要有以下两种，基于局部灰度信息的 特征匹配方法和基于边缘形状信息的特征匹配方法。前者以局部区域灰度特性作 为两点相似性的度量标准，而后者则以边缘形状信息作为两点相似性的度量标准。 基于局部灰度信息的特征匹配方法是以待匹配点所在局部区域灰度统计特性 作为两点相似性的度量标准。这类匹配方法有很多，几个常见的有代表性的准则 第二章图像配准理论研究 1 5 为相关度准贝u ( c r o s sc o r r e l a t i o n ) 、对齐度准贝u ( a l i g nm e t r i c ) 、基干比率的准则 ( r a t i o - b a s e dc d t e r i o n ) 、变化系数准则( v a r i a t i o nc o e f i c i o n t ) 、交互信息量( m u t u a l i n f o r m a t i o n ) 等。 基于边缘形状信息的特征匹配方法是以边缘特征点的形状信息作为两点相性 的度量标准，因此，需要利用一些形状识别的方法来获取边缘特征点的形状信息。 常见的方法有链码描述子和矩不变量等。 2 4 图像几何校正 在遥感成像时，由于各种因素的影响，如：传感器没有正对着待拍摄的景物、 光学成像系统或电子扫描系统的闲着，使得遥感图像在几何位置上发生了变化， 产生诸如行列不均匀，产生枕形或者桶形失真，像元大小与地面大小对应不准确， 地物形状不规则变化等畸变，即所谓的遥感图像的几何畸变( 或几何形变) 。这 种形变影响了图像的质量和应用，在图像质量不理想的情况下进行图像配准，如 果不经过几何校正，很容易造成一些误匹配。几何校正让参考图像和待配准图像 不存在明显的几何畸变，主要是为下一步图像配准做准备，让图像质量能够满足 图像配准的要求。