（通信与信息系统专业论文）基于边缘的图像配准方法研究.pdf

华北电力大学硕士学位论文摘要 摘要 图像配准是图像处理的基本任务之一，用于将不同时间、不同传感器、不同视 角以及不同拍摄条件下获取的两幅或多幅图像进行匹配。由于基于特征的图像配准方 法存在特征提取的多样性，对提取图像特征的鲁棒性和精确性都有很高的要求。边缘特 征提取在图像配准中有着广泛的应用，对于图像匹配精度至关重要。本文对图像配准中 的特征提取做了深入研究，重点比较了几种新型的边缘检测方法，同时对元胞自动机边 缘检测进行了改进，选择小波变换边缘检测为图像匹配做准备；然后在适用性很强的对 齐度准则的基础上，提出了基于小波变换和对齐度准则相结合的图像配准方法，并且对 电力设备红外与可见光图像稳健配准进行了探索性尝试。实验结果表明了此方法的有效 性、精确性和适用性。 关键词。图像配准，边缘检测。对齐度，红外和可见光图像 a b s t r a c t i m a g er e g i s t r a t i o ni saf u n d a m e n t a lt a s ki ni m a g ep r o c e s s i n g ，w h i c hi su s e dt om a t c h t w o o rm u l t i p l em o r ei m a g e s ，f o re x a m p l e ，a td i f f e r e n tt i m e s ，f r o md i f f e r e n ts e n s o r so rf r o m d i f f e r e n tv i e wp o i n t s t h ed i v e r s i t yo fd e t e c t e df e a t u r e si sam a i np r o b l e m ，a n dt h ef e a t u r e s e x t r a c t i o ns h o u l db eo fr o b u s t n e s sa n da c c u r a c yf o ra p p r o a c ht oi m a g er e g i s t r a t i o nb a s e do n f e a t u r e s e d g ed e t e c t i o ni sw i d e l ya p p l i e dt oi m a g er e g i s t r a t i o n , w h i c hi sv e r yi m p o r t a n tt ot h e m a t c h e da c c u r a c yo fi m a g e s e d g ed e t e c t i o ni sd e e p l ys t u d i e dmt h i sp a p e r , a n dw ep l a c ea n e m p h a s i so nc o n t r a s t i n gm o d e m m e t h o d so fe d g ed e t e c t i o n c e l l u l a ra u t o m a t ae d g ed e t e c t i o n m e t h o di si m p r o v e d , a n dw a v e l e tt r a n s f o r me d g ed e t e c t i o ni ss e l e c t e dt oi m a g em a t c h i n g o n t h eb a s i so fp r a c t i c a la l i g n m e n tm e t r i c ，an e wa p p r o a c ht o i m a g er e g i s t r a t i o nb a s e do n c o m b i n a t i o no fw a v e l e ta n a l y s i sa n da l i g n m e n tm e t r i ci sp r o p o s e d , a n dt h e ni n f r a r e d v i s u a l i m a g er e g i s t r a t i o ni sa t t e m p t e dt oh a v ea ne x p l o r a t i v ee x p p r i m e n t s e v e r a le x p e r i m e n t s c o n d u c t e di l l u s t r a t et h a tt h i sm e t h o dh a sag o o dp e r f o r m a n c eo f e f f i c i e n c y , a c c u r a c y , a n di te a r l a l s ob ea p p l i e dt om a n ys i t u a t i o n s c u is h a o f e i ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db ya s s o c i a t ep r o fy up i n g k e yw o r d s ：i m a g er e g i s t r a t i o n ，e d g ed e t e c t i o n ，a l i g n m e n tm e t r i c ，i n f r a r e d v i s u a l t m a g e i 华北电力大学硕士学位论文摘要 摘要 图像配准是图像处理的基本任务之一，用于将不同时间、不同传感器、不同视 角以及不同拍摄条件下获取的两幅或多幅图像进行匹配。由于基于特征的图像配准方 法存在特征提取的多样性，对提取图像特征的鲁棒性和精确性都有很高的要求。边缘特 征提取在图像配准中有着广泛的应用，对于图像匹配精度至关重要。本文对图像配准中 的特征提取做了深入研究，重点比较了几种新型的边缘检测方法，同时对元胞自动机边 缘检测进行了改进，选择小波变换边缘检测为图像匹配做准备；然后在适用性很强的对 齐度准则的基础上，提出了基于小波变换和对齐度准则相结合的图像配准方法，并且对 电力设备红外与可见光图像稳健配准进行了探索性尝试。实验结果表明了此方法的有效 性、精确性和适用性。 关键词。图像配准，边缘检测。对齐度，红外和可见光图像 a b s t r a c t i m a g er e g i s t r a t i o ni saf u n d a m e n t a lt a s ki ni m a g ep r o c e s s i n g ，w h i c hi su s e dt om a t c h t w o o rm u l t i p l em o r ei m a g e s ，f o re x a m p l e ，a td i f f e r e n tt i m e s ，f r o md i f f e r e n ts e n s o r so rf r o m d i f f e r e n tv i e wp o i n t s t h ed i v e r s i t yo fd e t e c t e df e a t u r e si sam a i np r o b l e m ，a n dt h ef e a t u r e s e x t r a c t i o ns h o u l db eo fr o b u s t n e s sa n da c c u r a c yf o ra p p r o a c ht oi m a g er e g i s 雠i o nb a s e do n f e a t u r e s e d g ed e t e c t i o ni sw i d e l ya p p l i e dt oi m a g er e g i s t r a t i o n , w h i c hi sv e r yi m p o r t a n tt ot h e m a t c h e da c c u r a c yo fi m a g e s e d g ed e t e c t i o ni sd e e p l ys t u d i e dmt h i sp a p e r , a n dw ep l a c ea n e m p h a s i so nc o n t r a s t i n gm o d e m m e t h o d so fe d g ed e t e c t i o n c e l l u l a ra u t o m a t ae d g ed e t e c t i o n m e t h o di si m p r o v e d , a n dw a v e l e tt r a n s f o r me d g ed e t e c t i o ni ss e l e c t e dt oi m a g em a t c h i n g o n t h eb a s i so fp r a c t i c a la l i g n m e n tm e t r i c ，an e wa p p r o a c ht oi m a g er e g i s t r a t i o nb a s e do n c o m b i n a t i o no fw a v e l e ta n a l y s i sa n da l i g n m e n tm e t r i ci sp r o p o s e d , a n dt h e ni n f r a r e d v i s u a l i m a g er e g i s t r a t i o ni sa t t e m p t e dt oh a v ea ne x p l o r a t i v ee x p p r i m e n t s e v e r a le x p e r i m e n t s c o n d u c t e di l l u s t r a t et h a tt h i sm e t h o dh a sag o o dp e r f o r m 趾c eo f e f f i c i e n c y , a c c u r a c y , a n di tc a n a l s ob ea p p l i e dt om a n ys i t u a t i o n s c u is h a o f e i ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db ya s s o c i a t ep r 0 y up i n g k e yw o r d s ：i m a g er e g i s t r a t i o n ，e d g ed e t e c t i o n ，a l i g n m e n tm e t r i c ，i n f r a r e d v i s u a l t m a g e l 声明户明 本人郑重声明：此处所提交的硕士学位论文基于边缘的图像配准方法研究，是 本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作和取得的研究成 果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 学位论文作者签名：彳堇皿日 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文：学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播学 位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：些生蝥 日期：五盟：墨：丕 导师签名： 日期： 华北电力大学硕士学位论文 1 1 课题背景介绍 1 1 1 图像配准技术简介 第一章引言 多源图像配准是指给定两幅待配准图像，依据一些相似性度量决定图像间的变换参 数，使从不同传感器、不同条件获取的同一场景的两幅或多幅图像，变换到同一坐标系 下，在像素层上得到最佳匹配的过程。图像配准是图像处理的一个基础问题，它源自 多个领域的很多实际问题，如不同传感器获得的信息融合，不同时间、条件获得图像的 差异检测，成像系统和物体场景变化情况下获得的图像的三维信息获取，图像的模式识 别等。对同一场景使用相同或不同的传感器( 成像设备) ，不同条件下( 天气、照度、 摄像位置和角度等) 获取的两个或多个图像一般说来会有所不同。同一场景多幅图像的 差别可以表现为：不同的分辨率、不同的灰度属性、不同的位置( 平移和旋转) 、不同 的比例尺、不同的非线性变换等。为了对场景进行深入分析，需要把这些图像数据融 合起来，而图像配准是将这些图像数据进行融合的最关键的一步。 具体而言，图像配准主要运用于以下领域：( 1 ) 医学图像分析，如数字剪影血管造 影9 s a 管造影术、肿瘤检测、白内障检测、c t 、m r i 、p e t 、s p e c t 图像结构信息融合； ( 2 ) 模式识别，如特征识别、波形分析、签名证实、目标运动跟踪、序列图像分析等； ( 3 ) 计算机视觉，可用于目标定位、自动质量控制等：( 4 ) 遥感数据分析，多电磁波段图 像信息融合，如多谱段的等场景分类、定位和识别定义好的或已知特征的场景、自然资 源控制、核生长控制、市区增长检测等曙1 。 1 1 2 图像配准技术分类 图像配准的方法大致分为三类：第一类是基于图像灰度的；第二类是基于对图像的 理解和解释的；第三类是基于图像特征的口1 。 基于图像灰度的配准算法。这类算法首先从参考图像中提取目标作为配准的模板， 然后用该模板在待配准图像中滑动，通过相似性度量( 如相关系数法、差的平方和法、 差的绝对值法、协方差法) 来寻找最佳匹配点。基于直接灰度信息的相关运算类或误 差运算类方法计算量小，易于硬件实现，但对于噪声的影响和不同灰度属性或对比 度差异的影响缺乏鲁棒性。交互信息是在概率密度估计的基础上建立的，有时需要 建立参数化的概率密度模型，因此它要求的计算量很大而且要求图像之间有较大的 重叠区域另外函数还可能出现病态且面临大量局部极值。傅氏变换法有成熟的快 速算法和易于硬件实现，但只能用来配准灰度属性有线性正相关的图像，图像之间 华北电力大学硕士学位论文 也必须是严格满足定义好的变换关系。 基于对图像的理解和解释的配准算法。这类算法不仅能自动识别相应像点，而且还 可以由计算机自动识别各种目标的性质和相互关系，具有极高的可靠性和精度。这种基 于理解和解释的图像配准涉及到计算机视觉、模式识别、人工智能等许多领域，不仅依 赖于这些领域中理论上的突破。而且有待于高速并行处理计算机的研制。 基于图像特征的配准算法。这类算法是以图像中某些特征( 点、线、区域) 为配准 基元，算法过程主要分为两步：特征提取和特征匹配。首先从两幅图像中提取灰度变化 明显的点、线、区域等特征形成特征集。然后在两幅图像对应的特征点集中利用特征匹 配算法尽可能地将存在对应关系的特征对选择出来。对于非特征像素点利用插值等方法 作处理推算出对应匹配关系，从而实现两幅图像之间像素的配准。此方法较适用于不 同传感器图像之间的自动配准，这种方法先提取图像的特征，然后利用图像的特征 进行配准，因而可以避免由这些预处理所造成的精度损失这种方法的优点在于： ( 1 ) 充分利用了图像灰度的统计特性和相关特性； ( 2 ) 有效消除由于背景、光照等造成的局部辐射失真引起的误配准； ( 3 ) 对图像的各种非本质变化( 如旋转、缩放和光照强度变化等) 不敏感，对含 有一定噪声和轻微扭曲的图像可以进行配准； ( 4 ) 利用特征点配准时，配准的速度较快。 缺点是算法复杂，通常特征提取算法的复杂性引起预处理过程时间消耗较大， 而且往往由于特征的不完全提取，导致配准率较低。 1 1 3 图像配准方法的步骤 几乎所有的图像配准算法都可以由以下几个步骤来刻画： ( 1 ) 特征提取。 图像配准的第一步就是要决定采用什么样的特征来匹配图像。常用的特征可以 是图像本身，还有图像边缘、角点和区域等等。采用点( 如角点) 作为特征，这些特 征点一般是灰度变化的局部极值点，含有显著的结构性信息，甚至这些点也可以没 有实际的直观视觉意义，但却在某种角度、某个尺度上含有丰富的易于匹配的信息。 进一步需要考虑采用什么方法提取特征，除了特征的位置信息，还需要图像特征提 供哪些属性信息，如利用检测到的图像的局部特征( 比如边缘、角点、轮廓等) ， 然后根据匹配目标的需要进行特征的组合、变换，以形成易于匹配、稳定性好的特 征向量( 特征点描述符) ，从而把图像匹配问题转化为特征的匹配问题，进而将特 征的匹配问题转化为特征空间特征向量的聚类问题。特征点的特征描述符应是不变 量，以确保最低限度的受摄像机的运动或光照变化等因素的影响。选择合理的特征 空间可以降低各类图像变化因素对匹配算法速度、稳健性的影响。 ( 2 ) 相似性度量。 2 华北电力大学硕士学位论文 图像配准是要建立各图像像素点间最佳对应关系，是一个优化过程，这个步骤 是确定优化的目标函数是什么。相似性度量是度量图像特征间的相似程度，它同特 征选择紧密相关。比如对于特征就是图像本身的情况，常用的相似性度量( 或距离) 有相关系数、交互信息量等：对于采用点( 如角点) 作为特征的情况，常用的相似性 度量( 或距离) 有欧氏距离、互信息法、傅里叶频域相关法、对齐度准则等。 ( 3 ) 搜索空间。搜索空间是指存在什么类型的变换可以匹配两幅图像，它依赖 于具体的应用领域，主要可分为全局变换和局部变换。在基于图像建模领域，不同 视点拍摄的两幅图像不存在一个全局变换使得两幅图像配准，而对于遥感图像或航 拍图像，由于视点离目标的距离远远大于目标物体的尺寸，这时可近似认为不同视 点拍摄的图像可由一个仿射变换来配准，此时搜索空间就是一个仿射变换群。 ( 4 ) 搜索策略。搜索策略是指如何在搜索空间中找到最佳的变换。常用的搜索 策略有松弛迭代方法、b r a n c h a n d b o u n d 方法、r a n s a c ( r a n d o ms a m p l e c o n s e n s u s ) 、动态规划方法等等。 1 1 4 基于特征的图像配准方法的研究动态 在过去的几十年里，图像采集设备发展惊人，大量图像信息的获取增加了对自 动配准技术的需求。尽管早在1 9 8 3 年g h a f f a r y 1 就发表了关于配准的综述，但是内 容基本上是针对相关算法( c o r r e l a t i o n ) 的。第一篇影响深远的综述性文章由1 9 9 2 年 b r o w n 阳1 发表。特别针对医学图像配准的在文献n 1 中有阐述，而在文献哺1 中概括了遥 感图像配准的方法。另一方面，根据i n s t i t u t eo f s c i e n t i f i cl n f o r m a t i o n ( i s l ) 的调查数 据表明，最近1 0 年里至少有超过1 0 0 0 篇的学术论文在研究图像配准问题。那些在 9 2 年之前就发表的算法，很多至今仍然在使用。2 0 0 2 年网上公布的美国申请专利 中，图像配准相关的部分就有超过5 0 项，i b m 和g e 等大型跨国企业甚至有自己的 工作组专门研究医学图像配准问题。而在最近的国际顶级学术会议上都有关于配准 的专题讲座，这足以看出对图像配准问题的关注程度。一方面配准问题持热，另外 也说明仍然有许多技术难题没有解决且急需解决。配准问题的定义本身很简单，然 而图像内部结构的复杂性使得配准的精确性、鲁棒性很难得到准确的检验。这也解 释了为什么上千种算法中，几乎找不到通用的、一劳永逸的算法。 基于特征的图像配准是配准中最常见的方法，对于不同特性的图像，选择图像 中易提取并能在一定程度上代表待配准图像相似性的特征作为配准依据。它可以克 服利用图像灰度信息进行图像配准的缺点，减少匹配过程的计算量，提高匹配的精 度，减少噪声的影响。因此，基于特征的图像配准方法是实现高精度、快速有效和 适用性广的配准算法的最佳选择。在众多基于特征的图像配准方法中，常用到的图 像特征有：特征点( 包括角点、高曲率点等) 、直线段、边缘、轮廓、闭合区域特 征结构以及统计特征如矩不变量、重心等等。 3 华北电力大学硕士学位论文 点特征是配准中常用到的图像特征之一。其中主要应用的是图像中的角点，在 计算机视觉、模式识别以及图像配准领域都有非常广泛的应用，因而针对角点检测 的算法也有很多报道。基于角点的图像配准方法的主要思路是：首先在两幅图像中 分别提取角点，再以不同方法建立两幅图像中角点的相互关联，从而确立同名角点， 最后以同名角点作为控制点确定图像之间的配准变换。由于角点提取已经有了比较 成熟的方法，因此基于角点的配准方法的难题就是两幅图像之间的同名点的匹配问 题。已有解决点匹配问题的方法包括松弛法，相对距离直方图聚集柬检测法， h a u s d o r f f 距离及相关方法旧1 等。这些方法都对检测到的角点要求比较苛刻，比如有 求同样多的数目简单的变换关系等。这样就使得基于角点的配准方法产生了局限 性，不能适应普遍的配准应用。 近几年来，随着图像分割、边缘检测等技术的发展基于边缘、轮廓和区域的 图像配准方法逐渐成为配准领域的研究热点。边缘是图像基本特征之一，也是比较固 定的特征，它蕴涵了图像丰富的内在信息。迄今已有很多边缘检测方法，如r o b e r t 算 子、s o b e l 算子、l o g 算子、c a n n y 算子和应用小波变换等归3 。前面几种方法在抗噪性和 边缘定位等方面往往不尽如人意，而小波变换可以从能量方面来区分边缘和噪声，使得 小波变换在抗噪和边缘定位方面有独特的优势。另外最近文献已经将元胞自动机与云模 型成功的运用到图像的边缘检测当中引。 通过对各类图像配准方法的研究，我们可以看出图像配准方法是强依赖于图像 本身的。也就是说，往往不同的图像配准方法都是针对不同类型的图像配准问题的。 到目前为止，尚不存在任何一种图像配准方法能适用于各种图像配准问题。毕竟图 像配准的应用领域很广泛，面对的不同类型的图像也千差万别。因此，图像配准方 法研究的两个重要目标是：一方面提高其有效性、准确性和快速性；另一方面也力 求能扩展其适用性和应用领域。 1 2 本课题的研究意义和主要内容 1 2 1 本课题的研究意义 图像配准是图像处理的基本任务之一，早在7 0 年代，人们就开始了图像配准方面 的研究，从最简单的模板匹配校正图像平移，到9 0 年代中期开始的对于多模态图像配 准的广泛研究。近年来在对配准技术的研究涵盖了多个应用领域，在计算机视觉及模式 识别、医学图像分析、遥感数据处理、机器人学、计算机辅助设计与制造、天文学等学 科中配准技术均占有举足轻重的地位，其中前三个应用领域中针对图像的配准技术的研 究扩展的较多，图像配准已成为很多研究课题的必备环节，并且成为各类问题中提高精 度和有效性的瓶颈。由于基于灰度的图像配准方法存在如下缺点：( 1 ) 对图像的灰度变 化比较敏感，尤其是非线性的光照变化，将大大降低算法的性能；( 2 ) 计算的复杂度高： 4 华北电力大学硕士学位论文 ( 3 ) 对目标的旋转、形变以及遮挡比较敏感。而基于特征的图像配准方法可以克服这些 缺点，从而在图像配准领域得到了广泛应用。 基于特征的图像配准中有两个重要的任务：一是特征的选取，二是相似性的度量1 。 由于基于特征的图像配准方法，存在特征提取的多样性，对提取图像特征的鲁棒性和精 确性都有很高的要求。图像特征提取是上述配准技术中的关键一步，准确的特征提取为 特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法， 结合具体的配准准则进行图像配准，对于匹配精度来说至关重要。另外，基于特征的图 像配准方法也比较适用于不同传感器图像之间的自动配准，由于多传感器图像配准与单 传感器图像配准相比，技术难度更大，特别是要实现波段相距较远的图像自动配准，由 于图象间相关性小，则更加困难。在多传感器图像融合中，红外与可见光是军事图像融 合技术中常用的传感器，虽然它们工作于不同的波段，但正是这种图像信息的互补性， 使得它们融合后的结果可以有效地应用于自动目标伪装识别。所以选择适合有效的图像 配准方法，探索高效准确的红外与可见光图像配准具有广阔的应用前景。 1 2 2 本课题研究的主要内容 本课题的主要研究内容为： ( 1 ) 特征提取方法的深入研究。首先全面地阐述了图像配准的概念、研究背景和现 状、配准方法的分类及基本原理。在此基础之上，对图像配准中的特征提取做了深入的 研究，对近年来出现的几种新型的边缘检测结果进行分析，并尝试对一些方法进行改进， 从而总结出相对比较有效的图像边缘提取方法，为进一步进行图像配准提供依据。 ( 2 ) 元胞自动机边缘检测方法的研究以及改进。针对基于元胞自动机图像边缘检测 的原有方法，提出采用方向信息测度与边缘有序性度量作为边缘特征信息，对这些信息 进行模糊推理，为了更好的提高检测准确率，然后对推理结果进行反模糊化处理，采用 基于反模糊化的方法对方向信息测度矩阵进行精确反馈增强，通过元胞自动机的自动演 化进行边缘检测。 ( 3 ) 寻求具有良好不变性和准确性的特征提取方法，并结合有效的配准准则进行配 准。综合分析各种边缘提取方法优缺点，选择有效的边缘检测方法，并结合对齐度配 准准则，提出基于小波变换和对齐度的图像配准方法。 ( 4 ) 电力设备红外与可见光图像稳健配准进行了探索性尝试。红外与可见光图像是 目标在光谱的不同波段一红外、可见光波段的固有特性的体现。由于两类图像间的 相关性较小，共有的不变特征少，所以红外与可见光图像的配准相对来说，难度更大。 本文尝试对电气设备在线监测系统中的红外与可见光图像进行配准，结合配准结果进 行分析。 ( 5 ) 对课题所完成的工作进行总结，并对课题后续的研究方向提出进一步的展望。 华北电力大学硕士学位论文 第二章配准理论和基本方法 近几年在很多不同领域都有大量配准技术的研究，如遥感领域、模式识别、自 动导航、医学诊断、计算机视觉等，各个领域的配准技术都是针对各自具体的应用 背景，结合实际情况量身定制的特定技术，但是不同领域的配准技术之间在理论方 法上又具有很大的相似性。在某一领域中的配准技术，很容易移植到其它相关领域。 本文以下假定在图像配准前，已进行了图像的精确几何校正，配准过程中不再考虑 几何变形影响，只考虑辐射变形和随机噪声的影响。 2 1 图像配准原理 2 1 1 数学描述 我们定义两幅具有偏移关系( 包括平移、旋转、缩放) 的图像分别为参考图像和 待配准图像，并用二维数组石( x ，力和a ( x , y ) 表示图像相应位置处的灰度值。则两幅 图像在数学上有如下变换关系： 五( x ，y ) = g f ( h ( s ，y ) ) 】 ( 2 1 ) 其中h 表示二维空间坐标变换，g 表示灰度或辐射变换，描述因传感器类型的不同 或辐射变形所引入的变换。配准的目的就是要找出最佳坐标、灰度变换参数。通常 意义的配准只关心位置坐标的变换：灰度或辐射变换可以归为图像预处理部分。 2 1 2 空间几何变换 最常见的几何变换包括简单刚体变换别，仿射变换 1 3 9 投影变换，透视变换和 全局多项式变换。简单刚体变换指物体或者镜头的运动不影响成像物体保持相对尺 寸和形状，一般由平移、旋转和尺度三种变换合成。仿射变换比刚体变换更具有一 般性，在更复杂的畸变下仍然能保持很好的数学特性。投影、透视变换针对的是物 体在不同距离条件下成像所产生的畸变，通常需要知道物体成像时离镜头的具体距 离才能有效的配准。多项式变换则是全局变换下最一般的情况。如果需要考虑图像 内非刚性物体的因素，则弹性变换模型更加适用。 以下将具体介绍几种重要的变换的数学模型 ( 1 ) 刚体、仿射变换模型 仿射变换是配准中最常用的一类转换模型，由平移、旋转、尺度的笛卡尔变换 构成，属于全局刚体变换，具有将平行线转换成平行线和有限点映射到有限点的一 般特性。 若点“，咒) ，( j r 2 ，儿) 分别为基准图像与模板图像中对应的两点，则有： 6 华北电力大学硕士学位论文 = 阱( 嬲删 亿2 ， 其中， s 为尺度变化，r - ( 翥口) 为旋转方程 口是需要求出的精确旋转角， t = ( ，t y ) 为平移分量。 仿射变换式： 则是更一般的形式 变化 ( 2 ) 透视变换 盼麓则 3 ) 除了尺度、平移、旋转外，它还考虑了畸变中的倾斜、纵横比 透视变换是三维空间到二维空间的映射。若( 而，儿，z o ) 为三维场景内的一点，那 么它在二维平面的对应点( 五，乃) 如下表示： 而= 二鸟 ( 2 _ 4 ) z o 一， 乃；二鸟 ( 2 _ 5 ) z o 一， 其中厂表示相机镜头焦距。 ( 3 ) 投影变换 若场景由三维空间中一相对于图像平面倾斜的平面构成，这时便需要投影变换 将场景平面映射到水平的图像平面上。 以( z 卢，蚱) ，( j r i ，舅) 分别表示场景平面与图像平面内的对应两点，两者的映射关 系如下表示： 五= a u x p + d h 2 y p + a l a ( 2 6 ) 置= 一 l z 一0 j 。口3 1 0 + a 3 2 y p q 3 3 弘= a 2 t x p + a 2 2 y p + 2 3 ( 2 7 )咒2 l z 一，j a 3 i 工，十a 3 2 y p 十口3 3 2 2 基于图像灰度的配准方法 2 2 1 相关和序列算法 互相关( c r o s s c o r r e l a t i o n ) 是一种基本的统计配准方法n 制。它在模式识别、模板 匹配等领域中被广泛使用，其本身不是一种图像配准的完整方法，更像是一个相似性度 华北电力大学硕士学位论文 量或匹配程度的表征。但在很多配准算法里都用到相关作为基本的相似性度量工具，并 且还有一些算法如序列相关法，就是相关在图像配准上的修正应用。 对一个模板丁和图像厂，丁的区域比厂小，则二维归一化的互相关函数为： t ( x ，y ) f ( x - u ，y - u ) a d 2 苍面丽 q 吨 其中r ( x ，y ) 和f ( x ，j ，) 分别表示模板和图像在坐标( 工，j ，) 处的灰度值。如果丁相对厂 有( f ，) 的平移( f ，_ ，分别为水平和竖直方向的平移量) ，那么上式就在c ( i ，) 处达到最大 值。也可以用下面这个函数来衡量： d ( u ，d = 【丁( 工，y ) - f ( x - u ，y 一 ，) 】2 ( 2 - 9 ) 这个函数是随着图像相似性程度的上升而下降的，即d ( u ，) 在( f ，) 处达到最小值， 接近于0 。丁2 ( x ，y ) 为模板能量，2 ( x - u ，y 一村) 为图像在滑动的模板窗口内 的局部能量，t ( x ，y ) f ( x - u ，少一 ，) 为模板和图像的协相关值。假定鸬，q 代表模板丁 的均值和方差，r ，盯，代表图像厂的均值和方差，就可以定义相关系数： 一c o y ( f , t ) ：翌竺竺兰兰 协 町听 【丁( x ，j ，) 一以】2 【厂。一“，y v ) 一所】2 这就是配准中的相关算法，其中c o y 即图像的协方差( c o v r a i a n c e ) 。用上式还可以 表示出模板和图像的匹配程度，或者说匹配的概率。处理有噪图像的配准时，这个函数 比前面两个函数好的多。由卷积定理，相关可以看作为傅立叶变换的积形式，即： 乃眺，【r ( 工，y ) f ( x 一以，y - v ) ft ( m ，n ) - f ( m ，刀) ( 2 11 ) t ( m ，刀) ，f ( m ，珂) 分别是丁和厂的傅立叶变换。，表示f 的复共辘。这样，在很多情 况下就可以用快速傅立叶变换( f f t ) 来计算相关测度。但是也要注意，只有非正规化的 互相关才能用用可计算，而且随着图像尺寸的增加用叮的开销也会近似线性增加。 使用相关的模板匹配方法有很多种改进形式。在传统相关方法的基础上，b a r n e a 等人提出了一种更为有效的算法s s d a ( s e q u e n t i a ls i m il a r i t yd e t e e t i o na l g o r t i h m ) ， 取得了很好的效果n5 1 。s s d a 算法有两个特点，第一是为使计算方便，用的是模板丁和图 像厂之间的差值来表示变化。即： e ( u ，v ) - - 1 7 ( x ，y ) - f ( x - u ，y - v ) i ( 2 1 2 ) 归一化的公式就是： 8 华北电力大学硕士学位论文 e ( u ，) = 芝：芝：1 7 ( x ，y ) - e ( r ) - f ( x - u ，y - v ) + e ( ) l ( 2 一1 3 ) j y e ( t ) 表示丁的均值，比起相关法显著的减少了运算量，而且实际处理的效果差不多。 另外是用了一种序列搜索的策略，定义了一系列窗函数和域值，其大小由检测范围和模 板大小决定，当每个窗函数作用到图像上，都有一个相似性超过域值的次数累加，然后 在超过次数最多的窗口里再进行匹配，从粗匹配一直细化，直至找到满意结果。 尽管序列算法提高了相关方法的搜索效率，但随着变换空间的复杂化，算法也随之 复杂化。同时，由于序列算法注重减小计算量，某种程度上计算结果的精度会受到影响。 除了计算量上的缺陷，这类方法一般只适用于相似图像的配准。从以上的公式中可以看 到，相关测度都依赖图像的灰度值。对于一些有较大灰度变化( 如大气散射影响或不同 传感器类型造成) 的图像配准，这种方法有很大的局限性。 2 2 2 傅里叶方法 傅立叶配准方法是相关技术的一种，与灰度相关技术不同的是，它在频率域中寻找 最佳配准n 们，我们称之为相位相关，它是以窗口的傅立叶变换相位作为配准的基元。 傅立叶变换有几种属性可用来进行图像配准，图像的旋转、平移、比例变换都能在 傅立叶变换频域中反映出来。使用频域方法的好处是对噪声干扰有一定的抵抗能力，同 时傅立叶变换可以采用月叮的方法提高执行速度。 ( 1 ) 平移量估计 对偏移图像进行配准的一种有效方法是相位相关法( p h a s ec o r r e r l a t i o n ) 。相位相 关法是基于傅氏变换的平移定理，考虑两幅图像z 和f 间存在( t ，d ，) 的平移，即 五( 工，y ) = f ( x - 以，y d ，) ( 2 1 4 ) 对其进行傅氏变换，反映到频域上具有以下形式： e ( u ，w ，) = 正( m ，w v ) e x p - j 2 万( w a , + 嘭) ( 2 1 5 ) 式( 2 - 1 5 ) 说明，两幅有平移量的图像变换到频域中有相同的幅值，但有一个相位 差，而这个相位差与图像间的平移量( d ，d ，) 有直接关系。根据以上平移定理，可知以 上相位差等于两幅图像的互功率谱的相位。即： 善生堡嬲= e x p j 2 万( 嵋t + b 嘭) ) ( 2 1 6 ) _ - = c x n丌i w + w 一儿 l 曩( w j ，w ，) 五( ，w ，) l 一 7 式( 2 1 6 ) 的右边部分为一个虚函数，其傅立叶反变换恰好是一个单位冲击函数， 而冲击的峰值点位于( 矗。，d ，) 处。于是通过求取相位差的傅立叶反变换，得到一个狄拉 克函数，再找寻函数峰值点对应的坐标，即可得到我们所要求的配准点。实际上，在计 算机处理中，连续域要用离散域代替，这使得狄拉克函数转为离散时间单位冲激序列的 形式。在实际运算中，两幅图像互功率谱相位的反变换，总是含有一个相关峰代表两幅 华北电力大学硕士学位论文 图像的配准点，和一些非相关峰( 可以被假设为以零均值正态分布) 。相关峰的峰值直接 反映两幅图像间的一致程度。更精确地讲，相关峰的能量对应重叠区域的所占百分比， 非相关峰对应非重叠区域所占百分比。 这种方法可归结为求互功率谱相位的傅立叶反变换的峰值的所在位置，因此每种频 率成分的贡献是相等的，所以这种方法非常适合于具有窄带噪声的图像。同样由于光照 变换通常可被看成是一种变化缓慢的过程，主要反映在低频成分，所以相位相关法对于 在不同光照条件下拍摄的像片或不同传感器获得的图像之间的配准比较有效。 需要指出的是，实际计算机处理的图像是有界并且离散的。根据采样定理，离散采 样间隔必须足够小，否则会发生混叠。 l l i n e y 曾提出将图像分别在x 轴和j ，轴投影，这样只用一维的f 阿就可以计算相 位相关。x 轴和j ，轴的一维变换可以简单的看作是二维变换的行( w 。= 0 ) 与列( w ，= o ) 。 虽然此方法在某种程度上能减小计算量，但是这种方法对于稍大一点的偏移量稳定性会 下降。 ( 2 ) 旋转角度估计 d ec a s r t o 提出了一种相位相关法的改进算法即双步法，它可以很好的处理有平移 和旋转的图像闯的配准。所谓两步法是指：首先求出旋转角度，然后进行旋转补偿，使 问题重新回到只有平移的情况，然后再通过前面的相位相关法求平移量大小。 ，j d p 奠 图2 - 1 偏移图像间的坐标关系 如果两幅图像石和五间存在平移量( t ，d ，) 和旋转角岛。假设a ( x ，y ) 是彳( x ，少) 通过 旋转o o 和平移( d 。，d 。) 而来，如图2 一l 所示。则根据傅立叶平移和旋转变换定理，可以 得到如下关系式： e ( 叱，w y ) = 鼻( 心c o s o o + w ys i n s o ，一叱s i n 8 0 + w yc o s o o ) c x p 一j 2 e ( w , d , + d y ) ( 2 1 7 ) 式( 2 - 1 7 ) 说明，空间域中具有旋转角度o o 偏移关系的两幅图像，在频域中其幅频 也具有o o 的角度旋转偏移关系。即频域中图像石( 工，y ) 旋转o o 角后与图像l ( x ，y ) 有相同 的幅值，同时有一个相位差，而这个相位差又由平移量( d 。，d 。) 决定。为了估计旋转角 i o 华北电力大学硕士学位论文 度，我们定义： g ( u ，吩，岛) = 币i 丽i 面g ( 而w w 再o 面忑i 丽( 2 - 1 8 ) 并把绋看作变量，结合( 2 一1 7 ) 式，显然当0 = o o 时，有如下关系： g ( ，w ，o o ) = e x p 一j 2 1 r ( w x d x + w y d ，) ( 2 1 9 ) 当日不等于o o 时，上式不成立。因此通过搜索口角使得g ( w ，w ，o o ) 满足式( 2 - 1 9 ) 中的形式，即n - - 求得旋转角度岛。找到皖后，就可以将偏移图像旋转回去，使得两幅图 像间只存在平移关系，于是再通过求互功率谱傅氏反变换的方法求取平移量大小。通过 以上两步最终求出图像间的偏移量大小。 以上估计角度的方法实际上是一个穷举搜索的方法，为了提高旋转角度的精度，必 须相应提高角度搜索空间，这样势必大大增加计算量。 为此，q i n - s h e n g 提出了一种f o u r i e r m e l l i n 不变描述算子，通过在极坐标下，将 旋转和比例( 尺度) 缩放因子转化为平移的形式，使相位相关方法的速度得到了改善。 ( 3 ) f o u r l e r m e l1 i n 不变形描述 现在假设两幅要匹配的图像分别为彳( 工，y ) 和石( 石，y ) ，z 是石包含有平移、旋转和 比例缩放的版本，它们间的关系可表示为： 厶( 毛y ) = f , a ( x c o s o o + y s i n o o ) - x o ，a ( - x s i n 岛+ y c o s o o ) 一】 ( 2 2 0 ) 式中，o r 是表征两幅图像大小缩放的比例( 尺度) 因子，皖是旋转角度，( x o ，y o ) 是两 幅图像间的平移量。对式( 2 - 2 0 ) 进行傅氏变换，得到它们频域中的关系为： e ( 也，) = o r 。2 i e ( 叱c o s 岛+ w y s i n o o ) ，o r - 1 ( _ 叱s i n o o + w , c o s o o ) i e x p 一j c p a ( w ，) ) ( 2 - 2 1 ) 式中，9 ( u ，) 是图像石的谱相位，其值主要依赖于平移、旋转和比例因子等因 素。因此，通过取模，得到它们f o u r e i r 功率谱的关系为： i 五( 叱，q ) i = o r 。2i e ( 叱c o s 岛+ w ys i n o o ) ，o r 一( 一叱s i n o o + w yc o s o o ) l ( 2 2 2 ) 式( 2 - 2 2 ) 是平移不变的，表明图像的旋转角度造成功率谱也旋转一个相同的角度， 同时图像缩放因子仃造成功率谱缩放盯叫倍。另一个有趣性质是谱中心w 。= w 。= 0 对旋 转和尺度是不变的，为了将旋转和尺度变换转化成平移形式，首先对频谱进行极坐标变 换，极坐标变换使原来的坐标( ，w ，) 变成了( p ，0 ) ，因此可以得到下式： 仃一1 ( 一w jc o s 岛+ s i n 岛) 2 詈c o s ( 秒一皖) ( 2 2 3 ) o r - ( 一w ，s i n o o +