南 京 理 工 大毕业论文 1.docx

南 京 理 工 大 学毕业设计说明书(论文)作 者:王刚学 号：0904210246学院(系):电子工程与光电技术学院专 业:电子信息工程题 目:多波段视频图像实时配准技术研究与实现讲师张玉珍指导者： (姓 名) (专业技术职务)评阅者： (姓 名) (专业技术职务) 2014 年 5 月20毕业设计说明书（论文）中文摘要随着科学技术的发展，单一传感器提供的图像信息逐渐不能满足应用的需求，往往需要融合多个传感的器的图像才能得到更丰富、准确的物体目标的图像信息。但由于不同传感器的成像原理不同，成像的时间、空间也不一定相同，这就使得被融合的图像需要提前配准。此外，为了满足实时性，高速的视频图像配准技术的实现已成为了新的发展要求。因为红外图像和可见光图像分别包含了场景的目标与细节信息，二者相结合有利于提高对场景的整体认知，所以本文研究的多波段视频图像实时配准，主要是指可见光视频与红外视频的配准。针对本课题，本文重点研究了如何实现数字图像快速、精确配准，在保证精度的基础上，重点是寻求一种配准速度更快的配准算法。本文主要研究了两类不同的图像配准方法：第一种是基于互信息的配准方法，第二种是基于角点特征的配准方法。研究结果表明，前一种配准方法误匹配率很低，配准精度高，稳定性强，但计算量大，耗用时间偏长，不适合于实时图像配准；相比之下后一种方法虽然容易受到图像内容的影响，鲁棒性不够强，但计算量低，具有明显的高速优势，并且一般也能满足配准精度要求，所以这类方法更适合于对实时性要求高的视频图像配准。关键词：视频图像配准，互信息，Powell算子，Harris角点，实时性毕业设计说明书（论文）外文摘要Title multiband video image real-time registrationAbstractWith the development of science and technology, the image information provided by single sensor cant meet the requirement of application. It always needs images provided by several sensors to get more rich and accurate information of the target object. However, the imaging principles of different sensors are not the same, and the imaging time and space are not always identical, which makes the fused image need registering in advance. Besides, for real time, to realize high speed video image registration techniques becomes new developing requirement. Because the infrared image and visible light image contains the target and detail information of a scene respectively, the combination of two is good to improve the overall recognition of the scene. Therefore, the multiband video image real-time registration studied in this paper mainly refers to visible light video and infrared video registration. According to this topic, this paper focuses on the research of how to realize the fast and accurate registration of digital images. On the basis of sufficient accuracy, we aim to find a more fast registration algorithm. In this paper, we mainly studied two different methods of image registration. First is image registration based on mutual information, second is image registration based on angle point feature. The previous one has low matching error rate, high registration accuracy and high stability. But its computation amount is huge and processing time is long. In contrast, the later one is vulnerable to the image content and its robustness is not strong enough. But its computation amount is small, so it has obvious high speed advantage, and it can meet the average requirement of registration accuracy. Therefore, this method is more suitable to the video image real-time registration.Key words: video image registration, mutual information, Powell operator, Harris angle point, real-time目 次1 第一章 绪论 11.1选题背景与研究意义 11.2 国内外研究现状 11.3 本文主要内容 22 第二章 图像配准基本理论2.1数字图像定义2.2配准技术简介2.3 图像配准技术分类2.4 图像配准的基本框架2.5 空间变换与插值2.6 本章小结3 第三章 基于互信息的配准方法3.1配准流程3.2 关键算法原理介绍3.3 实验结果与结果分析3.4 本章小结4 第四章 基于角点特征图像配准方法4.1配准流程4.2 关键算法原理介绍4.3 实验结果与结果分析4.4 本章小结5 第五章 总结致谢参考文献附录A 主程序及函数1 绪论1.1选题背景与研究意义随着科学技术的发展，单一传感器提供的图像信息逐渐不能满足应用的需求，往往需要融合多个传感的器的图像，多传感器提供的信息更具有可靠性、冗余性、互补性。利用冗余信息可以改善信噪比，并获得更可靠的结果；利用互补性可获得更全面、更丰富、包含更多细节的信息。红外图像具有很好的云雾穿透、以及特殊的识别伪装的能力，可在场景内定位具有较高温度的物体(热源)，而可见光图像含有丰富的几何和纹理细节，能够提供目标所在场景的细节信息，有利于观察者对场景的整体认知，将二者融合便能实现在背景中定位热源物体的功能1，从而得到更丰富、准确的物体目标的视频图像信息。 红外传感器和可见光传感器作为两种最常见的图像源被广泛地应用在计算机视觉、自动控制、机器人、目标识别跟踪、反恐安检、军事应用等领域2。但由于不同传感器的成像原理不同，成像的时间、空间也不一定相同，这就使得被融合的图像需要提前严格配准。此外在建立实时、准实时图像融合系统时，一种快速图像配准是必不可少的。但是如何提高配准处理速度，进行快速和实时的图像配准，仍然是图像配准发展的一大难题。同时，在实际的应用中，图像易受噪声影响，尤其是在利用目标的特征配准中，获取区域和边缘3时存在一定困难，实现高精度的图像配准难度很大。因此，具有实时性，高速特点的图像配准技术的实现已成为了新的发展要求。因此研究实时性、高速的红外与可见光图像的配准技术具有重要意义。1.2国内外研究现状最近的几十年里，图像采集设备得到了快速的发展，同时图像的数量以及图像的多样性日益增长，这些激发了对图像自动配准技术的研究。图像配准技术是图像处理领域的一项基本研究内容 , 涉及图像分割、 特征提取、 模式识别和优化理论等多项关键技术2 , 这些技术的进展影响着配准技术的发展。国外从 20 世纪 60 年代就开始在图像配准领域进行研究, 但直到 1980 年代才开始引起学者们的关注。到上世纪末 , 单模图像配准问题已基本解决 ,但多模图像配准由于涉及模式和领域的复杂性 , 仍需密切关注。国际上对图像配准技术曾做过调查, 其结论是 1990 年代初技术文献明显增加。根据美国科学信息研究所（ISI）的数据库表明，在最近10年发表了超过1000篇有关图像配准技术的论文。而国内起步较晚，从 1990 年代初才开始涉足此领域。近20年来，有大量的研究者致力于图像配准方法的研究，提出了许多算法。苑津莎, 赵振兵, 高强10.三位教授提出了一种基于经验模式分解和互信息的多模态图像配准方法，这种方法首先通过理论分析得出通过求解剩余图像之间的变换参数，将二维经验模式分解应用于多模态图像配准。然后据此获得原始图像之间的变换参数，实验结果表明多模态图像配准此方法与传统图像配准方法相比，旋转角度估计误差可以降低1个数量级，缩放参数的估计误差也有很大降低；王阿妮，马彩文，刘爽，柳丛，赵欣4等人，针对红外图像与可见光图像的自动配准问题，提出了一种基于图像角点特征以及仿射变换模型的方法利用Harris因子分检测角点，进行边缘检测，得到其边缘图像，实现角点的粗匹配；通过角点的细匹配，从匹配的角点中选择两对匹配最佳的点作为仿射变换的控制点。得到仿射变换模型实现图像配准该方法运算速度快，可以很好地完图像的自动配准；朱智超，闰钧华，徐诚5，为了提高图像配准的精度，提出了一种基于亚像素纠正的红外与可见光自动配准方法。这种方法采用了ShiTomasi角点检测器和Taylor多项式技术。将角点的坐标纠正到亚像素级，在六参数仿射变换模型基础上采用改进的Hausdorff距离进行精确匹配。与传统方法比较，该方法提高精度10左右，配准精度高，鲁棒性好。目前，尽管国内外在图像配准方面已经开展了许多研究工作，提出了许多种图像配准方法，但仍然存在不少问题2，主要表现在：（1）异构传感器图像配准技术。不同成像特性的图像传感器所获得图像的灰度和特征往往存在较大差异。目前的图像配准方法大多主要针对影像波段，对于分辨率、景物特征等一致或接近的图像配准方法较成熟，而对于性质完全不同的传感器图像，如波段、分辨率、景物特征等差别较大的图像之间的配准问题，则还没有很好的解决办法，无法达到快速、自动配准的要求，也很难满足大规模影像数据处理的需要。（2）自动配准技术。目前研究的大多数方法都需要进行人工交互自动配准，较难完成无需人工干预，计算机自动完成多源图像的配准。（3）快速图像配准算法。在建立实时、准实时图像融合系统时，一种快速图像配准是必不可少的。但是如何提高配准处理速度，进行快速和实时的图像配准，仍然是图像配准发展的一大难题。（4）高精度图像配准算法。在实际的应用中，图像易受噪声影响，尤其是在利用目标。的特征配准中，获取区域和边缘时存在一定困难，实现高精度的图像配准难度很大。（5）大失配条件下配准技术。若待配准图像之间存在大比例变化、旋转、平移，存在大的图像非线性畸变以及严重的几何校正残余误差等情况，其配准难度相当大，某些算法在处理以上情况时甚至无法完成配准。1.3 本文主要内容针对本课题，本文重点在于研究如何实现多波段图像快速精、确配准，在保证精度的基础上，重点是寻求一种配准速度更快的配准算法。根据上述对图像配准方法的分类，本文从中各选取一种代表性方法进行研究。第二章主要介绍了图像配准的相关理论以及相关概念，对图像配准技术的基本方法进行了总结和分类概述并对配准方法的原理及其基本流程作了简单介绍，为后文所研究的配准方法奠定基础。第三章研究了基于互信息的配准方法，首先介绍信息熵、互信息等理论计以及Powell算子Brent一维搜索等关键算法，采用两组图像进行试验对比，而后进行malab仿真，并根据实验结果对他的优缺点进行分析第四章研究了基于角点匹配的图像配准方法，首先介绍harris角点检测原理，以及用于角点匹配的归一化互相关系数算法原理，采用两组图像进行试验对比，而后进行malab仿真，并根据实验结果对他的优缺点进行分析。第五章对全文进行了总结，主要对第三章基于互信息配准方法与第四章基于特征配准方法进行总结概括，最终得出结论，那种方法更适合于本课题的实现。2 图像配准基本理论2.1 数字图像定义对于连续图像在空间上采用图方式进行采样，并量化处理后可获得离散图像。采样后，x、y是整数，所以常用i、j来表示，量化后的取值也为整数，如用8bit量化，则取值范围0255。于是离散的黑白图像可用矩阵来表示：-=)1,1()1,1()0,1()1,1()1,1()0,1()1,0()1,0()0,0(),(MNfNfNfMfffMfffjif。2.2 配准技术简介2.2.1图像配准技术图像配准技术就是将一个场景的两幅或两幅以上取自不同拍摄角度或取自不同拍摄时间或者来自不同传感器的图像对齐重叠在一起6。这种技术就是将两幅图像在几何坐标系上进行匹配，其中一幅作为参考基准图像，另外一幅是待配准的图像。这里所说的两幅图像，造成他们的主要差别的原因是取自不同的成像条件。图像配准是图像分析工作中一个至关重要的步骤1。目前，图像配准技术广泛应用于医学、生物、信息处理和其它领域2，它已成为图像处理应用中不可或缺的技术。根据图像配准中利用的图像信息区别可将图像配准方法分为三个主要类别：基于灰度信息法、变换域法和基于特征法7。也可以据此大致分为两类：基于区域的配准方法和基于特征的配准方法8。基于区域的配准方法主要利用区域内的灰度信息进行配准，不必检测图像特征，其重点在于特征匹配9环节。基于特征的配准方法从图像中提取相对固定的特征，依靠特征量之间的匹配完成配准过程，配准技术的流程如下：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数：最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要视频图像配准是指在不同时间、不同视点,由不同传感器摄取的同一场景的两幅或多幅图像加在一起的过程。其主要目的是消除或抑制由不同拍摄条件所引起的图像之间的畸变,从而实现几何对准。视频图像配准的方法一般可以分为基于图像灰度统计特性和基于图像特征两大类。近年来，视频序列图像的配准技术一直是计算机视觉领域的研究热点。当前，虚拟现实、视频监控11等视频处理应用变得越来越普遍和重要。而视频全景图(dcoMosaic)技术在这些领域都有广泛应用，比如在监控领域。而视频图像配准是这些应用领域相关技术的重要环节。简单来说，视频图像配准是将同一场景拍摄的不同图像进行对齐的技术，即找到图像之间的点对点映射关系，或者对某种感兴趣的特征建立关联。视频图像实质上是每秒若干帧(大于24帧)的静念图像，由于图像的拼接技术己经发展的相当成熟。所以，视频的拼接就是利用静态图像的拼接算法，将它应用到视频图像的拼接当中所完成的拼接工作。但是当前大部分的研究主要集中在静念的序列图像上10。视频序列图像相对与静态序列图像有很多不同的特点。首先视频序列图像它提供了大量的内容和时间信息，这些信息有利于动态场景监控和运动分析。其次视频序列图像帧的数目要远远多于静态序列图像，并且相邻帧之间有很大的冗余性，这就需要一个有效的存储、搜索算法12，需要一个实时性的处理算法。再次，由于视频序列图像中有可能存在运动物体，这些运动物体有可能对配准算法产生致命性的错误。这也需要我们在静态图像配准的方法上有所改进。2.2.2图像配准定义图像配准技术就是将一个场景的两幅（其中一幅作为参考图像，另外一幅是待配准的图像）或两幅以上图像在同一坐标系上对齐。这些影像或者来自不同传感器，或者是由同一传感器在不同时相获取的它可以是在不同观察点获取的图像之间的配准(多观察点配准)、不同时问获取的图像之间的配准(时间序列配准)、不同传感器获取的图像之间的配准(多模态配准)以及场景到模型的配准(模板匹配)。设两幅针对同一场景的图像分别为（x，y）和（x，y）以（x，y）作为基准图像，（x，y）作为待配准图像，将（x，y）和（x，y）两幅图像进行配准也就是寻求和两幅图像之间的对应关系： （2-1）其中gx表示一维灰度变换。f表示二维空间坐标变换，图像配准的过程即可以视为寻找恰当空间变换的过程。2.3 图像配准技术分类图像配准被广泛地应用在遥感技术，医学影像学，计算机视觉等领域。一般来说，本文分别根据图像的应用领域不同、技术基本原理、图像信息利用的区别对图像配准划分若干类别，以便对图像配准概念有全面的了解。2.3.1根据图像的获取方式的不同，可将它划分为四种主要类别13： 1获取自不同观测点（多视点分析）。同一场景的图像是从不同的观测点获得的。其目的是为了获得更大的一个二维视图或三维视图的扫描场景。 2获取于不同时间点 (多时间点分析)。同 场景的图像是在不同时间点（通常是在一定基础上）并且很可能处于不同的环境条件下获取的。这样处理的目的是发现并且评估在图像连续采集的过程中的场景的差异。 3获取自不同的传感器（多模态分析）。同一场景的图像是由不同的传感器获得的。目的是通过对来自不同数据源的信息进行整合处理来呈现出一个更复杂更详细的场景。 4场景模型配准。要进行配准的是这个场景的图像与他的模型。这个模型可以是对场景的计算机表示（例如地图或地理信息系统中的数字高程模型 DEM或者是与之具有相似内容的另一个场景，其目的是将场景和他的模型进行定位，或对他们进行比较。2.3.2根据应用领域不同将配准方法概括为下面四类情况1：1.同一场景从不同角度拍摄形成的不同图像的配准问题。其研究目的是获得更宽阔视野的图片，获得立体信息、进行三维模型等。2.不同时间拍摄的不同图像的配准问题。其研究目的是检测并定位场景中的变化部分，比如在遥感图像处理技术中检测地理环境是否发生变化，在医学图像处理技术中检测患者的局部部位是否发生病变，在自动视频监控系统中智能化的检测是否有入侵等。3.不同传感器所拍摄图像的配准与融合问题，比如在CT、SPECT、MRS等医学图像系统中的应用。4.二维场景的图像跟三维模型的配准问题，比如在GIS系统、目标辨识、图像数据库检索系统中的应用。2.3.3根据所用技术原理的不同可分三类情况：1. 基于图像灰度的配准方法，通常直接利用整幅图像的灰度信息，建立两幅图像之间的相似性度量，然后采用某种搜索方法，寻找使相似性度量值最大或最小的变换模型的参数值。常用的相似性度量有：(1)两幅图像灰度的平方差之和；(2)序贯相似度检测；(3)互相关；(4)位相相关。基于图像灰度的配准方法不需要对图像做特征提取，而是直接利用全部可用的图像灰度信息，因此能提高估计的精度和鲁棒性。但由于在基于图像灰度的算法(如互相关算法)中，把匹配点周围区域的点的灰度都考虑进来进行计算，因此其计算量很大，速度较慢。但是由于多镜头获取各类图像灰度特征往往不一致，因此很难运用基于图像灰度的方法。图像配准是图像镶嵌技术的核心问题。微软研究院的Richard Szelisb在1996年SIGGRAPH上提出了基于运动模型的全景图拼接算法。Szeliskj采用了非线性优化的方法来最小化像素两幅图像的亮度差以确定变换参数。该方法使用了全部像素进行优化处理，所以配准精度较高，但是计算速度较慢，且稳健性不佳。基于图像特征的配准方法是目前采用最多的。2.基于图像特征方法提取各类图像中保持不变特征，如边缘点、闭区域的中心等，作为两幅图像配准的参考信息。这类方法的主要优点是它提取了图像的显著特征，大大压缩了图像的信息量，使得计算量小，速度较快，而且它对图像灰度的变化具有鲁棒性。但另一方面，正是由于只有一小部分的图像灰度信息被使用了所以这种方法对特征提取和特征匹配的错误更敏感，需要可靠的特征提取和鲁棒的特征一致性。基于图像特征的配准方法包括特征提取、特征匹配、选取变换模型及求取参数、坐标变换与插值四个主要组成部分。特征提取是指分别提取两幅图像中共有的图像特征。点特征是最常采用的一种图像特征，包括物体边缘点、角点、线交叉点等，常用的点特征提取方法有基于小波变换的边缘点提取法、角点检测法、兴趣算子法；线特征是图像中明显的线段特征，如道路、河流的边缘，目标的轮廓线等；面特征是指利用图像中明显的区域信息作为特征；还有基于其它的一些特征描述算子，比如SIFT算子。接下来的工作是特征匹配。两幅图像A和B中分别有m和n个特征点(m和n常常是不相等的)，其中有k对点是两幅图像中共同拥有的，则如何确定两幅图像中k对相对应的点对即为特征匹配要解决的问题。常用的特征匹配方法有：互相关系数法、互信息法、聚类法、点间距离法、松弛法等。3. 图像经过傅立叶变换，由空域变换到频域，两组数据在空间上的相关运算可以变为频谱的复数乘法运算11，同时图像在变换域中还能获得在空域中很难获得的特征。小波变换也常常被用于图象拼接技术。BReddy和bBChatterji中提出了一种基于FFT的图像配准方法，比空域具有更好的精度和可靠性，可以处理包含平移、缩放和尺度变化在内的图像配准问题；李忠新等在2004年提出了一种基于频域相关的柱面全景图拼接技术14。这些方法都是在变换域进行图像配准的例子。常用的频域相关技术有相位相关和功率倒谱相关，其中相位相关技术使用相对广泛。2.4 图像配准的基本框架2.4.1特征空间15图像配准中使用的图像特征有着重要的实际意义，因为它们通常决定了这个方法适合于什么样的图像。图像基本特征包括灰度、特征点、线、边缘轮廓和纹理。其中特征点是图像中满足一定结构要求的像素点，边缘是指图像中关于灰度或色彩变化不连续而形成的边界，纹理是由大量有序的相似基元或模式排列而成的一种结构。点线边缘特征的抽取方法通常是模板匹配法，先将图像平滑以去噪，然后和中心点的四邻近点的平均值进行比较，当其差值超过某一确定门限时，认为该中心点处存在特征点。现在较关注的是用小波来进行特征提取，比如当边缘点比较稀疏时就用高阶样条曲线来拟合这些点，还有利用二进中心样条小波来检测边缘等等。根据特征空间可以归纳出如下的两种：基于像素和基于特征的算法。（1）基于像素的方法直接利用了图像的灰度数据进行配准，不需要将图像原始数据进行预分割，但为了降低噪声的负面影响通常要对图像进行预处理，增加或均匀像素的分辨率。在离散坐标的网格上直接进行像素灰度级匹配是可行的，但为了得到亚像素级的精度经常要在一个连续的框架中操作，将图像在离散域和连续域进行一致则需要用到插值技术。比较简单和常用的一般是线性插值；往上一级是样条插值技术，它能在计算精度和计算复杂度之间提供更好的权衡。有时候，插值后的图像表示出来的维数会比原来的多，比如将2D图像直接或使用分级描述成三维空间的一个表面。这样做的好处是在算法上有更全局的考虑，能增加算法的稳定性。（2）基于特征的算法是建立在已从图像中抽取出来的特征集合之上的，根据图像特征来确定配准参数。这时特征集的维数通常会少于原始数据集的维数。基本的形变函数就处于特征集中，在没有信息可利用的地方就进行插值处理。特征提取过程是非线性的，往往要用到阈值计算。基于特征的方法有：点法、曲线法、表面法、点面结合法。2.4.2 搜索空间在很多情况下，解决一个问题就是从一大堆数据中寻找一个解，而通常这个解都是混杂在数据中的。所有可行解组成的空间称之为搜索空间。搜索空间中的每一个点都是一个可行解。每一个可行解都可以被它的函数值或者它的适应度所标记。问题的解就是搜索空间中的一个点，于是就是要从搜索空间中找到这个点。这样，求解问题就可以转化为在搜索空间中寻找极值点。由于存放算法数据的计算机内存容量有限，通常搜索空间里面的每个形变函数会使用一种叫形变模式的手段，由一套有限的参数集加以描述。我们根据参数的数目和与每个参数有关的空间扩展来对形变模式加以分类。（1）局部模式在该模式中，所搜寻的形变函数基本上是属于一个大而没有限制的函数空间中，如索伯列夫空间等。我们能够从一个往往与像素位置一致的合适网格中寻找形变函数值，其方法要么作为变分被描述，要么就用偏微分方程来阐述，通常后者用的更多一些。连续定义的形变函数最小化一个给定的准则或者对一个给定的偏微分方程求得其解。形变函数有时候会被间接构造，比如当使用标量场时是这样的。这样能减化求解的维数，但会降低形变的一般性。（2）全局模式我们可以使用参数数量相对较少的全局模式来描述搜索空间里的对应函数。这种模式以线性、全局多项式或类似于统计学的原理来表示形变函数。对于上述方法，与某一特定形变空间相对应的形变模式和最小化准则是一样重要的。（3）半局部模式这是位于中间的一种模式，它在局部范围内使用了适当数量的参数，并在此基础上将控制点组成的网格应用到图像中。网格松散地与众多标记点的分布相一致。在这种模式里，样条函数使用比较多。2.4.3 相似测度图像配准是基于某一个相似测度的，相似测度是两幅图像达到配准的衡量标准。即，在什么意义下认为达到图像的配准。在文献中已报道过的多种图像配准方法中，分别依据了多种相似测度。如当两图像配准时，点特征集合之间的“距离”接近于零，这是特征集合之间的“距离”57，作为一种相似性测度来显示匹配程度；还可以利用互相关58和相关系数59显示匹配程度；类似的测度还有整合平方误差的最小化60、互信息的最大化212261等等。目前经常采用的相似性测度有均方根距离、相关性、归一化互相关、梯度互相关、梯度差、模式灰度、图像差熵、互信息、归一化互信息等。面介绍几种与基于灰度信息的图像配准相关的相似性测度62。（1）归一化互相关16（2-2）R和F分别是参考图像和浮动图像在(i,j)T区域内的像素灰度平均值。在互相关相似测度中，像素的贡献几乎完全依赖于像素的灰度，因此，少量大的灰度值会对该相似测度有较大的影响。（2）互信息16互信息是信息论中的一个概念，通常用于描述两个系统间的统计相关性，或者是一个系统中所包含的另一个系统中信息的多少。两幅图像间的互信息可用下式描述：（2-3）研究表明，互信息在3D-3D多模态图像配准中非常有效，本文所进行的刚性配准算法研究均基于互信息方法。（3）梯度互相关基于梯度的相似性测度首先要计算参考图像和浮动图像的导数。用水平和垂直Sobel算子对两幅图像进行处理，生成四幅梯度图像dF/di和dF/dj以及dR/di和dR/dj，分别表示两幅图像在两个正交坐标轴方向上的变化率，然后分别计算dF/di与dF/dj之间和dR/di与dR/dj之间的归一化互相关。梯度相关测度的优点在于能够消除两幅图像间空间低频差异，比如软组织。但是由于用到了Sobel算子，所以该测度对边缘信息敏感。又因为用到了归一化互相关，所以对少量大的灰度差值敏感。（4）模式强度模式强度是基于差值图像进行计算，这里我们把待配准的目标称作“模式”，当达到配准状态时，差值图像中待配准的模式会消失，模式的强度会减到最小。模式强度认为，当一个像素与其邻近的像素值差别显著的时候，这个像素属于一个模式63。以这个像素为中心，半径r以内的像素都加入了计算。计算公式如下：（2-4）公式（2-4）表明，当该模式趋近于零时，模式强度测度的值趋近于一个最大值；当该模式渐渐增加的时候，模式强度测度渐进趋于零。常数是函数的权重。（5）梯度差值这种相似测度也是基于差值图像的，但是这个差值图像是由梯度图像得到的。与模式强度测度相同，梯度差值测度也用到了1/(1+x2)的形式，这样可以增加对细线结构的鲁棒性。可以看到，各个配准相似测度的侧重点是不同的，它们本身也存在着不足，比如说，强烈地依赖于图像直接灰度信息的方法如互相关、灰度差等方法对于图像的噪声非常敏感；基于特征的方法在特征提取的预处理（如分割、边缘检测等）过程中本身就已经带来了诸如误差、计算量等问题。实际应用中一般是针对不同的实际问题和采用的方法来选择相应的相似测度。对于各种测度在图像配准应用中的比较见文献。2.4.4 搜索策略图像配准在本质上是一个多参数优化问题，即寻找使配准相似测度达到最大时的几个空间变换参数值。因此，配准问题的实质是配准函数优化问题，函数优化问题，是一个数学上的经典问题，有很多较为成熟的算法可以利用。图像配准在本质上是一个多参数的优化问题，即寻找使配准相似测度达到最大时的几个空间变换参数值。配准算法中的最优化过程可以分为两类：（1）参数可直接计算的最优化在这一类方法中，参数的计算有明确的解析表达式，对于给定的配准准则计算的方法和过程都是确定的。这种方法通常只利用了图像中很少的信息，例如基于对应点集的刚性配准和薄板样条插值弹性配准等问题，最后往往归结为一个线性方程组的求解。（2）参数需通过优化搜索的最优化。对于此类方法，参数无法显式的表示，只能通过对目标函数在其定义域上进行优化搜索得到。这样，目标函数的性质就非常重要。2.5 空间变换与插值图像配准，就是对空间上具有旋转、平移、缩放关系的两幅（或多幅）图像在几何坐标上对齐，这就需要进行空间变换17。变换模型是指根据带配准图像与参考图像之间畸变的情况，选择对两幅图像之间的变化拟合度最好的几何变换模型。当求得两幅图像的间的变换参数之后，将带配准的图像经过一系列的变换，就能够使带配准图像与参考图像处于同一坐标系之下。但是带配准的图像某一像素点经过变换后与所得的点并不一定是整数像素，因此需要进行插值。2.5.1 空间变换对于一幅二维图像，假设其上任一点的坐标为（x，y）经过某种变换后的坐标为（x，y）。 (a)仿射变换仿射变换是图像向配准中最常用的变换，主要包括旋转、平移、缩放三种变换。仿射变换能处理比较复杂的形变，使图像保持良好的数学特性。其公式为： （2-5）其中为缩放因子，为旋转角度，为平移量。(b)刚体变换刚体变换不会改变一幅图像之中的任意两点的相对距离，即不改变图像的尺寸和形状。刚体变换一般包括平移、旋转和镜像。其变换公式为： （2-6）其中为旋转角度，为平移量(c)投影变换投影变换是将三维空间中一个相对于图像平面倾斜的平面映射到水平面上，它无法保证平行关系。其变换公式为： （2-7）(d)透视变换透视变换是一个三位景象通过一个光学图像系统后成像发生形变，其本质是从三维空间到二维空间的变换。比如一个三维场景中的点（x，y，z）映射到二维图像中的点（x，y）。其公式为： （2-8）2.5.2 常见的插值算法1、最近邻插值法13最近邻插值法就是把所求点的值与它附近的（2-2）4个邻近的值作比较，取与它的值就近的节点的值为插值点函数值。在图像处理中，最近邻插值即选择离它所映射到的位置最近的输入像素的灰度值为插值结果。若几何变换后输出的图像上坐标为（x,y）的像素点在原图像上的对应坐标为（u,v），则近邻插值公式为： g(x,y )=f(x,y)x=u+0.5y=v+0.5 （2-9）其中 表示取整。插值示意图如图所示:在待插值像素周围的四个像素点中,将距离该点最近的像素的灰度值赋给待求像素。最近邻插值使用较为普遍,插值速度最快,然而当图像中的灰度发生变化时,使用此算法容易造成图像边缘轮廓模糊不清,锯齿严重等现象,视觉效果较差,重构误差大且精度不高。2、双线性插值法为改善最近邻插值算法的不足,而提出了一种新的插值算法即双线性插值算法,它的原理是待插值像素点分别于周围四个像素点在水平和垂直方向做插值运算,得到的值即为插值像素点的灰度值,其插值结果与进行水平或垂直插值运算的先后顺序无关,无论谁先谁后其插值结果完全相同。经过此算法处理后的图像,会产生许多新的像素值,他们主要是由插值点周围的像素值通过插值运算获得的,如图所示:如图3-2所示，假设A、B、C、D 四点对应的灰度值分别为I(i,j)、I(I,j+1)、 I (i+1,j)、I(i+1,j+1)。则dx=u-I, dy=vj。要想求得e点的灰度值，必须先确定 e1点和e2点的灰度值，再根据e1、e、e2三点之间的线性关系求得e点的灰度值。而e1点在 AC 直线上，可以利用 A，e1，C 三点中任意两点的灰度值呈线性变化这一性质求出 e1 点的灰度值，如公式（4-1）所示。e、e2 的灰度值同 e1 灰度值的确定步骤类似。 (2-10)双线性插值得到的图像本身比较平滑,较好地抑制了采用邻近取样法带来的“小锯齿”弊端。由于双线性内插法具有低通滤波器的性质,使高频分量受损,所以用这个算法会使图像轮廓在一定程度上变得模糊2.6 本章小结本章主要介绍了图像配准的相关理论以及相关概念，对图像配准技术的基本方法进行了总结和分类概述。并对配准方法的原理及其基本流程作了简单介绍，为后文所研究的配准方法奠定基础；3 基于互信息的配准方法本算法以互信息配准原理为基础。基于互信息的配准方法不需要进行图像分割以及特征提取，可以实现图像配准的自动化，而且鲁棒性较强，配准精度高11，但是，计算互信息相似度是基于整幅图像的像素灰度，因此计算复杂度较高。利用互信息法进行图像配准已成为图像处理领域的热点。近年来受到了越来越多学者的关注，并且在图像配准领域得到了普遍重视和广泛应用，并被许多图像处理软件包作为标准的配准算法。本章对此方法进行基本研究，进行malab仿真，并根据实验结果对他的优缺点进行分析。3.1配准流程3.1.1步骤使得基于互信息的图像配准就是寻找一个空间变换关系，使得经过该变换后两幅间的互信息达到最大。基本步骤为：1. 输入基准图像与代培准图像，首先对待配准图像按照给定的初始点（初始配准参数）使用双线性插值法得到校正后的图像。2. 计算基准图像和校正后图像的互信息值。判断结果是否在允许误差范围内；如果没有则参数非最优；然后利用POWELL算法依据最大互信息理论判断所得参数是否最优，若不是，则返回搜索较优参数。3.重复“空间几何变换- -计算互信息值-最优化判断”的过程，直至搜索到满足精度要求的参数，最后输出配准参数。 3.1.2流程框图图3-13.2 关键算法原理介绍基于互信息最大化的图像配准，此方法的关键在于如何判断配准参数最优，与如何进行快速搜索最优参数。本方法选用的是计算两幅图像互信息来判定参数是否最优。至于如何快速搜索，选用的是Powell算法6，Powell算法中主要包含了Brent一维搜索算法，下文对这些算法做一下基本介绍。3.2.1 信息熵概念8如果一条信息是由n个字符连成的字符串组成，并且每个字符有m种可能，那么这条信息就有种不同的排列情况，那么可以用度量信息量，但这时的信息量随着消息的长度n按指数增加，为了使信息量的度量值按线性增加，Hartley给出了取对数的信息量的定义： （3-1）由上式可以看出，信息量随着消息的可能性组合m增多而增多，如果消息只有一种可能性时即事件为必然事件时，那么消息中包含的信息量为零。因此可以看出，可能收到的不同消息越多，对收到哪条消息的不确定性就越大;相反，收到只有一种可能性的消息，不确定性为零，Hartley对消息的度量实际是对不确定性的度量。Hartley度量方法的不足之处是式他所定义信息量是假定所有符号发生的概率相同，但实际情况各符号并不一定都等概发生，为此，Shannon用概率加权来衡量消息出现的可能性，对Hartley的度量方法做出改进。设某一随机过程中有k种可能的情况，每种情况发生的概率分别是，shannon给出了嫡的如下定义： （3-2）当所有可能的事件均以相等的概率发生时，上式就成了Hartley定义的嫡，并且这时嫡取得最大值，即 （3-3）所以，Hartley嫡是shannon嫡的特殊情形，而Shannon更具有一般性。Shannon嫡包含三种含义:第一种含义是度量信息量，事件发生概率与获得的信息量成反比，即概率越大，信息量越少，又由式(2-22)知，概率越大，信息量越少，嫡越小，所以可用墒的大小来度量信息量，嫡越大，信息量越大;第二是度量事件概率分布的分散度，概率集中分布时嫡值小，分散性越强熵越大；三含义是度量事件发生的不确定性，概率越大，事件的不确定性越小，嫡越小。利用上面第三个含义，可以用Shannon嫡来度量图像包含的信息量，图像灰度值的概率分布是每灰度值出现的次数除以图像中所有灰度值出现的总次数，此时图像的信息量可依据这个概率分布来计算，一幅图像中不同的灰度值较少，各灰度值出现的概率较高，则对应的灰度值较低，意味着这幅图像含有的信息量很少。反之，如果一幅图像中含有很多不同的灰度值，且各灰度值发生的概率又基本一致，则它的嫡值会很高，那么这幅图像包含的信息量很大。3.2.2互信息计算互信息4是信息理论中的一个基本概念，通常用于描述两个系统间的统计相关性，或者是一个系统中所包含的另一个系统中信息的多少，它可以用熵来描述： （3-4）其中，和分别是系统A和B的熵，是它们的联合熵，依次定义如下： （3-5） （3-6） （3-7）其中和分别是系统A和B完全独立时的的概率分布。是系统A和B的联合概率分布。令图像A和B的互信息为，将式（3-3），（3-4），（3-5），分别代入式（3-2），即可得到图像互信息的计算公式：（3-8）3.2.3 Powell算法（一）：Powell算法实现思想：把整个过程分为若干轮迭代，每一轮迭代都有n个搜索方向，进行n+1次一维搜索。在每一轮搜索中都要先确定一个初始点，从初始点出发沿已知的n个搜索方向一次进行一维搜索，得到一个最好的点，接着再沿与连线方向进行一次一维搜索，得到本轮最好点；然后以改点作为初始点进行新一轮迭代。基本的实现算法如下：（1）给定允许误差初始点和n个线性无关的方向，置k=1。（2）置，从出发，依次沿方向，进行一维搜索，得到点，求m,使得令，若则停止计算；否则，进行步骤（3）。（3）求使得令，若则停止计算，得；否则进行步骤（4）