图像配准融合介绍

.图像配准操作(Image Registration)是在不同条件下得到的并且位于不同坐标系下的同一场景(或物体)的二幅或者多幅图像进行对准叠加的过程由于成像条件不同,同一场景(物体)的多幅图像会在分辨率、成像模式、灰度属性、位置(平移和旋转)、比例尺度、非线性变形及曝光时间等方面存在很多差异,图像配准就是要克服这些困难,最终将这些图像在几何位置上进行配准,以便能够综合利用多幅图像中的信息满足一定的应用需求。概括来说,图像配准问题就是将位于不同坐标系下同一场景的二幅或多幅图像,寻找一种特定的最优几何变换,将两幅或多幅图像变换到同一坐标系的过程背景、意义背景图像配准最早在美国70年代飞行器辅助导航系统、武器投射系统的末端制导以及寻地等应用研究中提出。经过20年的研究成功地用于中程导弹及战斧式巡航导弹上弹着点误差半径不超过十几米。80年代后很多领域都有大量配准技术的应用，如遥感领域、模式识别、自动导航、医学诊断、计算机视觉等。各个领域的配准技术都是对各自具体的应用背景结合实际情况量身订制的技术。但是不同领域的配准技术之间在理论方法上又具有很大的相似性。目前国内外研究图像配准技术比较多的应用领域有:红外图像处理、遥感图像处理、数字地图定位和医学图像处理等领域。 70年代P.E.Anuta 提出用FFT (Fast Fourier Transform快速傅里叶变换)进行图像配准；D.I.Barnea和H.F.Silverman SSDA（Sequential Similarty Detection Algorithm 序贯相似性检测算法）进行图像配准该算法的优点是图像配准的处理速度相对其它算法来说得到了提高；W.Pratt 在数字图像处理中详细阐述了各种用于图像配准的相似度量函数；后来A.Roche等将相关相似度函数扩展并应用得到多模态图像配准当中（缺陷：不能处理较复杂的多模态图像间的配准、利用其计算的相似性的峰会较平坦、显著性较低、计算复杂度较高）P.E.Anuta等提出了改进的基于边界信息计算的相关相似度量,有效地提高了该相似度量相对于光照变化的鲁棒性；P.Viola and W.M.Wells III,等在1997较早地将信息论中的交互信息用于图像的配准操作Thevenaz and Unser等尝试了各种途径来解决多种交互信息在图像配准应用中遇到的技术问题口,由此,他们也成功地提出了利用Parzen窗来计算交互信息。交互信息能够有效地实现多模态图像间的图像配准。为了满足很多具体应用对高精度的需求,最近几十年内己经提出很多能够达到亚像素精度的图像配准算法为了实现亚像素图像配准,插值函数被广泛用来克服图像离散化对图像配准精度带来的负面影响。V N Dvornychenko利用插值函数对由相似度量函数计算得到的相似值组成的曲面实现插值的方法,实现了亚像素的图像配准精度；J.A.Parker等人利用插值函数对图像灰度值进行插值从而实现亚像素的图像配准精度的方法,并对各种插值函数进行了性能的对比。因为有些插值方法会产生新的灰度值而引起图像灰度分布发生变化的缺点,Maes等人提出了部分体积插值法(Partial Volume Interpolation，PV)。PV方法实际上并不直接计算出插值点的灰度值,而是根据线性插值的权重分配原则,将每对像素对联合直方图的贡献分散到联合直方图上与之相邻的各个像素对上,这样联合直方图上各个像素对的频度值以小数增加,不会出现新的灰度值而破坏目标函数值分布的光滑性。意义图像配准的应用前景非常的广阔。无论在地理遥感领域还是在军事、医学领域都能看到图像配准技术的应用实例。图像配准作为图像处理中一个基本问题,源自于多个领域中很多实际问题的不同应用需求，同时它也是众多图像分析和处理任务的关键步骤。由于图像配准在航空影像自动制图、图像三维重构、计算机视觉、遥感融合、模式识别、医学图像处理、影像分析等众多领域内有着广泛的应用,所以它也是当前科研领域中的重要研究热点之一。在医学图像处理方面，随着计算机技术的不断发展,医学成像技术得到了快速的发展，尖端的新型医疗影像设备层出不穷，如计算机X线摄影(CR)、数字X线摄影(DR)、直接数字X线摄影(DDR)、X线计算机断层摄影(CT)、核磁共振成像(MRI)、数字减影血管造影(DSA)、超声成像(US)、闪烁成像(-scintigraphy)、单光子发射体层成像(SPECT)、正电子发射体层成像(PET)等等,这些已经成为现代医学诊断必不可少的医学数字成像手段、由于这些医学数字成像设备有不同的灵敏度和分辨率,它们有各自的使用范围和局限性。多种模式图像的结合能充分利用图像自身的特点并做到信息互补。根据医学图像所提供的信息内涵,我们可以将这些信息主要分为解剖结构成像和功能成像两大类。这两类成像方式同样各有优缺点,解剖成像(CT，MRI，B超等)的优点是分辨率高,能够提供人体内脏器官的解剖形态信息；功能成像(PET,SPECT等)的缺点是成像分辨率较低,但能够提供人体内器官、大脑的功能代谢信息。即使是像CT、MRI、PET的同一种成像方式,得到图像的信息也不完全相同。CT图像能够清晰的显示骨骼的结构图像，MRI适合对软组织形态成像,而PET能够反映身体器官的新陈代谢状况。不同成像技术对人体同一组织得到的形态信息和功能信息存在一定差异,但是它们提供的信息又是互相补充的。为了充分利用这些成像方式提供的信息,临床医生迫切希望能够将同一病人的不同图像信息进行配准、融合,将成像结果综合起来,这就需要对不同的图像进行配准及信息融合技术。图像的融合是指将两幅(或两幅以上)来自不同成像设备或不同时刻获取的己配准图像,采用某种算法,把各个图像的优点或互补性有机结合起来,获得信息量更为丰富的新图像的技术，医学图像的配准和融合有着密切的关系,特别是对于多模态图像而言,配准则是进行图像融合的必要条件。配准是融合的前提,也是决定图像融合技术发展的关键技术,若事先不对待融合图像进行空间上的配准,那么融合后的图像也是毫无意义的。近几十年以来,图像配准在医学上的应用日益受到医学界和工程界的重视,己在世界范围广泛展开,在相关文献中己经提出了很多种医学图像配准的方法,这些研究成果广泛地运用到医学领域中。图像配准在医学中的应用领域主要有以下几方面：1)组织切片图像的处理与显微结构三维重建；2)疾病诊断及其发展和消退的过程检测；3)神经外科手术可视化!神经外科手术一计划及术前评估；4)感觉运动和认知过程的神经功能解剖学研究；5)神经解剖变异性的形态测量分析学；6)放射治疗和立体定向放射外科治疗计划；总之，开展医学图像配准研究,探索提高配准精度、速度和鲁棒性的理论和关键技术，对于完善配准理论、拓展配准的应用领域等都具有重要的理论和实践意义。现状、问题点经过多年的研究,图像配准技术无论在医学还是在遥感图像处理都已经取得了很多研究成果,但是由于科技的不断发展促使新的应用不断涌现、图像采集设备的复杂多样性，并且不断更新换代、影响图像配准的因素的复杂性多样性等并且随着近年来某些具体应用对各种性能指标要求的不断提高,图像配准技术也必然产生一些新的急需解决的问题，所以图像配准的技术还有待于进一步完善发展，例如：提高图像配准的自动化程度、提高图像配准的精度、克服图像离散化对图像配准精度带来的负面影响、改善图像配准算法的运算效率、稳定性、鲁棒性和可靠性、提出有效衡量图像配准结果好坏的评价标准等等。主要技术手段图像配准方法的关键步骤特征值提取（特征包括：直线的交点、角点、直线、边界轮廓、封闭的区域最具代表性的是 点、曲线、轮廓；特征点又称图像配准基准点）特征值匹配（首先要根据所选的特征,选取并计算合适的特征描述子。其次,选取合适的相似度量函数,以便计算特征之间的匹配程度;最后,根据计算出的候选匹配关系找出正确匹配特征对集）集合变换模型的选取及参数的确定（根据所得到的特征间的对应关系,计算出选定的几何变换模型的参数。然后再根据相似度量函数优化已计算出的几何变换参数,以实现图像的精配准）配准图像的重新采样及图像的匹配（根据具体应用的需求,选取合适的插值函数，用已经计算出的精确的几何映射函数,将浮动图像映射到基准图像的坐标空间,从而实现图像的配准操作。）图像配准方法可分为三类：基于灰度信息法，基于变换域法和基于特征法。在选取几何变换模型时必须综合考虑成像传感器、成像平台、成像条件、拍摄场景等各方面的因素,使选择的变换模型尽可能真实的反映参考图像和待配准图像之间的几何变换关系。图像配准中采用的变换模型主要分为以下两大类:(1)全局变换模型(Global Transformation),它将基准图像和浮动图像之间的几何变换关系用一个函数来表示。这样图像之间的配准问题便转换为如何优化求解所选定的几何变换模型的参数值的问题。这种变换模型为现有的大多数配准方法所采用;(2)局部变换模型(Local Transformation),通常被用在基准图像和浮动图像之间的空间变换关系非常复杂,不能用一个函数来表示的情况下,如大尺寸图像之间的配准。局部变换模型将基准图像和浮动图像不同部分的空间对应关系用不同的函数表示这种变换模型在现有的图像配准方法中应用较少图像配准中常用的几何变换模型主要包括:1.刚体变换（rigid body transformation）:刚体变换可分解为平移、旋转以及反转，它变换特性是图像中的两点在变换后欧氏距离保持不变，且两条直线的平行或垂直关系不变。在二维空间中，点（x，y）通过刚性变换至点（x，y）的过程可表示为2.相似变换（Similarity Transformation）（旋转 平移 缩放 4自由度 两点确定）:物体经过相似变换后，其形状保持不变。相似变换能够将相互平行的直线映射成平行直线，相互垂直的直线映射成为垂直直线。适用于具有相同视角不同拍摄位置的同一传感器的两幅图像。3.仿射变换（Affine Transformation）（旋转 平移 缩放 剪切变换；最常用的几何变换模型 6自由度 3点确定 ）:如果第一幅图像中的一条直线经过变换映射到第二幅图像上仍然为直线，并且保持平衡关系，这样的变换称为仿射变换。他比刚体变换多了缩放变换。这种变换将直线依然映射为直线，并保持直线间的平行关系但不保持直线段长度和他们的角度。在二维空间中，点（x，y）经仿射变换到点（x，y）的变换公式为4.投影变换（Projective transformation）（它可以折为一系列的基本变换 包括平移 旋转 缩放 剪切 8个自由度 4点确定）；如果一幅图像中的一条直线经过变换后映射到第二幅图像上仍是直线，但平行关系基本不保持，则这样的变换称为投影变换，一般用于成像视点的图像配准问题中，在二维空间中 变换公式为5.非线性变换（Nonlinear transformation）：如果第一幅图像中的一条直线经过变换后映射到第二幅图像上不再是直线，则这样的变换称为非线性变换，一般用于比较复杂的图像畸变中 变换公式为6.若投影变换（Projective Transformation）:它可以折为一系列的基本变换，包括、平移、旋转、缩放、剪切变换，由3点不共线的四个点唯一确定。它适用于场景或目标离成像平台相对于物体的深度来说较远的两幅图像之间的配准。多项式变换（非线性模型，一般将直线映射成曲线 实际中多项式变换模型一般均采用二次以下,一次多项式模型就是仿射变换模型）基于灰度信息的图像配准方法此类方法直接利用整幅图像之间的相似性，以图像内部的信息为依据，然后采用搜索方法寻找使相似度量最大或最小值点，确定参考图像和浮动图像之间的变换参数。实现简单，不需要对参考图像和待配准图像进行复杂的预处理，但运算量大，不能直接用于校正图像的非线性形变。互相关法（Cross Correlation，CC）：互相关法是一种匹配度量，通过计算模板图像和搜索窗口之间的互相关值，来确定匹配的程度，互相关值最大时的搜索窗口位置决定了模板图像在待匹配图像中的位置，通常被用于进行模板匹配和模式识别。（归一化的交叉相关相似度量函数(Normalized Cross Correlation，NCC)）序贯相似性检测算法(Sequential Similarity Detection Algorithm，SSDA )：一种快速的区域匹配算法,它直接计算一个给定区域内像素误差的累积，对于基准图像R中选定的模板区域T和浮动图像S,SSDA直接用对应的灰度差的绝对值的和来表示它们之间的相似程度。该方法先选择一个简单的固定门限,若在某点上计算两幅图像残差和的过程中,残差和大于该固定门限,就认为当前点不是匹配点,从而终止当前的残差和的计算,转向别的点去计算残差和,最后认为残差和增长最慢的点就是匹配点。它克服了一般模板匹配算法计算量大的缺点。传统的图像相关匹配算法精度高,匹配速度较慢,在实际应用中受到限制,而SSDA算法能很快丢弃不匹配的点,减少花在不匹配点上的计算量,从而提高匹配速度,且算法比较简单,易于实现互信息法通过引入信息论中的一个基本概念互信息(Mutual informion，Ml),研究者构建了基于交互信息的相似性度量函数(Mutual Information,Ml)互信息用于描述两个变量间的统计相关性,即一个变量中包含的另一个变量中的信息的多少,表示两个随机变量之间的依赖程度。如果两幅图像几何上对齐的话,它们对应体素所对应的强度值的互信息最大。由于该方法不需要对两种成像模式中图像强度间关系的性质作任何假设,也不需要对图像作任何分割或任何预处理,所以被广泛地用于各种图像配准算法中。（Studholme在互信息的基础上提出了一种更为稳定的归一化交互信息 (Normalized Mutual Information,NMI）还有些学者将其它信息与互信息结合起来,提出了一系列有效的图像配准算法,比如Pluim等人提出将互信息和图像的梯度信息结合起来以改善其极值性能；Thevenaz等采用一种多分辨率图像金字塔方法以提高最大化交互信息的优化速度;Anthony等将互信息和空间信息结合起来,提出空间互信息法(spatial mutual information),此方法不但比互信息对噪声有更好的鲁棒性,而且在多模图像配准中更可靠Skouson等推导出两幅图像交互信息的上界,从而给出了有关互信息属性的更深认识,并指出在一些情况下交互信息不一定能够得到最优化的结果基于变换域信息的图像配准方法基于变换域信息的图像配准方法包括:基于傅立叶、小波变换、Warsh变换等。其中常用的是基于傅立叶变换图像配准方法,该方法主要有以下一些优点:图像的平移、旋转、仿射等变换在傅立叶变换中都有相应的体现;同时傅立叶变换域的方法还有可能获得一定程度的抵抗噪声的鲁棒性。傅氏变换对于图像配准是非常有用的,但它也有相当的局限性,如傅氏变换方法只能用来配准灰度属性有线性正相关的图像,图像之间必须是严格满足定义好的变换关系等基于相位相关的图像配准方法：1975年,相位相关(Phase Correlation)的概念被应用到图像配准领域中,很好地解决了仅存在平移的图像之间的配准。相位相关方法的主要依据是傅立叶的位移原理。基于小波变换的图像配准方法：20世纪80年代,自提出小波变换以来,小波变换一度成为图像处理领域的研究热点,于是也发展了基于小波变换的各种图像配准算法文献中阐述了利用小波分解方法做图像配准的合理性,结合小波分解和相关系数法,利用子空间搜索和统计特征匹配代替穷尽搜索法,在并行计算机上实现对遥感图像的多分辨率配准;文献首先利用小波分解得到低频图像信息,同时结合交互信息法得到初始参数。然后,在下一层的计算中采用前期的参数作为初始值,以减少计算负担,不断细化,直至产生最优配准参数的集合基于其它变换的图像配准方法：2006年,G.Lazaridis等提出用wralsh变换进行图像配准,该方法能够对存在旋转和平移的图像进行配准基于特征的图像配准方法对于存在较大几何变形的图像间的配准,仅仅直接利用灰度信息,有时不能完成图像之间的配准。这类图像间的配准,一般需要经过粗配准和精配准两个步骤。粗配准过程主要是利用基准图像与浮动图像之间的显著特征及其对应关系消除图像间的几何变形。然后在此基础上进行精配准,从而精确地估计出图像之间的几何变换模型和相应参变量的值,并最终完成图像配准操作基于特征的图像配准方法,并不直接对图像灰度信息进行操作,而是首先从基准图像和浮动图像中提取一些共同特征作为配准基元,然后通过建立配准基元之间的对应关系估算出基准图像和与浮动图像之间几何变换模型及其参变量值基于特征图像配准方法一般包含以下几步:特征选择与提取!特征匹配!几何变换模型的选取与参变量的估计!图像重新采样与变换其基本过程与其它方法相比,基于特征的方法具有计算复杂度低!鲁棒性强!能够适用于部分存在复杂几何变形图像之间的图像配准等优点1)计算复杂度低:基于相似度量函数的图像配准算法,由于是采用相似度量函数,并且是根据几何变换模型定义的搜索空间进行搜索,因此其计算复杂度较高但是基于特征的图像匹配算法,其匹配的计算量主要局限于少量所提取的特征集合间的匹配,从而极大地降低了图像匹配过程的计算量2)鲁棒性强:由于图像间噪音和图像的多模态性的存在,基于灰度信息的图像匹配算法,受它们的影响较大,而基准图像和浮动图像间的某些共有特征受图像的噪音和图像多模态性影响较小因此基于特征的图像配准算法的稳定性能要比基于灰度信息的图像匹配算法更强3)适应性强:能够适用于存在更复杂)l;何变形的图像之间的配准而基于灰度信息的图像配准方法,当基准图像和浮动图像之间存在较大的几何变形时,其搜索的几何变换参数空间会随其自由度的增大而呈指数级的增加因此,当基准图像和浮动图像间存在复杂几何变换时,基于灰度信息的图像配准方法在某些情况下便不能胜任但是基于特征的方法,从理论上讲,只要能够找到包含有几何变换信息的特征集间的对应关系,就能够配准两幅图像,其计算复杂度也不是随几何变换模型自由度成指数级的增长所以说,基于特征的算法能够适用于存在更复杂几何变形图像间的配准操作亚像素图像配准算法为了提高图像配准的精度,宋智礼提出了适用于仿射几何变换模型和平面投影变换几何模型下的基于轨迹扰动现象的相似度量函数并提出了基于轨迹扰动现象相似度量函数在这两种几何变换模型下的计算数的学模型经实验证实,该相似度量函数很大程度地提高了图像配准的精度基于灰度插值的亚像素图像配准方法,这类方法是直接对图像的灰度进行插值,方法简单易懂,易于实现且应用较多;基于相似程度因子插值的亚像素图像配准方法,该类方法首先根据相似度量函数计算得到相似程度曲线或曲面,然后利用对曲线或者曲面进行拟合的方法达到亚像素图像配准精度;基于梯度的亚像素图像配准方法;基于N