图像配准理论.doc

图像配准理论1 图像配准数学描述2 图像配准的基本框架2.1 特征空间2.2 搜索空间2.3 相似性度量2.4 搜索策略3 配准方法分类3.1 基于灰度信息的方法3.2 基于变换域的方法3.3 基于特征的方法4 常用的图像配准技术1 图像配准数学描述 数字图像可以用一个二维矩阵表示，如果用、分别表示浮动图像和参考图像在点处的灰度值，那么图像、的配准关系可以表示为 （1） 其中，代表二维的几何函数；表示一维的灰度变换函数。 配准的主要任务就是寻找最佳的空间变换关系与灰度变换关系，使两幅图像实现最佳对准。由于空间变换是灰度变换的前提，而且有些情况下灰度变换关系的求解并不是必需的，所以寻找空间几何变换关系则成为配准的关键所在，于是可改写为更简单的表示形式 （2）2 图像配准的基本框架图像配准的基本框架包括以下四个方面：特征空间、搜索空间、搜索策略和相似性度量。2.1 特征空间特征空间是指从参考图像和浮动图像中提取的可以用于配准的特征。在基于灰度的图像配准方法中，特征空间为图像像素的灰度值；而在基于特征的图像配准方法中，特征空间可以是点、边缘、曲线、曲面、不变矩等。特征空间的选取对图像配准有着重要的意义，因为特征空间不仅直接关系到图像中的哪些特征对配准算法敏感和哪些特征被匹配，而且大体上决定了配准算法的运行速度和鲁棒性等性能。理想的特征空间应该满足下面的条件：1) 特征提取简单快捷；2) 特征匹配运算量小；3) 特征数据量合适；4) 不受噪声、光照度等因素影响；5) 对各种图像均能适用。2.2 搜索空间搜索空间是指在图像配准过程中对图像进行变换的范围及变换的方式。图像的变换范围可以分为三类:全局的、局部的和位移场的。全局变换是指整幅图像的空间变换都可以用相同的变换参数表示。局部变换是指在图像的不同区域可以有不同的变换参数，通常的做法是在区域的关键点位置上进行参数变化，在其他位置上进行插值护理。位移场变换时指对图像中的每一像素点独立地进行参数变化，通常使用一个连续的函数来实现优化和约束。图像的变换方式可以分为线性变换和非线性变换两种形式。线性变换又可以分为刚体变换（Rigid Body Transformation）、仿射变换(Affine Transformation)和投影变换(Projective Transformation)。非线性变换一般使用多项式函数，如二次、三次函数及薄板样条函数，有时也使用指数函数。2.3 相似性度量相似性度量是衡量每次变换结果优劣的准则，用来对变换结果进行评估，为搜索策略的下一步动作提供依据。相似性度量和特征空间、搜索空间紧密相关，不同的特征空间往往对应不同的相似性度量；而相似性度量的值将直接决定配准变换的选择，以及判断在当前所取的变换模型下图像是否被正确匹配了。通常配准算法抗干扰的能力是有特征提取和相似性度量共同决定的。常用的相似性度量有互信息、归一化互信息、联合熵、相关性、欧氏距离、梯度互相关等。2.4 搜索策略搜索策略的任务是在搜索空间中找到最优的配准参数，在搜索过程中以相似性度量的值作为判优依据。由于配准算法往往需要大量的运算，而常规的贪婪搜索法在实践中是无法接受的，因此设计一个有效的搜索策略显得尤为重要。搜索策略将直接关系到配准进程中的快慢，而搜索空间和相似性度量也在一定程度上影响了搜索策略的性能。常用的搜索策略有黄金分割法、Brent法、抛物线法、三次插值法、Powell法、遗传算法、蚁群算法、牛顿法、梯度下降法等。3 配准方法分类图像配准算法多种多样，根据所利用图像信息的不同，归纳起来可将配准方法分为三大类：基于灰度信息的方法、基于变换域的方法和基于特征的方法，其中每一类又可细分为若干类别。下面依据上述三个大类分别阐述配准技术的发展状况。3.1 基于灰度信息的方法基于灰度信息的方法是最早发展起来的图像配准技术，利用图像本身具有的灰度统计信息来度量图像的相似程度，采用一定的搜索算法得到使相似性度量最大的变换形式，以达到配准图像的目的，一般不需要对图像进行复杂的预先处理。其主要特点是实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。1982年,Rosenfeld等人提出了交叉相关（cross-correlation或者称为互相关）的概念，互相关给出了一幅图像和一个模板的相似程度，是一种最基本的基于灰度统计的图像配准方法，通常用于模板匹配。对一幅图像和相对于图像较小尺寸的模板，归一化二维交叉相关系数表示了模板在图像上每一个位移位置的相似程度： （3）如果参考图像和浮动图像在位移处刚好匹配时，则式（3）在处出现峰值，根据峰值所在位置来判断匹配的位置。此外，还用相关系数（correlation coefficient）这一类似的度量方式，在某些时候，这样的描述效果可能更为优越。研究者对初始的互相关法做出不同程度的改进，如国内的甘亚莉1等人提出在频率域先做梯度预处理，用得到的梯度信息作为互相关所用的配准信息来解决图像的配准问题。另一类比传统的交叉相关更容易实现的算法，称为序贯相似检测算法（Sequential Similarity Detection Algorithms, SSDA）。它是由Barnea等人2提出来的，比传统的互相关法处理速度快。该方法首先建立一个更为简单的相似性度量准则 （4）归一化的相似性度量准则定义为： （5）其中和分别表示参考图像和浮动图像窗口的均值，这一准则在没有归一化的情况下仍可在匹配处获得极小值，且没有乘法运算，处理速度快很多。1995年，出现了一个新的解决图像配准问题的方向，那就是基于信息理论的交互信息相似性准则，Viola等人和Collignon等人分别独立地把交互信息引入到图像配准领域，解决了多模态医学配准问题，在医学图像的配准问题上起到深远的影响。互信息是用和的个体熵、和联合熵)来表示： （6）互信息用于图像配准的关键思想是：如果两幅图像达到匹配，它们的互信息达到最大值。在图像配准应用中，通常联合概率密度和边缘概率密度可以用两幅图像重叠区域的联合概率直方图和边缘概率直方图来估计，或者用Parzen窗概率密度估计法来估计，从而计算出互信息。后来，研究者做了不同的改进，如Pluim等人提出将互信息和图像的梯度信息结合起来以改善其极值性能；Thevenaz等人利用多分辨率图像金字塔方法以提高最大化交互信息的优化速度；Skouson等人两幅图像交互信息的上界，从而给出了有关互信息属性的更深认识，并指出在一些情况下交互信息不一定能够得到最优化的结果；Anthony等人将互信息和空间信息结合起来，提出“空间互信息”法（spatial mutual information）,不但比互信息对噪声有更好的鲁棒性，而且在多模图像配准中更可靠。3.2 基于变换域的方法基于傅立叶变换的方法是最为典型的变换域配准方法之一。1975年，相位相关（phase-correlation）的概念被引入到图像配准领域中，很好的解决了仅存在平移的图像之间的配准。对同时存在尺度、旋转和平移变换的图像，Reddy等人提出采用对数极坐标的方法，使图像的旋转和尺度在对数极坐标下转化为图像的平移关系，用相同的方法求出旋转角度和尺度变换值，最后再在直角坐标系下，求出平移量；图像的旋转、平移、比例变换都能在傅里叶变换频域中反映出来，而且使用频域方法的好处是对噪声产生的干扰由一定的抵抗能力，同时傅里叶变换可以采用FFT的方法提高执行速度，另外，傅氏变换由于有成熟的快速算法和易于硬件实现，因此，傅氏变换时图像配准中常用的方法之一。傅氏变换对于图像配准是非常有用的，但它也有相当的局限性。如傅氏变换方法只能用来配准灰度属性有线性正相关的图像，图像之间必须是严格满足定义好的变换关系等。变换域配准方法在噪声的敏感性和计算的复杂程度上有一定的优势，但从上面的分析可以看出，这一方法受限于傅里叶变换的不变性质，只适用于再傅里叶变换中有相应定义形式（如旋转、平移等）的图像转换中，一般应用于仿射转换的图像配准中，对于图像转换形式较复杂的情况无能为力，此时需要基于图像特征的方法来解决这类问题。3.3 基于特征的方法基于特征的方法是配准中研究较多的一类方法，这类方法的主要共同之处是先进行图像特征的提取，再完成图像特征之间的匹配，最后通过特征的匹配关系建立图像间的变换关系。一般地，基于特征的配准方法流程图如图1所示。在常用的特征信息中，点特征是最常用到的，最简单的配准方法即人工选取图像上一系列同名控制点对，带入变换模型求出图像的变换参数。人工选取特征点的方法具有错误率低、灵活性高、适应性好的优点，但在海量数据处理的应用中，人工选点则耗费大量的人力，方法显得有些落后，自动化程度不够高。随着机器视觉技术的发展和高速数据处理的需要，由此产生了各种自动特征提取的方法。模型参数求解特征集合特征提取待配准图像选择匹配基元图像预处理匹配结果选择匹配基元搜索策略特征集合特征提取参考图像重采样图1 基于特征的图像配准方法基本步骤由于图像中有很多种可以利用的特征，因而产生了多种基于特征的方法。常用的图像特征有：特征点（包括角点、高曲率点等）、直线段、边缘（Robert、高斯-拉普拉斯LOG、Canny、Gabor滤波等边缘检测算子）或轮廓、闭合区域、特征结构以及统计特征如矩不变量等。同直接利用像素灰度信息的互相关算法相比，特征提取包含了高层信号信息，所以该类算法对光照、噪声等的抗干扰能力强。近十几年来，随着图像分割、边缘检测技术的发展，基于边缘、轮廓和区域的图像配准算法逐渐成为配准领域的研究热点。分割和边缘检测技术是这类方法的基础，目前已报道的有很多图像分割方法可以用来做图像配准需要的边缘轮廓和区域的检测，比如canny边缘提取算子，拉普拉斯高斯算子（LOG），动态阙值技术，区域增长等等。尽管方法很多且各具特点，但并没有任何一种方法能对所有种类的图像都能获得最佳效果，大多数的分割技术都是依赖于图像本身（image-dependent）。在求取变换关系的数学问题上进行不断的改进，也成为配准研究的重要问题。如由粗到细法、最小二乘法、SVD法、L-M法、模拟退火法。高海涛等人提出将遗传算法用于图像配准，熊兴华等人提出将遗传算法和最小二乘法结合用于图像的亚像元级配准等。近年来，又有将神经网络算法的思想应用到图像配准领域。总之，图像配准的方法多种多样，在不同的领域有着特定的研究，尽管方法很多且各具特点，但并没有任何一种方法能对所有种类的图像都能获得最佳效果，各个领域的配准技术都是对各自具体的应用背景结合实际情况度身订制的技术，大多数的配准技术依赖于图像本身；但是不同领域的配准技术在理论方法上又具有很大的相似性。4 常用的图像配准技术基于图像特征的配准方法中，常用的图像特征包括点特征、直线段、边缘、轮廓、闭合区域以及统计矩等。特征提取算法可分为点特征提取算子（如Harris算子、SUSAN算子）、线特征提取算子（如LOG算子、Canny算子和面特征提取算子，主要通过区域分割）。随着图像分割、边缘检测技术的发展，基于边缘、轮廓和区域的图像配准方法逐渐成为研究热点。一般来说，基于特征的方法往往具有操作简单、配准速度快、精度较高等优点，但同时具有需要人工干预、特征点提取比较困难等缺点。而且通过图像分割等技术来确定图像的特征也存在着较大的问题，因为图像分割的精度和评价标准都没得到很好的解决并且医生的干预过程会受到操作者的水平和主观因素的影响，给配准结果带来很大的不确定性。基于灰度的配准方法是直接利用整幅图像的灰度度量两幅图像