图像配准课件

图像配准技术

郑雪梅1图像配准技术郑雪梅1内容概要1.图像配准介绍4.图像配准的主要方法5.部分配准算法的实验结果2.图像配准的分类3.图像配准的一般步骤6.图像配准的评价2内容概要1.图像配准介绍4.图像配准的主要方法5.部分配准算图像配准介绍----图像配准的定义什么是图像配准？

图像配准可以视为源图像和目标图像关于空间和灰度的映射关系：其中：f为二维空间坐标变换（如仿射变换），g为一维亮度或其他度量值变换。图像配准问题的关键:最佳空间变换。图像配准的实质：不同图像中表征同一位置的物理点一一对应。3图像配准介绍----图像配准的定义什么是图像配准？3图像配准是处理多源图像信息融合、目标识别等实际问题中的一个重要步骤。其广泛应用于军事、医学、航空等多个重要科研领域。经过图像配准，可以获得质量更高、清晰度更好、定位更准确的目标信息。

图像配准介绍----图像配准的意义4图像配准介绍----图像配准的意义4图像配准介绍----图像配准的应用领域计算机视觉

--视频监控----对跟踪的目标区域进行配准

--人脸识别

5图像配准介绍----图像配准的应用领域计算机视觉5图像配准介绍----图像配准的应用领域医学

--不同模态的（CT,MRT）----配准后进行融合可以得到更多的信息

--单模态-----同一病人不同时间，不同病人之间的6图像配准介绍----图像配准的应用领域医学6图像配准介绍----图像配准的应用领域遥感--不同时间、不同视角，不同传感器

--信息融合、环境监视、图像拼接、天气预报以及地图更新等7图像配准介绍----图像配准的应用领域遥感7图像配准介绍----图像配准的应用领域军事--变化检测、运动目标指示、视点稳定、大视场重构、多通道融合、地形定位和导航

8图像配准介绍----图像配准的应用领域军事8图像配准的分类按图像的维数分类

--2D/2D：平面图像之间的配准

--2D/3D：平面图像与空间图像之间的配准（医学上的体数据与二维图像数据的配准）--3D/3D：两幅三维空间图像之间的配准

如果在空间维数的基础上再加上时间维，则原来的2D、3D就分别变成了3D、4D，这在临床医学上比较常见，主要是用来观察儿童骨骼发育，跟踪肿瘤变换等。按成像模式分类

--单模：待配准的两幅图像是用同一种成像设备获取的

--多模：待配准的两幅图像来源于不同的成像设备9图像配准的分类按图像的维数分类9图像配准的分类按交互性分类

--人工配准：完全由人工凭借经验进行，输入计算机后实现的只是显示工作，不需要复杂的配准算法。

--半自动：由人工给出一定的初始条件，如人工勾画出轮廓、控制优化参数。

--全自动：全自动化配准不需人工干预，由计算机自动完成。

按对图像信息的利用情况分类

--基于灰度：直接利用局部图像的灰度信息建立两幅图像之间的相似性度量，然后采用某种搜索方法寻找使相似性度量值最大或最小的变换模型的参数值。

--基于特征：提取各类图像中保持不变特征如边缘点，闭区域的中心等作为两幅图像配准的参考信息。10图像配准的分类按交互性分类10图像配准的分类按图像配准的应用领域分类

--军事，医学，遥感，计算机视觉按配准图像的来源分类

--不同视点的图像配准（多视点分析）：目的在于获取更大范围的二维视角或重构被摄场景的三维信息。应用实例：遥感—被摄区域图像镶嵌、计算机视觉—形状恢复；--不同时间的图像配准（多时段分析）：目的在于寻找并度量两幅不同时间内拍摄的图像中场景的变化。应用实例：遥感—区域规划、计算机视觉——运动跟踪、医学成像—肿瘤病变检测、白天和黑夜的场景以及夏天和冬天的图像特征研究；11图像配准的分类按图像配准的应用领域分类11图像配准的分类按配准图像的来源分类--不同传感器的图像配准（多模式分析）：目的在于融合不同传感器信息，以获取更为丰富细致的场景信息。如可见光和红外图像配准、医学成像—CT和MRI、多波段的人脸识别；

--场景与场景模型图像配准：场景模型多为场景的数字表示，如地理信息系统（GIS）中的数字高程图等。配准场景与场景模型的目的在于在场景中定位模型，或在模型中定位场景，或者对场景与模型作相应的比较。应用实例：遥感—将航片或卫片与地图或GIS相配准、计算机视觉—匹配模板图像与实时场景、医学成像—将数字解剖图与病人的图片相比照。12图像配准的分类按配准图像的来源分类12配准算法的一般步骤特征提取特征匹配估计变换模型图像重采样及变换

13配准算法的一般步骤特征提取13配准算法的一般步骤—特征提取

特征提取是指分别提取两幅图像中共有的图像特征。这种特征是出现在两幅图像中对比例、旋转、平移等变换保持一致性的特征，如线交叉点、物体边缘角点、虚圆闭区域的中心等可提取的特征。特征包括：点、线和面三类。--点特征是最常采用的一种图像特征，包括物体边缘点、角点、线交叉点等；根据各特征点的兴趣值将特征点分成几个等级。对不同的目的，特征点的提取应有所不同。--线特征是图像中明显的线段特征，如道路河流的边缘，目标的轮廓线等。线特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的线段信息，然后利用限制条件筛选出满足条件的线段作为线特征；--面特征是指利用图像中明显的区域信息作为特征。在实际的应用中最后可能也是利用区域的重心或圆的圆心点等作为特征。14配准算法的一般步骤—特征提取特征提取是指分别提配准算法的一般步骤—特征提取点特征提取方法--Harris(HarrisCornerDetector)算法受信号处理中相关函数的启发，给出与自相关函数相联系的矩阵M，M矩阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是角点，此方法对图像旋转、亮度变化、视角变化和噪声的影响具有很好的鲁棒性。

15配准算法的一般步骤—特征提取点特征提取方法15配准算法的一般步骤—特征提取点特征提取方法--Susan(SusanCornerDetector)算法SUSAN算法使用一个圆形的模板在图像上滑动，将位于圆形模板中心的待检测的像素点称为核心点。假设图像为非纹理,核心点的邻域被划分为两个区域:其一为亮度值等于(或相似于)核心点亮度的区域,称为核值相似区(UnivalueSegmentAssimilatingNucleus,USAN),其二为亮度值不相似于核心点亮度的区域。16配准算法的一般步骤—特征提取点特征提取方法16配准算法的一般步骤—特征提取点特征提取方法--Harris-LaplaceHarris算子能最稳定地在图像旋转、光照变化、透视变换条件下提取二维平面特征点，但在三维尺度空间中，Harris探测子的重复探测性能不好，不同尺度Harris特征点存在位置误差，Harris探测子不具有尺度和仿射不变性。而三维尺度空间中最稳定高效的特征尺度探测算子是归一化的Laplace算子。K.Mikolajczyk和C.Schmid结合了Harris和Laplace算子的优点，提出了Harris-Laplace算子。Harris-Laplace特征点具有尺度和旋转不变的特性，且对光照变换和小范围视角变化具有稳定性。17配准算法的一般步骤—特征提取点特征提取方法17配准算法的一般步骤—特征提取点特征提取方法--SIFT特征点提取使用DifferenceofGaussian(DoG)filter来建立尺度空间。在尺度空间上提取极值点。18配准算法的一般步骤—特征提取点特征提取方法18配准算法的一般步骤—特征提取点特征提取方法--SURF特征点提取基于Hessian矩阵，它依靠Hessian矩阵行列式的局部最大值定位兴趣点位置。对于图像I中的某点X在尺度空间上的Hessian矩阵定义为:

其中，表示高斯二阶偏导在X处与图像I的卷积。、具有相似的含义。

19配准算法的一般步骤—特征提取点特征提取方法其中，配准算法的一般步骤—特征提取点特征提取方法--FAST特征点提取

FAST(FeaturesfromAcceleratedSegmentTest)是对SUSAN角点提取算法的简化，通过比较一个圆上16个像素点与中心像素点的灰度对比情况来判断中心像素点是否为特征点。

20配准算法的一般步骤—特征提取点特征提取方法20配准算法的一般步骤—特征提取点特征提取方法--Harris-Affine

--Hessian-Laplace--Hessian-Affine--Moravec算子

--Forstner算子

…21配准算法的一般步骤—特征提取点特征提取方法21配准算法的一般步骤—特征提取线特征提取方法--Robert

--Sobel--Prewitt--Kirsch--Gauss-Laplace--Canny

…22配准算法的一般步骤—特征提取线特征提取方法22配准算法的一般步骤—特征提取面特征提取方法--Mser使用不同的阈值对图像进行二值化，这个过程中，所有阈值图像上形成的连接区域都是极小值区域，在阈值图像的变化过程中，形成了一系列嵌套的极值区域组。在每组嵌套区域里，有一类性质较为稳定的区域，这类区域在较大阈值范围内具有较小的变化，被定义为“最稳定极值区域”。23配准算法的一般步骤—特征提取面特征提取方法23配准算法的一般步骤—特征匹配特征匹配

特征匹配分两步：对特征作描述现有的主要特征描述子：SIFT特征描述子，SURF特征描述子，对比度直方图(CCH)，DAISY特征描述子，矩方法。利用相似度准则进行特征匹配

常用的相似性测度准则有如欧氏距离、马氏距离、Hausdorff距离等。24配准算法的一般步骤—特征匹配特征匹配24配准算法的一般步骤—特征匹配特征描述

--SIFT特征描述子主要思想：一种基于图像梯度分布的特征描述子。特点：抗干扰性好。但维数高，计算复杂度大。25配准算法的一般步骤—特征匹配特征描述25配准算法的一般步骤—特征匹配特征描述

--SURF特征描述子主要思想：将特征点的周围区域分成几个子区域，用每个子区域内像素点的X,Y方向的偏导和及其绝对值的和组成特征点的描述子。特点：有较好的抗亮度变化能力。但是该描述子要求使用积分图像，限定了其应用范围。26配准算法的一般步骤—特征匹配特征描述26配准算法的一般步骤—特征匹配特征描述

--对比度直方图主要思想：将特征点周围区域的像素点与特征点的对比度形成直方图来描述该特征点。特点：该方法比基于梯度的描述子要快。但描述力比基于梯度的要略微弱一点。27配准算法的一般步骤—特征匹配特征描述27配准算法的一般步骤—特征匹配特征描述

--DAISY特征描述子主要思想：受SIFT算法和GLOH算法的启发，将梯度加权和用几个高斯方向偏导滤波器与原图像进行积分代替。特点：该描述子有和SIFT特征算子相似的优点，但是速度比SIFT特征算子要快。28配准算法的一般步骤—特征匹配特征描述28配准算法的一般步骤—特征匹配特征描述

--矩方法

Hu矩，zernike矩…

29配准算法的一般步骤—特征匹配特征描述29配准算法的一般步骤—估计变换模型空间变换模型是所有配准技术中需要考虑的一个重要因素，各种配准技术都要建立自己的变换模型，变换空间的选取与图像的变形特性有关。常用的空间变换模型有：刚体变换、仿射变换、投影变换、非线性变换。

1.刚体变换模型刚体变换是平移、旋转与缩放的组合，适用于具有相同视角，但拍摄位置不同的来自同一传感器的两幅图像的配准。刚体变换模型下，若点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：30配准算法的一般步骤—估计变换模型空间变换模型是所配准算法的一般步骤—估计变换模型2.仿射变换模型如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上仍然为直线，且平行直线仍旧被映射为平行直线，这样的变换称为仿射变换。该变换保持直线间的平行关系，但由于引入了缩放参数，故它不能保持直线段的长度和角度

，若点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：31配准算法的一般步骤—估计变换模型2.仿射变换模型31配准算法的一般步骤—估计变换模型3.投影变换模型如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上依然为直线，但平行关系不再保持，则称这样的变换称为投影变换。投影变换具有8个参数，可以将成像设备的运动（如平移、旋转、缩放等）描述得更为全面。若点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：32配准算法的一般步骤—估计变换模型3.投影变换模型32配准算法的一般步骤—估计变换模型4.非线性变换模型若第一幅图像中的一条直线经变换后，映射至第二幅图像上不再是直线，我们把这样的变换称为非线性变换。在二维空间中，点经非线性变换至点变换公式为：F表示把第一幅图像映射到第二幅图像上的任意一种函数形式。典型的非线性变换如多项式变换，在2D空间中，多项式函数可写成如下形式：33配准算法的一般步骤—估计变换模型4.非线性变换模型33配准算法的一般步骤—图像重采样及变换

在得到两幅图像间的变换参数后，要将输入图像做相应参数的变换，使之与参考图像处于同一坐标系下，则校正后的输入图像与参考图像可用作后续的图像融合、目标变化检测处理或图像镶嵌；涉及输入图像变换后所得点坐标不一定为整像素数，则应进行插值处理。常用的插值算法有最近邻域法、双线性插值法和立方卷积插值法。34配准算法的一般步骤—图像重采样及变换在得到两幅图像配准算法的主要方法基于灰度的

--互相关

--互信息

--对数极坐标基于特征的

--基于点

--基于边缘（线）

--基于区域

35配准算法的主要方法基于灰度的35配准算法的主要方法基于点

--SIFT算法

SIFT特征匹配算法包括两个阶段，SIFT特征的生成与SIFT特征向量的匹配。SIFT特征向量的生成算法共包括4步：尺度空间极值检测，以初步确定关键点位置和所在尺度；拟和三维二次函数精确确定位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点；利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；生成SIFT特征向量；SIFT特征向量的匹配

对图像1中的某个关键点，找出其与图像2中欧式距离最近的前两个关键点的距离NN和SCN，如果NN/SCN小于某个比例阈值，则接受这一对匹配点。36配准算法的主要方法基于点36配准算法的主要方法基于点

--SIFT算法的几种扩展PCA-SIFTPCA-SIFT与标准sift有相同的亚像素位置（sub-pixel），尺度（scale）和主方向（dominantorientations），但在第4步计算描述子的时候，它用特征点周围的41×41的像元计算它的主元，并用PCA-SIFT将原来的2×39×39维的向量降成20维，以达到更精确的表示方式。

GLOH(Gradientlocation-orientationhistogram)

把原来SIFT中4×4棋盘格的locationbins改成仿射状的同心圆的17locationbins来表示，并计算其中的梯度方向直方图（梯度方向分为16种），因此共16×17＝272维，之后再作PCA将其降成128维，因此保有跟SIFT一样精简的表示方法。

37配准算法的主要方法基于点37配准算法的主要方法基于点

--SIFT算法的几种扩展ASIFT(Affine-SIFT)

通过原始图像来模拟得到场景在各个视角下的图像，再对这些得到的图像提起SIFT特征点，然后进行匹配。其仿射性要好于SIFT,具有全仿射不变性。

38配准算法的主要方法基于点38配准算法的主要方法基于点

--SUFR算法积分图像对于积分图像中某X，X=(x，y)，该点的值表示:原始图像中，原点和点X形成的矩形区域里面所有像素值之和。

框装滤波器在surf算法中用框装滤波器来近似高斯二阶导

39配准算法的主要方法基于点39配准算法的主要方法基于点

--SUFR算法特征点提取计算原图像的积分图像；用不同尺寸的框状滤波器来计算不同阶以及不同层上的每个点图像点的行列式。一般计算4阶4层；在3维(x、y、S)尺度空间中，在每个3×3×3的局部区域里，进行非最大值抑制。只有比邻近的26个点的响应值都大的点才被选为兴趣点；特征匹配对图像1中的某个关键点，找出其与图像2中欧式距离最近的前两个关键点的距离NN和SCN，如果NN/SCN小于某个比例阈值，则接受这一对匹配点。

40配准算法的主要方法基于点40配准算法的主要方法基于边缘

--基本思想用边缘检测算子提取出边缘边缘匹配根据边缘的相似度提取边缘上的控制点，如曲率比较大的点等，然后用这些点来进行匹配。将边缘拟合成直线，然后匹配直线。估计变换参数用边缘上的控制点，或直线的端点，中点等等。

41配准算法的主要方法基于边缘41部分配准算法实验结果特征点提取时间对比

42部分配准算法实验结果特征点提取时间对比42部分配准算法实验结果匹配效果对比

43部分配准算法实验结果匹配效果对比43部分配准算法实验结果拼接效果对比

44部分配准算法实验结果拼接效果对比4