图像配的准详细介绍及仿真

1、精选课件1图图 像像 配配 准准2 *2n图像图像 配配 准准 是将是将不同时间不同时间、不同的传感器不同的传感器( 成像设备成像设备) 或或不不同条件下同条件下( 天候天候 照度照度 摄像位置和角摄像位置和角 设备设备) 获取的同一场景获取的同一场景的两幅或多幅图像进行匹配、校正的处理过程，是图像处的两幅或多幅图像进行匹配、校正的处理过程，是图像处理领域的一个基础问题。理领域的一个基础问题。3 *3n各种图像配准的文献都会出现各种图像配准的文献都会出现“配准、匹配、校正配准、匹配、校正”三个三个词，它们的含义比较相似。词，它们的含义比较相似。n一般两幅图像之间用一般两幅图像之间用“配准（配准

2、（registration）”；寻找同名；寻找同名特征特征(点点) 的过程叫的过程叫“匹配（匹配（ matching）”; 根据主辅图像根据主辅图像之间的几何变换关系，对辅图像进行逐像素处理变为配准之间的几何变换关系，对辅图像进行逐像素处理变为配准图像的过程叫做图像的过程叫做“校正（校正（correction, calibration）”。4 *45 *5n按照配准算法所利用的图像信息，可以分为按照配准算法所利用的图像信息，可以分为基于基于区域的方法区域的方法和和基于特征的方法基于特征的方法 。基于区域的匹配主要是模板匹配和基于相位（频率）的匹配方法；基于特征的匹配包括基于特征点集的匹配和基于

3、线特征（图像中边缘信息）的匹配算法。n按自动化程度可以分为按自动化程度可以分为人工人工、半自动半自动和和全自动全自动三三种类型种类型 。6 *61、模板匹配n为了找到两幅图像上的为了找到两幅图像上的GCP，在参考图像上选择一个，在参考图像上选择一个N*N的目标切片的目标切片T（模板），在另一幅图像上选择一个（模板），在另一幅图像上选择一个M*M搜搜索切片索切片S，MN。目标切片在搜索区域。目标切片在搜索区域S上区域滑动，然后上区域滑动，然后通过相关函数的计算来找到它在搜索图中的坐标位置。设通过相关函数的计算来找到它在搜索图中的坐标位置。设模板模板T放在搜索区域放在搜索区域S上平移，模板覆盖下的

4、那块搜索区域上平移，模板覆盖下的那块搜索区域叫做子图叫做子图Si,j，子图的中心点在，子图的中心点在S图中的坐标图中的坐标(i,j)，叫参考点。，叫参考点。 n目标和搜索区域可以不是正方形，唯一的限制条件是搜索目标和搜索区域可以不是正方形，唯一的限制条件是搜索面积大于目标面积。面积大于目标面积。7 *7图像配准的区域相关。图为图为5*5像元的目标区域像元的目标区域T和和9*9的搜索区域的搜索区域S。通过目。通过目标区域在搜索区域滑动，在每一个移动位置上计算标区域在搜索区域滑动，在每一个移动位置上计算DN数数组之间的相关。组之间的相关。8 *8图为一个变形的图像，需要配准到参考图像中。用三个切片

5、图为一个变形的图像，需要配准到参考图像中。用三个切片来寻找变形图像的最大互相关值，参考图像和变形图像上的来寻找变形图像的最大互相关值，参考图像和变形图像上的十字叉代表了相同的地面点，即控制点。用三个控制点可以十字叉代表了相同的地面点，即控制点。用三个控制点可以执行整幅图的仿射变换。执行整幅图的仿射变换。9 *9相似性测度n用以下测度来衡量用以下测度来衡量T和和Si,j的相似程度：的相似程度：n为了避免搜索区域为了避免搜索区域DN值变化导致错误的相关峰值，通常值变化导致错误的相关峰值，通常采用归一化相关技术。归一化过程能够去除两幅图像的局采用归一化相关技术。归一化过程能够去除两幅图像的局部增益差

6、异，提供了它们之间的相似性。部增益差异，提供了它们之间的相似性。n空间互相关需要空间互相关需要N2L2次计算，公式分子部分可以通过快次计算，公式分子部分可以通过快速傅里叶变换速傅里叶变换(FFT)计算而得，其效率比直接空间相关高。计算而得，其效率比直接空间相关高。MmMnMmMnjiMmMnjinmTnmSnmTnmSP112112,11,),(),(),(),(10 *102、金字塔模板匹配n为了加快搜索速度，很多影像匹配为了加快搜索速度，很多影像匹配方法使用金字塔影像。方法使用金字塔影像。n对影像进行一次采样率为对影像进行一次采样率为1/n(n=2,3)的重采样，即把影像的的重采样，即把影

7、像的每每nn个像素变为一个像素，这样个像素变为一个像素，这样就得到一对长、宽都为原来就得到一对长、宽都为原来1/n的影的影像，把它作为金字塔的第二层。像，把它作为金字塔的第二层。n再对第二层用同样方法进行一次采再对第二层用同样方法进行一次采样率为样率为1/n的重采样，又得到第三层的重采样，又得到第三层（顶层）。（顶层）。 n原始影像作为金字塔影像的底层。原始影像作为金字塔影像的底层。11 *11金字塔影像匹配的步骤n第一步：顶层的匹配，得到一个平移初始值第一步：顶层的匹配，得到一个平移初始值 。n第二步：根据平移初始值乘以第二步：根据平移初始值乘以n得到第二层平移量初始值，得到第二层平移量初始

8、值，在它在它mm个像元的邻域内进行模板匹配。个像元的邻域内进行模板匹配。n第三步：根据第二层匹配值乘以第三步：根据第二层匹配值乘以n得到第三层平移量初始值得到第三层平移量初始值，再进行一次模板匹配。，再进行一次模板匹配。n如果影像尺寸不是特别大，可以只用两层金字塔。如果影像尺寸不是特别大，可以只用两层金字塔。12 *1213 *1314 *143、基于特征的配准算法n 基于特征的算法基于特征的算法(feature-based matching)(feature-based matching)先提取图像显先提取图像显著特征，再进行特征匹配，大大压缩了图像信息的数据量，著特征，再进行特征匹配，大大

9、压缩了图像信息的数据量，同时保持了图像的位移、旋转、比例方面的特征，故在配同时保持了图像的位移、旋转、比例方面的特征，故在配准时计算量小，速度较快、鲁棒性好。当两幅图像之间的准时计算量小，速度较快、鲁棒性好。当两幅图像之间的线性位置关系不明确时，应使用基于特征的匹配。线性位置关系不明确时，应使用基于特征的匹配。n一般来说特征匹配算法可分为四步一般来说特征匹配算法可分为四步: :1.1.特征提取特征提取; ;2.2.特征描述特征描述; ;3.3.特征匹配；特征匹配；4.4.非特征像素之间的匹配。非特征像素之间的匹配。15 *15基于特征的配准步骤n在特征匹配前，首先要从两幅图像中提取灰度变化明显

10、的在特征匹配前，首先要从两幅图像中提取灰度变化明显的点、线等特征形成特征集。点、线等特征形成特征集。n在两幅图像对应的特征集中利用特征匹配算法尽可能的将在两幅图像对应的特征集中利用特征匹配算法尽可能的将存在匹配关系的特征对选择出来。存在匹配关系的特征对选择出来。n通过特征建立两幅图像之间的多项式变换关系，达到以点通过特征建立两幅图像之间的多项式变换关系，达到以点代面的效果。代面的效果。n对于非特征像素点，利用上述多项式变换关系来进行几何对于非特征像素点，利用上述多项式变换关系来进行几何校正，从而实现两幅图像之间逐像素的配准。校正，从而实现两幅图像之间逐像素的配准。16 *164、人工匹配步骤n

11、1. 人工选取控制点人工选取控制点n2. 多项式匹配多项式匹配17 *17用遥感软件进行几何校正 遥感软件的几何校正功能是利用地面控制点遥感软件的几何校正功能是利用地面控制点( (Ground Ground Control Point,GCP)Control Point,GCP)进行的几何校正，它通常用多项式进行的几何校正，它通常用多项式来近似描述遥感图像的几何畸变过程，并利用控制点求来近似描述遥感图像的几何畸变过程，并利用控制点求得这个几何畸变模型，然后利用此模型进行几何校正，得这个几何畸变模型，然后利用此模型进行几何校正，这种校正不考虑畸变的具体原因，而只考虑如何利用畸这种校正不考虑畸变的

12、具体原因，而只考虑如何利用畸变模型来校正图像。变模型来校正图像。18 *18校正步骤 几何精校正一般可分为以下四个步骤：几何精校正一般可分为以下四个步骤：1.1.建立原始图像与校正后图像的坐标系。建立原始图像与校正后图像的坐标系。2.2.确定控制点对。确定控制点对。3.3.选择畸变数学模型，比如一次、二次、三次多项式。选择畸变数学模型，比如一次、二次、三次多项式。 4. 4.几何校正的精度分析。几何校正的精度分析。19 *195、半自动匹配n1. 用户先把主辅图像进行预处理，先进行重采样、旋转、用户先把主辅图像进行预处理，先进行重采样、旋转、去除噪声等，使两幅影像的分辨率、角度等基本一致后，去

13、除噪声等，使两幅影像的分辨率、角度等基本一致后，再进行配准。再进行配准。n2. 用户先指定三个控制点，程序根据三个控制点算出主辅用户先指定三个控制点，程序根据三个控制点算出主辅图像旋转、平移和尺度差异，再用金字塔模板匹配方法进图像旋转、平移和尺度差异，再用金字塔模板匹配方法进行配准。行配准。20 *206、全自动匹配n不需要用户事先提供任何信息，单纯依据两幅图像自身的不需要用户事先提供任何信息，单纯依据两幅图像自身的信息进行匹配计算。由于主辅图像之间存在旋转、平移和信息进行匹配计算。由于主辅图像之间存在旋转、平移和尺度差异，如何找到初始定位信息是其难点。尺度差异，如何找到初始定位信息是其难点。n方法多种多样。包括直方图匹配、方法多种多样。包括直方图匹配、Hu不变矩、不变矩、金字塔模金字塔模板匹配、小波板匹配、小波Gabor 算子、基于空间变换的方法等。算子、基于空间变