遥感图像配准范文.doc

遥感图像配准范文 图像配准图像配准的用途意义?图像配准（或图像匹配）是评价两幅或多幅图像的相似性以确定同名点的过程。 图像配准算法就是设法建立两幅图像之间的对应关系图像配准（或图像匹配）是评价两幅或多幅图像的相似性以确定同名点的过程。 图像配准算法就是设法建立两幅图像之间的对应关系,确确定相应几何变换参数,对两幅图像中的一幅进2xx-5-31定相应几何变换参数,对两幅图像中的幅进行几何变换的方法。 ?图像配准是图像分析和处理的基本问题。 它在航空影像自动制图、图像三维重构、计算机视觉、遥感融合、模式识别、医学图像处理、影像分析等领域都有重要应用。 图像配准是图像分析和处理的基本问题。 它在航空影像自动制图、图像三维重构、计算机视觉、遥感融合、模式识别、医学图像处理、影像分析等领域都有重要应用。 图像配准3xx-5-31参考图像（主图像）待配准图像（辅图像）配准图像用词说明?各种图像配准的文献都会出现“配准、匹配、几何校正配准、匹配、几何校正”三个词，它们的含义比较相似。 ?一般两幅图像之间用“配准（register,registration）”寻找同名特征(点)的过程4xx-5-31registration）”；寻找同名特征(点)的过程叫“匹配（match,matching）”;根据主辅图像之间的几何变换关系，对辅图像进行逐像素处理变为配准图像的过程叫做“几何校正（根据主辅图像之间的几何变换关系，对辅图像进行逐像素处理变为配准图像的过程叫做“几何校正（geometric correction）”。 配准方法分类?按照配准算法所利用的图像信息，可以分为基于区域的方法基于区域的方法和基于特征的方法。 基于区域的匹配主要是模板匹配和基于相位（频率）的。 基于区域的匹配主要是模板匹配和基于相位（频率）的5xx-5-31匹配方法；基于特征的匹配包括基于特征点集的匹配和基于线特征（图像中边缘信息）的匹配算法。 匹配方法；基于特征的匹配包括基于特征点集的匹配和基于线特征（图像中边缘信息）的匹配算法。 ?按自动化程度可以分为人工、半自动和全自动三种类型。 按自动化程度可以分为人工、半自动和全自动三种类型。 模板匹配?模板匹配法是在一幅影像中选取一个的影像窗口作模板，大小通常为模板匹配法是在一幅影像中选取一个的影像窗口作模板，大小通常为55或77，然后通过相关函数的计算来找到它在搜索图中的坐标位置。 设模板，然后通过相关函数的计算来找到它在搜索图中的坐标位置。 设模板T放在搜索图S上平移，模板覆盖下的那块搜索图叫做子图S i,j，子图的中心点在S6xx-5-31的那块搜索图叫做子图子图的中点在图中的坐标(i,j)，叫参考点。 相似性测度?用以下测度来衡量T和S i,j的相似程度?=MmMnMmMnj iMmMnjin m T n m Sn mTnmSP112112,11,),(),(),(),(7xx-5-31?根据施瓦兹不等式，并且在比值为常数时取极大值为根据施瓦兹不等式，并且在比值为常数时取极大值为1。 但实际上两幅不同图像的。 但实际上两幅不同图像的P值介于0和1之间，很难达到理想值。 根据经验取某个阈值之间，很难达到理想值。 根据经验取某个阈值P0，如果PP0，则匹配成功P P则匹配失败m nm n111110P),(),(,nmTn mSj i金字塔模板匹配?为了加快搜索速度，很多影像匹配方法使用金字塔影像。 为了加快搜索速度，很多影像匹配方法使用金字塔影像。 ?对影像进行一次采样率为1/n(n=2,3)的重采样，即把8xx-5-31影像的每nn个像素变为一个像素，这样就得到一对长、宽都为原来个像素变为一个像素，这样就得到一对长、宽都为原来1/n的影像，把它作为金字塔的第二层。 的影像，把它作为金字塔的第二层。 ?再对第二层用同样方法进行一次采样率为再对第二层用同样方法进行一次采样率为1/n的重采样，又得到第三层（顶层）。 金字塔影像匹配的步骤?第一步顶层的匹配，得到一个平移初始值。 ?第二步根据平移初始值乘以n得到第二层平移量初始值，在它得到第二层平移量初始值，在它mm个像元的邻域内进行模板匹配9xx-5-31模板匹配。 ?第三步根据第二层匹配值乘以n得到第三层平移量初始值，再进行一次模板匹配。 得到第三层平移量初始值，再进行一次模板匹配。 ?如果影像尺寸不是特别大，可以只用两层金字塔。 如果影像尺寸不是特别大，可以只用两层金字塔。 基于特征的配准算法?基于特征的算法(feature-based matching)先提取图像显著特征，再进行特征匹配，大大压缩了图像信息的数据量，同时保持了图像的位移、旋转、比例方面的特征，故在配准时计算先提取图像显著特征，再进行特征匹配，大大压缩了图像信息的数据量，同时保持了图像的位移、旋转、比例方面的特征，故在配准时计算量小速度较快鲁棒性好当两幅图像之间10xx-5-31量小，速度较快、鲁棒性好。 当两幅图像之间的线性位置关系不明确时，应使用基于特征的匹配。 的线性位置关系不明确时，应使用基于特征的匹配。 ?一般来说特征匹配算法可分为四步:?1.特征提取;?2.特征描述;?3.特征匹配；?4.非特征像素之间的匹配。 基于特征的配准步骤?在特征匹配前，首先要从两幅图像中提取灰度变化明显的点、线等特征形成特征集。 在特征匹配前，首先要从两幅图像中提取灰度变化明显的点、线等特征形成特征集。 ?在两幅图像对应的特征集中利用特征匹配算法尽可能的将存在匹配关系的特征对选择出来11xx-5-31尽可能的将存在匹配关系的特征对选择出来。 ?通过特征建立两幅图像之间的多项式变换关系，达到以点代面的效果。 通过特征建立两幅图像之间的多项式变换关系，达到以点代面的效果。 ?对于非特征像素点，利用上述多项式变换关系来进行几何校正，从而实现两幅图像之间逐像素的配准。 对于非特征像素点，利用上述多项式变换关系来进行几何校正，从而实现两幅图像之间逐像素的配准。 人工匹配步骤?1.人工选取控制点2多项式匹配12xx-5-31?2.多项式匹配用遥感软件进行几何校正遥感软件的几何校正功能是利用地面控制点遥感软件的几何校正功能是利用地面控制点(Ground ControlPoint,GCP)进行的几何校正，它通常用多项式来近似描述遥13xx-5-31的几何校正它通常用多项式来近似描述遥感图像的几何畸变过程，并利用控制点求得这个几何畸变模型，然后利用此模型进行几何校正，感图像的几何畸变过程，并利用控制点求得这个几何畸变模型，然后利用此模型进行几何校正，这种校正不考虑畸变的具体原因，而只考虑如何利用畸变模型来校正图像。 校正步骤几何精校正一般可分为以下四个步骤1.建立原始图像与校正后图像的坐标系。 14xx-5-312.确定控制点对。 3.选择畸变数学模型，比如一次、二次、三次多项式。 选择畸变数学模型，比如一次、二次、三次多项式。 4.几何校正的精度分析。 15xx-5-31半自动匹配?1.用户先把主辅图像进行预处理，先进行重采样、旋转、去除噪声等，使两幅影像的分辨率、角度等基本一致后，再进行配准。 用户先把主辅图像进行预处理，先进行重采样、旋转、去除噪声等，使两幅影像的分辨率、角度等基本一致后，再进行配准。 16xx-5-31?2.用户先指定三个控制点，程序根据三个控制点算出主辅图像旋转、平移和尺度差异，再用金字塔模板匹配方法进行配准。 用户先指定三个控制点，程序根据三个控制点算出主辅图像旋转、平移和尺度差异，再用金字塔模板匹配方法进行配准。 全自动匹配?不需要用户事先提供任何信息，单纯依据两幅图像自身的信息进行匹配计算。 由于主辅图像之间存在旋转、平移和尺度差异，如何找到初不需要用户事先提供任何信息，单纯依据两幅图像自身的信息进行匹配计算。 由于主辅图像之间存在旋转、平移和尺度差异，如何找到初始定位信息是其难点17xx-5-31始定位信息是其难点。 ?方法多种多样。 包括直方图匹配、Hu不变矩、金字塔模板匹配、小波Gabor算子、基于空间变换的方法等。 将在后面特征点匹配部分讲述。 算子、基于空间变换的方法等。 将在后面特征点匹配部分讲述。 基于TIN的图像配准算法流程18xx-5-31特征类型?灰度特征点。 Moravec算子、Forstner算子与Hannah算子。 ?角点SUSAN子算子Harris算子王算子沈俊19xx-5-31?角点。 SUSAN算子,Harris算子，王算子，沈俊算子。 ?边缘特征（线型）。 Canny算子,Marr算子。 ?纹理特征。 灰度共生矩阵，小波Gabor算子。 Moravec算子?Moravec算子是利用灰度方差提取特征点的算子，它在四个主要方向上，选择具有最大算子是利用灰度方差提取特征点的算子，它在四个主要方向上，选择具有最大-最小灰度方差的点作为特征点。 其步骤为最小灰度方差的点作为特征点。 其步骤为1计算各像元的兴趣值（Interest Value）。 心在以像素为中心的影像窗口中（如如555520xx-5-31在以像素为中心ww的影像窗口中（如如5555的窗口），计算图中所示四个方向相邻像素灰度差的平方和的窗口），计算图中所示四个方向相邻像素灰度差的平方和Moravec算子?=+?=12,1,)(1kk ic i rc i rg g V?=+?=121,1,)(2kk ii c ir ici rg g V?+?=121,)(3ki cr ic rggV?+?+?=121,1,)(4ki ciricirggV21xx-5-31?=k i?=k i取其中最小者作为该像素的兴趣值V=minV1，V2，V3，V4)2/(w INTk=其中?给定一经验阈值，将兴趣值大于该阈值的点（即窗口的中心点）作为候选点。 阈值的选择应以候选点中包括所需要的主要特征点而又不含过多的非特征点为原则。 给定一经验阈值，将兴趣值大于该阈值的点（即窗口的中心点）作为候选点。 阈值的选择应以候选点中包括所需要的主要特征点而又不含过多的非特征点为原则。 ?取候选点中的极值点作为特征点。 在一定大小的窗22xx-5-31口内,将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣值最大者，该像素即为一个特征点。 口内,将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣值最大者，该像素即为一个特征点。 ?如果两个特征点之间的距离过短，则去掉其中一个。 否则，在影像校正时，三角形边长过短将使解算出来的仿射变换参数出现错误。 如果两个特征点之间的距离过短，则去掉其中一个。 否则，在影像校正时，三角形边长过短将使解算出来的仿射变换参数出现错误。 角点提取-SUSAN算子?SUSAN算法是由英国牛津大学的S.M.Smith,J.M.Brady首先提出的,它主要是用来计算图像中的角点特征的。 它主要是用来计算图像中的角点特征的。 SUSAN算法的特点:23xx-5-31特点:?1.对角点的检测比对边缘检测的效果要好,适用于基于角点匹配的图像配准;1.对角点的检测比对边缘检测的效果要好,适用于基于角点匹配的图像配准;?2.无需梯度运算,保证了算法的效率;?3.具有积分特性(在一个模板内计算SUSAN面积),这样就使得SUSAN算法在抗噪和计算速度方面有较大的改进。 3.具有积分特性(在一个模板内计算SUSAN面积),这样就使得SUSAN算法在抗噪和计算速度方面有较大的改进。 SUSAN算法?用一个一定半径的圆模板放置在图像上（如图）。 如果模板上存在一区域，使该区域上对应图像的每一像素处的灰度值与圆心的灰度值相同（或相近），那么就定义该区域为核值相用一个一定半径的圆模板放置在图像上（如图）。 如果模板上存在一区域，使该区域上对应图像的每一像素处的灰度值与圆心的灰度值相同（或相近），那么就定义该区域为核值相似区即即USAN其中像素的个数定义为这个24xx-5-31似区，即即USAN，其中像素的个数定义为这个模板的面积。 25xx-5-31SUSAN算法的基本原理?图像上每一点都有一个邻近的具有相似灰度值的局部区域是图像上每一点都有一个邻近的具有相似灰度值的局部区域是SUSAN算法的基础。 这个局部区域或算法的基础。 这个局部区域或USAN包含了许多关于图像结构的信息。 SUSAN算法的基本原理是在每个像素移动26xx-5-31?SUSAN算法的基本原理是在每个像素移动一个小的圆形模板以检测局部信息，并利用预先设定的亮度阈值比较模板核及其周围像素的亮度值，亮度值相同或相近的为一个一个小的圆形模板以检测局部信息，并利用预先设定的亮度阈值比较模板核及其周围像素的亮度值，亮度值相同或相近的为一个USAN，最后通过面积最小的，最后通过面积最小的USAN检测角点。 边缘特征提取?“基于TIN的多源影像几何配准”没有使用边缘提取算子，所以这里不介绍其算法。 27xx-5-31（a）原图（b）Marr算子结果（c）Canny算子结果纹理特征?纹理是用来识别目标的重要方法，它是图像中一个很重要而又难以描述的特性，至今还没有公认的定义。 有些图像在局部区域内呈现不规纹理是用来识别目标的重要方法，它是图像中一个很重要而又难以描述的特性，至今还没有公认的定义。 有些图像在局部区域内呈现不规则性而在整体上表现出某种规律性习惯上28xx-5-31则性，而在整体上表现出某种规律性。 习惯上把这种局部不规则而宏观有规律的特性称之为纹理。 把这种局部不规则而宏观有规律的特性称之为纹理。 以纹理特性为主导的图像，常称为纹理图像，如木材纹理、皮肤纹理、织物纹理等。 通过对物体纹理特征的提取，可以对图像进行分类、配准等操作。 以纹理特性为主导的图像，常称为纹理图像，如木材纹理、皮肤纹理、织物纹理等。 通过对物体纹理特征的提取，可以对图像进行分类、配准等操作。 ?局部不规律，整体具有一定规律性的特性。 ?基本单元的重复性29xx-5-31?粗糙性?方向性提取纹理特征的方法?灰度共生矩阵。 ?基于小波的Gabor算子。 30xx-5-31?基于小波的Gabor算子。 直方图匹配31xx-5-31Hu不变矩?1962年Hute提出Hu不变矩，它对于匹配影像之间的平移、旋转和大小尺度变化具有自适应性，但它只适用于相似变换，不适于仿射变换。 不变矩，它对于匹配影像之间的平移、旋转和大小尺度变化具有自适应性，但它只适用于相似变换，不适于仿射变换。 Hu最初用以下7个不变矩公式来描述目标特征:+=224)(+32xx-5-31特征:02201+=2112022024)(+?=20321212303)3()3(?+?=20321212304)()(+=)()(3)(3() (3)()(3(2032121230032103212032121230123012305+?+?+?+?=)()(3)(3() (3)()(3(2032121230032112302032121230123003217+?+?+?=)(4)()(0321123011203212123002206+?+?=但实际上大部分文献都采用6个无量纲、消误差的组合不变矩33xx-5-312121=I3132=I3143=I6154=I4165=I6176=I点模式匹配?模式识别中的点模式匹配，使用特征点集中点与点之间的位置关系进行匹配，较少（或没有）利用图像灰度、纹理和边缘信息，所以它对图模式识别中的点模式匹配，使用特征点集中点与点之间的位置关系进行匹配，较少（或没有）利用图像灰度、纹理和边缘信息，所以它对图像之间的旋转灰度纹理分辨率等差异不34xx-5-31像之间的旋转、灰度、纹理、分辨率等差异不敏感，能够匹配不同传感器的图像，且能进行图像之间的全自动配准。 敏感，能够匹配不同传感器的图像，且能进行图像之间的全自动配准。 ?匹配两个特征点集的实质是找到它们的同构子集。 匹配两个特征点集的实质是找到它们的同构子集。 ?要用到较多的数学知识。 点模式匹配?Pengyu Hong等用图论的方法，把两点集看作两个无向图，然后提取它们的同构子图，但其算法复杂，只能用于匹配简单图片（如商等用图论的方法，把两点集看作两个无向图，然后提取它们的同构子图，但其算法复杂，只能用于匹配简单图片（如商标），对于复杂图片计算量过大35xx-5-31标），对于复杂图片计算量过大。 ?罗纲等以传统的Umeyama点集相关度量为基础点集相关度量为基础,结合Procrustes正规化方法,通过引入加权矩阵得到新的相关度量函数通过引入加权矩阵得到新的相关度量函数,解决了传统方法要求点集维数相同的缺点，经过迭代运算解决了传统方法要求点集维数相同的缺点，经过迭代运算,可对存在几何失真可对存在几何失真,且维数不同的两点集进行精确配准，但计算量较大。 且维数不同的两点集进行精确配准，但计算量较大。 ?张立华等将待匹配的两个二维点集分别转化成为一个张立华等将待匹配的两个二维点集分别转化成为一个n维空间中的向量,对这两个向量中的各元素进行简单的排序来解决点集匹配问题。 对这两个向量中的各元素进行简单的排序来解决点集匹配问题。 田原等通过建立种图像点集间距离的描述方36xx-5-31?田原等通过建立一种图像点集间距离的描述方法，提出基于点集不变性匹配的目标检测与识别方法。 法，提出基于点集不变性匹配的目标检测与识别方法。 ?舒丽霞等用Hausdorff距离对两特征点集进行匹配距离对两特征点集进行匹配,得到点集间的仿射变换关系。 ?孙焘等对主辅图像的特征点集分别进行Whitening变换,将点集间的一般仿射变换问题转换为刚性变换问题?桑农等以四元组代替点对进行点特征松弛匹配算法，提出了基于点特征的具有旋转与比例不变松弛匹配算法，但是该算法在匹配迭代过程桑农等以四元组代替点对进行点特征松弛匹配算法，提出了基于点特征的具有旋转与比例不变松弛匹配算法，但是该算法在匹配迭代过程中必须对所有实时图中的点特征进行一次比例37xx-5-31中必须对所有实时图中的点特征进行次比例与旋转变换,这在一定程度上影响了匹配速度。 ?陈志刚等以六元组为基础构建三角形,利用三角形在平移、比例放大和旋转变换后与原三角形相似的特性将其引入到基本点特征松弛匹配算法中利用三角形在平移、比例放大和旋转变换后与原三角形相似的特性将其引入到基本点特征松弛匹配算法中,提出一种比例与旋转不变点特征松弛匹配算法。 不规则三角网?不规则三角网（不规则三角网（triangulated irregularwork，TIN)在地形图的制作中被广泛使用38xx-5-31作中被广泛使用。 绘制等高线时，先用测量点构造。 绘制等高线时，先用测量点构造TIN，然后再根据，然后再根据TIN内插等高线。 内插等高线。 不规则三角网?TIN的优点能真实反映地形变化，相比grid，数据量很小。 ，数据量很小。 在地形变化较大、特征点多的区域，三角网密集，能很好地反映地形变化；而在地形变化较大、特征点多的区域，三角网密集，能很好地反映地形变化；而在阔的域特点角稀39xx-5-31在开阔、平坦的区域，特征点少，三角网稀疏，不会造成大量的冗余数据，也不会无谓地增加计算量。 疏，不会造成大量的冗余数据，也不会无谓地增加计算量。 TIN用于图像配准时，同样具有这一优点。 用于图像配准时，同样具有这一优点。 Delaunay三角网?Delaunay三角网常常被用于TIN的生成。 Delaunay三角网为相互邻接且互不重叠的三角形的集合，每一三角形的外接圆内不包含其它的点。 三角网为相互邻接且互不重叠的三角形的集合，每一三角形的外接圆内不包含其它的点。 40xx-5-31构TIN的基本原则?TIN是惟一的。 即对于同样的点集，所构三角网应该只有一种；是惟一的。 即对于同样的点集，所构三角网应该只有一种；?力求最佳的三角形几何形状，每个三角形尽量接近等边形状41xx-5-31接近等边形状；?保证最邻近的点构成三角形，即三角形的边长之和最小。 保证最邻近的点构成三角形，即三角形的边长之和最小。 小面元微分校正法?在主辅图像中用匹配好的特征点集构造TIN。 ?可以看作三角网把从影像微分成很多微小的面元，每个三角形就是一个很小的面元，在这个可以看作三角网把从影像微分成很多微小的面元，每个三角形就是一个很小的面元，在这个面元内可以只考虑影像的次形变以从影42xx-5-31面元内，可以只考虑影像的一次形变。 以从影像中的各个三角形为单位，对三角形内各个点进行几何校正，从而对整幅从影像进行校正。 这种几何校正方法叫做像中的各个三角形为单位，对三角形内各个点进行几何校正，从而对整幅从影像进行校正。 这种几何校正方法叫做小面元微分校正法。 ?对于山区遥感影像，多项式校正方法的精度不够，必须采用小面元微分校正的方法，其几何校正误差可以控制在对于山区遥感影像，多项式校正方法的精度不够，必须采用小面元微分校正的方法，其几何校正误差可以控制在0.3个像素以内。 小面元微分校正法步骤?下面以影像中任一三角形W为例说明影像几何校正的原理。 辅影像中三角形为例说明影像几何校正的原理。 辅影像中三角形W的三个角点为a,b,c，它们在主影像中对应的点为A,B,C,它它们的坐标分别为，),(),(),(c cb b a ay x yx yx),(),(),(,C CB BA Ayx yx yx43xx-5-31们的坐标分别为，。 把W看作小面元，则有仿射变换看作小面元，则有仿射变换?其中是仿射变换参数。 ?把，代入方程可以得到仿射变换参数),(),(),(c cb ba ayx yx yxx ya xa a=+210y yb xb b=+210210210,b bba aa),(),(),(,C CB BA Ayx yx yx44xx-5-31代入方程可以得到仿射变换参数。 ?先根据主影像大小生成一幅和主影像坐标一致的配准影像，因为还没有输入任何值，所以是空白影像。 先根据主影像大小生成一幅和主影像坐标一致的配准影像，因为还没有输入任何值，所以是空白影像。 ?配准影像中三角形W内任何一个像素，都可以通过方程组解算出它在辅影像中对应的的同名点像素坐标内任何一个像素，都可以通过方程组解算出它在辅影像中对应的的同名点像素坐标(行列值)。 ?同名点坐标是小数，必须经过插值计算，得到配准点DN值。 插值方法?最邻近法?立方卷积法?双线性法45xx-5-31?双线性插值法公式如下2222212112121111)(I WI WI WI WP I+=22211211)1()1()1)(1(yI x I yx yIxIyx+?+?+?=?查找三角形内各像素点计算量较大，本文作者通过试验发现，用三角形外接矩形内所有像素点代替三角形内像素点进行计算，可使计算速查找三角形内各像素点计算量较大，本文作者通过试验发现，用三角形外接矩形内所有像素点代替三角形内像素点进行计算，可使计算速度提高4倍左右，而校正效果相差不大46xx-5-31度提高4倍左右，而校正效果相差不大。 试验?主图像为xx年7月9日武汉市ETM+图像的第4波段(近红外波段，分辨率28.5m，大小50004000)，辅图像为1978年10月16日的MSS-5(红光波段，分辨率57m，大小35503880)两幅图像的色调反差很大（如47xx-5-3135503880)，两幅图像的色调反差很大（如图）。 MODIS影像的小面元校正?EOS/MODIS卫星接收系统提供的1B级影像中,图像信息和经纬度信息是分离的,而且经线、纬线呈不规则的曲线。 要使用这些数据而且经线、纬线呈不规则的曲线。 要使用这些数据,通常要先设法把每点的经纬度信息经过投影计算48xx-5-31要先设法把每点的经纬度信息经过投影计算，转换到用户所需的坐标系统中。 ，转换到用户所需的坐标系统中。 ?借助遥感软件进行几何校正，处理过程中需要多次人机交互借助遥感软件进行几何校正，处理过程中需要多次人机交互,因此处理人员必须在计算机前守候因此处理人员必须在计算机前守候,浪费大量的时间。 ?用用IDL(Interactive DataLanguage)语言开发了一个基于三角网的小面元几何校正程序,它它MODIS校正前后的影像49xx-5-31纬