初精结合和多特征融合的多源遥感图像配准.doc

初精结合和多特征融合的多源遥感图像配准 第卷第期年月遥感信息，修订日期基金项目国家自然科学基金（、）；江西省科技厅自然科学基金（）；国家测绘地理信息局重点实验室招标项目（、）；江西省教育厅科技项目（、）；江西省高校人文社科项目（）；年度江西省艺术科学规划项目（）。 作者简介刘欢（），女，博士，副教授，主要研究方向为图形图像处理、机器视觉、模式识别。 犈犿犪犻犾通信作者肖根福（），男，博士，讲师，主要研究方向为智能计算、模式识别。 犈犿犪犻犾初精结合和多特征融合的多源遥感图像配准刘欢，肖根福，欧阳春娟，谭云兰（井冈山大学电子与信息工程学院，江西吉安；流域生态与地理环境监测国家测绘地理信息局重点实验室，江西吉安）摘要针对多源遥感图像纹理、灰度差异大、数据量大的特点，以及传统配准方法易出现误匹配和低效率问题，提出一种初精结合的多源遥感图像自动配准方法。 首先用最大极值区域检测图像的有效特征区域，再依据区域灰度均方差确定每块区域特征点数量，采用提取区域特征角点。 方法保证了角点分布的均匀和非冗余性。 其次对图像作变换，在分解的低频子带上构造多尺度高斯组合矩对图像进行初匹配，在高频子带上构造表征图像纹理特征的多方向灰度共生矩完成精匹配，实现同名特征点的配准。 对多源遥感图像进行配准实验的结果表明，该方法在特征点数量、分布均匀度及配准精度等方面具有显著的优势，可为后期研究提供参考。 关键词初精结合；多尺度高斯组合矩；多方向灰度共生矩；多特征融合；图像配准犱狅犻文献标志码（）犐狀犻狋犻犪犾犳犻狀犲犆狅犿犫犻狀犪狋犻狅狀犪狀犱犕狌犾狋犻犳犲犪狋狌狉犲犉狌狊犻狅狀犳狅狉犕狌犾狋犻狊狅狌狉犮犲犚犲犿狅狋犲犛犲狀狊犻狀犵犐犿犪犵犲犚犲犵犻狊狋狉犪狋犻狅狀，（犐狀狊狋犻狋狌狋犲狅犳犈犾犲犮狋狉狅狀犻犮犪狀犱犐狀犳狅狉犿犪狋犻狅狀犈狀犵犻狀犲犲狉犻狀犵，犑犻狀犵犵犪狀犵狊犺犪狀犝狀犻狏犲狉狊犻狋狔，犑犻犪狀，犑犻犪狀犵狓犻，犆犺犻狀犪；犓犲狔犔犪犫狅狉犪狋狅狉狔狅犳犠犪狋犲狉狊犺犲犱犈犮狅犾狅犵狔犪狀犱犌犲狅犵狉犪狆犺犻犮犪犾犈狀狏犻狉狅狀犿犲狀狋犕狅狀犻狋狅狉犻狀犵，犖犪狋犻狅狀犪犾犃犱犿犻狀犻狊狋狉犪狋犻狅狀狅犳犛狌狉狏犲狔犻狀犵，犕犪狆狆犻狀犵犪狀犱犌犲狅犻狀犳狅狉犿犪狋犻狅狀，犑犻犪狀，犑犻犪狀犵狓犻，犆犺犻狀犪）犃犫狊狋狉犪犮狋，犓犲狔狑狅狉犱狊；遥感信息年期引言随着数据通信、传感器等航空航天技术的不断提高，遥感领域数据的获取也逐渐向多源化发展。 不同传感器的遥感图像可以实现对同一对象从不同时间跨度和空间尺度上的信息补充，继而达到对目标物更全面更丰富的信息获取与分析，对综合提高遥感技术在地表资源勘查，农林业灾情监测以及军事侦察的发展具有重要意义。 由于不同设备成像机理，所用光谱、波段、时相、拍摄角度及时间等不同导致所获图像间存在较大的灰度、旋转、平移等差异。 因此要综合利用异源遥感图像的信息，图像配准是首要条件。 但多源遥感影像呈现的复杂差异也给配准带来了巨大的困难。 目前，遥感图像配准大体上分为基于灰度的配准方法和基于特征的配准方法。 后者有效地克服了前者计算量大、耗时、对灰度差异敏感等的不足，已成为遥感图像配准的主流方法。 特征点检测、特征描述器生成和特征点匹配是特征配准方法的关键。 尺度不变特征变换算法（，）广泛应用于图像特征匹配中。 李晓明等采用算法完成了同一种传感器的遥感图像间配准，效果较好。 但对纹理丰富尤其是存在显著灰度差异的不同性质传感器的遥感影像间的自动配准，传统的算法存在困难。 文献提出与互信息相结合，采用粗精两步法用于遥感图像配准，提高了配准精度。 文献通过对梯度方向的限制，同时采用相位一致性提取边缘信息，较好地解决了多源遥感图像配准几何变形与灰度差异问题。 最大稳定极值区域（，）特征区域提取算子不仅抗光照变化、多视角、噪声变化且对尺度具有良好的不变性，不乏成功应用于特征匹配。 文献充分利用和的互补性，将其用于多源遥感图像的特征点检测，有效改善了特征点分布。 但以上各种改进的算法在多源遥感图像配准中依然存在配准精度不高，特征点数量冗余，图像灰度差异敏感等缺陷。 文献对多种特征点提取算法进行分析比较，证实特征点检测算法在多源遥感影像配准中有较为广泛的应用。 文献通过定义自动阈值对算法进行改进用于遥感图像配准，但此算法较复杂难以推广。 虽对光照变化，噪声干扰，旋转等具有较强的鲁棒性，但提取的角点不均匀且存在冗余从而不利于配准精度的提高。 文献先对影像分块处理策略，同时在算法中融入估计角点位置的定位策略来提取特征点，提取的角点分布均匀。 特征描述子性能的好坏直接影响多源遥感图像配准精度。 文献用角点检测算子提取特征角点，再用新构造的具有较强抗光照、噪声的组合不变矩表征图像的结构特性，实现普通光学图像的特征匹配。 文献计算个不变矩表征图像特征，采用空间约束机制剔除错误匹配，在遥感图像配准中取得较好结果。 文献利用局部近邻特征点构造描述子用于遥感图像配准。 文献提出了椭圆傅里叶描述子提取图像的形状特征，对遥感图像配准有较好的适用性。 以上单一特征描述信息的能力不强，尤其是对纹理结构丰富的遥感影像无法全面表征图像的信息，易导致误匹配进而降低配准的精度。 针对特征点数量冗余、分布不均匀，特征描述子单一的问题，本文从特征点检测和特征描述子两个方面着手利用与检测特征点的互补性，采用多特征融合的思想，提出一种适用于多源遥感图像自动配准的全新方法，在保持特征点数量和均匀分布的情况下，获得有效的特征配准结果。 基于特征的图像配准方法特征检测算子由最早提出。 该种特征区域提取算法首先设定一系列阈值，得到一组二值图像，根据预先设定的阈值将二值图像分割，然后分析相邻阈值图像的连通区域，最终得到二类特征区域，分别是黑色最稳定极小值区域（），白色最稳定极大值区域（）。 采用归一化除去区域存在的尺度、旋转变化，扭曲变形。 具体实现首先将椭圆区域统一扩大为特征测量区，再将测量区归一化为一定大小的区域，经归一化后的椭圆区域具有仿射不变性，对大尺度具有良好的鲁棒性。 算子是一种基于图像水平方向和垂直方向梯度的自相关矩阵角点检测算子。 其原理是利用移动的窗口在图像中计算灰度变化值，其中关键流程包括转化为灰度图像，计算差分图像，高斯平滑，计算局部极值，确认角点。 该算子的优点是计算简单，提取的点特征均匀合理且对图像旋转、灰度变化、噪声和视点变化不敏感。 它是比较稳定的一种点特征提取算子。 特征配准基于特征的图像配准方法是遥感图像配准中采用最多的。 对于不同特性的图像提取图像中具有显著差异的特征并构造具有代表待配准图像相似性的特征描述子作为配准依据，再利用该特征完成图像特征之间的匹配。 该方法一般包括特征提取、特征引用格式刘欢，肖根福，欧阳春娟，等初精结合和多特征融合的多源遥感图像配准遥感信息，（）匹配、变换参数估计、坐标变换与插值个主要组成部分。 其中特征提取与特征匹配是个重要环节。 特征提取是指分别提取幅图像中共有的图像特征，这类特征对图像的比例、旋转、平移等变换具有不变性，包括点、线和面三类。 特征匹配是指建立幅图像中特征之间对应关系的过程，常用的方法有互相关系数法、互信息法、点间距离法等。 多源遥感图像自动配准算法本文实现多源遥感图像间的自动配准，流程图如图所示。 图本文算法流程图犕犛犈犚犎犪狉狉犻狊特征点检测提取遥感图像的特征点数量较多且分布不均匀，不利于后续高精度配准。 为解决的不足，本文采用与相结合的多特征检测算法。 具体描述如下首先采用提取图像最大稳定极值区域并对椭圆区域归一化，然后计算每一椭圆区域的局部灰度均方差。 灰度均方差反映图像子区的对比度，对比度越大，该子区的角点数量越多，相反该子区的角点较少。 根据子区灰度均方差设定特征点数量犖；最后计算子区中每个像素的值并按降序排列，提取前几个值较大的像素点作为特征点。 图像椭圆子区犈，共狀个像素的灰度方差犇狀（犻，犼）犈（犐犻犼珔犐）槡）（）式中珔犐为子区灰度均值，珔犐狀（犻，犼）犈犐犻犼（）使用该方法能够控制检测特征点数量的合理性，有效避免特征点的冗余，保证特征点均匀分布。 如图所示，图（）、图（）、图（）分别显示了、算法提取的特征点分布情况。 图特征角点检测结果比较多尺度、多方向特征融合对图像进行二级分解，得到多尺度，低频子带和犱犱多方向的高频子带。 在矩定义中加入高斯核函数，为尺度因子。 图像的狆狇阶离散定义如下犿狆狇（犽）犿狓狀狔狓（）狆狔（）狇（狓狔）犳（狓，狔）（）的中心矩为狆狇（犽）犿狓狀狔狓珚狓（）狆狔珔狔（）狇（狓珚狓）（狔珔狔）犳（狓，狔）（）式中（珚狓，珔狔）是（狀狀）窗口的重心坐标狆狇狆狇狉（）式中狉（狆狇），狆狇为标准化中心矩。 （）（）狆狇狆狇狉（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）个高斯组合不变矩遥感信息年期，（）二级低频子带的矩特征矢量为犳犔，。 对于多方向的高频子带提取结构纹理特征的能量、对比度、相关性和熵个参数，其中犜（犻，犼）为灰度共生矩阵。 能量犳犻犼犜（犻，犼）（）对比度犳犻犼（犻犼）犜（犻，犼）（）相关性犳犻犼（犻狓）（犼狔）犜（犻，犼）狓狔（）熵犳犻犼犜（犻，犼）犜（犻，犼）（）高频子带的灰度共生矩特征矢量为犳犎犳，犳，犳，犳，依据空间活跃程度的对比度敏感函数对以上高频子带计算个参数的加权系数。 公式如下犃（狀）（犳）犲（）（）式中犳犳狉犳槡犮为高频子带犐（狓，狔，犱狀）的空间频率。 犳狉犕犖犕犻犖犼犳（犻，犼）犳（犻，犼）槡图像的行频率，犳犮犕犖犕犻犖犼犳（犻，犼）犳（犻，犼）槡为图像的列频率。 加权后的特征参数为犳犃（犱）犃（犱狀）犳犱犃（犱）犃（犱狀）犳犱犃（犱狀）犃（犱狀）犳犱狀（）式中犱狀（狀，）共个方向子带。 同理可得犳，犳，犳加权后的高频子带灰度共生矩特征矢量为犳犎犳，犳，犳，犳初精特征配准本文在特征匹配阶段采用初精两步法实现。 首先利用低频子带维矩特征向量犳犔，进行相似性测度的初始匹配，在此基础上利用加权后的高频子带犳犎犳，犳，犳，犳进行二次精匹配。 犛犻犼（犳犔（犻）犳犔（犼）犛犻犼（犳犎（犻）犳犎（犼）（）式中狘犳犔（犻）犳犔（犼）狘狘（犻）（犼）狘狘（犻）（犼）狘狘（犻）（犼）狘狘（犻）（犼）狘狘（犻）（犼）狘狘（犻）（犼）狘狘犳犎（犻）犳犎（犼）狘狘犳（犻）犳（犼）狘狘犳（犻）犳（犼）狘狘犳（犻）犳（犼）狘狘犳（犻）犳（犼）狘随机抽样一致算法最后用随机抽样一致算法（，）剔除错误匹配作为最终的正确匹配对。 算法会将特征点分为正确匹配点对和错误匹配点对。 计算出参考图像的特征点与待匹配图像的相应特征点之间的坐标转换关系，即变换矩阵犎。 具体从初始匹配点对中随机选择对匹配点对，计算变换矩阵犎。 计算剩下的匹配对中参考图的点犡犻（狓，狔）的犎犡犻值，计算该值与原先匹配的位于待匹配图像中的点犡犻（狓，狔）之间犱犻。 若犱犻小于事先设定的一个阈值犜，则将该特征点作为正确匹配，否则作为错误点。 再重新随机选取对匹配对，重复上述步骤，将对应计算得到的最多正确匹配对点的变换矩阵犎作为最终变换矩阵，并用于剔除错误匹配点对。 实验分析本文实验图像均为遥感卫星拍摄的图像。 选取二类图像组，分别是不同源的和不同成像机理的天地图。 对于第一类型的图像对，相对于参考图像，待配准图像分别是照度变换和模糊变换。 将本文算法与经典的、文献算法作对比，分别采用特征点数目，正确的匹配点对数，匹配正确率，匹配时间等性能指标进行分析比较。 配准精度用均方根误差（，）值进行度量，值越小，配准精度越高。 本文实验环境是操作系统，为，软件为。 图至图为第一类实验所用的组遥感图像，幅为一组。 左边为标准图，右边为待配准图像，其中图的待配准图像存在轻微的平移；图和图是分别加入和的高斯噪声；图加入了光调系数；图是同时加入高斯噪声和光调系数；图是阿斯旺水坝的天地图不同类型传感器图像。 图给出了针对图分别采用种方法的特征点检测、初始匹配、精匹配结果。 其中图（）、图（）、图（）是方法，图（）、图（）、图（）是文献方法，图（）、图（）、图（）是本文算法。 图（）、图（）、图（），图（）、图（）、引用格式刘欢，肖根福，欧阳春娟，等初精结合和多特征融合的多源遥感图像配准遥感信息，（）图（），图（）、图（）、图（）分别是、文献和本文算法。 同理，图、图、图、图分别是对图、图、图、图处理的结果。 图犔犪狀犱狊犪狋犛犘犗犜犫犪狀犱（组）图犔犪狀犱狊犪狋犛犘犗犜犫犪狀犱（组）图犔犪狀犱狊犪狋犛犘犗犜犫犪狀犱（组）图犔犪狀犱狊犪狋犛犘犗犜犫犪狀犱（组）不同类型传感器获取的遥感图像，灰度分布、噪声性质差异大，尤其图像固有的乘性相干斑噪声严重影响角点检测的稳定性。 从以上结果图犔犪狀犱狊犪狋犛犘犗犜犫犪狀犱（组）图天地图犛犃犚（阿斯旺水坝）可知，检测算子提取角点的结果优化算子。 对整幅图像的角点提取过于冗余，分布不均匀。 算子去除了错误的角点，最终检测的特征点分布更加均匀、稳定、合理，有助于节省后续特征匹配时间。 本文方法新构造的多尺度高斯组合矩、多方向共生矩具有较强的抗光照、噪声、旋转性能，提出的初精两步法与其他种方法相比亦能获得了更好的匹配效果，在第一类图像的配准结果图中有充分体现。 对于第二类天地图间的图像的配准，的准确率很难保持，且其配准正确率大幅度下降，总共对匹配对中有对是错误匹配对，正确率不到。 而本文方法却保证了较高的配准正确率。 得出结论不适用于不同成像机理的遥感图像配准。 种方法各参数的比较结果如表所示。 从表中数据可知本文算法可以得到较高的正确匹配率和匹配精度。 本方法运行的总时间大约是的三分之一。 与维的描述子相比，本文构造的复合描述子向量仅为维。 文献的特征描述符是维的，由于特征点量较大，算子时间开销最大，文献较本文方法稍长。 对于正确的匹配率，随着模糊系数和光照变化影响因子的加大（图至图），图像的正确配准率从下降到，下降了左右。 尤其是图（图），正确率低于。 本算法的正确率总体保持在以上，具有良好的抗光照和模糊影响。 遥感信息年期图像的配准正确率也可以达到。 本研究得到的最小，其次是文献，最差的是。 据此可得出不适合多源遥感图像的配准。 图种方法的匹配结果（对图处理结果）图种方法的匹配结果（对图处理结果）引用格式刘欢，肖根福，欧阳春娟，等初精结合和多特征融合的多源遥感图像配准遥感信息，（）图种方法的匹配结果（对图处理结果）图种方法的匹配结果（对图处理结果）遥感信息年期图种方法的匹配结果（对图处理结果）图种方法的匹配结果（对图处理结果）引用格式刘欢，肖根福，欧阳春娟，等初精结合和多特征融合的多源遥感图像配准遥感信息，（）表种方法各配准参数的比较测试图方法犖犖正