多模态卫星遥感图像超分论文

多模态卫星遥感图像超分论文一.摘要

随着全球对地观测需求的不断增长，卫星遥感图像在资源监测、环境评估、城市规划等领域发挥着关键作用。然而，由于传感器分辨率的限制和成像过程中的几何畸变、大气干扰等因素，遥感图像普遍存在分辨率不足的问题，难以满足精细化管理的需求。超分辨率技术作为提升图像分辨率的重要手段，近年来在计算机视觉领域取得了显著进展。多模态卫星遥感图像超分辨率融合旨在结合不同传感器（如光学、雷达、热红外等）的优势，通过多源数据融合与深度学习算法，实现高分辨率图像的重建。本研究以多模态卫星遥感图像为对象，针对不同模态数据在空间分辨率、光谱信息及几何特征上的差异，提出了一种基于深度学习的多模态融合超分辨率方法。该方法首先利用多尺度特征融合网络（MSFNet）提取各模态图像的多层次特征，然后通过注意力机制模块（AM）自适应地分配不同模态的权重，最终结合迭代优化算法（IOA）实现像素级细节恢复。实验选取覆盖城市与乡村区域的Landsat-8/Sentinel-1A数据对，通过与传统超分辨率方法及单一模态融合策略进行对比，验证了该方法在空间分辨率提升、光谱信息保真及几何特征保持方面的优越性。结果表明，该方法在PSNR、SSIM等客观指标上分别提升了2.3dB和0.15，同时主观视觉效果显示融合后的图像细节更丰富、纹理更清晰。研究结论表明，多模态融合超分辨率技术能够有效弥补单一模态的局限性，为高分辨率地物精细分类、变化检测等应用提供高质量数据支持，具有显著的实际应用价值。

二.关键词

多模态遥感；超分辨率；深度学习；融合算法；特征提取；地理信息

三.引言

卫星遥感技术作为获取地球表面信息的重要手段，在过去几十年中经历了飞速发展，为全球资源监测、环境保护、灾害评估、城市规划等领域提供了前所未有的数据支持。随着传感器技术的不断进步，遥感图像的分辨率和获取频率显著提升，然而，受限于传感器物理特性、成像平台稳定性以及复杂大气环境等因素，当前主流的卫星遥感影像（如Landsat系列、Sentinel系列等）在空间分辨率上仍存在较大提升空间，尤其对于城市建成区、农作物精细分类等应用场景，现有分辨率往往难以满足对地物细节精确刻画的需求。超分辨率技术旨在通过算法手段提升低分辨率图像的像素维度和空间细节，自20世纪80年代提出以来，已发展出插值法、基于重建的方法以及基于学习的方法三大类。其中，基于深度学习的超分辨率方法凭借其强大的特征学习和非线性映射能力，近年来在自然图像处理领域取得了突破性进展，逐步被引入遥感图像领域并展现出巨大潜力。然而，传统超分辨率方法多针对单一模态图像设计，对于多模态卫星遥感图像，由于不同传感器（如光学、雷达、热红外）在成像原理、数据特性（空间分辨率、光谱分辨率、极化方式、辐射特性等）上存在显著差异，直接套用单一模态超分辨率策略往往难以同时优化各模态图像的分辨率和保真度，甚至可能引入噪声或失真。例如，光学图像细节丰富但易受云雾遮挡，雷达图像穿透能力强但几何畸变明显；热红外图像对地物温度敏感但空间分辨率通常较低。因此，如何有效融合多模态遥感图像的优势信息，实现高分辨率、高保真度的图像重建，成为当前遥感图像处理领域亟待解决的关键问题。

多模态数据融合在提升遥感图像信息获取能力方面具有天然优势。通过融合不同传感器的数据，可以互补信息短板，抑制单一传感器的不确定性，从而获得更全面、更可靠的地球观测结果。例如，光学图像提供高分辨率的地物纹理信息，而雷达图像则能在恶劣天气条件下获取全天候数据，热红外图像则有助于区分不同地物的热特性。将多模态数据融合应用于超分辨率任务，理论上能够构建更具信息冗余和鲁棒性的高分辨率表示，克服单一模态数据在分辨率提升过程中的瓶颈。具体而言，多模态融合超分辨率研究主要面临以下挑战：1）不同模态图像在尺度和纹理特征上存在差异，如何设计有效的特征对齐与融合机制以保留关键细节；2）单一模态超分辨率模型可能存在过拟合或欠拟合问题，多模态信息的引入是否会导致模型复杂度增加和训练难度加大；3）如何量化评估融合超分辨率结果的综合性能，包括空间分辨率提升、光谱信息保真、几何畸变校正以及地物细节增强等方面。现有研究虽已提出部分多模态融合超分辨率方法，但多数方法仍停留在初步探索阶段，在融合策略的系统性、模型的深度与广度以及应用场景的广泛性上仍有较大提升空间。因此，本研究聚焦于多模态卫星遥感图像超分辨率融合问题，旨在提出一种能够有效利用多源数据互补性的深度学习融合框架，以期为高分辨率遥感影像的生成与应用提供新的技术路径。

本研究的主要问题在于：如何设计一个高效的多模态融合超分辨率模型，该模型不仅能够显著提升图像的空间分辨率，还能有效融合不同模态的数据优势，实现光谱信息与几何特征的协同优化，并具备良好的泛化能力以适应不同地物类型和复杂环境条件。基于此，本研究的核心假设是：通过引入多尺度特征金字塔、自适应注意力机制以及迭代优化策略，构建的多模态融合超分辨率模型能够比传统单一模态超分辨率方法及现有多模态融合方法在综合性能上取得更优表现。具体而言，假设该模型能够在保持高空间分辨率的同时，实现光谱信息的准确保留、几何畸变的有效校正以及地物细节的显著增强。为验证此假设，本研究将开展以下工作：首先，构建包含光学、雷达等多模态卫星遥感图像的数据集，并进行预处理以统一数据尺度；其次，设计一个基于深度学习的多模态融合超分辨率网络，该网络将集成特征提取、对齐、融合与重建等关键模块；再次，通过实验对比，评估所提方法与传统方法在多个维度上的性能差异；最后，分析融合策略对超分辨率结果的影响，并探讨模型在实际应用中的可行性与局限性。本研究的意义不仅在于为多模态遥感图像超分辨率提供一种新的技术方案，更在于推动深度学习与遥感图像处理的深度融合，为高分辨率地物精细分类、变化检测、三维重建等下游应用提供高质量的数据支撑，从而促进地理信息科学、资源环境科学等相关领域的理论创新与技术进步。

四.文献综述

卫星遥感图像超分辨率技术的研究历史悠久，伴随着传感器技术和计算能力的进步，不断涌现出新的方法与理论。早期超分辨率研究主要集中在插值方法，如双三次插值、Lanczos插值等，这类方法计算简单、效率高，但难以处理图像中的复杂纹理细节，容易产生模糊或振铃效应。随后，基于重建的方法，如非局部均值（NL-Means）、总变分（TV）最小化等，通过利用图像的稀疏性或自相似性进行修复，在去噪和细节增强方面取得了一定成效，但往往陷入局部最优解，且计算复杂度较高。进入21世纪，随着深度学习在计算机视觉领域的突破性进展，基于卷积神经网络（CNN）的超分辨率方法逐渐成为研究热点。代表性工作如SRCNN（Super-ResolutionConvolutionalNeuralNetwork）首次将浅层网络应用于单幅图像超分辨率，通过卷积层逐步提升特征层级并最终进行像素恢复。后续研究如VDSR（VeryDeepSuper-Resolution）通过增加网络深度和残差连接来提升特征提取能力，EDSR（EnhancedDeepSuper-Resolution）引入多尺度训练策略，进一步推动了超分辨率性能的提升。这些方法在自然图像处理领域取得了显著成功，但直接应用于遥感图像时，由于遥感数据的多模态特性、较大尺寸以及专业领域知识约束，仍面临诸多挑战。

针对遥感图像的超分辨率研究，早期工作多集中于单一模态图像的处理。文献[12]提出了一种基于深度学习的Landsat图像超分辨率方法，通过卷积操作提取光谱和空间特征，有效提升了图像分辨率。文献[15]则研究了Sentinel-2光学图像的超分辨率重建，利用注意力机制增强边缘信息。然而，单一模态超分辨率方法的局限性逐渐显现：光学图像易受云雾影响，雷达图像存在几何畸变，热红外图像分辨率通常较低。因此，多模态融合超分辨率成为新的研究趋势。文献[8]较早探索了光学与雷达图像的融合超分辨率，通过特征级联的方式结合两种数据的空间信息，但融合策略较为简单，未能充分利用多模态数据的互补性。文献[19]提出了一种基于字典学习的多模态融合方法，通过构建共享字典实现特征融合，但在细节恢复方面表现平平。近年来，深度学习方法被广泛用于多模态遥感图像融合。文献[5]设计了一个基于U-Net的多模态融合网络，通过编码器-解码器结构实现特征提取与融合，并通过损失函数加权优化不同模态的贡献。文献[11]则引入了注意力门控机制，自适应地融合不同模态的特征，提升了融合效果。这些研究为多模态融合超分辨率奠定了基础，但仍存在融合粒度单一、模型泛化能力不足等问题。

多模态融合超分辨率研究在理论层面也形成了若干分支。一种思路是利用多模态特征金字塔进行融合，通过构建不同尺度的特征图来匹配不同模态图像的细节层次。文献[17]提出了一种基于特征金字塔的多模态融合网络，通过多尺度卷积提取不同分辨率下的特征，再通过跨模态注意力模块进行融合，取得了较好的效果。另一种思路是利用字典学习或自编码器实现模态特征对齐与融合。文献[9]通过稀疏表示学习，将不同模态图像映射到共享字典上，实现隐式融合。文献[21]则设计了多模态自编码器网络，通过编码器学习共享特征，解码器分别恢复各模态图像，但在融合过程中可能丢失部分模态特有信息。此外，一些研究尝试引入物理先验知识，如文献[3]在多模态融合超分辨率中结合了辐射传输模型，提升了光谱保真度，但模型复杂度显著增加。尽管现有研究取得了一定进展，但仍存在一些争议与空白：首先，多模态融合的优化目标尚不明确，是侧重空间分辨率提升、光谱信息保真还是几何特征校正？不同目标间的权衡关系尚未得到充分研究。其次，现有模型在融合策略上多采用固定权重或简单门控机制，缺乏对地物类型、场景复杂度等动态因素的适应性，难以实现最优融合。再次，多模态融合超分辨率的评估指标主要集中在客观指标（如PSNR、SSIM），缺乏对地物细节增强、分类精度提升等实际应用效果的量化评估。此外，模型的可解释性较差，难以揭示多模态信息是如何参与融合与超分辨率的。最后，针对不同模态（如光学、雷达、热红外）组合的超分辨率研究相对较少，且现有方法对极端复杂场景（如高动态范围、强噪声干扰）的处理能力有限。这些空白与争议为后续研究提供了重要方向，也凸显了本研究的必要性与创新性。

五.正文

在本研究中，我们提出了一种基于深度学习的多模态卫星遥感图像超分辨率融合框架，旨在有效结合不同模态（如光学与雷达）图像的优势信息，实现高分辨率、高保真度的图像重建。该框架主要由数据预处理、特征提取与融合、细节增强与后处理四个核心模块构成。数据预处理模块负责对输入的多模态遥感图像进行标准化处理，包括辐射校正、几何精校正、图像配准和尺度归一化，确保不同模态数据在空间位置、尺度上的一致性，为后续特征提取与融合奠定基础。特征提取与融合模块是本研究的核心，它包含多尺度特征金字塔网络（MSFNet）和多模态注意力机制（AM），用于提取各模态图像的多层次特征，并自适应地分配不同模态特征的权重，实现信息的深度融合。细节增强模块基于迭代优化算法（IOA）进一步细化像素值，提升重建图像的纹理清晰度。后处理模块则对最终结果进行轻微的平滑与锐化处理，优化视觉效果。为了验证所提方法的有效性，我们构建了一个包含Landsat-8光学图像与Sentinel-1A雷达图像的多模态数据集，并选取了具有代表性的城市与乡村区域作为实验场景。实验中，我们将所提方法（M3F-ISR）与传统超分辨率方法（如EDSR、RCAN）以及单一模态融合策略（如特征级联融合、基于注意力门控的融合）进行了对比分析，评估指标包括峰值信噪比（PSNR）、结构相似性指数（SSIM）、空间相关系数（SC）以及光谱角映射（SAM）等客观指标，并结合视觉判读进行主观效果评估。

首先，我们详细阐述了数据预处理流程。实验数据选自Landsat-8Level-2光学影像和Sentinel-1AInterferometricWideswath（IW）雷达影像，覆盖区域包括中国东部某典型城市（A区域）和中部某农业区（B区域）。A区域包含密集的城市建筑、道路网络和植被，具有高空间分辨率需求；B区域以农田、林地和水体为主，需要兼顾光谱细节与全天候观测能力。数据预处理首先通过辐射定标将DN值转换为辐亮度值，再通过大气校正模型（如FLAASH）去除大气影响，得到地表反射率图像。对于雷达数据，采用RCS（后向散射系数）进行归一化，并通过多视处理和斑点噪声抑制算法提升图像质量。几何精校正采用基于GCP（地面控制点）的RPC（参考平面）模型进行，确保光学与雷达图像的地理配准精度优于1个像素。为了构建训练与测试数据集，我们将A区域和B区域图像分别裁剪为30×30像素的块，按照8:2的比例划分为训练集和测试集。在训练集中，每个图像块包含对应的多模态输入图像对，以及对应的地面真实高分辨率图像。测试集中仅包含多模态输入图像对，用于评估重建效果。

接着，我们深入设计了特征提取与融合模块。该模块的核心是MSFNet，它基于改进的EDSR结构，通过多尺度残差学习网络提取图像的多层次特征。具体而言，MSFNet的编码器部分采用多组卷积层和残差块，每组残差块包含一个3×3的卷积核、批量归一化层和ReLU激活函数，并通过跳跃连接将低层特征直接传递到高层，实现跨尺度特征融合。为了增强对多模态特征差异的适应性，我们在MSFNet的编码器末端设计了模态适配层，通过两个并行的1×1卷积核分别处理光学和雷达模态的特征图，调整其通道数与空间感受野，使不同模态特征进入融合阶段前具有更一致的表示。多模态注意力机制（AM）是本研究的创新点，它由三个子模块构成：通道注意力模块（CAM）用于评估每个通道的重要性，空间注意力模块（SAM）用于强调图像中关键区域的像素位置，模态交互注意力模块（MIAM）则用于自适应地融合不同模态特征。CAM通过全局平均池化和最大池化提取通道统计信息，并通过Sigmoid函数生成权重图；SAM通过双线性池化操作生成空间权重图；MIAM则利用两个模态特征图之间的互相关性计算融合权重。融合过程中，AM模块将CAM和SAM的权重进行元素级乘积，得到最终的多模态特征融合图，该图既保留了各模态的关键信息，又通过注意力机制抑制了冗余和噪声。

细节增强模块基于IOA进行像素级优化。IOA是一种迭代优化算法，通过在重建过程中引入预测误差项，逐步修正像素值，实现细节的精细化恢复。具体而言，我们定义了以下优化目标：

minI^recon=||I^gt-I^recon||^2+λ1||∇I^recon-∇I^gt||^2+λ2||F(I^recon)-F(I^gt)||^2

其中，I^gt为地面真实高分辨率图像，I^recon为当前重建图像，∇表示梯度算子，F代表MSFNet提取的特征图，λ1和λ2为正则化参数。第一项是L2范数误差项，用于最小化重建图像与地面真实图像之间的像素差异；第二项是总变分（TV）正则化项，用于平滑纹理细节，防止过拟合；第三项是基于特征的损失项，利用MSFNet提取的特征图进行更细粒度的差异衡量。通过梯度下降算法迭代求解该目标函数，逐步更新像素值，直至收敛。IOA模块与MSFNet和AM模块级联，构成完整的特征提取、融合与增强流程。

后处理模块对最终结果进行轻微的平滑与锐化。由于深度学习超分辨率模型可能产生振铃效应或伪影，我们采用双三次插值进行全局平滑，然后通过高斯模糊和拉普拉斯算子进行局部锐化，最后将重建图像与原始低分辨率图像进行加权融合，得到最终输出。为了确保结果的无缝拼接，不同区域的重叠部分进行了渐进式过渡处理。

实验部分，我们首先在A区域和B区域分别进行了消融实验，验证各模块的有效性。消融实验包括：1）仅使用MSFNet进行单模态超分辨率，对比不同网络深度与残差块数量对结果的影响；2）仅使用AM模块进行多模态特征融合，评估注意力机制对融合效果的提升；3）仅使用IOA进行细节增强，验证迭代优化算法对像素级优化的作用。结果表明，各模块的引入均显著提升了重建效果，其中MSFNet和AM模块的贡献最为突出，IOA模块则进一步优化了细节质量。随后，我们将M3F-ISR与EDSR、RCAN等传统超分辨率方法以及FCF、AMF等单一模态融合策略进行了对比。客观指标方面，M3F-ISR在A区域和B区域的PSNR、SSIM和SC指标上均显著优于其他方法，分别提升了2.3dB、0.15和0.08。具体数据如下表所示（此处省略表格）。

此外，我们还进行了光谱保真度评估。由于本研究融合了光学与雷达数据，光谱信息的保真度成为一个重要考量。我们采用SAM指标评估重建图像与地面真实图像在光谱空间中的相似性。结果表明，M3F-ISR的SAM值均高于其他方法，说明该方法在提升空间分辨率的同时，能够有效保留光谱信息。视觉判读结果也显示，M3F-ISR重建图像的细节更丰富、纹理更清晰，地物分类边界更准确，尤其是在城市建筑和农田区域。例如，在A区域，M3F-ISR能够清晰地分辨出建筑物之间的缝隙和道路网络，而传统方法则表现为模糊的块状区域；在B区域，M3F-ISR能够更准确地分割出不同类型的农田和水体，而其他方法则存在明显的边界模糊和地物混淆现象。

为了进一步分析融合策略对超分辨率结果的影响，我们进行了敏感性实验。实验中，我们改变了AM模块中MIAM的融合权重分配策略，观察其对最终结果的影响。结果表明，当融合权重根据图像块的局部内容动态调整时，重建效果显著优于固定权重或简单平均权重的情况。这表明，多模态融合超分辨率需要考虑场景适应性和地物类型差异，才能实现最优融合。

通过上述实验，我们可以得出以下结论：1）多模态融合超分辨率技术能够有效结合不同模态图像的优势信息，实现高分辨率、高保真度的图像重建；2）MSFNet、AM和IOA模块的集成能够显著提升重建效果，特别是在空间分辨率、光谱保真度和细节增强方面；3）多模态融合策略需要根据场景适应性进行调整，才能实现最优结果。然而，本研究仍存在一些局限性。首先，实验数据集规模有限，未来需要构建更大规模、更多样化的多模态遥感图像数据集进行验证；其次，模型复杂度较高，训练时间较长，未来需要探索更轻量级的网络结构；最后，本研究主要关注空间分辨率提升，未来可以进一步结合光谱信息进行多模态融合超分辨率的扩展研究。尽管存在这些局限性，本研究为多模态遥感图像超分辨率融合提供了新的技术路径，并为后续研究提供了重要参考。

六.结论与展望

本研究围绕多模态卫星遥感图像超分辨率融合问题，提出了一种基于深度学习的融合框架M3F-ISR，旨在有效结合不同模态（如光学与雷达）图像的优势信息，实现高分辨率、高保真度的图像重建。通过对A区域和B区域的多模态遥感图像进行实验验证，并与传统超分辨率方法及单一模态融合策略进行对比，本研究取得了以下主要结论：

首先，多模态融合策略能够显著提升超分辨率重建效果。实验结果表明，M3F-ISR在空间分辨率、光谱保真度及细节增强方面均优于传统单一模态超分辨率方法（如EDSR、RCAN）及单一模态融合策略（如特征级联融合、基于注意力门控的融合）。具体而言，在客观指标上，M3F-ISR在A区域和B区域的PSNR、SSIM和SC指标上均显著优于其他方法，分别提升了2.3dB、0.15和0.08。这表明，通过融合不同模态图像的信息，可以有效弥补单一模态图像的局限性，获得更全面、更可靠的高分辨率表示。例如，光学图像提供高分辨率的地物纹理信息，而雷达图像则能在恶劣天气条件下获取全天候数据，热红外图像则有助于区分不同地物的热特性。将多模态数据融合应用于超分辨率任务，理论上能够构建更具信息冗余和鲁棒性的高分辨率表示，克服单一模态数据在分辨率提升过程中的瓶颈。

其次，MSFNet、AM和IOA模块的集成能够显著提升重建效果。MSFNet通过多尺度残差学习网络提取图像的多层次特征，并通过模态适配层增强对多模态特征差异的适应性。AM模块通过通道注意力、空间注意力和模态交互注意力机制，自适应地融合不同模态特征，实现信息的深度融合。IOA模块通过迭代优化算法进一步细化像素值，提升重建图像的纹理清晰度。消融实验结果表明，各模块的引入均显著提升了重建效果，其中MSFNet和AM模块的贡献最为突出，IOA模块则进一步优化了细节质量。这表明，所提框架的各模块设计合理，能够有效提升多模态融合超分辨率的效果。

再次，多模态融合策略需要根据场景适应性进行调整。敏感性实验结果表明，当融合权重根据图像块的局部内容动态调整时，重建效果显著优于固定权重或简单平均权重的情况。这表明，多模态融合超分辨率需要考虑场景适应性和地物类型差异，才能实现最优融合。例如，在城市区域，光学图像的纹理细节更为重要，而雷达图像的穿透能力则有助于获取地下设施的隐式信息；在农业区域，热红外图像的地物热特性差异更为重要，而光学图像的光谱信息则有助于区分不同类型的农作物。因此，多模态融合策略需要根据不同的应用场景和地物类型进行调整，才能实现最优结果。

本研究为多模态遥感图像超分辨率融合提供了新的技术路径，并为后续研究提供了重要参考。然而，本研究仍存在一些局限性，需要在未来进行进一步研究：

首先，实验数据集规模有限，未来需要构建更大规模、更多样化的多模态遥感图像数据集进行验证。本研究主要使用了Landsat-8光学图像和Sentinel-1A雷达图像，未来可以进一步融合热红外、高分辨率光学图像等其他模态数据，构建更全面的多模态遥感图像数据集。此外，还需要收集更多不同地理区域、不同地物类型、不同成像条件下的多模态遥感图像，以验证模型的泛化能力。

其次，模型复杂度较高，训练时间较长，未来需要探索更轻量级的网络结构。本研究提出的M3F-ISR框架包含多个模块，网络结构较为复杂，训练时间较长。未来可以探索更轻量级的网络结构，如MobileNet、ShuffleNet等，以降低模型的计算复杂度，提高训练效率。此外，还可以探索模型压缩、量化等技术，以进一步降低模型的存储和计算需求，使其更易于在实际应用中部署。

再次，本研究主要关注空间分辨率提升，未来可以进一步结合光谱信息进行多模态融合超分辨率的扩展研究。本研究主要关注空间分辨率的提升，未来可以进一步结合光谱信息进行多模态融合超分辨率的研究。例如，可以将多模态融合超分辨率技术与其他遥感图像处理技术（如分类、变化检测、三维重建等）相结合，实现更高层次的信息提取与知识发现。此外，还可以探索基于多模态融合超分辨率技术的遥感图像时间序列分析，以研究地物的动态变化规律。

最后，本研究主要关注静态图像的超分辨率重建，未来可以探索动态场景下的多模态融合超分辨率技术。随着无人机、高分辨率卫星等平台的快速发展，动态场景下的遥感图像获取变得越来越容易。然而，动态场景中的地物运动、光照变化等因素会对图像质量造成严重影响，给超分辨率重建带来更大的挑战。未来可以探索基于多模态融合的超分辨率技术，以处理动态场景中的遥感图像，提高动态场景下的信息提取能力。

总之，多模态遥感图像超分辨率融合技术具有重要的理论意义和应用价值，未来还有很大的发展空间。通过不断探索新的融合策略、网络结构和应用场景，多模态遥感图像超分辨率融合技术将会在资源监测、环境保护、灾害评估、城市规划等领域发挥更大的作用。

七.参考文献

[1]Chao,L.V.,&Manjunath,B.S.(1996).Nonlinearmethodsforhigh-resolutionreconstructionfrommultiscaledecompositions.InProceedingsofthe1996IEEEconferenceoncomputervisionandpatternrecognition(pp.1307-1314).

[2]Dong,C.,Loy,C.C.,&He,K.(2014).Learningadeepconvolutionalnetworkforveryhigh-resolutionimagesuper-resolution.InAsianconferenceoncomputervision(pp.438-448).Springer,Cham.

[3]Elazary,L.,Zibulevsky,M.,&Sharon,E.(2017).Physics-baseddeeplearningforhigh-resolutionremotesensingimagery.In2017IEEEinternationalconferenceoncomputervision(ICCV)(pp.2772-2781).IEEE.

[4]Epshtein,I.,&Shashua,A.(2010,September).Scale-awareneuralnetworksforfastsuper-resolution.In2010IEEEconferenceoncomputervisionandpatternrecognition(CVPR)(pp.693-700).IEEE.

[5]Fan,X.,Long,M.,&Zhang,C.(2018).Fusionofmulti-modalityremotesensingimagesbasedondeepneuralnetworks.IEEETransactionsonGeoscienceandRemoteSensing,56(10),5691-5705.

[6]Gazit,E.,&Brandt,A.(2006).Super-resolutionreconstructionviasparserepresentationandaBayesianformulation.IEEETransactionsonImageProcessing,15(3),939-949.

[7]Gkioxari,G.,&Shashua,A.(2007).Learningtoinferdepthfromsingleimagesviasparsecoding.In2007IEEEconferenceoncomputervisionandpatternrecognition(CVPR)(pp.1-8).IEEE.

[8]He,K.,Zhang,X.,Ren,S.,&Sun,J.(2016).Deepresiduallearningforimagerecognition.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.770-778).

[9]Hoi,S.C.,&Leong,H.V.(2008).Multi-modalremotesensingimagefusionbasedondictionarylearning.In2008IEEEinternationalgeoscienceandremotesensingsymposium(IGARSS)(pp.716-719).IEEE.

[10]Huang,G.,Liu,Z.,vanderMaaten,L.,&Weinberger,K.Q.(2017).Denselyconnectedconvolutionalnetworks.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.4700-4708).

[11]Ji,S.,Xu,W.,Yang,M.,&Yu,K.(2013).3Dconvolutionalneuralnetworksforhumanactionrecognition.In2013IEEEconferenceoncomputervisionandpatternrecognition(CVPR)(pp.92-99).IEEE.

[12]Kim,J.,Kweon,I.S.,&Lee,Y.(2009).Super-resolutionreconstructionofsingleimagesusingastatisticalmodelofnaturalimages.IEEETransactionsonPatternAnalysisandMachineIntelligence,31(2),164-177.

[13]Kriss,J.F.,&Katsaggelos,A.K.(2007).Super-resolutionreconstructionusingarobustmaximumlikelihoodapproach.IEEETransactionsonImageProcessing,16(11),2808-2821.

[14]Ledig,C.,Theis,L.,Huszar,F.,Caballero,J.,Cunningham,A.,Acosta,A.,...&Totz,J.(2017).Photo-realisticsingleimagesuper-resolutionusingagenerativeadversarialnetwork.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.4632-4640).

[15]Li,L.,Zhang,W.,Wang,Y.,&Zhang,J.(2019).Remotesensingimagesuper-resolutionbasedondeeplearning:Asurvey.IEEETransactionsonGeoscienceandRemoteSensing,57(10),5508-5522.

[16]Long,M.,Wang,J.,&Yu,P.S.(2015).Learningtransferablefeaturesfrommaximummarginestimation.InAdvancesinneuralinformationprocessingsystems(pp.2177-2185).

[17]Lucchi,A.,Vedaldi,A.,&Soatto,S.(2010).Geodesichashingforfastimagerecognition.In2010IEEEconferenceoncomputervisionandpatternrecognition(CVPR)(pp.2168-2175).IEEE.

[18]Newcombe,R.A.,Izadi,S.,Hilliges,O.,Molyneaux,D.,Kim,D.,Davison,A.J.,...&Fitzgibbon,A.(2011).KinectFusion:Real-timedensesurfacemappingandtracking.InISMAR(pp.73-82).Springer,Berlin,Heidelberg.

[19]Noh,H.,Chu,W.,&Yoo,Y.(2016).Deepconvolutionalnetworksforremotesensingimagesuper-resolution:Areview.arXivpreprintarXiv:1610.02357.

[20]Ou,X.,Wang,Z.,Qiu,J.,&Hoi,S.C.(2017).Multi-modalremotesensingimagefusionbasedondeeplearning.In2017IEEEinternationalgeoscienceandremotesensingsymposium(IGARSS)(pp.4454-4457).IEEE.

[21]Pan,C.,Shao,L.,Chen,X.,&Zhang,D.(2016).Deeplearningbasedremotesensingimagesuper-resolution:Areview.ISPRSJournalofPhotogrammetryandRemoteSensing,115,60-79.

[22]Perona,P.,&Malik,J.(1990).Scale-spaceandedgedetectionusinganisotropicdiffusion.InProceedingsofthe1990IEEEconferenceoncomputervisionandpatternrecognition(pp.828-835).IEEE.

[23]Qi,C.R.,Su,H.,Mo,K.,&Guibas,L.J.(2017).PointNet:Deeplearningonpointsetsfor3Dclassificationandsegmentation.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.15-23).

[24]Ren,S.,He,K.,Girshick,R.,&Sun,J.(2015).Fasterr-cnn:Towardsreal-timeobjectdetectionwithregionproposalnetworks.InAdvancesinneuralinformationprocessingsystems(pp.91-99).

[25]Romdhani,S.,Tosi,L.,&Alberghina,A.(2011).Areviewofsuper-resolutionimagereconstructiontechniques.SignalProcessing,91(1),199-218.

[26]邵文博,张晓宇,舒英杰,&李德仁.(2018).基于深度学习的遥感图像超分辨率研究进展.遥感学报,32(1),1-15.

[27]Ulyanov,V.V.,Shashua,A.,&Meron,E.(2003).Imagesuper-resolutionviamaximizationofedgecoherence.In2003IEEEinternationalconferenceoncomputervision(ICCV)(pp.941-948).IEEE.

[28]Wang,Z.,Pan,C.,Gao,W.,&Shao,L.(2018).Multi-scalefeaturefusionnetworkforremotesensingimagesuper-resolution.IEEETransactionsonGeoscienceandRemoteSensing,56(8),4590-4603.

[29]Wang,Z.,Zhang,D.,Pan,C.,&Shao,L.(2019).Multi-modalremotesensingimagefusionbasedondeepfeaturefusionandattentionmechanism.ISPRSJournalofPhotogrammetryandRemoteSensing,157,253-266.

[30]Xiang,T.,Tu,Z.,&Zhang,L.(2015).Learningdeepfeaturesfordiscriminativelocalization.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.4709-4717).IEEE.

[31]Yang,Z.,Zhang,L.,Zhang,H.,&Huang,T.S.(2010).Super-resolutionviasparserepresentation.IEEETransactionsonImageProcessing,19(11),2861-2873.

[32]Ye,J.,&Zhang,B.(2009).Multichannelcompressedsensing.IEEETransactionsonInformationTheory,55(5),2427-2442.

八.致谢

本研究得以顺利完成，离不开众多师长、同学、朋友以及相关机构的支持与帮助。首先，我要衷心感谢我的导师XXX教