CN119399082B 基于时谱域融合与时序自注意力增强的遥感云层修复方法 （南京信息工程大学）

基于时谱域融合与时序自注意力增强的遥本发明公开了基于时谱域融合与时序自注取器、ConformerPlus模块和云检测模块，且ConformerPlus模块中嵌入有新多头自注意力机2构建自适应图像修复模块，将初步处理的遥感缺失构建多尺度模块鉴别器，将修复图像和遥感缺失图像使用co使用峰值信噪比和结构相似性指数作为定量评估指标对生成器、自适应图像修复模2.根据权利要求1所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法，三个特征表示均被concat层相互融合起来得到三个并列的特征表示式中FiarFiasFias分别被传递到单个编码器管道，编码器分别对FiarFiasFias3.根据权利要求2所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法，34.根据权利要求3所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法，其特征在于：所述ConformerPlus模块用于对多尺度特征进行增强以捕捉复杂的上下文关其中新多头自注意力模块基于Conformer模块的基础上设计，且新多头自注意力模块ConformerPlus模块将新多头自注意力模块与卷积层嵌入到两个前馈神经网络之间用于提升模型的性能和鲁棒性，其中前馈神经网络包含两个线性变换和一个非线性激活函5.根据权利要求4所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法，46.根据权利要求5所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法，所述自适应图像修复模块包括随机噪声消除模块和局部对比增强局部对比增强模块用于提取高级特征，在处理时局7.根据权利要求6所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法，8.根据权利要求7所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法，式中L是总损失函数，表示对生成器和自适应图像修复模块参数的最小化操作，""是梯度惩罚系数，L1(GP)表示l1的范数损失，Lmask为云掩码损失，l1是云掩码计算的损5Eg和Eg分别表示对真实数据和生成数据的期望，D(xg,y)是判别器对真实数据的输出，GP(x.)是生成器和自适应图像式中c、w、H分别表示通道数、宽度和高，是真实数据在坐标(e,w,h)处的像素，GP(x)ewh表示生成的输出图像在坐标(e,w,h)处的像素；9.根据权利要求8所述的基于时谱域融合与时序自注意力增强的遥感云层修复方法，,分别为的平均值；o:和O,分别为y,10.一种基于时谱域融合与时序自注意力增强的遥感云层修复系统，用于实现权利要6判定单元，用于构建多尺度模块鉴别器，将修评估单元，用于使用峰值信噪比和结构相似性指数作为定量评估指标修复输出单元，用于保存经过训练后的整体网络模型，7[0004]本发明的目的在于提供基于时谱域融合与时序自注意力增强的遥感云层修复方8[0017]三个特征表示均被concat层相互融合起来得到三个并列的特征表FiareFiasFia进行编码，并通过Concat层融合编码器输出的特征表示，对图像进[0020]进一步地，所述特征提取器用于对遥感缺失图像进行时9[0027]进一步地，所述ConformerPlus模块用于对多尺度特征进行增强以捕捉复杂的上下文关系，所述ConformerPlus模块融合了卷积神经网络、新多头自注意力模块与[0028]其中新多头自注意力模块基于Conformer模块的基础上设计，且新多头自注意力[0029]ConformerPlus模块将新多头自注意力模块与卷积层嵌入到两个前馈神经网络之[0048]式中L是总损失函数，表示对生成器和自适应图像修复模块参数的最小化操ACP是梯度惩罚系数，L1(GP)表示l1的范数损失，Lmask为云掩码损失，l1是云掩码计算的Eg和分别表示对真实数据和生成数据的期望，D(xg,y)是判别器对真实数据的输出，GP(x.)是生成器和自适应[0054]式中c、w、H分别表示通道数、宽度和高，是真实数据在坐标(e,w,h)处的像素，GP(x)ewh表示生成的输出图像在坐标(e,w,h)处的像素；K,和,分别为的平均值；o:和O,分,连接并输入多尺度模块鉴别器以对修复图像进[0071]评估单元，用于使用峰值信噪比和结构相似性指数作为定量评估指标对生成器、[0084]图8为本发明实施例Sen2_MTC云数据集上TGAN和TSGAN在图像去云任务上的可视处理，其中生成器包括特征提取器(FeatureExtractor，FE)、ConformerPlus模块[0092]输入图像首先通过特征提取模块TempSA进行处理，提取出三个特征表示[0094]三个特征表示均被concat层相互融合起来得到三个并列的特征表FiareFiasFia进行编码，并通过Concat层融合编码器输出的特征表示，对图像进[0098]该特征提取器首先通过一维线性变换层对图像数据的时序维度与光谱维度特征编码器的Transformer模型，其中通过残差连接和归一化操作增强特征的稳定性与传递效捉能力，进而引导模型实现从外向内的递进式云层去除，优化整体修复效果；中前馈网络包含两个线性变换和一个非线性激活函数，全局特征提取网络由个融合了yi的信息和经过多头注意力机制提取出的特征信息，是一个含注意力特征的融合分析图像特征，生成对应的云掩模（cloudmask以明确标识云覆盖区域和潜在信息缺失策略不仅能够有效引导生成器优化模型训练，还提高了在无云区域的重建精度，从而增强了生成器在复杂场景下的泛化能力；步处理的遥感缺失图像输入自适应图像修复模块进行进一步处理，得到修复后的图像数[0105]自适应图像修复模块包括随机噪声消除模块（RandomNoiseRemovalModule，RNRM）和局部对比增强模块（LocalCo和遥感缺失图像使用concat连接并输入多尺度模块鉴别器以对修[0110]多尺度模块鉴别器架构如图7所示；多尺度模块鉴别器通过将输入数据依次通过并结合LeakyReLU激活函数以引入非线性特性；特征图的维度采用H×W×C（图像高度[0116]式中L是总损失函数，表示对生成器和自适应图像修复模块参数的最小化操Eg和ECX分别表示对真实数据和生成数据的期望，D(xg,y)是判别器对真实数据的输出，GP(x.)是生成器和自适应图像修复模[0122]式中c、w、H分别表示通道数、宽度和高，是真实数据在坐标(e,w,h)处的像素，GP(x)ewh表示生成的输出图像在坐标(e,w,h)处的像素；,为这些图像代表了不同的地理区域和天别为21.259和18.308，而本实施例的TGAN模型在PSNR上实现了验证集和测试集分别提升统，用于实现实施例一描述的基于时谱域融合与时序自注意力增强的遥感云层修复方法，连接并输入多尺度模块鉴别器以对修复图像进[0156]评估单元，用于使用峰值信噪比和结构相似性指数作为定量评估指标对生成器、理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器