CN116310634B 面向多源遥感数据的融合图像模型训练方法、生成方法及装置 （北京邮电大学）

面向多源遥感数据的融合图像模型训练方本发明提供一种面向多源遥感数据的融合2获取多源遥感数据集，所述多源遥感数据集中包含多个数据条，孔径雷达图像的通道数经复制与所述可见光图像的通获取初始融合图像模型和判别器；所述初始融合图像模型包括将预设批数量个数据条的所述合成孔径雷达图像输入所述双流网络的第一条支路以将所述合成孔径雷达图像特征图和所述可见光图像特征图输入所述将各数据条中的合成孔径雷达图像与对应生成的融合图像拼接为非所述图像特征图从局部到整体的预设数量个不同程度感受野的特征，输入下一个卷积块；Si表示第i层的步长。3在所述合成孔径雷达图像特征图的特征处理中，将基于所述第TT表示转置。用特征层将所述合成孔径雷达图像特征图和所述可见光图像特征图提取得到的特征进行其中，g表示卷积操作；AttentionS表示所述合成孔径雷达图AttentionH表示所述可见光图像特征图融述判别器的输出结果通过预设Sigmoid层生成融合图像真实性的判4F表示所述融合图像；将所述生成对抗损失、所述平均绝对误差损失和所述纹理GAN获取待融合的基于预设配准算法生成的在同一时间下同一区域的合成孔径雷达图像将所述合成孔径雷达图像和所述可见光图像输入如权利要求1至8中任一项所述面向5[0003]以合成孔径雷达图像(SAR图像)和可见光图像两种多源遥感数据的融合为例，现[0004]鉴于此，本发明实施例提供了一种面向多源遥感数据的融合图像模型训练方法、合成孔径雷达图像的通道数经复制与所述可见光图像的6[0008]将预设批数量个数据条的所述合成孔径雷达图像输入所述双流网络的第一条支[0009]将所述合成孔径雷达图像特征图和所述可见光图像特征图输入所述特征融合模分别构建所述生成器和所述判别器的损失函数，训练得到满足预设性能的生成器和判别预设数量个卷积层提取并叠加所述图像特征图从局部到整体的预设数量个不同程度感受Si表示第i层的步长。[0017]利用预设卷积层压缩所述合成孔径雷达图像特征图或可见光图像特征图的通道7和修正线性单元激活层；所述判别器的输出结果通过预设Sigmoid层生成融合图像真实性OPT)表示将所述真实图像(ISAR，IOPT)输入所述判别器得到的判别结F表示所述融合图像。8GLCM[0044]获取待融合的基于预设配准算法生成的在同一时间下同一区域的合成孔径雷达[0045]将所述合成孔径雷达图像和所述可见光图像输入如上文中任一项所述面向多源序被处理器执行时实现如上文中提及的任意[0048]本发明提供一种面向多源遥感数据的融合图像模型训练于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获9[0052]图1为本发明一实施例中面向多源遥感数据的融合图像模型训练方法的步骤示意[0054]图3为本发明一实施例中参数独立的双流网络、参数一致的暹罗网络以及伪对称[0057]图6为本发明一实施例中核权重自适应优化模块的自适应卷积核更新算法流程[0059]图8为本发明一实施例中融合图像生成模块与判别器构建的条件生成对抗网络结示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大[0065]这里需要强调的是，在下文中提及的各步骤标记并不是对各步骤先后顺序的限条包括基于预设配准算法生成的在同一时间下同一区域的合成孔径雷达图像和可见光图[0071]合成孔径雷达图像是由合成孔径雷达传感器主动发射微波并接收回波产生的二下文信息，则需要更大的接受域。对于标准的卷积神经网络(ConvolutionalNeuralNetwork，CNN)来说，传统的扩展接受域的方法是使用更大的卷积核大小堆叠更多的卷积积块处理得到的图像特征图输入多感受野特征提取模块，采用并行的3个卷积层提取图像C3与G_C4以及G_C4与G_C5之间设置多感过程中可以提升专家数量，这比提升卷积核尺寸更为有效的可以提高网络对于样本的认[0091]如图6所示，为自适应卷积核权重更新算法的流程示意图，其中，N表示批数量[0092]将输入的预设批数量N个合成孔径雷达图像或可见光图像进行全局平均池化操适应的自适应卷积核。[0094]将得到的各输入图像的权重系数与num_experts个图像特征评判单元相关的“单in[0106]如图7所示，基于预设注意力机制的特征融合模块实现合成孔径雷达图像特征图阵QS；将从合成孔径雷达图像特征图中获取的第一查询矩阵QH用于可见光图像特征图的特[0113]最后通过特征层将合成孔径雷达图像特征图和可见光图像特征图对应的融合特AttentionH表示可见光图像特征图融[0117]融合图像生成模块根据融合特征向量生成带有合成孔径雷达图像材质信息且包[0120]在一些实施例中，判别器由6个卷积层组成，每个卷积层进行批归一化和Leaky[0127]基于以上对各模块的设计以及各结构的参数设置，对初始融合图像模型进行训F与合成孔径雷达图像别器学会区分真实图像和由生成图像构成的[0135]生成对抗损失为生成器的输出图像作为判别器输入得到灰度共生矩阵(GLCM)的纹理损失函数。构建融合图像IF和合成孔径雷达图像ISAR的灰度共[0142]采用HSV颜色模型变换提取融合图像IF的色调(HP)、饱和度(sirn)和明度分量(vi,),GLCM[0151]通过交替训练生成器和判别器，基于Adam或SDG(随机梯度下降)等深度神经网络[0154]将合成孔径雷达图像和可见光图像输入如上文中所述面向多源遥感数据的融合器执行时实现面向多源遥感数据的融合图像模型训练方法和面向多源遥感数据的融合图[0161]需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处施方式中以相同方式或以类似方式使用，