CN119444622A 多特征融合的红外船舶图像修复方法、装置、设备及介质 （中南大学）

多特征融合的红外船舶图像修复方法、装本申请公开了一种多特征融合的红外船舶输入卷积神经网络模型对第一图像数据进行修2获取第一图像数据和真实图像数据，所述第一图像数据为将融合特征输入卷积神经网络模型对所述第一图像数据进行修复，获得第二图像数根据所述第二图像数据与所述真实图像数据，获得重建损失函根据所述重建损失函数对所述卷积神经网络模型进行优化，获得红外根据所述红外船舶图像修复模型对红外船舶所述根据所述重建损失函数对所述卷积神经网络模型进行优化，根据所述手工特征向量和所述深度特征向量进行协作学习计算，根据所述总损失函数对所述卷积神经网络模型进行优化，获得红外船舶图像修复模所述根据所述重建损失函数对所述卷积神经网络模型进行优化，根据所述手工特征向量和所述深度特征向量进行贡献分配计算，根据所述手工特征权重值、所述深度特征权重值、所述手工损失根据所述总损失函数对所述卷积神经网络模型进行优化，获得红外船舶图像修复模所述根据所述重建损失函数对所述卷积神经网络模型进行优化，3根据所述手工特征向量和所述深度特征向量进行协作学习计算，根据所述手工特征向量和所述深度特征向量进行贡献分配计算，根据所述手工特征权重值、所述深度特征权重值、所述手工损失根据所述重建损失函数、所述信息匹配损失函数和所述特根据所述总损失函数对所述卷积神经网络模型进行优化，获得红外船舶图像修复模通过至少两种手工特征提取算子对所述第一图像数据进行手工特征提取将融合特征经过卷积神经网络模型的空间Dropout层和注意力层处理生成融合特征将融合特征表示送入卷积神经网络模型的解码器对第一图像数据进行数据获取模块，用于获取第一图像数据和真实图像数据，所特征融合模块，用于将所述手工特征数据与所述深度特第一修复模块，用于将融合特征输入卷积神经网络模型对所述第一图像数据进行修所述重建损失函数用于表示修复后的图像与真实图像之间模型优化模块，用于根据所述重建损失函数对所述卷积神经网络模4所述处理器执行所述计算机程序指令时实现如权利要求1_7任意一项所述的多特征融程序指令，所述计算机程序指令被处理器执行时实现如权利要求1_7任意一项所述的多特5[0001]本申请涉及图像修复领域，特别涉及一种多特征融合的红外船舶图像修复方法、[0002]红外成像技术因其在低光照和复杂气象条件下的出色表现，受到广泛关注和应获取第一图像数据和真实图像数据，所述第一图像数据为受损的红外船舶图像，6根据所述红外船舶图像修复模型对红外船舶[0009]根据本申请的一些实施例，所述手工特征数据包括手工特征向量和手工损失函[0010]根据本申请的一些实施例，所述手工特征数据包括手工特征向量和手工损失函7数据包括至少两种与手工特征提取算子一一对应的将融合特征经过卷积神经网络模型的空间Dropout层和注意力层处理生成融合模型优化模块，用于根据所述重建损失函数对所述卷积神经网络模型进行优化，所述处理器执行所述计算机程序指令时实现如第一方面所述的多特征融合的红8图1为本申请提供的多特征融合的红外船舶图像修复方法的实施例的流程示意[0020]下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更[0023]图1示出了本申请实施例提供的多特征融合的红外船舶图像修复方法的流程示意9种或者两种以上的特征提取算子对第一图像数据进行手工特征提取。进行手工特征提取;通过深度卷积神经网络模型进行深度特征提取，深度特征数据指的是深度特征的相关数;[0036]上述步骤S105中，将融合特征输入卷积神经网络模型对将融合后的特征送入U_Net的解码器进行图像修复，其中U_Net结构的编码器部分集成了通过重建损失函数来衡量进行初步修复后的图像和真实图像;根据重建损失函数对卷积神经网络模型进行优化，获得红外船舶图像修复模型，;[0046]应能理解的是，除了KL散度算法以外，还可以采用Hellinger距离、Jensen_Shannon散度或其他相关算法来计算各手工特征与;上述根据总损失函数对卷积神经网络模型进行优化，获得红外船舶图像修复模型，指的是根据重建损失函数和信息匹配损失根据重建损失函数对卷积神经网络模型进行优化，获得红外船舶图像修复模型，首先拼接深度特征向量fa和手工特征向量得到特征图F，通过通道注意力;上述根据总损失函数对卷积神经网络模型进行优化，获得红外船舶图像修复模型，指的是根据重建损失函数和特征加权损失函数相加得到的总根据重建损失函数对卷积神经网络模型进行优化，获得红外船舶图像修复模型，;[0068]在一些实施方式中，将融合特征输入卷积神经网络模型对第一图像数据进行修将融合特征经过卷积神经网络模型的空间Dropout层和注意力层处理生成融合将给定的受损红外图像和真实图像进行预处理，转化为灰度图像作为图像数据。提取出的特征进行维度统一操作并以文件形;将图像数据对应的n个手工特征数据作为手工特征编码器的输入，并通过手工特向量得到特征图，通过通道注意力机制对深度特征过空间Dropout层和注意力层处理生成融合特征表示，将融合后的特征送入U_Net的解特征融合模块204，用于将手工特征数据与深度特征数据进行融合，获得融合特第一修复模块205，用于将融合特征输入卷积神经网络模型对第一图像数据进行重建损失函数用于表示修复后的图像与真实图[0074]本申请实施例的多特征融合的红外船舶图像修复装置200用于执行上述实施例中（ApplicationSpecificIntegratedCircuit，ASIC或者可以被配置成实施本申请实施例的一个或多个集成电路。[0083]总线310包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一机程序指令被处理器执行时实现上述实施例中的任意一种多特征融合的红外船舶图像修[0085]需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对