CN115829876B 一种基于交叉注意力机制的真实退化图像盲修复方法 （南京邮电大学）

一种基于交叉注意力机制的真实退化图像是一种基于交叉注意力机制的真实退化图像盲征图的空间特征与潜在编码的语义特征的相关建图像忠实度不高和纹理细节不够丰富这个关2步骤3：使用U_Net中的编码器，对输入的图像进行潜在编步骤6：把经过步骤5优化后的潜码作为输入送入预训练Styl中多尺度特征图嵌入到StyleGAN2生成过程的对应生成层中，实现对预训练生成器潜在空2.根据权利要求1所述的基于交叉注意力机制的真实退化图像盲修复方法，其特征在于，所述步骤1中的用于训练的模糊数据集是使用不同种类的退化方式进行混合组合来生3.根据权利要求1所述的基于交叉注意力机制的真实退化图像盲修复方法，其特征在4.根据权利要求3所述的基于交叉注意力机制的真实退化图像盲修复方法，其特征在5.根据权利要求4所述的基于交叉注意力机制的真实退化图像盲修复方法，其特征在于，所述步骤5中对步骤3和4中生成的初步16*512维潜在编码和8*8*256_512*512*16多尺6.根据权利要求5所述的基于交叉注意力机制的真实退化图像盲修复方法，其特征在37.根据权利要求6所述的基于交叉注意力机制的真实退化图像盲修复方法，其特征在于，所述步骤6中的预训练StyleGAN2的输入为步骤5中优化后的16*512维潜在编码，且在StyleGAN2生成过程中嵌入的8*8*256_512*512*16多尺度特征图为步骤4中经过尺度和平8.根据权利要求7所述的基于交叉注意力机制的真实退化图像盲修复方法，其特征在为ReLU激活函数的平滑近似法，用于限制输出永远为正，其中Lfft频率域损失函数定义如Ltotal=λperLper+λmseLmse+λadvLadv+λfftLfft4perpermsemseperpermsemse56送入步骤7训练好的模型进行盲修复以得到高质量且忠实度高qq[0020]本发明的进一步改进，步骤4中生成的多分辨率尺度特征图都进行了尺度和平移7wf都[0028]本发明的进一步改进，步骤7中对输入图像的GT和重建图像进行损失函数进行组VGG_19网络，在实验中选择未经过LeakyReLU激活函数的conv1_2、conv2_2、conv3_2至[0034]上述为对抗性损失函数，代表对重建图像进行编码映射的公式缩写，D为8[0037]Ltotal=λpe域的FFT损失函数来增强模型对高频特征信息的关注，让重建图像的纹理和局部细节更加[0044]为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描qq[0053]在上述步骤3和步骤4中U_Net的编、解码器中每一编、解码块层都为残差连接结9最终生成的潜在编码维度为16*512；步骤4中生成的多分辨率尺度特征图都进行了尺度和[0054]步骤5：对步骤3和步骤4中生成的初步16*512维潜在编码和8*8*256_512*512*16空间的嵌入扩展，然后得到重建的图像：预训练StyleGAN2的输入为步骤5中优化后的16*VGG_19网络，在实验中选择未经过LeakyReLU激活函数的conv1_2、conv2_2、conv3_2至[0067]在上述对抗性损失函数中，代表对重建图像进行编码映射的公式缩写，D为[0070]Ltotal=λpeperpermsemseadvadvperpermsemseadvadv送入步骤7训练好的模型进行盲修复以得到高质量且忠实度高眼角皱纹与嘴部形状，本发明的重建图像比GFPGAN在上述高频细节区域的生成质量更优[0074]在上述实施例中，图1中编解码器内部使用类似的残差连接操作或者使用3中的多尺度特征图嵌入中，对通道分割操作加上通道注意力机制或其他操作来达到最佳