CN114581341B 一种基于深度学习的图像风格迁移方法及系统 （杭州师范大学）

ProgressiveAttentionAdaptiveNormalizationModelforStyleTransfer.一种基于深度学习的图像风格迁移方法及本发明公开一种基于深度学习的图像风格迁移方法及系统。本发明将利用AdaINRAST网络2所述风格迁移网络为卷积神经网络，采用改进自适应实例归一化实时任意风格迁移所述编码器由现有网络VGG19的前18层及AdaIN层嵌入其中组成，包括依将步骤二预处理后图像数据输入到步骤3-1搭建的风格迁移网络中进行训练；训练将2.根据权利要求1所述的一种基于深度学习网络的图像风格迁移方法，其特征在于所3.根据权利要求2所述的一种基于深度学习网络的图像风格迁移方法，其特征在于所4.根据权利要求1所述的一种基于深度学习网络的图像风格迁移方法，其特征在于所5.根据权利要求1所述的一种基于深度学习网络的图像风格迁移方法，其特征在于三3式中x1为内容图像经第一至二二维卷积单元处理后的特征，y1为风格图像经第一至二式中x2为t1经第三二维卷积单元、第一最大池化单元、第四二维卷积单元处理后的特第三AdaIN层见式(5)-(6)，将第二AdaIN层输出的风格化特征继续编码得到的特征作式中x3为t2经第五二维卷积单元、第二最大池化单元、第六二维卷积单元处理后的特6.根据权利要求1所述的一种基于深度学习网络的图像风格迁移方法，其特征在于步-t32以风格化图像和风格图像在特征层第二、四、六二维卷积单元中relu激活函数层45[0006]本发明的第一个目的是在于现有深度学习方法仍然存在当面对内容图像结构复6移AdaINRAST(ArbitraryStyleTransferinReal-timewithAdaptiveInstance[0014]所述风格迁移网络网络结构采用层数更浅的编码器-解码器结构，编码器用于将[0018]本发明提出结合卷积注意力机制与自适应归一化的轻量级纹理精细风格迁移方[0020]将迁移所需的图像数据输入到步骤3-1记载的深度学习网络中进行训练。训练将通过改进型损失函数计算网络输出的迁移图像与目标图像的损失值。通过损失值反向传7个通道的特征进行逐元素求和操作，再经过sigmoid激活函数，生成最终的通道注意力权格特征的均值与标准差代替内容特征的均值与标准差得尺度的通道维度上渐进式应用AdaIN层，用风格特征的均值与标准差代替内容特征的均值[0028]式中x1为内容图像经第一至二二维卷积单元处理后的特征，y1为8格化图像重建效果的风格损失和内容损失即是中间特征层的感知损失，这虽符合人类感-t32[0041]其中E3(T(c,s))代表用第六二维卷积单元中relu激活函数层对风格化图像T(c,9[0064]如图2风格迁移网络网络结构包括编码器、解码器。本发明所述网络改进为在多个relu层后使用AdaIN层，多次用风格特征的均值与标准差代替内容特征的均值与标准[0066]步骤一、获取内容图像与风格图像数据。数据来源为MSCOCO和WikiArt公开数据[0070]风格迁移网络为卷积神经网络，该网络为改进AdaINRAST(ArbitraryStyleTransferinReal-timewithAdaptiveInstanceNormalization)网络，用于输入内容、精细风格迁移方法替代传统自适应归一化实时任意风格迁移方法如图1，以提升风格迁移[0072]将迁移所需的图像数据输入到步骤3-1记载的深度学习网络中进行训练。训练将通过改进型损失函数计算网络输出的迁移图像与目标图像的损失值。通过损失值反向传域的权重，生成注意力图与原特征求和之后进行解码是最合理的。此外，图6是VGG19中relu1-1提取的64通道特征图可视化，可发现模型特征层每个通道保存的图像信息量是不全局平均池化，经过一系列卷积层，将两个通道的特征进行逐元素求和操作，再经过化，得到两个通道的空间特征图并进行拼接，再经过卷积层降维到一个通道，然后经过征的均值与标准差代替内容特征的均值与标准差得尺度的通道维度上渐进式应用AdaIN层，用风格特征的均值与标准差代替内容特征的均值[0080]式中x1为内容图像经第一至二二维卷积单元处理后的特征，y1为格化图像重建效果的风格损失和内容损失即是中间特征层的感知损失，这虽符合人类感-t32[0093]其中E3(T(c,s))代表用第六二维卷积单元中relu激活函数层对风格化图像T(c,x是xy是yxy为x和参数量相比于基础网络减