CN115829830B 基于多模态语义匹配的图像风格迁移系统及方法 （上海大学）

基于多模态语义匹配的图像风格迁移系统本发明揭示了一种基于多模态语义匹配的像检索模块、图像风格迁移模块和结果输出模图像风格迁移模块中利用注意力机制和插值操作逐渐调整风格图像特征分布与内容图像特征结果内容结构完整性的同时获得更好的风格化2风格信息输入模块，用于向图像风格迁移模块输入风格信息，该风为输入为图像风格迁移模块的最终输出结果提风格图像向量库：基于风格图像数据集建立风格图像向量库，为风格文本图像检索模块：采用图文对比多模态预训练模型将容图像一起输入到图像风格迁移模块后得到最终的风格化结果输出模块：将经过图像风格迁移模块处理后得到的述文本标签包括当前风格图像的创作者名称以及对当前风格图像语义内述结果输出模块将经过所述图像风格迁移模块处理的风格化结果保存至本地指定文件夹将用户通过内容图像输入的内容图像转换为设定大小的图像，若用为风格图像数据集中的每一个风格图像创建基于步骤S200获得的表格，按照索引顺序读取表格中相应路径下3如果用户通过风格信息输入模块输入的是用于描述图像一起输入图像风格迁移模块得到最终的风格化如果用户通过风格信息输入模块输入的是用于提供风格图像与通过内容图像输入的内容图像一起输入到图像风格迁移模块后得到最终的风格S500、分析结果展示：结果输出模块将经过S401、将输入的文本数据通过图文对比多模S402、将文本向量与风格图像向量库中的风格图像向S403、根据风格图像向量的索引，在步骤S20S404、将内容图像和风格图像通过预训练的VGG网络提取图像特征得到内容图像特征S406、将S405步骤中得到的注意力图作为仿S407、将内容图像特征与调整分布之后的风格图像S408、将上一步获得的风格化图像特征输入到下一个样式转换模块，依据步骤S405、S409、将经过三次样式转换模块的风格化图像45[0003]图像风格迁移技术作为深度学习技术在文化领域的应用，自从2015年Gatys等人首次将VGG网络应用于图像风格迁移领域，便引领了将深度学习与图像风格迁移相结合算[0004]图像风格迁移方法需要以风格图像和内容图像作为输入来提供风格和内容信据作为输入为图像风格迁移模块的最终输出结6[0015]本发明的另一个技术方案是提供了一种基于多模态语义匹配的图像风格迁移方息输入模块输入的风格信息为风格图像，则将风格图像转换为与内容图像相同大小的图内容图像一起输入图像风格迁移模块得到最将风格图像与通过内容图像输入的内容图像一起输入到图像风格迁移模块后得到最终的7文对比多模态预训练模型中的图像编码器提取图像[0036]S404、将内容图像和风格图像通过预训练的VGG网络提取图像特征得到内容图像[0038]S406、将S405步骤中得到的注意力图作为仿射变换重新排列风格图像特征的分[0040]S408、将上一步获得的风格化图像特征输入到下一个样式转换模块，依据步骤[0045]图3为本发明基于多模态语义匹配的图像风格迁移系统的文本图像检索模块的结[0046]图4为本发明基于多模态语义匹配的图像风格迁移系统的图像风格迁移模块和结8[0047]图5为本发明基于多模态语义匹配的图像风格迁移系统的图像风格迁移模块中的中每行记录风格图像数据集中一张风格图像的路径和其对应的文本域普通技术人员的常规技术手段的改进亦在本发明的思想9使用Python的第三方库Opencv_python可以快文本标签的内容包括当前风格图像的创作者名称以及对当前风格图像语义内容的一段简内容图像一起输入图像风格迁移模块得到最将风格图像与通过内容图像输入的内容图像一起输入到图像风格迁移模块后得到最终的[0074]S404、将内容图像和风格图像通过预训练的VGG网络提取图像特征得到内容图像[0076]S406、将S405步骤中得到的注意力图作为仿射变换重新排列风格图像特征的分[0078]S408、将上一步获得的风格化图像特征输入到下一个样式转换模块，依据步骤[0083](2)选择风格化方式，可以用鼠标点击选择预设的风格图像或者点击风格图像上[0088]本发明通过图文对比多模态预训练模型(CLIP)中的图像编码器对开源风格图像数据集中的风格图像进行特征提取，并将风格图像向量保存至Milvus云原生向量数据库，移模块中