CN119444896A 一种无需训练的局部视频风格迁移方法及系统 （厦门大学）

一种无需训练的局部视频风格迁移方法及本发明公开了一种无需训练的局部视频风转的过程中，对原视频的第一帧视频帧打上掩同时间戳的风格潜在特征编辑分支中，令初始的迁移潜在特征Z1=Z1,基于AdaIN的风格迁移技术对迁移潜在特征进行风2所述去噪过程中基于AdaIN的风格迁移技术对迁移潜在特征进行风格迁移，包括潜在新生成下一时间戳的迁移潜在特征；重复上述步骤直到获得初始时间戳的迁移潜在特征，对原视频进行去噪反转的过程中，保存原视频所有帧在特定时间戳t0的特征图作为掩基于点匹配将当前帧的掩码传递到下一帧，直到掩码传播特征图基于全部掩码M更新迁移潜在特征zrs表示为：ZZ=M·zt+(1-M)·zrs3将编辑分支进行去噪过程中的自注意力过程的键和值的分布偏移到风格分支中自注2,τ3]表示引入系数βt的时间区间，Kz和分别表示编辑分支中自注意力过程引入一个平衡超参数γ来将编辑分支中的Qe与内容分支中的Qt做一个简单的线性加通过解码器D将潜在特征zr-o逐帧解码到像素表示通过编码器ε将平滑更新后的像素空间表示重新4t-1表示扩散模型中的加噪参数。局部选择模块，内容分支对原视频的视频帧进行风格提取模块，风格分支对参考图像进行去噪反转，获得不同时间戳t＝1→T；风格迁移模块，编辑分支中，令初始的迁移潜在特征Z1=Z1,基于初所述去噪过程中基于AdaIN的风格迁移技术对迁移潜在特征进行风格迁移，包括潜在新生成下一时间戳的迁移潜在特征；重复上述步骤直到获得初始时间戳的迁移潜在特征，5染。如StyleCrafter通过微调Adapter，结合用户输入的参考图片来完成个性化的视频生编辑模型来对视频的第一帧进行风格迁移，并通过I2V模型将第一帧的迁移结果传播到后[0008]编辑分支中，令初始的迁移潜在特征Z1=Z1,基于初始的迁移潜在特征进行去[0009]所述去噪过程中基于AdaIN的风格迁移技术对迁移潜在特征进行风格迁移，包括6的前景区域和背景区域以采样率r进行随机下采样，并根据前景区域和背景区域的比例来[0019]zr=M·zt+(1-M)·ZZ;[0024]将编辑分支进行去噪过程中的自注意力过程的键和值的分布偏移到风格分支中[0027]引入一个平衡超参数γ来将编辑分支中的Q:与内容分支中的Qt做一个简单的线7[0033]通过解码器D将潜在特征zr-O逐帧解码到像素表示{P兴1:[0037]通过编码器ε将平滑更新后的像素空间表示重新编码到潜在空间表示特征Z,t=1→T;[0046]风格迁移模块，编辑分支中，令初始的迁移潜在特征Z1r=Z1,基于初始的迁移潜8[0047]所述去噪过程中基于AdaIN的风格迁移技术对迁移潜在特征进行风格迁移，包括[0049](1)本发明通过基于点匹配的掩码传播技术，仅仅利用DDIM去噪反转过程的特征[0051](3)本发明通过基于光流的滑动窗口平滑技术，进一步缓解了迁移过程中带来的[0059]S102，风格分支对参考图像进行去噪反转，获得不同时间戳的风格潜在特征Z(t=1→T);迁移潜在特征进行去噪，去噪过程中基于AdaIN的风格迁移技术对迁移潜在特征进行风格[0061]不同时间戳的内容潜在特征表示为Zt(t＝1→T)，不同时示为Z(t=1→T),初始的迁移潜在特征等于初始的内容潜在特征表示为Z1=zr。标是将原始视频序列转换为新的序列在此转换过程中，参考图像的风格将会被传9风格图像Is应用DDIM去噪反转，可以获得它们各自的潜在特征表示Zt和Z(t=1→T)。然后，令编辑过程的初始的潜在特征表示zt=zt。由图2可知，该方法主要包括三部分技术[0064]该技术利用原视频去噪反转过程中某个时间戳t0所对应Unet结构中的UpBlock2[0070]正如算法1第11到14行所示，对i_1帧的前景和背景区域以采样率r进行随机下采息与编辑分支中潜在特征表示zz的背景信息做逐帧地融合更新：[0072]zr=M·zt+(1-M)·ZZ#(2)[0076]本实施例主要在两个维度上运用AdaIN的操作：去中潜在特征ze的分布偏移到风格分支中潜在特征的分布：[0083]本实施例利用估计的光流信息配合滑动窗口的平滑技术来对潜在特征zz进行更[0089]当前窗口更新的关键帧会参与到下一个窗口的计算当中，正如附图1中右侧的示将这些特征逐帧解码到像素表示即为最终风格迁移后的视频。[0098]实验结果的定性对比如图3所示，可以看出本实施例在视觉效果上超过了现有的在特征Z(t=1→T);地将参考图片的风格信息转移到视频中，并且在很大程度上防止