版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
一种无需训练的局部视频风格迁移方法及本发明公开了一种无需训练的局部视频风转的过程中,对原视频的第一帧视频帧打上掩同时间戳的风格潜在特征编辑分支中,令初始的迁移潜在特征Z1=Z1,基于AdaIN的风格迁移技术对迁移潜在特征进行风2所述去噪过程中基于AdaIN的风格迁移技术对迁移潜在特征进行风格迁移,包括潜在新生成下一时间戳的迁移潜在特征;重复上述步骤直到获得初始时间戳的迁移潜在特征,对原视频进行去噪反转的过程中,保存原视频所有帧在特定时间戳t0的特征图作为掩基于点匹配将当前帧的掩码传递到下一帧,直到掩码传播特征图基于全部掩码M更新迁移潜在特征zrs表示为:ZZ=M·zt+(1-M)·zrs3将编辑分支进行去噪过程中的自注意力过程的键和值的分布偏移到风格分支中自注2,τ3]表示引入系数βt的时间区间,Kz和分别表示编辑分支中自注意力过程引入一个平衡超参数γ来将编辑分支中的Qe与内容分支中的Qt做一个简单的线性加通过解码器D将潜在特征zr-o逐帧解码到像素表示通过编码器ε将平滑更新后的像素空间表示重新4t-1表示扩散模型中的加噪参数。局部选择模块,内容分支对原视频的视频帧进行风格提取模块,风格分支对参考图像进行去噪反转,获得不同时间戳t=1→T;风格迁移模块,编辑分支中,令初始的迁移潜在特征Z1=Z1,基于初所述去噪过程中基于AdaIN的风格迁移技术对迁移潜在特征进行风格迁移,包括潜在新生成下一时间戳的迁移潜在特征;重复上述步骤直到获得初始时间戳的迁移潜在特征,5染。如StyleCrafter通过微调Adapter,结合用户输入的参考图片来完成个性化的视频生编辑模型来对视频的第一帧进行风格迁移,并通过I2V模型将第一帧的迁移结果传播到后[0008]编辑分支中,令初始的迁移潜在特征Z1=Z1,基于初始的迁移潜在特征进行去[0009]所述去噪过程中基于AdaIN的风格迁移技术对迁移潜在特征进行风格迁移,包括6的前景区域和背景区域以采样率r进行随机下采样,并根据前景区域和背景区域的比例来[0019]zr=M·zt+(1-M)·ZZ;[0024]将编辑分支进行去噪过程中的自注意力过程的键和值的分布偏移到风格分支中[0027]引入一个平衡超参数γ来将编辑分支中的Q:与内容分支中的Qt做一个简单的线7[0033]通过解码器D将潜在特征zr-O逐帧解码到像素表示{P兴1:[0037]通过编码器ε将平滑更新后的像素空间表示重新编码到潜在空间表示特征Z,t=1→T;[0046]风格迁移模块,编辑分支中,令初始的迁移潜在特征Z1r=Z1,基于初始的迁移潜8[0047]所述去噪过程中基于AdaIN的风格迁移技术对迁移潜在特征进行风格迁移,包括[0049](1)本发明通过基于点匹配的掩码传播技术,仅仅利用DDIM去噪反转过程的特征[0051](3)本发明通过基于光流的滑动窗口平滑技术,进一步缓解了迁移过程中带来的[0059]S102,风格分支对参考图像进行去噪反转,获得不同时间戳的风格潜在特征Z(t=1→T);迁移潜在特征进行去噪,去噪过程中基于AdaIN的风格迁移技术对迁移潜在特征进行风格[0061]不同时间戳的内容潜在特征表示为Zt(t=1→T),不同时示为Z(t=1→T),初始的迁移潜在特征等于初始的内容潜在特征表示为Z1=zr。标是将原始视频序列转换为新的序列在此转换过程中,参考图像的风格将会被传9风格图像Is应用DDIM去噪反转,可以获得它们各自的潜在特征表示Zt和Z(t=1→T)。然后,令编辑过程的初始的潜在特征表示zt=zt。由图2可知,该方法主要包括三部分技术[0064]该技术利用原视频去噪反转过程中某个时间戳t0所对应Unet结构中的UpBlock2[0070]正如算法1第11到14行所示,对i_1帧的前景和背景区域以采样率r进行随机下采息与编辑分支中潜在特征表示zz的背景信息做逐帧地融合更新:[0072]zr=M·zt+(1-M)·ZZ#(2)[0076]本实施例主要在两个维度上运用AdaIN的操作:去中潜在特征ze的分布偏移到风格分支中潜在特征的分布:[0083]本实施例利用估计的光流信息配合滑动窗口的平滑技术来对潜在特征zz进行更[0089]当前窗口更新的关键帧会参与到下一个窗口的计算当中,正如附图1中右侧的示将这些特征逐帧解码到像素表示即为最终风格迁移后的视频。[0098]实验结果的定性对比如图3所示,可以看出本实施例在视觉效果上超过了现有的在特征Z(t=1→T);地将参考图片的风格信息转移到视频中,并且在很大程度上防止
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 家庭教育之如何培养中班幼儿良好行为习惯活动方案
- 2026年备考一级建造师之一建建筑工程实务能力测验试题(备用卷)附答案
- 2026年备考一级建造师之一建工程法规通关考试题库带答案解析
- 2026安徽合肥东方英才人才有限公司凤阳县人民医院派遣项目招聘1人(四)笔试备考题库与答案解析
- 成都崃盛人力资源服务有限责任公司公开招聘邛崃市财政局编外人员的(1人)笔试参考题库及答案解析
- 祁东县2026年城区中小学校(含玉合街道中心幼儿园)公开选调教师笔试备考题库与答案解析
- 2026年长春理工大学公开招聘博士及急需紧缺人才补充(6号)考试参考题库及答案解析
- 2026年马鞍山和县科技职业学校公开招聘劳务派遣制教师10名笔试备考题库与答案解析
- 2026年金山区社区工作者公开招聘考试备考题库及答案解析
- 2026年南昌市人民医院总会计师自主招聘1人笔试备考题库与答案解析
- 凝胶清管器组合物理化学清洗技术培训
- 储能电站施工组织方案
- 2026-2027学年统编版道德与法治九年级上册单元测试卷 九年级上册第二单元《进入新时代》检测题(含解析)
- 危害药品静脉用药与安全防护专家共识重点2026
- 赛业生物OriCell2025中国双特异性抗体药物市场全景分析暨创新研发解决方案白皮书
- 2026年职业病诊断医师资格考试题库及完整答案
- 网上开庭申请书
- 深度解析(2026)《LST 1809-2017粮油储藏 粮情测控通 用技术要求》
- 2025-2026学年沪科版八年级数学上册期末测试卷(含答案)
- 东洋压铸机技术培训课件
- 黑龙江省哈三中2025-2026学年高一上学期12月考试物理试卷
评论
0/150
提交评论