CN117911584B 基于文本提示词和图像驱动的内容生成方法、设备、介质 （上海人工智能创新中心）_第1页
CN117911584B 基于文本提示词和图像驱动的内容生成方法、设备、介质 （上海人工智能创新中心）_第2页
CN117911584B 基于文本提示词和图像驱动的内容生成方法、设备、介质 （上海人工智能创新中心）_第3页
CN117911584B 基于文本提示词和图像驱动的内容生成方法、设备、介质 （上海人工智能创新中心）_第4页
CN117911584B 基于文本提示词和图像驱动的内容生成方法、设备、介质 （上海人工智能创新中心）_第5页
已阅读5页，还剩16页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

基于文本提示词和图像驱动的内容生成方本发明涉及一种基于文本提示词和图像驱据集还包含了条件帧和目标条件帧的帧间一致过在推理时回避该输入区间以获得高质量的生帧间一致性数值来控制生成视频中动效的剧烈2于所述给定条件帧和所述目标视频帧序列计算所对所述给定条件帧进行编码，得到图像编码，基于所述图像编码和所述基于多次迭代后的去噪后的输出编码，得到输出视频帧，基于所述其中，利用条件编码模块实现条件编码，所述条件编码模第一层，所述条件编码模块包括结构为4x3x3x320的用320个尺寸为4x3x3的卷积核对通道数为4的输入进行条件编码，得到和输入同样尺寸2.根据权利要求1所述的一种基于文本提示词和图像驱动的内容生成方法，其特征在至少一组Unet模块和时序模块，用于基于所述条件帧特征3.根据权利要求2所述的一种基于文本提示词和图像驱动的内容生成方法，其特征在4.根据权利要求2所述的一种基于文本提示词和图像驱动的内容生成方法，其特征在5.根据权利要求1所述的一种基于文本提示词和图像驱动的内容生成方法，其特征在6.根据权利要求1所述的一种基于文本提示词和图像驱动的内容生成方法，其特征在7.根据权利要求6所述的一种基于文本提示词和图像驱动的内容生成方法，其特征在8.根据权利要求1所述的一种基于文本提示词和图像驱动的内容生成方法，其特征在3,,,i个给定条件帧和第个目标视频帧序列帧在HSV色彩空间上的1范数距4编码器编码，之后将得到的文本编码输入到扩散模型中来指导生成过程符合文本提示词；[0008]（1）通过结合一个文本生成视频的模型AnimateDiff来生成视频，同时使用ControlNet在生成过程中注入图片信息得到图片控制的效果。这样的技术方案受限于，5[0012]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于文本提示块利用320个尺寸为4×3×3的卷积核对通道数为4的输入进行条件编码，得到和输入同样[0029]计算给定条件帧与所述目标视频帧序列中每一帧在预设色彩空间上的1一范数距6i个给定条件帧和第个目标视频帧序列帧在HSV色彩空间上的1范7块不仅可以保留图像驱动模型对文本提示词的响应能力，还能够通过显示编码给定图片，块利用320个尺寸为4x3x3的卷积核对通道数为4的输入进行条件编码，得到和输入同样尺寸大小且通道数为320的条件编码；由于该条件编码和原始输入模块的输出特征的尺寸大小和通道数都相等，因此该条件编码模块得到的条件编码可以直接加在原始输入8定条件帧时序相关的15帧图片还包含了每个目标视频帧和给定条件帧的帧间一致性编9控制生成动效的剧烈程度的基于文本提示词的户在5%到95%的范围内调整帧间一致性的数值，就可以有效效果示意，给定同样的一张条件帧和同一句文本提示词，可以通过调整输入不同的帧间频的图像通过VAE图片编码器进行编码得到图像编码，同时手动设置逐帧的帧间一致性编执行的一个或多个程序，所述一个或

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论