CN119496960A 视频生成方法、视频生成装置、设备以及计算机存储介质 （科大讯飞股份有限公司）_第1页
CN119496960A 视频生成方法、视频生成装置、设备以及计算机存储介质 （科大讯飞股份有限公司）_第2页
CN119496960A 视频生成方法、视频生成装置、设备以及计算机存储介质 （科大讯飞股份有限公司）_第3页
CN119496960A 视频生成方法、视频生成装置、设备以及计算机存储介质 （科大讯飞股份有限公司）_第4页
CN119496960A 视频生成方法、视频生成装置、设备以及计算机存储介质 （科大讯飞股份有限公司）_第5页
已阅读5页，还剩19页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

射到同一维度的潜在表示空间将多模态特征实2所述根据所述相关性信息将所述若干潜在模态特征进行融合，得到所述融合模态特根据所述相关性信息和所述动态权重将所述若干潜在模态特征进根据所述若干单模态特征的时序特征对所述若干单模态特征的时间序列信息进行对所述根据所述若干单模态特征的时序特征对所述若干单模态特征的时间序列信息进获取所述若干单模态特征的时序特征与当前生成视频帧按照最小化相似度的方式对所述若干单模态特征的时间序列信息进在每个生成步长，将所述融合模态特征和所述对齐后的时间序列信息输入扩散模型，通过超分辨率模块对所述原始视频的各视频帧进行分辨率提升，3所述映射模块，用于将若干单模态特征映射到同一维度的潜在表示9.一种视频生成设备，其特征在于，所述视频生其中，所述存储器用于存储程序数据，所述处理器用于执行4[0012]根据所述相关性信息将所述若干潜在模态特征进行融合，得到所述融合模态特[0020]根据所述若干单模态特征的时序特征对所述若干单模态特征的时间序列信息进56息往往存在时间步长和特征空间的差异，现有技术难以在多模态输入之间建立有效的融[0053]本申请涉及视频生成领域，特别是涉及基于扩散模型(DiffusionModel)的视频7[0063]文本输入:文本模态是视频定场景、动作或情节。本发明使用基于预训练语言模型(如BERT(Bi蹈生成等应用中具有重要作用。本申请采用音频视频帧。本申请采用卷积神经网络或视觉语言模型(如ResNet、CLIP(Contrastive[0070]具体地，视频生成装置将步骤S12提取的若干单模态特征映射到同一维度的潜在8[0071]视频生成装置将同一潜在表示空间的多模态特征进行融9变化，文本描述则可能在较长时间段内保持不变。本申请通过时间序列注意力机制(TemporalAttention)对不同模态的时间特征[0092]步骤S23：根据若干单模态特征的时序特征对若干单模态特征的时间序列信息进[0094]具体对齐过程为通过计算输入模态的时序特征与当前生成视频帧特征之间的相[0098]进一步地，本申请的视频生成方法还可以集成超分辨率于卷积神经网络(如ESRGAN(EnhancedSuper_ResolutionGenerativeAdversarial机制将不同模态的信息融合到统一的潜在空间中，以保证各模态特征的有效传递和交互，用处理器、数字信号处理器(DSP，DigitalSignalProcess)、专用集成电路(ASIC，ApplicationSpecificIntegratedCircuit)、现场可编程门阵列(FPGA，Field说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论