CN117857896B 一种视频生成方法、装置、设备及存储介质 （上海人工智能创新中心）

US2023154188A1,2023.05.18提示信息以及当前模式对应的掩码视频输入目2将所述噪声视频、文本提示信息以及当前模式对应的掩码所述时空增强网络包括至少两个时空增强子网络，所述时空增强子根据预测去噪视频和视频样本生成的目标函数训练将所述编码器输出的特征信息和所述时间步输入首个时空增强子网将第N个时空增强子网络输出的特征信息输入第N+1个时空增强子网络，得到第N+1个3将最后一个时空增强子网络输出的特征信息确定将第五特征信息和文本特征输入时间文本交互注意力层，得到首所述时空增强网络包括至少两个时空增强子网络，所述时空增强子所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1_6中任一项所述的9.一种计算机可读存储介质，其特征在于，所述45[0017]应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范[0029]图1为本发明实施例提供的一种视频生成方法的流程图，本实施例可适用于视频67视频样本中目标对象的占比大于设定阈值的视频帧作为本为生成模式对应的掩码后的视频样本的概率大于拼接任一数量帧的预测模式对应的掩[0052]根据第二掩码概率对所述视频样本进行第二掩码，得到8让模型在生成视频的同时能够参考图片，所以在空间维度上加入了图像对生成视频的引信息和所述时间步输入首个时空增强子网络，得到首个时空增强子网络输出的特征信息，9若时空增强子网络非首个时空增强子网络，则将第N个时空增强子网络输出的特征信息输[0076]可选的，将所述编码器输出的特征信息和所述时间步输[0077]将所述编码器输出的特征信息和所述时间步输入空间卷积层，得到第一特征信[0083]将第三特征信息和第四特征信息叠加后输入时间自注意力层，得到第五特征信[0085]可选的，将第N个时空增强子网络输出的特征信息输入第N[0086]将第N个时空增强子网络输出的特征信息和所述时间步输入空间卷积层，得到空[0092]将空间图像交互注意力层输出的特征信息和空间文本交互注意力层输出的特征[0100]图5为本发明实施例提供的一种视频生成装置的结构示意图。本实施例可适用于[0105]图6示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种如因特网的计算机网络和/或各种电信网络与其他设[0108]处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0111]用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合机器上执行且部分地在远程机器上执行或完全在远程机器或服务面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网