CN118674839B 动画生成方法、装置、电子设备、存储介质及程序产品 （腾讯科技（深圳）有限公司）

用角色渲染模型对动画素材帧中的动画角色进2获取预先制作的动画素材帧；所述动画素材帧中的动画素材包括动画角色和动画背基于所述动画角色的角色类型，确定与所述动画角色对应的角色调用预设的背景渲染模型对所述动画素材帧中的动画背景进行渲染，得到背景图像；对所述角色图像和所述背景图像进行图像融合处理，得到包含所述动所述对所述角色图像和所述背景图像进行图像融合处理，得到针对所述动画剧本中的角色类型和场景类型，调用绘基于所述动画风格类型和预设的骨骼图生成所述角色类型的动画角色在不同姿态下基于所述动画角色在不同姿态下的三视图以及所述场景类型下的基于所述动画角色在不同姿态下的三视图以及所述场景类型下的基于所述动画剧本以及所述三维模型，生成所述动画剧本中每个动画场次的三维动基于所述动画角色在不同姿势下的三视图，对所述动画角色进行不同部位的特写处采用所述动画角色的多个训练素材图，对预设的待训练角色渲染模型进行训3基于所述动画素材帧中的动画角色对所述动画素材帧进行分割处理针对每个素材子帧，基于所述素材子帧中的动画角色的角色类型，确获取所述当前动画素材帧的前一帧动画素材帧和后一将所述前一帧动画素材帧、所述当前动画素材帧和所述后一帧动画素材帧进行拼接，调用所述角色渲染模型，对所述拼接动画素材帧中的多调用所述角色渲染模型，对所述拼接动画素材帧中的多对所述初始角色图像进行图像分割，得到与所述前一帧动画素材帧对个动画素材帧；所述调用预设的背景渲染模型对所述动画素材帧中的动画背景进行渲染，获取所述当前动画素材帧的前一帧动画素材帧和后一将所述前一帧动画素材帧、所述当前动画素材帧和所述后一帧动画素材帧进行拼接，调用预设的背景渲染模型，对所述拼接动画素材帧中的多个动调用预设的背景渲染模型，对所述拼接动画素材帧中的多个动对所述初始背景图像进行图像分割，得到与所述前一帧动画素材帧对4基于所述动画素材帧对应的角色图像和背景图像，确定所述动画素确定预先制作的多帧动画素材帧中第i帧动画素材帧至第i+j帧动画素材帧中每一动基于所述第i帧动画素材帧至所述第i+j帧动画素材帧中每一动画素材帧的边缘信息将第1帧动画图像至第n帧动画图像拼接成所述目标动画，n为所述多帧动画素材帧的所述对所述角色图像和所述背景图像进行图像融合处理，得到对所述特效图像、所述角色图像和所述背景图像进行图像融合处理，多个动画素材帧；所述调用预设的背景渲染模型对所述动画素材帧中的动画背景进行渲获取所述当前动画素材帧的前一帧动画素材帧和后一对所述前一帧动画素材帧、所述动画素材帧和所述后一帧动画素材帧分别进行编码，素材帧向量和与所述后一帧动画素材帧对应的第对所述第一素材帧向量、所述第二素材帧向量和所述第三素材帧向量进行融合处理，调用所述背景渲染模型，基于所述融合素材帧向量对所5素材帧获取模块，用于获取预先制作的动画素模型确定模块，用于基于所述动画角色的角色类型，确定与所述动角色渲染模块，用于调用所述角色渲染模型对所述动画素材帧中的动画角色进行渲背景渲染模块，用于调用预设的背景渲染模型对所述背景渲染模型训练模块，用于调用多个绘画模型分别生成多种画面风格类型的图片；动画生成模块，用于对所述角色图像和所述背景图像进处理器，用于执行所述存储器中存储的计算机可执行指令或者计算机17.一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至14任一项所算机可执行指令或计算机程序被处理器执行时实现权利要求1至14任一项所述的动画生成6动画角色对应的角色渲染模型；调用角色渲染模型对动画素材帧中的动画角色进行渲染，背景渲染模块，用于调用预设的背景渲染模型对所述动画素材帧中的动画背景进行渲染，7三视图以及所述场景类型下的场景概念图，创建所述动画角色和所述场景类型的三维模8帧动画素材帧至第i+j帧动画素材帧中每一动画素材帧的边缘信息和光流信息；i和j均为大于0的整数；基于所述第i帧动画素材帧至所述第i+j帧动画素材帧中每一动画素材帧的[0026]本申请实施例提供一种计算机程序产品，包括计算机程9的角色渲染模型，能够确保每个动画角色的视觉表现符合其独特的设计风格和艺术要求，从而增强了动画角色的表现力和辨识度。利用预设的背景渲染模型对动画背景进行渲染，序的一部分，并与其他相关部分一起工作以实现预定目标，并且可以通过使用软件、硬件或单元功能的整体模块或单元的一部分。[0055]本申请实施例中相关数据收集处理在实例应用时应该严格根据相关法律法规的技术利用机器学习和深度学习算法，自动生成高质量的内容，减少了人工创作的时间和成型包括生成对抗网络（GenerativeAdversarialNetworks，GANs）、变分自编码器的模型可以根据输入的条件或随机噪声生成内容，例如，文本生成模型可以根据输入的关键词生成文章，图像生成模型可以根据输入的标签生成图像，生成的内容可能需要进一步优化和调整，以提高质量和符合特定需求，这一步可以通过后处理技术或进一步的模型微动化的指标（如机器翻译质量评估的自动指标（BilingualEvaluationUnderstudy，噪声预测网络会接收到当前的噪声样本和当前的时间步（timestep并预测下一时刻的噪声分布。采样噪声：根据噪声预测网络的输出，从预测的噪声分布中采样一个新的噪声样处理和分析非常有用。服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，用。收到用户的交互操作之后，可以通过终端将预先制作的动画素材帧封装至动画生成请求多个用户输入或互动进行检测以及翻译所检测的输[0080]在另一些实施例中，本申请实施例提供的动画生成装置作为示例，本申请实施例提供的动画生成装置可以是采用硬件译码处理器形式的处理器，可以采用一个或多个应用专用集成电路（ApplicationSpecificIntegratedCircuit，ASIC）、数字信号处理器（DigitalSignalProcessor，DSP）、可编程逻辑器件[0085]这里，预先制作的动画素材帧是指在动画制作流程中提前准备好的二维静态图[0092]步骤S1013，基于动画风格类型和预设的骨骼图生成角色类型的动画角色在不同全面展示动画角色在该姿态下的外观和动作[0097]本申请实施例通过绘画模型基于动画风格类型和动画剧本自动化生成动画素材[0098]本申请实施例中，步骤S1014中基于动画角色在不同姿态下的三视图以及场景类[0100]本申请实施例通过自动化创建三维模型、生成三维动画应的角色渲染模型的具体实现过程可以参考上述实施例中的步骤S102，这里不再重复说对角色渲染模型的渲染处理过程不作进一步限定，可以参考稳定扩散模型的逆扩散过程。图7示出了步骤S103中调用角色渲染模型对动画素材帧中的动画角色进行渲染，得到角色刻角色渲染模型正在进行渲染处理的动画素材帧，例如24帧动画素材帧中的第3帧动画素[0114]步骤S1033，将前一帧动画素材帧、当前动画素材帧和后一帧动画素材帧进行拼图8示出了步骤S104中调用预设的背景渲染模型对动画素材帧中的动画背景进行渲染，得[0129]步骤S1043，将前一帧动画素材帧、当前动画素材帧和后一帧动画素材帧进行拼拼接动画素材帧的具体实现过程，可以参考上述实施例中的步骤S1033，这里不再重复说动画素材帧对应的第二素材帧向量和与后一帧动画素材帧对应的第三素材帧向量；再然一帧动画素材帧的具体实现过程，可以参考上述实施例中的步骤S1032，这里不再重复说[0153]本申请实施例通过自动化特征提取和图层生成，大大提高了动画图像生成的效[0154]步骤S1052，确定预先制作的多帧动画素材帧中第i帧动画素材帧至第i+j帧动画帧和第i+j帧动画素材帧即为关键帧。在渲染得到第i帧动画素材帧的对应的第i帧动画图[0159]步骤S1053，基于第i帧动画素材帧至第i+j帧动画素材帧中每一动画素材帧的边[0165]本申请实施例通过只对多帧动画素材帧中的部分动画素觉冲击力。动画特效的特效类型可以根据动画特效的表现形式和用途对动画特效进行分[0168]本申请实施例通过特效渲染模型对动画特效进行渲染，[0169]在一些实施例中，图10是本申请实施例提供的动画生成方法的另一个流程示意格类型的图片对预设的扩散模型进行训练，得到具有动画风格类型的预设的背景渲染模骤，直到损失函数收敛或达到预设的训练轮次，得到具有动画风格类型的预设的背景渲染模型。当选择多个动画风格类型时，则训练后的背景渲染模型输出的背景图像为多个动画风格类型融合后的画面风格。当选择一个动画风格类型时，则训练后的背景渲染模型输出的背景图像为该动画风格类型。类型的初始渲染模型的具体过程，可以参考上述实施例中对预设的扩散模型的训练过程，[0183]步骤S2024，将初始渲染模型和边缘控制模型进行融合，得到预设的背景渲染模[0186]在一些实施例中，图12是本申请实施例提供的动画生成方法的另一个流程示意[0200]这里，获取预先制作的动画素材帧的具体过程可以参照上述实施例中的步骤[0205]步骤S407，服务器调用预设的背景渲染模型对动画素材帧中的动画背景进行渲术，替代了传统的工业软件渲染。通过对画面整体风格的训练，利用Dreambooth微调技术（对应于上述实施例中的背景渲染模型保证画风符合导演的要求。对于每个动画角色训练专属的Lora模型（对应于上述实施例中的角色渲染模型确定角色的五官和服饰细节。同时，为了解决连续画面生成的稳定性问题。本申请实施例提出了多帧渲染和AI补帧的技生成画面抖动和细节变化的问题。多帧渲染是指在当前帧画面生成的过程中，将前后两帧的图片拼接在画面左右两侧；由于稳定扩散模型的加噪和去噪过程作用于整幅图像。因此当前帧的画面生成会受到前后帧画面内容的影响，从而提高连续画面稳定性。AI补帧则是指先选择关键帧通过稳定扩散模型进行生成，而关键帧之间，则使用专门的AI模型进行补面稳定性。述实施例中的角色渲染模型）和Controlnet（对应于上述实施例中的控制模型）的施例将动画制作流程分成三个部分：动画制作前期准备700、3D动画制作701和AI动画渲染的素材分别训练得到每个动画角色对应的LoRA模型，也就是图17中的多角色模型到初始版本的3D动画序列片段（对应于上述实施例中的动画素材帧）。在AI动画渲染过程画制作前期准备700和3D动画制作701阶段后得到的动画素材帧输入AI动画渲染过程702阶型作为一类生成模型，通过逐步去噪的过程，从随机噪声生成高质量的图像。选择AI模型的绘画风格符合导演的需要，可以收集超过1000张指定几位艺术家的公开绘画作[0231]本申请实施例中使用canny算法生成原始图像的边缘信息，使用GMFlow光流算法帧分别计算每一帧的边缘信息和光流信息，将渲染后的第3帧动画图像和第6帧动画图像，在一致性模型（LatentConsistencyModel，LCM）技术，在稳定扩散模型的基础上新增[0236]下面继续说明本申请实施例提供的动画生成装置455的实施为软件模块的示例性取待生成的目标动画的动画风格类型和动画剧本；针对动画剧本中的角色类型和场景类格类型的图片对预设的扩散模型进行训练，得到具有动画风格类型的预设的背景渲染模应的第二素材帧向量和与后一帧动画素材帧对应的第三素材帧向量；对第一素材帧向量、画面绘制时稳定性不佳的问题，利用AI绘画大模型微调训练技术Dreambooth和LoRA模型，