CN119497887A 用于改进嘴唇配音的系统和方法 （怪物外星人机器僵尸公司）

2024.09.13PCT/CA2023/0500682023.01.20WO2023/137557EN2023.07.27在本文中的各个实施例中描述了一种计算所述存储器耦合到所述处理器并且存储处理器使用机器学习网络处理所述初始视频数据对象V和所述时间同步的视位参数集合以生成输出视的初始嘴部区已用基于所述时间同步的视位参2存储器，所述存储器耦合到所述处理器并且存储处理器可执接收包括多个图像帧数据对象I的初始视频使用机器学习网络处理所述初始视频数据对象V和所述时间同步的视位参数集合以生成输出视频数据对象V'，其中所述初始视频数据对象V中的初始嘴部区已用基于所述时间2.根据权利要求1所述的系统，其中对应于所述目标音频数据对象A'的所述时间同步3.根据权利要求2所述的系统，其中迭代地训练所述多个编码器网络以从所述多个图V的初始音频数据对象A中提取对应于所述初始音频数据对象A中的声谱图段的初始表情/5.根据权利要求4所述的系统，其中所述初始视频数据对象V用于基于所述初始表情/6.根据权利要求5所述的系统，其中所述处理器被配集合将在所述目标音频数据对象A'中识别到的视位与所述可用视位的视位库进行比较以7.根据权利要求6所述的系统，其中所述处理器被配置成生成对应于不在所述视位库8.根据权利要求1所述的系统，其中所述处理器被配置成通过用替换图像帧数据对象I'整体替换所述多个图像帧数据对象I中的至少一个图像帧数据对象来生成所述输出视频数据对象V'。9.根据权利要求1所述的系统，其中所述处理器被配置成通过用替换图像帧数据对象I'的对应部分替换所述多个图像帧数据对象I中的至少一个图像帧数据对象的一部分来生V中存在的每个字符迭代地生成所述输出视频数据对象V'。接收包括多个图像帧数据对象I的初始视频使用机器学习网络处理所述初始视频数据对象V和所述时间同步的视位参数集合以生成输出视频数据对象V'，其中所述初始视频数据对象V中的初始嘴部区已用基于所述时间313.根据权利要求12所述的方法，其中对应于所述目标音频数据对象A'的所述时间同14.根据权利要求13所述的方法，其中迭代地训练所述多个编码器网络以从所述多个音频数据对象A中提取对应于所述初始音频数据对象A中的声谱图段的初始表情/视位代码16.根据权利要求15所述的方法，其中所述初始视频数据对象V用于基于所述初始表所述目标音频数据对象A'中识别到的视位与所述可用视位的视位库进行比较以识别不在所述视位库中的视位子集，以及生成对应于不在所述视位库中的所述视位子集的新表情/18.根据权利要求12所述的方法，其进一步包括通过用替换图像帧数据对象I'整体替换所述多个图像帧数据对象I中的至少一个图像帧数据对象来生成所述输出视频数据对象V'。19.根据权利要求12所述的方法，其进一步包括通过用替换图像帧数据对象I'的对应部分替换所述多个图像帧数据对象I中的至少一个图像帧数据对象的一部分来生成所述输20.根据权利要求12所述的方法，其进一步包每个字符迭代地生成所述输出视频数据对象V'。存储器，所述存储器耦合到所述处理器并且存储处理器可执使声音到嘴唇机器学习模型架构实例化，所述声音到嘴唇机器学使嘴唇到图像机器学习模型架构实例化，所述嘴唇到图像机器学习模型架构被配置接收目标帧和从所述目标帧中的嘴唇或颌几何形状学习到的关键点代码数据集合并使用至少所述粗略重建帧和所述合成嘴唇或芯片关键点数据集合两者来产生精细重22.根据权利要求21所述的系统，其中所述声音到嘴唇机器学习模型架构和所述嘴唇到图像机器学习模型架构中的至少一个是基23.根据权利要求21所述的系统，其中所述声音到嘴唇机器学习模型架构和所述嘴唇4到图像机器学习模型架构中的至少一个在对所述24.根据权利要求21所述的系统，其中所述声音到嘴唇机器学习模型架构被训练成基于所提供的具有捕获个体讲话的图像帧的任何视频来预测所25.根据权利要求21所述的系统，其中针对所述个体调整的所述合成嘴唇或芯片关键26.根据权利要求25所述的系统，其中个体的所述身份模板是根据对应于所述个体的27.根据权利要求21所述的系统，其中所述目标帧是基于颌能够在所述目标帧中占据28.根据权利要求21所述的系统，其中所述外观代码是针对所述个体学习到的个性化29.根据权利要求21所述的系统，其中所述嘴唇到图像机器学习模型架构至少利用高30.根据权利要求21所述的系统，其中所述且仅针对输入视频V的识别到的段的每一帧，生成对应于输出音频A'的视位的对应精细重31.一种用于生成对应于音频指令集合的目标集合的输出视频的计算机实施的方法，使声音到嘴唇机器学习模型架构实例化，所述声音到嘴唇机器学使嘴唇到图像机器学习模型架构实例化，所述嘴唇到图像机器学习模型架构被配置接收目标帧和从所述目标帧中的嘴唇或颌几何形状学习到的关键点代码数据集合并使用至少所述粗略重建帧和所述合成嘴唇或芯片关键点数据集合两者来产生精细重32.根据权利要求31所述的方法，其中所述声音到嘴唇机器学习模型架构和所述嘴唇到图像机器学习模型架构中的至少一个是基33.根据权利要求31所述的方法，其中所述声音到嘴唇机器学习模型架构和所述嘴唇到图像机器学习模型架构中的至少一个在对所述34.根据权利要求31所述的方法，其中所述声音到嘴唇机器学习模型架构被训练成基于所提供的具有捕获个体讲话的图像帧的任何视频来预测所35.根据权利要求31所述的方法，其中针对所述个体调整的所述合成嘴唇或芯片关键536.根据权利要求35所述的方法，其中个体的所述身份模板是根据对应于所述个体的37.根据权利要求31所述的方法，其中所述目标帧是基于颌能够在所述目标帧中占据38.根据权利要求31所述的方法，其中所述外观代码是针对所述个体学习到的个性化39.根据权利要求31所述的方法，其中所述嘴唇到图像机器学习模型架构至少利用高集合在由处理器执行时使所述处理器执行根据权利要求12至20中任一项所述的方法的步集合在由处理器执行时使所述处理器执行根据权利要求31至40中任一项所述的方法的步6[0002]本申请要求于2022年1月21日提交的美国临时专利申请第63/301,947号和于2022频V和音频A的情况下，所述自动化系统和方法可以操纵V以获得基于呈语言L'的音频A'的声可以产生在理想情况下应当校正和移除的机器学习模型架构，用于接收输入数据对象V(由原始视频帧对象I组成的原始视频的数据表示)、A(原始音频的数据表示)。在一些实施例中，提供数据对象A'(目标音频的数据表[0009]提供给机器学习模型架构用于生成I'7[0011]这种方法可以用于例如以计算方式自动化先前的手动嘴唇配音/重绘练习，并且与先前方法相关的克服问题是嘴唇配音，其中说目标语言的替换声音男演员/女演员必须将音节与原始嘴唇移动匹配(导致呈目标语言的时间或剧本不协调)或者屏幕上的嘴唇移动与呈目标语言的音频对应不正确(嘴部移动但没有语音，或者没有动作但角色正在说[0014]在针对拟议用途调整机器学习数据模型架构方面确定了两个技术挑战：(1)需要[0015]解缠用于识别和定义参数集合，从而控制机器学习网络(例如生成式网络)的操[0017]当潜在空间由自动编码器或通过如StyleGAN等生成式网络中的映射器生成或维[0018]潜在代码可以由例如多维空间中的向量来表示，所述多维空间可以是高维空8代码)表示的潜在空间中的这种方向只能改变图像内角色的[0022]视位合成可能涉及生成不同姿势和视位下具有良好真实性(例如，在由各种视觉其映射到真实图像分布的映射器。此类网络的实例可以包含正确训练的cycleGAN或[0023]本文所描述的方法实际上是使用维护经过训练的生成式对抗模型的计算机系统[0026]可以实施任选的初始阶段，由此示例实施例中的示例系统识别具有输入音频A的输入视频V和具有输出音频A'的目标输出视频V'中的段，其中嘴唇形状通过不同的视位表9的每一帧。首先分析要配音的每个帧以提取现有的嘴唇[0030]所述声音到嘴唇机器学习模型架构被配置成将与个体相关联的输入音频集合编训练成基于所提供的具有捕获个体说话的图像帧的任何视频来预测所述个体的嘴唇关键[0031]所述嘴唇到图像机器学习模型架构被配置成接收目标帧以及从所述目标帧中的理期间使用。宽度损失函数测量地面真值与所述粗略重建帧和所述精细重建帧中的至少一个之间的嘴[0034]声音到嘴唇机器学习模型架构和嘴唇到图像机器学习模型架构可以基于多个不[0035]用于替换的目标帧可以是基于颌可以在所述目标帧中覆盖的最大面积进行掩码嘴唇)生成经修改的视频所需的总体后处理工作方面是有用的。特别地，提出了具体的调[0039]根据一方面，提供了一种用于生成用于嘴唇配音的输出视频的计算机实施的系对象I的初始视频数据对象V；接收对应于目标音频数据对象A'的时间同步的视位参数集合；并且使用机器学习网络处理所述初始视频数据对象V和所述时间同步的视位参数集合以生成输出视频数据对象V'，其中所述初始视频数据对象V中的初始嘴部区已用基于所述数据对象A中提取对应于所述初始音频数据对象A中的声谱图段的初始表情/视位代码集[0044]在一些实施例中，所述处理器被配置成基于所述初始表情/视位代码集合将在所述目标音频数据对象A'中识别到的视位与所述可用视位的视位库进行比较以识别不在所述多个图像帧数据对象I中的至少一个图像帧数据对象来生成所述输出视频数据对象V'。替换所述多个图像帧数据对象I中的至少一个图像帧数据对象的一部分来生成所述输出视[0048]在一些实施例中，所述处理器被配置成针对所述初始视频数据对象V中存在的每个字符迭代地生成所述输出视频数据对象V'。A'的时间同步的视位参数集合；以及使用机器学习网络处理所述初始视频数据对象V和所述时间同步的视位参数集合以生成输出视频数据对象V'，其中所述初始视频数据对象V中的初始嘴部区已用基于所述时间同步的视位参数集合生成的替换嘴部区据对象A中提取对应于所述初始音频数据对象A中的声谱图段的初始表目标音频数据对象A'中识别到的视位与所述可用视位的视位库进行比较以识别不在所述视位库中的视位子集，以及生成对应于不在所述视位库中的所述视位子集的新表情/视位述多个图像帧数据对象I中的至少一个图像帧数据对象来生成所述输出视频数据对象V'。替换所述多个图像帧数据对象I中的至少一个图像帧数据对象的一部分来生成所述输出视字符迭代地生成所述输出视频数据对象V'。模型架构中的至少一个是基于多个不同的人类个体身份模型架构中的至少一个在对所述个体的推理期间进行微调。略重建帧和所述精细重建帧中的至少一个的数，所述高度宽度损失函数测量地面真值与所述粗略重建帧和所述精细重建帧中的至少从所述目标帧中的嘴唇或颌几何形状学习到的关键点代码数据集合并且产生粗略重建帧；帧和所述合成嘴唇或芯片关键点数据集合两者来产生精细模型架构中的至少一个是基于多个不同的人类个体身份模型架构中的至少一个在对所述个体的推理期间进行微调。数，所述高度宽度损失函数测量地面真值与所述粗略重建帧和所述精细重建帧中的至少给计算机服务器或计算装置以被加载或执行各种[0088]图2是根据一些实施例的用于将音频分解成音素并且检索相关视位的过程的说明[0089]图3是根据一些实施例的解缠过程的框图，在所述框图中图像被编码成具有所有[0090]图4是根据一些实施例的嘴唇配音过程的框图，在所述框图中从音频中提取表情[0091]图5是示出了根据一些实施例的解缠网络训练过程的框图，在所述框图中在潜在代码上和在来自数据库的具有正确姿势和表情[0092]图6是根据一些实施例的在不同姿势和表情(视位)的情况下用于数据合成的方法[0094]图8是描绘如图4所示的嘴唇配音者系统(LipDubbersystem)性能的流程图框[0097]图11是第一音频信号wa的声谱图段与第二音频信号的声谱图单元进行比较的视[0099]图13A示出了根据一些实施例的示例声音到嘴唇(voice_to_lip)网络的机器学习[0108]图20示出了可以在商业实际实施中作为处理流水线的一部分使用的示例计算过述视频以使得视频V'的帧与其各自的音频A'的帧匹配[0118]图2是根据一些实施例的将音频分解成音素并且检索相关视位的过程200的说明素/视位连接可以通过以下来获得：通过具有语音转录和对应帧作为值对的监督训练数据[0125]音素到视位(P2V)代码本可以用于对各种不同的音素和其对应的视位进行分类。其可以从原始输入中检索到，否则其可能需要使用所提出的解缠模型如本文所述进行生[0131]代码可能是长度为N的向量。根据可以包含如StyleGAN等生成器网络的机器学习提供给生成器网络时产生相同图像的代码来学感知器(MLP)网络340a、340b集成到代码w+350a、350b中。w+350a、350b可以被传递到如[0142]编码器330和MLP网络340a、340b可以在[0146]对向量或代码的修改允许在通过生成器传递回图像时对图像特性的代码通过多层感知器(MLP)网络440集成到代码w+450中。w+450可以被传递到如StyleGAN等经预训练的生成器460以生成新的图[0149]在一些实施例中，获得每个个体角色的单独音频音轨(或从组合音频音轨中提谱图si传递到另一个编码器或单独的模块(如音素到视位模块)，以从si中产生称为es的表s匹配。[0160]Pixel2style2pixel(pSp)是一个图像到图像翻译框架。pSp框架为将真实图像编码到经预训练的StyleGAN生成器的潜在空间中提供了一种快速且准确的解决方案。另外，标记的真实数据可以用于学习解缠。[0165]图6是根据一些实施例的在不同姿势和表情(视位)的情况下数据合成600的说明[0167]美学中的恐怖谷是一种物体与人类的相似程度与对所述物体的情感反应之间的成以不同姿势和ID的合成数据而完成的，并且可以进行上文数据合成600中描述的额外步[0172]在一些实施例中，嘴唇配音可以由两部分组成。流程图700描绘了第一部分预处[0174]图8是描绘了如图4所示的嘴唇配音者性能的流程图框图800。根据音频A'的视位[0176]所述系统可以由计算机处理器或用于生成特效或修改视频输入的系统提供的一服务器，其中接收输入视频并执行翻译子例程或过程来修改输入视频以生成新的输出视[0179]此系统可以用于例如以计算方式自动化先前的手动嘴唇配音/重绘练习，并且与先前方法相关的克服问题是嘴唇配音，其中说目标语言的替换声音男演员/女演员必须将音节与原始嘴唇移动匹配(导致呈目标语言的时间或剧本不协调)或者屏幕上的嘴唇移动[0180]输入数据集合在902处获得例如作为由工作室或内容创建者提供的视频馈送，并以具有可以单独或一起提供的相关音频音轨。音频[0182]视位提取引擎904适于从目标音频或剧本中识别必要的视位和其相关联的时间代[0183]视位合成引擎906被配置成将必要的视位与来自原始视频数据对象的已知视位集[0184]视位解缠引擎908是一组机器学习模型，所述一组机器学习模型被单独调整以在控制机器学习生成器网络912时分解或分离与各种视位相关联的嘴部移动相关的移动，所述机器学习生成器网络然后用于使用控制参数生成器引擎910语言给角色重新配音(例如，在原始音频因一些原因不可用或简单地不符合期望的情况[0190]如图所示，计算装置1000包含通过消息总线进行通信的一个或多个处理器1002、暂时性计算机可读介质)可以使用文件系统来组织，由管控计算装置的整体操作的操作系[0195]软件指令由处理器1002从计算机可读介质来执行。例如，软件可以通过I/O接口[0196]存储在计算装置1000的存储器1004内的示例软件组件和数据可以包含进行机器[0198]图11是第一音频信号wa的声谱图段与第二音频信号的声谱图单元进行比较的视可以是输入视频V中呈语言L的音频A的音频信号。第二音频信号wb的声谱图段中的每个段识别与第一音频信号wa相同的第二音频信[0200]音频信号wa可以与音频信号wb对齐，以确定第二音频信号wb的声谱图段的对应视a的某些声谱图段可以与第二音频信号wb的某些声谱图[0202]这是一个任选步骤，所述步骤可以用于绕过某些类似的帧以减少整体计算时[0204]所述过程可以用于其中不能简单地从输入视频V拷贝帧的情况，如关于图11所解以包含声音到嘴唇网络和嘴唇到图像网络。声音到嘴唇网络可以是一个转换器神经网络[0205]转换器神经网络是一种通过跟踪序列数据中的关系来学习上下文并因此学习意义的神经网络。声音到嘴唇网络可以用于根据说话者来个性化嘴唇的几何形状(通过微[0206]嘴唇到图像步骤可能涉及接收嘴唇的个性化几何形状(根据音频)以及需要配音[0209]在预训练步骤1202期间，例如使用各个个体的身份或身份+移位对来训练声音到[0212]图13A示出了根据一些实施例的示例声音到嘴唇网络1300。声音到嘴唇网络可以处理音频令牌和先前嘴唇关键点以合成嘴唇关键点序列的转换器解码器由训练集合中嘴唇和声音的身份键入的独热嵌入(one_hotembedding)作为输入。此选择[0224]图13B示出了根据一些实施例的示例序列采样器1350。序列采样器可以包含基于1512可以通过自适应分组归一化(group_wisenormalization)层传递到个人代码本1508述关键点代码乘以代码本的特征向量以产生最终的以避免使用经预训练的E4E编码器从头开始训练编码器，并且不会由于掩码而遗漏下部面每个帧的规范的嘴唇形状改变为正确的嘴唇形状来直接过MLP，以确定线性组合的系数。然后，所述系统使用格拉姆_施密特方法(Gram_Schmidt[0245]在最后一步骤中，所述系统将所得的潜在代码从前一步骤传递到经预训练的StyleGAN生成器并输出图像1710。训练过程由生成器输出与给定帧之间的L2和LPIPS损失[0247]图18A和图18B是根据一些实施例的跨两个页面映射的过程流程图(包含子过程[0250]子过程1800A从训练数据开始，并且在此方法中，描述了与用于形成嘴唇的系统有单个说话者在对着摄像头说话。这一数据[0258]机器学习模型LipPuppet经过训练，以在仅给定音频和身份的情况下生成嘴唇关[0259]LipPuppet可以在不进行微调的情况下直接使用，但是嘴唇将不会捕获每个独特[0282]某些面部表情(如笑纹)的存在限制了机器学习模型在面部上定位嘴唇方面的灵关于嘴唇形状的提示，从而导致信息走私。这可能导致模型在推理期间过度关注笑纹或脸区进行掩码改进了机器学习模型性能。[0294]Lip2Face的推理过程可以使用LipPuppet生成的关键点。Lip2Face还可以使用直[0303]图19是根据一些实例的用于执行嘴唇配音的系统的组件的示例示意性框图190其可以以存储在非暂时性计算机可读存储器上的模块化计[0304]图20示出了可以在商业实际实施中作为处理流水线的一部分使用的示例计算过给计算机服务器或计算装置以被加载或执行