CN119444943A 基于细粒度语义描述的手势动作视频生成方法和装置 （浙江大学）

基于细粒度语义描述的手势动作视频生成本发明公开了一种基于细粒度语义描述的于描述视频帧中手势动作的细粒度语义描述文和降噪生成模块中的去噪噪声之差构建损失函模型基于输入的随机向量和描述手势动作的细基于细粒度语义描述文本生成高质量含有手势2对原始视频进行预处理和数据增强后，构建由视频帧和用于描述基于视频编码模块中的加入噪声和降噪生成模块中的去噪噪利用视频生成模型基于输入的随机向量和描述手势动作的细粒度语义描述文本进行对原始视频进行清洗和切分，得到视频片段，此时每个视频片段对应针对单动作描述文本，将对应的视频片段拆解为视频帧，并针对复合动作描述文本，将复合动作描述文本按照动作顺序进所述视频编码模块包括CausalVAE编码器、加噪过程、以及VIT模型，视频帧判断经过CausalVAE编码器编码得到视觉块，视觉块再经过加噪过程进行多时间步加噪得到加噪的所述文本编码模块采用mT5翻译大模型中的作，输入潜在向量在Transformer编码器中基于文本向量的上下文引导经过多时间步进行向量再经过线性解码和形状调整操作得到最终3行密集神经渲染表示方式进行渲染得到表示面部和上半身语义信息的CCBR图像和表示眼在渲染时通过改变相机位置和相机视角来进行增强渲染，得到数据增强的视频帧图样本数据构建单元，其用于对原始视频进行预处理和数据增强后，构建由视于描述视频帧中手势动作的细粒度语义描述文训练单元，其用于基于视频编码模块中的加入噪声和降视频生成单元，其用于利用视频生成模型基于输入的随机向量和描述实现权利要求1_7中任一项所述的基于细粒度语义描4提高模型对驱动信息的理解能力和对视频结构的调法和装置，旨在实现基于细粒度语义描述文本生成高质量含有手势动作的通用数字人视5基于视频编码模块中的加入噪声和降噪生成模块中的去噪噪声之差构建损失函利用视频生成模型基于输入的随机向量和描述手势动作的细粒度语义描述文本[0011]本发明基于细粒度语义描述的手势动作视频生成模块的改进技术构思是一个分帧判断经过CausalVAE编码器编码得到视觉块、视觉块再经过加噪过程进行多时间步加噪码和形状调整操作，输入潜在向量在Transformer编码器中基于文本向量的上下文引导经去噪后的去噪后向量再经过线性解码和形状调整操作得到6和用于描述视频帧中手势动作的细粒度语义描述用于实现上述基于细粒度语义描述的手势动作视[0023]图1是实施例提供的一种基于细粒度语义描述的手势动作视频生成方法的流程7图7是实施例提供的基于细粒度语义描述的手势动作视频生成装置的结构示意将原始视频按照人物的形象和动作特征划分为多段视频片段，每段视频的时长控制在5至89[0035]还对提取的关键点进行密集神经渲染表示方式进行渲染得到表示面部和上半身块再经过加噪过程进行多时间步加噪得到加噪的视觉块，加噪的视觉块再经过VIT模型编结构使得CausalVAE编码器能够有效捕捉和学习数据中的因果关系，增强在手势动作视频本编码模块，具体选择于mT5翻译大模型中的文本编码器部分对文本输入进行加工处理。[0043]实施例中，降噪生成模块采用DiT扩散模型（DiffusionTransformer，基于在向量在Transformer编码器中基于文本向量的上下文引导经过多时间步进行去噪，在每[0044]DiT扩散模型在时序一致性保持方面表现出显著的优势，这主要得益于其架构设对时序信息的理解。这种上下文感知机制使得DiT能够有效捕捉和维持时间序列中的动态使得模型在处理时序数据时具备了更强的关联性。这种交互不仅增强了局部细节的一致性，还确保了全局结构的连贯性，有效防止了时间维度上的跳跃或断裂现象。最后，[0046]实施例中，视频解码模块采用CausalVAE解码器，这样构建的训练框架采用的练中建立自然语言和肢体动作语言之间的联系，并从动作描述中准确还原相应的手势动[0054]上述基于细粒度语义描述的手势动作视频生成方法泛化[0057]如图7所示，实施例还提供了一种基于细粒度语义描述的手势动作视频生成装置模型基于输入的随机向量和描述手势动作的细粒度语义描述文本手势动作视频生成装置与基于细粒度语义描述的手势动作视频生成方法实施例属于同一性存储器中读取对应的计算机程序到内存中然后运行，以实现上述S1_S4所述的基于细粒