CN119494996A 一种手势动作翻译模型的训练方法和手势动作翻译方法 （中移(成都)信息通信科技有限公司）

由贸易试验区成都高新区和乐二街一种手势动作翻译模型的训练方法和手势本发明公开一种手势动作翻译模型的训练2将所述第一特征信息和所述第二特征信息输入至所述手在所述视频数据存在异常的情况下，获取所述目标人对应的标注数据和目标视频数将所述标注数据、所述目标视频数据、所述第一特征信4.根据权利要求2所述的方法，其特征在于，所述获取所述目标人对应的目标视频数根据所述视频数据和所述风格图片信息确定所述手势动作对应3对所述第三目标帧信息进行稠密卷积网络DenseNet处理，得到获取所述视频数据中的手部区域对应的第一参数以及与所述手部区域相邻的区域对利用GCN和时序卷积网络TCN对所述第将所述第七特征信息输入至所述手势动作翻译模型，得到所述目标人对应的预测结12.根据权利要求11所述的方法，其特征在于，所述第七特征信息包括第六子特征信4根据所述情绪分类结果和所述情绪类别标注数据确定基于所述文本翻译结果和所述文本标注数据确根据所述手势预测结果和所述手势标注数据确定所述判断根据所述视频数据是否能确定目标信息根据所述视频数据确定所述目标人对应的坐标数据；所基于所述目标视频数据重新确定所述目标人第一获取单元，用于在目标人进行手势动作时预测单元，用于基于所述目标信息对所述手势动作输入单元，用于将所述第一特征信息和所述第二特征信息判断单元，用于判断根据所述视频数据是否能5被至少一个处理器执行时，实现权利要求1至13任一项所述的手势动作翻译模型的训练方6[0014]在上述方案中，所述标注数据包括所述目标人的情绪类别对应的第一标注数据、所述手势动作对应手势的第二标注数据和所述手势动作进行翻译成文本对应的第三标注7[0027]对所述第一目标帧信息进行卷积神经网络(ConvolutionalNeuralNetwork，[0036]对所述第三目标帧信息进行稠密卷积网络(DenseConvolutionalNetwork，8[0040]获取所述视频数据中的手部区域对应的第一参数以及与所述手部区域相邻的区[0044]对所述手势类别特征信息进行时间图卷积网络(TemporalGraphConvolutional[0059]判断根据所述视频数据是否能确定目标信息，在确定到所述目9颜色、纹理、运动方向等进行数据建模，一般采用主成分分析(PrincipalComponent前帧动作学习手语视频中手势动作变化趋势对手势学习的辅助；忽略手语中情绪的表达：[0110]本发明实施例提供一种手势动作翻译模型的训练方法，图5为本发明实施例提供[0120]S504：将所述第一特征信息和所述第二特征信息输入至所述手对所述视频数据中的目标人的手势动对应手势进行人工标注或算法模型计算得到手势标[0137]需要说明的是，所述风格迁移模块网络架构采用基于视觉几何组(Visual[0139]上式(1)中，ygt为正确数据也就是输入图片数据，ygt-pred为模型训练时的输出数[0140]所述将所述视频数据和所述风格迁移数据进行融合处理，得到所述目标视频数的面部表情；所述第二类型表征所述目标人的躯干形态可以理解为所述目标人的人体躯[0172]所述对所述手势类别特征信息进行时间图卷积网络T_GCN处理，得到所述第五子[0176]所述对所述第一特征信息和所述第二特征信息进行拼接处理，得到第七特征信对基于特征提取模块学习到的当前帧情绪特征向量采用GRU模块基于时序学习得到取模块学习到的当前帧手势类别特征向量采用Transformer模块，基于自注意力模块学习到的当前帧手势预测特征向量基于GRU和多层感知器(multi_layer[0195]所述根据所述手势预测结果和所述手势标注数据确定所述手势动作预测损失函[0199]本发明实施例还提供一种手势动作翻译方法，图6为本发明实施例提供的手势动[0205]采用本发明实施例的技术方案，得到的手语翻译结果获取视频序列(拍摄的手语数据，将所述全量数据(迁移后的视频数据)通过Openpose获取每一帧人体骨骼节点的2维空间特性方面，引入一个可学习的空间权重乘得到Aact，该权重用来赋予邻接矩阵中重要边(节点)较大的权重且抑制非重要边(节点)A2按位相乘得到Astruct，该权重用来赋予邻接矩阵中与躯干信息较大的权重且抑制非重要针对面部区域采用3层CNN卷积网络提取像素特征；基于68个关键点骨架图采用GCN图网络[0239]人体躯干子模块(辅助模块)：手势动作及情绪往往会以肢体动作进行配合表唇部区域采用DenseNet网络提取像素特征；基于唇部关键点骨架图采用GCN图网络学习图[0243]图12为本发明实施例提供的又一种手语翻译训练模型的流程示意图，如图12所提取到的特征，拼接特征获取当前帧下对应的情绪特征向量手势类别特征向量[0246]手语文本翻译任务：基于特征提取模块学习到的当前帧手势类别特征向量[0247]手势预测任务：基于特征提取模块学习到的当前帧手势预测特征向量基[0257]步骤3.1将实际场景中采集到的RGB视频通过姿态估计算法(如OpenPose)获得每基于迁移后视频输入OpenPose获得每一帧人体骨骼节第五特征信息表征所述第三目标帧信息对应的像素特征信息；对所述唇部特征信息进行15为本发明实施例提供的手势动作翻译装置的组成结构示意图，如图15所示，所述装置[0291]需要说明的是，图16为本申请实施例提供的电子设备的一种硬件实体结构示意和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，ReadOnly磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，RandomAccess静态随机存取存储器(SRAM，StaticRandomAccessMemory)、同步静态随机存取存储器(SSRAM，SynchronousStaticRandomAccessMemory)、动态随机存取存储器(DRAM，DynamicRandomAccessMemory)、同步动态随机存取存储器(SDRAM，SynchronousDynamicRandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，储器1603旨在包括但不限于这些和任意其它适合类型的[0293]上述本申请实施例揭示的方法可以应用于处理器1601中，或者由处理器1601实者光盘等各种可以存储程序代码的介质。例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以