CN114093033B 人体运动姿态迁移方法及装置、控制设备和可读存储介质 （深圳市优必选科技股份有限公司）

本申请提供一种人体运动姿态迁移方法及标仿人机器人的机体关节分布状况将目标运动视频的三维人体运动姿态信息重定向到目标仿容解析操作达成低成本且场景限制小的人体运2对所述目标运动视频的视频内容进行三维人体姿态识别，得到所述目根据目标仿人机器人的机体关节分布状况将所述目标运动视频的三维人体运动姿态其中，若所述目标仿人机器人的机体关节组成与人体骨根据目标仿人机器人的机体关节分布状况将所述目标运动视频的三维人体运动姿态信息根据人体骨骼关节组成与人型骨骼简化模型的简化关节组成之间的第一关节运动映模型通过将所述目标人物的人型骨骼框架与所述目标仿人机器人的人型骨骼框架进行骨根据人型骨骼简化模型的简化关节组成与所述目标仿人机器人的机体关节组成之间针对所述目标运动视频中每个视频帧图像，调用轻量级人体姿态按照所述目标运动视频的视频帧时序基于估计出的所有二维人体姿态信息构建所述将所述二维人体姿态序列输入到基于时序卷积网络实现的三维姿态估计模型中进行按照所述目标运动视频的视频帧时序依次针对所述目标运动视频中每个视频帧图像，将该视频帧图像所对应的人体关节角度分布信息与所述目标仿人机器人的机体关节分布3按照所述机器人运动姿态信息对所述目标仿人机器人的各机体关节的运动状态进行人体姿态识别模块，用于对所述目标运动视频的机体姿态定向模块，用于根据目标仿人机器人的机体关节分布状况其中，在所述目标仿人机器人的机体关节组成与人体骨骼关节组成部分对应的情况根据人体骨骼关节组成与人型骨骼简化模型的简化关节组成之间的第一关节运动映模型通过将所述目标人物的人型骨骼框架与所述目标仿人机器人的人型骨骼框架进行骨根据人型骨骼简化模型的简化关节组成与所述目标仿人机器人的机体关节组成之间机体运动控制模块，用于按照所述机器人运动姿态信息对所述目标4获取到人体运动姿态来进行姿态迁移，而这些特殊设备各自具有较为严苛的使用场景限[0009]根据目标仿人机器人的机体关节分布状况将所述目标运动视频的三维人体运动[0012]按照所述目标运动视频的视频帧时序基于估计出的所有二维人体姿态信息构建所述目标运动视频的二维人体姿态序列；[0013]将所述二维人体姿态序列输入到基于时序卷积网络实现的三维姿态估计模型中5[0015]利用逆运动学对所述目标运动视频的三维人体运动姿态信息进行人体关节角求解，得到所述目标人物在所述目标运动视频中每个视频帧图像处的人体关节角度分布信[0016]按照所述目标运动视频的视频帧时序依次针对所述目标运动视频中每个视频帧述目标运动视频的三维人体运动姿态信息编码到所述人型骨骼简化模型所在的运动空间[0019]根据人型骨骼简化模型与所述目标仿人机器人的机体关节组成之间的第二关节[0021]按照所述机器人运动姿态信息对所述目标仿人机器人的各机体关节的运动状态[0024]人体姿态识别模块，用于对所述目标运动视频的视频内容进行三维人体姿态识实现前述实施方式中任意一项所述的人体运67器12及所述通信单元13这些元件相互之间可通过一条或多条通讯总线或信号线实现电性Read-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-Only种实施方式中，所述轻量级人体姿态估计模型可通过采用带有空洞卷积的MobileNet网络五个细化阶段各自的3*3卷积核替换为深度可分离卷积核得到，此时修改后的OpenPose模8姿态估计模型能够结合同一物体在连续分布的多个彩色图像中每个彩色图像的二维姿态为W且空洞因子为D＝WB的1维卷积运算，弃函数)，以确保基于时序卷积网络实现的三维姿态估计模型能够比针对单帧图像的三维[0054]在本实施例中，所述处理器12可以是一种具有信号的处理能力的集成电路芯号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器[0056]在本实施例中，所述人体运动姿态迁移装置100包括至少一个能够以软件或固件100所包括的软件功能模块及计算机程序等。所述控制设备10可通过所述人体运动姿态迁移装置100针对目标人物的常规运动视频执行内容解析操作，来达成低成本且场景限制小9[0060]请参照图2，图2是本申请实施例提供的人体运动姿态迁移方法的流程示意图之括目标人物的各个人体骨骼关节在对应视频帧图像处于世界坐标系内表现出的关节位置动视频中提取出目标人物在目标运动视频处的三维人体模型中进行三维姿态估计，得到目标运动视频中所有视频帧图像各自的三维人体姿态信所述目标人物在所述目标运动视频处的具体运动以及所述机体关节组成中各个机体关节在所述目标仿人机器人的机体结构处的安装位置。目标仿人机器人上的机器人运动姿态信息与所述三维人体运动姿态信息保持相同运动效物的人型骨骼框架与所述目标仿人机器人的人型骨骼框架之间的差异在于对应框架中相连两个关节之间的骨头长度不一致，此时所述步骤S230可以包括子步骤S231及子步骤频中每个视频帧图像所对应的真实环境下表现出的三维人体姿态信息进行关节间骨头长人体关节角度分布信息包括所述目标人物的各个人体骨骼关节在对应视频帧图像所对应仿人机器人的机器人运动姿态信息中所有机体关节位置分布信息需按照所述目标运动视运动姿态信息明显无法通过将这个两个人型骨骼框架惊喜关节运动直接映射的方式应用作需要选定所述目标人物的人型骨骼框架与所述目标仿人机器人的人型骨骼框架中部分人机器人的人型骨骼框架中与锚定的关节结构相连的骨头边进行多次删除/合并操作实与所述目标仿人机器人的机体关节组成之间的第二关节运动映射关述三维人体运动姿态信息具有相同动作特性的动作人型骨骼简化模型的简化关节组成与所述目标仿人机器人的机体关节组成之间的第二关关节位置速度和/或关节力矩，使所述目标仿人机器人按照所述机器人运动姿态信息进行[0091]在本申请中，为确保所述控制设备10能够通过所述人体运动姿态迁移装置100执行上述人体运动姿态迁移方法，本申请通过对所述人体运动姿态迁移装置100进行功能模块划分的方式实现前述功能。下面对本申请提供的人体运动姿态迁移装置100的具体组成[0092]请参照图7，图7是本申请实施例提供的人体运动姿态迁移装置100的组成示意图人体姿态识别模块120及机体姿态定向模[0095]机体姿态定向模块130，用于根据目标仿人机器人的机体关节分布状况将目标运[0097]机体运动控制模块140，用于按照机器人运动姿态信息对目标仿人机器人的各机述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件[0100]另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，