CN114550292B 一种基于神经运动控制的高物理真实感人体运动捕捉方法 （东南大学）

号一种基于神经运动控制的高物理真实感人本发明提出一种基于神经运动控制的高物体参考运动和物理角色当前状态中估计采样分所提出的基于神经运动控制的人体捕捉框架使2用协方差矩阵自适应策略优化初始分布，优化完成的分布D(ur,o:);依次处其中D(u,o)是由协方差矩阵自适应进化策略得到的分布，是由编码网络其中，为姿态解码网络回归得到的人体姿态，it和jt分别为回归得到的人体姿态和3该过程中Kullback-Leibler散度损失的权重系数λ降低为0.2；训练网络直至再次收S53：从估计分布中采样k个参考姿态的修Lra=llqr-⃞Il'2+ll:-j:Il2人物的动态特性对于基于物理的动作捕捉尤其重要，因而引入动4S56：所有结果中损失最小的仿真结果被用作下一帧物理角色的起始状态；重复步骤2.根据权利要求1所述的一种基于神经运动控制的高物理真实感人体运动捕捉方法，参数表示为人体参考骨架姿态参数包括3维模型平移、3维模型全局旋转和51维关节旋读取的参数，其中包含模拟姿态参数q和速度参数q;模拟姿态参数与人体参考骨架姿态参3.根据权利要求1所述的一种基于神经运动控制的高物理真实感人体运动捕捉方法，为了更好地重建人体与场景的交互，利用步骤S42中生成的可微分符号距离场进一步5其中为三维关键点的位置，SDF为采样操作；为了使该方法符合空中运动，加入了6[0002]人体运动捕捉在人机交互、个人健康管理和人类行为理解等方面有着多种应[0005]S1.人体运动学模型与人体动力到输入视频的人体特征得到，每帧拟合后的人体参考姿态参数组成完整的人体参考运动，型全局旋转和51维关节旋转，总维度为57维。物理角色状态s=(q,q)7[0008]S4.人体参考运动及人体体型估[0009]S5.高物理真实感人体运动捕捉：从人体参考运动中读取第t帧的人体参考姿态分布Q(μt,σt)。从估计得到的分布中采样k个参考姿态的修正值分别与人体参考姿态相加构成人体目标姿态将k个人体目标姿态输入物理引擎进行仿真，物理仿真，使用协方差矩阵自适应策略优化初始分布，优化完成的分布D(ur,o:)。依次处89[0042]为了更好地重建人体与场景的交互，利用步骤S42中生成的可微分符号距离场进q和j为关节角速度和线速度。,为肢体末端关节点到质心的二维向量；jCoM为质心的线速eproj=ollI(i)-PIl[0065]1.本发明所提出的基于神经运动控制的人体捕捉框架使用物理引擎提供硬物理离特定部件几何中心的方向。[0075](1)根据现有人体运动学数据集提供的人体骨骼长度和预定义的运动学树构建不的数据对分布编码神经网络进行预训练。将t时刻的参考姿态和t-1时刻的角色物理状态输入分布编码神经网络，得到估计的采样分布(Aqls,q):使用自适应进化策略优化得到的分布D(ur,o:)对编码器，即分布编码神经网络进行监[0091]本实施例中，Kullback-Leibler散度损失的权重系数λ在引入二分支解码器训练[0103]为了更好地重建人体与场景的交互，利用(6)中生成的可微分符号距离场进一步终可得到参考姿态所有帧的姿态通过上述过程即可得到人体参考运动q,即完成物理[0107](8)从视频的第一帧开始实现基于神经运动控制的人体运动捕捉。使用人体参考[0108](9)基于第t-1帧的物理角色状态和第t帧的参考姿态，本发明利用训练好的采样k次采样，得到参考姿态的修正值Agux将其分别与人体参考姿态相[0110](11)在仿真结果中加入由人体二维姿态得到的运动-动力学约束；对仿真结果进