CN112419419B 用于人体姿势和形状估计的系统和方法 （上海联影智能医疗科技有限公司）

人体的姿势和形状可以基于与人体相关联人体的图像或从人类运动捕捉系统的输出来导成对的关节位置信息和人体模型参数。ANN的训练可以根据被设计为提高恢复的准确度的多个数据，使得ANN即使在部分观察到的关节位置的2经由所述人工神经网络基于与所述人的所述一经由所述人工神经网络基于与所述人的所述一基于所述第一多个参数和第二多个参数，生成表示所述人的所述姿其中，所述人工神经网络被训练为确定所述第一多个参所述人工神经网络基于在所述训练数据中包括的所述关节位置来预测与所述人体相所述人工神经网络基于所推断的关节位置与在所述训练数据中包括的所述关节位置其中，用于训练所述人工神经网络的所述训练数据包括所述述多个关节位置的排除的子集的情况下预测与所述人体相关联的所述姿势网络基于所述预测的姿势和形状参数与在所述训练数据中包括的所述姿势和形状参数之所述人工神经网络基于在所述训练数据中包括的所述2D关节位置来预测与所述人体所述人工神经网络使用所述预测的姿势和形状参数来推断所述人体的三维(3D)关节所述人工神经网络将所述3D关节位置投影到图像空间中，以获得对应的2D关节位置；3所述人工神经网络基于所投影的2D关节位置与在所述训练数据中包括的所述2D关节所述人工神经网络基于在所述训练数据中包括的所述2D和3D关节位置来预测与所述所述人工神经网络使用所述预测的姿势和形状参数来推断所述人体的3所述人工神经网络将所述3D关节位置投影到图像空间中，以获得对应的2D关节位置；所述人工神经网络基于所述所投影的2D关节位置与在所述训练数据中包括的所述2D关节位置之间的差异以及所述所推断的3D关节位置与在所述训练数据中包括的所述3D关节位置之间的差异来调节其执行参数中的所述独立于与所述人的所述形状相关联的所述第二多经由所述人工神经网络基于与所述人的所述一经由所述人工神经网络基于与所述人的所述一基于所述第一多个参数和第二多个参数，生成表示所述人的所述姿其中，所述人工神经网络被训练为确定所述第一多个参所述人工神经网络基于在所述训练数据中包括的所述关节位置来预测与所述人体相所述人工神经网络基于所推断的关节位置与在所述训练数据中包括的所述关节位置其中，用于训练所述人工神经网络的所述训练数据包括所述个关节位置的排除的子集的情况下预测与所述人体相关联的所述姿4[0002]本申请要求2019年11月27日提交的临时美国专利申请号62/941,203和2020年8月[0004]真实地表示患者的姿势和形状的计算机生成的人体模型可以用于广泛的医学应[0005]用于恢复患者的人体模型的常规技术依赖于具有关于患常至少部分地被医疗设备和/或衣物挡住，并且在这些设置中获得关于患者体形的信息也5测的姿势和形状参数与在训练数据中包括的姿势和形状参数之间的差异来调节(例如，优[0008]为了获取基于关于人的关节位置的部分知识(例如，人的某些关节位置可能被遮经网络的训练可以涉及向人工神经网络提供关节位置的子集并且迫使人工神经网络使用[0009]本文所述的关节位置可以包括人的二维(2D)和/或三维(3D)关节位置。当使用至位置与在训练数据中包括的2D关节位置之间的差异来调节[0012]图1是例示了用于基于与人相关联的关节位置信息来恢复人的姿势和形状的示例[0013]图2是例示了训练人工神经网络以学习用于预测人的姿势和形状的模型的示例的与人相关联的关节位置信息来生成表示这种恢复的人的姿势和形状的人体模型。如图所6用一个或多个卷积编码器基于从图像提取的2D特征和/或3D特征来导出。卷积编码器的示[0018]关节位置102也可以从被配置为输出人的关节位置信息的系统或应用程序导出。[0019]关节位置102可以不包括如在图像中描绘或由人类运动捕捉系统输出的人的所有的关节位置102可以仅包括人的关节位置的为输入)，并且基于关节位置102确定与人的姿势相关联的多个参数θ和与人的形状相关联个的3个参数和用于根关节的3个参数)，并且回归后的形状参数阝可以包括主成分分析7线性(skinnedmulti-personlinear，SMPL)模型：M(β;θ;Φ):R82→R3XN(其中，Φ可顶点可以由系统100的网格生成器108用来例如通过以下方式生成人体模型的视觉表示连接(例如，经由正向运动学(forwardkinematics))，以及利用线性混合蒙皮(linear[0024]姿势和形状回归器104可以被配置为将姿势参数θ与形状参数β分开或独立地恢有恢复的姿势参数或形状参数中的另一者的情况下用于系统或应用程序(例如，人类运动[0025]姿势和形状回归器104可以被训练为使用训练数据来预测姿势参数θ和形状参数种成对的训练数据可以例如从公众可获得的人类运动捕捉(MoCap)数据库中获得，并用作数(例如，与ANN204的一个或多个全连接层相关联的初始权重)基于关节位置信息来预测姿势和形状参数208。初始执行参数例如可以通过从一个或多个概率分布或基于具有类似可以例如基于预测的姿势和形状参数208与真实数据参数206之间的欧几里德(Euclidean)[β,θ]表示真实数据姿势和形状参数206。损失函数还可以基于L1距离、豪斯多夫练还可以利用关节位置回归器212来基于预测的姿势和形状参数208推断关节位置214(例基于在输入处接收到的姿势和形状参数来输出关节位置。关节位置214例如可以通过将线8[0029]因此，ANN204可以以使总损失函数L最小化为目标来调节其执行参数(例如，权基于输入的2D关节位置来预测姿势和形状参数208，并且基于预测的姿势和形状参数经由包括的输入姿势和/或形状参数与预测的姿势和/或形状参数之间)或3D关节位置损失(例[0031]ANN204还可以被训练为基于人的关节位置的不完整(例如，部分)知识来预测人如，标记为不可用或观察不到)包括在训练数据中的关节位置的一个或多个随机选择的子网络系统可以初始化其执行参数，诸如与神经网络系统的一个或多个隐层(例如，全连接层)相关联的权重。参数例如可以通过采样一个或多个概率分布或基于具有类似架构的另9之间的均方误差(MSE)或欧几里德距离(例如，其可以与训练数据集中的关节位置信息配对)和/或输入的关节位置和/或从预测的姿势和形状参数推断的关节位置之间的MSE或欧[0033]在310处，神经网络系统可以例如经由反向传播过程来对其当前执行参数执行调[0034]本文所述的神经网络系统(例如，图1中的姿势和形状回归器104或图2中的ANN程门阵列(FPGA)或能够执行本文所述的功能的任何其它电路或处理器。神经网络系统400[0035]应当注意，神经网络系统400可以作为独立装置操作或者可以与其他计算装置连