CN113936090B 三维人体重建的方法、装置、电子设备及存储介质 （中国科学院自动化研究所）

号TingtingLiao,etal..3DConteReconstruction.BiometricRecognition.CCBR2021.LectureNotesiScience.2021,第12878卷128-138.人体重建模型为利用扫描人体后的人体扫描模型渲染到不同背景图像中生成的图像进行训练人体重建模型能够学习到全局的姿态信息以及2将所述人体图像输入至训练好的三维人体重建模型，得到所其中，所述训练好的三维人体重建模型为利用扫描人体后的在所述将所述人体图像输入至训练好的三维人体重建模型，根据所述人体扫描模型、所述相机投影参数以及所述背景图像在所述人体扫描模型所处的三维空间中采样得到点云并生成所述点云中各个点对应根据所述图像特征、所述全局特征以及所述局部特征确定所述根据所述点云在人体内部的概率集合确定第一损失将所述第一损失和所述第二损失进行加权计算后更新所述三维人体重建模型的参数，在所述人体扫描模型上采样N个点并给每个点的根据所述参数化人体模型以及所述点云确定所述点连接所述参数化人体模型表面的点中所述距离小于预3将所述第一损失和所述第二损失进行加权计算后处理模块，用于将所述人体图像输入至训练好的三维人体重建模型，模型渲染到不同背景图像中生成的图像进行训练后得在所述将所述人体图像输入至训练好的三维人体重建模型， 根据所述人体扫描模型、所述相机投影参数以及所述背景图像生在所述人体扫描模型所处的三维空间中采样得到点云并生成所述点云中各个点对应根据所述图像特征、所述全局特征以及所述局部特征确定所述根据所述点云在人体内部的概率集合确定第一损失将所述第一损失和所述第二损失进行加权计算后更新所述三维人体重建模型的参数，8.一种电子设备，包括存储器、处理器及存储程序被处理器执行时实现如权利要求1至6任一项所述4[0012]根据所述人体扫描模型、所述相机投影参数以及所述背景图像生成图像训练集、[0013]在所述人体扫描模型所处的三维空间中采样得到点云并生成所述点云中各个点[0017]将所述第一损失和所述第二损失进行加权计算后更新所述三维人体重建模型的5[0027]进一步地，所述根据所述参数化人体模型以及所述点云确定所述点云的局部特[0031]进一步地，所述根据所述点云在人体内部的概率集合确定第一损失以及第二损扫描模型渲染到不同背景图像中生成的图像进行[0044]根据所述人体扫描模型、所述相机投影参数以及所述背景图像生成图像训练集、6[0045]在所述人体扫描模型所处的三维空间中采样得到点云并生成所述点云中各个点[0049]将所述第一损失和所述第二损失进行加权计算后更新所述三维人体重建模型的7[0086]三维人体重建模型200用于在相机100发送的人体图像输入后得到人体图像的三[0088]基于上述所示意的系统架构，图2为本发明实施例提供的一种三维人体重建的方模型渲染到不同背景图像中生成的图像进行训练后得8[0103]将人体扫描模型进行归一化处理后，将其沿垂直于地平面的坐标轴比如y轴随机[0112]步骤303，在人体扫描模型所处的三维空间中采样得到点云并生成点云中各个点9[0115]需要说明的是，上述标注方式中一个点的标签为1表示该点在人体内部的概率为标增加噪声后，采样的N个点中一部分变成人体扫描模型内部的点或人体扫描模型外部的人体表面一定距离范围内采样可以使得三维人体重[0136]需要说明的是，还可以通过基于SMPL(SkinnedMulti-PersonLinear)网络构建[0143]f9(v)=p(h(v))pp[0157]步骤305，根据图像特征、全局特征以及局部特征确定点云在人体内部的概率集[0159]在一种可能的实施方式中，通过基于多层感知网络(MultilayerPerceptron，MLP)构建的点云分类模型预测点云中各个点在人体内人体重建模型能够同时学习到全局的姿态信息pkpf(frn)表示将射线r上第j+1点输入模型得到其在人体内部的概率。[0184]本发明实施例中，根据点云在人体内部的概率集合计算其在不同视角下的剪影[0199]上述方案，通过基于光线追踪的可微渲染法将网络输出[0201]上述方案，通过提取点云的全局特征和局部特征为点云提供了语义信息与强约[0202]基于同一发明构思，图7示例性的示出了本发明实施例提供的一种三维人体重建体扫描模型渲染到不同背景图像中生成的图像进行训练[0208]根据所述人体扫描模型、所述相机投影参数以及所述背景图像生成图像训练集、[0209]在所述人体扫描模型所处的三维空间中采样得到点云并生成所述点云中各个点[0213]将所述第一损失和所述第二损失进行加权计算后更新所述三维人体重建模型的体后的人体扫描模型渲染到不同背景图像中生成的图像进行训练后[0238]基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介渲染到不同背景图像中生成的图像进行训练后的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单令用以使得一台计算机设备(可以是个人计算机，用户生活模式预测装置，或者网络设备等)执行各个实施例或者实施例的某些部分所述的用户生活的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；