CN114219890B 一种三维重建方法、装置、设备及计算机存储介质 （中国科学院深圳先进技术研究院）

to-LixelPredictionNetwork姿态信息输入到已训练的三维重建模型中进行点回归网络用于将2D姿态信息和3D姿态信息的2获取目标对象的2D姿态信息，所述2D姿态信息包括所述目标将所述2D姿态信息输入到已训练的三维重建模型中进行处理，得到所所述三维重建模型包括3D姿态回归网络和顶点回归网络；所述3D姿态态信息的拼接信息进行处理得到所述目标对象的所述第三变形层、所述第四全连接层和所述第四变形层用于将所述多利用第一损失函数和第一训练集对3D姿态利用第二损失函数和第二训练集对所述更新后的3D姿态回归网络和顶点回归初始网获取单元，用于获取目标对象的2D姿态信息，2D姿态信息包括处理单元，用于将所述2D姿态信息输入到已训练的三维重建模三维重建模型包括3D姿态回归网络和顶点回归网络；所述3D姿3所述第三变形层、所述第四全连接层和所述第四变形层用于将所述多6.一种计算机可读存储介质，其特征在于，所4[0002]早期的三维模型的构建一般依赖于例如三位扫描仪或者多视角相机等设备通过[0003]随着深度学习技术的不断发展，基于模型参数的三维重建方法成为了研究热基于模型参数的三维重建方法是通过训练优化姿势参数和形状参数来得到对应的三维模56层和第三全连接层，上述多个第一残差块用于从不同2D姿态信息中提取更高维度的特征。层输出的与2D姿态信息对应的3D姿态信[0033]在本申请实施例中，顶点回归网络包括如图1所示的依次连接的多个第一图卷积7[0037]为了降低计算的复杂度，在本申请实施例中各个图卷积层均采用切比雪夫图卷样层的过程包括构建基本的三维模型网格和对上述三维模型网格进行特征提取的上采样8[0052]在采样过程中，顶点对的收缩会丢失和/或重组原始网格(即基本的三维模型网[0054]其中，建立对应的下采样过程包括：将与三维模型对应的图拓扑结构定义为：ijk样矩阵对应与上采样过程的三维模型网格顶点[0058]综上，基于上述基本的三维模型网格与对应的上采样过程即可构建如图1所示的中间层中的一个上采样层，通过与第二残差块的结合可以实现提取一种分辨率的特征图。9有人体姿态数据集中的人体图像样本，例如，Human3.6M数据集、上下文中的常见对象(CommonObjectsinContext，COCO)数据集和/或多人合成3D人体姿态(Multiperson[0069]在一个示例中，本申请利用开源的人体姿态识别项目HRNet预测对应预设的人体由于使用开源的人体姿态识别项目HRNet获取人体的2D姿态信息，可以避免使用其他开源[0070]在一种可能的实施方式中，人体关节树可以使用不同格式(例如COCO格式、本申请根据共19个关键点(即0,1,……,17,18)的人体关节树和人体姿态识别项目HRNet获模型中的3D姿态初始回归网络和顶点初始归网络，即人体三维重建模型。上述训练过程中使用的损失函数参见公式(7)包括网格损λbc和λd[0084]基于上述训练集和公式(7)中的损失函数，可以对训练后的3D姿态更新回归网络将获取的人体2D姿态信息输入至已训练的三维重建模型进行处理，得到人体三维重建模[0088]②将进行标准归一化处理后的人体2D姿态信息输入至3D姿态回归网络中进行处[0092]示例性的，针对人体三维模型重建任务，本申请实施例可以根据多人线性皮肤(SkinnedMulti‑PersonLinear，SMPL)模板生成与人体三维模型对应的人体网格拓扑结表示在第二次下采样后获取到的顶点数为431的人体网格拓扑结构，表示在第三次下采样后获取到的顶点数为108的人体网格拓扑结构，表示在第四次下采样后获取到的经三个第一图卷积处理后得到的每个顶点的特预定义的拓扑结构依次经过进行卷积操作，从而基于不同顶点数的人体网格拓扑结构提取对应的特征图Fc，即Fc=[0096]顶点回归网络中的两个第二图卷积层用于降低将中间层输出的特征图中每个顶维度从128维降低到3维。经两个第二图卷积层的处理输出的特征图是人体网格拓扑结构[0097]下面以图1所示的三维重建模型为例，对本申请提供的三维重建模型的性能进行[0100]如表1所示是本申请提供的三维重建模型与其他方法采用相同训练集进行训练的于3D人体姿势和网格从2D人体姿势恢复的图形卷积网络的Pose2Mesh方法。平均关节位置换之后关节的平均误差；MPVPE表示预测的三维人体网格与真实三维人体网格各个顶点位[0102]如表2所示是本申请提供的三维重建模型与其他方法采用各自对应的训练集进行[0106]如表3所示是本申请提供的三维重建模型与其他方法在其他方面性能的对比结No.Param8.8M48.7mm0.9G2.5M47.4mm[0110]如图4为利用本申请提供的人体三维重建模型对不同图片进行处理后，得到的人[0113]处理单元102，用于将目标对象的2D姿态信息输入到已训练的三维重建模型中进201执行计算机程序203时实现上述各装置实施例中各模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序203通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器还可以用于暂时地存储已经输出或者将要输[0127]本实施例提供的终端设备可以执行上述方法实施例，其实现原理与技术效果类[0130]上述集成的