CN113781659B 一种三维重建方法、装置、电子设备及可读存储介质 （深圳先进技术研究院）

待重建对象的图像进行特征提取，得到特征向设模板用于表征所述待重建对象的三维结构信2根据所述特征向量及针对所述待重建对象的预设模板，生成特征图，所将所述特征图输入至已训练的图卷积神经网络中，得到所述2.如权利要求1所述的三维重建方法，其特征在于其中，第1个所述功能模块的输入为所述图卷积神经网络的输3.如权利要求2所述的三维重建方法，其特后一个指定结构的输出与第1个所述功能模块的输入之间的残差为第1个所述功能模块的4.如权利要求2所述的三维重建方法，其特征在于，第i个最后一个指定结构的输出与第i-1个所述功能模块的输出之间的残差为第i个所述功能模5.如权利要求2所述的三维重建方法，其特征在第N个所述功能模块中：第一个所述卷积单元的输入为第N-1个所述功能模块的输6.如权利要求2至5任一项所述的三维重建方法，其3所述三维关节损失用于描述真实人体三维关节与预测人体三维关节之间的位所述表面法向损失用于描述真实人体网格的三角形面的法向量与预测人体网格的三所述表面边缘损失用于描述真实人体网格的三角形面的边长与预测人体网格的三角通过采用卷积神经网络的编码器对尺寸调整后的所述局部图像进行特9.一种电子设备，包括存储器、处理器以及存储在4[0002]针对人的身体部位的三维重建一直是计算视觉中的一个热点问题，在虚拟现实[0007]将上述特征图输入至已训练的图卷积神经网络(GraphConvolution5首先对该图像进行特征提取，得到用于表征上述待重建对象的形状特征信息的特征向量，[0030]在本申请实施例中，电子设备可通过自身所搭载的摄像头对待重建对象进行拍6以理解，该形状特征信息包括描述待重建对象的边界形状的轮廓特征和/或描述待重建对在一些冗余信息及噪声信息。为避免冗余信息及噪声信息影响到后续特征提取的准确性，7[0046]仅作为示例，电子设备针对人体所采用的人体网格图可以为SMPL(Skinned[0047]通过前文所示出的通用格式的图结构，电子设备可首先将该人体网格图表示为[0048]在一些实施例中，为了降低后续图卷积操作的计算复杂度，电子设备可以对该[0053]步骤101中所得到的2048维的特征向量为f∈R2048，步骤B1中所得到的4倍下采样8采用的手部网格图可以为MANO(handModelwithArticulatedandNon-rigid卷积神经网络的输入，第N个功能模块的输出为图卷积神经网络的输出，且N为大于2的整用于进行数据的计算及传输操作，第N个功能模块主要用于输出最后所预测的待重建对象指定结构的输入为第1个功能模块的输入(也即图卷积神经网络的输入)；最后一个指定结构的输出与第1个功能模块的输入(也即图卷积神经网络的输入)之间的残差为第1个功能出的数据不再需要进行数据归一化处理及激活函9[0074]ipeR表示预设模板的标度拉普拉斯矩阵。在待重建对象为人体，采用的预[0083]在一些实施例中，在待重建对象为人体的情况下，图卷积神经网络可使用神经网络的训练过程与一般的神经网络的训练过程基本无异，只是采用了新的损失函数，使得训练出的图卷积神经网络模型所输出的三维重建结果更加光滑完整，其实用性也更[0084]loss=λaLv+λbLj+λcLn+λdLeλbc及λd均为超参数。[0096]对应于上文所提供的三维重建方法，本申请实施例还提供了一种三维重建装[0104]在上述至少三个指定结构中：第一个指定结构的输入为第1个上述功能模块的输[0106]在上述至少两个指定结构中：第一个指定结构的输入为第i-1个上述功能模块的[0116]上述三维关节损失用于描述真实人体三维关节与预测人体三维关节之间的位置[0117]上述表面法向损失用于描述真实人体网格的三角形面的法向量与预测人体网格[0118]上述表面边缘损失用于描述真实人体网格的三角形面的边长与预测人体网格的[0131]在上述第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，第1[0132]在上述至少三个指定结构中：第一个指定结构的输入为第1个上述功能模块的输[0133]在上述第二种可能的实施方式作为基础而提供的第四种可能的实施方式中，第i[0134]在上述至少两个指定结构中：第一个指定结构的输入为第i-1个上述功能模块的[0135]在上述第二种可能的实施方式作为基础而提供的第五种可能的实施方式中，第N[0137]在上述第二种可能的实施方式作为基础，或者第三种可器902通过运行存储在存储器901的上述计算机程序时还[0144]上述三维关节损失用于描述真实人体三维关节与预测人体三维关节之间的位置[0145]上述表面法向损失用于描述真实人体网格的三角形面的法向量与预测人体网格[0146]上述表面边缘损失用于描述真实人体网格的三角形面的边长与预测人体网格的[0151]应当理解，在本申请实施例中，所称处理器902可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecific象的预设模板相结合来生成特征图，最后将该特征图输入至已训练的图卷积神经网络中，[0159]上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用计算机可读存储介质包含的内容可以根