CN115115805B 三维重建模型的训练方法、装置、设备及存储介质 （深圳市腾讯计算机系统有限公司）

本申请公开了一种三维重建模型的训练方像包括至少一个真实训练图像和至少一个合成2获取多个训练图像；其中，所述多个训练图像包括至少一个真对于所述真实训练图像，采用深度图预测模型生成所述真实训练图像通过所述三维重建模型根据所述训练图像，得到所述训练图像对应的三维重建信息，所述三维重建信息用于确定所述训练图像中的目标对象在三维空间中的三维根据所述训练图像对应的三维重建信息和三维重建标签，对所述三根据所述真实训练图像对应的三维重建信息和三维重建标签，计算得到第一训练损根据所述合成训练图像对应的三维重建信息和三维重建标签，计算得到第二训练损根据所述总训练损失对所述三维重建模型的参根据采用所述有向距离场形式表示的所述三维重建信息和三维重所述根据所述训练图像对应的三维重建信息和三维重建标签，对所述根据所述训练图像对应的采用所述有向距离场形式表示的所述三维重建信息和三维3所述对所述预测深度图像进行空间转换，得到所述真实训练图像对应的三维点云数对上采样后的所述预测深度图像进行空间转换，得到所述真实训练通过所述三维重建模型根据所述训练图像，得到所述训练图像对通过所述三维重建模型根据所述多个采样点分别对应的特征信所述特征体素提取子模型用于根据所述训练图像，得到所述训练图像对应的特征体所述三维重建子模型用于根据所述特征体素，得到所述训练图像对应的三维重建信9.根据权利要求1至8任一项所述的方法，其特征在4信息生成模块，用于通过所述三维重建模型根据所述训练模型训练模块，用于根据所述训练图像对应的三维重建信息和三程序，所述计算机程序由处理器加载并执行以实现如上述权利要求1至9任一项所述的方5[0001]本申请实施例涉及人工智能技术领域，特别涉及一种三维重建模型的训练方法、息，所述三维重建信息用于确定所述训练图像中的目标对象在三维空间中的三维几何构6[0018]使用真实训练图像生成三维重建标识并与合成训练图像对三维重建模型进行半[0030]人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控7[0032]计算机视觉技术(ComputerVision，CV)计算机视觉是一门研究如何使机器“看”8接近a的边界(符号距离函数为零)它的值减小，并且它在a之外取负值。9[0056]请参考图2，其示出了本申请一个实施例提供的三维重建模型的应用场景的示意加了将现实生活中的用户投影到虚拟的游戏世面有助于克服仅仅通过合成数据对三维重建模型进行训练导致的三维重建模型的拟合性于提升通过训练后的三维重建模型得到三维人的表征目标对象，所说经过真实数据训练的网络模型(指本申请实施例中三维重建模型)，[0061]请参考图3，其示出了本申请一个实施例提供的三维重建模型的训练方法的流程方法可以包括如下几个步骤(310-330)中的至少建模型能够从图像中获得比较准确的三维几何三维重建信息用于确定训练图像中的目标对象在三维空间中的三目标对象在三维空间中表面(或者称为临界[0083]图4是本申请的一个示例性实施例提供的三维重建模型的训练方法的示意图。计模型进行训练之前，计算机设备获取至少一个训练图像以及训练图像分别对应的训练标[0092]在一些实施例中，计算机设备根据训练图像对应的三维重建信息和三维重建标应的三维重建信息和三维重建标签之间的均方误差或差的绝对值，来确定模型的训练损正则化方法或者L2范数的正则化方法。L1正则化和L2正则化可以看作是损失函数的惩罚距离场用于表征至少一个空间点与目标对象对应的三维几何构型表面的距离；方法还包表面(临界面)，在a内的空间点x对应的距离值符号为正，随着空间点x接近a的边点x的距离值减小。当空间点x处于a之外时采用有向距离场(或者有向截断距离场)形式表示的情况下，对三维重建信息进行分类处间点A在的距离值为-0.1，则对于空间点A，三维重建信息和三维重建标签之间的差距为[0118]下面通过几个实施例对训练图像及训练图像对应的三维重建标签获取过程进行真实人体图像)，通过以下几个步骤可以生成真实人体图像对应的三维重建标签的生成过[0155]在一些实施例中，特征体素提取子模型是卷积神经网络中的编码多个通用的pixel2pixel算法模型，每个pixel2pixel算法模型可以生成法向图或者深度)→F；FS整个空间的特征向量，M2()表示多层感知机，F表示整个空间的有向截断距离场，[0164]步骤3：通过正则化约束步骤2中预测的有向截断距离场进而优化步骤1中的特征体素提取模型M1和步骤2中的多层感知机M2的待优化参数PM1和体素提取模型M1和多层感知机M2中的待优化参数,TSDF(LGTorLpseudo)表示将混合标签转2与LGT。束，即二分类交叉熵损失函数(BinaryCrossEntropy)，OCC()表示将有向截断距离场转[0176]图8是本申请一个实施例提供的训练结果的示意[0179]图像获取模块910，用于获取多个训练图像以及各个所述训练图像对应的三维重[0184]在一些实施例中，所述三维重建信息和三维重建标签采[0185]所述模型训练模块930，用于根据所述训练图像对应的采用所述有向距离场形式理器1001可以采用DSP(DigitalSignalProcessing，数字信号处理)、FPGA(Field处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing[0198]本领域技术人员可以理解，图10中示出的结构并不构成对计算机设备1000的限