CN114450719B 人体模型重建方法、重建系统及存储介质 （Oppo广东移动通信有限公司）

2022.03.17PCT/CN2020/1179162020.09.25WO2021/063271ZH2021.04.08VersionandPatternRecognition(CCVFConferenceonCVersionandPatternRecognition(C本申请实施例公开了一种人体模型重建方2基于所述初始三维模型和所述完整纹理信息，生成所述待重建对象的三维重建模型；其中，所述纹理生成模型的训练数据集包括多组纹理数所述数据预处理包括：对所述第一纹理图像和所述第二纹理图像分根据所述第一剪影和所述初始估计形状进行校正处理，生成所述待重其中，所述根据所述第一剪影和所述初始估计形状进行校正确定所述第一剪影和所述第二剪影之间的第或者，所述根据所述第一剪影和所述初始估计形状进行确定所述第一剪影和所述第三剪影之间的第36.根据权利要求1所述的方法，其中，所述基于所述初始三维模型和所述完整纹理信所述分割部分，配置为基于所述目标图像中的待重建对象进行分割处所述获取部分，还配置为基于所述分割后图像，分别获得所述所述获取部分，还配置为根据所述纹理信息和纹理生成模型，获得所述生成部分，配置为基于所述初始三维模型和所述完整纹理信息，其中，所述纹理生成模型的训练数据集包括多组纹理数所述数据预处理包括：对所述第一纹理图像和所述第二纹理图像分根据所述第一剪影和所述初始估计形状进行校正处理，生成所述待重4其中，所述根据所述第一剪影和所述初始估计形状进行校正确定所述第一剪影和所述第二剪影之间的第或者，所述根据所述第一剪影和所述初始估计形状进行确定所述第一剪影和所述第三剪影之间的第5678[0056]本申请一实施例提供了一种人体模型重建方法，图1为人体模型重建方法的实现9笔记本电脑、车载设备、网络电视、可穿戴设备、个人数字助理(PersonalDigital是不明确的。因此，可以依赖于人体形状的参数化模型，例如骨骼蒙皮多人线性模型(SkinnedMulti-PersonLinearModel，SMPL)或人体完整建模与动画模拟(Shape[0092]示例性的，在本申请的实施例中，纹理生成模型可以为使用生成式对抗网络[0105]在本申请的实施例中，重建系统在完成待重建对象的三[0107]通过上述步骤101至步骤111所提出的人体模型重建方法，重建系统可以以一帧在AR/VR装置中演示了这一功能的移动端的应找初始SMPL估计深度图与复原人体形状深度图的对应关系来对人体形状网申请中，首先将人体剪影(待重建对象对应的第一剪影)对应到SMPL剪影(即初始估计形状ii2建系统的目标是求解一组仿射变换和来参数化表示图节点的[0120]在完成变形图的构建之后，为了使人体形状第一剪影S变形以匹配SMPL模型的第)}上有一个对应点。第一映射关系生成对应的第一扭曲函数，最终便可以通过第一扭曲函数重建获得正面模投影并渲染获得的背部估计形状的剪影并不一定能与初始估计形状的第二剪影匹配。因的图像解码器。为了节省计算资源，本申请可以将Θimg、Θseg合并到Θ中。具体来说，InferGAN对来自Io的纹理信息进行编码，并将新的纹理像素嵌入到目标身体部分(Pt)中(大小为1×512×512)可以使得纹理生toPeopleSnapshot数据集上进行了比较。具体地，体积式3D人体形状预测(Volumetricinferenceof3dhumanbodyshapes，Bodynet)是一种基于体素的人体形状姿态和形状依靠不同视角的合成掩码来重建人体形状细节；端对端人体形状姿态预测(End-toend频人体形状(VideoShapes)的方法方法可以使用同一个人的120个不同角度的图像合并成本申请可以将SMPL参数化模型传输到重构模型中，并应用CMU数据集(cmudataset)中的运[0200]在本申请的实施例中，上述处理器17可以为特定用途集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、数字信号处理器(DigitalSignalProcessor，(ProgRAMmableLogicDevice，PLD)、现场可编程门阵列(FieldProgRAMmableGate[0206]集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或[0217]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或