CN113593001B 目标对象三维重建方法、装置、计算机设备和存储介质 （大连理工大学）

ShunsukeSaito,etal.PILevelPixel-AlignedImplHigh-Resolution3DHumanDigitization.2根据所述二维图像生成所述目标对象的三维连续表面，所调整所述第一参数化模型的模型参数，以将所述第获取分别根据所述多帧二维图像中各帧二维图像对应创建的所述目标对象的第二参根据各所述第二参数化模型的表面顶点所对应的纹理坐标，将相应根据所述纹理贴图对所述目标参数化模型进行所述调整所述第一参数化模型的模型参数，以将所述第一参数化模型中调整所述可变形的第一参数化模型的表面顶点对应所述调整所述可变形的第一参数化模型的表面顶点对应的偏移量参数，调整所述可变形的第一参数化模型的全局特征对深度配准后的第一参数化模型的姿态参数和形状参数进行调整调整重合配准后的第一参数化模型的表面顶点对应根据所述表面顶点语义分割结果，确定所述可变形的第一参数化3所述获取所述第一参数化模型的表面顶点语义分获取分别根据所述多帧二维图像中各帧二维图像对应创建的所述目标对象的第二参对多帧二维图像中的各帧二维图像分别进行语义分割，得到相应根据各所述第二参数化模型的部分可见的表面顶点语义分割结确定所述第一参数化模型中未确定语义分割结果确定在所述不可见表面顶点的预设邻域范围根据所确定的可见表面顶点的语义分割结果，确定所述不7.根据权利要求1所述的方法，其特征在于，所述调整所述第一参数化模型的模型参获取多项约束的目标损失函数；所述目标损失函数包括网格朝着使所述目标损失函数最小化的方向，迭代地调整所述第一参数化模型的模型参其中，所述网格差异损失函数，包括所述第一参数化模型中面的各表面顶点分别到参数化模型的网格表面的最小距离所述表面拓扑结构损失函数包括表面拓扑结构差异损失函数和本身表面拓扑结构损所述变形损失函数是所述第一参数化模型的表面顶点的偏移量参数的参数值的正则按照所述融合顺序将各帧二维图像对应的初始纹理贴图进行融合，得到所4获取各帧二维图像分别对应的所述目标对象所述按照所述融合顺序将各帧二维图像对应的初始纹理贴图进行融按照融合顺序，从首位二维图像起选取当前二维图像，根据当前二维图将当前二维图像对应的纹理贴图与已累计融合的纹理在融合后，按照所述融合顺序将下一位二维图像作为当前二维针对各帧二维图像，根据所述二维图像对应的法向量贴图中的将所述动作参数代入所述目标参数化模型中，以驱动所述目标参数化模型创建模块，用于根据所述二维图像，创建所述目连续表面生成模块，用于根据所述二维图像生成所述目标对象模型参数调整模块，用于调整所述第一参数化模型的模型参数，以纹理渲染模块，用于获取包括所述目标对象的多帧二维图像；获取分5所述模型参数调整模块还用于调整所述可变形的第一参数化模的所述目标对象的第二参数化模型；对多帧二维图像中的各帧二维图像分别进行语义分语义分割模块，用于确定所述第一参数化模型中未确定语义分割结果型的模型参数，以将所述第一参数化模型中的网格表面与所述三维网格表面进行配准处其中，所述网格差异损失函数，包括所述第一参数化模型中面的各表面顶点分别到参数化模型的网格表面的最小距离所述表面拓扑结构损失函数包括表面拓扑结构差异损失函数和本身表面拓扑结构损6所述变形损失函数是所述第一参数化模型的表面顶点的偏移量参数的参数值的正则二维图像对应的法向量贴图中的法向量方向与所述二维图像的拍摄方向之间的接近程度，理器执行时实现权利要求1至11中任一项所述的方法7[0001]本申请涉及计算机视觉和人工智能领域，特别是涉及一种目标对象三维重建方[0015]在其中一个实施例中，所述可变形的参数化模型的模型参数还包括全局特征参8型中的网格表面与所述三维网格表面进行特征[0027]获取分别根据所述多帧二维图像中各帧二维图像对应创建的所述目标对象的第[0036]朝着使所述目标损失函数最小化的方向，迭代地调整所述参数化模型的模型参9[0040]获取分别根据所述多帧二维图像中各帧二维图像对应创建的所述目标对象的第[0063]连续表面生成模块，用于根据所述二维图像生成所述目标对请各实施例所述的目标对象三维重建方法中与三维网格表面进行配准处理所得到的目标参数化模型，对目标对象的形状表达能力更[0076]图7为一个实施例中根据初始纹理贴图和可见性贴图融合得到目标对象的纹理贴[0085]本申请提供的目标对象三维重建方法，可以应用于如图1所示的应用环境中。其像采集设备102所采集的二维图像存储至计算机设备1以及大数据和人工智能平台等基础云计算服务的[0089]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控[0091]计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”[0099]在一个实施例中，计算机设备也可以直接获取已经存在的目标对象的二维图多帧二维图像中选取其中一帧二维图像，并根据所选取的单帧二维图像执行步骤204及后[0105]在一个实施例中，多帧二维图像可以是从连续拍摄的视频中提取出的二维图人即为目标对象，对302进行目标检测和裁剪，即能裁剪出目标对象所处区域的二维图像[0108]在一个实施例中，计算机设备可以采用人体关键点检测网络(Keypo从包括目标对象的二维图像中检测出目标对象的关键点或目标对象所处的目linearmodel，多人线性蒙皮模型)、SMPLH模型(Skinnedmulti-personlinearmodelwithhand，带手势的多人线性蒙皮模型)和SMPLX模型(Skinnedmulti-personlinear分开建模的参数化模型均可使用。[0117]在一个实施例中，三维连续表面可以是隐式曲面。其中，隐式曲面(Implicit[0118]在一个实施例中，计算机设备可以通过PIFuHD方法(一种通过一个端到端可训练的从粗到细的模型框架来生成目标对象的隐式曲面的方法)，根据二维图像生成目标对象模型中的网格表面与三维网格表面进行配准征参数(对应于全局层面)，再调整形状参数和姿态参数(对应于介于全局和局部之间的层参数化模型402具有三维连续表面所具有的细节信息，避免了参数化模型对目标对象形状的网格表面与三维连续表面中提取的三维网格表面进行配准处理后得到目标参数化模型，[0140]在一个实施例中，在调整可变形的参数化模型的表面顶点对应的偏移量参数之中的网格表面与三维网格表面进行配准处理，然后将调整后的全局层面的模型参数固定，参数化模型中的网格表面与三维网格表面进行特[0148]在一个实施例中，计算机设备可以先调整可变形的参数结果404的约束下进行配准处理之后得到的目标参数化模型，保留了原本的参数化模型中值固定为0，并调整可变形的参数化模型中除所确定的表面顶点之外的表面顶点所对应的面顶点所对应的偏移量参数，以将参数化模型中的网格表面与三维网格表面进行配准处对图像进行语义分割的深度学习网络)对各帧二维图像分别进行语义[0166]在一个实施例中，计算机设备可以根据各候选语义分割从各候选语义分割结果中选取该表面顶点最终的语义分割模型的部分可见的表面顶点语义分割结果，确定第一参数化模型的表面顶点语义分割结面顶点语义分割结果是融合了各第二参数化模型中的部分可见的表面顶点语义分割结果[0177]在一个实施例中，计算机设备可以从所确定的可见表面割结果存在不可见表面顶点的问题。提高了参数化模型的表面顶点语义分割结果的完整[0182]在一个实施例中，深度配准过程中所使用的目标损失函数包括网格差异损失函[0183]在一个实施例中，重合配准过程中所使用的目标损失函数包括网格差异损失函向优化两个模型(即参数化模型与三维连续表面所划分的三维网格表面)各自顶点到对方isi表示i是三维连续表面所划分的三维网格表面的面片。表示p到小距离。表示参数化模型中的各表面顶点到三维连续表面所划分的三示三维连续表面所划分的三维网格表面的各表面顶点分别到参数化模型的网格表面的最表征调整模型参数后的参数化模型本身的表面拓扑结构ppppppp点p的邻域范围内的邻居表面顶点。可以理解，δ'也可以采用如上公式(3)的计算方式得p模型的网格表面的拉普拉斯值，避免了目标参数化模型的表面拓扑结构变化剧烈的情况，pp[0208]在一个实施例中，计算机设备可以通过Adam优化器(一种用于迭代地优化模型参[0209]在一个实施例中，计算机设备可以通过Kaolin包(一种应用于深度学习的开源工到该二维图像对应的如图6中的604所示的目标对象的初始[0222]在一个实施例中，计算机设备可以先分别从各帧二维图像中分割出前景(即目标备可以使用去光照模型分别对各帧二维图像进行维图像作为当前二维图像，迭代返回根据当前二维图像对应的初始纹理贴图和可见性贴贴图和可见性贴图进行相乘相当于用可见性贴图上各点的可见性对初始纹理贴图上各点[0255]在一个实施例中，可驱动的参数化模型可以至少包括SMPL模型、SMPLH模型和[0263]如图10所示，是本申请各实施例中的目标对象三维重建方法的整体流程示意图像以及相应的第二参数化模型，生成各帧二维图像对应的初始纹理贴图和可见性贴图，化模型中的网格表面与三维网格表面进行配准处理，得到目标人体最终的目标参数化模所穿着的衣服等的图案的目标人体的三维重[0268]本申请还另外提供一种应用场景，该应用场景为对目标动物进行三维重建的场可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮[0279]在一个实施例中，模型参数调整模块1110还用于在参数化模型中添加偏移量参将参数化模型中的网格表面与三维网格表面进行数化模型中的网格表面与三维网格表面进行特[0285]在一个实施例中，模型参数调整模块1110还用于获取多项约的表面顶点所对应的纹理坐标，将相应二维图像中目标对象所对应的点映射到纹理空间，[0288]在一个实施例中，纹理渲染模块1114还用于根据各第二参数化模型的根节点方[0290]在一个实施例中，纹理渲染模块1114还用于按各第二参的网格表面与三维连续表面中提取的三维网格表面进行配准处理后得到目标参数化模型，[0295]关于目标对象三维重建装置的具体限定可以参见上文中对于目标对象三维重建算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储