CN114663599B 一种基于多视图的人体表面重建方法及系统 （南京大学）

一种基于多视图的人体表面重建方法及系统本发明涉及一种基于多视图的人体表面重建方法及系统。该方法包括获取多视角的室内RGB图片，并利用训练好的人体UV估计网络得到外参矩阵得到初始深度图；根据多视角的室内RGB图片以及初始深度图，利用训练好的多视角每个视角的深度图提取人体点云，并基于marching-cubes算法将提取的人体点云融合为2获取多视角的室内RGB图片，并利用训练好的人体UV估计网络得到每个视角的UV坐标根据每个视角的UV坐标图计算相邻两个视角的光流；并根据光流根据多视角的室内RGB图片以及初始深度图，利用训练好的多视角深度估计神经网络信息的特征金字塔网络FPN、在源视角观察射线的不同深度下融合视角特征的特征互相关根据每个视角的深度图提取人体点云，并基于marching-cubes算法将根据人体部分二维掩膜mask的位置对视角的室内RGB图片初始深度图确定单元，用于根据每个视角的UV坐标图计角深度估计神经网络确定每个视角的深度图；所述训练好的多视角深度估计神经网络包3人体部分二维掩膜mask确定子单元，用于利用训练好的分割4[0010]获取多视角的室内RGB图片，并利用训练好的人体UV估计网络得到每个视角的UV[0012]根据多视角的室内RGB图片以及初始深度图，利用训练好的多视角深度估计神经5[0023]初始深度图确定单元，用于根据每个视角的UV坐标图计算相[0025]人体三维表面确定单元，用于根据每个视角的深度图提取人体点云，并基于marching-cubes算法将提取的人体点云融合为人体三维[0031]裁切子单元，用于根据人体部分二维掩膜mask的位置对视角的室内RGB图片进行视角的室内RGB图片以及初始深度图，利用训练好的多视角深度估计神经网络确定每个视6[0038]图3为本发明提供的训练好的多视角深度估计神经网络的结构原理图和注意力模签计算每个像素与另一个视角下最邻近的UV坐标所在的像素位置。这里采用kd-tree算法7[0052]根据当前视角与其他视角的UV坐标图，使用kd-tree搜索算法找出当前视角每个视角图片信息的特征金字塔网络FPN、在源视角观察射线的不同深度下融合视角特征的特辨率下的RGB图片和上一层模块估计的深度作为当前模块的初始深度，输出为当前分辨率些不同深度点所指向的2D图像特征的作用下估计每个点为真实表面点所[0059]特征互相关模块通过将源视角当前像素位置的特征在不同深度下投影到目标视[0060]网络预测从低到高4个不同分辨率下的深度图，并且较高分辨率下的预测模块在对每个位置进行softmax操作得到最终[0063]经过注意力模块计算在当前初始深度下，以一定间隔在附近进行搜索的2*r+1个8[0067]所有目标视角与源视角的图片利用另外一个独立的特征的进一步精细化的深度值为d_pred=红外深度相机捕捉人体深度信息。单反相机只需拍下一帧下的12张图片，然后使用structurefrommotion的方法提取较高精度9[0080]初始深度图确定单元402，用于根据每个视角的UV坐标图计算相邻两个视角的光[0082]人体三维表面确定单元404，用于根据每个视角的深度图提取人体点云，并基于marching-cubes算法将提取的人体点云融合为人体三维[0088]裁切子单元，用于根据人体部分