CN116681831B 一种自下而上的单图像全景重建方法、装置及计算机设备 （上海人工智能创新中心）

US2023097133A1,2023.03.30本申请涉及计算机视觉技术领域，具体而码进行反向投影获得初始化3D特征时会造成被遮挡区域的不确定性和通道排列的不确定性的测为3D重建结果、3D语义分割结果及3D偏移结2根据所述2D模型预测物体可能存在的深度空间、2D语义分割结果、物体根据所述深度空间、2D语义分割结果及物体表面深度，基于经过所述3D语义重建结果中，每个前景语义类别输入到实例分组模块，结利用相机内参和预测的深度将所属2D模型预测的物体可能存在的深度空间反向投影所述3D实例分割结果结合实例分割结果和背景语义获得全景重所述3D偏移重建结果和该类别的所述3D语义重建结果，经过投影转化到多层深度空通过该类别所述3D语义重建结果，过滤所述3D偏移重建结果，获得该从所有所述2D实例中心点中提取该类别的所述2D实例中心点将该类别每个体素的所述3D偏移重建结果加上该体素的坐标，得到3根据所述预测的2D实例中心点到实际所有2D实例中心点的距离，3D预测模块，用于基于3D模型将所述初始化特征预3D重建模块，用于将所述3D语义分割结果经过9.一种计算机设备，其特征在于，包括存储4使三维模型能更好地重建和分割场景。目前单图像全景重建的解决方案主要分为三个阶构成的3D模型重建场景并对场景进行全景分[0004]现有技术通常在2D阶段采用自上而下的MaskR_CNN进行实例分割，获得实例掩获得初始化3D特征时会造成被遮挡区域的不确定性和通5[0012]基于3D模型将所述初始化特征预测为3D重建结果、3D语义分割结果及3D偏移结[0016]利用相机内参和预测的深度将所属2D模型预测的物体可能存在的深度空间反向6[0046]并且本申请通过解决上述两个不确定性在合成数据集3D_Front和真实场景数据集Matterport_3D均获得了全景[0048]图1是本申请一示例性实施例示出的一种自下而上的单图像全景重建方法的流程[0049]图2是本申请一示例性实施例示出的如何将2D特征转化为初始化3D特征的流程示7[0054]图7是本申请一示例性实施例示出的自下而上的单图像全景重建框架的框架结构[0055]图8是本申请一示例性实施例示出的空间感知的反向投影模块的框架结构示意[0058]图11是本申请一示例性实施例示出的自下而上的单图像全景重建装置的结构示8[0073]现有最新技术在2D阶段采用自上而下的MaskR_CNN进行实例分割，获得实例掩获得初始化3D特征时会造成被遮挡区域的不确定性和通下而上的单图像全景重建框架(BUOL)用于解决被遮挡区域的不确定性和通道排列的不确[0083]图1是本申请一示例性实施例示出的一种自下而上的单图像全景重建方法的流程示意图；图7是本申请一示例性实施例示出的自下而上的单图像全景重建框架的框架结构9[0084]在一个示例性实施例中，如图1所示，提供了一种自下而上的单图像全景重建方不确定性，而在合成3D实例时使用预测的2D实例中心点和3D偏移对每个体素进行实例分[0093]图2是本申请一示例性实施例示出的如何将2D特征转化为初始化3D特征的流程示[0095]步骤310：利用相机内参和预测的深度将所属2D模型预测的物体可能存在的深度[0109]步骤531：根据所述前景语义类别，获得该类别的3D偏移重建结果及2D实例中心[0117]图6是本申请一示例性实施例示出的如何实例分组的流程示意图；图10是本申请体素分配给离它预测的2D实例中心点最近的实移完成了实例合成；提出了空间感知模块解决了仅预测深度造成的被遮挡区域不确定性。提出的整体方案无论在场景重建还是全景分割上都取得了更好[0124]应该理解的是，虽然上述实施例所涉及的流程图中的各个步骤按照指示依次显[0125]并且，本发明已经经过实验验证，在合成数据集3D_Front和真实场景数据集上的实验结果中，全景重建质量(PRQ)相比现有最优方案分别高1[0126]与前述自下而上的单图像全景重建方法的实施例相对应本申请还提供了自下而上的单图像全景重建装置的实[0127]图11是本申请一示例性实施例示出的自下而上的单图像全景重建装置的结构示[0134]关于自下而上的单图像全景重建装置的具体限定可以参见上文中对于自下而上或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，[0139]可选地，处理器11可以包括一个或多个CPU。计算机设备10可以包括多个处理器可存储信息和指令的其他类型的动态存储设备，还可以是电可擦可编程只读存储器或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，口可以是光接口，电接口或其组合。无线通信接口可以为无线局域网(WirelessLocal[0145]在一些实施例中，该计算机设备10还可以包括输出设备15和输入设备16(图12中