CN114399601B 一种单目rgb摄像头的三维重建方法、系统和介质 （中山大学）

AU2020103715A4,2021一种单目RGB摄像头的三维重建方法、系统本发明公开了一种单目RGB摄像头的三维重体素循环模块对3dvolume进行重建，获得重建2从单目RGB摄像头拍摄视频中的图像序列选取所述体素循环模块将得到的3dvolume和历史3dvolume进行结合，通过一个MLP进行所述体素循环模块包括第一体素循环模块和第二体素循环模块；所述第块位于输出3dvolume分辨率高的反投影操作后；所述第二体素循环模块位于输出3d第一体素循环模块将分辨率高的3dvolume通过上采样，转化为与分辨率中的3d第二体素循环模块将分辨率中的3dvolume与转化后分辨率高的3dvolume通过上采再将分辨率低的3dvolume与转化后分辨率中的3dvolume进行叠加得到重建3d将所有关键帧的重建3dvolume进行特征聚合，然后将3dvolume在将融合结果输入3d编码解码器中，回归获取tsdf重建结果；所述3d编码2.根据权利要求1所述的一种单目RGB摄像头的3.根据权利要求1所述的一种单目RGB摄像所述上采样模块使用自上而下的方式对上一层得到的特征图进上采样时，第一上采样模块将第三特征提取器提取的特征图3三上采样模块将第二上采样模块输出的特征图与第一特征提取器提取的特征图进行残差4.根据权利要求3所述的一种单目RGB摄像头的三维重建设It为视频的图像序列，对特征金字塔中每个上采样模块输出的二二维编码器来获取对应的二维结构特征F(t)＝F(It)，在已知相机内参Pt和外参Kt的情况5.根据权利要求4所述的一种单目RGB摄像头所述解码器使用自上而下的方式对上一层得到的残差结果进行上采上采样时，将第三编码层下采样结果的残差及上一层的残差结三解码层中进行上采样和残差操作，最后将残差结果经过第三解码层后的卷积块，使用tanh激活函数进行回归获得tsdf重6.根据权利要求5所述的一种单目RGB摄像头的三维重所述编码器和解码器中的卷积块后均连接有批归一化和rel7.一种单目RGB摄像头的三维重建系统，其特征所述二维特征提取模块，用于通过特征金字塔对关键帧进行特征所述三维特征提取模块，用于将二维特征导入二维编码器中提取二4所述体素循环模块将得到的3dvolume和历史3dvolume进行结合，通过一个MLP进行所述体素循环模块包括第一体素循环模块和第二体素循环模块；所述第块位于输出3dvolume分辨率高的反投影操作后；所述第二体素循环模块位于输出3d第一体素循环模块将分辨率高的3dvolume通过上采样，转化为与分辨率中的3d第二体素循环模块将分辨率中的3dvolume与转化后分辨率高的3dvolume通过上采再将分辨率低的3dvolume与转化后分辨率中的3dvolume进行叠加得到重建3d将所有关键帧的重建3dvolume进行特征聚合，然后将3dvolume在现权利要求1-6任一项所述的一种单目RGB摄像头5[0003]本发明的主要目的在于克服现有技术的缺点与不足，提供一种单目RGB摄像头的6上采样模块将第一上采样模块输出的特征图与第二特征提取器提取的特征图进行残差操环模块位于输出3dvolume分辨率高的反投影操作后；所述第二体素循环模块位于输出3d[0025]第一体素循环模块将分辨率高的3dvolume通过上采样，转化为与分辨率中的3d[0026]第二体素循环模块将分辨率中的3dvolume与转化后分辨率高的3dvolume通过[0027]再将分辨率低的3dvolume与转化后分辨率中的3dvolume进行叠加得到重建3d[0033]作为优选的技术方案，所述将融合结果输入3d编码解码器中，提取并回归获取7[0036]所述解码器使用自上而下的方式对上一层得到的残差结果进行上采样和残差操用tanh激活函数进行回归获得tsdf重建[0041]本发明另一方面提供了一种单目RGB摄像头的三维重建系统，应用于上述的一种[0044]所述三维特征提取模块，用于将二维特征导入二维编码[0046]所述特征融合模块，用于将所有关键帧的重建3dvolume进行特征聚合获得融合8[0064]如图1所示，在本申请的一个实施例中提供了一种单目RGB摄像头的三维重建方[0067]S3、将二维特征导入二维编码器中提取二维结构特征，进行反投影得到3d9上采样模块将第一上采样模块输出的特征图与第二特征提取器提取的特征图进行残差操[0088]V(:,i,j,k)=F(:,t,j)[0091]根据二维特征的二维结构特征进行反投影获得3dvolume，在二维特征的基础上循环模块位于输出3dvolume分辨率高的反投影操作后；第二体素循环模块位于输出3d[0094]第一体素循环模块将分辨率高的3dvolume通过上采样，转化为与分辨率中的3d[0095]第二体素循环模块将分辨率中的3dvolume与转化后分辨率高的3dvolume通过[0096]再将分辨率低的3dvolume与转化后分辨率中的3dvolume进行叠加得到重建3d[0097]通过将分辨率高和中的两个层次的3dvolume通过上采样，转化成和分辨率低的[0102]其中是t张关键帧融合后对应的vox使用tanh激活函数进行回归获得tsdf重建[0109]基于与上述实施例中的一种单目RGB摄像头的三维重建方法相同的思想，本发明[0117]需要说明的是，本发明的一种单目RGB摄像头的三维重建系统与本发明的一种单例阐述的技术特征及其有益效果均适用于一种单目RGB摄像头的三维重建系统的实施例(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数