CN114638870B 一种基于深度学习的室内场景单目图像深度估计方法 （云南师范大学）

一种基于深度学习的室内场景单目图像深本发明涉及一种基于深度学习的室内场景预训练的神经网络EfficientNet-b7，构造编码局到局部的损失函数，应用到不同阶段的预测意力机制的Transformer结构，将不同阶段预测本发明通过设计一个新型、高效且轻量的解码2Step1：引入在ImageNet上作图像分类预训练的神经网络EfficStep2：在编码器的不同阶段上，引入基于SENeStep4：使用基于自注意力机制的Transformer结所述Step1具体为：从互联网上下载好在ImageNet上预训练的EfficientNet-b7网络，特征向量输入到3个基于SENet的残差块中，第6个块编码的特征向量输入到2个基于SENet3其中λ1＝0.5，λ2=λ3＝0.6，λ4＝1，ni是真实深度图经过区间掩码后像素总数，"n和blocki,分别是真实深度图和预测i中像素点pi的深度值。2.根据权利要求1所述的基于深度学习的室内场景单目图像深度估计方法，其特征在4估计的研究主要集中在使用深度学习和卷积神经网络进行二维到三维的重建。从单个RGB[0003]基于深度学习进行单目深度估计的方法始于Eigen等人提出的双尺度网络。然后一些研究人员提出了许多基于使用卷积神经网络的深度学习的有效方法。文献“Laina等BigtoSmall:Multi-ScaleLocalPlanarGuidanceforMonocularDepth辨率。文献“Fu等人，Deepordinalregressionnetworkformonoculardepth[0004]虽然当前基于深度学习的室内单目图像深度估计有较大进展，但仍存在一些问地考虑场景中的全局和局部关系，进行深度估计时的准确率就会很低；3)虽然Vision[0005]本发明要解决的技术问题是提供一种基于深度学习的室内场景单目图像深度估5码的特征向量输入到3个基于SENet的残差块中，第6个块编码的特征向量输入到2个基于6i是真实深度图经过区间掩码后像素总数，和blocki,分别是真实深度图和预测i中像素点pi的深度值。7[0041](1)本发明为了充分利用输入图像的细粒度信息，从编码器的多个阶段提取特征[0042](2)本发明设计了一种并行分区间分别预测全局到局部深度信息，然后再调整融[0043](3)本发明使用了卷积神经网络作为基础，不需要大型数据集来驱动训练即可达[0044](4)本发明进行训练时不需要非常大型的数据集来驱动，能够有效提高单目深度且在某种程度上，本领域技术人员基于对下文的考察研究可以从本发明的实践中得到指[0047]图2是本发明采用的单目深度估计网络与当前最先进的网络AdaBins和DPT-8的特征向量，形状分别为[0063]首先从真实深度图中获取最大深度d_max和最小深度d_min，再将深度区间[d_i是真实深度图经过区间掩码后像素总数，和blocki,分别是真实深度图和预测i中像素点pi的深度值。[0073]首先将4阶段的预测结果拼接成一个四通道的张量R,再将该四通道张量R进行卷9[0077]下一步将一维张量输入到TransformerEncoder中，并将其输出的一维张量恢复得到形状为的张量a.[0080]本发明使用NYUDepthv2和SUNRGB-D数据集中的数据对提出的基于深度学习的室内场景单目图像深度估计方法进行了实验，NYUDepthv2数据集由MicrosoftKinectRGBD相机采集室内场景得到，而SUNRGB-D数据集采集设备包括IntelRealsense，Asus[0081]表1统计了本发明所使用的并行解码器与传统简单串行解码器训练后在NYUDepth[0084]表2统计了使用本发明所设计针对预测i的损失项与不使用训练后在NYUDepthv2[0087]表3统计了本发明所使用的Transformer融合方法与另一种直接通过softmax计算[0095]图2表示的是本发明采用的单目深度估计网络与当前最先进的网络AdaBins和较好的指导作用。[0097]表5统计了本发明的方法与当前最先进的方法AdaBins和DPT-Hybrid在NYUDepthepoch，然后再在NYUDepthv2上进行微调，但是AdaBins和本发明的模型只需要在NYUDepthv2的5万张图像的子集上分别训练25个epoch和20[0101]表6统计了本发明的方法与当前最先进的方法AdaBins和DPT-Hybrid在NYUDepthv2数据集下预训练后在SUNRGB-D数据集的测试集下进行测试得到的平均相对误差、均方及一次预测需要的时间。从表7中的数据可以看出，本发明的模型比其他两个模型的参