CN115115691B 单目三维平面恢复方法、设备及存储介质 （五邑大学）

第一图像块的第一内部特征和各个第一图像块发明通过分别提取对应特征图中图像块的内部取的全面性，能够提高单目三维平面恢复的精2将所述第一特征图分别输入第一内编码器和第一外编码器，分征图中第一图像块的第一内部特征和各个所述第一图像块之间的将所述第二特征图分别输入第二内编码器和第二外编码器，分征图中第二图像块的第二内部特征和各个所述第二图像块之间的将所述第一内部特征和所述第一关联特征融合后输入到第一将所述第二内部特征和所述第二关联特征融合后输入到第二对所述第一提取图和所述第二提取图分别嵌入对应的位置信将各个所述第一图像块输入到所述第一内编码器，提取得到各个所将各个所述第一图像块输入到所述第一外编码器，提取得到各个将各个所述第二图像块输入到所述第二内编码器，提取得到各个所将各个所述第二图像块输入到所述第二外编码器，提取得到各个将所述第一融合特征输入到所述第一解码器以平面区域和平面参数为标签进行解码3将所述第二融合特征输入到所述第二解码器以非平面区域为标签进行解码特征和所述第二关联特征融合后输入到第二解码器进行解码，得到预测非平面区域之后，根据所述预测平面区域、所述预测非平面区域和损失函数，更新根据所述预测平面区域、所述预测非平面区域和交叉熵损失函数，Y+和Y_分别表示平面区域标记像素和非平面区域标记像素，Pi表存储器、处理器及存储在所述存储器上并可在所述处理器上处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的单目三维平面恢复指令用于执行权利要求1至8中任意一项所述45[0026]将第一融合特征输入到第一解码器以平面区域和平面参平面区域的概率，表示第i个像素属于非平6行计算机程序时实现第一方面任意一项的单目三维平[0038]由于第二方面实施例的电子设备应用第一方面任意一项的单目三维平面恢复方[0040]由于第三方面实施例的计算机存储介质可执行第一方面任意一项的单目三维平[0042]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体[0051]随着深度学习的发展,计算机视觉领域分复杂，复杂光线所产生的多重阴影以及各种折叠遮挡物都会影响平面恢复与重建的质7结构诱导的损失的深度模态中学习；通过改进两阶段MaskR_CNN方法,用平面几何预测代替对象类别分类,然后用卷积神经网络对平面分割掩码进行细化；通过预测逐像素平面参特征图中第一图像块的第一内部特征和各个第一图像块8特征图中第二图像块的第二内部特征和各个第二图像块编码器和外编码器，分别提取对应特征图中图像块的内部特征以及图像块之间的关联特[0070]步骤S120，通过位置嵌入对第一提取图和第二提取图分分别转化为token后得到两个尺度下的第一[0072]为了获取更多的细节，通过注意力机制将输入数据进一步编码为细分patch即细9[0091]在进行场景发生变化时，相关技术中的三维平面恢复时的检测精度显得明显不平面区域的概率，表示第i个像素属于非平面区域的概率，w率分布，PX和PZ是各自边缘概率分布。同时，互信息等价于PXZ与PX和PZ乘积的KL散度[0104]基于此，本发明通过两个最大化尺度网络分支的平面特征互信息来增强特征表[0112]本发明实施例的单目三维平面恢复方法所应用网络的框架图参考图7所示，骨干网络提取特征获得尺寸为12×16以及尺寸为6×8的特征图后，尺寸为12×16经过POS处理器及存储在存储器上并可在处理器上运行的计算[0116]实现上述第一方面实施例的单目三维平面恢复方法所需的非暂态软件程序以及可以根据实际的需要选择其中的部分或者全部模块来实