CN113888557B 一种基于rgb-d特征融合的场景语义分割方法及系统 （山东师范大学）

一种基于RGB-D特征融合的场景语义分割方本发明提供了一种基于RGB-D特征融合的场采用RGB分支和深度分支对所述RGB图像和深度图像处理，处理过程中采用RGB-D特征融合网络进行RGB特征和深度特征的融合，得到多个低层络和上下文特征处理网络可以降低语义信息损2其中，场景语义分割模型的编码器分别采用RGB分支和深度分支对样层和RGB-D特征融合网络对多个低层融合特征和一个高层融合特征进行处理得到待分割同时将RGB特征、深度特征和拼接特征分别进行全局平均池化处理后送入不同的MLP处理后的结果分别与RGB特征与深度特征进行通道乘法之后再进行元素相加，得到输2.如权利要求1所述的一种基于RGB-D述RGB分支采用RGB卷积层对RGB图像进行处理后输入多个依次连接的RG所述深度分支采用深度卷积层对深度图像进行处理后输入多个依次连接的深度分支3.如权利要求2所述的一种基于RGB-D特征融支层输出的RGB特征通过RGB-D特征融合网4.如权利要求1所述的一种基于RGB-D特征融合的场景语义述特征细化网络对低层融合特征先输入卷积层进行卷积操作，再输送到通道注意力层处5.如权利要求1所述的一种基于RGB-D特征融其中，场景语义分割模型的编码器分别采用RGB分支和深度分支对样层和RGB-D特征融合网络对多个低层融合特征和一个高层融合特征进行处理得到待分割3同时将RGB特征、深度特征和拼接特征分别进行全局平均池化处理后送入不同的MLP处理后的结果分别与RGB特征与深度特征进行通道乘法之后再进行元素相加，得到输行时实现如权利要求1-5中任一项所述的一种基于RGB-D特征融合的场景语义分割方法中8.一种计算机设备，包括存储器、处理器及4[0001]本发明属于场景语义分割技术领域，尤其涉及一种基于RGB-D特征融合的场景语[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技[0004]室内场景的RGB图像会大量丢失场景中的空间信息，所以普通的的图像分割方法征辨识力弱以及物体之间存在大量遮挡等所导致的分[0006]为了解决上述背景技术中存在的技术问题，本发明提供一种基于RGB-D特征融合的场景语义分割方法及系统，基于注意力机制构造的RGB-D特征融合网络可以对特征图进[0012]进一步的，所述RGB分支采用RGB卷积层对RGB图像进行处理后输入多个依次连接[0013]所述深度分支采用深度卷积层对深度图像进行处理后输入多个依次连接的深度5特征与其对应的RGB分支层输出的RGB特征通过RGB-D特[0017]同时将RGB特征、深度特征和拼接特征分别进行全局平均池化处理后送入不同的[0019]处理后的结果分别与RGB特征与深度特征进行通道乘法之后再进行元素相加，得[0024]进一步的，所述解码器通过上采样层和RGB-D特征融合网络对多个低层融合特征[0027]语义分割模块，其被配置为：将RGB图像和深度图像同时输入场景语义分割模型程序被处理器执行时实现如上述所述的一种基于RGB-D特征融合的场景语义分割方法中的[0032]本发明提供了一种基于RGB-D特征融合的场景语义分割方法，其利用场景的深度[0033]本发明提供了一种基于RGB-D特征融合的场景语义分割方法，其把场景深度信息6负责逐级提取图像语义特征，解码器对提取的特征进行上采样。基于注意力机制构造的RGB-D特征融合模块可以对特征图进行选择加权处理以达到增强目标特征且抑制背景的目7用RGB分支和深度分支对所述RGB图像和深度图像处理，处理过程中采用RGB-D特征融合网进入解码器。解码器通过上采样层和RGB-D特征融合网络对多个低层融合特征和一个高层[0053](1)RGB分支采用RGB卷积层对RGB图像进行处理后输入多个依次连接的RGB分支度卷积层输出的深度特征与RGB卷积层输出的RGB特征通过RGB-D特征融合网络进行融合；出的RGB特征通过RGB-D特征融合网[0054]编码器采用两个独立的卷积分支(RGB分支和深度分支)分别对RGB图像和深度图为单通道深度图像信息，所以深度分支中Conv1_D层的参数与RGB分支中Conv1层的参数不完全一样。采用两个基于ResNet的分别独立的卷积分支网络分别对输入的RGB图像和深度[0056](1-1)RGB图像和深度图像分别经RGB卷积层(Conv1层)和深度卷积层(Conv1_D层)层)的输出继续作为第一深度分支层(Layer1_D8(Layer3)、第四RGB分支层(Layer4)和上下文特征处理网络(Context)的输入数据分别来层Layer3_D和第四深度分支层Layer4_D的输出数据，经过RGB-D特征融合网络处理融合之经过全局平均池化得到输出一维特征图拼接特征然后同时将RGB特征图RGB、深度特征图Depth和拼接特分别进行全局平均池化处理，得到的三个结果分别送入不同的MLP层进行卷积处理；每个9输入特征通道数由原来的2C变为最初的C；最终经由Sigmoid函数去处理MLP层输出元素相加之后的结果；这个最终结果分别与RGB特征与深度特征进行通道乘法之后再进行元素相[0070](2)多个低层融合特征分别依次输入特征细化网络。特征细化网络对低层融合特[0077](4)解码器通过上采样层和RGB-D特征融合网络对多个低层融合特征和一个高层与第二融合特征经过RGB-D特征融合网络融合后输入第四上采样层UP4；第四上采样层UP4域占正确分割区域总面积的百分比和输出分割区域[0093]为了验证RGB-D特征融合模块在模型结构的功能性，通过将原始模型与三个缺陷[0095]本实施例提供了一种基于RGB-D特征融合的场景语义分割系统，其具体包括如下[0097]语义分割模块，其被配置为：将RGB图像和深度图像同时输入场景语义分割模型[0099]此处需要说明的是，本实施例中的各个模块与实施例一理器执行时实现如上述实施例一所述的一种基于RGB-D特征融合的场景语义分割方法中的基于RGB-D特征融合的场景语义分割方法介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0106]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一碟、光盘、只读存储记