CN116597135B Rgb-d多模态语义分割方法 （成都理工大学）

号本发明针对RGB_D语义分割中存在的多尺度问题和实时问题，提出了RGB_D多模态语义分割态通道注意力校正模块和多模态全局特征聚合可以同时保证RGB_D语义分割的准确度和实时性2S1.设计自注意力多模态信息交互模块：所述自注意力多模态信息交互模块主要用于在通道维度和空间维度两个维度上实现彩色图和深度图之间的多S2.建立RGB_D多模态语义分割模型：所述RGB_D多模态语义分割模型包括双流特征提述多模态通道注意力校正模块对所述双流特征提取主干网络提取到的彩色特征和深度特加可学习的模态编码后传入Transformer模块中进行全局注意力建模；所述多模态全局特征聚合模块对多模态通道注意力校正模块输出的校正后的彩色特征和深度特征空间维度步长为1x1，填充大小为1x1的深度可分离卷积来引入位置信息，再通过残差连接与输入共享机制来减小计算量，之后通过层归一化获得空间信息交互后的彩色特征和深度特征，模型鲁棒性，将原始的特征图通过一个大小为3x3的2.根据权利要求1所述的RGB_D多模态语义分割方所述自注意力多模态信息交互模块，首先对输入的彩色特征和深度特;3分别表示深度特征的查询向量、键向量和值向量，dn所述双流特征提取主干网络的计算过程用以下公;所述多模态通道注意力校正模块的计算过程用以下公;式中，RGBin和Depthin分别表示彩色特征和深度特征，msmp和msap分别表示多尺度最大池化和多尺度平均池化，concat表示合并操作，Flatten表示展平操作，RGBmsr信息交互后的彩色特征和深度特征，MTErgb和MTEaeprh分别表示彩色特征和深度特征所述多模态全局特征聚合模块的计算过程用以下公4;5[0002]图像语义分割是计算机视觉领域的重要任务之一，是一[0003](1)图像中不同物体之间的尺度差异很大，如何充分利用图像中的多尺度特征是[0008]S1.设计自注意力多模态用于在通道维度和空间维度两个维度上实现彩色[0009]S2.建立基于RGB_D多模态语义分割模型：6和深度特征在通道维度进行特征矫正，并将矫正后的特征传入多模态全局特征聚合模块；所述四个多模态全局特征聚合模块对所述四个多模态通道注意力校正模块输出的矫正后两种模态的通道注意力向量和两种模态的特征进行通道相乘后通过对应元素相加操作和7[0028]Depthec=DepthinBRGBn8WRcg最大池化和多尺度平均池化，Concat表示合并操作，Flatten表示展平操作，RGBmsf和Depthmsf分别表示多尺度彩色特征和多尺度深度特征，RGBtokenized和Depthtokenized分别表示pmepmepmepme8[0040]3、基于Transformer的跨模态语义分割方法可以同时保证RGB_D语义分割的准确模块主要用于在通道维度和空间维度两个维度上实现彩色图和深度图之间的跨模态信息9征和深度特征在通道维度进行特征矫正，并将矫正后的特征传入多模态全局特征聚合模块；多模态全局特征聚合模块对矫正后的彩色特征和深度特征空间维度上进行特征聚合；最后特征金字塔解码器模块用于对聚合后的特征进行解码，实现二维语义分割区域的预[0057]如附图3所示，上述多模态通道注意力校正模块首先将彩色特征和深度特征通过两种模态的通道注意力向量和两种模态的特征进行通道相乘后通过对应元素相加操作和[0068]Depthec=DepthinBRGBn8WRcg最大池化和多尺度平均池化，Concat表示合并操作，Flatten表示展平操作，RGBmsf和Depthmsf分别表示多尺度彩色特征和多尺度深度特征，RGBtokenized和Depthtokenized分别表示[0070]如附图4所示，上述多模态全局特征聚合模块首先在特征图中嵌入位置信息和模pmepmepmepme[0078]S3.进行基于RGB_D多模态语义分割模型训练：将彩色图和深度图输入所述基于[0081]步骤2：将增强后的图片输入双流pvt_v2主干网络，分别提取彩色特征和深度特[0082]步骤3：将每次下采