CN119478648A 一种基于多模态融合网络的水下机器人视觉清晰化方法 （南通奇致智能科技有限公司）

一种基于多模态融合网络的水下机器人视本发明公开了一种基于多模态融合网络的对RGB信息和偏振信息进行更新并产生融合特理的有浑浊度的融合特征并输入基于网络的图2S2、构建基于多模态融合网络的水下机器人视觉清S3、基于水下偏振图像数据集对所述多模态融合度融合对RGB信息和偏振信息进行更新并S4、利用水下偏振图像数据集对所述图像增强U_2.根据权利要求1所述的一种基于多模态融合网络的水下机器人视觉清晰化方法，其3.根据权利要求1所述的一种基于多模态融合网络的水下机器人视觉清晰化方法，其进行融合网络之前对训练集中的浑浊水下偏振图像进行预处理得到RGB模态信息和偏振模4.根据权利要求1所述的一种基于多模态融合网络的水下机器人视觉清晰化方法，其特征融合模块通过利用全局和局部信息，对来自偏振模态输入域的D偏振引导融合模块，用于处理模态偏差，对RGB模态输入5.根据权利要求4所述的一种基于多模态融合网络的水下机器人视觉清晰化方法，其W⃞,w;,w;eR""作为可学习参数：36.根据权利要求5所述的一种基于多模态融合网络的水下机器人视觉清晰化方法，其7.根据权利要求1所述的一种基于多模态融合网络的水下机器人视觉清晰化方法，其所述细节增强注意块(DEAB)，包括细节聚焦卷积块和内容引导注意特征与相应的来自解码器部分的高维特征进行自适应融合；还通过跳转连接添加输入特8.根据权利要求7所述的一种基于多模态融合网络的水下机器人视觉清晰化方法，其45[0008]S4、利用水下偏振图像数据集对所述图像增强U_Net网络进行训练，得到基于U_的特征；在进行融合网络之前对训练集中的浑浊水下偏振图像进行预处理得到RGB模态信[0015]进一步的，偏振模态特征和RGB模态特征通过多层感知机进行串联和投影的方法W⃞,w;,w;eR""作为可学习参数：6[0025]内容引导注意力块采用动态融合方式，通过为每个通道分配唯一的空间重要性[0026]进一步的，在不同层之间采用两个下采样和两个上采样[0030]图1为本发明实施例中一种基于多模态融合网络的水下机器人视觉清晰化方法流[0031]图2为本发明实施例中基于多模态融合网络的水下机器人视觉清晰化网络架构[0032]图3为本发明实施例中基于多模态融合网络的水下机器人视觉清晰化网络获取的[0033]图4为本发明实施例中基于多模态融合网络的水下机器人视觉清晰化网络输出的[0034]图5为本发明实施例中基于多模态融合网络的水下机器人视觉清晰化网络与现有7员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范[0037]如图1所示，本发明提供了一种基于多模态融合网络的水下机器人视觉清晰化方浑浊程度的不同颜色水体，采集在不同浑浊程度不同颜色水体中物体对应的浑浊水下图种不同浑浊程度3种不同颜色场景下的物体图像，即浑浊水下图像，还采集清晰的标签图络和图像增强U_Net网络；基于多模态融合网络的水下机器人视觉清晰化模型网络架构为[0042]在进行融合网络之前对所述训练集中的浑浊水下偏振图像进行预处理得到RGB信80S0也用来表示RGB模态信息，偏振模态信息包含RGB模态信息和偏振模态信息作为多模态融合对RGB模态信息和偏振模态信息进行更新并[0050]S301、采用特征融合模块通过利用全局和局部信息，对来自偏振模态输入域的个全连接层将每个标记嵌入的维数减小为1，然后将生成的嵌入重塑为二维图。通过特征X*，偏振模态特征和RGB模态特征通过多层感知机进行串联和投影，以产生key(kx)、9表示通道连接操作。和分别表示通过空间维度的全局平均池化运算、