CN119493112A 基于渐进式光雷信息深度融合的海上目标检测方法及系统 （中国科学院声学研究所南海研究站）

基于渐进式光雷信息深度融合的海上目标本发明公开了基于渐进式光雷信息深度融合的海上目标检测方法及系统，基于X波段雷达待检测区域中包含的海上目标的类别与位置信21.一种基于渐进式光雷信息深度融合的海上目标检测方法，基于X波段雷达与可见光步骤2)对雷达回波信号进行预处理得到匹配滤波后雷步骤3)将预处理后的雷达回波信号与雷达点云数据，步骤4)将成对的雷达伪图像、可见光视觉图所述目标检测模型采用两阶段融合策略，结合门控注意力机制，实现光2.根据权利要求1所述的基于渐进式光雷信息深度融合的海上目标检测方法，其特征在每份所述成对数据中，雷达回波信号的角度与可见光摄像机的水平视野框角度一所述步骤2)的预处理包括：对雷达回波信号进行匹配滤波与归3.根据权利要求2所述的基于渐进式光雷信息深度融合的海上目标检测方法，其特征对匹配滤波后雷达回波数据，通过恒虚警算法获得雷达点云数据4.根据权利要求1所述的基于渐进式光雷信息深度融合的海上目标检测方法，其特征将预处理后的雷达回波信号与雷达点云数据，分别进行水平映射和将雷达点云伪图像Irp与原始的可见光视觉图像Iv加权逐像素相加获得浅层信号级融5.根据权利要求4所述的基于渐进式光雷信息深度融合的海上目标检测方法，其特征所述细节基础特征解耦模块，用于对浅层融合特征FS解耦局部的细节特征和全局基础所述门控注意力融合模块，用于通过门控卷积与交叉注意力设计，所述瓶颈网络和检测头，用于获得多尺度融合特征，实现端到端目标36.根据权利要求5所述的基于渐进式光雷信息深度融合的海上目标检测方法，其特征7.根据权利要求5所述的基于渐进式光雷信息深度融合的海上目标检测方法，其特征为浅层融合细节特征FSD与基础特征FSB；第二组并联的细节特征提取器和基础特征提取器所述雷达特征Fr为雷达信号伪图像Ir输入雷达骨干网络获得，其中雷达骨干网络设计8.根据权利要求5所述的基于渐进式光雷信息深度融合的海上目标检测方法，其特征9.根据权利要求5所述的基于渐进式光雷信息深度融合的海上目标检测方法，其特征所述瓶颈网络采用卷积堆叠的方式，输入为将融合的细节特征FD与基础特征FB通过逐采集模块，用于接收海上待检测目标的雷达回波信号和可见光视觉图预处理模块，用于对雷达回波信号进行预处理得到匹配滤波后雷达回非线性模态标定模块，用于将预处理后的雷达回波信号与雷达先建立和训练好的目标检测模型，得到待检测区域中包含的海上目标的类别与位置信息，所述目标检测模型采用两阶段融合策略，结合门控注意力机制，实现光4力与视觉系统的高分辨成像能力相结合是一个有效的解决方5[0019]将雷达点云伪图像Irp与原始的可见光视觉图像Iv加权逐像素相加获得浅层信号[0027]其中，第一组并联的细节特征提取器和基础特征提取器的输入为浅层融合特征[0028]所述雷达特征Fr为雷达信号伪图像Ir输入雷达骨干网络6[0030]首先采用逐点卷积沿通道维度融合浅层融合细节特征FSD与雷达细节特征FRD，通特征FB通过逐点相加获得的融合特征Ffuse，所述基础特征FB由浅层融合基础特征FSB与雷达[0032]另一方面，本发明提供了一种基于渐进式光雷信息深度融合的海上目标检测系7[0048]将映射到视觉坐标域的雷达伪图像与可见光视觉图像输入预先建立和训练好的对应的方位角θ均匀分布到图像的水平像素坐标x。[0059]第一阶段的信号级融合，输入为映射到视觉图像域的雷达点云伪图像和视觉图8计算最终的融合细节特征。[0070]将映射到视觉坐标域的雷达伪图像与可见光视觉图像输入预先建立和训练好的节基础特征解耦模块以及门控注意力融合模块以及多尺度检测模块完成数据处理，如图2[0076]步骤3)在步骤2)获得的匹配滤波后回波数据的基础上通过恒虚警算法获得雷达[0077]步骤4)对步骤2)与步骤3)获得的匹配滤波后回波数据与雷达点云数据进行非线9[0086]步骤5)将步骤4)得到的雷达点云伪图像Irp与原始视觉图像Iv加权逐像素相加获得第一阶段的浅层信号级融合图像Irv，同时Irp与雷达回波伪图像Ire叠加获得雷达信号伪[0087]步骤6)将步骤5)获得的浅层融合图像Irv与原始视觉图像Iv输入参数共享的视觉[0089]步骤6_1)步骤将步骤5)获得的浅层融合图像Irv与原始视觉图像Iv作为视觉骨干E,=B,(I,),⃞V=Br(Irp)(3)[0091]步骤6_2)利用点卷积进行浅层融合，有效地对通道信息进行加权来选择相关特[0093]步骤7)将步骤5)获得的雷达信号伪图像Ir输[0094]步骤8)将雷达特征Fr与浅层融合特征Fs通过细节_基础特征解耦模块获得各模态[0097]F,=B,(,)[0098]步骤8_2)将雷达特征Fr与浅层融合特征FS输入由非对称卷积、标准[0100]步骤8_3)将雷达特征Fr与浅层融合特征FS分别输入由层归一[0103]步骤9)首先将步骤8)获得的浅层融合细节特征FSD与雷达细节特征FRD通过门控注征FRB通过逐点相加融合获得融合基础特征FB。最后将融合的细节特征FD与基础特征FB通过[0105]步骤9_1)首先采用逐点卷积沿通道维度融合雷达和浅层特征，引入FSD的语义信门控卷积sconv(-)来抑制无关细节和虚警特征进[0114]步骤9_5)将浅层特征提取的基特征FSB与雷达特征提取的基特征FRB则采用逐点相[0115]F=FsgBFre(11)[0122]步骤11_1)通过均方误差(MSE)计算检测头输出与真实边界框的中心坐标和尺寸