CN115311508B 一种基于深度u型网络的单帧图像红外弱小目标检测方法 （北京邮电大学）

.2022,1-14.DetectionUsingDeepInteractiveU-Net.《IEEEGEOSCIENCEAND一种基于深度U型网络的单帧图像红外弱小本发明公开了一种基于深度U型网络的单帧于深度监督U型网络及加入该深度监督U型网络中的密集特征编码模块的单帧图像红外弱小目2S2：通过标注后的单帧红外图像样本集或其经过增其中，所述检测模型基于深度监督U型网络及加入该深度监督U型所述密集特征编码模块包括对所述压缩路径网络得到的多层次低层特征与所述高层特征进行级联得到密集编码特征将经所述压缩路径网络的第k层得到的特征进行自适应平均池化，得到自适应平均池将所述自适应平均池化后特征Fk,输入一个权重共享的、神经元数量相同的两层网络将所述通道注意力交叉导向学习的特征FS进行一个空间的全局最大池化和平均池化，将所述两张特征图进行拼接，将所得拼接特征图经过一个进行通道变换将所述第二变换特征经过一个7×7的卷积层和一个Sigmoid函数激活，得到权重系数差U型块与所述输入层连接，最后一个提取压缩模块的降采样层与所述密集特征编码模块3中的第一编码模块连接，其间每个提取压缩模块的残差U型块均与其上一个提取压缩模块上采样层均与其上一个扩展还原模块的残差U型块相连，且每个提取压缩模块的降采样层还与尺寸与其对应的扩展还原模块的上采样层相连，每个扩展还原模块的残差U型块还与S12根据所述密集特征编码模块对所述多层次、多尺度深度特征进行所述通道注意力9.根据权利要求8所述的检测方法，其特征在于，Sk表示经所述压缩路径网络第k层的残差U型块学习后得到的特征，σ(·)表示4kk表示第k层压缩路径网络提取得到的特征，W、H表示该特征对应的图像的宽和别表示经过第一层神经元后通道的个数降低为初始的1/4和经过第二层神经元后通道恢复其中，为所述通道注意力交叉导向学习的特征进行通道变换后的所述变换特DFE表示所述密集编码特征。5G(i,j)和pS(i,j)分别表示参考像素6[0002]红外波段是频率介于微波与可见光之间的电磁波，在电磁波谱中的频率范围为分基于深度学习方法的红外弱小目标检测通常是采用直接迁移或微调基于自然场景图像[0006]本发明的目的在于克服现有红外弱小目标检测方法中弱小目标在图像中的局部深度U型网络红外弱小目标检测方法。该方法还可以解决红外弱小目标样本量不足难以支7[0012]其中，所述深度U型网络包括深度监督U型网络及集成到该深度监督U型网络中的所述多层次低层特征与所述多层次高层特征进行级联融合得到密集编码特征的第三编码[0016]根据本发明的一些优选实施方式，所述深度监督U型网络为由所述压缩路径网络及所述扩展路径网络组成的嵌套U型网络，其中，所述压缩路径网络包括依次相连的多层取压缩模块均包括至少1个残差U型块和与其相连的至少1个降采样层；所述扩展路径网络连接，最后一个提取压缩模块的降采样层与所述密集特征编码模块中的第一编码模块连还原模块的残差U型块与所述输出层连接，其间每个扩展还原模块的上采样层均与其上一个扩展还原模块的残差U型块相连，且每个提取压缩模块的降采样层还与尺寸与其对应的扩展还原模块的上采样层相连，每个扩展还原模块的残差U型块还与所述密集特征编码模层网络中每一层只包含多个扩张率为1的卷积层即传统卷积网络和一个扩张率为2的扩张8层网络中每一层只包含多个扩张率为1的卷积层即传统卷积网络和一个扩张率为2的扩张[0026]S12根据所述密集特征编码模块对所述优化后的多层次、多尺度深度特征进行所[0027]S13根据所述扩展路径网络对所述密集编码特征进行多层次、多尺度深度监督解[0029]根据本发明的一些优选实施方式，S13还包括对所述密集编码特征进行非线性特[0032]其中，Fk表示经所述压缩路径网络第k层的所述残差U型块学习后得到的特征，σ9[0037]将经所述压缩路径网络的第k层得到的特征输入所述密集特征编码模块，进行自[0039]将所述第一变换特征经Sigmoid函数激活得到权重系数A1，进一步获得通道注意[0041]将所述通道注意力交叉导向学习的特征进行一个空间的全局最大池化和平均[0043]将所述第二变换特征经过一个7×7的卷积层和一个Sigmoid函数激活，得到权重[0045]根据本发明的一些优选实施方式，所述自适应平均池化后特征Fk9通过以下计算分别表示经过第一层神经元后通道的个数降低为初始的1/4和经过第二层神经[0053]其中，为所述通道注意力交叉导向学习的特征FA进行通道变换后的所述变[0059]其中，LOSS"表示所述深度监督U型网络中第m层的损失函数、o"对应为第m层损景复杂多变的问题，提出了一种基于深度U型网络的红外弱小目标检测方法，其检测效率[0072]本发明提出的基于残差U型块的深度监督U型网络结构相比基于经典的适合于图[0073]本发明的低层细节特征的道注意力交叉导向学习和高层语义特征的空间注意力意力交互导向学习集成了通道注意力交叉学习后的特征和空间注意力的上下文特征表示，的各层输出结果加1个特征融合后的结果。不仅避免了深度网络特征单一输出对弱小目标[0079]图5为实施例中深度U型网络检测方法在红外视频序列图像中的弱小目标检测流[0080]图6为实施例中深度U型网络检测方法在红外视频序列中的弱小目标检测的可视有包含在本发明的发明宗旨范围内的合理的变换和组合均落入[0088]进一步的，如上的基于多尺度残差U型块的结构可有效解决网络的深度和特征分路径网络中的残差U型块的扩张卷积的扩张率可进行不同设置，如压缩路径网络和扩展路径网络的第1～第5层中的残差U型块只包含多个扩张率为1的卷积层即传统卷积网络和一三层中含有的残差U型块的输入通道数可设置为128，第四层中含有的残差U型块的输入通第1～第5层网络中，于其含有的残差U型块后引入步长为2的最大池化操作即下采样操作，所述第二编码模块特征进行级联得到密集编码特征的第三[0097]进一步的，所述密集特征编码模块的第一编码模块的输的第二编码模块及将所述多层次低层特征与多层次高层特征进行级联融合得到密集码层)获得的深层语义特征输出为通道注意力交叉导向学习后的特征Fr:该结构中，性整流函数ReLu,经过第二层神经元后通道恢复为初始通道数，计算通道注意力交叉导向得到的输出为空间注意力交互导向学习后的特征该结构中，首先采用空间的全局最为第三编码模块的输入，级联第一编码模块和第二编码模块后的特征并将其[0108]S13根据所述密集特征编码模块对所述优化后的多层次、多尺度特征图进行低层[0109]S14根据所述扩展路径网络对所述密集编码后的特征进行多层次、多尺度深度监[0117](1)对低层细节特征进行通道注意力交叉导向学习，以丰富低层细节特征通道之数量为C的H×W×C的高层语义特征Fk至密集编码模块导向学习后的特征即为该权重系数和对应的特征Fk9相乘后的结果即[0122](2)对通道注意力交叉导向学[0124]将该特征FX进行一个空间的全局最大池化和平均池化得到两个通道数为1的特[0125]将变换特征再经过一个7×7的卷积层和一个Sigmoid函数激活得到权重系数A2，[0126]将通道注意力交叉导向学习后的特征FX和空间注意力交互导向学习后的特征Normalization)。和分别表示C→C/r和C/r→C的激励(Excitation)[0133]在更具体的一些实施例中，所述特征的空间注意力机制的权重系数A2通过下[0136](3)通过对通道注意力交叉导向学习后的特征FX与空间注意力交互导向学习后[0146]所述训练可包括将学习到的深度U型网络的参数送入训练好的检测模型进行保包括针对6层压缩路径网络的输出结果的损失函数和扩展路径网络最后1层特征融合结果的损失函数。其不仅避免了深度网络特征单一输出对弱小目标的可判性低或者目标丢失，还解决了深度神经网络训练梯度消失和收敛有参数切换至评价模式，将评价指标的IoU和nIoU作为参考值，记录每一次验证的最佳的[0157]式中，M代表测试集中每幅图像中目标的个数，N代表测试集中总的样本个数。测的结果以及正确检测的像素数量。7p,7:和TP中的i,m代表第i个样本中的第m个物[0161]在一些具体实施例中，其可进一步包括如在NVIDIAGeForceGTX1080(8GB内存)[0163]对NVIDIAGeForceGTX1080(8GB内存)计算机平台上无人机拍摄的视频序列数据[0166]步骤2：通过训练样本集对根据具体实施方式所述的基于U型块的深度监督U型网[0170]