CN119399545A 一种基于深度孪生自注意力网络的复杂目标识别方法 （北京理工大学）

号一种基于深度孪生自注意力网络的复杂目本发明公开了一种基于深度孪生自注意力络整体构成U型结构，局部对称的编码器解码器尺度输入处理，对输入图像进行自适应尺度变多尺度输入以增强网络模型的泛化能力及精确2基于残差连接的滑窗自注意力变换模块，用以增强网络模型对不多个跳跃连接，用于直接连接编码器和解码器的S1、将高维图像信息首先分离成两通道维度，器多个包含残差连接的残差模块结构Down模块，输入图片首先进行自适应scaleS2、将经S1处理的图像输入一系列滑窗自注意力变换模块中进一步提取和处理特征，再经图像尺寸自适应模块处理后将输出的特征S3、孪生网络层级编码器每阶段同时通过下采样生含更丰富信息输入通道的子编码网络，记录其每个编码阶段中特征以及原图像分辨率特S4、编码阶段结束，将两个子网络分支通道融合，各通S5、将S4所得融合图像输入解码器多个包含S6、在每个解码阶段使用特征融合技术，结合S3中层S9、利用融合损失函数对S8中所得的语义分2.根据权利要求1所述的一种基于深度孪生自注意力网络的复杂目标识别方法，其特33.根据权利要求1所述的一种基于深度孪生自注意力网络的复杂目标识别方法，其特l_1表示输入序列；l表示输出序列；l+1表示输出序列；4.根据权利要求1所述的一种基于深度孪生自注意力网络的复杂目标识别方法，其特孪生子网络同时通过步长为2，卷积核为3x3卷积层实施特征下采样，每到更深5.根据权利要求1所述的一种基于深度孪生自注意力网络的复杂目标识别方法，其特在特征层面上将来自孪生网络的两个分支的特征图通过6.根据权利要求1所述的一种基于深度孪生自注意力网络的复杂目标识别方法，其特47.根据权利要求1所述的一种基于深度孪生自注意力网络的复杂目标识别方法，其特通道融合后的深层的特征图1/16通过上采样恢复到上一层的尺寸1/8，并与S3选定通道记录的对应编码阶段高分辨率特征图1/8融合，以保证在特征传递过程中信息的完整性8.根据权利要求1所述的一种基于深度孪生自注意力网络的复杂目标识别方法，其特使用SoftCrossEntrophyLoss和LovzaLoss对语义分割识别结果以权重1：1融合，5[0005]在大量的复杂图像场景下，会面临图像的底层特征与高多尺度下的细节特征以及语义信息的平衡性[0007]本发明的目的在于提出一种基于深度孪生自注意力网络的复杂目标识别方法以6括有多个包含残差连接的残差模块结构Down模块，首先对输入图片进行自适应scale7l_1表示输入序列；l表示输出序列；l+1表示输出序列；8深层的特征图1/16通过上采样恢复到上一层的尺寸1/8，并与对应编码阶段高分SCE表示SoftCrossEntropyLoss损失函数ii)表示模型预测的第i个类别的概率；9Jc的loss函数；本发明在总结现有的基于卷积神经网络及对称编码解码结构网络复杂目标识别的说，提出了一种基于深度孪生自注意力网络的复杂目标识别方法，整体框架采用U型结Encoder）创新性地采用孪生网络提取高维图像特征，每个阶段都是基于改进Swin置编码的序列保留作为残差量，输入归一化层LN，对于输入序列的每个元素，进行l_1表示输入序列；l+1表示输出序列。窗口的patch数，d表示Q或者K的维数，自注意力计算机制如图3所示。通过一系列改进的Loss具备数学上的可微性质，更便于与其他损失函数结合使用，从而进一步提升模型性SCE表示SoftCrossEntropyLoss损失函数的值；yi表示真实标签中iJc表示待优化的1os