CN116645615B 一种基于轻量化Transformer的HRRP序列识别方法 （中国人民解放军空军工程大学）

TransformerforHigh-ResolutioProfileSequenceRecTransformerwithTemporal–Spatia一种基于轻量化Transformer的HRRP序列识本发明公开了一种基于轻量化Transformer一种局部聚合注意力单元(LAU)，利用分组线性用轻量化前馈神经网络(LW_FFN)对增强后的特单元、轻量化FFN和LabelSmoothing正则化对传统的Transformer进行改进，在有效实现轻量化2旋转位置编码是一种乘性编码，通过绝对位置编码的方式实现相对其中是可训练的相对位置矩阵，c＝clip(m相对位置编码的核心思想是将第三项和第四项中嵌入的绝对位置向量pn替换为相对位其中旋转位置编码在自注意力机制计算注意力权3S2、提出一种局部聚合注意力单元，利用分局部聚合注意力单元的输入，经过局部聚合注意力单元进行局部特征聚合和全局特征增的相关原理，自注意力机制通过查询向量和键向量计算序列数据的相关性得到注意力矩最后，为保证输入输出的维度一致，故在自注意力机制处理后s是对自注意力机制的输出进行升维处理的参数矩阵；4在使用交叉熵损失函数计算预测值和真实值的损失值时，为LabelSmoothing正则化中各类别5[0001]本发明涉及雷达技术领域，具体是指一种基于轻量化Transformer的HRRP序列识[0002]雷达自动目标识别在军事和民用领域均具有广泛的应用。当前，高分辨距离像[0003]雷达在探测运动目标时与目标发生相对运动，可以获得为三种统计类型，将不同类型距离单元的回波建模为对应的分布形式来完成识别任务。Molchanov等人提出一种基于微多普勒双相干特征的识别方法，所提方法从雷达回波中的机的值和后验概率整合到基本概率分配中，实现了支持向量机与证据理论结合的识别方法。Wang等人提出了一个基于一维局部感受野的极限学习自动编码器(1DELM_LRF_AE)网[0005]随着深度学习的发展，卷积神经网络和循环神经网络大量应6基于Region_factorizeDrecurrentattentionalnetworkwithdeepclustering的识别要信息丢失。为了进一步增强对全局信息的提取能力，Pan等人提出一种基于CNN_Bi_RNN关注目标区域的重要信息，有效提取序列的全局信息。Zhang等人提出一种基于feature_[0006]当前针对HRRP序列识别的方法，无法有效地提取HRRP序列的深层和全局时序信编码，局部聚合注意力单元(LAU)，轻量化前馈神经网络(LW_FFN)的轻量化Transformer[0007]本发明要解决上述技术问题，提供一种基于轻量化Transformer的HRRP序列识别7[0016]相对位置编码的核心思想是将第三项和第四项中嵌入的绝对位置向量pn替换为[0022]其中旋转位置编码在自注意力机制计算注89和循环神经网络的方法在HRRP序列识别中有为[0083]相对位置编码的核心思想是将第三项和第四项中嵌入的绝对位置向量pn替换为[0089]其中旋转位置编码在自注意力机制计算注[0091]利用旋转矩阵引入相对位置信息且旋转位置编码避免了引入更多的可学[0105]LAU相较传统的多头注意注意力机制具有更深的网络结构，特征增强能力更加显不过度依赖有限的样本，避免陷入局部最优解，最终实现抑制过拟合问题。增加Label[0126]从预测概率分布可以得出，LabelSmoothing正则化能够增加对真实值和预测值据集训练集2747幅SAR图像，测试集包括3203幅SAR图像。本发明将SAR图像转换为HRRP序逆傅里叶变换(inversefastfouriertransform,IFFT)，沿距离维得到的数据即为HRRP[0132]设生成的HRRP序列长度为L(L≤50)，生成HRRP序列的滑窗算法如表2中算法1所[0141]由表2可知，本发明提出的RLAT对十类目标识别的平均准确率最高，达到了99.86比传统的gMLP提高了17.09比常用循环神经网络LSTM和GRU提高了3.69％以上，比性能卓越的卷积神经网络1D_CNN和TCN分别提高了0.61％和1.92比XCM提高了0.96相较具有同等网络结构的Transformer提高和17.50GRU的波动范围为9.711D_CNN和TCN的波动范围分别为4.03％和13.32%,XCM的波动范围为5.20Transformer的波动范围为2.15而所提方法的最大波动范围能均有下降。所提方法仍然实现了最高的平均识别准确率99.73相较Datase为2.04而对比方法LSTM和GRU的波动范围分别为22.76％和16.641D_CNN和TCN的波动范围分别为5.37％和10.49Transformer的波动范围为7.49XCM的波动范围为的短序列上表现出了比其他对比实验更加显著的性能，在标准数据集D1和变体数据集D2，够取得比Transformer更加显著的识变体数据集D2上，RLAT在有限训练样本的数据集上均取得比其他方法更加突出的识别性现了95.83％的准确率，相较Transformer提高了15.41相较传统的gMLP增加了76.18%,提高了18.15相较传统的gMLP增加了75.75相较LSTM，GRU循环神经网络的方法提高置编码主要包括绝对位置编码和相对位置编码，选择绝对位置编码LAPE和相对位置编码[0162]Table6Recognitionaccuracyofdifferentpositionalencodingmeth置编码方法提高了0.12％以上，相较绝对位置编码提高了相对位置编码方法提高了1.34％以上，相较绝对位置准确率的最大差值为1.43LAPE对5类目标实现了最优性能，识别准确率的最大差值为标实现了最优的识别性能，且识别准确率最大差值为2.04C1对3类目标实现了最优性[0168]超参数在深度学习模型中具有关键作用，在RLAT中，LAU映射维度LAT堆叠层数Layer和LAU最大深度Depth，3个超参数对模型性能具有重要影响，其中Embedding能够有效控制单个LAU的宽度，堆叠层数和LAU最大深度能够从模型深度方面影对模型的影响。设置映射维度的范围Embedding＝{64,128,256,512}，堆叠层数的范围[0171]本发明探索了Transformer在HRRP序列识别中的应用，提出