CN115514597B 一种基于注意力机制与残差结构的联合调制识别方法 （郑州大学）

一种基于注意力机制与残差结构的联合调种基于注意力机制与残差结构的联合调制识别的是通过DeepSig开源数据集RadioML2018.01A的大量数据实验，验证了联合结构的识别有效练参数数量以及推理时间的仿真，验证得到2步骤D：将步骤A中通过信噪比盲估计的接收信号进行二及低信噪比信号两部分，高信噪比信号输入BoTAMCNet进行识别，低信噪比信号输入2.根据权利要求1所述的一种基于注意力机制与残差结构的联合调制识别方法，其特3.根据权利要求2所述的一种基于注意力机制与残差结构的联合调制识别方法，其特(d<M)，对其作特征值分解得：Rss＝U∑UH，其中U为Rss的特征向量组成的正交矩阵，4.根据权利要求3所述的一种基于注意力机制与残差结构的联合调制识别方法，其特MDL准则通过对数似然函数与罚函数相结合，利用罚函数进行偏差修正使35.根据权利要求4所述的一种基于注意力机制与残差结构的联合调制识别方法，其特6.根据权利要求5所述的一种基于注意力机制与残差结构的联合调制识别方法，其特B1：在网络开始部署一个含有64个卷积核的标准卷积层，从输B3：在B2所设计残差结构中，利用多头自注意力模块代替最后一个7.根据权利要求6所述的一种基于注意力机制与残差结构的联合调制识别方法，其特在特征提取部分，多个DSC残差块串联使用，在DSC残差块的开始部署一个线性1x1卷8.根据权利要求6所述的一种基于注意力机制与残差结构的联合调制识别方法，其特4在特征提取部分部署了4个DSC残差块，在第四个DSC残差块中利用MHSA模块代替原有9.根据权利要求6所述的一种基于注意力机制与残差结构的联合调制识别方法，其特乘结果求和再加上偏置项最后经ReLU激活函数输出得到一个分类特征，在特征重构之后添加一个由Softmax激活的FC层将预测结果转化为概率输出，在训练过程中使用Lazy5除了注意力子层，编码器和解码器的每一层都包含一个全连接前馈每个位置上的线性变换是一样的，但是不同层与层的参数是不一样Transformer架构在TransformerBlock的基础上首先添加全局平均池化来增强结构在全局平均池化层后利用批量归一化来加快收敛速度，提升在批量归一化层后利用Alpha_dropout来保证前面批量归一化层的自归一化特性不应性学习率基础上，进一步能够在每次迭代时根据当前batch来对一阶动量和二阶动量进6于注意力机制与残差结构的联合调制识别方7[0012]步骤B：在高信噪比区间，设计一种叠加优化的卷积神经网络BoTAMCNet，利用ResNet18的基础结构，利用深度可分离卷积代替标准Multi_HeadSelfAttention，缩写为MHSA)模块代替残差块中两个残差单元原有的卷积，[0025]通过最小描述长度(MinimumDescriptionLength，MDL)准则估计信号子空间的8定阈值将数据集中信噪比为一20dB到0dB的24种信号数据划分到低信噪比信号，输入Transformer进行识别；数据集中0dB到20dB的24种信号数据划分到高信噪比信号，输入1卷积对上一个残差块最大池化的输出进行通道(特征)融合，在残差块的最后部署最大池[0046]DSC运算过程分两步完成：第一步深度卷积层对输入的每个通道单独进行卷积运9[0048]在特征提取部分部署了4个DSC残差块，在第四个DSC残差块中利用MHSA模块代替的信息进行特征提取，第一个标准卷积层(FirstConv)与后两个DSC残差块中的卷积核个[0053]在特征重构之后添加一个由Softmax(归一化指数函数)激活的FC层将预测结果转；[0058]C4：在TransformerBlock的基础上添加全局平均池化、批量归一化、Alpha_Query、Key、Value和Output都是向量。输出是Values的加权和，分配给每个值的权重由[0071]本发明所用Transformer架构在TransformerBlock的基础上首先添加全局平均位均值和方差不变。同时使用SeLU激活函数能够保证衰减层的自归一化特性。最后添加Softmax激活函数(归一化指数函数)来将预测结果转化为概率输出。在训练过程中使用LazyAdam作为模型优化器，在Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率基础上，进一步能够在每次迭代时根据当前batch来对一阶动量和二阶动量进行更新，且仅更新当前batch中出现的稀疏变量索引的移动平均累加[0084]参照图1_9，一种基于注意力机制与残差结构的联合调制识别方法，包括如下步(英文全称Multi_HeadSelfAttention，缩写为MHSA)模块代替残差块中两个残差单元原[0099]通过最小描述长度(MinimumDescriptionLength，MDL)准则估计信号子空间的[0112]以上即为信噪比盲估计算法原理，输入Transformer进行识别；数据集中0dB到1卷积对上一个残差块最大池化的输出进行通道(特征)融合，在残差块的最后部署最大池[0120]DSC运算过程分两步完成：第一步深度卷积层对输入的每个通道单独进行卷积运[0122]在特征提取部分部署了4个DSC残差块，在第四个DSC残差块中利用MHSA模块代替的信息进行特征提取，第一个标准卷积层(FirstConv)与后两个DSC残差块中的卷积核个[0127]在特征重构之后添加一个由Softmax(归一化指数函数)激活的FC层将预测结果转；[0132]C4：在TransformerBlock的基础上添加全局平均池化、批量归一化、Alpha_Query、Key、Value和Output都是向量。输出是Values的加权和，分配给每个值的权重由[0145]本发明所用Transformer架构在TransformerBlock的基础上首先添加全局平均[0147]在BN层后利用Alpha_dropout来保证前面BN层的自归一化特性不变，同时将添加Softmax激活函数(归一化指数函数)来将预测结果转化为概率输出。在训练过程中使用LazyAdam作为模型优化器，在Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率基础上，进一步能够在每次迭代时根据当前batch来对一阶动量和二阶动量进行更新，且仅更新当前batch中出现的稀疏变量索引的移动平均累[0149]参照图1_9，一种基于注意力机制与残差结构的联合调制识别方法，包括如下步[0151]步骤B：在高信噪比区间，设计一种叠加优化的卷积神经网络BoTAMCNet，利用ResNet18的基础结构，利用深度可分离卷积代替标准Multi_HeadSelfAttention，缩写为MHSA)模块代替残差块中两个残差单元原有的卷积，[0164]通过最小描述长度(MinimumDescriptionLength，MDL)准则估计信号子空间的定阈值将数据集中信噪比为_20dB到0dB的24种信号数据划分到低信噪比信号，输入Transformer进行识别；数据集中0dB到20dB的24种信号数据划分到高信噪比信号，输入[0185]DSC运算过程分两步完成：第一步深度卷积层对输入的每个通道单独进行卷积运[0187]在特征提取部分部署了4个DSC残差块，在第四个DSC残差块中利用MHSA模块代替在4个DSC残差块的前边和后边分别部署了一层标准卷积。前两个DSC残差块中的卷积核个标准卷积层(FirstConv)与后两个DSC残差块中的卷积核个数均设计为64，即从32类特征所有点乘结果求和再加上偏置项最后经ReLU激活函数输出得到一个分类特[0192]在特征重构之后添加一个由Softmax(归一化指数函数)激活的FC层将预测结果转；[0197]C4：在TransformerBlock的基础上添加全局平均池化、批量归一化、Alpha_Query、Key、Value和Output都是向量。输出是Values的加权和，分配给每个值的权重由[0210]本发明所用Transformer架构在TransformerBlock的基础上首先添加全局平均[0212]在BN层后利用Alpha_dropout来保证前面BN层的自归一化特性不变，同时将在训练过程中使用LazyAdam作为模型优化器，在Adam通过计算梯度的一阶矩估计和二阶[0227]如表4所示，利用信噪比盲估计算法对抽样后的数据集中每条信号数据作信噪比比为20dB的条件下识别准确率高达97.21同样条件下比其他网络提高了1.14％_20dB到0dB区间内识别准确率均达到了60％以上，最高达到65.49识别准确率有了显著[0231]在相同条件下BoTAMCNet的识别准确率达到最高，且网络可训练参数数量相比别任务特别设计的调制分类卷积神经网络(MCNet)和多跳越连接的残差神经网络(MRNN)。其他几类算法有了明显的提升，在一20dB到0dB的信噪比范围内分类精度均达到了60％以[0233]由图9可以看出本发明所提调制类型识别联合结构在整体低信噪比到高信噪比区准确率高达97.21％