CN119496638A 一种基于Transformer生成对抗网络的网络流量异常检测方法 （电子科技大学）

一种基于Transformer生成对抗网络的网络本发明公开了一种基于Transformer生成对流量数据对应的流量特征矩阵从而构成训练样Transformer生成对抗网络并采用训练样本集进好的Transformer生成对抗网络，计算待检测网络流量的流量特征矩阵和生成流量特征矩阵之Transformer生成对抗网络对正常流量数据的特2S1：在通信网络的正常运行状态下采集若干流生成器用于根据编码器生成的噪声矩阵Z生成重构流量特征矩阵并发送至判别器；噪声矩阵分块模块用于将噪声矩阵划分为多个固定大小的非重叠噪声数位置编码模块用于为每个噪声数据块生成一个和噪声嵌入向量相同维度的位置编码S3：采用步骤S1所得到的训练样本集对步骤S2所构建的Transformer生成对抗网络进首先采用生成对抗网络训练方法对生成器和判别器进行交替训练入步骤S3训练好的Transformer生成对抗网络得到生成二维流量特征矩阵i,然后计算二3第一线性模块包括级联的线性变换层、LeakyReLU激活层和Dr多头自注意力模块用于采用多头自注意力机制对输入特征矩阵f进行处理，将得到的第一特征融合模块用于将输入特征矩阵f和注意力矩阵w进行叠加，得到融合特征a1并第一层归一化模块用于对融合特征a1进行归一化处理，得到归一化特征a2并发送至前前馈网络用于对接收到的归一化特征a2进行映射操作，得到特征a3并发送至第二特征第二特征融合模块用于将归一化特征a2和特征a3进行叠加，得到融合特征a4并发送至第二层归一化模块用于对融合特征a4进行归一化处理，得到归一化特征并作为当前流量特征矩阵分块模块用于将真实流量特征矩阵或重构二维流量特征矩阵划分为第一位置编码模块用于为每个流量特征数据块生成一个和流量嵌入向量相同维度的d4第二位置编码模块用于为每个编码嵌入向量生成一个和相同维度的位置编码向量p9d9第二向量叠加模块用于分别将位置编码向量p9d9Transformer解码器模块包括H9个Transformer解码器，用于对D个编码特征v9d进行解拼接模块用于将D个重构特征进行拼接得到特征V并发送至判判别输出处理模块用于对特征V进行处理，得到输入流量特征向量为真实流量的得分6.根据权利要求5所述的网络流量异常检测方法，其特征在于，掩码多头自注意力模块用于采用掩码多头自注意力机制对输入特征矩阵f9进行处理，第一特征融合模块用于将将输入特征矩阵f9和注意力矩阵第一层归一化模块用于对融合特征a19进行归一化处理，得到归一化特征a92并发送至第一特征融合模块用于将将归一化特征a92和注意力矩阵w″进行叠加，得到融合特征第二层归一化模块用于对融合特征a39进行归一化处理，得到归一化特征a94并发送至前馈网络用于对接收到的归一化特征a94进行映射操作，得到特征a59并发送至第三特第三层归一化模块用于对融合特征a96进行归一化处理，得到归一化特征并作为当前Transformer生成对抗网络训练中采用的损失函对于当前训练批次中的每个真实流量特征矩阵Fi和由Transformer生成对抗网络所生5度vscore(E.),从而得到梯度向量vscore,然后采用如下公式计算得到梯度惩罚项gp：2表示求取L2范数；i,img表示真实流量特征矩阵Fi和生成流量特实流量特征矩阵Fi判别得分和生成流量特征矩阵判别得分之间的差异损失，τ表示用于8.根据权利要求1所述的网络流量异常检测方法，其特征在于，所述步骤S4中差异值将两类流量特征矩阵判断准确率最高的阈值作为最终使用的差异6一种基于Transformer生成对抗网[0001]本发明属于网络安全人工智能检测技术领域，更为具体地讲，涉及一种基于Transformer生成对抗网络的网[0002]目前，网络入侵检测系统(IDS)已经在网络安全领域得到了广泛的应用。传统的[0004]基于异常的检测(Anomaly_basedDetection)：该方法通过建立网络正常行为的[0007]生成对抗网络(GAN)凭借其强大的生成能力，在网络入侵检测系统也得到了一定[0008]本发明的目的在于克服现有技术的不足，提供一种基于Transformer生成对抗网7[0009]为了实现上述发明目的，本发明基于Transformer生成对抗网络的网络流量异常[0013]生成器用于根据编码器生成的噪声矩阵Z生成重构流量特征矩阵并发送至判别[0014]噪声矩阵分块模块用于将噪声矩阵划分为多个固定大小的非重叠噪[0015]位置编码模块用于为每个噪声数据块生成一个和噪声嵌入向量相同维度的位置[0016]向量叠加模块用于分别将位置编码向量pd叠加至噪声嵌入向[0019]判别器用于对真实流量特征矩阵F或重构流量特征矩阵进行判别，得出属于真[0020]S3：采用步骤S1所得到的训练样本集对步骤S2所构建的Transformer生成对抗网其输入步骤S3训练好的Transformer生成对抗网络得到生成二维流量特征矩阵i,然后计[0023]本发明基于Transformer生成对抗网络的网络流量异常检测方法，首先在通信网8输入训练好的Transformer生成对抗网络，计算待检测网络流量的流量特征矩阵和生成流量特征矩阵之间的差异值来判断待检测网络流题提出了只使用正样本数据建模改进的解决方案，也就是只依赖于正常流量数据进行训[0027]3)本发明利用Transformer构建生成对抗网络对网络流量特征进行学习，可以显[0028]4)本发明采用无监督的Transformer生成对抗网络，能够通过对抗性训练学习到[0029]图1是本发明基于Transformer生成对抗网络的网络流量异常检测方法的具体实[0037]图1是本发明基于Transformer生成对抗网络的网络流量异常检测方法的具体实9准确性和一致性。通过检测并删除重复样本或异常长的流量会话来去除无关或有害的数[0046]为了提高流量异常检测的准确率，本发明构建Transformer生成对抗网络的流量异常检测模型。图2是本发明中Transformer生成对抗网络的流量异常检测模型的结构图。[0048]第一线性模块包括级联的线性变换层(Linear)、LeakyReLU激活层和Dropout模[0050]第三线性模块包括级联的线性变换层和Tanh激活层，用于对矩阵f2进行线性处[0051]根据以上描述可知，本实施例中编码器的操作可以采用如下公式表示：Z＝Tanh()、LeakyRelu2()分别表示第一线性模块和第二线性模块中的LeakyRelu激活函数，Tanh()表示第一线性模块中的Tanh激活函数。[0053]生成器用于根据编码器生成的噪声矩阵Z生成重构流量特征矩阵并发送至判别[0054]噪声矩阵分块模块用于将噪声矩阵划分为多个固定大小的非重叠噪P的噪声数据块，数据块数量D＝HWP2。然后每个噪声数据块展开得到长度为P×P×C的向[0055]位置编码模块用于为每个噪声数据块生成一个和噪声嵌入向量相同维度的位置[0056]向量叠加模块用于分别将位置编码向量pd叠加至噪声嵌入向器包括多头自注意力(MultiHeadAttention)模块，第一特征融合模块，第一层归一化[0058]多头自注意力模块用于采用多头自注意力机制对输入特征矩阵f进行处理，将得到的注意力矩阵w发送至第一特征融合模块。多头自注意力机制将每个矩阵块嵌入与其他[0062]第一层归一化模块用于对融合特征a1进行归一化处理，得到归[0065]前馈网络用于对接收到的归一化特征a2进行映射操作，得到特征a本实施例中前馈网络包含两个全连接层和一层Dropout神经元随机失活层，之间有一个非Dropout()表示Dropout操作。[0068]第二特征融合模块用于将归一化特征a2和特征a3进行叠加，得到融合特征a4并发[0070]生成器输出模块用于对编码特征vd进行处理，生成重构流量特征矩阵本实施[0071]判别器用于对真实流量特征矩阵F或重构二维流量特征矩阵进行判别，得出属[0072]流量特征矩阵分块模块用于将真实流量特征矩阵F或重构二维流量特征矩阵划[0073]第一位置编码模块用于为每个流量特征数据块生成一个和流量嵌入向量相同维′Transformer编码器模块采用与生成器中Transformer编码器模块相同数量和结构的[0077]第二位置编码模块用于为每个编码嵌入向量生成一个和相同维度的位置编码向d′[0080]掩码多头自注意力模块用于采用掩码多头自注意力[0089]拼接模块用于将D个重构特征进行拼接得到特征V并发送至判别器输出模块。[0090]判别器输出模块用于对特征V进行处理，得到输入流量特征向量为真实流量的得[0093]采用步骤S1所得到的训练样本集对步骤S2所构建的Transformer生成对抗网络进[0095]为了提高Transformer生成对抗网络的训练效果，本实施例对损失函数的计算方[0096]对于当前训练批次(batch)中的每个真实流量特征矩阵Fi和由Transformer生成[0101]梯度惩罚项gradientpenalty(gp)的设计目标是使得判别器的梯度范数接近1，其输入步骤S103训练好的Transformer生成对抗网络得到生成二维流量特征矩阵然后[0116]另外收集网络处于攻击状态下的若干流量数据，攻击状态可以根据实际需要设和攻击状态下的流量特征矩阵分别输入Transformer生成对抗网络，计算得到每个流量特征矩阵对应的差异值dif，搜索得到将两类流量特征矩阵判断准确率最高的阈值作为最终将预处理好的数据按照7:2:1划分为训练集、验证集和测试集，使用训练集对基于[0121]MSCNN_LSTM_AE：详情参见文献“AbouElHoudaZ,SenhajiHafidA,KhoukhiL.Anovelunsupervisedlearningmethodforintrusiondetectioninsoftware_definednetworks[M]//ComputationalIntelligenceinRecentCommunicationNetworks.Cham:SpringerInternationalPublishing,2021:103_117.力[0122]FID_GAN：详情参见文献“SinghA,Jang_JaccardJ.Autoencoder_basedunsupervisedintrusiondetectionusingmulti_scaleconvolutionalrecurrentnetworks[J].arXivpreprintarXiv:2204.03779,2022.力[0123]IDS_IF：详情参见文献“deAraujo_FilhoPF,NailiM,KaddoumG,etal.Unsupervisedgan_basedintrusiondetectionsystemusingtempora