CN116597824B 一种基于注意力引导张量网络的想象语音分类方法及系统 （杭州电子科技大学）

一种基于注意力引导张量网络的想象语音本发明公开一种基于注意力引导张量网络发明方法将数据增强以及注意力机制的分类标2所述注意力引导张量网络包括级联多头注意力机制的特征提取模块和张量学习网络1)所述级联多头注意力机制的特征提取模块包括依次串联的嵌入层、分类标识位所述的多头自注意力机制层将所述LN正则化层输出数据映射到不同的2)所述张量学习网络的分类模块，获取所述级所述张量网络对输入数据进行张量化处理，以实现网络对高维想象语音所述ClassTokens层使用随机初始化的方式生成1*1024大小的向量所述的位置编码层采用随机位置编码方法，具体为：生成与输入数所述第一LN正则化层对位置编码层的输出数据进行归一4.根据权利要求1所述方法，其特征在于步骤S3中，多头自注意力层的表达式如下式3i代表不同的子空间，头自注意力模块的输入，WiQ为不同子空间中Q的映射矩阵，WiK为不同子空间中K的映射矩单独子空间上注意力向量计算方式依次为：首先将查询向量Q与键向量K进行点乘运qk所述第二LN正则化层对第一残差连接层的输出数据进行归一所述前馈网络层由两层前馈神经网络组成，第一层前馈网络把第二L所述第二残差连接层对所述的前馈网络层输出进行残差连接，以提升了所述第三LN正则化层对第二残差连接层的输出数据进行归一y4将)＝y(i)45)也为4*4*4*4*4大小的五维张)TrainFormat(TT_format)如k_1*rk称为张量列秩TT_rank,TT_rank为[1,8,8,8,8,19.根据权利要求1所述方法，其特征在于注意力引导张量网络的损失函数采用交叉熵5法及系统，具体是一种基于数据增强以及注意力机制的分类标识位引导的张量网络技术，分类性能提高到常规BCI范式的水平，从而实现通过内部语音进行简单的通信或对外部环量网络解决数据集小样本问题并提高模型的分6[0012]本发明利用多头自注意机制可以同时关注到EEG信号中不同时间步和不同通道的[0023]本实验使用数据为公开数据集，该实验记录了15名受试者(S1—S15；年龄20_307BrainProductsGmbH,Germany)记录脑电图i[0033]所述注意力引导张量网络包括级联多头注意力机制的特征提取模块和张量学习[0034]1)如图3所述级联多头注意力机制的特征提取模块包括依次串联的嵌入层、分类[0036]1.2所述ClassTokens层使用随机初始化的方8ClassTokens使用固定的位置编码能够有效避[0039]1.5所述的多头自注意力机制层将所述LN正则化层输出数据映射到不同的子空[0040]所述的多头自注意力机制层的作用在于增强模型对输入[0043]i代表不同的子空运算，再除以键向量K的维度平方根得到查询向量Q的分数矩阵，最后将结果传入9[0049]1.6所述第一残差连接层对所层前馈网络把第二LN正则化层的输出从dmodel维度映射为4*dmodel维度，激活函数为GELU函[0055]1.9所述第二残差连接层[0058]如图4所述张量学习网络的分类模块包括依次串联的张量网络、激活层、全连接b(i1,i2,i3,i4,i5)五维张量表)＝y(i)2345)也为4*4*4*4*4大小的五维张[0071]同样的对于权重矩阵见)[0074]可以将权重矩阵W与其对应的张量W联系起来并且将其转换为张量列格式TensorTrainFormat(TT_format)如rk_1*rk称为张量列秩TT_rank,TT_rank为[1,8,8,8,8,1]；[0080]经过张量网络分类模块输出对应的分类标签，通过与真实标签比对计算损失函