CN119475109A 一种基于数据增强和多模态特征融合的运动想象脑电信号分类识别方法及系统 （杭州电子科技大学）

一种基于数据增强和多模态特征融合的运本发明公开一种基于数据增强和多模态特征融合的运动想象脑电信号分类识别方法及系据增强后数据和原始数据进行时频分析后提取明提出基于时间序列分解和预测的时序数据增类效果。还利用时序和时频进行多模态特征提2步骤S2、对原始脑电数据进行数据增强，所述数据增强S3_1对原始脑电数据和数据增强后脑电数据的所有通道各S4_1对原始脑电数据和数据增强后脑电数据进行时对原始脑电数据的所有通道各自进行时间序列分解，得到多个分解项;;对原始脑电数据的所有通道各自构建时间序列平均模型ARIMA(p,d,q),其中p是自回归项的阶数，d是差分的次数，q是移动平均项的阶37.根据权利要求1所述方法，其特征在于，步骤S3_2中所述时序特征提取器包括输入码器层由3头自注意力层和前馈神经网络层两个子层组成，两个子层的输出都经过残差连数据增强模块，负责对原始脑电数据进行数据增强，所述数据增强包括基时频特征提取模块，负责对原始脑电数据和数据增多模态特征提取模块，负责将时序特征和时频图像4相关的大脑活动，将其转换为控制信号，进而控制外部设备的系统。运动想象（MotorRNN)或长短时记忆网络(LongShortTermMemory,LSTM)处理脑电信号的时间相关性。当[0005]本发明的目的是为针对运动想象脑电信号分类领域存在的缺乏足够训练样本和5[0010]S3_1对原始脑电数据和数据增强后脑电数据的所有通道ARIMA(p,d,q),其中p是自回归项的阶数，d是差分的次数，q是移动平均项的阶数；具体是：6个编码器层由3头自注意力层和前馈神经网络层两个子层组成，两个子层的输出都经过残[0051]本发明提供了一种基于数据增强和多模态特征融合的运动想象脑电信号分类识[0052]1.本发明提出基于时间序列分列预测的时序数据增强方面，对原始脑电数据各通道构建时间序列统计模型（例如了模型的泛化能力。[0053]2.本发明针对运动想象脑电信号高噪7[0056]图1是本发明实施例提供的基于数据增强和多模态特征融合的运动想象脑电信号[0067]本实施例提供一种基于数据增强和多模态特征融合的运动想象脑电信号分类识8"[0095]a,B,y>0[0096]C>v9[0103]T=(t11t1z""[0105]l1=(ii1z…iw)数据中的趋势和季节性成分，使数据满足平稳性假设，差分次数的确定需要结合数据的实[0116]根据确定的ARIMA(P,d,q)模型参数，利用最小二乘法等参数估计方法计算得到[0119]6+e=1[0120]6,e>0L=256进行时间序列分割，选择Patch长度为256是经过大量实验和数据分析得出的[0128]P1=(xxaz"*1u)[0131]对于其他通道的脑电信号数据X2,X3,…XC也做相同的时序分割处理，XZ切分为以得到66个Patch时序块。原有22x768的二维矩阵xcw，通过时间序列分割处理后转换为66x256的二维矩阵。Transformer提取脑电数据的时序特征。将输入数据的维度调整为适合后续处理的形式，这一过程涉及到矩阵乘法等线性代数运[0137]在自注意力层中，Transformer的自注意力机制通过对不同时间切片的脑电特征f(t)为t时刻的一个信号或平方可积函数，a为伸[0148]小波母函数y(t)为Haar小波函数：[0154](1)输入层，将小波变换得到的时频图的RGB图像作为CNN网络的输入（大小为32x32x3[0155](2)卷积层C1，卷积层中卷积核大小为5x5，卷积核个数为6，卷积后的特征图[0156](3)池化层S2，池化层中选择大小为2x2的核14x14；的实验流程和参数调整，使得CNN模型能够有效地从时频图像中提取出与运动想象相关器(卷积神经网络CNN)的分类算法结果；(3)基于动想象脑电多模态数据的特征提取和融合后，多模态深度学习算法的平均分类准确率为