CN120296550A 基于脑电眼动多模态跨注意力特征融合情感识别方法及系统 （北京航空航天大学）

基于脑电眼动多模态跨注意力特征融合情本发明提供了一种基于脑电眼动多模态跨平均识别准确率达到97.94优于现有最优方2A)构建动态图脑电信号特征提取模块，用于提取脑电数据中的时B)构建多维眼动信号特征提取模块，用于提取眼动信号的深D)构建情感状态识别分类模块，用于输出情感识别结果，情感识A1)在时域层面，首先利用具有不同大小卷积核尺寸的多个卷积层单元从脑电信号中ggggA41)首先随机初始化邻接矩阵A∈RC×C，其中第(i,j3gggg2gggggggg眼球运动轨迹记录了被试者在观看过程中眼球的运动眼动瞳孔直径反映了受试者在观看过程中瞳孔的大小变化，眼动注视点记录了受试者在屏幕上停留的特定区域和时间眼动扫视指的是被试者在不同目标之间进行快速的眼球行为可以提供有关被试者的视觉搜索和注意4yyyyyyyy步骤C)包括将脑电信号的深度特征Hg和眼动信号的深度特征Hy，将这两部分进行特征MHSAL和MHSAH分别表示低层级和高层级注意力机52.根据权利要求1所述的融合情感识别模型的建模方gg4.根据权利要求1所述的融合情感识别模型的建模方法，其特征在于步骤B1包括使用然后，采用带有残差结构的卷积网络对编码扩维后的步骤S1：获取公开的情感识别数据集SEED中的多模态生步骤S4：将步骤S2中预处理后的多模态数据训练集输入在所述步骤S3中，基于脑电眼动多模态跨注意力特征融合情感动态图脑电信号特征提取模块用于提取高级脑电特征，多维眼于提取高级眼动特征，接下来两种模态的高级特征输入到多模态跨注意力特征融合模块，脑电信号特征提取模块用于提取脑电信号的深度时6多模态注意力特征融合模块用于融合脑电信号特征和眼采用五折交叉验证的方法使用训练集对模型进行训练，然后保存模型训练好的参数，搭建脑电眼动多模态在线情感识别系统，利用所述系统先进行所再将预处理后的训练集输入步骤S3构建的情感识别模型中，按照步然后，利用所述系统再次进行所述多名被试者头皮代表是每个片段的标签，所述步骤S4包括将步骤S2中预处理7然后，将步骤S2中预处理后的测试集分别输入训练好的在所述步骤S5中，利用脑电眼动多模态在线情感识别系统进利用头皮层脑电采集设备采集脑电信号时，采用Smarting无线头皮层脑电采集设备，进行方法的有效性验证时，对8名受试者进行情感识别实验，验证过程主要分为两部分：第一部分为通过脑电眼动多模态在线情感识别系统采集8位受试者全部多模态生理数10.一种存储计算机可执行程序的计算机可读存储介质，该计算机可执行程序能使处8别。9功能的完整操作平台，在采集的8名被试者的运动想象数据上对本方法进行了实时有效性[0008]根据本发明的一个实施例的一种基于脑电眼动多模态跨注意力特征融合情感识交互反馈过程中的系统识别准确率进行方法的有[0018]本发明提出的一种基于脑电眼动多模态跨注意力特征融合情感识别方法及系统[0019]1.本发明设计的动态图脑电信号特征提取模块将脑电时域特征与脑电各通道间本系统进行了在线有效性验证，情感识别平均准确率达到了87.4满足情感识别交互系[0022]图1为根据本发明的一个实施例的一种基于脑电眼动多模态跨注意力特征融合情[0023]图2为根据本发明的一个实施例的一种基于脑电眼动多模态跨注意力特征融合情[0024]图3为根据本发明的一个实施例的一种基于脑电眼动多模态跨注意力特征融合情[0026]根据本发明的一个实施例的基于脑电眼动多模态跨注意力特征融合情感识别方[0040](a)构建动态图脑电信号特征提取模块，用于提取脑电数据中的时域和空间域的包括：δ频段[0～4Hz],θ频段[4～8Hz],α频段[8～12Hz],β频段[12～30Hz]和γ频段[30~50Hz]。得到特征维度为(batchsize,C,5)(C为脑电通道数目)大小的初级脑电数据，[0049]由A向量化得到，AT是稠密邻接矩阵，a,是稠密连接矩阵AT的向量化表cogggggggg[0074]首先使用编码器对从每个yyy[0075]然后采用带有残差结构的卷积网络对编码扩维后的眼动特征进行初步处理得到yyyy[0079]最后将初始眼动特征Fyd与Fydd进行特征尺度上的残差叠加，得特征防止过拟合的同时减少眼动信息的数据内容丢失，其中H属于实数集y[0081]从上述模块中得到了脑电信号的深度特征Hg和眼动信号的深度向量QH2[0098]对上述过程得到的两种融合特征RL与RH分别展平为一维向[0105]可将分类结果可以分为四类：真阳性(TP)、真阴性(TN)、假阳性(FP)和假阴性[0108]1)DCCA(W.Liuetal.,MultimodalEmotionRecognitionUsingDeepCanonicalCorrelationAnalysis,2018):DCCA通过计算向量之间的[0109]2)DGCNN(T.Songetal.,EEGemotionrecognitionusingdynamicalgraphconvolutionalneuralnetworks,2018):该方法采用动态邻接矩阵模拟浅DE特征的通道[0110]3)ETF(Y.Wangetal.,Emotiontransformerfusion:ComplementaryrepresentationpropertiesofEEGandeyemovementsonrecognizingangerandsurprise,2021):ETF将不同模式的数据输入到相应的Transform[0113]从表1可知，本发明所提出的基于脑电眼动多模态跨注意力特征融合情感识别方法在SEED上的平均识别准确率达到了97.94分别比基线方法高出21.95％、8.28％和频片段呈现顺序的排列方式随机但两个针对相同情感的电影剪辑不会连部分：第一部分为通过脑电眼动多模态在线情感识别系统采集8位受试者全部多模态生理[0120]统能够以较快的反应速度(平均<1s)获取较高的识别准确率(平均识别准确率>