基于混合神经网络的脑电情感识别

1、基于混合神经网络的脑电情感识别摘要：为保留脑电(Electroencephalogram, EEG)空间信息的同时充分挖掘EEG时序相关信息，提出了一种三维卷积 神经网络(3-Dimensional Convolutional Neural Networks,3D-CNN)结合双向长短期记忆神经网络(Bidirectional Long Short-term Memory Neural Networks, BLSTM)的混合神经网络(3DCNN - BLSTM);为验证该模 型的分 类性能，在 DEAP数据集和SEED数据集上进行情感识别实验.实验结果表明3DCNN-BLSTM模型能有效学习E

2、EG多通道间 的相关性与时间维度信息且提高了情感分类性能：在DEAP数据集的二分类实验中，唤醒度和效价的情感识别平 均准确率分别为93.56%和93.21%;在DEAP数据集的四分类实验中，情感识别平均准确率为90.97%;在SEED数 据集的三分类实验中，情感识别平均准确率为98.90%.关键词：脑电；情感识别；3D-CNN; BLSTM;混合神经网络EEG Emotion Recognition Based on Hybrid Neural NetworksAbstract: A hybrid neural network ( 3DCNN-BLSTM) based on a 3 -Dime

3、nsional Convolutional Neural Network (3D-CNN) combined with a Bi-directional Long Short-term Memory Neural Network ( BLSTM) is proposed to preserve the spatial information of the EEG while taking full advantage of its time-related information. Emotion recognition experiments on DEAP and SEED dataset

4、s are carried out to evaluate the classification performance of the model. The experiment results show that the 3DCNN -BLSTM model can effectively learn the correlation between EEG multi-channels and time dimension information and improve the performance of emotion classification. The average accura

5、cy of emotion recognition of arousal and valence in the two-classification experiments on DEAP dataset are 93.56% and 93.21% respectively; the average accuracy of emotion recognition in the four-classification experiments on DEAP dataset is 90.97%; and the average accuracy of emotion recognition in

6、the three-classification experiments on SEED dataset is 98.90%.Keywords： EEG; emotion recognition; 3D-CNN; BLSTM; hybrid neural network近年来，情感识别越来越受到学者的关注.目 前，情感识别的方法主要是采用面部表情、文本、语 音以及生理信号等.面部表情、文本和语音等易受 人们主观因素的影响，而生理信号不易受主观所控 制，更能客观地反映人们真实的情感状态.因此，越 来越多学者使用生理信号尤其是脑电信号来进行情 感识别.随着计算机计算能力的不断提高，深度学习开 始不

7、断凸显其强大的学习能力和优势，学者们逐渐 使用深度学习的方法来代替传统的机器学习.其 中，卷积神经网络(CNN)是深度学习方法中最为常 见的网络，已广泛运用于各大领域，在脑电情感识别 中也取得了很多成果.如：首先使用皮尔逊相关系 数(PCC)计算不同脑电通道之间的相关性并构造成 相关矩阵，然后使用CNN提取脑电通道之间的相关 性信息;提取多种脑电信号时域特征并组合成特 征向量，然后输入到深度神经网络进行情感识 别；提取脑电信号连通性特征，并将其转化为连 通性矩阵输入到CNN进行情感分类;使用CNN 提取脑电特征，并结合了皮肤电反应信号提高分类 准确率.情绪是一种随时间变化的情感现象，而脑 电信

8、号的时序变化能反映情绪的变化.因此,充分考 虑脑电信号的时序信息能有效提高情感识别的准确 率.如:在DEAP数据集上，使用了三维卷积神经网 络（3D-CNN）进行情感分类，并使用数据增强方法提 高3D-CNN的性能，在效价和唤醒度2个维度上均 获得了不错的分类准确率.目前，长短期记忆神经网络（LSTM）和双向长 短期记忆神经网络（BLSTM）在脑电情感识别中呈 现了良好的分类性能.如: ALHAGRY等刃使用 LSTM提取脑电特征，在DEAP数据集中进行二分 类实验，在唤醒度和效价2个维度上分别获得 85.65%和85.45%的准确率;XING等使用堆栈自 动编码器（SAE）构建和求解线性脑电

9、图混合模型， 并使用LSTM对基于SAE分解的脑电信号进行情 感识别，在效价和唤醒度上的平均准确率分别为 81.10%和 74.38%; WANG 等使用 BLSTM 在 SEED 数据集上进行情感识别,平均准确率为94.62%.但 是,在文献7-9中，只是使用LSTM或BLSTM提 取脑电信号的时间特征，并没有考虑脑电信号的空 间信息.随着对CNN和RNN的不断深入研究，学者 们开始考虑结合CNN和RNN，将一维脑电信息转 化为二维矩阵，即利用CNN提取脑电信号的空间信 息，同时使用RNN提取脑电信号的上下文信息.如： YANG等10使用了混合神经网络，即使用CNN提 取脑电信号的空间信息、

10、使用LSTM提取脑电信号的 时间信息;SHEN等11将来自不同通道的微分嫡特征 转换为四维结构，并输入到由CNN和LSTM组成的 四维卷积循环神经网络进行情感识别； SHEYKHIVAND等12记录了 14名受音乐刺激的被 试的脑电信号，将未进行特征提取的原始脑电信号 直接应用于由CNN和LSTM组成的神经网络（CNN- LSTM）进行情感分类.在已有的脑电情感识别领域使 用CNN和RNN的研究中,仍存在许多待改进的地方. 如:使用未经过特征提取的脑电信号作为神经网络 的输入，导致网络训练时间非常长;使用LSTM只考 虑了前向时序信息，并未利用反向时序信息.为了更加充分地提取脑电信号中的信息，

11、本文 提出基于3D-CNN和BLSTM的混合神经网络 （3DCNN-BLSTM） : （ 1）首先，将脑电信号进行分频, 对每一秒每个频带的脑电信号提取特征;然后，去基 线并将一维的脑电特征向量按照电极分布转化为二 维特征矩阵，再将同一时刻不同频带的二维特征矩 阵进行叠加,从而将其构造成三维矩阵;最后，使用 滑动窗口对不同时刻的三维脑电序列进行分段，并 将序列输入到3D-CNN,从而提取脑电信号的时空 信息.（ 2）将一维的脑电特征向量输入到BLSTM,提 取脑电信号的前向、反向时序信息.（3）将3D-CNN 和BLSTM提取的信息结合，并进行脑电情感分类.1实验数据DEAP数据集DEAP数据

12、集包含32个被试的32通道脑电 信号以及8通道的外围生理信号.本文只采用32通 道的脑电信号作为实验数据:该脑电信号先以512 Hz进行采样，然后将采样率降至128 Hz,并经过 4.0-45.0 Hz的带通频率滤波以及去除了 EOG伪像. 每个被试观看40个情绪音乐视频,每个视频时长为 1 min.被试观看每个视频后，对唤醒度、效价、喜好 和主导程度进行评分.在本文实验中，仅选择在唤 醒度和效价2个维度上进行测试.在每个维度上， 以5作为评分阈值，将标签类型分为2类:评分大于 5的标签标记为“高”，小于或等于5的则标记为 “低”.即二分类实验中，在唤醒度维度上可将标签 分为HA（高唤醒度）和

13、LA（低唤醒度）；在效价维度 上可将标签分为HV（高效价）、LV（低效价）.此外， 本文还进行了四分类实验.对应标签分别为高唤醒 度-高效价（ HAHV） 、高唤醒度-低效价（ HALV） 、低 唤醒度-高效价（LAHV）、低唤醒度-低效价 （LALV） 13.SEED数据集SEED数据集皿包含15个被试的62通道脑电 信号.每个被试观看15个中文电影片段，每段电影 时长约为4 min.电影片段包含的情绪分为积极、中 立和消极3种类型，每个情绪的电影片段为5个.每 个被试参加3次实验，每次参加的时间间隔约为 1周.脑电数据采样率降至200 Hz,并去除了噪声和 伪影.2方法双向 LSTMLST

14、M单元 循环神经网络(Recurrent Neural Networks, RNN)是一种适用于序列数据的神经网 络,长短期记忆神经网络(Long Short-Term Memory Neural Networks,LSTM) 是一种时间循环神经网 络，能避免普通RNN存在的长期依赖问题，目前已 成功应用于语音识别和情感分析等领域.LSTM单 元由遗忘门、输入门和输出门组成，控制丢弃的信息 以及传递给下一时间步长的信息的比例.在时刻更新LSTM单元遗忘门的输出ft、输入 门的输出6、输出门的输出ot、细胞状态C,、隐藏状 态C，具体计算公式如下：ft = /妃1，+2/),6= /( 妃1，+

15、),I = /( Wo -妃1，+如),C* -1+* tanh( 妃1，7+2)，ht = ot * tanh( C),其中,也是在t时刻的输入，、b、b、Wc分别是 遗忘门、输入门、输出门、细胞状态的权重,2/、b,、bo、 2c分别是遗忘门、输入门、输出门、细胞状态的偏置.BLSTM对于许多时序信号分类任务，同时 考虑过去和将来的上下文信息能有效提高分类准确 率.而LSTM在t时刻的隐藏状态h仅考虑了过去 的信息.双向LSTM( BLSTM)的的基本思想是将每 个序列向前和向后呈现为2个独立的隐藏状态，以 分别捕获过去信息h和将来信息h$.然后将2个隐 藏状态连接起来以形成最终输出 ,即

16、 = h+h$. 2.2三维卷积神经网络三维卷积神经网络(3-Dimensional Convolutional Neural Networks,3D-CNN)力是传统卷积神经网络的 一种扩展，是在传统卷积神经网络的基础上对卷积 和池化操作进行了改进.目前,3D-CNN主要应用 在医学图像和视频处理等领域.3D-CNN中的3D 卷积运算既能对不同EEG通道位置的空间相关性 进行建模，又能对时间相关性进行建模.语音和脑 电信号等持续时间较长的信号具有时间相关性，充 分考虑时间相关性能提高系统性能.因此,3D-CNN 非常适用于提取脑电信号的时空特征.2.3混合神经网络t+U-3D-CNN 特 征

17、提取器卷积层5x5x5,16全连接层特征融合分类器1特法融合全连接层1024I BLSTM 特 :征提取器softmax全连接层1024|卷积层1x1x1,16全连接层1024输入耳卷积层3x3x3,32卷积层3x3x3,64图1混合神经网络结构图Figure 1 t+U-3D-CNN 特 征提取器卷积层5x5x5,16全连接层特征融合分类器1特法融合全连接层1024I BLSTM 特 :征提取器softmax全连接层1024|卷积层1x1x1,16全连接层1024输入耳卷积层3x3x3,32卷积层3x3x3,64图1混合神经网络结构图Figure 1 The framework of a h

18、ybrid neural network3D-CNN特征提取器混合神经网络中的 3D-CNN特征提取器一共有4个三维卷积层，卷积 层的特征图数依次为16、32、64、16.第1个卷积层 的卷积核大小为5x5x5；第2、3个卷积层的卷积核 大小均为3x3x3；为了降低计算成本，最后1个卷积 层的卷积核大小设置为1x1x1.在所有卷积层中， 步长设置为1,并使用零填充以防止丢失输入数据 的边缘信息.本文使用的激活函数为RELU激活函 数.由于实验的数据量相对较小，为了尽可能地保 留信息，在模型中不使用池化操作.卷积后应用批 归一化运算以加速模型训练，最后把卷积后所得的 特征输入到全连接层.为了防止

19、过拟合，在全连接 层后加入了 dropout操作.3D-CNN特征提取器的输入数据是经过三维转 化的预处理数据段，其第j个输入数据段表示为 数据段输入到三维卷积层,可得：Qj 二 Conv 3D( S)，其中，Conv 3D( )表示三维卷积层运算.将卷积层输 出的特征输入到全连接层,得到时空特征向量： = FC( Q，其中，FC( )表示全连接层运算.BLSTM特征提取器 BLSTM特征提取器由 2个堆叠的BLSTM层组成，隐藏层单元数等于窗口 大小U.在t时刻，第2个BLSTM层的输入序列是 第1个BLSTM层的隐藏状态序列.BLSTM模块的 输入数据不需要将一维脑电向量转换为二维矩阵，

20、第9个输入数据片段表示为：=，其中,.是在t时刻由不同频带拼接所得的一维脑 电特征向量.首先，将-输入到全连接层,可得：/ = FC(-.再将/输入到BLSTM层,可得：0=blstm( / =矿,2+1 ,#,矿d-i ， 其中,0表示2个BLSTM层的输出，BLSTM ( )表 示BLSTM层运算.将0输入到全连接层，可得片段 的最后时间特征向量：1 = FC(0).2.3.3分类器本文的分类器主要由一个全连接 层和softmax分类器组成.首先，将3D-CNN特征提 取器和BLSTM特征提取器的输出结果进行拼接：2=cat( 5 ,其中,cat( )表示拼接操作.然后，将拼接后的特征 向

21、量输入到全连接层：=FC( 2).最后，将Mj输入到softmax分类器进行情感分类：Pj = softmax ( M).为了提高网络的泛化能力，在全连接层后加入 dropout操作，并在损失函数中加入了 L2正则项.3实验步骤及结果分析3.1脑电信号预处理对于DEAP数据集，参照文献18的数据处理 方法，首先使用带通滤波器将脑电信号分为4个频 带：theta( 4 7 Hz)、alpha( 8 13 Hz)、beta( 14 - 30 Hz)和gamma( 31 45 Hz);然后，将63 s的脑电信 号平均分割成63段长度为1 s的片段，其中前3 s 为基线信号，计算出每个片段每个频带的特

22、征值 (图2).在实验中,为了提高实验准确率，使用被试 在刺激下记录的脑电信号特征值与基线信号特征平 均值的差值作为实验数据，在t时刻的差值记为 EEG_removedt，计算公式如下：EEG_removed=base_feature1 dbase_feature2 dbase_feature3feature,3其中,feature表示在t时刻提取的脑电信号特征值, base_feature6 ( 6 = 1,2,3)表示在6时刻提取的基线 信号特征值.t时刻的一维脑电信号特征表示为+= :1蓦, ，sT,其中，s( 6 =1,2，+)是第6个通道的 特征数据.DEAP数据集一共有32个电极通

23、道,即 + =32.脑电信号除了在预处理时需要减去基线信 号，作为3D-CNN特征提取器输入时还需要将一 维的脑电特征向量转化为三维特征矩阵.DEAP数 据集使用多电极可穿戴式设备获取脑电信号，电 极根据国际10 = 20系统(图3A)进行分布.DEAP 数据集共包含了 32个脑电测试点，这些测试点在 大脑特定的区域记录脑电信号.为了保留电极之 间的空间信息，根据图3所示的映射方式将一维 的脑电信号构造成大小为Cx_的二维矩阵.其中： C、_的值分别为电极在垂直、水平方向上的最大 值;DEAP数据集中未使用的电极用0”进行填 充;垂直和水平方向电极数不足9的行列同样在 相应空缺的位置用“0”进

24、行填充.因此，一维特征 向量+在t时刻对应的二维特征矩阵4;为：一 0001017SE000 _0002018St00040301902002105060230220d=807024SE025SE026SE09010028SE027SE012011016St029St030St00013031000_ 00014St1532000 _将同一时刻不同频带的二维特征矩阵进行叠 加,从而得到一个hX_Xa的三维矩阵4，其中1为 不同频带的数量.通过以上的数据变换，将一维的 脑电序列,+e+i，#，+!+i转换为三维脑电序列，4+1，#，4+最后，使用滑动窗口将三维脑电序列分割成具 有固定长度的片段，

25、并确保连续相邻片段之间没有 重叠.第9个三维脑电数据段表示为：Sj= ldt ,dl+i，# ,dt+u_i ,其中，？表示窗口大小，在本文实验中U设置为6.图2脑电信号分频操作示意图Figure 2 The schematic diagram of EEG signal frequency division operation000Fp、0Fp2000000AF.0AF,000F,0凡0Fz0歹40F，0FC,0FG0fc20fc60T,0G0Cz0G0Ts0CP,0顷0CP20CP60Pi0己0pz0P40R000PO30PO4000000O|OzO2000(B)DEAP等效矩阵图3 DE

26、AP数据集中二维脑电特征矩阵的构造示意图18Figure 3 The schematic diagram of the 2D EEG feature matrix in the DEAP dataset1E注:黄色的电极表示DEAP数据集的测试点，白色的电极则是未使用的测试点.对于SEED数据集，首先使用带通滤波器将脑 电信号分为5个频带：delta( 1 3 Hz)、theta( 47 Hz)、alpha( 8 13 Hz)、beta( 14 30 Hz)和 gamma (3150 Hz)；然后，将脑电信号平均分割为长度为 1 s的片段，并计算出每个片段每个频带的特征值.类 似DEAP数据集

27、的数据处理方法，将一维特征向量转 化为二维特征矩阵(图4)；接着，将同一时刻不同频 带的二维特征矩阵进行叠加，从而构造成三维特征矩 阵;最后,使用滑动窗口将三维脑电序列分割成固定 长度为6 s的片段，连续相邻片段之间没有重叠.映射(A)EEGt&极分布图FT, FC5 FC3 FC、FCz FC2 FC* FCS FT, L c, G C Cz C2 C. Ce T,0 PO, PO, POi POZ PO, POS PO, 0(B)SEED效矩阵CP5 CP, CP I CP2图4 SEED数据集中二维脑电特征矩阵的构造示意图18Figure 4 The schematic diagram

28、of the 2D EEG feature matrix in the SEED dataset8实验细节实验采用的硬件设备是Intel( R) Core( TM) i7 = 8750H CPU 和 NVIDIA GeForce GTX 1060 GPU.软 件环境采用的是Python 3.6,同时使用了 pytorch框 架搭建神经网络模型.在本文实验中，dropout操作 保留率设置为0.5,学习率根据lr = 0.01/( 1 + 10J)0* 进行更新，其中P为当前步长除以总步长的值.本文 首先使用DEAP数据集中所有被试的数据分别进行 二分类实验和四分类实验，并采用十重交叉验证技 术

29、评估模型的分类性能.即把12 800个样本平均分 为10个子集，取1个子集作为测试集，其余9个为 训练集.重复以上操作10次,直至所有的子集都作 为测试集进行了实验.其次，利用SEED数据集进行 了三分类(积极、中立和消极)实验,采用五重交叉 验证技术评估模型的分类性能.DEAP实验结果为了更加全面地分析3DCNN-BLSTM模型的 分类性能，使用DEAP数据集，从不同特征的实验结 果、不同模型的实验结果以及其他相关方法所得结 果3个方面进行分析.3.3.1不同特征的实验结果使用不同特征对模 型的分类能力会有一定的影响,本文除了选取2种 在脑电情感识别中常用的特征(微分嫡(DE)、功率 谱密度

30、(PSD)外，还选择了排列嫡(PeEn)、样本熵 (SampEn)、奇异值分解熵(SvdEn)以及近似嫡(Ap- En) 4种特征进行二分类实验和四分类实验.其中， SvdEn、PeEn、DE、SampEn和ApEn属于非线性动力 学特征.由实验结果(表1)可知:(1)使用5种非线性动 力学特征的情感识别平均准确率均明显高于使用 PSD特征的平均准确率;使用PSD特征时，四分类 实验的结果明显低于二分类实验的结果，而分别作 用5个非线性动力学特征的二分类、四分类实验的 结果差异不算特别大.这表明了在该模型中使用非 线性动力学特征比使用PSD特征更能有效地提取 脑电特征.(2)使用ApEn特征的

31、二分类、四分类实 验结果最优:在唤醒度和效价2个维度上分别获得 了 93.56%和93.21%的平均准确率，比使用PSD特 征的平均准确率分别提高了 16.2%和17.12%，比使 用DE特征的平均准确率分别提高了 4.94%和 5.61% ,比使用SampEn特征的平均准确率分别提高 了2.96%和3.32%；在四分类实验中，使用ApEn特 征的平均准确率达到90.97%，比使用PSD特征的 平均准确率提高了 27.26%，比使用DE特征的平均 准确率提高了 6.84% ,比使用SampEn特征的平均 准确率提高了 4.17%.表1 6种特征的情感识别平均准确率Table 1 The ave

32、rage accuracy of emotion recognition of sixcharacteristics%特征 -二分类实验-四分类实验唤醒度效价PSD77.3676.0963.71SvdEn87.9186.6284.31PeEn88.0787.9383.97DE88.6287.6084.13SampEn90.6089.8986.80ApEn93.5693.2190.973.3.2不同模型的实验结果 此外，选择ApEn为 特征，使用 2D - CNN LSTM 3D - CNN BLSTM 和 3DCNN-BLSTM模型进行对比实验.其中，由于2D- CNN模型的输入数据比3D-C

33、NN模型的输入数据 少了 1个维度，所以，在2D-CNN模型的对比实验 中的输入数据并未使用滑动窗口将脑电序列分割成 长度为6 s的片段，即使用长度为1 s的脑电数据作 为1个实验样本.对比实验的网络结构与本文模型 对应模块的设置相应一致.由实验结果(表2)可知：(1)除了 2D-CNN模 型外，其他模型的情感识别能力均表现良好,表明本 文采用的近似嫡特征的有效性.2D-CNN的分类效 果明显差于其他模型的原因可能是2D-CNN模型 只提取脑电信号的空间信息，并没有考虑脑电信号 的时间信息，而其他的4个模型均考虑了脑电信号 的时序信息，这表明充分挖掘脑电信号时序信息能 有效提高脑电情感识别准确

34、率.(2)由BLSTM模型 和LSTM模型的实验对比可知在脑电情感识别实验 中同时挖掘脑电信号的前向、反向时序信息能有效 提高分类准确率:在二分类实验中，BLSTM模型在 唤醒度和效价2个维度上的平均准确率分别比 LSTM模型提高了 0.83%和0.81%；在四分类实验 中,BLSTM模型的情感分类平均准确率比LSTM模 型提高了 1.13%. ( 3)由 3DCNN-BLSTM 模型与 3D- CNN模型、BLSTM模型的实验结果对比可知3DCNN- BLSTM模型能进一步提高脑电情感识别准确率：在二 分类实验中，3DCNN-BLSTM模型的平均准确率在 唤醒度和效价2个维度上分别比3D-C

35、NN模型提 高了 0.82%和0.99%、分别比BLSTM模型提高了 1.19%和1.49%；在四分类实验中,3DCNN-BLSTM模 型的平均准确率分别比3D-CNN、BLSTM模型提高了 1.87%、1.85%.表2 5种模型的情感识别平均准确率Table 2 The average accuracy of emotion recognition with fivemodels%特征二分类实验四分类实验唤醒度效价2D-CNN74.4974.2160.25LSTM91.5490.9187.993D-CNN92.7492.2289.10BLSTM92.3791.7289.123DCNN-BLS

36、TM93.5693.2190.97相关方法结果对比 不少学者使用DEAP 数据集在唤醒度和效价2个维度上分别进行二分类 情感识别.如：KOELSTRA等除了从脑电信号中 提取功率谱特征外，还提取了左右半球上所有对称 电极对的谱功率之间的差异，并使用Gaussian naive Bayes分类器对脑电信号进行情感分类;CHUNG和 YOON”9提出了一种基于Bayes分类器和监督学习 的情感分类方法；CHAO等S构造了多频带特征矩 阵(MFM)，并将特征矩阵输入到胶囊网络(Caps- Net)进行情绪识别;ZHUANG等21通过使用经验模 态分解(EMD)，将脑电信号分解为IMF序列，利用 IM

37、F的多维信息作为特征进行情感识别;XING等8 提出一个由线性脑电图混合模型和情绪时间模型组 成的框架，通过使用堆栈自动编码器(SAE)构建和 求解线性脑电图混合模型，并使用长短期记忆递归 神经网络(LSTM - RNN)构建情绪时间模型； SALAMA等而使用数据增强增加训练样本的数量， 并从多通道脑电信号中提取三维数据输入到3D- CNN模型进行情感识别;YANG等22为了进一步提 高基于CNN模块的准确性，设计了一种多列结构化 的模型(Multi-Column CNN)，该模型的决策由各个 识别模块的决策的加权总和得出.将3DCNN-BLSTM模型的二分类实验结果与 以上分别使用 Gau

38、ssian naive Bayes Bayes classifier、 CapsNet EMD + SVM、SAE + LSTM、3D-CNN、Multi - Column CNN的结果进行对比，由对比结果(表3)可 知3DCNN-BLSTM模型可以有效提高情感识别准确 率： 使用 Gaussian naive Bayes、Bayes classifier Caps- Net和EMDdSVM进行情感识别取得的准确率都相 对较低，使用 SAE+LSTM、3D-CNN 和 Multi-Column CNN进行情感分类所取得的准确率相对较高，表明 了 SAE+LSTM、3D-CNN 和 Multi-

39、Column CNN 模型 具有良好的情感分类性能;3DCNN-BLSTM模型结 合了 3D-CNN和BLSTM,在唤醒度和效价2个维度 上的分类准确率最高.表 E种方法在唤醒度和效价维度上的平均准确率Table 3 The average &55#$&54 o( E /ethods o% the 7-/2%3-%3o( arousal and valence方法平均准确率/%来源唤醒度效价Gaussian naive Bayes62.0057.60文献5Bayes classifier66.4066.60文献19CapsNet6E.2E66.73文献20EMD+SVM69.1071.99文献

40、21SAE+LSTM74.3EE1.10文献 E 3D-CNNEE.49E7.44文献6 Multi-Column CNN90.6590.01文献 22 3DCNN-BLSTM93.5693.21本文此外，除了使用deap数据集分别在唤醒度和 效价2个维度上进行二分类实验外,学者们还在这 2个维度上进行了四分类实验.如：ZUBAIR和 YOON邸提取了一组基于小波系数的特征,并使用 mRMR算法进行特征选择,最后使用支持向量机对 人类情绪进行四分类实验;JADHAV等家提出了灰 度共生矩阵（GLCM）特征,并使用KNN分类器进行 四分类情感识别；HATAMIKIA和NASRABADI25使 用

41、了基于近似嫡、频谱嫡、Katz分形维数和Petrosian 分形维数4种特征，并采用Dunn指数和序列前向 选择算法（SFS）进行特征选择，最后使用SOM分类 器进行情感分类;ZHANG等的采用小波变换与时 频盲源分离相结合的方法，并使用支持向量机对情 感类别进行分类;MARTINEZ-RODRIGO等诚将二 次样本熵（QSE）的非线性方法用于识别不同情感子 空间的特性,并使用支持向量机分类器进行情感分 类;MEI和XU”从脑电图的功能连通性矩阵提取 特征，然后输入到CNN进行情感识别.将3DCNN-BLSTM模型的四分类实验结果与 相关文献1,23-27的四分类实验结果进行对比，由对 比结果（表4）可知：（1）使用CNN为分类器的平均 准确率高于 DWT+SVM GLCM+KNN、SOM、TFBSS + SVM和QSE+SVM的，这