CN118303883B 基于脑电信号和眼电信号特征融合的疲劳检测方法 （电子科技大学）

基于脑电信号和眼电信号特征融合的疲劳本发明公开了一种基于脑电信号和眼电信者在正常状态和疲劳状态下的脑电信号和眼电2S1：根据实际需要确定受试场景和受试者，分别S3：将对应的脑电信号EEG和眼电信号EOG作为一组脑电信号数据降维处理模块用于对脑电信号EEG进行数据降维，将降维后的脑电信号空间注意力特征提取模块用于采用空间注意力机制对降维后的脑电信号EEG1进行空间最大池化层用于对降维后的脑电信号进行最大池化，然后将平均池化层用于对降维后的脑电信号进行平均化，然后将特征拼接层用于将最大池化特征和平均池化特征进行拼接，脑电信号通道与时间特征提取模块用于对接收的脑电信号空间特征tEEG进行进一步特第一卷积层用于对脑电信号空间特征tEEG进行卷积操作，然后将得到的特征发送至第第二卷积层用于对接收到的特征进行卷积操作，然后将得到的特征发送至均值池化均值池化层用于对接收到的特征进行均值池化，然后将得到的特征发送至激活函数激活函数层用于采用Relu激活函数对接收到的特征进行处理，然后脑电信号特征降维模块用于对接收到的脑电信号特征fEEG进行降维得到降维后的脑电信号特征FEEG，使脑电信号特征FEEG的尺寸和眼电信号特征FEOG相同，然后将脑电信号特征眼电信号时间特征提取模块用于对眼电信号EOG进行时间特征提取，将得到的眼电信号时间特征tEOG发送至眼电信号通道与时间特征提取模块；眼电信号时间特征提取模块包3每个通道卷积层分别对眼电信号EOG的每个通道信号进行卷积操作，将得到的通道特均值池化层用于对接收到的K个通道特征进行均值池化，然后将得到的特征发送至激激活函数层用于采用Relu激活函数对接收到的特征进行处理，然后眼电信号通道与时间特征提取模块用于对接收的眼电信号时间特征tEOG进行进一步特卷积层用于对接收的眼电信号时间特征tEOG进行卷积操作，将得到的特征发送至均值均值池化层用于对接收到的特征进行均值池化，然后将得到的特征发送至激活函数激活函数层用于采用Relu激活函数对接收到的特征进行处理，然后特征拼接模块用于将脑电信号特征FEEG和眼电信号特征FEOG进行拼接，将拼接特征Fcon分类模块用于根据拼接特征Fcon进行分类，得到输入信号所对应人员是否疲劳的检测卷积层用于分别对每个通道的脑电信号进行卷积处理，将得到均值池化层用于对接收到的各个通道的特征信号进行激活函数层用于采用Relu激活函数对接收到的特征信号进行处理，4第一卷积层用于对脑电信号特征fEEG进行卷积操作，然后将得到的特征发送至第二卷第二卷积层用于对接收到的特征进行卷积操作，然后将得到的特征发送至均值池化均值池化层用于对接收到的特征进行均值池化，然后将得到的特征发送至激活函数激活函数层用于采用Relu激活函数对接收到的特征进行处理，然后5[0002]传统研究中，疲劳是由于过度使用身体而引起的一种身心功能障碍和不适的状安全管理局的数据，每年约有10万起警察报告的涉及疲劳驾驶或困倦的交通事故，导致需要进行大量的研究。目前已经量产的疲劳驾驶检测方法主要有三种:1)检测并分析方向表达，更准确、实时、可靠。2018年，Garnelo等人提出了一种称为神经过程(neural类型的疲劳评估：主观和客观。主观疲劳状6[0006]为了实现上述发明目的本发明基于脑电信号和眼电信号特征融合的疲劳检测方劳状态下时长为T的脑电信号和眼电信号EOG；[0011]脑电信号数据降维处理模块用于对脑电信号EEG进行数据降维，将降维后的脑电[0012]空间注意力特征提取模块用于采用空间注意力机制对降维后的脑电信号EEG1进行空间特征提取，将得到的脑电信号空间特征tEEG发送至脑电信号通道与时间特征提取模[0013]脑电信号通道与时间特征提取模块用于对接收的脑电信号空间特征tEEG进行进一[0014]第一卷积层用于对脑电信号空间特征tEEG进行卷积操作，然后将得到的特征发送[0018]脑电信号特征降维模块用于对接收到的脑电信号特征fEEG进行降维得到降维后的[0019]眼电信号时间特征提取模块用于对眼电信号EOG进行时间特征提取，将得到的眼[0020]眼电信号通道与时间特征提取模块用于对接收的眼电信号时间特征tEOG进行进一[0021]卷积层用于对接收的眼电信号时间特征tEOG进行卷积操作，将得到的特征发送至7[0025]分类模块用于根据拼接特征Fcon进行分类，得到输入信号所对应人员是否疲劳的试场景和受试者，分别采集每位受试者在正常状态和疲劳状态下的脑电信号和眼电信号，对脑电信号进行预处理后将脑电信号和对应眼电信号作为输入信号，并标注对应的标签，取的特征能够更好地体现脑电信号和眼电信号的特征，从而进一步提高疲劳检测的准确[0032]图1是本发明基于脑电信号和眼电信号特征融合的疲劳检测方法的具体实施方式8[0039]图1是本发明基于脑电信号和眼电信号特征融合的疲劳检测方法的具体实施方式9在空间信号中进一步提取不同通道的脑电信号特征，同时还吸收了DenseNet的架构思想，[0058]脑电信号数据降维处理模块用于对脑电信号EEG进行数据降维，将降维后的脑电[0062]空间注意力特征提取模块用于采用空间注意力机制对降维后的脑电信号EEG1进行空间特征提取，将得到的脑电信号空间特征tEEG发送至脑电信号通道与时间特征提取模[0066]脑电信号通道与时间特征提取模块用于对接收的脑电信号空间特征tEEG进行进一[0067]第一卷积层用于对脑电信号空间特征tEEG进行卷积操作，然后将得到的特征发送[0071]脑电信号特征降维模块用于对接收到的脑电信号特征fEEG进行降维得到降维后的[0072]第一卷积层用于对脑电信号特征fEEG进行卷积操作，然后将得到的特征发送至第[0076]眼电信号时间特征提取模块用于对眼电信号EOG进行时间特征提取，将得到的眼[0077]每个通道卷积层分别对眼电信号EOG的每个通道信号进行卷积操作，将得到的通[0078]均值池化层用于对接收到的K个通道特征进行均值池化，然后将得到的特征发送[0080]眼电信号通道与时间特征提取模块用于对接收的眼电信号时间特征tEOG进行进一[0081]卷积层用于对接收的眼电信号时间特征tEOG进行卷积操作，将得到的特征发送至[0085]分类模块用于根据拼接特征Fcon进行分类，得到输入信号所对应人员是否疲劳的[0087]采用步骤S103的训练样本对疲劳检测模型进行训练，得到训练好的疲劳检测模[0093]当需要对某人员进行疲劳检测时，获取时长为T的脑电信号和眼电信号[0094]为了更好地展示本发明的技术效果，采用一个具体实例对本发明进行实验验的数据是通过驾驶模拟收集的，采集过程是通过模拟驱动系统采集脑电信号和脑电信号。是卡耐基梅隆研究所通过反复实验调查和研究得出的能够有效表征人的嗜睡程度的数值，[0101]从而可以得到包含脑电信号EEG、眼电信号EOG和数据标签PERCLOS_label的数据[0102]图4是本实施例中疲劳检测模型的具体结构图。表1是图3所示疲劳检测模型的参号EEG和眼电信号EOG两个信号进行训练和测试。LDA使用公共空间模式算法(common0.870.800.620.720.720.600.930.870.820.970.960.87[0110]如表2所示，本发明脑眼电信号融合模型在识别精度和跨主体识别精度方面都优[0115]从表3可以看出，脑电信号和眼电信号的特征提取模块都大大提高了融合模型的[0116]为了验证本发明模型的跨主体识别能力，本实施例参考文献“D.Gao,K.Wang,M.Wang,J.ZhouandY.Zhang,"SFT_Net:ANetworkforDetectingFatigueFromEEGSignalsbyCombining4DFeatureFlowandAt