CN119397339A 基于特征解耦的EEG-fNIRS深度融合的认知状态分类方法 （杭州电子科技大学）

基于特征解耦的EEG-fNIRS深度融合的认知本发明公开了基于特征解耦的EEG_fNIRS深集被试心算任务下的脑电信号EEG与功能性近红外光谱信号fNIRS数据，对采集到的两个数据进行预处理得到脑电信号数据和血红蛋白浓度变明有效缓解fNIRS模态深度学习中的过拟合问2性近红外光谱信号fNIRS数据，对采集到的两个数据进行预处理得到脑电信号数据和血红步骤S2，取脑电信号数据和血红蛋白浓度变化数据，深度融合网络，获取EEG的公共特征和私有特征、fNIRS的初级特征；以及EEG分类结果、2.根据权利要求1所述的基于特征解耦的EEG_fN3.根据权利要求2所述的基于特征解耦的EEG_fN特征在于，所述步骤S1的预处理具体为：首先去除两个眼动信号，将脑电信号下采样到将带氧血红蛋白和脱氧血红蛋白数据在空间维度进行拼接，实验和任务阶段代表的12s数据，最终脑电和近红外数据的大小分别为(N4.根据权利要求3所述的基于特征解耦的EEG_fNIR3其中，⊙表示点乘，σ表示激活函数，此处采用SiLU，DWConv表示深度可分离卷积，步骤S223，将EEG的公共特征和fNIRS的初级特征进行拼6.根据权利要求5所述的基于特征解耦的E其中，y""为预测结果。4[0001]本发明属于神经系统认知状态研究领域，涉及一种基于多模态特征解耦的EEG_态对设计稳健可靠的BCI系统非常重要。目前注意力状态的测量可以分为主观测量和客观人将延迟的血流动力学反应作为领域知识引入fNIRS分类，提出了一种简洁有效的的方法通常采用特征级融合策略。Shin等人从两种信号中提取共同空间模式(CSP)特征和于张量分解的EEG_fNIRS融合方法，利用一维卷积神经网络(1DCNNs)在时间域中学习特于全连接层上的特征拼接，忽略了模态之间更深的关联。其他框架，如Kwak等人提出的5架。该框架由三个关键组件组成：结合Mamba和交叉注意力技术设计用于EEG的网络EEG与功能性近红外光谱信号fNIRS数据，一次试验包括2s的介绍阶段、10s的任务阶段和通过fNIRS模态将EEG高级特征解耦为模态间公共特征与EEG私有特征以减小冗余计算。将行基线矫正，基线矫正是将每个脑电通道的时序信号减去_5s和_2s之间的平均值进行的。通过修正后的比尔_朗伯定律将近红外信号转换为带氧血红蛋白浓度变化和脱氧血红蛋白e和Cf代表EEG和fNIRS的脑信号通道通过两个并行Mamba结构得到私有特征和公共特征，两个特征输入深度融合模块得到最终6[0023]其中ht表示隐藏状态，ut和yt分别表示输入和输出序列，AeR"",BeR",将脑电数据EEG的公共特征和近红外数据fNIRS的初级特征进行拼接作为自注意力块的Q，[0034]引入标签平滑(labelsmoothing)的思想，通过引入一个平滑参数来调整交叉熵7[0040]为了解决现有EEG_fNIRS整合工作中存在的特征冗余和融合不足的问题，本发明[0045]下面结合附图对本发明的基于特征解耦的EEG_fNIRS深度融合的认知状态分类方同步采集过程中不会产生干扰，因此EEG_fNIRS多模态融合研究能够有效提高注意力状态识别的效率，对于认知脑功能研究具有重要的意义，本文提出一种基于特征解耦的EEG_8扰具有一定的抵抗力，使用修正后的比尔_朗伯定律将光密度ΔA(λ)转换为氧合血红蛋白2)分别代表HbO和HbR在不同波长下的吸收系数，d表示信号发射器和接收器之间的距离。除以d得到实际的浓度变化Δ[HbO]和Δ后通过两个Mamba结构得到私有特征和公共特征，两个特征输入深度融合模块得到最终的9将脑电数据的公共特征和近红外数据的初级特征进行拼接作为自注意力块的Q，脑电数据[0069]os=cos[0079]将S2获取的EEG高级特征和fNIRS初级特征输入解耦损失，旨在通过fNIRS模态将[0083]表1示出了提出的深度融合框架在单模态和多模态下的性能对比，其中EMCNet为态提高了1.2相比近红外单模态提高了13.37其中有21位