CN116439720B 基于生成对抗学习的跨模态决策信心估计方法及系统 （上海交通大学）

基于生成对抗学习的跨模态决策信心估计本发明实施例提供一种基于生成对抗学习的跨模态决策信心估计方法及系统。该方法包对脑电生成模型进行提取决策信心特征的第一者的真实眼动信号输入至训练后的脑电生成模2从所述脑电信号以及所述眼动信号中提取出脑电特征以及通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估基于脑电采集设备以及眼动采集设备采集被试者在决策过程中的脑电信号以及眼动对所述脑电信号进行基线校正，并去除基线校正后脑电信号中50Hz的交流电源噪音，基于1_75HZ带通滤波器去除所述脑电信号中的低频信号以及高基于主成分分析法去除所述眼动信号中受光照基于定长的汉宁窗口对所述脑电信号执行短时傅里叶变换，将通过所述眼动信号确定瞳孔在X轴以及Y轴方向上的均值、方差、多个频熵特征以及眼球运动特征，其中，所述眼动微分熵特征的多个频段包括：0_0.2Hz,0.特征提取程序模块，用于从所述脑电信号以及所述眼动信生成模型训练程序模块，用于通过所述脑电特征以及所述眼3的重构损失，通过所述重构损失生成用于表示决策信心的眼动高阶特征以及脑电高阶特估计程序模块，用于将获取的所述被试者的真实眼一个处理器执行，以使所述至少一个处理器能够执行权利要求1_5中任一项所述跨模态决4[0002]决策信心是指在进行判断或决策时,个体对其决策最优性或正确性的信心程度。[0005]实验中需要被试正确佩戴脑电帽并且注射电导凝胶，以确保电极在对应的位置[0007]第一方面，本发明实施例提供一种基于生成对抗学习的跨模态决策信心估计方[0010]通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的以使训练后的脑电生成模型能够从输入的眼动特征中[0011]将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预[0012]第二方面，本发明实施例提供一种基于生成对抗学习的跨模态决策信心估计系5型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼的基于生成对抗学习的跨模态决策信心估计方法[0021]图1是本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法[0022]图2是本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法[0023]图3是本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法[0024]图4是本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法[0025]图5是本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计系统[0026]图6为本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估计的电6[0028]如图1所示为本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估[0031]S13：通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特[0032]S14：将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得[0035]作为一种实施方式，所述采集被试者在决策过程中的脑电信号以及眼动信号包[0036]基于脑电采集设备以及眼动采集设备采集被试者在决策过程中的脑电信号以及此时，脑电采集设备和眼动采集设备采集到被试者在决策过程中的脑电信号以及眼动信7[0043]具体的，从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征包个模态的高级特征，然后在第二训练阶段中，训练GANs(generativeadversarial述眼动高阶特征以及脑电高阶特征确定为决8[0065]鉴别器D是用于将真实模态对与预测模态对区分开来的二进制分类器。给真实的电和眼动采集设备训练出专属于被试者的脑9动态系统)方法来平滑特征。在不重叠的1秒时间窗口内，从每个样本的5个频带(即δ:1_两个分类器，SVM(supportvectormachine，支持向量机)和具有快捷连接的DNNS(deep来。最后，为了验证本方法跨模态方法的性能，在SEED_VPDC数据集上测试了DAL(deepadversariallearning，基于深度对抗性学习)的模型，该模型直接从主要眼动特征生成[0081]如图3示出了不同方法的准确度和F1分数在内的实验结果。将本方法模型的平均可以通过本方法学习到具有更强识别极端置信水平能力的特征提取过程的情况下从初级眼动信号中生成EEG信息，本方法在准确性上提高了约[0087]如图5所示为本发明一实施例提供的一种基于生成对抗学习的跨模态决策信心估型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼[0091]作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指[0094]通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的以使训练后的脑电生成模型能够从输入的眼动特征中[0095]将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预方法实施例中的基于生成对抗学习的跨模态决[0097]图6是本申请另一实施例提供的基于生成对抗学习的跨模态决策信心估计方法的[0100]存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程态决策信心估计方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非述方法实施例基于生成对抗学习的跨模态决策信[0101]存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系[0103]所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器实施例的基于生成对抗学习的跨模态决策信心估计[0109](2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功以是或者也可以