CN114118165B 基于脑电的多模态情绪数据预测方法、装置及相关介质 （深圳大学）

withaudio-visualembed本发明公开了基于脑电数据的多模态情绪模型对预设的视听内容提取深度视觉特征和深深度听觉特征和深度视听融合特征对应的潜藏2在不同分辨率下，对不同子频带提取用于训练的脑电数基于所述域自适应神经网络对目标用户的脑电数据进行预测投票通过深度卷积网络模型对预设的视听内容提取深度视觉特征和深度听述深度视觉特征和深度听觉特征融合为深度视基于所述深度视觉特征、深度听觉特征和深度视听融合特征构建超图对所述个体情绪预测标签数据和潜藏情绪预测标签数据赋予权重获取训练集中带情绪标签的脑电数据，并设置为源域；以及获将所述源域特征表征和目标域特征表征输入至生成器中，依次通将所述训练特征和对应的训练标签输入至分类器中，通过所述分类将所述训练特征和测试特征输入至判别器中，依次通过所述判别器中的第五全连接分别提取目标用户的脑电数据的高分辨率特征表征、将所述高分辨率特征表征依次输入至第一生成器和第一分类器中，得到高分辨率标对所述高分辨率标签、中分辨率标签和低分辨率标签进行投票，并按照下式构建所述域自适应神经网络的域对抗训练目标3利用所述VGG16网络中的每一卷积层提取每一所述帧视觉信息的特征图，在每一卷积将最后两层卷积层对应的关键帧特征拼接为所述将预设的视听内容中的听觉信息无重叠分割为多个听觉片段，利用VGGi将所述深度视觉特征深度听觉特征融合为所述深度到所述深度视觉特征、深度听觉特征和深度视听融合特征对应的潜藏情绪预测标签数据，将所述深度视觉特征、深度听觉特征和深度视听融合特征对应的视通过谱超图分割方法将所述超图分割为若干个与情绪状态对所述聚类进行归一化处理，通过实值优化方法对归一化处理后的聚类进行最优分4按照下式对所述个体情绪预测标签数据和潜藏情绪预测标签数据赋予权重第一预测单元，用于基于所述域自适应神经网络对目标用户的脑电数据进行预测投特征提取单元，用于通过深度卷积网络模型对预设的视听第二预测单元，用于基于所述深度视觉特征、深度听觉特征标签融合单元，用于对所述个体情绪预测标签数据和潜藏情绪预测标5[0001]本发明涉及计算机软件技术领域，特别涉及基于脑电的多模态情绪数据预测方[0005]第一方面，本发明实施例提供了一种基于脑电数据的多将所述深度视觉特征和深度听觉特征融合为深度[0011]第二方面，本发明实施例提供了一种基于脑电数据的多6现如第一方面所述的基于脑电数据的多模态情绪[0021]图1为本发明实施例提供的一种基于脑电数据的多模态情绪数据预测方法的流程[0022]图2为本发明实施例提供的一种基于脑电数据的多模态情绪数据预测方法的子流[0023]图3为本发明实施例提供的一种基于脑电数据的多模态情绪数据预测方法的另一[0024]图4为本发明实施例提供的一种基于脑电数据的多模态情绪数据预测方法的整体7[0025]图5为本发明实施例提供的一种基于脑电数据的多模态情绪数据预测方法中的域[0026]图6为本发明实施例提供的一种基于脑电数据的多模态情绪数据预测装置的示意[0027]图7为本发明实施例提供的一种基于脑电数据的多模态情绪数据预测装置的子示[0028]图8为本发明实施例提供的一种基于脑电数据的多模态情绪数据预测装置的另一[0038]S105、对所述个体情绪预测标签数据和潜藏情绪预测标8的判别性信息。因此，本实施例拟提出一种基于深度视听特征的超图聚类方法(DeepAudio-VisualFeaturebasedHypergraphClusteringMethod,DAVFHC)用于提取具有判提取器网络提取特征，然后通过任务分类器网络和判别器网络对提取的特征进行分类判情绪预测标签数据和潜藏情绪预测标签数据进行融合，从而得到最终的情绪数据预测结别构建基于迁移学习的域自适应神经网络-MsDANN，并以域对抗的方法训练所述域自适应源域和目标域具有判别性和域不变性的特征，并使得源域和目标域的特征分布相似或接9此判别器的作用便是判断数据样本究竟是属于源域还是目[0054]本实施例中，结合图5，在利用所述域自适应神经网络对脑电数据进行分类预测[0076]S301、对预设的视听内容提取所有帧视觉信息，将每一所述帧视觉信息输入至[0082]本实施例中，深度视觉特征和深度听觉特征分别通过已预训练的VGG16网络和卷积层(ι=5,6)的听觉特征以拼接的方式融合，作为以DAVFHC方法得到的深度听觉特征AA[0105]基于计算所得的相似性矩阵(N是样本量)，关联矩阵可是同属一个超边的所有顶点之间相似性关系的度量，更大的w(ek)值表示同属一个超边的具有相似属性的顶点之间具有更强的连接关系，而小的w(ek)值表示同属一个超边的顶点[0113]超图的问题可以通过谱超图分割方法实现对构建的超图分割成若干个与情绪状[0126]按照下式对所述个体情绪预测标签数据和潜藏情绪预测标签数据赋予权重并融征的预测标签(即所述潜藏情绪预测标签数据)和对应的脑电特征个体化预测标签(即所述[0134]基于个体的真实标签是指每个被试观看视频时在Valence和Arousal维度分别打征在超图分割方法上的预测标签；Visual表示深度视觉特征在超图分割方法上的预测标征在超图分割方法上的预测标签；Visual表示深度视觉特征在超图分割方法上的预测标[0143]基于个体和跨个体的真实标签在Valence和Arousal维度分别评估了域对抗网络[0150]表3和表4的数据是MsDANN和MsNN(Multi-scaleNeuralNetwork，无深度域自适应的多分辨率神经网络)两个网络模型产生的标签分别与视频内容深度特征的标签决策融听融合特征标签的决策融合结果均优于脑电预测标签和深度视觉特征或深度听觉特征标[0151]图6为本发明实施例提供的一种基于脑电数据的多模态情绪数据预测装置600的[0153]第一预测单元602，用于基于所述域自适应神经网络对目标用户的脑电数据进行[0154]特征提取单元603，用于通过深度卷积网络模型对预设的视听内容提取深度视觉[0156]标签融合单元605，用于对所述个体情绪预测标签数据和潜藏情绪预测标签数据[0159]表征获取单元702，用于分别获取所述源域和目标域的源域特征表征和目标域特[0181]第一拼接单元804，用于将最后两层卷积层对应的关键帧特征拼接为所述深度视[0182]第二拼接单元805，用于将预设的视听内容中的听觉信息无重叠分割为多个听觉[0183]特征融合单元806，用于将所述深度视觉特征深度听觉特征融合为所述深度视听可以对本申请进行若干改进和修饰，