CN117315738B 基于时空注意力机制的多模态心理状态检测方法及系统 （兰州大学）

Spatio-TemporalAttentionalTRANSACTIONSONKNOWLEDGEAND2966.基于时空注意力机制的多模态心理状态检本申请提供一种基于时空注意力机制的多数据和语音数据中提取面部表情特征和语音特行心理状态的检测，提高心理状态检测的准确2将特征维度统一后的所述面部表情特征和所述语音特征输入时空注意将所述时空融合特征输入心理状态分类器，以获得所述心理所述空间注意模块按照下式提取面部表情和语音的单Sm为特征维度统一后的面部表情特征或语音特征，所述时间注意模块按照下式提取面部表情和语音的单所述多模态融合转换器按照下式融合面部表情和语音的多2.根据权利要求1所述的基于时空注意力机制的多模态心理状态检测方法，其特征在3.根据权利要求1所述的基于时空注意力机制的多模态心理状态检测方法，其特征在3如果所述数据长度大于预设长度阈值，则按照预设长度阈如果所述数据长度小于预设长度阈值，则按照预设长度4.根据权利要求1所述的基于时空注意力机制的多模态心理状态检测方法，其特征在对所述面部表情特征和所述语音特征执行数据归5.根据权利要求1所述的基于时空注意力机制的多模态心理状态检测方法，其特征在将所述面部表情特征和所述语音特征输入线性映射层，所述线性映获取所述线性映射层输出的矩阵形状相同的所述面部表情特6.根据权利要求1所述的基于时空注意力机制的多模态心理状态检测方法，其特征在特征提取模块，用于在所述面部表情数据中提取面部表情特多模态融合模块，用于将特征维度统一后的所述面检测分类模块，用于将所述时空融合特征输入心理状态分类器，所述空间注意模块按照下式提取面部表情和语音的单Sm为特征维度统一后的面部表情特征或语音特征，4所述时间注意模块按照下式提取面部表情和语音的单所述多模态融合转换器按照下式融合面部表情和语音的多5[0007]在所述面部表情数据中提取面部表情特征，以及在所述语音数据中提取语音特[0009]将特征维度统一后的所述面部表情特征和所述语音特征模块和多模态融合转换器，所述空间注意模块用于提取面部表情和语音的单模态空间信6[0030]可选的，所述多模态融合转换器按照下式融合面部表情和语音的多模态时空信[0031]=LN(MultiHead(Q,kv)+⃞):7语音的单模态空间信息，所述时间注意模块用于提取面部表情和语音的单模态时间信息，所述多模态融合转换器用于融合面部表情和语音的多面部表情的时空融合特征和语音的时空融合特征，时空注意力转换器包括空间注意模块、[0043]图1为本申请实施例提供的基于时空注意力机制的多模态心理状态检测方法的流89以使用具有抑郁症的用户和正常用户的包括面部表情数据和语音数据的社交媒体数据作[0065]由于面部表情特征和语音特征维度不匹配，为了保证特可以对面部表情特征和语音特征进行预处理，以统一面部表情特征和语音特征的特征维层，用于使面部表情特征和语音特征具有相间注意模块(TemporalAttentionBlock，TAB)和多模态融合转换器(MultimodalFusion[0075]空间注意模块是对每一帧中的每个数据点所表示的面部表情或语音状态进行建模态融合转换器按照下式融合面部表情和语音的多时间注意模块得到的面部模态或语音模态下的时空特征，FFN()为带有激活函数的两层全用于融合面部表情和语音的多模态时空信息。最后将时空融合特征输入