CN119416047A 基于多模态Mamba网络的对话情感识别方法和装置及介质 （深圳技术大学）

基于多模态Mamba网络的对话情感识别方法本申请公开了一种基于多模态Mamba网络的模态的若干个话语数据的对话信息输入到多模器从对话信息提取多模态话语数据的特征作为类器根据上下文信息确定每个话语数据的情感2所述编码器用于从所述对话信息提取多模态话语数据的特征作所述多模态融合模块用于根据所述第二特征提取所述对话信息中所述情感分类器用于根据所述上下文信息确定每个所述话语数据的所述情感类别标所述文本编码器用于提取所述对话信息中文本数据的第所述音频编码器用于提取所述对话信息中音频数据的第所述视频编码器用于提取所述对话信息中视频数据的第将所有所述第一情感特征、所述第二情感特征和所述第三情根据所述第一相似性函数、所述第二相似性函数和所述第三相根据所述相似性分数对所有所述第一特征进根据所有所述相似性分数计算预设损失值，所述预设损失值用于最大化根据所述预设损失值对所有所述第一特征进3将所述标签概率最大值对应的标签作为所述话语数据对应的所述情所述编码器用于从所述对话信息提取多模态话语数据的特征作所述多模态融合模块用于根据所述第二特征提取所述对话信息中所述情感分类器用于根据所述上下文信息确定每个所述话语数据的所述情感类别标4[0001]本申请涉及情感识别技术领域，尤其涉及一种基于多模态Mamba网络的对话情感的是准确识别对话中不同话语所表达的情感。情感在人与人之间的沟通中扮演中医角色，[0004]本申请实施例的主要目的在于提出一种基于多模态Mamba网络的对话情感识别方[0005]为实现上述目的，本申请实施例的一方面提出了一种基于多模态Mamba网络的对[0007]将所述对话信息输入到多模态Mamba网络，得到每个所述话语数据的情感类别标[0012]所述情感分类器用于根据所述上下文信息确定每个所述话语数据的所述情感类5[0021]在一些实施例中，所述根据所述相似性分数对所有所述[0024]在一些实施例中，所述根据所有所述相似性分数计算预设损失值的计算公式如[0034]为实现上述目的，本申请实施例的另一方面提出了一种基于多模态Mamba网络的[0041]所述情感分类器用于根据所述上下文信息确定每个所述话语数据的所述情感类6[0047]本申请实施例至少包括以下有益效果：本申请提供一种基于多模态Mamba网络的对话情感识别方法和装置及介质,该方案通过将获取包括多种模态的若干个话语数据的对[0052]图5是本申请实施例提供的基于多模态Mamba网络的对话情感识别装置的结构示技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，7[0061]VisExtNet：一种视频编码器，有效捕捉面部表情而不编码多余的视觉上下文信[0063]MoCo(MomentumContrastforUnsupervisedVisualRepresentation的是准确识别对话中不同话语所表达的情感。情感在人与人之间的沟通中扮演中医角色，Transformer的上下文嵌入模块和预训练记忆模块，尽管这些方法在一定程度上改进了上[0075]有鉴于此，本申请实施例中提供一种基于多模态Mamba网络的对话情感识别方法和装置及介质,本申请通过将获取包括多种模态的若干个话语数据的对话信息输入到多模8[0076]本申请实施例提供的基于多模态Mamba网络的对话情感识别方法，涉及情感识别技术领域。本申请实施例提供的基于多模态Mamba网络的对话情感识别方法可应用于终端能平台等基础云计算服务的云服务器，服务器还可以是区块链网络中的一个节点服务器；软件可以是实现基于多模态Mamba网络的对话情感识别方法的应用等，但并不局限于以上[0078]图1是本申请实施例提供的基于多模态Mamba网络的对话情感识别方法的一个可齐模块(TAV_Alignment)、多模态融合模块(MultimodalFusion)和情感分类器9[0084]为了应对多余的场景相关信息问题，VisExtNet有效地捕捉面部表情而不编码不实施例通过将所有第一情感特征、第二情感特征和第三情感特征均映射到归一化低维网a是将文本、视频和音频的[CLS]嵌入分别映射到归一化的低维标准化输入维度并增强模型学习多模态数据中复杂关系的能力，特征被转换为适合Mamba是状态空间模型(SSM)的参数。σ表示对通过fEma函数处理后的特征Z[0105]公式中，ji是第i个话语的预测情感标签。Softmax是Softmax函数。W和b分别是[0106]在一些实施例中，将本申请实施的方法与现有方法在IEMOCAP和MELD数据集上进64.52％和56.28％。并且在惊讶和悲伤类别中也表现良好，WF1分数分别为55.64％和键作用。[0116]参照图5，本申请实施例提高了一种基于多模态Mamba网器存储有计算机程序，处理器执行计算机程序时实现上述基于多模态Mamba网络的对话情计算机程序，该计算机程序被处理器执行时实现上述基于多模态Mamba网络的对话情感识可以根据实际的需要选择其中的部分或者全部模块来实