CN119416035A 一种基于多模态大模型的对话情感识别方法及设备 （浙江师范大学）

一种基于多模态大模型的对话情感识别方本申请公开了一种基于多模态大模型的对方法包括在当前场景中获取对话中的所有语句2在当前场景中获取对话中的所有语句集合；每一语句中包括音频差图卷积网络用于将模态共享信息特征和模态独有信息特征进行拼接，得到模态补全特利用基于文本的多层感知机对文本模态原始态信息互补模块用于根据每一模态的最终特征以及对话人信息嵌入得到对应模态的互补3利用公式sser(OF)⃞vec(p)确定模态独有信息特征；利用公式确保所有模态的模态共享信息特征与模态独有信其中，为对话人信息嵌入表示对于发言人群组so在第i层的隐状态为所有发言人群组so说过的话语的集合，7.一种基于多模态大模型的对话情感识别设模型构建模块，用于构建对话情感识别模型；所述对话情感识别模型4间的注意力权重得分矩阵，采用注意力运算得到模态共享信息特征和模态独有信息特征，而后采用差分正则化算子损失确保模态共享信息特征和模态独有信息特征的信息区分度；基于语义图的多层残差图卷积网络用于将模态共享信息特征和模态独有信息特征进行拼习者情感转变的长期因素和情感瞬变因素确定情感识识别结果输出模块，用于根据对话中的所有语句集合，采用训练5用户情感状态不仅是提升机器功能的必要条件，也是人工智能领域的一个重要研究重点。6modalLargeLanguageModels，MMLLMs）及图表示学习来进行对话建模，有着天然的优7有ERC方法仍然存在对各模态情感语义信息感知粒度不足的问题。以上两项局限致使现有ERC方法难以在复杂教学与认知交互情境中准确且稳健地识[0007]尽管传统的图神经网络GCN已经很成功，基于GCN的变种卷积网络如GCN2，8利用基于文本的多层感知机对文本模态原始未处理特征进行对应的初始特征提利用公式确定第m个模态和第n个模态之间的注意利用公式sser(OF)⃞vec(p)确定模态独有信息特征；利用公式确保所有模态的模态共享信息特征与模态独发言人群组so在第i层的隐状态，ie[1,Iual，Uo为所有发言人群组so说过的话语的集合，9[0015]可选地，语义关系图中利用公式确定边的权重;之间的注意力权重得分矩阵，采用注意力运算得到模态共享信息特征和模态独有信息特学习者情感转变的长期因素和情感瞬变因素确定情感识别教学场景中学习者会话情感识别的准确性与稳健性。为了最大程度的捕捉到这种特殊信[0021]图1为本申请一实施例中一种基于多模态大模型的对话情感识别方法流程示意u={uf,ug,u⃞,其中，N数。对于第句话，由第个发言人所陈述，则这种语句一发言人的映射关系可以定义为U,=fuzIueuanduspokenbysg,vie[1,N]},8e[1,M]，本申请的目标是构建一个大型语义关系图g=(V,E,W)并通过所提出的多层残差图卷积网络模型在图上学习并得出;;;;;其中，表示对于发言人群组so在第i层的隐状态，ieiu.1ual，vo为所有发言人[0027]面向视频、音频及文本三种模态数据中细粒度情感线索;;;;为跨模态注意力，以文本模态为例，对于给定的文本特征of，查询矩阵可以被定义为;;;系Fse可以表示为：;;应该保留或丢弃的互动部分，本申请设置了一个短时存储单元90来保留当前的互动状态;a为正则化邻接矩阵，a和Bi-1为超参数p也是超参数，wt-1)为权重矩,为第k层语义图节点特征，g)为第k个短时存储;;;;;;;;其中，ZEZ表示对于语句uy的特征向量，ei表示预测时全连接层的中间隐藏层特;;之间的注意力权重得分矩阵，采用注意力运算得到模态共享信息特征和模态独有信息特学习者情感转变的长期因素和情感瞬变因素确定情感识别设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、该计算机程序被处理器执行时实现上述各方机程序被处理器执行时实现上述各方法实施例中本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read_取存储器（StaticRandomAccessMemory，SRAM）或动态随机存取存储器（Dynamic[0044]本申请所提供