CN116467416B 一种基于图神经网络的多模态对话情感识别方法及系统 （四川省人工智能研究院(宜宾)）

技术开发区长江北路西段附二段430号一种基于图神经网络的多模态对话情感识本发明公开了一种基于图神经网络的多模对多变量表征数据和多频率表征数据进行数据2S2：根据所述说话人和上下文感知的单模态表示，S4：对所述多变量表征数据和所述多频率表征数据S33：分别利用高通滤波器和低通滤波器提取所述无向图中当前节点特征的高频消息S12：分别利用第一全连接网络和第二全连接网络对输入对话的听觉特征和视觉特征3维度，o()是一个非线性激活函数，m.为超边权重矩阵且，4N是节点i的邻居节点，N,是节点j的邻居节点，表示多变量表征数据，⃞ie[,N],xe{,a,}表示多频率表征数据。8.根据权利要求1_7中任意一项所述的基于图神经网络的多模态对话情感识别方法，59.一种基于权利要求1_8中任意一项所述的基于图神经网络的多模态对话情感识别方多变量传播模块，所述多变量传播模块用于根据多频率传播模块，所述多频率传播模块用于提取各模情感分类模块，所述情感分类模块用于对所述多变量表征数6[0002]对话情感识别任务(EmotionRecognitioninConversation,ERC)旨在使机器能一个主要的方式是使用上下文感知模块(如循环单元或Transformer)来捕获上下文关系，估了模态和上下文之间的多变量关系，因为它以松散耦合的方式编码多模态和上下文关对话语之间的多模态和上下文依赖关系进行建模，从而提供更紧密的纠缠和更丰富的交[0007]本发明的目的在于提供一种基于图神经网络的多模态对7[0016]S11：利用双向门控循环单元对输入对话的文本特征进行编码，得到文本编码数[0017]S12：分别利用第一全连接网络和第二全连接网络对输入对话的听觉特征和视觉表示双向门控循环单元函数，u;表示输入对话的文本特征，表8e为超边权重矩阵且diag()[0045]S33：分别利用所述高通滤波器和所述低通滤波器提取所述无向图中当前节点节g[0051]所述无向图的归一化图拉普拉斯矩阵为：其中，D是一个对角g9gg矩阵，为归一化后的情感表征且;=ReLU(e),ei表示[0065]本发明还提供一种基于上述的基于图神经网络的多模态对话情感识别方法的多[0075]图3为本发明基于图神经网络的多模态对话情感识别系统基于不同图网络层的结[0076]图4为本发明基于图神经网络的多模态对话情感识别系统与FAGCN的效果比较示[0083]S11：利用双向门控循环单元对输入对话的文本特征进行编码，得到文本编码数[0084]S12：分别利用第一全连接网络和第二全连接网络对输入对话的听觉特征和视觉T()[0095]=ef+s,xe{t,a,}同一对话同一模态中的所有其他语句此外，每个第一节点都通过一条多模态超边连接到相同语句的其他模态(ze{t,a,},z*x)。以这种方式，构造的动调整边缘加权策略，而本发明使用随机初始化的权重值来避免使模型不必要地复杂化。e为超边权重矩阵且diag()关联矩阵且HeRW的l,n表示加权关联矩阵且T表示转置操作。vizgggg[0123]S33：分别利用所述高通滤波器和所述低通滤波器提取所述无向图中当前节点节个信号p,Fl和Fh的滤波运算可以看作是和相应的卷积核之间的卷积*c：器进行滤波运算可以看成是和滤波器对应的卷积i-以很容易地模拟不同频率成分[0150]本发明还提供一种基于上述的基于图神经网络的多模态对话情感识别方法的多[0156]本发明将提出的多模态对话识别系统(M3Net)的性能在两个流行的多模态数据集有1块NVIDIAGeForceRTX3090的机器上训练。使用准确率和F1分数作为衡量性能的指hDhLK340.5330.43Net超越了以前的方法，并在准确率和F1分数指标方面取得了新进行比较，并将结果显示为变体6和7。串行建模略微降低了MELD上的性能，但会导致