CN119474329A 面向物联网环境中对话分析的图对抗情绪识别方法及系统 （湖南科技大学）

面向物联网环境中对话分析的图对抗情绪面向物联网环境中对话分析的图对抗情绪识别明在物联网环境中对复杂的对话场景进行更好2基于预训练的文本模型对对话文本数据中的每个话语进行编码构建语境分析模块，基于话语依赖图分析发言者进行对话构建因果感知模块，提取对话中的因果关系，并使用自注意在输入数据中加入微小的扰动生成对抗样本，基于对比学习损获取语境分析模块和因果感知模块的邻接矩阵，并通过差分正则在完成语境分析模块和因果感知模块信息交互后，将语境分2.根据权利要求1所述的面向物联网环境中对话分析的图对抗情绪识别方法，其特征3.根据权利要求2所述的面向物联网环境中对话分析的图对抗情绪识别方法，其特征可接受的格式，每个发言被标记为单独的文本单元，并进行标记化处理；给定输入序列hr=ROBERTa([CLS];W1,W2,WS…,WU)（14.根据权利要求3所述的面向物联网环境中对话分析的图对抗情绪识别方法，其特征；节点集合表示对话中的所有发言，每个节点Vsoc对应其中一个对话数据的特征hu；边集合表示节点vsoc和之间的依赖关3aij=softmax(LeakyRelu(a'[w,h,llw,h,l))（2量，wr是注意力机制下的线性权重矩阵，hc和hy分别是节点vsoc和节点的特征表示；5.根据权利要求4所述的面向物联网环境中对话分析的图对抗情绪识别方法，其特征基于COMET模型提取对话中的因果关系，因果关系包括：内部因果关系和外部因果关4示与话语ui的说话者内部和外部的话语集合；为综合内部和外部的因果线6.根据权利要求5所述的面向物联网环境中对话分析的图对抗情绪识别方法，其特征5示当前批次中与样本i属于同一类别的所有样本的索引集合；A(i)表示当前样本中的所有本的特征向量zi与第n个样本的特征向量zn在添加噪声对抗之后的两者之间的相似度；在7.根据权利要求6所述的面向物联网环境中对话分析的图对抗情绪识别方法，其特征通过差分正则化项，衡量语境分析模块和因果感知模块的邻接表示Frobenius范数，用于衡量语境分析模块和因果感知模块输出之间的8.根据权利要求7所述的面向物联网环境中对话分析的图对抗情绪识别方法，其特征在于，所述基于相互交叉注意力机制促进语境分析模块和因果感知模块之间的信息交互，采用相互交叉注意力机制结合语境分析模块和因果感知模块之其中，A1和AZ是注意力矩阵；表示将因果线索特征投影到语境依赖特征到因果线索特征上；表示经过因果线索特征增强的最终语境特征表示；69.根据权利要求8所述的面向物联网环境中对话分析的图对抗情绪识别方法，其特征所述完成语境分析模块和因果感知模块信息交互，具体为：将语境分所述L层交互为每一层都包含两个模块：语境依赖模块用于处理话语结构信息和因果fi表示第i个样本经过全连接层后的隐藏表示。编码模块，所述编码模块基于预训练的文本模型对对话分析模块，所述分析模块构建语境分析模块，基于话语7对抗学习模块，所述对抗学习模块在输入数据中加入微小的扰动生成对对比学习损失分别计算原始样本和对抗性样本的对比学习损失，并将其综合以优化模型信息交互模块，所述信息交互模块获取语境分析模块和因果交叉注意力机制促进语境分析模块和因果感知模块之间的信情绪分类模块，所述情绪分类模块在完成语境分析模块和因果感知模块信息交互后，8[0003]对话情感识别的任务主要是通过分析对话中每个发言者的语音、文本或视频信个发言者的情感不仅依赖于自身的发言内容，还受其他发言者和整个对话上下文的影响。这种多方互动带来了高度复杂的情感动态，使得简单的情感分类模型难以准确捕捉和建[0004]本发明的目的在于解决现有技术中传统模型难以捕捉多发言者对话中的上下文9序列[CLS]RoBERTa_large使用Transformer结构对其进行编码：hr=ROBERTa([CLS];W1,W2,WS…,WU)（1所述话语依赖图中的每个节点对应一个基本话语单位，节点集合为；节点集合表示对话中的所有发言，每个节点Vsoc对应其中一个对话数据的特征hi；边集合表示节点vsoc和之间的依赖关为了研究注意力系数在所有邻接点之间的关系，基于softmax函数进行归一化处确保检索过程只考虑同一说话者的之前的话语别表示与话语ui的说话者内部和外部的话语集合；为综合内部和外部的因果线索权;p(i)表示当前批次中与样本i属于同一类别的所有样本的索引集合；A(i)表示当前样本中个样本的特征向量zi与第n个样本的特征向量zn在添加噪声对抗之后的两者之间的相似通过差分正则化项，衡量语境分析模块和因果感知模块的邻接矩阵之间的差异，表示Frobenius范数，用于衡量语境分析模块和因果感知模块输出之到因果线索特征上；表示经过因果线索特征增强的最终语境特征表示；表示经过语境依赖特征增强的最终因果线索特征表示；和是可学习的参所述L层交互为每一层都包含两个模块：语境依赖模块用于处理话语结构信息和对抗学习模块，所述对抗学习模块在输入数据中加入微小的扰动生成对抗样本，基于对比学习损失分别计算原始样本和对抗性样本的对比学习损失，并将其综合以优化信息交互模块，所述信息交互模块获取语境分析模块和因果感知模块的邻接矩相互交叉注意力机制促进语境分析模块和因果感知模块之间[0017]图1为本发明的面向物联网环境中对话分析的图对抗情绪识别方法的流程示意图2为本发明的面向物联网环境中对话分析的图对抗情绪识别系统的结构示意图3是本发明实施例在IEMOCAP中分析不同对抗性扰动量级对整体模型性能的影图4是本发明实施例在MELD中分析不同对图5是本发明实施例中分析不同数据集环境下网络深度对模型性能的敏感性示意图7是本发明实施例在去除对抗攻击模块后面临数据分配不均衡情况下的混淆矩S102,基于预训练的文本模型对对话文本数据中的每个话语进行编码，获得对话处理；给定输入序列[CLS]RoBERTa_large使用Transformer结构对hr=ROBERTa([CLS];W1,W2,WS…,WU)（1ai,=softmax(LeakyRelu(a'[w,hzllw,h,l))（2为了研究注意力系数在所有邻接点之间的关系，基于softmax函数进行归一化处内部因果关系和外部因果关系。内部因果线索与发言自身的情境和情感变化相关，生成确保检索过程只考虑同一说话者的之前的话语别表示与话语ui的说话者内部和外部的话语集合；为综合内部和外部的因果线索权[0028]S105,在输入数据中加入微小的扰动生。p(i)表示当前批次中与样本i属于同一类别的所有样本的索引集合；A(i)表示当前样本中的所有样本索引，除了样本i；sim(z1,zn)表示第i个样本的特征向量zi与第n个样本的特征向量zn之间的相似度，r是温度参数，用于调节相似度的分布；sim(ziaavznaav)表示第i个样本的特征向量zi与第n个样本的特征向量zn在添加噪声对抗之后的两者之间通过差分正则化项，衡量语境分析模块和因果感知模块的邻接矩阵之间的差异，表示Frobenius范数，用于衡量语境分析模块和因果感知模块输出之AZ=softmax(Hfp"az(Hf⃞)7)（18到因果线索特征上；表示经过因果线索特征增强的最终语境特征表示；所述L层交互为每一层都包含两个模块：语境依赖模块用于处理话语结构信息和对抗学习模块，所述对抗学习模块在输入数据中加入微小的扰动生成对抗样本，基于对比学习损失分别计算原始样本和对抗性样本的对比学习损失，并将其综合以优化信息交互模块，所述信息交互模块获取语境分析模块和因果感知模块的邻接矩相互交叉注意力机制促进语境分析模块和因果感知模块之间文的情感识别准确性方面的有效性。在IEMOCAP数据集中，本发明所提出的方法获得了致梯度消失问题。SACL_LSTM在此数据集上的优越性由于它结合了对比学习和分层情绪建[0038]为了更好的理解每个模块在增强模型以捕捉情感细微差别和提高不同数据集上[0039]当去掉语境分析模块后，本发明所提出的方法性能在所EmoryNLP数据集下降了1.80%。因果感知模块通过捕获对话中的隐含因果关系来提高模型析。对抗训练模块通过生成对抗样本，显著提高了模型的鲁棒性和泛化能力。这在到DailyDialog数据集中的标签不平衡，对抗性训练有效地减轻了这种不平衡对模型性能[0041]图3和图4展示了不同对抗性扰动量级对整体模型性能的影响