CN113065344B 一种基于迁移学习和注意力机制的跨语料库情感识别方法 （大连理工大学）

一种基于迁移学习和注意力机制的跨语料本发明属于迁移学习、情感计算等技术领料库情感识别方法。本发明方法中使用编码-解网络RNN提取上下文中的情感依赖和传递情况，将编码和上下文情感依赖等特征参数迁移到目借助迁移学习的知识进行编码-上下文特征参数提取-分类的操作，最终完成目标语料库上说话2S2：使用编码解码器架构进行建模；编码解码的每条语句送入循环神经网络模型进行编码-上下文建过注意力机制获得编码过程中情感相关的隐藏层向量，在某一时刻t进行如下公式所示的h"=Attention(f"(r,h⃞1))上下文建模：将编码操作中得到的送入到上下文循环神经网络进行对话上下文建cs表示源任务上下文循环神经网络函数；ds表示源任务解码器循环神经网络函数；编码解码器架构通过最大似然估计目S3：对目标任务的目标语料库中每条语句送入循环神经网络模型进行编码-上下文建S4：通过定义空间注意力图将注意力信息从源语料库转移到目标语料库的训练网络中，完成知识迁移；定义循环神经网络的激活张量AeRCXHXW,其中由C个通道组成，空对于空间注意力图，由于隐藏神经元激活的绝对值表示神经元3S5：在完成步骤S4的知识迁移并在目标任务语料库上进行编码建模训练后，使用softmax分类器对目标语句进行情感分类并得到各类情感的识别率；最终结果输出目标语2.根据权利要求1所述的一种基于迁移学习和注意力机制的跨语料库情感识别方法，上下文建模：将编码操作中得到的hg"送入到上下文循环神经网络进行对话上下文建hff=f"(hf",hE1)ct表示目标任务上下文循环神经网络函数。3.根据权利要求1所述的一种基于迁移学习和注意力机制的跨语料库情感识别方法，Lar具体计算如下：4.根据权利要求1所述的一种基于迁移学习和注意力机制的跨语料库情感识别方法，其特征在于，S5中softmax分类器的分类计算以及训练过程中的损失函数Loss计算表达式45特征并通过不断缩小源任务和目标任务之间的特征差异CN201710698379.1)该方法基于大规模数据训练深度神经网络并通过迁移学习获取音频特[0005]《一种基于增强式深度残差神经网络的多模态语音情感识别方法》(专利号：为相应的语谱图表达，以及对时序数据进行编码:使用卷积神经网络提取原始数据的情感具备情景感知的声学特征；利用所述训练样木集，使用Transformer模型对词嵌入进行处6声学通道子系统，对于所述情景感知的文本特征建立进行抑郁症检测的文本通道子系统，[0007]考虑到实际交谈场景中说话人目标语句的情感状态往往还会受到上下文语句的征图(featuremap)与源任务的特征图(featuremap)尽可能相似情感依赖和传递情况，将编码和上下文情感依赖等特征参数迁移到目标语料库的训练中，分好的每条语句送入循环神经网络模型进行编码-上下并通过注意力机制获得编码过程中情感相关的隐藏层向量，在某一时刻t进行如下公式所7[0027]hf'=f""(h",h1)[0034]Lt=L;s十wrxLar8softmax分类器对目标语句进行情感分类并得到各类情感的识别率。最终结果输出目标语[0041]y=softmax(w'·hf'+b")[0042]j=arg9并通过注意力机制获得编码过程中情感相关的隐藏层向量，在某一时刻t进行如下公式所[0066]hf'=f"(h",h1)[0073]Lt=L;十wrxLarL;具体计算如下：e!-vec(F(A))和分别表示目标任务模型ft和源任务模型fs的[0088]j=arg61.452.8[0093]上表中展示了本发明的方法在IEMOCAP和DailyDialog作目标任务语料库通过借助源任务