CN114724224B 一种用于医疗护理机器人的多模态情感识别方法 （浙江工业大学）

一种用于医疗护理机器人的多模态情感识一种用于医疗护理机器人的多模态情感识进行表情自注意力情感特征提取和动作自注意注意力情感特征提取和文本自注意力情感特征提取；4种自注意力情感特征进行基于互注意力机制情感特征融合，得到完整的多模态情感特2首先使用预训练模型和组合网络来提取视频特征，同时使用人通过自注意力机制转化为表情自注意力情感特将得到的表情情感特征作为自注意力机制的输入，按照视频信所述动作自注意力情感特征提取，根据所述视频信息提取患者动作的情感特征向量，首先使用预训练模型和组合网络来提取视频特征，同时使用人所述通过自注意力机制转化为动作自注意力情感特将得到的动作情感特征作为自注意力机制的输入，按照视频信息对3所述语音自注意力情感特征提取，根据所述音频信息提取患者语音的情感特征向量，所述提取患者语音的情感特征向量具体包括：将采集到的音频信号进行所述通过自注意力机制转化为语音自注意力情感特征具体包括：其中为第k组特征向量的权重系数，表示第k组特征向量，所述文本自注意力情感特征提取用于根据所述音频信息提取患者文本的情感特征向所述提取患者文本的情感特征向量具体包括：首先使用端到端ASR系统将音频信号提后将两部分提取的句子向量进行组合拼接得到完整的所述通过自注意力机制转化为文本自注意力情感特征具体包括：征作为自注意力机制的输入，根据文本的单词数价格文本情感特征向量转换为L组特征向3、所述4种自注意力情感特征进行基于互注意4步骤3所述的所述基于互注意力机制的情感特征融合，用于将上述自注意力情感特征两两组合得到互注意力情感特征，互注意力情感特征通过级联融合得到完整的多模态情感特所述的将上述自注意力情感特征两两组合得到互注意力情感特以组合表情-动作为例进行互注意力机制的说明，首先将表情自注意力情感特征以及为可训练的参数向量矩阵，Concat(·)表示向量级联，FA_E表示相对动作自注意力情感特所述将互注意力情感特征通过级联融合得到完整的多模态情感特步骤4所述的基于图卷积神经网络的上下文情感特征提取，用于将所述多模态情感特征通所述通过图卷积神经网络得到包含上下文信息多模态情感特f为使用注意力机制提取的多模态情感特征的维数，利用下式所示的相似度公式来构建邻i和vj表示第i个和第j个相邻样本的多模态情感特征向量，||·||表示取模操5步骤5所述的情感分类识别，用于将上述包含上下文信息的多模态情感特征载入预先构建根据得到的情感标签识别结果与患者和医生进行相应的6[0002]随着人机交互技术的不断发展，情感交互成为了人机交互中的一大重点研究内器人时的使用体验的同时增强了患者病情反馈的实时性和准确性，减轻了医生的工作强机器人仅能实现基于单一模态的简单情感识别功能，如基于表情或者语音的情感识别技用。[0004]现有的多模态情感分析方法主要围绕着提取合适的但模态情感特征和构建鲁棒前时刻的情感往往和之前时刻和之后时刻所表述的情感具有紧密联系，这种联系不可忽[0006]为克服现有医疗护理机器人缺乏多模态情感识别能力且多模态情感信息缺失上引入多模态上下文情感信息的用于医疗护理机7[0010]2、根据所述视频信息进行表情自注意力情感特征提取和动作自注意力情感特征将表情情感特征向量转换为I组特征向量，每组特征向量大小为其中I为视频帧帧数，E为表情情感特征向量维数。通过自注意力机制得到的表情自注意力情感特征如下所将动作情感特征向量转换为J组特征向量，每组特征向量大小为其中J为视频帧帧8数，A为动作情感特征向量维数。通过自注意力机制得到的动作自注意力情感特征如下所[0033]将采集到的音频信号进行预处理并绘制语谱图，之后构[0041]首先使用端到端ASR系统将音频信号提取成文本信息，之后利用预训练模型提取9[0049]以组合表情-动作为例进行互注意力机制的说明，首先将表情自注意力情感特征FEA)(11)情感特征通过图卷积神经网络得到包含上下[0065]其中，度矩阵ai,j表示邻接矩阵A第i行j列的元入预先构建并训练好的情感分类模型中进行分类识别，得到多个离散的情感标签识别结[0070]1、传统的单模态情感识别系统具有情感信息不全面和易受噪声干扰而导致情感[0072]3、本发明设计的语音交互模式能更好地让医疗护理机器人根据识别到的情感标[0073]图1为本发明实施例中提供的一种用于医疗护理机器人的多模态情感识别方法的[0076]图4为本发明实施例中提供的一种语音自注意力情感特征提取模方法的原理框[0078]图6为本发明实施例中提供的一种基于互注意力机制的情感特征方法的原理框[0079]图7为本发明实施例中提供的一种基于图卷积神经网络的上下文情感特征提取方[0081]为详细说明本发明实施例的技术方案和优点，这里将结合本发明实施例中的附[0086]2、根据所述视频信息进行表情自注意力情感特征提取和动作自注意力情感特征[0094]图2为本发明提供的一种表情自注意力情感特征提取方法的原理框图，其具体步的数据形式，之后利用在ImageNet上预训练好的VGG-19模型提取每一帧图像的表征[0096](2)、将上述视频特征向量和表情关键点特征向量拼接起来得到表情情感特征向[0102]图3为本发明提供的一种动作自注意力情感特征提取方法的原理框图，其具体步[0104](2)、将上述视频特征向量和人体姿态关键点特征向量拼接起来得到表情情感特为第j组特征向量的权重系数，ff表示第j[0110]图4为本发明提供的一种语音自注意力情感特征提取方法的原理框图，其具体步[0119]图5为本发明提供的一种文本自注意力情感特征提取方法的原理框图，其具体步[0126]其中为第l组特征向量的权[0128]图6为本发明提供的一种基于互注意力机制的情感特征融合方法的原理框图，其[0129]以组合表情-动作为例进行互注意力机制的说明，首先将表情自注意力情感特征[0139]图7为本发明提供的基于图卷积神经网络的上下文情感特征提取方法的原理框度公式来构建邻接矩阵A来定义相邻样本之间的边[0145]其中，度矩阵ai,j表示邻接矩阵A第i行j列的元[0154]1、利用医疗护理机器人上的多模态情感信息采集模块获取患者的视频和音频信[0156]3、得到的不同模态的自注意力情感特征通过互注意力机制情感特征融合模块实[0157]4、得到的多模态情感特征通过上下文情感特征模块实现完整的多模态情感特征[0163]图2为本发明提供的表情自注意力情感特征提取模块的原理框图，其具体步骤如的数据形式，之后利用在ImageNet上预训练好的VGG-19模型提取每一帧图像的表征特征，[0165](2)、将上述视频特征向量和表情关键点特征向量拼接起来得到表情情感特征向[0171]图3为本发明提供的动作自注意力情感特征提取模块的原理框图，其具体步骤如[0173](2)、将上述视频特征向量和人体姿态关键点特征向量拼接起来得到表情情感特[0179]图4为本发明提供的语音自注意力情感特征提取模块的原理框图，其具体步骤如[0188]图5为本发明提供的文本自注意力情感特征提取模块的原理框图，其具体步骤如[0197]图6为本发明提供的基于互注意力机制的情感特征融合模块的原理框图，其具体[0198]以组合表情-动作为例进行互注意力机制的说明，首先将表情自注意力情感特征FEA)(11)[0208]图7为本发明提供的基于图卷积神经网络的上下