CN114202791B 面部情绪识别模型的训练方法、情绪识别方法及相关设备 （网易（杭州）网络有限公司）

本公开提供一种面部情绪识别模型的训练初始网络模型进行训练，得到面部情绪识别模部情绪识别的结果更加符合人类自然感知的真2搜集与所述情绪词汇集合中的每个所述情绪词汇对应的人脸图将所述训练样本集中的人脸图像依次输入至预先构建的初始网络模型中进行训练处所述搜集与所述情绪词汇集合中的每个所述情绪词汇对应的人将所述情绪词汇集合中的每个所述情绪词汇作为搜索标签进行利用预先构建的人脸表情编码模型对所述数据库中标注后的人脸图像进行过滤处理，对所述过滤后的人脸图像进行随机采样，将采样结果输出至评判者的判者通过所述显示端对所述过滤后的人脸图像对应标注的情绪词汇进行是否匹配的评判，接收各个评判者通过显示端反馈的评判结果，计算评判结果对多个所述待选词汇采用众包方式进行选定，去除不能进行对应情绪表达的待选词根据每个所述待选词汇生成对应的调查数据，将所述调查数接收各个调查者通过终端设备反馈的投票信息，去除所述投票信息3从所述数据库中获取所述目标情绪词汇对应的多个所述标注后的人脸图像作为待过保留数量最多的聚类结果，去除其他聚类结果，将所述数基于卷积算子深度神经网络预先构建具有输入层、多个隐藏层和输将所述训练样本集中的人脸图像输入至所述初始网络模型的输入层分析结果发送至输出层，所述输出层将所述分析结果进行处理生成各种情绪的预测概率根据所述目标情绪与输入的人脸图像对应标注的情绪词汇的差异性所述输入层对所述输入的人脸图像进行预处理后发送至所述隐所述输入层对所述输入的人脸图像进行预处理后发送至所述第一所述第一个隐藏层根据所述相似度矩阵对所述输入的人脸图像进行情络模型的输入层和多个隐藏层由两个孪生的VGGN接收待识别的面部图像，将所述面部图像输入至利用权利要求1-7任一项所述的面部4所述面部情绪识别模型对所述待识别的面部图像进行情绪分析处理，确定所所述待识别的面部图像输入至所述输入层，所述输入层对所述待识所述第一个隐藏层根据所述相似度矩阵对所述预处理之后的面部图像进行情绪特征所述输出层从各个所述待定概率值中筛选待定概率值超过设定阈值的情绪词汇作为词汇获取模块，被配置为获取与情绪相关的多个词汇，人脸图像搜集模块，被配置为搜集与所述情绪词汇集合中的训练处理模块，被配置为将所述训练样本集中的人搜索单元，被配置为将所述情绪词汇集合中的每个所述情绪词过滤单元，被配置为利用预先构建的人脸表情编码模型对所述数据评判单元，被配置为对所述过滤后的人脸图像进行随机采样，将采样结果输出至评判计算单元，被配置为接收各个评判者通过显示端反馈的评7任一项所述的面部情绪识别模型的训练方法情绪识别模块，被配置为利用所述面部情绪识别模型对所述513.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指6[0003]传统的人脸情绪识别方法/数据集都建立在基础的情绪表示模型上，即包括七种基础的七种情绪无法对人的面部情绪表达完整，这样就会导致人脸情绪识别不准确的问[0008]将所述训练样本集中的人脸图像依次输入至预先构建的初始网络模型中进行训绪词汇对所述初始网络模型进行参数调整；当所述初始网络模型达到预设的收敛条件时，将所述初始网络模型作为用于面部情绪识别的面部情[0014]根据每个所述待选词汇生成对应的调查数据，将所述调查数据通过网络进行发7[0018]利用预先构建的人脸表情编码模型对所述数据库中标注后的人脸图像进行过滤供评判者通过所述显示端对所述过滤后的人脸图像对应标注的情绪词汇进行是否匹配的[0023]从所述数据库中获取所述目标情绪词汇对应的多个所述标注后的人脸图像作为对所述输入的人脸图像进行预处理后发送至所述隐藏层，经过多个所述隐藏层分析之后，[0029]根据所述目标情绪与输入的人脸图像对应标注的情绪词汇的差异性计算损失函8获取下一个人脸图像输入至所述初始网络模型[0033]所述第一个隐藏层根据所述相似度矩阵对所述输入的人脸图像进行情绪特征提[0041]所述第一个隐藏层根据所述相似度矩阵对所述预处理之后的面部图像进行情绪[0042]所述输出层从各个所述待定概率值中筛选待定概率值超过设定阈值的情绪词汇9面所述的面部情绪识别模型的训练方法得到的所述面部情绪定概率值超过设定阈值的情绪词汇作为输出情绪[0051]基于同一个发明构思，本公开的第六方面提供了一种非暂态计算机可读存储介GeometryGroup)和GoogleDeepMind公司的研究员一起研发出了新的深度卷积神经网络：[0077]服务器102用于向终端设备101的用户提供情绪识别服务，终端设备101中安装有[0078]数据存储系统103中存储有大量训练数据，该训练数据包括标注了对应情绪词汇[0079]下面结合图1的应用场景，来描述根据本公开示例性实施方式的面部情绪识别模[0097]步骤2021，将所述情绪词汇集合中的每个所述情绪词汇[0102]步骤20222，从所述数据库中获取所述目标情绪词汇对应的多个所述标注后的人[0110]步骤203，将所述训练样本集中的人脸图像依次输入至预先构建的初始网络模型标注的情绪词汇对所述初始网络模型进行参[0115]步骤2032，将所述训练样本集中的人脸图像输入至所述隐藏层；所述第一个隐藏层根据所述相似度矩阵对所述输入的人脸图像进行情绪特征提取，将提取的所述情绪特征发送至剩余的隐藏层依次进行情绪分析。计算两个孪生的VGGNet得到的512维差值特征作为分析结果，最后一个隐藏层将分析结果发送至由数层全样本集中获取下一个人脸图像输入至所述初始网络模型进行训[0128]步骤302，利用所述面部情绪识别模型对所述待识别的面部图像进行情绪分析处[0136]人脸图像搜集模块502，被配置为搜集与所述情绪词汇集合中的每个所述情绪词[0137]训练处理模块503，被配置为将所述训练样本集中的人脸图像依次输入至预先构[0143]根据每个所述待选词汇生成对应的调查数据，将所述调查数据通过网络进行发汇的差异性计算损失函数，根据所述损失函数对所述初始网络模型的各层参数进行调整，并从所述训练样本集中获取下一个人脸图像输入至所述初始网络模型公开时可以把各模块的功能在同一个或多个软件和/[0160]上述实施例的装置用于实现前述任一实施例中相应的面部情绪识别模型的训练[0161]参考图5，基于与上述任意面部情绪识别模型的情绪识别方法实施例相同的发明实施例所述的面部情绪识别模型的训练方法得到的所述[0163]情绪识别模块602，被配置为利用所述面部情绪识别模型对所述待识别的面部图选待定概率值超过设定阈值的情绪词汇作为输出情绪公开时可以把各模块的功能在同一个或多个软件和/[0168]上述实施例的装置用于实现前述任一实施例中相应的面部情绪识别模型的情绪[0170]图6示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备[0172]存储器720可以采用ROM(ReadOnlyMemory，只读存储器)、RAM(RandomAccess[0174]通信接口740用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信[0176]需要说明的是，尽管上述设备仅示出了处理器710、存储器720、输入/输出接口[0177]上述实施例的电子设备用于实现前述任一实施例中相应的面部情绪识别模型的(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器[0180]上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施图