CN119495114A 模型的训练、人脸情绪识别方法、装置、设备及存储介质 （网易（杭州）网络有限公司）

所述文本特征以及所述情绪信息，进行模型训免了情绪识别具有局限性并且准确性无法保证2获取样本人脸视频的图像序列、语音序列以及对应的文本信息；将所述初始图像序列分为预设分段数的子图像序列；对所述图像序列进行特征提取，得到所述图像序列的第一时序特征，和所述图根据所述每帧图像的人脸表情特征和所述图像序列的第一时序特根据所述语音序列的音频特征和所述第二时序特征，确定所述根据所述断句词语和所述断句词语在所述文本信息中的上下文信39.如权利要求8所述的方法，其特征在于，所述根据多个样本人脸图像进行模型预训将所述多个样本人脸图像中的各样本人脸图像进行子块划分，得到基于所述样本人脸图像的多个子块和预设掩码数量，在所述多个子块中进行随机掩根据掩码后的多个子块获取所述样本人脸图根据所述重建人脸图像和所述样本人脸图像进行模型预训练，得到所根据所述图像特征、所述语音特征和所述文本特征，确定所述样本人采用人脸情绪识别模型，对所述待识别人脸视频进行情绪识别，得到所述确定模块，用于对所述图像序列进行特征提取，得到所述样4被处理器运行时执行上述权利要求1_11任一5[0003]情感分析是指利用计算机自动分析确定人们所要表达的67[0037]通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来的训练方法进行解释说明。图1为本申请一实施例提供的一种人脸情绪识别模型的训练方8[0044]通过上述方式得到的多组样本数据可以减少标注误差从而提高多个样本人脸视[0047]在一些可能的实施例中，对图像序列进行特征提取的人脸预训练模型例如可以模型(ClosingtheGaptoHuman_LevelPerformanceinFaceVerification，经模型(ConvolutionalNeuralNetwork，CNN)、循环神经模型(RecurrentNeural的第一时序特征，根据第一时序特征和人脸表情特征共同确定样本人脸视频的图像特征，频特征，用一维时序卷积及自然语言处理(transformer)模型提取语音序列对应的第二时9[0057]示例的，在本申请的实施例中，例如可以基于transformer的语音识别工具Speech2Text将语音转化为文本。随后通过大规模文本预训练模型DeBERTa((Decoding_enhancedBERTwithdisentangledattention))作为编码器，提取出文本信息中的断句transformer编码器捕捉文本信息的时序特征，并基于时序特征对上述文本特征进行进一特征的维度也可以为128维或32维或任意可能的维度并不以上述实施[0065]在一些可能的实施例中，为了增强网络的泛化性并适用于各种时间长度视频数[0066]这样的分段方式使得在初始图像序列的帧数大于K的时候，无论初始图像序列的应的图像序列的长度均相同，也即将不同长度的初始图像序列转换为固定长度的图像序[0089]在输入多模态信号进行情感强度估计时，该回归任务采用最小均方差(MSE)作为优化算法训练具有反向传播的神经网络时，每个批数据minibatch中的训练示例数)的大i和分别表示对于第i个样本人脸视频的情绪信息和预测情绪信息。如下结合附图对上述方法实现过程进行示例说明。图5为本申请一实施例提供的一种人脸[0104]获取模块301，用于获取样本人脸视频的图像序列、语音序列以及对应的文本信度的图像序列。本人脸视频的图像序列。另一实施例提供的人脸情绪识别模型的训练装置的结构示意图，如图7所示，该装置还包[0128]图9为本申请一实施例提供的电子设备的结构示意图，该电子设备可以集成于终