CN114299578B 一种基于面部情绪分析的动态人脸生成方法 （杭州电子科技大学）

一种基于面部情绪分析的动态人脸生成方法本发明公开了一种基于面部情绪分析的动像中的人脸并对齐；然后构建面部情绪分析模妙地利用深度神经网络长于学习线性化表征的2根据面部情绪分析模型第二条分支得到的表情类别的概率分布向量所述的面部情绪分析模型包括CNN主干网络和两个分支一个重要性权重，并将带有重要性权重的样本以一定比例分为高重要性组和低重要性组；所述的面部情绪分析模型包括CNN主干网络和两个分支层和Sigmoid激活函数组成，假设表ai=s(wx),(1)第二条分支中分类结果的计算由全连接层和Softmax激活函第二条分支后获得概率分布向量peRC2,其中C2表示类别数；在面部情绪分析模型的第一条分支中，利用对比损失来对3对人脸图像使用基于WIDER数据集预训练的MTCNN模型提取五个关键点过新的坐标对人脸进行仿射变换，并将尺寸调节到224×224，得到新的人脸图像其中δ2是固定的超参数，αH和αL分别是具有β*N＝对于第i个样本对应的深度特征xi，特征空间中的增广的特征向量都是从分布将得到的结果归化为一个全新的损失函数LO;Lr+(1-y)LW,(8)具体来说，对重要性低的样本考虑是否进行重新标记，通过面部4max和lorg为最大预测和原始给定标签的索引，在固定阈值的基础上加入了一个非5[0001]本发明属于动态人脸生成领域，涉及一种基于面部情绪分析的动态人脸生成方以及如何使用分析的结果引导动态人脸的生[0003]人脸表情往往决定了人的面部情绪，表情识别(FacialExpression6[0007]综上所述，基于面部情绪分析的动态人脸生成任务是一添加一个重要性权重，并将带有重要性权重的样本以一定比例分为高重要性组(High-importanceGroup)和低重要性组(Low-importanceGroup)。第二条分支对深层特征进行7第二条分支中，将生成的分类结果与实际标签作比较，利用隐式语义数据扩增损失[0023]当模型训练至具有一定识别能力时，每一轮模型参数调[0027]对人脸图像使用基于WIDER数据集预训练的MTCNN模型提取五个关键点ay=s(w⃞x),(1)输入第二条分支后获得概率分布向量peRC2,其中C2表示类别数。8[0041]对于第i个样本对应的深度特征xi，特征空间中的增广的特征向量都是从分布[0047]将得到的结果归化为一个全新的损失函数LO(ISDAloss)。Ln+(1-v)LW,(8)9[0065]对RAF-DB数据集中的每张图像使用基于WIDER数据集预训练的MTCNN模型提取五个关键点LandmarkseR5x2。为了使人脸图像在尺寸不变的情况下不存在黑边，将检测到的人脸区域向外扩充到100生成新的关键点坐标New_LandmarkseR5x2。通过[0067]在面部情绪分析模型中，采用ResNet-18作为主干网络对RAF-DB数据集的人脸图分支中将每个样本的特征图先后传入全连接层和Softmax函数计算，获得表情的概率分布向量peR7。以及一个零均值的高斯分布N(0,入ZY),其中λ=[0078]3-3、将低重要性组样本通过情绪分析模型第二条分支得到的表情概率分布向量[0080]首先通过收敛的情绪分