CN111553284B 人脸图像处理方法、装置、计算机设备和存储介质 （武汉大学）

ExpressionNormalizationfoConferenceonComputer得的各所述人脸表情特征分别融合至所述三维将所述合成人脸视频投影至三维实体模型进行2获取第二用户的第二人脸视频，基于所述第二人脸视频中的各第根据所述人脸表情特征对所述中性人脸模型的人脸特征进行表情转将所述合成人脸视频投影至三维实体模型进行播放，经过投影的所述三维基于所述二维坐标信息确定所述第一人脸图像基于所述三维人脸特征进行三维映射处理，生成所述第一人脸图根据所述二维坐标信息和所述映射坐标信息确定所述特征点对应根据所述人脸姿态和所述二维坐标信息更新所述特征点和对应基于更新后的特征点和三维映射参数生成所基于所述人脸特征中的人脸轮廓特征，对所述三维基于所述光照参数和所述面部参数对所述三维人脸映射矩阵进行人3根据所述各帧第二人脸图像中的人脸参数估计正态表情分布，基于基于各所述人脸表情特征对所述三维人脸图像中的人脸特征进根据所述包括各所述人脸表情特征的三维人脸图像生成所述人脸图像中的人脸特征进行表情转换，得到包括各所述人脸表情特征的三维人脸图像包根据所述人脸表情特征对所述三维投影图像中表情区域的特征点进行表情获取所述第一用户与所述表情区域和所述人脸表情特征将所述人脸表情图像中所述表情区域的目标表情特征根据所述各第一人脸图像的人脸特征生成对应将提取获得的各所述人脸表情特征分别融合至各所述三维投影图像中进行表情重构，表情提取模块，用于获取第二用户的第二人脸视频，基于模型重构模块，用于基于各第二人脸图像和所述三维投影图像进行模表情转换模块，用于根据所述人脸表情特征对所述中性人脸模型的4视频投影模块，用于将所述合成人脸视频投影至三维实体模型进行所述三维实体模型用于人脸识别。根据所述特征点估计人脸姿态；获取预设三维人脸基底映射在二维平面上的映射坐标信提取所述第二人脸视频中的关键帧的第二人脸图像；提取各帧第二人脸图像中的人脸参5理器执行时实现权利要求1至12中任一项所6[0008]将提取获得的各所述人脸表情特征分别融合至所述三维投影图像中进行表情重[0012]图像转换模块，用于基于所述第一人脸图像的人脸特征生成对应的三维投影图影的所述三维实体模型用于人脸识别。7[0020]将提取获得的各所述人脸表情特征分别融合至所述三维投影图像中进行表情重[0026]将提取获得的各所述人脸表情特征分别融合至所述三维投影图像中进行表情重对基于第一用户的人脸和第二用户的表情融合的合成人脸视频在三维实体模型的投影进8处理等技术。人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机[0041]计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”端102采集的第二用户的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸合成人脸视频并发送至终端102。终端102将合成人脸视频投影至三维实体模型进行播放，9从所采集的图像或视频中提取第一用户对应的第[0063]S208，将提取获得的各人脸表情特征分别融合至三维投和第二用户的人脸特征都是相对固定的，从第一用户的人脸视频中提取出人脸表情特征[0071]其中，三维实体模型是实际存在的指可触知且有形的具进行播放，从而可以在经过投影的三维实体模型上展现出带有表情响应的实体人脸模型。具体地，终端可以通过终端中的投影装置将合成人脸视频投影至三维实体模型进行播放，还可以通过与终端连接的投影设备将合成人脸视频投影至三维实体模型进行播放。例如，获得带有表情响应的人脸视频，进而基于采集的人脸视频进行基于人脸识别的身份验证。[0075]在其中一个实施例中，终端将合成人脸视频投影至三维图像中进行表情重构，由此能够准确有效地对三维投影图像中的表情特征进行表情脸特征中特征点的二维坐标信息；基于二维坐标信息确定第一人脸图像的三维人脸特征；姿态估计用目标相对平移量和旋转矩阵进行表示。姿态估计可以通过根据目标在3维世界坐标系中n个点的坐标和对应投影到2维图像坐标系中的点集之间的变换关系[0080]终端根据特征点的二维坐标信息基于三维映射关系得到第一人脸图像的三维人[0100]在原始人脸图像偏中人脸的侧角度过大时，需要进一步对不可见区域进行填[0108]在一个实施例中，基于第二人脸视频中的各第二人脸图像提取人脸表情特征包[0113]例如终端可以对输入视频序列的k个关键帧上的所有参数同时进行估算，需要估[0121]通过基于动态的各人脸表情特征对三维人脸图像中的人以实现保留嘴部的口腔合成。由此能够有效的将第二用户的表情融入至第一用户的人脸人脸图像序列。人脸表情特征从第一用户对应的表情样本中获取与人脸表情特征相匹配的表情图片序列。片里选择出能匹配指定表情动作的帧，将提取的表情帧拼接至第一用户的三维人脸图像[0154]S710，将提取获得的各人脸表情特征分别融合至各三维投影图像中进行表情重一帧人脸图像对应的三维投影图像中进行表情重构，分别得到每一帧对应的三维人脸图用户的人脸视频中各帧对应的人脸表情特征，分别将其合成到连续的各帧三维投影图像响应身份认证的第二人脸视频，基于第二人脸视频中的各第二人脸图像提取人脸表情特[0180]表情重构模块908，用于将提取获得的各人脸表情特征分别融合至三维投影图像[0183]在一个实施例中，图像转换模块904还用于获取人脸特征中特征点对应的二维坐[0185]在一个实施例中，图像转换模块904还用于根据三维人脸特征构建三维人脸映射[0186]在一个实施例中，图像转换模块904还用于提取第一人脸图像对应的光照参数和[0187]在一个实施例中，表情提取模块906还用于提取第二人脸视频中的关键帧的第二[0188]在一个实施例中，表情重构模块908还用于基于各第二人脸图像对三维投影图像换模块904还用于基于第一人脸视频中的各第一人脸图像提取人脸特征；根据各第一人脸[0192]在一个实施例中，表情重构模块908还用于将提取获得的各人脸表情特征分别融[0193]关于人脸图像处理装置的具体限定可以参见上文中对于人脸图像处理方法的限算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过一种人脸图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read_