CN113902611B 图像美颜处理方法、装置、存储介质与电子设备 （Oppo广东移动通信有限公司）

所述待美颜人脸图像的空域与像素值域所形成2通过预先训练的深度神经网络对所述待美颜人脸图像提取基于三维网格的特征并输其中，所述信息矩阵包括每个所述三维网格对应的基于所述待美颜人脸图像对所述基准信息矩阵进行插值，得到根据所述待美颜人脸图像的每个像素点对应的美颜信息矩阵，分别通过所述基础卷积层按照空域网格的尺寸对所述待美颜人脸图像进行下采样卷积处通过所述网格特征卷积层对所述基础特征图像提取所述空域网格内的通过所述局部特征卷积层对所述基础特征图像提取所述空域网格间通过所述输出层按照值域分区的数量对所述网格特征图像与所述局部特征图像进行基于所述参考值图像对所述基准信息矩阵进行插值，得到所述待3gjg根据所述待美颜人脸图像的每个像素点相对于一个或多个所述三维网格的中心点的根据所述美颜信息矩阵的维度对所述待美颜人脸图像添加新通分别将所述待美颜人脸图像的每个像素点的像素值向量与所述每个像素点对应的美基于所述待美颜样本图像对应的标注图像与所述美颜样本图像的差基于所述深度神经网络的输入图像尺寸将所述原始人脸子图像进行4从所述美颜人脸图像中拆分出与所述原始人脸子图像对应的美颜根据所述原始人脸子图像的数量，将所述输入图像尺寸分割分别基于每个子图像尺寸将对应的所述原始人当所述原始人脸子图像的宽度与高度的大小关系与所述子图像尺寸的宽度与高度的当所述原始人脸子图像或者经过旋转的原始人脸子图像的尺寸大于所述子图像尺寸当所述原始人脸子图像或者经过旋转与下采样中至少一种处理的原始人脸子图像的脸子图像的尺寸与所述子图像尺寸的差值将所述经过旋转与下采样中至少一种处理的原将所述待美颜原始图像中的所述原始人脸子图像替换为对应的所述美颜人脸子图像，将所述原始人脸子图像的高频图像融合至所述在基于所述深度神经网络的输入图像尺寸将从所述待美颜原始图像中提取的所述原根据所述原始人脸子图像与所述上采样人脸子图像的差别，5将所述高频图像中所述瑕疵点周围预设区域内的像素值调整到预设数对位于所述待美颜原始图像中的未替换区域与所述美颜人脸子图像之间的边界区域信息矩阵生成模块，被配置为通过预先训练的深度神经美颜处理模块，被配置为利用所述信息矩阵对所述待美颜人脸图其中，所述信息矩阵包括每个所述三维网格对应的基于所述待美颜人脸图像对所述基准信息矩阵进行插值，得到根据所述待美颜人脸图像的每个像素点对应的美颜信息矩阵，分别被处理器执行时实现权利要求1至18任一其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至18任一项所述6所形成的三维空间进行划分而得到的；利用所述信息矩阵对所述待美颜人脸图像进行处三维网格是对所述待美颜人脸图像的空域与像素值域所形成的三维空间进行划分而得到所述计算机程序被处理器执行时实现上述第一方面的图像美颜处理方法及其可能的实施7以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方8[0030]人像去瑕疵是图像美颜处理的一部分，通常是图像美颜处理中的第一阶段处[0032]鉴于上述一个或多个问题，本公开的示例性实施方式提供一种图像美颜处理方[0034]在一种实施方式中，终端110可以拍摄或者通过其他方式获取待美颜的图像或视从相册中选取待美颜的图像或视频，将其上传至服务器120以进行美颜，或者用户在终端度神经网络发送至终端110进行部署，例如将该深度神经网络的相关数据打包在上述美颜App或直播App的更新包中，使终端110通过更新App而获得该深度神经网络并部署在本地。[0036]在一种实施方式中，可以由终端110执行对深度神经网络的训练，例如从服务器[0038]本公开的示例性实施方式还提供一种用于执行上述深度神经网络训练方法或图9(ApplicationProcessor，应用处理器)、调制解调处理器、GPU(GraphicsProcessing处理器201通过运行存储在存储器202的指令，执行移动终端200的各种功能应用以及数据脸图像进行去瑕疵处理。在获取待美颜人脸图像后，通过图3的图像美颜处理方法进行处[0052]需要说明的是，本公开对于图3的图像美颜处理与其他美颜处理的先后顺序不做[0057]在一种实施方式中，待美颜人脸图像可以是连续多帧图像中的一帧或多帧图[0061]在一种实施方式中，上述从待美颜原始图像中提取一张[0064]其中，人脸关键点可以包括人脸关键部位以及人脸边缘的点。包围盒(Bounding取4个包围盒并截取原始人脸子图像进行美颜，下次处理中选取其他的包围盒并截取原始定待美颜原始图像中的人脸的稳定包围盒；基于待美颜原始图像中的人脸的稳定包围盒，[0072]参考帧图像可以是上述连续多帧图像中已确定人脸稳定包围盒或者已完成美颜对待处理图像中所有面积大于人脸面积阈值的基础包围盒内的人脸进行以及位置不重合的像素点数量，记为k2(表示待确定人脸的基础包围盒中与已确定人脸的基础包围盒不重合的像素点数量)与k3(表示已确定人脸的基础包围盒中与未确定人脸的换后的待确定人脸的基础包围盒与已确定人脸的基础包围盒中像素值相同的像素点数量存在多个已确定人脸，可以分别对每一张待确定人脸与每一张已确定人脸进行匹配计算，每一对待确定人脸与已确定人脸的相似度或重叠度确定其是说明的是，如果扩展后的宽度expand_w超出待美颜原始图像的宽度Wmax，则expand_w=[0100]其中，center_x_float、center_y_float表示以float型数据所保存的中心点坐[0108]上述步骤表示将已确定人脸的稳定包围盒的位置与待确定人脸的基础包围盒的[0113]其中，pre_center_x_float是已保存的pre_center_x的float型数据，pre_center_y_float是已保存的pre_cen[0116]如果待确定人脸的基础包围盒的尺寸大于已确定人脸的稳定包围盒的尺寸与第[0117]如果待确定人脸的基础包围盒的尺寸小于已确定人脸的稳定包围盒的尺寸与第[0118]如果待确定人脸的基础包围盒的尺寸小于已确定人脸的稳定包围盒的尺寸与第稳定包围盒的尺寸作为待确定人脸的稳定包围[0119]上述步骤表示根据待确定人脸的基础包围盒的尺寸与已确定人脸的稳定包围盒稳定包围盒的尺寸等于已确定人脸的稳定包围盒的尺寸，即保持稳定包围盒的尺寸不变。[0130]如果扩展后的宽度expand_w超出待美颜原始图像的宽度Wmax，则expand_w=美颜原始图像的边界坐标替代该超出边界的坐标。最终可以将该稳定包围盒表示为[0135]在得到待美颜原始图像中的人脸的稳定包围盒后，可以截取稳定包围盒内的图图像尺寸的宽高比(如)尽可能接近，将输入23Q[0147]①当原始人脸子图像的宽度与高度的大小关系与子图像尺寸的宽度与高度的大度与高度的大小关系不同，需要将原始人脸子图像旋转90度(顺时针或逆时针旋转皆可)。[0151]在进行下采样后，原始人脸子图像的宽度与高度中的至少一个与子图像尺寸对寸的差值将原始人脸子图像进行填充，使填充后的原始人脸子图像的尺寸等于子图像尺的尺寸与子图像尺寸一致。当然也可以将原始人脸子图像与子图像尺寸的一侧边缘对齐，[0170]参考图8所示，上述通过预先训练的深度神经网络对待美颜人脸图像提取基于三通过网格特征卷积层进一步在空域网格范围内提取更加深度的特征，得到网格特征图像。结合图7举例来说，网格特征卷积层可以包括一个或多个步长为1的3*3卷积层(3*3表示卷例说明，输出层可以包括拼接层与一个或多个步长为1的1*1卷积层(1*1表示卷积核尺寸，仅为示例性，也可替换为其他尺寸)，拼接层用于对网格特征图像与局部特征图像进行拼个像素点对应的美颜信息矩阵。示例性的，假设待美颜人脸图像的宽度为128，高度也为的基准信息矩阵进行三线性插值，得到{0,0,0}三维网格中每个像素点对应的美颜信息矩及其相邻的6个三维网格的基准信息矩阵进行三线性插值，得到该三维网格中每个像素点图像对基准信息矩阵进行插值，得到待美颜人脸图像的每个像素点对应的美颜信息矩阵，gjrgb[0198]可以将每个像素点的像素值与对应的美颜信息矩阵相乘[0203]在一种实施方式中，上述根据待美颜人脸图像的每个像素点对应的美颜信息矩[0205]分别将待美颜人脸图像的每个像素点的像素值向量与每个像素点对应的美颜信待美颜人脸图像中每个像素点的像素值向量转[0212]如果在将待美颜人脸图像输入深度神经网络前，对其像[0213]在一种实施方式中，图像美颜处理方法还可以包括对深[0214]步骤S1010，将待美颜样本图像输入待训练的深度神经网络，以输出样本信息矩颜人脸子图像具有如下关系：变换前的原始人脸子图像与逆变换后的美颜人脸子图像方[0231]在基于深度神经网络的输入图像尺寸将上述一张或多张原始人脸子图像进行组到的上采样人脸子图像与原始人脸子图像的方向[0249]对位于待美颜原始图像中的未替换区域与美颜人脸子图像之间的边界区域进行[0257]步骤S1203，根据原始人脸子图像的数量将深度神经网络的输入图像尺寸划分为[0263]步骤S1209，将美颜人脸图像拆分为与原始人脸子图像一一对应的美颜人脸子图[0264]步骤S1210，将美颜人脸子图像与对应的原始人脸子图像按照美颜程度参数进行脸图像的空域与像素值域所形成的三维空间进行划分[0272]通过网格特征卷积层对基础特征图像提取空域网格内的特征，得到网格特征图[0273]通过局部特征卷积层对基础特征图像提取空域网格间的特征，得到局部特征图[0274]通过输出层按照值域分区的数量对网格特征图像与局部[0282]根据待美颜人脸图像的每个像素点相对于一个或多个三[0283]在一种实施方式中，上述根据待美颜人脸图像的每个像素点对应的美颜信息矩[0285]分别将待美颜人脸图像的每个像素点的像素值向量与每个像素点对应的美颜信[0300]当原始人脸子图像的宽度与高度的大小关系与子图像尺寸的宽度与高度的大小据子图像尺寸将原始人脸子图像或者经过旋转的原始人[0302]当原始人脸子图像或者经过旋转与下采样中至少一种处理的原始人脸子图像的像尺寸的差值将经过旋转与下采样中至少一种处理的原始人脸子图像进[0322]可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网一个模块或者单元的特征和功能可以进