CN119516585A 人脸识别方法、装置和电子设备 （深圳比特微电子科技有限公司）

提取网络模型利用所得到的亮度修正图像提取2将所述人脸图像输入亮度处理网络模型，通过所述亮度处理网络模将所述亮度修正图像输入特征提取网络模型，通过所述特征提取网络将所述人脸样本数据集中的全部人脸样本图像分别输入待训练亮过所述待训练亮度处理网络模型得到分别对应于每一个所述人脸样本图像的亮度修正样将全部所述亮度修正样本图像分别输入待训练特征提取网络模征提取网络模型得到分别对应于每一个所述人脸样本图像的特将全部所述特征预测数据分别输入待训练身份分类器，通过所述根据所述亮度修正样本图像和所述人脸样本图像，得到所述亮根据全部所述特征预测数据和每一个所述人脸样本图像所属的光照一人不同光照聚类中心人脸特征损失和不同人相同光照聚类根据所述身份预测结果和所述人脸样本图像的根据所述光照平滑损失、所述同一人不同光照聚类中心人脸特征损失、根据所述总体损失对包含所述待训练亮度处理网络模型、所述待训练根据每一个所述人脸样本图像所属的光照聚类中心，从所述人脸根据所述第一人脸样本图像对中的两个人脸样本图像依次经过所述待训练亮度处理根据所述第二人脸样本图像对中的两个人脸样本图像依次经过所述待训练亮度处理3根据多个所述人脸样本图像的光照聚类处理所得到的多个光照聚将所述归一化人脸样本图像划分为多个尺寸相同的从所述归一化人脸样本图像中获取每个所述光照区域的根据每个所述光照区域的光照特征得到所述人脸样本图像的将所述人脸样本数据集中全部所述人脸样本图像的整体光照特征根据每一个所述人脸样本图像的整体光照特征和多个所述光照聚对中的两个人脸样本图像依次经过所述待训练亮度处理网络模型和所述待训练特征提取其中，Fni表示所述第一人脸样本图像对中的一个人脸样本图像的归一化特征预测数据，Fnj表示所述第一人脸样本图像对中的另一个人脸样本图像的归一化特征预测数据，通过下式得到所述第一人脸样本图像对中两个人脸样本图像的特征预测数据之间的其中，Lsame_ij为所述第一人脸样本图像对中两个人脸样通过下式得到所述同一人不同光照聚类中心人对中的两个人脸样本图像依次经过所述待训练亮度处理网络模型和所述待训练特征提取4其中，Fnk表示所述第二人脸样本图像对中的一个人脸样本图像的归一化特征预测数据，Fnl表示所述第二人脸样本图像对中的另一个人脸样本图像的归一化特征预测数据，通过下式得到所述第二人脸样本图像对中两个人脸样本图像的特征预测数据之间的其中，Ldiff_kl为所述第二人脸样本图像对中两个人脸样通过下式得到所述不同人相同光照聚类中心人L＝Ls*Ws+Lid*Wid+Lsame*Wsame其中，L表示所述总体损失，Ls表示所述光照平滑损失亮度修正模块，被配置为执行将所述人脸图像输入亮特征提取模块，被配置为执行将所述亮度修正图像输入数据比对模块，被配置为执行将所述特征数据与事先存储的人脸特征数据进行比对，其中，所述处理器被配置为执行所述可执行指令，以实现5[0002]人脸识别是根据人脸的图像来判定人的身份信息，相比指纹识别等生物特征识[0013]将所述人脸样本数据集中的全部人脸样本图像分别输入待训练亮度处理网络模练特征提取网络模型得到分别对应于每一个所述人脸样本图像器得到分别对应于每一个所述人脸样本图像的身6到同一人不同光照聚类中心人脸特征损失和[0018]根据所述身份预测结果和所述人脸样本图像的身份标签，得到人脸身份分类损[0023]根据所述第一人脸样本图像对中的两个人脸样本图像依次经过所述待训练亮度[0024]根据所述第二人脸样本图像对中的两个人脸样本图像依次经过所述待训练亮度待训练亮度处理网络模型和所述待训练特征提取网络模型推理所得到的两个特征预测数7[0038]其中，Fni表示所述第一人脸样本图像对中的一个人脸样本图像的归一化特征预测数据，Fnj表示所述第一人脸样本图像对中的另一个人脸样本图像的归一化特征预测数nomx-,ETT环,Fi表示所述第一人脸样本图像对中[0039]通过下式得到所述第一人脸样本图像对中两个人脸样本图像的特征预测数据之待训练亮度处理网络模型和所述待训练特征提取网络模型推理所得到的两个特征预测数[0049]其中，Fnk表示所述第二人脸样本图像对中的一个人脸样本图像的归一化特征预测数据，Fnl表示所述第二人脸样本图像对中的另一个人脸样本图像的归一化特征预测数nomx-,ETT环,Fk表示所述第二人脸样本图像对中[0050]通过下式得到所述第二人脸样本图像对中两个人脸样本图像的特征预测数据之8所述特征提取网络模型得到关联于所述人脸图像的[0075]图5是根据一示意性实施例示出的得到同一人不同光照聚类中心人脸特征损失的9[0076]图6是根据一示意性实施例示出的得到不同人相同光照聚类中心人脸特征损失的人脸识别常用的人脸身份分类损失的基础上，提出了两个针对光照聚类的人脸特征损失；[0085]图1是根据一示意性实施例示出的一种人脸识别方法的流征提取网络模型可以采用常用的人脸识别模型如MobileFaceNet(MobileFaceNets:EfficientCNNsforAccurateReal_TimeFaceVerificationonMobileDevices)等输入特征提取网络模型得到事先存储的人脸特[0094]本公开实施例的人脸识别方法，在特征提取网络模型之前增加亮度处理网络模[0095]为了确保由亮度处理网络模型和特征提取网络模型共同组成联合网络能够实现识别方法还包括对该联合网络进行训练的过程。图2是根据一示意性实施例示出的对联合网络进行训练的流程示意图，图3是根据一示意性实施例示出的联合网络训练过程中的结[0098]步骤202、将人脸样本数据集中的全部人脸样本图像分别输入待训练亮度处理网练特征提取网络模型得到分别对应于每一个人脸样本图像器得到分别对应于每一个人脸样本图像的身脸样本图像中选取多个批次的人脸样本图像，分别利用每批次的人脸样本图像执行训练。图像，该128个亮度修正样本图像分别一对一地对应于128个人脸样本图像中的每一个128脸样本图像中的每一个128个人脸样本图像；在步骤204中将128个特征预测数据依次分别到同一人不同光照聚类中心人脸特征损失和[0108]步骤207、根据身份预测结果和人脸样本图像的身份标签，得到人脸身份分类损示同一人不同光照聚类中心人脸特征损失，Ldiff表示不同人相同光照聚类中心人脸特征型和待训练身份分类器的网络模型进行训练，得到亮度处理网络模型和特征提取网络模脸图像的特征数据与事先存储的人脸特征数据进行比对而确定所识别的人脸图像是否为合法用户。[0120]步骤402、根据第一人脸样本图像对中的两个人脸样本图像依次经过待训练亮度[0121]图5是根据一示意性实施例示出的得到同一人不同光照聚类中心人脸特征损失的[0125]其中，Fni表示第一人脸样本图像对中的一个人脸样本图像的归一化特征预测数据，Fnj表示第一人脸样本图像对中的另一个人脸样本图像的归一化特征预测数据，norm(X)表示对向量X取模，X代表括号内的向量，例如X可以代表norm[0126]步骤502、通过下式得到第一人脸样本图像对中两个人脸样本图像的特征预测数[0132]步骤403、根据第二人脸样本图像对中的两个人脸样本图像依次经过待训练亮度[0133]图6是根据一示意性实施例示出的得到不同人相同光照聚类中心人脸特征损失的[0137]其中，Fnk表示第二人脸样本图像对中的一个人脸样本图像的归一化特征预测数据，Fnl表示第二人脸样本图像对中的另一个人脸样本图像的归一化特征预测数据，norm[0138]步骤602、通过下式得到第二人脸样本图像对中两个人脸样本图像的特征预测数集中还包含分属于不同人脸且属于相同光照聚类中心的至少两个人脸样本图像；在步骤206中提及根据全部特征预测数据和每一个人脸样本图像所属的光照聚类中心，得到同一[0149]在示意性实施例中，可根据人脸样本图像中人脸面部的5点位置(包括左眼中心、第1个区域的直方图特征，h2表示第2个区域的直方图特征，h9表示第9个区域的直方图特通过计算样本点之间的距离来确定点的密度，并在每次迭代中移动质心以使密度最大化。[0166]除了均值聚类，还可以采用K均值聚类(K_MeansClustering)、层次聚类[0169]K均值聚类与均值聚类类似，也是通过人脸样本图像的整体光照特征和聚类中心照特征)之间的相似度和距离逐步合并或分裂簇。确定样本(人脸样本图像的整体光照特征)属于哪个聚类中心，是计算样本(人脸样本图[0171]密度聚类是通过将样本(人脸样本图像的整体光照特征)分配给具有足够密度的本(人脸样本图像的整体光照特征)的密度和与其它样本(人脸样本图像的整体光照特征)[0172]图8是根据一示意性实施例示出的人脸识别方法的应用场景流程示意图，该应用[0175]步骤802、将每一个人脸样本图像均归一化到设定尺寸，得到归一化人脸样本图[0181]在示意性实施例中，人脸样本数据集中的每一个人脸样本图像均对应有身份标[0182]经过步骤806后，人脸样本数据集中的每一个人脸样本图像还均对应有其所属的[0183]步骤808、将人脸样本数据集中的全部人脸样本图像分别输入待训练亮度处理网[0190]步骤812、根据第一人脸样本图像对中的两个人脸样本图像依次经过待训练亮度[0195]其中，Fni表示第一人脸样本图像对中的一个人脸样本图像的归一化特征预测数据，Fnj表示第一人脸样本图像对中的另一个人脸样本图像的归一化特征预测数据，norm[0196]通过下式得到第一人脸样本图像对中两个人脸样本图像的特征预测数据之间的[0202]步骤813、根据第二人脸样本图像对中的两个人脸样本图像依次经过待训练亮度[0207]其中，Fnk表示第二人脸样本图像对中的一个人脸样本图像的归一化特征预测数据，Fnl表示第二人脸样本图像对中的另一个人脸样本图像的归一化特征预测数据，norm[0208]通过下式得到第二人脸样本图像对中两个人脸样本图像的特征预测数据之间的[0214]步骤814、根据身份预测结果和人脸样本图像的身份标签，得到人脸身份分类损直接采用人脸识别当中已有的常用的身份分类损失，也可以采用改进的例如ArcFace损失(参见ArcFace:AdditiveAngularMarginLossforDeepFaceRecognition，2018.01.23发布)等损失作为人脸身份示同一人不同光照聚类中心人脸特征损失，Ldiff表示不同人相同光照聚类中心人脸特征型和待训练身份分类器的网络模型进行训练，得到亮度处理网络模型和特征提取网络模进行人脸识别的身份信息，在此基础上可以授权人脸识别的用户进入下一步行动或操作；[0229]本公开实施例的人脸识别方法，在通过特征提取网络模型进行人脸特征提取之人脸识别的精度。由于所采用的亮度处理网络模型和特征提取网络模型可以是轻量级网[0234]数据比对模块904，被配置为执行将特征数据与事先存储的人脸特征数据进行比[0240]光照平滑损失获得模块，被配置为执行根据亮度修正样人脸样本图像依次经过待训练亮度处理网络模型和待训练特征提取网络模型推理所得到人脸样本图像依次经过待训练亮度处理网络模型和待训练特征提取网络模型推理所得到[0262]其中，Fni表示第一人脸样本图像对中的一个人脸样本图像的归一化特征预测数据，Fnj表示第一人脸样本图像对中的另一个人脸样本图像的归一化特征预测数据，norm[0263]通过下式得到第一人脸样本图像对中两个人脸样本图像的特征预测数据之间的[0273]其中，Fnk表示第二人脸样本图像对中的一个人脸样本图像的归一化特征预测数