CN114764939B 一种基于身份-属性解耦合成的异质人脸识别方法及系统 （中国科学院信息工程研究所）

一种基于身份-属性解耦合成的异质人脸识一种基于身份-属性解耦合成的异质人脸识别方法及系统。本发明首先设计了一种人脸身份-属21)从异质人脸数据库随机抽取一样本Y，所述异质人脸数据库中每一样本包括属于同码器从IV中提取身份特征zid，采用人脸属性编码器分别从IN中提取人脸属性特征Z"、从IV中提取人脸属性特征然后固定人脸身份特征zid，约束人脸属性特征正交于人2)从异质人脸数据库随机抽样一样本X，其包括一对异属性特征从XV中提取属性特征戏:将所述身份特征zid与属性特征戏、戏分别组合，得到特征组合和然后将特征组合合成异质人脸图像将特征组合4)结合所述异质人脸数据库的原始图像和所述训练数据集，5)将待识别的人脸图像输入至训练后的异质第一模态的人脸属性编码器为EN和面向第二模态的人脸属性编码器为EV；然后利用EN对属于模态一的人脸图像IN进行特征提取，得到与身份无关的人脸属性特征",利用EV对属于置卷积层对特征向量x进行转置卷积运算得到一特征图，通过自适应实例正则化运算对所码器；训练所述人脸属性编码器所采用的损失函数为Lrv=laisLais十LK,其中LU为KL散3度损失函数，解耦损失函数Las=cos(za,z")+cos(za,zy),当Lais下降至0时，zid与",z正交，其中λdis为超参数。5.根据权利要求1或2或3所述的方法，其特征图像RWV:其中训练所述生成器G所采用的损失函数为LC=Lrec+Lip+Lsim十Ladvs其为人脸身份特征编码器从输入函数和分别是和的属性特征；对抗损失函数其中D(I)是判别器判断图像I为8.一种基于身份-属性解耦合成的异质人脸识别系统，其特征在于，包括特征解耦模所述特征解耦模块，配置为解耦人脸的身份特征与属性特征，其包含被处理器执行时实现权利要求1至7任一所述4[0001]本发明属于生物特征识别技术领域，具体涉及一种基于身份-属性解耦合成的异差异巨大，不能直接识别身份，因此需要有效的异质人脸识别方法(HeterogeneousFace空间内根据人脸特征的距离识别身份。机器学习的特征降维方法是子空间投影的早期工5[0008]针对现有方法的不足，本发明提出了一种基于身份-属性解耦合成的异质人脸识[0009]本发明的第一方面提供了一种基于身份-属性解耦合成的异质人脸识别方法，包于同一个人物。首先采用预训练的人脸识别模型从人脸图像IV提取人脸图像的身份特征质人脸图像IN和IV提取人脸属性特征"和。第三，提出身份-属性解耦算法，固定人脸身步骤S200的属性特征戏和戏组合，得到特征组合和[zu,引:然后提出人脸图像合成算法，由人脸图像生成器分别将特征组合[zaa,z[0015]本发明的第二方面提出了一种基于身份-属性解耦合成的异质人脸识别系统，包6[0023]图1是本发明一个或多个实施例中的基于身份-属性解耦合成的异质人脸识别模[0024]图2为本发明多个实施例中的异质人脸识别模型在CASIANIR-VIS2.0数据库的[0025]图3为本发明多个实施例中的异质人脸识别模型在BUAA-VisNir数据库的测试结[0026]图4为本发明多个实施例中的异质人脸识别模型在Oulu-CASIANIR-VIS数据库的[0027]图5为本发明多个实施例中的异质人脸识别模型在LAMP-HQ数据库的测试结果ROC7LightCNNforDeepFaceRepresentationwithNoisyLabels[J].IEEETransactionsonInformationForensicsandSecurity,2018,13(11):2884-2896)作为人脸身份特征进行特征提取，得到与身份无关的人脸属性特征EV对模态二的人脸图像IV进行特征提卷积层具体包含1个2D卷积运算、1个实例正则化(InstanceNormalization)运算和1个带个特征向量μ和σ,分别表示人脸属性分布的均值和标准差。由于人脸属性的先验分布多元高斯分布N(0,I),I为单位矩阵，使用重参数化技巧(KingmaDP,WellingM.Auto-EncodingVariationalBayes[C].InternationalConferenceonLearning8[0045]步骤S212，组合身份特征zid和属性特征碳,使用生成器G(参考GoodfellowI,Pouget-AbadieJ,MirzaM,etal.GenerativeAdversarialNetworks[J]身份特征zid和属性特征使用生成器G由生成人脸图像生成器的神经网络结构如表3所示。其中，转置卷积层具体包含1个2D转置卷积运算、1个自适应实例正则化(AdaptiveInstanceNormalization，参考HuangX,BelongieS.ArbitraryStyleTransferinReal-timewithAdaptiveInstanceNormalization[C].IEEEInternationalConferenceonComputerVision.2017:1501-1510)运算和1个带泄露线9[0051]为了验证本发明提出方法的有效性，使用CASIANIR-VIS2.0、BUAA-VisNir、NIR-VIS和LAMP-HQ数据库的实验结果ROC曲线示意图如图2-5所示。FSIAD是本发明方法的95.7±0.591.0±1.374.5±0.797.3±0.495.7±0.7-98.2±0.397.2±0.5-98.7±0.398.4±0.494.3±0.498.9±0.298.3±0.2-99.7±0.199.6±0.398.6±0.399.8±0.199.8±0.198.8±0.296.7±0.294.8±0.488.5±0.299.9±0.099.9±0.099.2±0.193.993.080.994.393.484.795.295.388.097.496.091.998.698.093.599.298.596.999.398.597.396.595.486.799.899.799.192.267.933.694.373.446.295.583.060.798.081.554.6100.097.988.2100.097.284.9100.097.590.696.792.465.1100.098.192.0方法Rank-1Acc(％)LightCNN96.296.195.369.3ADFL95.8-PACH96.993.978.7-DVG98.398.896.088.2FSIAD98.899.197.993.0[0066]人脸属性编码器选用变分自编码器(VariationalAnto-Encoder，参考KingmaDP,WellingM.Auto-EncodingVariationalBayes[C].InternationalConferenceonLearningRepresentations,2014)实现，和的先验分布p(zf")和p(ay)服从多元高斯分布N(0,I),需要使用KL散度损失函数训练人脸属性编码器，使和的后验分布Lais=cos(zu,z")+cos(ZUZF)。当Lais下降至0时，zid与正交。[zau,zy,输入生成器G，生成重建的人脸图像in和使用重建损失函数Lrec减少重建人脸[zia,和输入生成器G，生成人脸图像RW和Rr生成的人脸图像应当满足两点x2Z,BovikAC,SheikhHR,etal.ImageQualityAssessment:FromErrorVisibilitytoStructuralSimilarity[J].IEEETransactionsonImageProcessing,2004,13(4):[0081]使用低通滤波器和降采样器，分别对图像x1和x2迭代进行M次的低βj和γj[0085]其中和分别是RW和R的属性特征。器D的目标是正确判别真实图像与生成图像，而生成器G的目标是生成高质量的图像使D不的异质人脸图像RW和R,P,(8)表示生成图像数据。[0087]综合重建损失函数Lrec身份保持损失函数Lip、图像相似损失函数Lsim和对抗损失函数Laav,提出图像合成损失函数LC,用于训练所述图像合成模块。LC=Lrec+Lip+[0088]所述图像存储介质用于存储异质人脸数据库和所述图像合成模块生成的异质人其中n是异质人脸图像的总数量；是第i对异质人脸骤S300生成的异质人脸图像RW和R,使用异质人脸识别模型分别提取身份特征和然后使用跨模态类