【《人脸对齐算法研究的国内外文献综述》3300字】

人脸对齐算法研究的国内外文献综述1.1人脸检测技术人脸检测技术是判断输入的图像中是否有人脸的技术，如果检测到人脸，还需要在图像中框出人脸，也就是确定人脸大小及其再图像中所处位置。所以，人脸检测，毫无疑问，是人脸对齐必备的前置环节，而且人脸检测的效果直接关乎人脸对齐的结果，正如第一章第三节中提到，人脸检测技术也是人脸对齐的难点之一。目前，有研究者总结，经典人脸检测技术主要可以分为以下三类[7]：（1）基于知识的方法基于知识的方法[8]是利用人脸关键点间几何关系等先验知识来提取人脸特征，将其转化为人脸规则，然后利用生成的人脸规则来进行人脸检测。此方法适用于检测背景单一的图像，背景复杂的人脸图像，检测效果大大降低。此方法另一问题是先验知识界定不明确，规则的定义也因人而异。规则定义过于复杂，漏检（检测不到人脸）情况则比较严重，而规则定义过于简单则会出现错检（非人脸或部分人脸检测为人脸）的情况。（2）基于特征的方法 此类方法以人脸面部的特征（几何特征、纹理特征、肤色特征等）为基础，充分利用这些人脸图像独特的特征来检测人脸。研究发现，不同人脸肤色在颜色空间中分布是相对稳定的[9]，可以利用人脸这种特殊的颜色分布来检测人脸位置。同时，根据人脸图像区别与其他图像的特征，我们可以将一张图像中的人脸区域分割出来，从而完成人脸检测。但是，此类方法受姿态和光照影响比较大。（3）基于统计的方法 以表象为基础的方法主要是利用机器学习对人脸表象特征进行统计分析，以找到人脸区域和非人脸的其他区域各自的特征，从而分割出人脸区域。此类方法主要包括子空间法、以神经网络为基础的方法、以Adaboost为基础的方法和以支持向量机为基础的方法。以支持向量机为基础的方法比以神经网络为基础的方法有更好的泛化能力，但以神经网络为基础的方法不仅提取的特征不会过于复杂，而且可以提取所有其他方法都难以提取到的规则。以Adaboost为基础的方法是目前效果最好、最受欢迎的方法，但此方法训练时间较长，检测速度还有较大提升空间。1.2人脸对齐经典算法人脸对齐技术的研究伊始于上世纪90年代，经典算法主要有五种：1995年，Cootes提出的活动形状模型(ASM,ActiveShapeModel)算法；1998年，Cootes提出的活动表观模型(AAM,ActiveAppearanceModel)算法；2006年，Ristinacce等人提出的约束局部模型(CLM,ConstrainedLocalModel)算法；2010年，Rollar等人首次提出的级联姿势回归(CPR,CascadedPoseRegression)算法；2013年，Sun[10]等人提出卷积神经网络的算法，提出了一种级联的三级卷积神经网络——深度卷积神经网络(DCNN,DeepConvolutionalNetwork)，是人脸关键点检测技术上卷积神经网络(CNN,ConvolutionalNeuralNetwork)的第一次应用。本小节将对这五种具有里程碑式意义的经典算法作简单的总结介绍。1.1.1ASM算法1995年，Cootes[5]提出的ASM算法的核心是对目标物体进行抽象，其中形状模型是关键。ASM以点分布模型(PDM，PointDistributionModel)为基础，主要分为两步：第一步，需要在目标图像上手工标记关键点，将标记后的关键点串成形状向量以得到初步的形状，并将其归一化、对齐，再对处理后的形状特征进行主成分分析(PCA,PrincipalComponentsAnalysis)降维，然后再为每一个关键点构建以关键点附近地区为基础的局部特征。第二步：计算眼睛（鼻子、嘴等特征点）的位置，经过旋转、尺度变化对齐人脸后，扫描匹配每个关键点得到初始形状，然后再根据形状模型（平均人脸）修正形状，迭代直到收敛。ASM算法作为人脸对齐领域第一个比较成熟的算法有架构简单、模型清晰，易于理解和实现的优点，同时，其对于轮廓形状的约束比较强。但是它通过穷举来定位每一个关键点，运算速度有比较慢。1.1.2AAM算法1998年，Cootes对ASM算法进行了改进，提出了AAM[6]算法。AAM算法不仅采用形状约束，而且在这个基础上加入了人脸图像上的纹理信息（即像素明暗变化）。AAM算法流程与ASM类似，先对模型训练，训练好后再建立模型。不同的是，AAM算法在建立模型时需要为训练样本建立两个模型，分别为形状模型(ShapeModel)和纹理模型(TestModel)。然后融合得到的两个模型，构成一个外观模型，从而形成AAM模型。AAM算法优于ASM算法的地方有两点：首先是对局部信息的充分利用，其次是加入了全局纹理信息。1.1.3CLM算法CLM算法利用一种“平均”的思想来获得最开始的人脸形状，先用以统计为基础的“平均”方法来确定每个关键点的初始位置。然后在每一个关键点附件搜索最佳匹配点，确定每个关键点的最佳位置以完成人脸对齐。实质上，ASM算法也是CLM算法的一种。CLM算法主要分为两个阶段：第一阶段构建模型，第二阶段拟合点。其中，构建模型时又有两个子任务——构建形状模型和区域模型，如图2-1所示。预测整体人脸形状时我们需要用到形状模型，而预测每个关键点附近地区我们需要用到区域模型。在初始位置的关键点搜索其周围位置时的匹配准则由区域模型给出，此准则可以判断是否搜索到了最佳的匹配位置。图2-1CML模型示意图CLM算法综合考虑效果和速度，二者折中，并对二者都进行了一些改进。抛弃了AAM的全局纹理，而在ASM算法中增加了关键点邻域的局部纹理，综合考虑了ASM算法的效率和ASM算法的效果。1.1.4级联回归算法级联回归算法是一类算法的统称，自2010年Rollar等人提出级联姿势回归(CPR)算法后就吸引了很多研究者开始研究。该算法首先给出人脸图像关键点的初始预测形状，然后通过一系列的回归器对这个初始形状进行调整、细化，每一个回归器都在前一个回归器输出的结果上来调整输出形状，不断迭代得到最终的形状预测。如图2-2所示，S为预测的人脸形状，R为每一级的分类器。每一个回归器估计一个增量ΔS，然后将ΔS加到前一个阶段的S上得到新的S，不断迭代得到最终的S。图2-2级联姿势回归算法模型1.1.5基于深度学习的方法 2013年，Sun等人提出DCNN——一个三层的级联卷积神经网络模型，是众多人脸关键点检测算法中第一次使用卷积神经网络的算法。DCNN中，L1级神经网络以整个人脸图像为输入，并以所有关键点位置的粗定位为输出。L2和L3级网络需要利用L1级的输出，将每个关键点附近的区域（即关键点邻域）作为输入，对L1级的粗定位进行微调，输出更加精细的关键点的位置。该网络的提出，标志着深度学习方法的方法正式开始使用于人脸对齐，该网络一提出就吸引了不少学者将研究工作转移到深度学习上来。该网络第一层就解决困扰传统参数化方法已久的一个难题。传统方法中，人脸初始形状的预测非常关键，初始化不当，模型往往容易陷入局部最优。深度学习的方法相较于传统方法准确率更高、性能更好，同时，需要大量训练数据、训练时间长也是该方法问题之一。1.3人脸对齐中常用数据集人脸对齐领域的研究者们建立了很多数据集并对关键点进行了标注，本章将对人脸对齐领域几个著名的数据集（Helen、LFPW、300-W）作简单介绍。1.3.1HelenHelen数据集是专门针对人脸对齐问题而创建的，此数据集中的样本有分辨率高、人工标注关键点多（194个）的特点。共有2330张图像，其中2000为训练样本，剩下330张为测试样本，图2-3为Helen数据集中的一个带标注样本。图2-3Helen数据集中的标注样本1.3.2LFPWLFPW(LabeledFacePartsintheWild)数据集中图像均为室外图像，此数据集中人脸图像的光照、角度、表情等都有很大差别。其每个图像均标注了29个关键点，如图2-4所示。图2-4LFPW数据集中的标注样本1.3.3300-W300-W数据集是ICCV2013和IMAVIS2014人脸对齐算法比赛的主办方为参赛者训练而创建的数据集。此数据集并未采用新的图片，而是从Helen、LFPW、AFW、IBUG等数据集中选了3837张图像（3148张为训练样本，689张为测试样本）标注了68个关键点，如图2-5所示。图2-5300-W数据集中标注样本1.4人脸对齐算法评价指标不同样本的尺度和形状千差万别，很难比较不同算法的人脸对齐结果的精度。为了方便对比不同算法的对齐精度，可以使用归一化均方误差(MRSE,MeanRootSquareError)作为人脸对齐算法的评价指标。MRSE是以平均人脸瞳距作为参考的。其主要做法是将所有样本中每个关键点的对齐结果与真是标注的结果之间的误差归一到同一标准下，加和后求均值得到。计算公式为：MRSE=i=1N其中N为样本总数，n为每张人脸图像标记的关键点数，di为瞳距，xj为预测的关键点坐标，参考文献[1]张建树,人脸对齐与图像分类关键算法研究[D].浙江师范大学,2018.[2]张海峰.基于多特征融合的人脸表情识别研究[D].中国科学技术大学,2020.[3]MPantic,L.J.MRothkrantz.Expertsystemforautomaticanalysisoffacialexpressions[J].ImageandVisionComputing,2000,18(11).[4]XinJin,XiaoyangTan.Facealignmentin-the-wild:ASurvey[J].ComputerVisionandImageUnderstanding,2017,162.[5]T.F.Cootes,C.J.Taylor,D.H.Cooper,J.Graham.ActiveShapeModels-TheirTrainingandApplication[J].ComputerVisionandImageUnderstanding,1995,61(1).[6]T.F.Cootes,G.J.Edwards,C.J.Taylor.ActiveAppearanceModels[J].IEEETransactionsonPatternAnalysisandMachineIntellgence,2001,23(6).[7]游清清,谌海云等.人脸检测技术综述[J].无线互联科技,2017(10):137-140.[8]梁路宏,艾海舟等.人脸检测研究综述[J].计算机学报,2002(05):449-458.[9]MOLLAHMAS,AKASHMAA,AHMEDM,etal.Improvementofhaarfeaturebasedfacedetectionincorporatinghumanskincoloranalysis[J].Paris:InternationalConferenceonMedicalEngineering,2017.[10]SunY,WangX,TangX.DeepConvolutionalNetworkCascadeforFacialPointDetection[C]//Comput