【人脸识别系统中人脸检测和人脸对齐设计3900字】

XXV人脸识别系统中人脸检测和人脸对齐设计目录TOC\o"1-3"\h\u19000人脸识别系统中人脸检测和人脸对齐设计 1270321.1人脸检测器网络结构设计 143491.1.1网络结构 2221271.1.2损失函数设计 3119451.1.3anchor机制 4230341.2人脸对齐 5294291.2.1人脸关键点定位 5292941.2.2人脸矫正 58231.2.3效果展示 7人脸检测器网络结构设计在这次实验中选择的人脸检测模型是基于anchor-based的One-stage的人脸检测器，RetinaFace，相对于two-stages的系列模型，具有速度快，模型简单的优点。图3-1人脸检测器如图3-1所展示，这是这次的人脸检测器的模型图，包括所选用的骨干网络，FPN的特征金字塔结构，以及SSH多语义特征提取模块；这是所要讲解的一部分，即次检测器的网络结构，另一方面，要讲解的是这个人脸检测模型种所用到的anchors设计分配的一个特点，可以根据不同的场景、不同的应用来进行一个相应anchors的设计；最后，就是所额外添加的关键点landmarks分支，这也大大提升了了检测的性能，同时对后续的人脸识别精度的提升，也做了一个很好的铺垫和基础。网络结构这里首先是骨干网络的一个设计和选择，常用的骨干网络有重量级的ResNet系列，它的优点就是精度上的提升，可以最大限度的提示精度，提取到更多有用的特征，当然，缺点就是模型文件较大，推理速度较慢；也有轻量的MobileNet系列，在兼顾精度的同时，可以试得模型的体积较小化，对于一般的显示场景应该是足够的，当然，要是论文或是比赛方面的话，所到的精度应该是不太行的。由于本次所应用的场景是线上考试系统，场景较单一，加上所出现的目标个数也比较局限，所以轻量级模型应该就是可以满足需求的。然后是FPN特征金字塔模块，即对不同层进行一个特征的融合，这样可以融合不同层的特征信息，使得算法可以同时结合低层特征的高分辨率信息，即高层特征的语义特征，这样不仅对小目标的检测还是对大目标语义信息的分类，都可以取的一个较优的性能和成绩。它不同于图像金字塔，因为图像金字塔是对不同尺度Scales的图像分别进行提取特征，这样存在一个问题，就是会导致时间成本的增加，不利于在考试过程中进行一个实时的检测和监督，当然了，有时候为了提高模型的检测性能，可以在测试的时候采用图像金字塔，比如，在进行一个人脸数据集Widerface验证集上测试的时候，采用多尺度的图像金字塔，可以在相同情况下他，提高零点几个点，也就是说，要根据不同的场景，来进行相应策略的调整。最后是多语义模块SSH，也是借鉴于有关的一篇文章，这里采用的如图3-2所示的设计，首先利用的是两个分支，3*3的卷积块进行一个多语义的一个信息的提取，同时可以注意到，通道相应的进行了减半和减四分之一的操作，这样的目的是，可以减小计算量，因为增加特征提取的部分，即增加了空间维度的信息，所以要相应的进行通道维度上的一个缩减，来达到一个平衡，即空间维度和通道维度之间的一个平衡，可以看到后续的设计也都有保持这样的一个设计理念，最后在进行一个concat合并的操作，把特征信息进行最终的一个合并。这样，既有利于检测不同尺度的人脸，另一方面引入了更多的上下文信息，提高了感受野的范围，有利于模型在性能和精度方面的一个提升。图3-2SSH多语义结构损失函数设计这里在之前目标检测的常用的损失，分类损失和回归损失的基础上加入了关键点损失，对人脸关键点进行一个相应的预测，便于后续进行人脸对齐和人脸识别更准确的操作，这里所要预测的人脸关键点，是常用的5点关键点，即左右两侧的眼睛和嘴角，还有中间部分的鼻子，此外人脸关键点还有68点预测法，96点预测法等等，随着点数的增多，关键点可能会更加的准确，但还是那个道理，适合的才是最好的。这里的5点人脸关键点已经可以满足要求。如公式3-1所示，这是之前常见的目标检测的所用的损失函数的设计，包括目标物体的类别损失和目标物体位置的一个回归损失，类别损失所常采用的交叉熵损失函数，目标框回归所使用的损失函数是常用的smooth-L1损失函数[11]。然后，在这个的基础上，利用RetinaFace的实验组所作的工作，对widerface数据集进行了一个人脸关键点标注的实现，这样便可以在此基础上加入关键点损失，进而多一个监督约束，更加有利于模型的训练和精度的提升，这里关键点损失所采用的也是和目标框回归所一样的损失函数。具体公式可见3-2。其中I1和I2是一个比例系数，用来平衡目标框损失和关键点损失的一个比例，可根据不同需求进行不同的设计实验，这里所采用的是2和1，即一个2：1的比例设计；LLoss同时，在这一部分设计的时候，还有一个就是正负样本不均衡的问题，因为目标人脸出现在一幅图像中的个数是有限的。把图像像上述锚框进行一个划分，出现目标的位置区域肯定在这些中仅仅占了一小部分，这样的话，便会出现一个问题，即正负样本不均衡的问题，导致在训练过程中负样本比例很大，一大部分用来学习负样本，这是与该设计的初衷是相违背的，这其实也是当下很多任务中的所面临的问题，这里所采用的方法是通过采用正负样本1：3来进行一个损失的计算，这里负样本的选取，是根据与目标物体的IOU来进行一个排序筛选的，取一个正样本比例的3倍，来完成负样本的选取，进而进行后续的训练。anchor机制这一部分也是借鉴了之前一篇优秀的基于anchor-based单阶段检测器SSD，SingleShotMultiBoxDetector。根据此次设计所需要的场景，进行了一个独特的符合线上考试要求的一个设计。首先考虑到实际考试场景不会出现特别大的人脸或者是特别小的人脸，所以去除了大的锚框和特别小的锚框，这样的话，对于模型的训练和实际的推理运算都会有一个提升。对于不同骨干网络所提取到的特征的大小进行了一个类似于网格的划分，这样的话，便可以较为形象具体的知道目标人脸所位于哪个区域部分，方便更好的进行操作。首先P2层所得的的特征图的大小是（80*80），即（640/8，640/8），从这里可以知道网络的输入是固定的640*640，然后在80*80的特征图上，以每个像素点，即（0，0），（0，1），….，（0，80），依次进行相应的遍历，每个中心点来当作锚框anchor的中心点，然后以锚框大小为16和32的尺寸，在同一个中心点生成两个尺度的锚框；同样的，P3层便知道其特征大小是P2层的一半，即40*40，即有1600个中心点，然后以步长为16进行一个移动，同样也是每个中心点生成两种大小尺寸的锚框；P4层类似，这样最终生成16800个锚框，然后再用这个生成的锚框进行后期真实框和预测框的一个匹配计算。匹配计算的话，这里所采用的一个衡量值就是IOU，即面积交并比，是在目标检测任务中常用的一个指标，通过计算于锚框的交并比，从而得出是否属于所要计算得到的人脸框，也就是正样本，通常IOU的阈值设置在0.5左右，当然，也可以根据不同的需求进行一个适合的修改。这大致就是锚框设计的部分。图3-2anchor设置人脸对齐人脸关键点定位人脸检测任务通常包括分类任务和回归任务。然而近些年来通过一些实验的设计，发现通过对齐人脸的操作，也可以相应的提高一个人脸分类的特征提取，所以受此启发，加入了关键定位这个约束，来更好的完成检测器性能。由于之前有类似的实验工作，像MTCNN和STN等，所以受这个的启发，此次设计在训练过程中联合目标框回归和关键点检测一同进行级联学习，最后在widerface的评测验证集上，通过对Hard部分的测试，发现这部分的设计还是对人脸检测器性能有提升的，同时，似乎对后续的人脸特征的提取，在人脸识别验证数据集上，也有一定程度的提升。如公式3-2所示Lossptslmi,lm在这部分要注意的是，小人脸的一个关键点信息的损失计算，由于过小的人脸，其在进行关键点信息标注的过程中，肯定是存在一定难度和误差的，所以这一部分，对于一些小的人脸，是未进行人脸关键点信息的一个标注的，这时候，便有两个选择，一就是舍弃这部分没有进行关键点标注的数据，不进行训练，另外一个选择就是，对这部分人脸进行一个分类损失的计算和人脸框坐标信息的损失计算，但是不计算关键点信息损失这部分，这样做的话，其实有一个好处，就是可以让模型更多的学习一些小人脸特征，提高其在widerface数据集中Hard部分的一个测试性能。人脸矫正进行这部分的设计，主要也是为了把提取到的人脸进行一个几何校正，方便后续人脸识别的操作。这样设计的出发点是什么呢？一个简单的原因便是，在生活中，人脸识别不总是那么准确的是处于一个正的理想的状态，可能会发生不同程度上的几何角度的扭曲，这一定程度上便会影响识别的性能，所以常见的做法就是“先校正，再识别”。进行人脸矫正的做法也是多种多样的，当然，也包括深度学习的方法，但是本设计的主要目的在于对人脸识别算法的研究，故而这部分采用了传统的图像处理方法，即把提取到的2维的人脸图像变化到一个预设的人脸模板上，通常这个预设的人脸模板采用的大小是112*112，当然，不同场景需求可以有不同尺寸，也有96*96尺寸的，自然尺寸的降低，会带来一个速度上的提升，但是特征信息方面会损失一部分，是一个速度和性能的权衡把。预设的人脸模板如图3-3。图3-3标准人脸下关键点所在位置图之后通过矩阵的角度、平行、垂直等不变性进行矩阵变换，公式如3-6所示，即调用transform.Similar