人脸检测98点精确解读

1、2018/8/8我爱计算机视觉！清华& 开源CVPR2018超高精度人脸对齐算 AB：52CV 我爱计算机视觉 今天清华& 开源超高精度人脸对齐算 AB同时发布含10000张人脸的多属性人脸关键点数据集该算法来自CVPR2018 Look at Boundary: A Boundary-Aware Face Alignment Algorithm人脸的边缘信息和人脸关键点有很明显的重要关系，而以往的人脸对齐（Face Alignment） 算法并没有很好的利用边缘信息，本文提出一种基于边缘感知的人脸关键点检测算法，将人脸 边缘线所描述的结构信息融入到关键点检测中，极大地提升了算

2、法在大侧脸、夸张表情、遮 挡、模糊等 情况下的检测精度。倍速00:00/00:00Phil elson - Putter Face Alignment 用腾讯1/72018/8/8我爱计算机视觉文章主要解决了两大问题：1. 人脸关键点在各个数据集间歧义性，定义不一致问题。文章通过捕捉对于人脸更通用的边缘线信息， 将其作为人脸到关键点的中间媒介，使得不同数据集即使存在关键点差异，仍然可以相互辅助训练。2. 复杂情况下关键点检测精度问题。本文首先通过消息传递结合对抗学习得到高精度的边缘线检测结果，再将边缘线信息多语义层次地融合到关键点检测中，使得算法在复杂情况下的鲁棒性大幅提升。 另外， 文章还提

3、出了新的人脸关键点检测数据集Wider Facial Landmarks in-the-wild (WFLW)，包含10,000张带有98个关键点和6个人脸属性标注的人脸图像数据，包括 ，表情，照明，化妆，遮挡和模糊的变换，旨在帮助学界更有 性的评估关键点算法在各种条件 下的鲁棒性。本文的边缘感知的人脸关键点检测算法在300-W Fullset上实现了3.49的平均误差，其大大优于state-of-the-art方法。利用在一个数据集上训练出来的边缘信息，可以非常简单的用于 其他数据库上的训练 。 结合300-W数据集的边界信息，本文方法在COFW数据集实现了3.92的平均误差（0.39% f

4、ailure rate ），而在AFLW-Full数据集的平均误差为1.25。下图展示了使用本文的边缘信息建模方法，在三个数据库上的关键点 任务性能提升应用。第一列是来自不同数据库的人脸图像，第二列是使用本文算法得到的边缘信息图，第三列展示 了使用提取的边缘信息跨库融合增强了关键点 能力。2/72018/8/8边缘感知人脸对齐算法概述我爱计算机视觉（ 查看大图）Boundary-Aware Face Alignment框架（a）基于hourglass网络的边缘热图估计器（Boundary heatmap estimator），用于估计边缘热图。 引入消息传递层以处理遮挡。（b）边缘感知关键点回

5、归器（Boundary-aware landmarks regressor）用于生成关键点的最终 。 引入边缘热图融合方案，将边缘信息纳入回归问题的特征学习中。（c）引入对抗学习，边缘有效性鉴别器（Boundary effectiveness discriminator）区分“ 真 实”边缘热图与“ 边缘热图，用于进一步 估计的边界热图的质量。在关键点回归过程中，边缘热图信息更像是一种可以跨库提取的通用特征！WFLW人脸库作者提出的Wider Facial Landmarks in-the-wild (WFLW) 人脸关键点库，包含10000个人脸，98个关键点，7500个用于训练，2500个

6、用于测试。该库最大的特点是，同时标注了人脸 的属性信息，即遮挡， ，化妆，光照，模糊和表情，可以非常容易的 算法在某一类人脸上的性能评估。3/72018/8/8我爱计算机视觉性能评估4/72018/8/8我爱计算机视觉在300-W库上的性能评估结果，大幅超过了所有主流方法。在WFLW库上的性能评估结果，同样大幅超过了所有主流方法。为验证边缘信息在特征点检测上的通用有效性，作者将300-W上提取的边缘热图信息直接用于COFW-29和AFLW库上，请注意他们原始标注的点数是不同的，以往这样的库是难以统一利5/72018/8/8用起来的。我爱计算机视觉在COFW-29和AFLW库上的性能评估结果，同样超过了所有主流方法。在COFW-68 testset上的CED曲线，精度优势异常明显！运行速度60ms on TITAN X GPU。6/72018/8/8我爱计算机视觉本文对人脸边缘信息进行建模，融入特征点检测算法中，取得了异常明显的性能提升。能否把 这样的信息用于人脸识别等其他任务中呢？期待有 有趣的技术被发明出来。代码主页：在“我爱计算机视觉” 云 地址。回复lab，可以收到该算法 、代码和WFLW数据库的点击阅读原文