三维人脸姿态校正研究

1、    三维人脸姿态校正研究    王金伟 戴飞铭摘 要：提出一种鼻尖点提取方法：根据鼻尖点在人脸上的对称性，提取人脸对称轴上的特征点，并构建人脸的对称平面，对称平面与人脸网格的交线为人脸的中心侧影线，依据中心侧影线，提取鼻尖点。根据鼻尖点法向量、人脸对称平面法向量以及鼻尖点和鼻基点之间的方向向量进行姿态校正。该方法计算量小、鲁棒性强。关键词：鼻尖点 人脸区域分割 三维人脸表情：tp391.4 ：a ：1672-3791（2018）08（b）-0038-04近年来，三维人脸识别方法开始逐渐取代二维人脸识别方法，二维人脸图像易受姿态的影响，当人脸发生偏转时

2、，二维人脸图像就会丢失一些信息，而三维人脸图像可以在三维空间任意的旋转、平移，可以弥补在不同视觉角度所观察三维人脸表情图像的差异，因此三维人脸图像具有更好的鲁棒性。虽然三维人脸数据不受姿态的影响，但三维人脸出现不同姿态的偏转，都会造成三维几何信息的变化，对特征点的提取容易造成影响，为了更好地提取准确的特征点，必须对三维人脸表情进行姿态的校正。文献1在进行三维人脸姿态校正之前，先对人脸进行曲面拟合，对于三维巨大的点云数据来说，计算量变得非常大。文献2通过高斯曲率获取人脸3个特征点，在将这3个特征点组建平面，在通过法向量进行人脸姿态校正，虽然计算量较少，但在特征点提取的准确性也会影响到人脸姿态的校

3、正。文献3通过聚类算法获取三维人脸鼻子区域，根据参考鼻子区域，使用三维空间仿射变换进行人脸姿态的校正，再利用迭代最近点进一步校正，该方法对三维数据的缺失、噪声不敏感，具有较高的鲁棒性，但在运算时间上会比较长。本文提出了基于一种改进鼻尖点提取的三维人脸姿态校正算法研究：根据鼻尖点法向量、人脸对称平面法向量以及鼻尖点和鼻基点之间的方向向量进行姿态校正。该方法计算量小、鲁棒性强。本文方法流程，如图1所示。1 鼻尖点提取鼻尖点是人脸区域重要的特征点，在人脸表情变化及姿态的变动的情况下，对鼻尖点的影响都比较小。目前，三维人脸表情识别对鼻尖点提取的研究还不够深入，主要的方法有：（1）通过深度图像提取人脸距

4、离参考面最近的点4-5，这一假设使得多数算法回避了提取鼻尖点这一关键步骤；（2）通过中心侧影线提取鼻尖点，而中心侧影线对鼻尖的提取都是基于三维人脸模型先验对称的前提。yueming wang等6人通过三维人脸的镜像模型后，采用迭代最近点法（icp，iterative closest point）进行配准，通过人脸的对称点找出人脸的对称平面，取对称平面与三维人脸曲面的交线作为中心侧影线。当三维人脸的位置发生偏转后，尤其是绕轴旋转时，受人脸自身的旋转造成信息的遮挡，采集到的三维人脸数据丢失最为严重，这时候人脸的点云数据基本上不是对称的，因此采用镜像模型的中心侧影线提取鼻尖点的精确度不高。因此，本文

5、借鉴xu等人提取鼻尖点算法思路7-8，提出一种改进的鼻尖点提取（nose tip feature extraction，ntfe）方法。该方法根据鼻尖的几何形状提取符合形状参数的候选点；其次，在这些候选点中，根据鼻尖点在人脸上的对称性，提取人脸对称轴上的特征点，并构建人脸的对称平面，对称平面与人脸网格的交线为人脸的中心侧影线，依据中心侧影线，提取鼻尖点。1.1 鼻尖点的几何形状1.2 计算三维人脸的对称性提取候选特征点后，还要通过人脸的对称性进一步对候选特征点进行筛选，每个候选点对应的曲面有可能有多个对称平面与曲面相交，组成多条的对称轴。1.3 中心侧影线提取三维人脸对称轴上的点后，根据对称轴

6、上的点，构建人脸的对称平面，对称平面与人脸网格的交线为人脸的中心侧影线，如图2所示。1.4 提取鼻尖点和鼻基点将所提取到的中心侧影线放到一个统一的坐标上，如图3所示，中心侧影线上的点到轴上最大的距离为鼻尖点，计算额头到鼻尖点这段距离的最小极值点为鼻基点。2 三维人脸姿态校正通过ntfe算法提取鼻尖点和鼻基点后，便可对三维人脸姿态进行校正。首先建立正面的三维人脸坐标系：x轴方向为水平向右、y轴方向为竖直向上、z轴方向为垂直于纸面向外。将上述所提取的三维人脸放在一个统一的坐标系中，根据计算机图形学知识9，以x、y、z分别作为三维人脸模型绕x旋转、绕y旋转、绕z旋转的角度，得到一个旋转矩阵r，最后完

7、成姿态的校正。根据上述三维人脸的对称性，筛选出在人脸对称轴上的点云，建立一个对称平面，法向量为nx；将鼻尖点及其邻域内的点云拟合成二次曲面，计算鼻尖点的法向量nz。根据旋转矩阵r完成三维人脸表情姿态的校正，如图4所示。3 实验结果比较与分析为了验证本文提出方法的有效性，在三维人脸表情bu-3dfe數据库进行实验。从数据库中任意选择20张三维人脸表情图像，并将其20个对象分为两组：一组为训练集，另一组为测试集，每组各10个对象。最后，将平均值作为最终的实验结果。3.1 鼻尖点提取实验结果及分析其中n为人脸表情图像数。按姿态校正前后进行实验：第一种方法为姿态校正前方案，采用基于双模态和基于局部曲率方法对8个特征点进行提取，如图5所示；第二方法为姿态校正后方案，如图6所示。误差值如表2和表3所示。实验结果可以看出，本文方法在提取准确性更高，误差值更小。参考文献1 colombo a， cusano c.，schettini rd. 3d face detection using curvature analysisj.pattern recognition， 2006，39（13）：444-455.科技资讯2018年23期科技资讯的