模式识别与人工智能.doc

基于曲面等高线特征的不同姿态三维人脸深度图识别*叶长明1) 蒋建国1,2) 詹曙1,2)* S.Ando3)1)(合肥工业大学计算机与信息学院，安徽 合肥 230009)2)(安全关键工业测控技术教育部工程研究中心，安徽 合肥 230009)3)（日本东京大学信息科学学院， 日本 东京）摘 要 传统人脸图像识别方法常常利用图像中每个像素点所携带的信息作为识别的基础，因而对于图像中的大量信息，常需要进行降维处理。但是这些降维方法往往比较抽象，时间开销较大。本文针对三维人脸实时成像系统所获得的不同姿态下的三维人脸深度图,在对深度图统一校正到“正中面”的基础上，提出一种新的人脸识别方法（FDAC方法）：首先利用微分几何相关理论来指导三维深度人脸深度图的对齐，根据曲面等高线来描述人脸的面部特征；并使用傅里叶描绘子实现特征提取；最后利用提取的等高线特征进行人脸分类识别。实验结果表明，FDAC方法对于不同姿态下的三维人脸图像有很好的识别率，并且在时间开销方面优于常规的特征脸识别方法。关键词 深度图；等高线特征；傅里叶描绘子；人脸识别 中图分类号：TP391 文献标识码 A3D Facial Depth Map Recognition in Different Poses with Surface ContourYE Chang-ming1 JIANG Jian-guo1,2 ZHAN Shu1,2 SHIGERU ANDO31)（ School of Computer & Information, Hefei University of Technology, Anhui Hefei 230009, China）2)（Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Anhui Hefei 230009, China）3)（School of Information Science, the University of Tokyo, Japan Tokyo）Abstract: Traditional face recognition methods are often based on the information of each pixel in human facial images，and due to the large amounts of image information, the dimensionality reduction is necessary. However, these dimensionality reduction methods are always abstract and meanwhile time cost is considerable. This paper presents a novel face recognition method FDAC, which is base on correction “mesion” depth maps from the 3D facial imaging system in different poses. Firstly, depth maps are aligned under differential geometry theory guidance, and the human face is described by the contours. Secondly, Fourier descriptor assists to extract the facial features. Finally, these features from contours are used in face recognition process. Experimental results show that FDAC performs well in recognition accuracy and especially reduce much time cost in compare with Eigenface method.Key words：depth map; contour feature; Fourier descriptor; face recognition OCIS codes:1. 引言人脸识别特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。人脸识别和指纹识别，掌纹识别，静脉识别，声音识别等一样，都属于生物特征识别技术1。人脸识别方法主要包括：基于特征脸（PCA）的人脸识别方法23，神经网络的人脸识别方法4,弹性图匹配的人脸识别方法5,线段Hausdorff距离(LHD)的人脸识别方法6,支持向量机(SVM)的人脸识别方法等等。随着技术的不断发展，目前人脸识别已广泛应用于电子商务，社会福利保障，安全防务等领域。最近十年，随着三维人脸成像技术的发展，三维人脸识别技术逐渐成为了研究的热点7。三维人脸图像较之与二维人脸图像的最大优势就是对光照因素不敏感。目前已经涌现出很多三维人脸识别方法,如:基于几何特征的方法89，模板匹配算法10，基于统计模型的方法11等等。注意到，这些方法中很多都是将二维人脸识别方法“移植”到三维人脸识别的研究中。所以，如何充分利用三维数据不同于二维数据的特点，获得更好的识别效果，是目前三维人脸识别研究的主要方向。常见的人脸识别方法都是将图像中每个像素点所携带的信息作为整个识别过程的基础。随着成像技术的不断发展，图像的分辨率越来越高，单幅图像所携带的信息也越来越丰富。面对大规模的数据，许多识别方法首先都要对图像数据进行降维处理。主成分分析法（PCA）就是最典型的数据降维方法。近年来，Isomap12，LLE13和Logmap1415等基于流形学习理论的降维方法也得到了长足的发展。但是，主成分分析法是一种基于代数理论的数据降维方法，其降维过程和结果较为抽象；同时在面对高分辨图像时，时间开销较大，不能完全令人满意。本文提出一种新颖的人脸识别方法FDAC（Fourier Discriptor and Contour）方法。该方法基于实时人脸成像系统获得的三维人脸深度图，在对不同姿态人脸深度图进行校正的基础上，使用等高线和傅里叶描绘子提取三维人脸图像的脸部特征，并将这些特征用于人脸识别。实验结果表明，与传统的人脸识别方法相比，新方法在识别率和时间开销上均有较好的表现。2. 不同姿态下人脸深度图的校正本文使用的人脸深度数据均通关过三维人脸实时成像系统获得。改成像系统基于相关型图像传感器（CIS），可以捕捉人体面部一一对应的深度和灰度信息1617。图1是该成像系统的实物图。图2是通过该系统获得的人脸灰度图像和深度图像。图1 三维人脸实时成像实验系统实物图Fig1. The experiment system of 3D real-time facial imaging.图2 三维人脸图像:灰度图像(左)和深度图像(右)Fig2. 3D facial data: Intensity data and Depth data在实际的操作中人脸往往并非正对摄像头，采集得到的深度图往往在空间的各个方向存在偏转或者移动，并不是标准的“正中面”图像。为了获得更好的识别效果，需要利用三维人脸数据的几何不变形对其进行校正。首先，计算离散人脸曲面的各处的曲率值，对脸部的左眼点、右眼点、鼻尖点和鞍点进行精确的定位。曲率是一种内蕴几何量，具有良好的几何不变性。无论曲面的空间位置如何改变，其自身各处的曲率特征保存不变。通过实时成像系统获得的人脸点云图像即可视为一种离散曲面的表示。针对此离散曲面S: z=f(x,y)，我们利用差分代替求导，则任意离散点处的一阶方向导数可以表示为： (1) (2)其中，fx为水平方向的一阶导数，fy为垂直方向的一阶导数。任意离散点处的二阶方向导数也可以表示为： (3) (4) (5)则任意一点p(x,y,f(x,y)的高斯曲率和平均曲率可以表示为： (6) (7)根据高斯曲率和平均曲率的取值不同，曲面可以分成若干区域，其中：顶面区域(K0,H0), 鞍脊面区域(K0,H0)。由先验知识8可知，鼻尖点是整个人脸曲面中顶面区域内高斯曲率最大处，左眼点和右眼点是局部区域中顶面区域内高斯曲率最大处，而鞍点是整个人脸曲面中鞍脊面区域内高斯曲率最小处。在特征点定位的基础上，可以进一步计算出人脸在三维空间各个方向的偏转角度。人脸绕x轴旋转的角度体现了人脸的俯仰情况，可以表示为鼻尖点与旋转“轴点”（即三维坐标轴原点）连线在yoz平面内旋转的角度；人脸绕y轴旋转的角度体现了人脸的扭转情况，可以具体表示为鼻尖点绕轴旋转的叫度数；人脸绕z轴旋转的角度体现了人脸的偏转情况，考虑到“正中面”理想姿态下，左右眼必定在同一水平高度，可以直接通过比较左右眼点在xoy平面的坐标位置求出。图3是对这三种偏转角度的图像说明。式(8)(9)(10)是，角度的计算公式： 图3 角度 Fig3. Angle (8) (9) (10)然后，根据人体解剖学的相关知识和实际经验，确定人脸三维图像的旋转轴心，结合已经得到的三个偏转角度，将人脸图像旋转到“正中面”位置。最后，经过以上处理后的三维人脸图像会存在部分“空洞”的部分，可以利用用临近点和对称区域的相关信息对这些“空洞”进行插补，最后得到完整的人脸深度图。校正处理前校正处理后“正中面”图像图4 校正前后的深度图和“正中面”深度图Fig4. depth maps before and after correction, “mesion” depth map3. 人脸等高线等高线的原始定义是地图上地面高程相等的各相邻点所连成的曲线。等高线常应用于边缘检测、图像分割、地貌描绘等应用中。同样的，我们可以将人三维人脸图像脸视为一个曲面。在这样存在高低起伏的曲面上，也可以使用等高线来表示人脸区域的几何特征18。图5分别表示了一幅“正中面”姿态下的深度图校正前、校正后的等高线图，以及该对象“正中面”深度图的等高线图：图5 校正前后的深度图和“正中面”深度图对应的等高线图Fig5. contour maps of depth maps before and after correction, contour map of “mesion” depth map可以观察到，人脸深度图在整体上存在“中间高，四周低”的变化趋势：鼻尖部位是人脸曲面的最高点，以鼻尖向四周曲面高度逐渐降低。同时，校正后的等高线图和“正中面”图像的等高线图相当接近，这也证明的了我们对不同姿态的人脸深度图的校正方法是有效的。由于旋转的原因，校正后的图像还需要进一步的“对齐”处理：首先，通过曲率计算，检测出每一幅图像的鼻尖点；接着，以鼻尖点为标准，将同一对象不同姿态下校正后图像对齐；对齐之后，会新出现一些数据缺失的区域，可以使用领域插值将这些区域的数据补齐。4. 傅里叶描绘子傅里叶描绘子是图像处理中边界描绘子的一种19。通过傅里叶描绘子可以表示一条曲线的特征；同时也可以通过该描绘子恢复曲线的原貌。前述工作中已提取出的任意一条人脸等高线都可以视为离散点的坐标序列： (11)该条等高线由N个离散的点组成。进而可以再xoy二维坐标系下，用复数的形式来表示任意一个离散点：(12)通过离散傅里叶变换（DFT），可以得到： (13)为复系数，即曲线的傅里叶描绘子。傅里叶描绘子可以通过傅里叶的逆变换得到原始的等高线表示： (14)在实验中，往往使用前M个傅里叶描绘子来近似恢复原始的等高线： (15)针对一幅人脸深度图，我们求出它的7条等高线，并使用傅里叶描绘子对第4条等高线进行描绘。最后分别使用不同数量的描绘子来恢复原始的等高线，效果见图6。图6 使用不同数量的傅里叶描绘子恢复第4条等高线Fig6. Reconstruct the 4th contour with a varying number of Fourier descriptors不难发现，当恢复子的个数较多时，等高线的还原程度高，视觉效果好；当恢复子个数较少时，等高线的还原程度低。对于任意一幅人脸图像，在其面部区域刻画n条等高线，而每条等高线选择m个傅里叶描绘子来描绘。则整幅人脸图像的特征可以记为m*n个傅里叶描绘子，这样就实现了对人脸图像的特征提取。注意到傅里叶描述子是复数形式，即任何一张人脸图像的特征可以记为：(16)在人脸识别时，需要比较不同图像特征之间的距离，选取距离最近者的做为识别结果。不同人脸深度图特征之间的距离定义为： (17)5. 实验实验中使用的数据均来自三维实时人脸成像系统所获得的人脸数据。该数据库共包括6个对象，每个对象包括不同姿态下的8幅人脸深度图。首先对所有图像进行相关校正处理，将其校正到“正中面”位置。图7展示了第3个对象校正前后的深度图及其对应的等高线图像：图7 校正后的深度图和对应的等高线图Fig7. Depth maps after correction and corresponding contour maps注意到有部分挡板的信息也在等高线图上得到了表现。为了获取更好的识别效果，采用阈值处理的方法，将图像中的背景挡板部分舍弃，只保留人脸区域的数据，得到图8所示的等高线图：图8校正后的、舍弃背景的深度图和对应的等高线图Fig8. Depth maps after correction and corresponding contour maps without background实验1：讨论选取不同高度等高线对识别效果的影响。观察图8中已绘制出的等高线，图像中央的等高线往往保存比较完整；而四周的等高线由于经过了旋转和插值等处理，部分区域线段的视觉效果不够理想，数值也不尽合理。考虑在绘制10条等高线的情况下，分别选取最高的1条等高线，最高的2条等高线，最高的3条等高线， ，最高的9条等高线，以及最高的10条等高线所对应的提取特征用于人脸识别实验。识别实验中，每个对象随机选取4张等高线图提取特征构成训练集，剩下的等高线图提取特征构成测试集。图9为本次实验的结果：图9 实验1结果Fig 9. Result of Test 1显然，当选取的等高线条数较少时，提取特征也较少，识别率较低且不稳定的；随着选取的等高线条数的增加，从图像中提取的特征信息也逐渐增多，识别率也同时上升，逐渐达到最高值；随着等高线条数的进一步增加，识别率反而有下降的趋势，这是由于深度图中高度的较低的等高线数据精确度较低，其携带的信息对整体的识别效果产生了干扰。所以在接下来的实验中，在刻画n条等高线的情况下，仅选取最高的（n-2）条等高线用于特征提取。 实验2: 进一步讨论在不同的实验条件下，FDAC方法人脸识别的效果。首先，考虑不同条数等高线对最终识别效果的影响。分别对图像刻画3条等高线，4条等高线，. , 13条等高线，以及14条等高线进行实验对比。识别实验中，每个对象随机选取4幅等高线图的提取特征构成训练集，剩下的等高线图提取特征构成测试集。图10为本次实验的结果：图10 实验2-1结果Fig 10. Result of Test 2-1注意到等高线条数为3时，实际只有最高的等高线对应的傅里叶描绘子用于特征提取和识别实验。观察得到，当等高线条数较少时，提取的特征也较少，识别率较低；随着等高线条数的增加，识别率也逐步上升；当达到识别率达到顶峰后，又逐渐下降：这是由于随着等高线条数增多，深度图中高度的较低区域的信息也被逐渐的用于特征提取的过程中。而这部分的数据是不可靠的，对最终的识别效果有负面影响，导致了识别率的下降。然后，考虑不同数量的描绘子用于特征提取对最终识别率的影响。我们分别在刻画10条等高线的情况下，分别使用1个，2个， , 10个，11个傅里叶描绘子用于特征提取。识别实验中，同样每个对象随机选取4幅等高线图的提取特征构成训练集，剩下的等高线图提取特征构成测试集。图11为实验的结果：图11实验2-2结果Fig 11. Result of Test 2-2可以发现，类似于等高线条数对识别率影响的规律：当描述子较少时，识别率较低；随着描述子增多，识别率逐渐上升到顶峰；随后又逐步下降。该现象可以这样解释：当描述子较少时，从人脸图像中提取的特征信息量较小。显然，较少的特征对最终的人脸识别是不利的，所以此时识别率较低。接着随着描述子数量的增加，提取特征的信息量也越来越大，识别率也逐步提高，达到最高点。然后描述子进一步增加，对于其对应的等高线细节描绘也更加清晰。但是，细节越多，同类图像之间的差异性也越明显，在训练集有限的情况下，这反而不利于最终的识别效果，所以会导致识别率的下降。实验3：最后我们将本文提出的FDAC方法和经典特征脸人脸识别方法进行比较。特征脸人脸识别方法是一种基于代数特征的人脸识别方法。其主要特点就是利用了主成分分析法（PCA）实现了对人脸图像数据的降维和特征提取，进而将这些特征用于人脸识别实验，并获得了较好的识别效果。本实验中，特征脸方法使用校正前的深度图进行识别实验，每个对象随机选取4幅深度图构成训练集，剩下的深度图构成测试集；FDAC方法使用校正后深度图所对应的等高线图像进行识别实验，每个对象随机选取4幅等高线图的提取特征构成训练集，剩下的等高线图提取特征构成测试集。图12,图13是两种方法识别率的比较：图12 特征维数(N)变化条件下，特征脸方法的识别率Fig12. The recognition accuracy of Eigenface when the feature dimension(N) changes图13 使用5个傅里叶描述子，等高线条数变化条件下FDAC方法的识别率Fig13. The recognition accuracy of FDAC when number of Fourier descriptor is 5 and the number of contour changes实验方法平均时间（单位：s）PCA1.2362FDAC0.8667表1 实验3中PCA与FDAC识别单幅图像的平均时间开销Table1. The average recognition time of one image from PCA and FDAC in Test 3可见，FDAC方法在参数条件合适时，可以达到和特征脸方法相当的识别效果。与此同时，在时间开销上FDAC方法远远低于特征脸方法。这主要是由于FDAC方法不需要通过复杂的代数运算来实现对数据的降维，而是利用等高线和傅里叶描绘子理论实现对数据的特征提取，降维过程更加直观简洁。6. 总结本文提出了一种新的人脸识别方法FDAC。该方法在人脸识别实验中，识别率较好，并且可节约大量时间开销，和传统的人脸识别方法相比有一定优势。但是本方法仍存在一定的不足：它对人脸的三维深度数据精度要求较高，必须是“正中面”且对齐条件下的数据。在面对姿态偏转较大的人脸图像时，识别效果仍不尽理想。解决该问题也是我们未来工作的重点。参考文献 田捷，杨鑫. 生物特征识别技术理论与应用M. 北京：电子工业出版社，2005：P213-238Tian Jie, Yang Xin. Biometric Identification Technology and ApplicationM. Beijing: Electronic Industry Press, 2005: P213-238.2 TUEK M, PENRLAND A. Eigenfaces For recognitionJ. Journal of Cognitive Neuroscierce, 1991, 3(1):71-86.3 叶长明，蒋建国，詹曙，S.Ando. 基于三维人脸成像系统的复数域人脸识别方法J, 电子测量与仪器. 2011.5. P420-426.Ye Changming, Jiang Jianguo, Zhan Shu, S.Ando. Face recognition in complex domain based on 3D facial imaging systemJ, Journal of Electronic Measurement and Instrument. 2011.5. P420-426.4 Hansen L，Salamon P. Netural network ensembleJ.IEEE Transaction on Pattern Analysis and Machine Intelligence， 1990， 12 （10）： 993-1001.5 张海旸,马华东. 基于网格的自适应弹性图人脸匹配方法J, 计算机辅助设计与图形学学报. 2008年, 第2期. P253-358.Zhang Haiyang，Ma Huadong. Adaptive Elastic Graph Face Matching Method in GridJ, Journal of Computer-Aided Design & Computer Graphics.2008, No2. P253-358.6 Jesorsky O, Kirchberg K J, Frischholz R W, et al. Robust face detection using the hausdorff distanceC. Lecture Notes in Computer Science, LNCS-2091, 2001. 90-95.7 张磊，赵成，董秀则。三维人脸识别系统的摄像机标定方法研究J,电子测量与仪器学报.2008年, 22z1,:P158-161.Zhang Lei, Zhao Cheng, Dong Xiuze. A Calibration Method for 3D Face Recognition SystemsJ, JOURNAL OF ELECTRONIC MEASUREMENT AND INSTRUMENT. 2008,22z1: P158-161.8 Gordon G G. Face recognition based on depth and curvature featuresC, Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Champaign, Illinois, 1992. P 108-110.9 叶长明,蒋建国,詹曙,S.And.o不同姿态人脸深度图识别的研究J, 电子测量与仪器学报. 2011.10. P870-878.Ye Changming, Jiang Jianguo, Zhan Shu, S.Ando. Face Recognition with 3D Depth Map in Varied Poses J, Journal of Electronic Measurement and Instrument. 2011.10. P870-878.0 Ansari A N, Mottaleb M A. Automatic facial feature extraction and 3D face modeling using two orthogonal views with application to 3D face recognitionJ.Pattern Recognition, 2005, 38(12). P2549-2563.1 Jiang D L, Hu Y X, Yan S C, et al. Efficient 3D reconstruction for face recognitionJ.Pattern Recognition, 2005, 38 (6). P787-798.2 Joshua B. Tenenbaum, Vin de Silva, John C. Langford. A Global Geometric Framework for Nonlinear Dimensionality ReductionJ. Science, VOL 290 22 DECEMBER 2000. P2319-2323.3 Sam T. Roweis1, Lawrence K. Saul. Nonlinear Dimensionality Reduction by Locally Linear Embedd