（检测技术与自动化装置专业论文）三维及多模态人脸识别研究.pdf

中文摘要目前的二维人脸识别系统在受控条件下能取得很好的性能，但在光照、姿态、表情等因素影响下性能将急剧下降。三维人脸识别可以克服或减轻这些因素的影响。融合二维和三维信息的多模态入脸识别可望取得更好的识别效果。本文对三维及多模态人脸识别的若干算法进行了研究。首先提出了一个基于迭代对应点( i c p ) 的三维人脸识别方法。先通过聚类算法去除人脸点云的局外点，再以鼻尖为中心提取感兴趣区域，并变换到姿态坐标系进行粗略配准。利用人脸对称性填补孔洞，提高了人脸数据的质量。再用i c p算法进行精细配准，采用最近邻分类器进行分类。实验结果表明该方法能够处理一定程度的人脸姿态变化，即便人脸数据的质量不高，仍能取得较好的识别效果。提出了一种将三维局部二值模式( 3 d l b p ) 和广义判别分析( g d a ) 相结合的三维人脸识别算法。将人脸深度图像分成多个区域后，采用3 d l b p 算子从各区域提取直方图特征，并将各区域3 d l b p 直方图连成一个向量，作为人脸深度图像的特征，采用改进高斯核函数的g d a 作为分类器。实验结果表明，3 d l b p 和g d a 结合的识别率要优于p c a 和3 d l b p 。采用多种方法对人脸深度图像和灰度图像进行融合。对l b p 算子和局部g a b o r 二值模式( l g b p ) 算子进行了详细的比较。实验结果表明l b p 和f i s h e r 判别分析( f d a ) 方法的结合要优于其它方法，在其融合人脸深度图像和灰度图像后，性能较单一信息有进一步的提升。基于l g b p 的各方法与基于l b p 的相应方法相比，在计算量和存储量上要大很多，但在性能上却没有优势。提出了一种基于l b p 和级联a d a b o o s t 的多模态人脸识别方法。采用级联a d a b o o s t 方法分别从人脸深度图像和灰度图像的大量区域l b p 直方图( r l b p h ) 中选取最有利于分类的r l b p h ，并连接成一个直方图向量。分别用f d a 构建线性子空间，再用多种方法进行融合。实验结果表明，级联a d a b o o s t 选出的少量r l b p h特征取得了较好的识别效果，若增加特征数，则可进一步提高识别性能。关键词：三维人脸识别多模态人脸识别迭代对应点算法局部二值模式三维局部二值模式广义判别分析f i s h e r 判别分析局部g a b o r 二值模式级联a d a b o o s ta b s t r a c t2 df a c er e c o g n i t i o ns y s t e mc a l la c h i e v eg o o dp e r f o r m a n c e su n d e rc o n t r o l l e dc o n d i t i o n s b u ti t sp e r f o r m a n c ew i l ld r o pd r a s t i c a l l yu n d e rt h ei n f l u e n c eo fs o m ef a c t o r s ，s u c ha si l l u m i n a t i o n ，p o s e ，a n de x p r e s s i o nv a r i a t i o n s 3 df a c er e c o g n i t i o nc a no v e r c o m eo ra l l e v i a t et h ei n f l u e n c eo ft h e s ef a c t o r s m u l t i m o d a lf a c er e c o g n i t i o nc o m b i n e d2 dw i t h3 di n f o r m a t i o nc a nb ee x p e c t e dt oo b t a i nb e r e rp e r f o r m a n c e s e v e r a la l g o r i t h m so n3 da n dm u l t i m o d a lf a c er e c o g n i t i o nh a v eb e e ni n v e s t i g a t e di nt h i sd i s s e r t a t i o n f i r s t l ya3 df a c er e c o g n i t i o nm e t h o db a s e do ni t e r a t i v ec o r r e s p o n d i n gp o i n t0 c p )i sp r e s e n t e d ac l u s t e r i n ga l g o r i t h mi sp r o p o s e dt oe l i m i n a t ep o i n to u t l i e r sf r o mt h ef a c i a lp o i n tc l o u d t h e n ，t h er e g i o no fi n t e r e s to ft h ef a c i a lp o i n tc l o u di se x t r a c t e da n dt r a n s f o r m e dt op o s ec o o r d i n a t es y s t e mf o rc o a r s ea l i g n m e n t a na p p r o a c hb a s e do ns y m m e t r yp r o p e r t yo ff a c i a ls u r f a c ei su s e dt of i l lt h eh o l e so ft h ef a c i a ld a t as oa st oi m p r o v et h eq u a l i t yo ff a c i a ld a t a a n di c pa l g o r i t h mi se m p l o y e df o rf r e er e g i s t r a t i o n f i n a l l y , n e a r e s tn e i g h b o rc l a s s i f i e ri sa d o p t e da st h ee v a l u a t i o nm e t h o d e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tt h ep r o p o s e da l g o r i t h mh a v et h ec a p a b i l i t yo fh a n d l i n gf a c i a lp o s ev a r i a t i o nt os o m ee x t e n t t h ep e r f o r m a n c ei ss t i l lf a i r l yg o o de v e nw h e nt h ef a c i a ld a t aa r eo fp o o rq u a l i t y 。am e t h o do f3 df a c er e c o g n i t i o nw h i c hc o m b i n e s3 dl o c a lb i n a r yp a t t e r n( 3 d l b p ) d e s c r i p t o rw i t hg e n e r a l i z e dd i s c r i m i n a n ta n a l y s i s ( g d a ) i sp r o p o s e d f i r s t l yaf a c i a ld e p t hi m a g ei sd i v i d e di n t or e g i o i l s 3 d l b pi su s e dt oe x t r a c th i s t o g r a m sf r o mt h e s er e g i o n s a l lr e g i o n a l3 d l b ph i s t o g r a m sa r ec o n c a t e n a t e dt oav e c t o rw h i c hi su s e da st h ef e a t u r eo ft h ef a c i a ld e p t hi m a g e g d aw i t hm o d i f i e dg a u s s i a nk e r n e li sa d o p t e da st h ec l a s s i f i e r e x p e r i m e n t a lr e s u l t ss h o wt h a tt h er e c o g n i t i o nr a t eo f3 d l b pc o m b i n i n gw i t hg d ai sb e t t e rt h a np c aa n d3 d l b p d i f f e r e n tf u s i o nm e t h o d sa r eu s e dt oc o m b i n ef a c i a ld e p t hi m a g e sa n dg r a y s c a l ei m a g e s l b pa n dl o c a lg a b o rb i n a r yp a t t e r n ( l g b p ) a r ec o m p a r e di nd e t a i l e x p e r i m e n t a lr e s u l t si l l u s t r a t et h a tt h ec o m b i n a t i o no fl b pa n df i s h e rd i s c r i m i a n ta n a l y s i s ( f d a ) i sb e t t e rt h a no t h e rm e t h o d s t h ep e r f o r m a n c ea f t e rf u s i n gf a c i a ld e p t hi m a g ea n dg r a y s c a l ei m a g e si sb e t t e rt h a nt h a to fu n i m o d a lo n e s m e t h o d sb a s e do nl g b pc o s tm o r ec o m p u t a t i o nt i m ea n ds t o r a g es p a c e ，b u th a v en oa d v a n t a g e si np e r f o r m a n c ec o m p a r e dw i t hl b pb a s e do n e s am e t h o dw h i c hc o m b i n e dl b pd e s c r i p t o rw i t hc h a i na d a b o o s ti sp r e s e n t e df o rm u l t i - m o d a lf a c er e c o g n i t i o n t h o u s a n d so fr e g i o n a ll b ph i s m g r a m s ( r l b p h ) a r eg e n e r a t e df r o mf a c i a ld e p t hi m a g e sa n dg r a y s c a l ei m a g e sr e s p e c t i v e l y c h a i na d a b o o s ti su t i l i z e dt os e l e c tm o s ti n f o r m a t i v er l b p h s t h es e l e c t e dr l b p h sa r ec o n c a t e n a t e dt oaw h o l eh i s t o g r a m t h e nt h ec o r r e s p o n d i n gl i n e a rs u b s p a c e sa r ec o n s t r u c t e db yf d ar e s p e c t i v e l y s e v e r a lm e t h o d sa r eu s e dt of u s e2 da n d3 di n f o r m a t i o n t h ee x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tv e r yf e wr l b p h ss e l e c t e db yc h a i na d a b o o s ta c h i e v ef a i r l yg o o dp e r f o r m a n c e 1 1 1 ep e r f o r m a n c ew i l lb ei m p r o v e df u r t h e ra st h en u m b e ro ff e a t u r e si n c r e a s e s k e yw o r d s ：3 df a c er e c o g n i t i o n , m u l t i m o d a lf a c er e c o g n i t i o n , i t e r a t i v ec o r r e s p o n d i n gp o i n t ( i c p ) ，l o c a lb i n a r yp a t t e m ( l b p ) ，3 dl b p ( 3 d l b p ) ，g e n e r a l i z e dd i s c r i m i n a n ta n a l y s i s ( g d a ) ，f i s h e rd i s c r i m i n a n ta n a l y s i s ( f d a ) ，l o c a lg a b o rb i n a r yp a t t e r n ( l g b p ) ，c h a i na d a b o o s t独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得天津大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名：叶刽卑签字日期：扣扩v 月少日学位论文版权使用授权书本学位论文作者完全了解天津大学有关保留、使用学位论文的规定。特授权天津大学可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。( 保密的学位论文在解密后适用本授权说明)学位论文作者签名：叶仓d 聋签字日期：埘年尸月矿同导师繇衣弘红签字日期：j 矿一粤年驴月莎同天津大学博士学位论文三维及多模态人脸识别研究1 1 引言第一章绪论人脸作为人体的生物特征，具有个体差异性，即便是双胞胎，其人脸也有细微的差别。人脸识别系统没有密码、身份证件等容易遗忘、丢失或被盗的问题，而同利用其他人体生物特征( 如指纹、虹膜等) 作为识别依据的系统相比较，人脸识别系统无需接触和配合。一方面，人脸识别技术应用范围很广，可用于人机交互、虚拟现实、安全监控、嫌犯跟踪等许多场合：另一方面，人脸识别具有很高的学术价值，涉及了图像处理、模式识别、神经网络、计算机视觉、计算机图形学、生理学、心理学等多学科的知识。人脸识别系统通常包括4 个模块，如图1 1 所示【l 】。图1 1 人脸识别流程图f i g 1 1f l o wc h a r to ff a c er e c o g n i t i o n人脸检测是从摄像头拍摄的人脸图像中检测出所有人脸的位置，尺寸大小及其姿态。人脸检测已经成为一个独立于人脸识别的研究课题【2 】。通常用于人脸识别的人脸图像只有一个人脸。检测出的人脸可能和要比对的人脸在图像中的位置、尺寸和姿态上存在差别，在比较之前，需要将两个人脸进行配准( r e g i s t r a t i o n ) ，使得相应的特征在同样的位置出现，对于二维图像，通常是手工或自动提取眼睛的位置，对人脸图像进行平移、旋转或是伸缩变换使之对齐( a l i g n m e n t ) ，再用模板取出感兴趣的区域。然后对配准后的人脸图像进行特征提取，构造特征向量，作为人脸的表示，与数据库中的各人脸图像特征进行比较，得到待识别人脸的身份。第一章绪论1 2 人脸识别算法性能评测为了对人脸识别算法的性能做出公正的评价，需要建立一个统一的评价平台。需要考虑该算法的应用场合( 认证模式) 、算法性能的评价指标、算法所用人脸数据库的规模和多样性等。需要独立的性能评测对当前的人脸识别算法和人脸识别系统做出公正的评价，促进人脸识别技术的发展。1 2 1 两种认证模式人脸识别主要有两种认证模式，即验i t - e ( v e r i f i c a t i o n 或a u t h e n t i c a t i o n ) 和识别( i d e n t i f i c a t i o n 或r e c o g n i t i o n ) 。验证是指对声称是某个合法用户的人的身份进行确认，只需将该人的人脸与数据库中其声称的合法用户的人脸进行比较，是一对一的比较；识别是要找出待识别人是否为合法用户及该用户的身份。需要将待识别人的人脸和数据库中的每个人脸进行比较，找出最相似的人脸，将该人脸的身份作为待识别人的身份，是一对多的比较。1 2 2 评价指标针对不同的认证模式，人脸识别有不同的评价指标。常用的有用于验证的接收者工作特性( r e c e i v e ro p e r a t i n gc h a r a c t e r i s t i c ，r o c ) 曲线【3 】及用于识别的累积匹配特性( c u m u l a t i v em a t c hc h a r a c t e r i s t i c ，c m c ) 曲线。r o c 曲线中常用的几个术语如下：错误接受率( f a l s ea c c e p tr a t e ，f a r ) 将非法用户当成合法用户而接受的比例；错误拒绝率( f a l s er e j e c tr a t e ，f r r ) ：将合法用户当成非法用户而拒绝的比例；等错误率( e q u a le r r o rr a t e ，e e r ) ：f a r = f i 汛时的错误率，即此时的f a r 或f r r ：验证率( v e r i f i c a t i o nr a t e ，v r ) ：正确接受合法用户的比例。错误拒绝率与验证率的关系：b 1 f r r 。图1 2 ( a ) 是r o c 曲线的一个例子。图1 2 ( b ) 是c m c 曲线示例，其中横轴r a n k 表示与待识别人脸最相似的人脸的数量，纵轴表示累积匹配得分，即正确识别待识别人脸的次数除以待识别人脸的总数。如在某次识别时，从数据库中找出的l a n k 个最相似的人脸中包含待识别人脸真实身份的人脸，则表示该次识别正确，正确识别人脸的次数加1 。c m c曲线是单调上升的。r a n k 等于1 时的识别率即为通常所说的识别率。2天津大学博士学位论文三维及多模态人脸识别研究00 20 40 60 sl01 02 03 04 0如错误接受宰r a n k( a )图1 2 r o c 曲线及c m c 曲线示例f i g 1 - 2e x a m p l e so fr o ca n dc m cc u r v e s1 2 3 常用三维人脸数据库对人脸识别算法进行测试，需要有人脸数据库，二维人脸识别研究较早，现在有大量的二维人脸数据库可供免费下载，具体可参考文献 4 。三维人脸识别研究相对较晚，且成像成本比较昂贵，公开的三维人脸数据库还比较少。主要有以下几个：( 1 ) 3 d 眦三维人脸库【5 】由比利时皇家军事科学院信号与图像中心创建，共有1 2 0 人，分两次采集，姿态为正面、偏左或偏右、偏上或偏下。每个人脸数据包含约3 0 0 0 个点的坐标。该人脸库的介绍网址为：h t t p ：w w w s i c 1 t l l a a c b e - b e u m i e r d b 3 dr m a h t m l 。( 2 ) x m 2 v t s 多模态生物特征数据库【6 】该数据库包含2 9 5 人在4 个月内4 次采集的人脸和语音数据。入脸数据包括彩色图像、视频序列和三维人脸模型。该人脸库需要购买，其介绍网址为：h t t p ：w w w e e s u r r e y a c u k r e s e a r c h v s s p x m 2 v t s d b 。( 3 ) f r g c 人脸库【7 】该数据库共包括4 6 6 人，大约5 0 0 0 0 幅人脸图像。每次拍摄包括4 幅受控的静态图像、2 幅未受控的静态图像和1 幅三维人脸图像( 包括三维人脸点云和纹理图像) ，该数据库的介绍网址为：h t t p ：f a c e n i s t g o v f r g c 。1 2 4 评测项目鉴于人脸识别技术对国防、安全及司法的重要性，美国政府从1 9 9 3 年9 月起开始资助f e r e t 引、f r g c 和f r v t 等人脸识别性能评测项目。这些项目的共3。旺。求爱暖圜聪奠。忆。井羽掣i l 擎第一章绪论同特点是提供大规模的人脸库用于算法的测试。f e r e t 项目从1 9 9 3 年持续到1 9 9 7 年，技术上从半自动算法发展到全自动算法，而错误率下降了将近三分之一。f r g c 项目从2 0 0 4 年5 月到2 0 0 6 年3 月，基本目标是开发基于静态图像和三维数据的人脸识别算法，比f r v t2 0 0 2 9 的性能提高一个数量级。f r v t 评测是为了对商用和原型人脸识别系统算法的性能做出评价，f r v t 评测到目前为止共进行了三次，分别是f r v t2 0 0 0 、f r v t2 0 0 2 、f r v t2 0 0 6 1 0 】。f r ：v t2 0 0 6 的目标是测试从f r v t2 0 0 2 以来的人脸识别技术的进展，比较基于高分辨率静态图像和三维人脸图像的识别系统性能，并与f r g c的目标进行比较。评测结果显示f r g c 的目标已经实现，基于高分辨率静态图像和三维人脸图像的识别性能相当，最好的人脸识别算法甚至超出了人的识别能力。从f e r e t 项目开始到f r v t2 0 0 6 的这十多年间，人脸识别的性能提高了两个数量级。1 3 三维及多模态人脸识别算法综述人脸识别按照所用的信息类型，可分为二维和三维人脸识别。二维人脸识别始于上个世纪6 0 年代，众多的专家学者做了大量的工作，这方面的论文可检索到的已达上千篇【l 卜1 4 】。而三维人脸识别的研究历史相对较短，始于上世纪8 0 年代末，9 0 年代研究较少，而近几年发展很快，可检索到的文献逐年增多。二维人脸图像受光照、姿态和化妆的影响很大，而人脸的三维表面形状不受这些因素的影响，因而得到越来越多的重视，结合二维和三维信息的多模态人脸识别有望取得更好的识别效果，成为目前人脸识别研究的一个重要发展方向【1 5 。1 9 】。b l a n z 等人 2 0 1 利用形变模型，由单幅人脸图像重建三维模型，用形状系数向量和纹理系数向量表征人脸特征，其中三维模型只充当了辅助作用，不是实际意义上的三维人脸识别，这方面的文献未包含在综述之中。本文将文献中的三维及多模态人脸识别算法按采用的数据类型、特征及融合方法分为六种类型，即基于三维点云的方法、基于子空间的方法、基于轮廓线的方法、基于其它特征的方法、基于多分类器融合的方法和多模态融合的方法。下面分别加以介绍。1 3 1 基于三维点云的方法该类方法将人脸用三维点云表示，再采用某种度量对人脸点云进行匹配。m e d i o n i 等人【2 玎采用被动立体视觉获得人脸的三维表面，用迭代对应点( i c p )算法【2 2 1 进行人脸表面的匹配。在1 0 0 人，每人7 幅不同姿态的深度图像构成的数4天津大学博士学位论文三维及多模态人脸识别研究据库上，e e r 低于2 。p a n 等人【2 3 1 对h a u s d o r f f 距离和主成分分析( p c a ) 两种方法在3 dr m a 数据库上进行了比较。对于h a u s d o r f f 距离，e e r 为3 5 ；对于p c a ，e e r 为5 7。u c h i d a 等人【2 4 】通过立体视觉得到人脸的三维表面数据，用i c p 算法进行匹配。为加快计算，采用了由粗到细的策略，即初始迭代时用少量对应点，随着迭代的进行，逐步加入对应点。对1 8 人，每人4 个中性表情人脸表面的数据库，选取适当的阈值，识别率为1 0 0 。r u s s 等人【2 5 】先手工选取特征点用于粗略对齐，再用h a u s d o r f f 距离进行精细对准。该文采用了一些减少计算量的方法，如对应点只在某个局部区域中查找，采样多分辨率的思想等。在f r g cv 1 0 数据库上，在f a r 为0 1 时，验证概率为9 3 5 ；识别率为9 8 5 。a m o r 等人【2 6 】采用三个角度扫描获得的完整三维人脸模型作为原型库，测试人脸为2 5 维人脸模型，先在测试人脸模型和原型人脸模型上手工选择2 个以上的对应点用于粗略配准，再用i c p 算法精细配准，得到的平均距离作为相似度量。1 3 2 基于子空间的方法该类方法将人脸用深度图像表示，再采用特征脸( e i g e n f a c e s ) 等子空间方法进行识别。a c h e r m a n n 等人【2 7 】将两个不同角度的结构光成像设备采集的深度图像合成为一幅人脸深度图像，提高了图像质量。用特征脸和隐马尔可夫模型( h m m ) 分别进行识别。经姿态校正，在由2 4 个人，每人1 0 幅人脸图像的数据库上，用特征脸取得了1 0 0 的识别率，h m m 的效果不如特征脸。h e s h e r 等人【2 8 】将p c a 用于人脸深度图像的识别。训练前先对图像进行姿态校正。数据库由3 7 个人，每人6 幅不同表情的深度图像组成，将其分成训练集和测试集。因为训练集包含了每个人的多幅图像，从而增加了识别率。x u 等人【2 9 】先构建一个规则网格表示三维人脸表面，经姿态校正后用深度图表示，再用特征脸方法进行识别。对3 dr m a 数据库中质量较好的3 0 人，每人6 幅图像的数据集，识别率为9 3 9 ；对质量较差的1 2 0 人，每人6 幅图像的数据集，识别率降为7 1 1 。s o n g 等人【3 0 】在三维人脸表面找出鼻尖等特征点，用奇异值分解进行姿态校正，再用p c a 进行人脸识别。实验采用3 5 人的数据库，模型库由激光扫描仪获得，测试集由结构光成像得到，识别率为9 3 。h e s e l t i n e 等人【3 l 】将p c a 用于人脸深度图像。在1 0 0 人共3 3 0 幅深度图像的第一章绪论数据库上，e e r 为1 9 1 。r u s s 等人【3 2 1 将测试人脸与参考人脸用i c p 算法对齐后，再根据参考人脸各点的法线方向与测试人脸的交点即为对应点，由对应点重构人脸，再由p c a 算法进行识别。s r i v a s t a v a 等人吲先将人脸三角网格转化为深度图像，再用随机梯度算法学习出最优的子空间，比p c a 、i c a 等算法要好。1 3 3 基于轮廓线的方法该类方法提取人脸表面的若干轮廓线作为特征，采用某种度量进行匹配。c a r t o u x 等人【3 4 基于主曲率找出人脸的对称平面，进而提取其与人脸的交线即轮廓线用于人脸的匹配，在很小的数据集上取得了1 0 0 的识别率。n a g a m i n e 等人【3 5 】通过找出五个特征点将人脸深度图像的姿态规格化，再分别提取垂直平面与人脸的交线、水平平面与人脸的交线及圆柱面与人脸的交线进行匹配。实验表明：采用垂直平面与人脸中轴附近区域交线的效果最好。但文中并未说明如何提取这五个特征点。b e u m i e r 等人【5 】用结构光成像获得三维人脸表面数据。采用两种匹配方法进行比较。一种称为表面匹配，在人脸表面提取1 5 条轮廓线，对两个人脸表面相应轮廓线的平均距离进行比较。另一种是中轴及侧边轮廓线匹配。即在人脸表面提取中轴轮廓线和侧边轮廓线。比较各轮廓线的曲率，并将其结果进行融合。通过3 0 个人的数据库进行比较，两种匹配方法性能相近，但中轴及侧边轮廓线匹配速度快，存储量较小。在文献 3 6 中，作者从人脸表面提取1 5 条轮廓线，以这些轮廓线倾斜角度标准差的均值作为度量。在7 0 人，每人6 个角度图像的3 dr m a 数据库上，e e r 为3 6 。p a n 等人【3 7 】先在人脸深度图像上找出对称平面，其与人脸表面的交线即为轮廓线，用h a u s d o r f f 距离作为相似性度量，用模拟退火算法求解。在不同质量3 0人的3 dr m a 数据库上，e e r 最低为2 2 2 。l i 等人【3 8 j 从三维人脸表面提取鼻尖等特征点进行姿态校正，再提取中轴轮廓线和等深度轮廓线，用欧氏距离进行度量，并将二者的结果用乘法规则进行融合。在8 0 人，测试集和模型库每人一张深度图像的数据库上，两轮廓线融合的性能比单一的轮廓线要好，而p c a 的效果最差。z h a n g 等人【3 9 】用p c a 从三角化的人脸表面得到初始对称轴，再用i c p 算法对齐镜像人脸，得到人脸对称平面。由平均曲率和中轴轮廓线曲率获得鼻尖、鼻梁和鼻下三个特征点，由这三个特征点定义新的坐标系，并定位前额轮廓线和脸颊轮廓线，连同中轴轮廓线作为人脸的表示，并用i c p 算法计算相应的距离，用6天津大学博士学位论文三维及多模态人脸识别研究线性判别分析( l d a ) 优化各轮廓线的权重，实验结果表明该方法对表情变化不够鲁棒。1 3 4 基于其它特征的方法该类方法从人脸表面提取某种特征作为人脸的表示，再用某种度量进行匹配。l e e 等人即】基于平均曲率和高斯曲率的符号，分割出人脸深度图像的凸区域，构造每个凸区域的扩展高斯图( e x t e n d e dg a u s s i a ni m a g e ，e g i ) 。e g i 描述了入脸表面的法线方向分布，通过比较各区域e g i 的相关性进行人脸的识别。但e g i 对尺度变化不敏感，因此无法区分形状相似，但大小不同的人脸。g o r d o n l 4 l 】基于曲率分割人脸，由人脸某部位的曲率( 如鼻梁的最大高斯曲率) 和器官的几何尺寸( 如左右眼的宽度) 构造特征向量用以表征人脸，在8 个人，每人3 幅深度图像构成的数据库上识别率达1 0 0 。t a n a k a 等人【4 2 】基于曲率分割人脸，将人脸表面每一点的主曲率及其方向映射到两个单位球上，每个单位球分别代表了脊线和谷线，以此构造e g i 表征人脸，通过e g i 的球面相关性( s p h e r i c a lc o r r e l a t i o n ) 进行匹配。y i n 等人【4 3 】用模拟退火算法合成复合滤波器，再和人脸深度图像进行相关运算，按相关性的大小进行分类。实验数据包括1 2 个人不同角度的图像，识别率为1 0 0 。l a o 等人m 】基于立体视觉进行三维人脸识别。先利用二维图像的边缘和等亮度线找出瞳孔的位置，进而确定嘴唇的中心。在此基础上进行姿态校正，基于最近点的平均深度距离进行匹配。在1 0 个人的数据库上，针对9 种不同的姿态，其识别率为8 7 9 6 。c h u a 等人【4 5 】用点特征( p o i n ts i g n a t u r e ) 来描述某点的局部特征。为了处理脸部的表情变化，只用到了鼻子及以上近似刚体区域的点特征进行比较。用6 个人，每人4 种不同表情人脸深度图像的数据库，识别率为1 0 0 。m o r e n o 等人【4 6 】基于平均曲率和高斯曲率，并设定分割阈值分割出人脸区域，再从这些区域提取出8 6 个面积、距离、角度等特征，从中选取最有鉴别能力的3 5 个特征用于识别，实验采用6 0 个人，每人7 幅不同表情和姿态深度图像的数据库，正面人脸的识别率最高，为7 8 。文献 4 7 对支持向量机( s v m ) 和p c a进行了比较，s v m 的性能更好。y u a n 等人【4 8 】先从三维人脸表面找出鼻尖等特征点，从二维灰度图像找出左右眼，利用这些特征进行姿态校正。用模糊聚类将人脸模式分为几个子网络，再用并行神经网络进行识别。对3 5 人，每人5 个角度图像的数据库，识别率为9 6 77第一章绪论。文献 4 9 在模糊聚类之前先用p c a 将图像规格化为同一尺寸。r u s s 等人【5 0 】将h a u s d o r f f 距离用于人脸深度图像的匹配。在验证实验中，模型库中有2 0 0 个人的图像，测试集中有2 6 8 个人的图像，在错误接受率为0 时，正确验证的概率为9 8 。因为算法的计算量较大，在识别实验中，模型库中只有3 0 个人，测试集由同样的3 0 个人的不同图像组成，识别率为5 0 。c h i b a 等人【5 l 】基于立体视觉构造人脸深度图像，基于人脸表面的最小距离进行匹配。文中提到转角大于3 0 度时，系统就已无法识别。l e e 等人 5 2 1 先定位鼻尖，再进行姿态校正。以鼻尖为参考点，提取一定深度的轮廓线，将其所围的区域用网格分成多个小区域，将这些小区域的深度均值和方差作为特征进行匹配，文中报导了前5 位( r a n kf i v e ) 的正确识别率为9 4 ，但未说明首位( r a n ko n e ) 识别率。x u 等人【5 3 】将人脸的三维点云拟合到一个规则的网格上，将这一网格模型与参考模型对齐，各网格点的深度构成一个全局几何特征向量。提取嘴巴、左右眼和鼻子4 个区域，在其上构造局部的特征向量。将全局和局部的几何特征组合成一个特征向量，再用p c a 降维。在3 dr m a 数据库上，采用1 2 0 人的数据集，识别率为7 2 ；对图像质量较好的3 0 人数据集，识别率为9 6 。应该指出的是，用p c a 训练时每个人用到了5 幅图像。l e e 等人群】先在三维人脸表面定位鼻尖，基于鼻尖位置将姿态变为正面人脸，提取中轴轮廓线，并找出鼻尖、人中等角点作为特征点。再提取水平轮廓线，并找出角点作为特征点。另外再以这些特征点所在区域的面积作为特征。由这些特征，根据其对识别的重要性进行选择，用支持向量机进行分类。实验包括7 0 0个人脸的三维数据，识别率达9 8 。l e e 和s l 血n 【55 】将深度作为权重的h a u s d o r f f 距离和不同的人脸表面曲率( 最小曲率、最大曲率和高斯曲率) 用于三维人脸识别。在4 2 个人，每人两幅图像的数据库，前5 位的识别率用最大曲率时最高，为9 8 。w u 等人【5 6 l 先将人脸三维表面三角化为网格，以候选点为中心的球所围区域内的各点，到候选点的距离以及到候选点切平面的距离构成的直方图作为特征，称为l s m 。用各候选点l s m 的相关系数作为相似性度量，用投票法进行表决。对、6 个人共3 1 幅不同角度深度图像的数据库，e e r 最低为2 9 8 。m i a n 等人【57 】用三阶张量表示三维人脸表面，由线性相关性计算其相似度。采用i c p 算法进行匹配。在2 7 7 个人的数据库上，识别率为8 6 4 。s a m i r 等人【5 8 】提出了一种基于人脸三维拓扑信息的人脸识别方法。人脸由各部件组成的拓扑图表示，用图匹配算法计算两个人脸的相似性。实验采用1 2 个人、每人1 2 幅不同表情的三维人脸图像组成的数据库，识别率为1 0 0 。天津大学博士学位论文三维及多模态人脸识别研究p a n 等人【5 9 】先找出人脸的对称平面，进而得到中轴轮廓线，轮廓线上与该曲线两端点连线距离最远的点就是鼻尖。以鼻尖为球心的球与人脸表面的相交区域为感兴趣区域，将其映射为相对深度图，再用p c a 进行识别。采用f r g cv 1 0数据库，识别率为9 5 ，e e r 为2 8 3 。p a s s a l i s 等人【删从原始数据构造人脸表面的三维网格，再用a f m ( a n n o t a t e df a c em o d e l ) 拟合该网格。将a f m 参数化，生成三通道的形变图像，用小波变换压缩该图像，用一个固定模板提取系数作为特征用于匹配。在f r g cv 2 0 数据库上，识别率接近9 0 。文献 6 1 有更详细的论述。s a m i r 等人【6 2 】先将三维人脸网格转换为深度图像，从深度图像中提取一定深度的闭合平面曲线，用测地线计算两深度图像对应曲线的距离。将各对应曲线距离的欧式均值或是几何均值作为两人脸表面的距离。l i n 等人【6 3 】从三维人脸深度图鼻子周围的矩形区域中提取求和不变量( s u m m a t i o ni n v a r i a n t s ) 特征，再用p c a 对这些特征进行分析。在文献 6 4 中作者从鼻子周围矩形区域中提取求和不变量特征，并将其匹配得分求和进行融合，以进一步提高识别率。在文献 6 5 中作者用求和不变量描述人脸的特征，从人脸取出1 0 个区域，计算匹配得分，再用l d a 计算各区域的权重进行组合，与l s v m的识别率相当，但计算量要小。l u 等人【删为建立人脸表面形变模型，用基于测地线的重采样方法提取特征点，从一小组人学习合成到三维中性表情模型的形变，得到一个形变模板。通过组合合成形变的模板为数据库里的每个人建立其特定的形变模型。通过拟合通用人脸模型到测试人脸，该方法可同时处理表情和大的角度变化。h u a n g 等人【6 7 】用深度、表面法向、梯度和曲率的直方图作为全局统计几何特征( g s g f ) 。将人脸深度图像分成前额、眼睛、鼻子、嘴巴及下巴五个区域，从中提取三维局部二值模式( 3 d l b p ) 直方图，作为局部统计相关特征( l s c f ) ，再将g s g f 和l s c f 连成一个特征向量，以进一步提高识别率。s u n 等人【6 8 】从正面和侧面人脸图像手工提取特征点，用通用人脸模型进行拟合得到个人人脸模型。采用主曲率标注人脸区域，再用遗传算法从人脸的不同区域获得最优特征。z h o n g 等人【6 9 】用g a b o r 滤波器提取三维人脸中的鉴别信息，再用k 均值聚类学习滤波器响应向量的中心，从这些中心构造学习视觉码书( 1 e a r n e dv i s u a lc o d e b o o k ，l v c ) ，用最近邻分类。为减少表情的影响，只取人脸图像嘴巴以上的部分用于识别。e k e n e l 等人【7 0 】先取l1 个特征点，用薄盘样条( t h i n - p l a t es p l i n e ，t p s ) 将三维点云对齐以获得人脸之间的对应关系，再用射线投影( r a y c a s t i n gm a p p i n g ) 构造深度9第一章绪论图像。将深度图像分成局部区域，在每个区域进行离散余弦变换以抽取局部信息，丢弃前4 个系数，保留接下来的l o 个系数。再将局部特征进行组合后再分类。k i m 等人【7 l 】将三维信息融入由立体摄像头和线边缘映射( 1 i n ee d g em a p ) 得到的边缘中，获得三维线边缘映射。将加权部分空间定位的线段h a u s d o r f f 距离作为相似度量。k a k a d i a r i s 等人【7 2 】采用依赖于传感器的预处理方法将原始人脸数据转换为三维多边形表示。结合不同的算法在统一的坐标系下将数据对齐，用标注人脸模型对数据进行拟合，在拟合模型上导出几何图像和法向映射图像，用小波分析( h a r r小波及金字塔变换) 得到一组系数作为元数据( m e t a d a t a ) ，用不同的距离度量进行匹配。m p i p e r i s 等人【7 3 】对人脸表面进行测地线极参数化( g e o d e s i cp o l a rp a r a m e t e r i z a t i o n ) 。表面的内在特性在等距形变( i s o m e t r i cd e f o r m a t i o n ) 下不会改变，因此提出的表示方法适用于表情不变的三维人脸识别。对嘴巴张开的情况进行改进。但该方法是在形变等距的假设下进行的，对极端的表情变化并不适用。c o o k 等人【7 4 】根据人脸表情的不同，不同的区域用高斯混合模型( g a u s s i a nm i x t u r em o d e l s ) 赋予不同的权重。需要人为确定表情的程度。在文献 7 5 】中作者在降维之前，将多尺度方法用于频域信息的分割，可提高特征脸和f i s h e r f a c e s的鉴别性能。采用双线性插值对g a b o r 特征降维。在f r g c 数据库上的实验表明，g a b o r 滤波器组要优于离散小波变换和离散余弦变换。z o u 等人【7 6 精心选择一组深度图像作为样本人脸，另一张深度图像作为通用人脸( g e n e t i cf a c e ) 。通用人脸在最小平方距离意义下通过形变( w a r p ) 与每个样本人脸进行匹配。每次形变以一个位移向量表示。在特征提取阶段，通用人脸通过形变与目标人脸匹配，形变中的几何变换以样本人脸的形变向量的线性组合来表示。线性组合的系数通过最小化均方根误差进行调整。得到的形变系数作为特征用m a h a