（计算机应用技术专业论文）基于轮廓线的三维人脸识别算法的研究.pdf

摘要 摘要 人脸识别是基于生物特征的认证技术中具有挑战性的领域之一，也是本世纪 有良好发展潜力的技术之一。作为自然而友好的身份识别方式，人脸识别已经成 为模式识别和图像处理中的重要研究热点。 使用二维图像人脸识别方法，由于受到光照、姿势、表情变化的影响，其识 别的准确度受到很大限制。迄今为止，建立一个鲁棒的人脸识别系统仍然是一个 很困难的问题。由于3 d 数据本身具有显式的几何形状信息，因此3 d 人脸识别 更具克服姿态和表情困难的潜力。本文主要针对三维人脸识别，在以下几个方面 展开了研究工作： l 、在初始三维数点云数据量足够大的情况下，尝试使用b 样条曲面拟合生 成的网格控制顶点模拟三维点云数据。这个方法提高了点云数据的规格化程度， 并大大减少了数据量，提高了算法效率。 2 、确定了三维人脸坐标系，并结合深度信息特点提取轮廓线，进行了曲率 计算和分析，进而提取鼻子距离特征和人脸中分轮廓线分段曲率特征用于识别。 降维处理简化了算法复杂度。 3 、分析特征向量的特性，利用欧式距离法和互相关函数进行样本间相似性 度量，完成了人脸识别算法。 4 、在理论研究的同时，我们采用v i u s a l c + + 6 0 以及s q l 数据库后台设计实 现了实验性的三维人脸识别系统平台。该系统能提取人脸轮廓线，并进行曲率计 算和分析，从中提取人脸特征向量组，通过欧式距离法和互相关函数相似度比较 实现三维人脸识别。试验结果验证了算法的可行性。 关键词：三维人脸识别；人脸轮廓线；特征提取；图像处理；模式识别 a b s t r a c t f a c er e c o g n i t i o ni so n eo ft h em o s ta c t i v ea n dc h a l l e n g i n gt e c h n o l o g i e s a sa n a t u r a la n df i i e n d l yw a y ，a u t o m a t i cf a c er e c o g n i t i o nh a sb e c o m ea ni m p o r t a n tp a r to f t h er e s e a r c h e so fi m a g ep r o c e s s i n ga n dp a t t e r nr e c o g n i t i o n b e c a u s eo ft h ei n f l u e n c eo fi l l u m i n a t i o n ，p o s ev a r i a t i o na n de x p r e s s i o n ，t h e i m p r o v e m e n to fr e c o g n i t i o na c c u r a c yo f 2 df a c er e c o g n i t i o ni sg r e a t l yi m p e d e da n di t i sd i f f i c u l tt ob u i l dar o b u s tf a c er e c o g n i t i o ns y s t e m d u et oi t sr i c h e ri n f o r m a t i o n c o n t a i n e df o rf a c i a ls u r f a c e ，t h e3 df a c ed a t ah a sm o r ep r o m i s i n gp o t e n t i a lt oc o n q u e r t h ec h a n g eo fp o s et h a n2 di m a g e s t h i st h e s i sa d d r e s s e st os t u d yt h e3 df a c er e c o g n i t i o na l g o r i t h m s t h em a i n c o n t r i b u f i o n so ft h ew o r ka r ea sf o l l o w s ： 1 、i ft h ed a t ao fi n i t i a l3 - dp o i n t - c l o u di se n o u g h ，t h e 鲥dc o n t r o lp o i n t sc 锄b e u s e dt os i m u l a t et h ep o i n t - c l o u dd a t aw h i c hi sc r e a t e db yb s p l i n es u r f a c ef i t t i n g w e s t a n d a r d i z et h ep o i n t - c l o u dd a t at or e d u c et h eq u a n t i t yo fp o i n t - c l o u dd a t at or a i s e e f f i c i e n c yo fo u ra l g o r i t h m 2 、c o n t o u rl i n e sa r ee x t r a c t e da c c o r d i n gt od e p t hi n f o r m a t i o nf e a t u r e t h e n ， f e a t u r e so fn o s ea n dt h ep r o f i l es u b s e c t i o nc u r v a t u r ea r eo b t a i n e db ya n a l y z i n g c u r v a t u r e so fc o n t o u rl i n e s 3 、t h ec h a r a c t e r i s t i co fe i g e n v e c t o ri sa n a l y z e d ，a n dt h es i m i l a r i t yb e t w e e nf a c e s a m p l e si sm e a s u r e du s i n ge u l e r d i s t a n c ea n dc r o s sc o r r e l a t i o nf u n c t i o n 4 、t h e3 df a c er e c o g n i t i o ns y s t e mi sd e v e l o p e du s i n gv i s u a lc + + 6 0a n ds q l s e r v e r2 0 0 0 t h ec o n t o u rl i n e so ft h ef a c ea r ef o u n da n dt h e i rc u r v a t u r e sa r e c o m p u t e df i r s t t h e n , b ya n a l y z i n gc u r v a t u r e st h ee i g e n v e c t o r so ff a c ea r ee x t r a c t e d f i n a l l y , t h es i m i l a r i t i e sb e t w e e nf a c es a m p l e sa r em e a s u r e dt or e c o g n i z et h ef a c e e x p e r i m e n t sh a v eb e e nc o n d u c e dt os h o wt h ef e a s i b i l i t yo fo u ra l g o r i t h m k e y w o r d ：3 df a c er e c o g n i t i o n ；c o n t o u rl i n e s ；f e a t u r ee x t r a c t i o n ；i m a g ep r o c e s s i n g ； p a t t e r nr e c o g n i t i o n 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成 果。本人在论文写作中参考的其他个人或集体的研究成果，均在 文中以明确方式标明。本人依法享有和承担由此论文而产生的权 利和责任。 声明人( 签名) ： 矽2 狙轩 年具t 鸟e t 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦 门大学有权保留并向国家主管部门或其指定机构送交论文的纸 质版和电子版，有权将学位论文用于非赢利目的的少量复制并允 许论文进入学校图书馆被查阅，有权将学位论文的内容编入有关 数据库进行检索，有权将学位论文的标题和摘要汇编出版。保密 的学位论文在解密后适用本规定。 本学位论文属于 1 、保密() ，在年解密后适用本授权书。 2 、不保密( ) ( 请在以上相应括号内打“ ) 作者签名： 导师签名： 日期：砂护年 日期：肿 厂月“日 主月妒日 第一章绪论 1 1 选题背景及研究意义 第一章绪论 视觉是人类获取信息强有力而又最有效的手段，它不仅是指对光信号的感 受，而是包括对视觉信息的获取、传输、处理、存储与理解的全过程。计算机视 觉就是用计算机模拟人眼的视觉功能，从图像或图像序列中提取信息，对客观世 界的三维景物和物体进行形态和运动识别。计算机视觉是计算机科学研究领域的 重要分支，其研究的核心问题是从景物图像或序列图像求出景物的精确的三维几 何描述，并定量的确定景物中物体的空间性质，其过程是成像过程的逆过程。计 算机视觉的研究目的：提供人类视觉的计算模型，设计与发展某种真实的适度的 视觉系统，并提供具有良好性能价格比的专用系统 所谓计算机双目立体视觉技术是指通过对同一物体从不同角度获得的两幅 图像来恢复出被摄物体三维信息( 尤其是物体的深度信息) 的过程。之所以不能由 单幅图像恢复出被摄物体的深度信息，是由于物体表面的每一点对于成像面都有 一条投影光线，而这条直线上的每一点在图像上都有相同的二维投影坐标，所以 单由一幅图像就无法确定究竟这条投影直线上的哪一点才是真正的物体点。而若 已知两幅由不同角度对某一物体进行拍摄而得到的图像，则物体在这两个成像面 上的投影光线将在空中相交于一点，这一点的值即可视为被摄物体的三维坐标。 在现代社会中，对个人身份识别的需求可以说无处不在，并与日俱增。其中， 人脸识别技术作为一种极为有效的身份鉴别途径，在国家安全、金融、执法司法 等社会各个领域都具有巨大的市场需求。例如，金融领域包括银行卡持有人的身 份验证、电子商务的网上交易身份认证等，在国家机关及社会安防领域包括视频 监控、缉拿罪犯、司法认证、口岸出入安检、国安反恐、各类证件持有人的身份 验证、门禁系统等。 人脸能够用于身份识别，主要因为人的面貌属于人本身固有的生物特征，这 种特征具有不可复制，难以伪造的特点，弥补了密码、签字、口令、证件等传统 手段容易泄密、遗忘的缺点。人脸面貌是众多生物特征中最方便获得的，可以在 非接触、不侵犯隐私条件下得到待识别人的特征，更易为人们所接受。 基于轮廓线的三维人脸识别算法的研究 迄今为止，人们已经提出了多种人脸识别的算法，大多数算法是针对二维图 像设计的，具有识别速度快、方法直观的特点。存在的问题是很难克服光照、背 景及表情等因素的干扰。因此人脸识别领域现在倾向于三维技术，它被认为具有 更高的精确度而且能够克服二维人脸识别方法中存在的问题，因为真实的三维信 息是与视角以及光照条件无关的。通过研究基于三维数据的人脸识别，有望克服 目前基于图像的人脸识别方法所遇到的困难。 1 2 人脸识别 1 2 1 人脸识别概述 人脸识别的研究范围广义上来讲大致包括以下五个方面的内容： ( 1 ) 人脸定位和检测：即从在动态的场景与复杂的背景中检测出人脸的存在 并且确定其位置，最后分离出来。这一任务主要受到光照、噪声、面部倾斜以及 各种各样遮挡的影响。 ( 2 ) 人脸表征( 人脸特征抽取) ：即采用某种表示方法表示检测出的人脸与数据 库中的己知人脸。通常的表示方法包括几何特征( 如欧氏距离、曲率、角度) 、代 数特征( 如矩阵特征向量) 、固定特征模板、特征脸等。 ( 3 ) 人脸鉴别：即将待识别的人脸与数据库中已知人脸比较，得出相关信息。 这一过程的核心是选择适当的人脸表征方式与匹配策略。 ( 4 ) 表情、姿态分析：即对待识别人脸的表情或姿态信息进行分析并分类。 ( 5 ) 生理分类：即对待识别人脸的生理特征进行分析，得出其年龄、性别等 相关信息，或者从几幅相关的图像推导出希望得到的人脸图像，如从父母图像推 导出孩子的脸部图像、基于年龄增长的人脸图像估算等。 从狭义方面来说，一个人脸识别系统不涉及表情分析和生理分类，基于这种 观点，一个典型的人脸识别系统由人脸检测、特征提取、人脸鉴别三部分组成。 1 2 2 人脸识别的分类 ( 1 ) 鉴别( i d e n t i f i c a t i o n ) ：鉴别回答，“这是谁? ”( w h oa ml ? ) 。将给定的人脸 与计算机中存储的n 个人的图像逐个比较，输出m 幅图像，这些按与给定的相 2 第章绪论 似度从大到小排列，再由人来确定这是谁。通常，个人在计算机中只储一幅正 面图像。 ( 2 ) 验证( v c d f i c a t i o n ) ：验证回答“这是否为某人? ”( a mw h o is a yi 锄? ) 。将 给定的人脸图像与计算机中存储的某人的图像比较，回答给定的图像是否为某图 像。通常，一个人在计算机中存储多幅不同角度的图像。 ( 3 ) 监控( w a t c hl i s t ) ：监控同时具有鉴别和验证，回答“这是否为要找的人? 一 ( a r ey o uo f l o o k i n gf o rm e ? ) 。将未知身份的人的图像输入计算机，计算机决定这 个人是否在监控名单中，如果在，还必须确定这个人的身份。 1 2 3 人脸识别的性能评估 错误接受率，即f a l s ea c c e p tr a t e ( f a r ) ，是指给定某个阈值的前提下，识别 系统错误地接受非法用户的比率；错误拒绝率，即f a l s er e j e c tr a t e ( e r r ) ，是指 给定某个阈值的前提下，识别系统错误地拒绝合法用户的比率；等错误率，即 e q u a le r r o rr a t e ( e e r ) ，是指在某个阈值下，当错误接受率与错误拒绝率相等时 的比率量。 f a r 和f r r 都是随阈值变化的量，且变化方向相反。增大阈值可以减少f a r ， 同时增加了f r r ，减少阈值则减小f r r ，增大f a r 。由此可见，用f a r 和f r r 中任意一个评估系统的认证性能都是不合理的，e e r 则较好地反映了系统性能， 因而常常作为一个系统的评价度量。 影响人脸识别性能的因素及解决方法： ( 1 ) 背景和头发：消除背景和头发，只识别脸部图像部分。 ( 2 ) 人脸在图像平面内的平移、缩放、旋转：采用几何规范化，人脸图像经转、 平移、缩放后，最后得到的脸部图像为指定大小，两眼水平，两眼距离一定。 ( 3 ) 人脸在图像平面外的偏转和俯仰：可以建立人脸的三维模型，或进行三 维融合，将人脸图像恢复为正面图像。 ( 4 ) 光源位置和强度的变化：采用直方图规范化，可以消除部分光照的影响。 采用对称的从阴影恢复形状技术，可以得到一个与光源位置无关的图像。 ( 5 ) 年龄的变化：建立人脸图像的老化模型。 ( 6 ) 表情的变化：提取对表情变化不敏感的特征，或者将人脸图像分割为各 3 基于轮廓线的三维人脸识别算法的研究 个器官的图像，分别识别后再综合判断。 ( 7 ) 附着物( 眼镜、胡须) 的影响。 ( 8 ) 照相机的变化：同一人使用不同的照相机拍摄的图像是不同的。 1 2 4 三维人脸识别的提出 人脸识别有两类最基本的类型，2 d 人脸识别和3 d 人脸识别。2 d 人脸识别 是指采用人脸亮度图像进行身份认证的技术，包括基于视频流的人脸识别技术。 2 0 0 3 年以前，大部分关于人脸识别的研究集中在2 d 人脸识别上，以2 d 图像作 为输入的人脸识别方法的最大不足是方法较为脆弱。各种人脸识别方法在面临姿 态、光照条件不同、表情变化以及脸部化妆等方面表来的脆弱性使得识别的准确 度和适用场合受到很大限制。而这些都是人脸然状态下会随时表现出来的。到目 前为止，2 d 人脸识别技术已渐渐走向成熟，在一定约束条件下，其最新的技术 可以达到很好的识别性能，并已在多个商业产品中使用【l 】。 三维人脸的研究始于计算机动画和生物医学成像。计算机动画方面的方法是 在计算机上生成三维人脸动画来表达人的运动、姿态和表情。这种动画的人脸可 以在不同的环境下应用和发展为虚拟现实。三维人脸识别是一个刚刚兴起的极具 挑战性的前沿方向。三维人脸识别以三维数据为基础，结合计算机视觉于计算机 图形学，有望解决人脸识别目前面临的巨大挑战。三维数据的获取很少受到光照 的影响，利用三维曲面的配准算法能很好的克服姿式的变化，通过三维模型合成 的面部动作在一定程度上克服表情变化，因此，基于三维信息的人脸识别一种较 鲁棒的识别途径，能够比较有效地克服基于2 d 图像进行识别所遇到的困难，科 学意义重大，应用前景广泛，是将来研究的热点问题。 用3 d 数人脸特征检测比较容易，可以利用曲率信息，且不受姿态的影响： 三维亮度信息，不受光照的影响；3 d 几何信息不易受脸部化妆等非几何外观影 响：通过三维几何信息，表情变化比较容易处理。因此，基于三维模脸识别是当 前人脸识别中最能有效解决姿态、光照、表情变化、化妆等方法。 三维成像及重构技术飞速发展，使得三维人脸数据的获取变得越来越容易。 近些年来，3 d 数据获取技术得到了飞速的发展，如激光扫描仪、基于结构光原 理、基于视觉三维重构等技术，且已有大量适用于人脸三维成像的商用设备，这 4 第一章绪论 些都为三维人脸识别提供了有利的数据支持。 2 0 0 4 年l2 月，r c h e l l a p p a 与a kj a i n 在香港的一次生物认证专题研讨会 上一致认为：人脸识别的出路在于三维。人脸识别测试评估计划f e r e t 的首席 科学家p j p h i l l i p s 在国际生物认证联盟大会上重点指出：三维人脸识别是未来 人脸识别的重要方向【2 】。 1 3 本文主要研究内容 论文主要针对人脸三维点云数据研究轮廓线提取特征向量的方法，设计三维 人脸识别方法，以形成实用的系统。 论文具体目标包括两部分：( 1 ) 进行三维人脸识别理论和方法研究；( 2 ) 构 建一个三维人脸识别实验系统。 其中理论与方法主要针对以下问题进行研究： l 、在b 样条曲面拟合点云数据，形成人脸三维曲面的前提下，尝试利用网 格控制顶点模拟数据点云，使数据点云规格化。 2 、根据三维人脸坐标系定位和深度信息特点提取人脸轮廓线，并进行了曲 率计算和分析，进而提取用于识别的特征向量组。 3 、分析特征向量的特性，分别利用欧式距离法和互相关函数进行相似性度 量，完成了人脸识别算法。 实验系统主要完成：建立一套三维人脸的身份识别软件系统，利用三维 点云数据，通过轮廓线匹配的方法抽取人脸的特征向量。利用抽取出的三维 特征向量，进行人脸识别。并为三维人脸识别系统搭建人脸数据库，对库中 数据进行分析，提高检索速度。 1 4 本文章节安排 全文共分六章。 第一章，绪论。主要从研究内容、分类和性能评估等方面阐述了人脸识别的 发展现状。对现有人脸识别方法遇到的瓶颈问题进行了分析，随着三维数据获取 设备的成熟，三维人脸识别逐渐成为热点话题。 5 基于轮廓线的三维人脸识别算法的研究 第二章，三维人脸识别方法分类。对现有三维人脸识别的研究状况进行了详 细的综述。对三维人脸数据而言，有效的特征提取显得尤为重要，本章从特征的 角度对已有算法进行了分类并分析了算法的优缺点，3 d 人脸数据显示了基于其 开发识别算法的吸引力，同时，3 d 人脸识别技术在算法的准确率、速度、鲁棒 性方面都还有待进一步的研究。 第三章，3 d 人脸数据获取。简述了目前3 d 人脸数据的获取技术，表示方法， 并列举了目前国际上较大规模的人脸图像数据库。并特别叙述了b 样条曲面拟 合技术，为后期的三维人脸识别算法做准备。 第四章，基于轮廓线匹配的三维人脸识别方法。轮廓线可以表达人脸的细节 结构。在法医学坐标系研究的基础上，针对本文算法的需要，建立新的三维坐标 系。对初始离散点云数据进行了b 样条拟合，构造出逼真的人脸曲面的前提下。 提取网格控制顶点作为识别用的点云数据，大大提高了点云数据的精确度和规范 程度，免去归一化处理等步骤，降低了处理的数据量和处理复杂度。利用最大深 度值和三维人脸坐标系定位提取人脸中分轮廓线和鼻尖处横切轮廓线。在计算轮 廓线曲率的基础上，分析曲率变化，确定了曲率极大值的点作为基准点，产生鼻 子高度，宽度等距离特征，和鼻子的切面角度特征，结合计算人脸中分轮廓线的 。 分段平均曲率，作为人脸识别的特征向量组。最后，在待识别的人脸和样本人脸 进行相似性度量，完成人脸识别算法。 第五章，三维人脸识别系统平台。介绍了我们开发的三维人脸识别系统平台 的功能设计目标及系统的功能结构，给出了整个系统的运行流程，所有功能都建 立在前面几章的研究基础之上，另外介绍了系统的后台数据库支持。 第六章，总结与展望。对本文的各个技术点做出总结，同时提出了进一步发 展的可能性，指出了今后可以继续展开研究的工作方面。 6 第一二章三维人脸识别方法概述 2 1 引言 第二章三维人脸识别方法概述 本章对现有的3 d 人脸识别方法进行综述，按匹配方式与特征形式将现有3 d 人脸匹配算法分为三类进行介绍：( 1 ) 基于空域信息的直接匹配，( 2 ) 基于局部特 征的匹配，( 3 ) 基于整体特征的匹配。然后，我们对2 d + 3 d 的双模态融合方法进 行介绍 3 】 2 2 基于空域信息的直接匹配 基于空域直接匹配的方法对三维人脸数据在三维空问中不做显式的特征提 取而直接进行匹配，通常以点云数据作为输入即可。常用的方法有迭代最近点法 ( i c p ，i t e r a t i v ec l o s e s tp o i n t ) 和h a u s d o r f f 距离法等。 三维人脸识别的一个难点在于各种原因( 如表情) 引起的脸部曲面形变问题， 一种很自然的解决思路是更多地使用脸部的刚性区域进行匹配。刚性区域是指在 不同状态下脸部曲面不发生形变或发生形变很小的区域，该类方案显式地分割提 取出固定的刚性区域进行匹配。这种基于区域分割的方法主要基于以下考虑：匹 配时提高刚性区域匹配的权重，降低非刚性区域的权重，甚至用刚性区域匹配代 替整体的人脸匹配。i cc h a n g 4 1 等人首先提取脸部受表情影响较小的鼻子区域， 再进行鼻子区域曲面i c p 的匹配。在其后续工作中【5 】，作者进一步提出了多模 态选取人脸刚性区域进行融合的算法。该方法在鼻子部分用不同的形状提取三种 包含鼻子的人脸区域分别进行i c p 匹配，然后把结果在决策级做融合。 基于i c p 匹配的识别算法在中性表情的库上平均性能比较出色。对有表情的 库，采用改进的i c p 方法也可得到较好的性能。但由于匹配过程的计算复杂度过 高，采样率在5 0 0 0 个点以上的模型，单次匹配花费的时间数量级在秒级以上， 因此，i c p 不适合大规模库的识别实验。此外，i c p 的匹配算法用于对齐时需给 出租略的初始位置，增加了额外的预处理。 h a u s d o r f f 距离是两个点集之间的一种距离度量【6 】。当把一个点云形式的三 7 基于轮廓线的三维人脸识别算法的研究 维人脸数据看作一个点集，即可直接用h a n s d o r f f 距离作为人脸的相似度量。基 于h a u s d o r f f 距离的匹配方法需在两个人脸模型对齐的基础上进行，两个人脸数 据集的h a u s d o r f f 距离越小则越相似。 2 3 基于局部特征的匹配 特征是从一个对象中提取的在一定条件下保持稳定不变的属性，其本质可以 看作对一个对象的信息进行压缩或其它变换处理。对特征的要求，一是完备性， 蕴含尽可能多的对象信息使之区别于其他类别的对象；二是紧凑性：表达所需的 数据量尽可能少。对3 d 人脸识别而言，另一个要求是特征应该能在人脸模型旋 转、平移、镜像变换下保持不变，人脸深度图上任意点的深度值依赖于产生该数 据的视图，故不符合上述特征条件，而脸部某两个点的距离是符合上述条件的一 个例子。基于局部特征的匹配方法关键在于如何从三维的脸部曲面中提取有效的 几何形状信息特征。 3 d 人脸识别中，局部特征主要包括： ( 1 ) 局部描述符； 在三维场景的目标识别领域，常用曲面上某点邻域内曲面的几何信息或几何 统计信息描述该点的局部特征，这种方法通常称为局部描述符，如s p i ni m a g e 【7 】。 局部描述符一般具有刚性变换恒定的性质。在3 d 人脸识别中，常用的策略是选 择一些关键点，如鼻尖、眼框外角等，然后计算关键点的局部描述符，最后通过 匹配两个人脸模型对应的关键点的局部描述符实现人脸匹配。 c s c h u a 8 等提出了一个基于p o i n ts i g n a t u r e ( p s ) 的人脸识别方法。p s 用人 脸曲面上某点邻域内一条曲线的形状信息来表征该点的形状。为脸部各点建立 p s 后，通过匹配p s 找到两个模型的多组对应点对，然后粗略对齐两个模型，再 用i c p 精确对齐模型。基于对应点欧氏距离建立一个高斯分布模型，这个模型可 以提取出脸部的刚性变化的部分来匹配，以降低表情的影响。在两两匹配时，对 齐模型后基于点与点之间的p s 匹配用投票的方法求最高投票率。 ( 2 ) 曲线特征 若人脸曲面形状用若干从曲面提取的二维曲线近似表征，则可将三维人脸曲 面形状的匹配问题转化为二维曲线的匹配问题，从而大大降低问题的复杂性。基 8 第二章三维人脸识别方法概述 于曲线特征的匹配方法即属于此类思路。二维曲线可认为是曲面的一种稀疏采 样，它能较好表征曲面的几何形状，优势在于数据空间从3 d 降到了2 d 脸部 曲面上的一些特征曲线( 如中心侧影线) 不但可用来估计人脸的姿态【9 】，也可作为 3 d 人脸识别的特征。 yk 【1 0 】等提出了基于多条特征曲线和多个特征点进行人脸匹配的方法。 在初始对齐的模型上，根据先验信息和深度信息的变化，提取出三维人脸曲面上 的3 条重要曲线，从这三条曲线中得到8 个特征点：再用类似的方法提取7 条曲 线，采用动态规划算法，将这七条曲线上点的深度分量作为输入寻找最优路径； 基于s v m ( s u p p o r tv e c t o rm a c h i n e ) 算法，作者用八个特征点的相互关系组成向 量，采用“属于一和“非属于一的原则设计了多类分类器。实验得到了9 6 的 r a n k - 1 识别率。 ( 3 ) 曲率特征 曲率作为三维曲面的一种重要的局部几何属性，较早就被用于三维脸部曲面 的分析与识别。微分几何理论表明，曲面的局部形状由两个主曲率( 最大主曲率 和最小主曲率) 的大小与方向完全确定，此结论表明了衄率的重要性。但是，一 方面，由于三维人脸数据是离散的，并随采集条件不同采样点不完全一致，造成 同一对象的不同次采集获得的三维数据之间缺乏严格的对应关系，从而难以直接 使用曲率以点对点的方式进行匹配；另一方面，由于三维数据采集时通常受不同 程度的噪声影响，导致离散估算获得的曲率值相对不准确，若仅用曲率值匹配， 算法将缺乏鲁棒性。因此，通常还必须配合其他方法才能更有效地利用曲率。研 究人员还发现，利用高斯曲率和平均曲率( 曲率的另外两种形式) 的符号可以较稳 定地确定曲面的局部形状类型。对脸部曲面进行关键点提取、区域分割等预处理 时，曲率特征起着非常重要的作用 4 ，1 1 1 5 】。 人脸形状具有近似圆柱的特点，qg o r d o n 1 3 等将3 d 人脸深度图转换到圆 柱坐标系中，在圆柱坐标参数下计算每一点的高斯曲率和平均曲率，利用它们的 符号将人脸划分为不同的区域，在各个区域中检测特征点。将这些特征点之间的 空间关系( 八种距离) 组合成向量表示原始人脸的特征，匹配时用最邻近法进行分 类。 a b m o r e n o 1 4 首先计算人脸表面点的高斯曲率和平均曲率，然后根据这两 9 基于轮廓线的三维人脸识别算法的研究 种曲率的符号对人脸表面进行分割，符号的不同组合代表不同的曲面局部形状。 在分割曲面片的基础上，作者构建了8 6 个分量的特征向量，匹配时用这些特征 向量表示原始3 d 人脸进行最近邻比对。 ( 4 ) 其它局部特征 研究人员还尝试了用其他多种局部特征进行三维人脸识别。例如，c x u 1 6 】 等首先用分级网格拟合的方法将初始人脸3 d 点云拟合为一个规则的网格。然后 取人脸规则网格模型上顶点的z 坐标组成一个向量作为全局特征。局部特征基于 标记好的人脸四个主要区域( 嘴巴区域、鼻子区域、左眼和右眼区域) 构建。对四 个区域罩的每一个顶点，按其邻接顶点到当前顶点的距离建立一个向量，再将每 个区域旱的向量串成一个分量更多的向量，作为几何特征向量。对每个分量求 g a n s s i a n h e r m i t e ( g h ) i 阶距和2 阶距，将所有的距离按特定顺序串成一个向量 即得到人脸的形状变化特征向量。最后的把几何和形状变化特征向量再连接起来 得到一个总体的特征向量。匹配时，先使用p c a 进行降维处理，然后用最邻近 法进行分类。 2 4 基于整体特征的匹配 该类方法注重三维人脸模型的整体特征的提取，对提取的整体特征进行匹 配。目前己有的该类方法主要可分为：( 1 ) 将三维人脸统一用深度图表示后，直接 应用二维人脸识别中的基于表观的方法；( 2 ) 将三维人脸映射为e g i 图 ( e x t e n d e dg a u s s i a ni m a g e ) ，通过匹配e g i 图实现人脸识别；( 3 ) 将人脸模型作某 种整体变换，变换一般带有一定约束，用变换结果做匹配。 ( 1 ) 深度图 三维人脸数据表示为深度图的数据形式后，即可看作是一幅2 d 的图像。若 这些数据都是同一个视图的深度图( 如正面，可通过有效的对齐方法取得) ，则 已有的大部分2 d 人脸识别算法都可以直接应用于深度图上，典型的如基于表观 ( a p p e a r a n c e - b a s e d ) f f j 算法p c a 1 7 ，f i s h e r f a c e 1 8 ，i c a 1 9 等。近几年，用主元 分析法( p c a ) 对深度图进行人脸识别已被普遍作为一种基线算法用于比较新的 三维人脸识别算法的性能【4 ，2 0 ，2 1 。在2 d 人脸识别算法与3 d 识别方法融合 的研究中，也大量使用了主元分析法对深度图进行匹配。大部分基于深度图的匹 l o 第二章三维人脸识别方法概述 配方法都需要将深度图根据人脸的结构化信息进行对齐预处理，这一点与基于图 像的人脸识别方法一致。 ( 2 ) e g i 图 通过曲面上任何一点的法向可将该点映射到一个单位球面上，利用这种映射 可将曲面转换为单位球面上的质量分布映射图，这个分布图就称为扩展高斯图 ( e g i ) 2 2 。这个质量分布图依赖于曲面的形状，e g i 可看作在统计意义上描述了 该曲面的总体形状。 j c l e e 1 2 首次提出将e g i 应用于人脸深度图像的匹配。该方法首先利用 平均曲率和高斯曲率对人脸曲面的凹凸形状进行分类，将凸区域法向量映射到单 位球上，并将平均曲率作为单位球上对应点的支撑函数值，从而形成人脸模型对 应的e g i 图。由于凸区域不包含脸部的所有区域，还需对e g i 图进行插值。然 后结合块与块之间的约束关系和相关系数，用图匹配算法比对两个人脸模型对应 的e g i 图，得到两者之间的相似度量。 ( 3 ) 整体变换 一种整体变换的方法是在一定的约束条件下，将三维脸部形状变形到另外一 种三维形状的规范形式进行处理，即二维到三维的映射。以色列研究人员 2 h 在 观察人脸表情变化的基础上，认为人脸表情变化引起的人脸曲面形变近似于等距 ( i s o m e t r i c ) 变换。基于此假设，他们提出了一种可以减弱表情影响的3 d 人脸识别 方法。作者首先计算曲面上任意两点的测地线距离，然后用m d s 方法 ( m u l t i d i m e n s i o n a ls c a l i n g ) 将人脸曲面映射为一种扭曲不变的规范曲面，从而将测 地线距离拉直为欧氏距离。得到人脸的规范曲面后，用p c a 的方法进行特征提 取并完成人脸识别。但由于人脸的变化非常复杂，该方法无法处理嘴巴张合、眼 睛张合等情况。在此工作的基础上，最近他i f 2 3 还提出一种推广的m d s 方法， 并将之用于三维人脸识别，以处理采集的人脸曲面不完整时的匹配。 2 5 双模态融合 近几年，在研究如何利用三维人脸形状信息进行识别的同时，一些学者也对 3 d 人脸识别和2 d 人脸识别的融合进行了研究。融合方法比单一的方法采用的 信息量更多( 融合方法采用了3 d 和2 d 两个模态的信息，而无论3 d 识别还是2 d 基于轮廓线的三维人脸识别算法的研究 识别都只包含单模态的信息) ，根据目前的研究情况，绝大多数融合方法的识别 性能超过采用图像或三维数据的单模态识别的性能。 当前大多数研究采用决策级融合的方法，即2 d 人脸分类器和3 d 人脸分类 器独立计算，得到各自的得分，然后对得分采用不同的策略进行融合得到最终的 相似度量；另有一些研究采用特征级融合的策略，分别从2 d 人脸图像和3 d 深度 数据中提取特征，将两者合并成整体特征，然后输入分类器。 c b e u m i e r 2 4 1 等从3 d 深度数据中，提取对称面的侧影线和从对称面左右平 移3 c m 后的两条侧影线的平均值，作为3 d 人脸匹配的特征曲线，同样地从2 d 图像中提取2 条侧影线，四条侧影线共四个分类器，并做加权线性融合。 x gl u 2 5 ，2 6 等人对双模态融合进行了探索。对于3 d 人脸识别，首先利 用曲率将脸部区域分成9 类形状，之后在脸部曲面上检测鼻尖、一侧眼睛的眼角 内框和眼角外框共三个点。对齐模型时，用这三个点进行粗对齐，再用h y b r i d i c p 算法进行精确对齐，最后用对应点的平均距离作为匹配相似程度度量。对于2 d 人脸识别，用经典的l d a 子空间分析方法。两个模态相似度量的加权和作为最 后的决策依据。实验数据包括训练库中2 0 0 人，测试库中5 9 8 个模型，仅用 h y b r i d - i c p 的识别率是8 5 7 ，融合的识别率达9 0 。 a m i a n 2 7 等人提出三种特征在决策级融合的识别算法，三种特征分别是 3 d 局部区域、3 d 整体和2 d 图像。首先从3 d 人脸中提取额头区域和鼻子区域， 用i c p 算法与完整的人脸进行匹配得到两个相似度，然后完成基于p c a 的3 d 深度图匹配和2 d 图像的匹配，最后将三者融合。 由于图像与三维形状信息相对独立，基于特征级融合的方法相对较少。y w a n g 2 8 等在c c h u a 提出的p o i n ts i g n a t u r e 的基础上，加入2 dg a b o r 滤波器 响应作为2 d 特征。从3 d 人脸上提取4 个特征点，从2 d 人脸上提取1 0 个特征 点，前者计算p o i n ts i g n a t u r e ，后者计算g a b o r 滤波器响应。p o i n ts i g n a t u r e 展 开成为一个向量并与g a b o r 滤波器响应提取的向量连接起来作为单个特征向量， 最后分别采用最近邻和s v m 作为分类器。 t p a p a t h e o d o r o u 2 9 将人脸抽象成4 d 点集，集合中的任一元素都是某点的 3 个坐标分量再加2 d 图像中对应点的亮度，对应点的查找改为用4 维空间的欧 氏距离，再用经典i c p 方法进行匹配，最后用对齐后的对应点距离的平均平方根 1 2 第二章三维人脸识刖方法概述 来表示两个模型的相似程度。实质上是一种在特征级融合2 d 和3 d 图像数据的 方法。 2 6 现有3 d 人脸识别算法的优缺点分析 2 6 1 识别率 采用三维人脸点集匹配的方法在较大规模的库上己可获得较好的性能，如基 于i c p 的方法、基于h a u s d o r f f 距离的方法等。总体而言，基于i c p 的方法识别 性能要优于基于h a u s d o f 距离的方法和基于p c a 的深度图匹配方法。其中基于 i c p 的算法和基于p c a 的深度图匹配方法已成为三维人脸识别中的两个基线算 法 3 0 】。 基于局部描述符和脸部曲线特征的方法由于只提取了脸部部分信息进行匹 配，尽管在较小的库上有不错的性能，但在较大库上的识别率仍然有限。 整体与局部特征相结合的方法，近来成为研究的主流，其中p a s s a l i s 等人提 出的变形模型在4 0 0 7 个模型的库上也得到了9 0 左右的r a n k 1 识别率【3 l 】。另 外，先采用特征处理将3 d 入脸转化为一种中间表达形式以弱化表情影响，然后 整体匹配的方法在表情处理上得到了较好的结果 2 1 ，2 3 。2 d + 3 d 的双模态融合 方法目前大多数集中在决策级融合，融合后的结果明显比使用单一模态的方法要 好。 2 6 2 现有算法的挑战 ( 1 ) 光照方面 绝大多数3 d 人脸识别的研究者以采集到3 d 数据为前提条件，而3 d 形状 数据本身不受光照的影响，可以说三维人脸识别算法不受光照的影响。然而，整 个自动的三维人脸识别系统却离不开光照，因为目前常用的3 d 数据采集设备本 身或者需要主动发射光，或者受采集自然光线的影响，明暗不同的光线会造成采 集的模型带有“洞 和。尖点一等噪声。真正做到不受光照影响的三维人脸识别， 就必须有不受光照影响的三维人脸采集设备。 ( 2 ) 姿态方面 1 3 基于轮廓线的三维人脸识别算法的研究 三维人脸识别算法对姿态变化的敏感程度依赖于三维人脸数据的完整性。大 部分情况下，3 d 人脸识别能较好克服姿态变化带来的问题。3 d 数据若来自多个 视图的组合，的确可以克服姿态变化问题，如：p o i n ts i g n a t u r e 特征、l s m 特征、 i c p 直接匹配、曲面参数化等均可以克服姿态的影响。在3 d 数据仅来自一个视 图且人脸旋转角度又特别大的情况下，采集到的人脸3 d 数据将会严重缺失，此 时，姿态不变的说法并不准确。e t s a l a k a n i d o u 利用人脸对称的特点，采用补全 技术补全3 d 模型中缺失的部分，在一定程度上基于单个视图也做到了姿态不变 3 2 ( 3 ) 表情方面 克服表情变化在3 d 领域同样困难，目前克服表情方面的算法主要有两类， 一类是提取人脸刚性变化的区域进行匹配，基于局部形状表征的方法采用的是局 部特征，也可以达到选择刚性区域匹配的目的。另一类是对表情变化建立模型， 以色列研究者提出了b e n d i n gi n v a r i a n tc a n o n i c a lf o r m 模型【2 l 】，但这个方法无 法解决嘴巴张开的表情带来的变形，而嘴巴张开是人脸常有的表情。因此克服表 情变化的3 d 人脸识别算法也是研究者面临的一个问题。 2 7 本章小结 本章对现有三维人脸识别的研究状况进行了详细的综述。对三维人脸数据而 言，有效的特征提取显得尤为重要，本章从特征的角度对已有算法进行了分类并 分析了算法的优缺点，3 d 人脸数据显示了基于其开发识别算法的吸引力，同时， 3 d 人脸识别技术在算法的准确率、速度、鲁棒性方面都还有待进一步的研究。 1 4 第三章3 d 人脸数据的获取 第三章3 d 人脸数据的获取 3 13 1 人脸数据的获取简述 3 1 1 三维数据获取技术 三维人脸数据的获取是自动三维人脸识别系统中的首要步骤，其获取数据的 质量直接影响到整个系统的性能。其获取技术可分为两大类：主动测距和被动测 距。 ( 1 ) 主动测距 系统主动向被测对象投射能量，然后根据所反射的能量来计算被测对象表面 各点的位置信息，典型例子是结构光测距技术。目前较成熟的商业产品如 c y b c r w a r e 、m i n o l t a 公司的三维扫描仪 3 3 ，3 4 。 ( 2 ) 被动测距 系统被动接收来自于场景反射的光能量，形成光能量分布图( 如灰度图像) ， 然后在分布图的基础上恢复场景的深度信息，典型例子是立体视觉技术 5 6 】，产 品如t f i c l o p s 、s h a p e c a p t u r e 等 3 5 ，3 6 。 以上两类技术均可用于3 d 人脸数据的获取。尤其是主动测距技术，其对应 的商业产品在3 d 人脸采集方面可达到很好的性能，如c y b c r w a r e 公司的人脸三 维扫描仪可达到小于l m m 的采集分辨率，而m i n o l t a 的产品v i 9 0 0 在快速模式 下采集一个脸部曲面只需0 3 秒。目前的三维数据采集设备在数据质量上己能较 好满足三维人脸识别系统的要求，在采集速度上也己接近可应用程度。 3 1 23 d 人脸数据的表示方法 在3 d 人脸识别的研究中，3 d 数据的主要表达形式有以下三种： ( 1 ) i i | j 形式的深度图( d e p t hi m a g e ) 该数据形式是人脸某个视图的一个深度值矩阵，矩阵元素的下标值代表物体 在空间中的位置，元素值代表物体在该位置到与视线