（计算机应用技术专业论文）三维人脸识别方法研究.pdf

浙江工业大学硕士学位论文 三维人脸识别方法研究 摘要 随着社会的进步以及网络技术、计算机技术的飞速发展，基于生物特征的身份认证技 术受到广泛的关注，如指纹识别、虹膜识别、人脸识别等。在所有生物特征识别方法中， 人脸识别技术因其具有直接、友好、方便、符合人们认识规律等优势，成为研究者们的首 选识别技术。传统的人脸识别方法在一定的约束条件下可以获得很高的识别率。然而因其 容易受到光照、姿态、表情等变化的影响，二维人脸识别技术已经碰到很难逾越的瓶颈， 基于此，三维人脸识别技术应运而生。 三维人脸识别在一定程度上弥补了二维人脸识别在光照、姿态、表情上面的不足。本 文主要从五个方面阐述了三维人脸识别技术的整个过程：三维数据获取、预处理、三维入 脸库、特征提取、人脸匹配，并分别作了初步探讨。 本文的主要工作和成果如下： 1 综述了三维人脸识别的研究现状。 2 提出了一种结合对称剖面及梯度信息提取鼻尖点的方法。三维人脸识别过程中，特 征点的提取是关键步骤之一，通过对人体生物特征的了解，本文在特征提取方面结合了对 称剖面及梯度信息来提取鼻尖点。 3 对原始i c p 进行了改进，提出了d e l a u n a y i c p 。i c p 算法是三维人脸识别中经典的 匹配算法之一，本文根据i c p 的缺点提出了一种新的匹配算法d e l a u n a y i c p ，它结合了 d e l a u n a y 剖分以及i c p 算法，吸取了i c p 的精华，且在一定程度上弥补了i c p 的缺陷。 现在的三维人脸识别技术很大程度上都是在理想状态下进行的，比如都是正面人脸， 无任何遮挡物或遮挡物很少，因而进一步的三维人脸识别技术将会朝着有遮挡物、非正面 人脸的方向快速发展。 关键词：三维人脸识别，特征提取，i c p ，d e l a u n a y i c p 浙江工业大学硕士学位论文 t h er e s e a r c ho f3 df a c er e c o g n i t i o n s m e t h o d s a b s t r a c t w i t ht h ed e v e l o p m e n to fo u rs o c i a la n dn e t w o r kt e c h n o l o g y , t h ea u t h e n t i c a t i o n sm e t h o d s b a s e do nb i o l o g i c a lc h a r a c t e r sh a v eb e e ns e a r c h e de x t e n s i v e ，s u c ha sf i n g e r p r i n ti d e n t i f i c a t i o n , i r i sr e c o g n i t i o na n df a c er e c o g n i t i o n i na l lo ft h eb i o l o g i c a lm e t h o d s ，t h ef a c er e c o g n i t i o nh a v e b e e nt h er e s e a r c h e r s f a v e sb e c a u s eo fi t sf e a t u r e si n c l u d ed i r e c t l y , f r i e n d l ya n dc o n v e n i e n t l y t h e2 df a c er e c o g n i t i o nh a sa ne x c e l l e n td i s c r i m i n a t i o nu n d e rt h ec o n s t r a i n tc o n d i t i o n ，b u ti t m a yb ei n f l u e n c e db yi l l u m i n a t i o n ，p o s t u r ea n de x p r e s s i o n t h e nt h e3 df a c er e c o g n i t i o n f o l l o w e d ，a n di tc a no v e r c o m et h e s es h o r t c o m i n gi na c e r t a i ne x t e n t i nt h i sp a p e rw ew i l le x p o u n d3 df a c er e c o g n i t i o nf r o mf i v ep i e c e s ：t h e3 dd a t a s a c q u i s i t i o n ，p r e p r o c e s s i n g ，3 df a c ed a t a b a s e ，f e a t u r ee x t r a c t i o n ，f a c em a t c h i n g t h em a i n c o n t r i b u t i o n so ft h ew o r ka r ea sf o l l o w s ： 1 p r o v i d e dat h o r o u g hs u r v e yo f t h e s t a t e o f - t h e - a r ti n3 df a c er e c o g n i t i o n 2 p r o p o s e da n e wm e t h o do fn a s a lt i pe x t r a c t i o n t h ef e a t u r ee x t r a c t i o ni sap i v o t a ls t e pi n 3 df a c er e c o g n i t i o n ，w eu s e ds y m m e t r i c a lp r o f i l et o g e t h e rw i t hg r a d i e n ti n f o r m a t i o nt og e tt h e n a s a lt i p 3 p r o p o s e dd e l a u n a y i c et h e i c pi sam a t c h i n ga l g o r i t h mo f3 df a c er e c o g n i t i o n ，i nt h i s p a p e r , t h ed e l a u n a y - i c po v e r c o m e st h ei c p ss h o r t c o m i n ga n d i n h e r i t si t sk e r n e l n o wt h e3 df a c er e c o g n i t i o ni so p e r a t e du n d e rp e r f e c ts t a t e ，s u c ha si nf r o n tf a c e ，n o h i n d r a n c e i nt h ef u t u r e ，t h i ss i t u a t i o nw i l lb ec h a n g e da n di tw i l lb em o r eb e n e f i t e df o rh u m a n k e yw o r d s ：3 df a c er e c o g n i t i o n ，f e a t u r ee x t r a c t i o n ，i c p , d e l a u n a y i c p 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名：旃威氏 日期：年吧月6 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密吖 ( 请在以上相应方框内打“”) 作者签名：前我氏 b 导师签名：朝国i 虱蓼厂、 f 易e l i 影 浙江工业大学硕士学位论文 第1 章绪论 1 1 背景 在现代社会中，个人身份认证技术的应用无处不在，并与日俱增，如考勤系统、用户 登录认证、机场安检、电子商务等。目前，大部分的身份认证技术还处于传统方式，比如： 证件，钥匙，密码。然而这些方法都具有不安全性，不方便等缺点，钥匙容易丢失，密码 容易遗忘或被盗，证书易于被伪造。这些传统的认证方式与当前的科技发展越来越脱节。 在目前国际社会局部地区经常遭受恐怖主义威胁的大环境下，特别是国家安全、军事安全 和公共安全领域，可靠的身份认证技术开始显得尤为重要。因此，我们急需一些更为方便 可靠的认证手段，来满足更高的应用要求。 人的生物特征具有唯一性、终生不变性、且不会被遗忘和丢失、不易伪造或被盗、随 身“携带 以及随时随地可用等优点，比传统的身份认证方法更具安全、保密和方便性。 与传统的自动身份认证方法相比，生物特征识别技术拥有非常突出的优点： ( 1 ) 生物特征识别技术“真正 做到了判别用户本人的身份，而传统的自动身份鉴 别系统不能区分合法用户和持有合法用户的磁卡或者口令的非法入侵者。生物特征识别系 统使用人的生理或行为特征来判别身份，这些特征是人本身所固有的、独特且不容易改变 的，不可以借给其他人使用。 ( 2 ) 生物特征识别技术能够提供更方便的用户服务。生物特征不会像口令或者磁卡 那样容易被遗忘或者丢失，用户自身就是“通行证 。 ( 3 ) 生物特征识别技术能够提供更高的安全级别。生物特征不存在口令泄密和磁卡 被盗问题，并且在一个活人身上伪造另一个人的生物特征是非常困难的。 ( 4 ) 生物特征识别技术能够提供主动监控技术。例如，把人脸识别系统的摄像机安 装在某些重要场合，可以在人们不知道且不必主动配合的情况下发现非法入侵者。 生物特征是我们人体所固有的各种生理特征或者行为特征的总称。生理特征多为先天 性的，不随外在条件和主观意愿发生改变，如指纹、掌纹、虹膜、人脸等；行为特征则是 人们长期生活养成的行为习惯，很难改变，如笔迹、步态等。 因为生物特征的这些因素，国内外研究者已经朝着生物特征识别的方向走了很长一段 时间，因此当前的一些生物特征识别技术也已经相对成熟，如指纹识别，虹膜识别。而人 一1 一 浙江工业大学硕士学位论文 脸识别在经过几十年的发展也已经慢慢的开始展露头脚，虽然基于指纹和虹膜的身份认证 技术比人脸识别技术具有较高的准确性和可靠性，但人脸识别拥有自然、友好、用户干扰 少、易被用户接受等优势而有更广阔的应用前景【1 ，因此国内外研究者现在都朝着人脸识 别技术的快速发展而努力。 1 2 人脸识别 广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、 人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸 进行身份确认或者身份查找的技术或系统。人脸识别在近几十年来，已经成为各国内外大 学、公司、研究院的研究热点。 相对于其他生物特征识别，人脸识别的主要优势在于其自然性和不被被测个体察觉等 特点。 所谓自然性，是指该识别方式同人类( 甚至其他生物) 进行个体识别时所利用的生物 特征相同。例如人脸识别，人类也是通过观察比较人脸区分和确认身份的，另外具有自然 性的识别还有语音识别、体形识别等，而指纹识别、虹膜识别等都不具有自然性，因为人 类或者其他生物并不通过此类生物特征区别个体。 不被察觉的特点对于一种识别方法也很重要，这会使该识别方法不令人反感，并且因 为不容易引起人的注意而不容易被欺骗。人脸识别具有这方面的特点，它完全利用可见光 获取人脸图像信息，而不同于指纹识别或者虹膜识别，需要利用电子压力传感器采集指纹， 或者利用红外线采集虹膜图像，这些特殊的采集方式很容易被人察觉，从而更有可能被伪 装欺骗。 虽然人脸识别有很多其他识别无法比拟的优点，但是它本身也存在许多困难。人脸 识别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一。人脸识别的困 难主要是人脸作为生物特征的特点所带来的。人脸在视觉上的特点是： 1 不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形 都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体 是不利的。 2 人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度， 人脸的视觉图像也相差很大，另外，人脸识别还受光照条件( 例如白天和夜晚，室内和室 外等) 、人脸的很多遮盖物( 例如口罩、墨镜、头发、胡须等) 、年龄等多方面因素的影响。 浙江工业大学硕士学位论文 当前的人脸识别主要有两种类别：二维人脸识别和三维人脸识别。 1 3 二维人脸识别 1 3 1 二维人脸识别简介 传统的人脸识别方法主要基于二维彩色或灰度图像，这就是我们所说的二维人脸识 别，由于数字图像采集设备的快速普及，人脸的二维图像获取非常容易而且成本较低，因 此，过去的十年间研究人员大都是在处理二维人脸识别技术，具有代表性的主要有以下几 类3 】： ( 1 ) 基于几何特征的方法e 4 , 5 】 基于几何特征的人脸识别方法是在抽取人脸图像上显著特征的相对位置及其参数的 基础上进行识别的。人脸由耳、鼻、口、眼等主要器官组成，因此基于几何特征的人脸识 别方法就是对这些显著特征进行提取，进而识别。然而这种方法也有其局限性，它对图像 的要求很高，如果人脸有转动，或者有表情，或有遮挡物，那就会对特征点检测起到很大 的影响，进而影响识别效果。 ( 2 ) 基于模板匹配的方法 基于模板匹配的方法最具代表性的是特征脸识别。何谓特征脸? 它是一组人脸训练图 像构造的特征子空间，因为该子空间中的向量类似脸的形状，因此称为特征脸【们。特征脸 技术在识别时将测试图像投影到特征子空间上，然后计算人脸在该空间中的相似度。 弹性匹配方法也是模板匹配的一种经典方法，通常的模板匹配法如前面提到的特征 脸，都是先抽取图像模板，然后将两副图像的模板进行比较。然而弹性匹配方法却是使用 网格来作为模板，从而将图像间的比较转变成为网格间的比较。对于网格上的每一点抽取 一定的特征信息，如灰度值、梯度值、傅里叶变换系数值、小波变换系数等，形成一组特 征矢量，并用这些特征矢量来代表图像进行匹配【3 1 。 除了以上两类经常使用的方法，还有一些基于神经网络、基于支持向量机的方法。 1 3 2 人脸识别从二维到三维 经过研究人员的不断努力，现在的二维人脸识别技术已经相对成熟，在一定约束条件 下已取得较好的识别结果。然而，进一步的研究展现了这么一个局面：光照、姿态、化妆、 表情、年龄等变化显著地降低了二维人脸识别算法的性能【1 3 7 咧： 表情：人拥有各种各样的表情，微笑、大笑、生气、平静等等，让计算机能够在不同 一3 一 浙江工业大学硕士学位论文 的表情下进行正确的人脸识别是非常困难的。 姿态：头部的偏斜、转向影响了摄像机的拍摄角度，不同的姿态导致获得的图像差别 很大。 光照：光照的影响在二维人脸识别中尤为明显，通常需要预处理来降低光照变化的影 响。 遮掩：眼镜、头发、其他遮挡物对人脸的遮挡。 人数变化：当数据库中的人数变的越来越多的时候，算法性能近似的以人数的对数线 性下降。 正因为二维人脸识别所面临的这些巨大困难与挑战，近十年间学术界一直在寻找一种 更好的方法来改变这个局面，努力的去提高系统的识别能力，最终利用人脸的三维信息进 行识别成为了一个最主要的探索方向。三维人脸识别是相对基于图像的人脸识别而言的， 而基于图像的人脸识别也就是上面所提到的二维人脸识别，正如前面所述，二维人脸识别 所使用的数据是二维图像，其本质是三维物体在二维平面上的投影，这也正反映出了三维 人脸识别的发展前景，这是因为：首先三维人脸识别与二维人脸识别的大体思想一致，这 样有了二维识别的基础，进行三维研究会相对更简单；其次，二维人脸识别的一些方法可 以直接拿来使用到三维人脸识别上，或者改进一下就可以直接使用了，如此给人一种激励， 进而去寻找更好的算法。 1 4 三维人脸识别 1 4 1三维人脸识别技术产生的背景 二维人脸识别由于受光照、表情、姿势等的影响，它的性能提升遇到了很大的挑战， 三维人脸识别应运而生。三维数据真实反映了对象在三维空间中的形状，若是三维深度数 据，则数据还表征了对象的实际尺寸，用三维数据无需考虑投影变换【3 1 。由于二维的图像 数据本质上是三维物体在二维空间上的投影，造成同一对象在投影平面上具有多变的二维 表现，即同一个人的脸部图像随姿态而变化的多样性。与二维图像想比，三维人脸数据的 优点如下：用三维数据做人脸姿态检测远易于二维图像，且姿态变化不会使信息造成丢失， 若不考虑数据获取过程，三维数据不受光照影响。表情的影响更容易处理。 近年来，学术界开始探索如何利用人脸的三维信息提高系统的识别性能，如美国f b i ， n i s t 等多个部门联合资助发起的“人脸识别大挑战计划( f a c er e c o g n i t i o ng r a n dc h a l l e n g e ， f r g c ) 【1 0 1 。 一4 一 浙江工业大学硕士学位论文 1 4 2 三维人脸识别技术的应用 1 4 2 1 三维人脸识别技术在门禁系统中的应用 门禁系统，又称出入管理控制系统，是一种管理人员进出的数字化智能管理系统。门 禁的概念其实早就在我们生活中，如：每家人都装了门和锁，只有自己家里人有钥匙的才 能进入。外面的人来访，屋内的人听到敲门声，知道有人来访，问清是谁后决定开与不开。 随着社会电子化智能程度的深入，现在我们可以看到的门禁系统包括：密码门禁系统、刷 卡门禁系统、生物识别门禁系统。三维人脸识别技术就属于生物识别门禁中的一种( 其余 包括指纹，虹膜等) 。为什么要把三维人脸识别技术使用到门禁系统中呢? 主要有以下几 个优势：自然、友好、用户干扰少、易于被用户接受。密码门禁系统需要用户输入密码， 刷卡门禁需要用户刷卡，而三维人脸识别门禁就不需要这么繁琐，只有符合数据库中的资 料，此用户就能直接进入，这样省去了很多麻烦。而且密码刷卡这些门禁安全性低，比如 密码被外人知道，卡被外人偷走，这都会造成不可估量的后果，人脸识别就没有这种后顾 之忧。因此三维人脸识别技术已经慢慢的普及到大多数门禁系统中了。 1 4 2 2 三维人脸识别技术在视频监控中的应用 当今社会，视频监控无处不在，不论是超市，公司，还是学校，只要一抬头就能看到 摄像头。视频监控的主要作用当然表现在了监控的有效性上面，如果摄像头能记录下每个 人，然而却识别不出来这个人是谁，那视频监控的说法就是虚无的了。因此三维人脸识别 技术在视频监控中慢慢的占据了关键地位，因为此技术能很好的识别出摄像头记录下的人 物，这样也就起到了保障安全的作用。 1 4 2 3 其他方面的应用 除了以上提到的两种应用，三维人脸识别还在很多方面都有广泛的应用，如机场安检、 智能空间、自然人机交互等。以自然人机交互为例，现在的很多笔记本也都附带了人脸识 别功能，系统第一次启动后会先扫描用户的人脸，然后保存到系统数据库中，等下次启动 后，系统还是会扫描用户人脸，然后与数据库中的比对，如果识别不了就不能进入系统。 当然这是最简单的人机交互。 1 4 3 三维人脸识别的国内外发展概况 三维人脸识别经过近二十年的发展，已经产生了很多优秀的方法。三维人脸识别中的 一5 一 浙江工业大学硕士学位论文 最关键的两步骤是特征提取与人脸匹配，国内外研究学者也都分别从这两方面进行了深入 的研究。 三维特征点的提取是把三维人脸模型转变成为使用特征表示，利用这些提取出的特征 来充分体现整个三维人脸模型。三维人脸识别中，最基本的识别方法是对整个模型的三维 坐标信息进行匹配，m e d i o n i & w a u p o t i t s c h 引进的迭代最近点( i c p ) 方法就是这个思路。 除此之外，大部分的三维人脸识别研究都是基于较抽象的空间几何特征进行的，如t a e k y u nk i m 1 1 j ，他使用曲率特征来对三维人脸数据进行正态化及特征点提取，首先通过对头 部进行旋转，使用人脸的对称性及特征改变来进行三维数据的正态化。正态化数据以后， 通过可变型的特征模板( 眼、鼻、嘴) 来提取特征。g o r d o n 也是根据曲率对人脸图像进行 分割，然后提取出描述了的曲率和尺寸大小的特征作为识别特征，最后以最近邻法完成特 征匹配。基于曲率的研究除了上面提到的，还有先基于高斯曲率分割深度图像，再对分割 出来的各个区域进行特征向量的提取；l e e & m i i l i o s 根据曲面的均值曲率和高斯曲率从深度 图像中提取出凸起的区域，然后对各凸起区域进行e g i 特征提取；c a r t o u x 等根据曲面的 主曲率分割深度图像，并由此找到人脸对称平面，进而提取出侧面轮廓，然后根据对称平 面的位置信息完成曲面的匹配，最后将侧面轮廓匹配和人脸表面匹配的结果相结合得到最 终的识别结果1 3 】。 上面所述的识别方法都是在几何空间中提取特征，除此以外还有一些特征是在有特别 意义的空间中运算的，比如二维人脸识别中基于特征脸的方法，同样三维人脸识别也可以 使用此种方法，t a k a s h iy a h a g i t l 2 】就是使用特征脸技术进行人脸识别，他们首先使用几何度 量方法对原始三维人脸图像的姿势进行补偿，然后从三维图像中提取出二维的纹理数据和 三维的形状数据以供识别。接着使用p c a 对二维纹理图像和三维形状图像进行标准化，形 成特征脸，最终使用f c m 和平行神经网络进行人脸识别。 前面提到的技术大都是针对特征的提取，而人脸识别方面，除了单一的匹配方法以外， 也出现了很多结合两种或多种方法进行识别以提高精确度的技术，如b e r kg o k b e r k 1 3 】提出 了使用基于排列的熔合方法进行三维人脸识别来提高精确度。他们通过使用分类器( 这些 分类器都是由主流的技术熔合而成) 来进行人脸识别，这样结合各种识别技术，提取出所 有技术的精华，提高了识别率。现在主要分平行组合和分级组合两类分类器，如图1 - 1 1 1 3 】 和图卜2 【1 3 】。 除此以外，a n u js r i v a s t a v a 1 4 】使用了深度图像的最佳线形组合来进行人脸识别。首先 把三维人脸线性投影到低维子空间( 使用最近邻法分类器或支持向量机) ，并标记。然后 浙江工业大学硬士学位论文 使用最佳组合分析来学习这个子空间，最终实现人脸识别；文献【1 毋提出使用i c p l l 8 算法 图1 - 1 平行组台分类器 图l - 2 分级组合分类器 结台高斯混合模型进行人脸识别。我们知道i c p 算法和高斯混合模型分别都可以用于三维 模型匹配，现在先使用i c p 对测试人脸和目标人脸建立关联，然后再使用高斯混合模型区 分出深度图像的内外信息区别，晟终得出了一个e e r 为26 7 的结论：x i a o g u a n gl u ”1 通 过融合深度信息和纹理信息进行三维人脸识别，实验中每个三维模型都是由多个不同视角 浙江工业大学硕士学位论文 的2 5 维图像整合而成。识别过程由两部分组成：面匹配和基于外观匹配，面匹配基于i c p 算法，基于外观匹配则承接面匹配的输出进行匹配。 相较国外的三维人脸识别方法，国内也有很多优秀的方法，如刘晓宁i l8 】的基于m e g i 模型的三维人脸识别方法，他的方法主要基于m e g i 模型，然后通过扩展球面相关性系数， 来进行三维人脸识别；冯悦【1 9 】的基于二维g a b o r 小波特征的三维人脸识别算法，他采用二 维g a b o r 小波特征精确且稳定地描述了人脸特征，重建了三位人脸模型并对其进行模板匹 配，对匹配后的三维人脸模型进行线性辩别分析；何维来【2 0 】使用基于v o r o n o i 域积分来进 行三维人脸识别，使用v o r o n o i 域积分可以以定程度上解决二维人脸识别中的光照、化妆、 姿态等问题。文献首先利用基于网格简化方法把原始的离散点云表示成规则的三角化人脸 网格，然后抽取基于v o r o n o i 域积分的三维人脸集合特征，并利用主成分分析对人脸的几 何特征向量进行降维处理，最后利用马氏距离进行了相似度量。除此以外还有融合多种几 何特征的三维人脸识别、基于三维局部二值模式和核判别分析的三维人脸识别、基于轮廓 线的三维人脸识别等等【2 l - 2 4 。 尽管国内三维人脸识别的研究起步较国外晚了许多，但近几年的发展非常快速，已经 成为了国内研究的热点，主要研究人员集中于清华大学、浙江大学、哈尔并工业大学、吉 林大学等高校和与其相关的一些高新技术企业。纵观前面所述，国内在三维人脸识别的理 论和方法研究水平方面已经达到或已经接近国际水平，然而使用此技术的实际应用产品的 开发研制却相对滞后很多，市场上很少能看到打着三维人脸识别旗号的应用产品。 1 4 4 三维人脸识别研究的困难与挑战 二维人脸识别的技术已经相对成熟，但受外界的影响太大，所以产生出三维人脸识别 技术。然而虽然三维技术能克服大部分二维技术的缺点( 光照，姿势等等) ，它也有自身 的困难【2 ，2 5 。2 6 】。 1 ) 三维数据的获取比二维图像困难的多。首先，大多数三维数据获取设备只能扫描 几米之内的物体；其次，相对数字图像而言，三维设备扫描时间较长，要求扫描对象在秒 级时间内保持静止状态，获取过程对用户干扰太大。 2 ) 基于三维数据的人脸识别算法在计算复杂度上要高于二维图像，因为三维识别的 数据容量和计算量是十分巨大的，一次匹配人脸所需的时间远远大于二维图像。这样就给 存储和运算带来了困难，也对计算机硬件设备提出了更高的要求。 3 ) 虽然三维数据有形状信息，但正是因为这一点，其受形变的影响也更加突出了， 浙江工业大学硕士学位论文 如何解决人脸形变问题，仍是目前三维人脸识别研究的难题。 4 ) 影响二维识别的不利因素，如光线的强弱，方向，遮挡物，阴影，背景在三维人 脸识别中同样存在，只不过二维认识是在整个过程中都会影响，而三维只是在获取数据的 时候会有影响。 5 ) 实现方式和手段相对不足，传统的识别方法很多都不适用于三维识别，所以必须 改进或采用新的方法。比如：由于动态图像的计算量太大，适用于静态图像处理的神经网 络就变得不很合适了；又如：h m m 虽然适合于连续识别，但其训练复杂，判别误差能力 差，概率相互独立，不利于先验知识的利用。 但综合考虑，不难看出，目前三维识别技术发展越来越快，首先，三维数据获取方面， 现在已经有很多机构都有自己的专有数据库了，虽然有很多不免费，但不远的将来，三维 获取肯定会更加方便。其次，现有的三维人脸识别算法正在快速的从各方面改进，如时间 效率，识别率；另外深度图像分析的发展，为三维面貌识别提供了更大的可能和方法【2 7 1 。 1 5 本文的主要研究内容及章节安排 论文任务主要针对现有的免费三维人脸数据库，把数据库中的人脸分成两类：模板类、 识别类。研究三维人脸的特征提取方法，设计三维人脸识别技术，以形成实用系统的关键 部分。 本论文具体目标包含两部分：1 ) 进行三维人脸识别技术的理论和方法研究；2 ) 改进 三维人脸识别过程中时间效率的实验系统，进而使用到已有的识别系统中。 理论和方法研究主要针对以下几方面： 1 ) 三维数据的特征选择：包括眼睛、鼻尖、嘴巴等关键特征点。 2 ) 三维数据关键特征点准确获取的各种方法。 3 ) 选取出特征点后，通过人脸匹配算法进行人脸识别。 实验系统主要完成三维匹配算法的时间效率改进，使得匹配算法在实际系统的使用中 让人能够接受。 全文共分六章。 第一章，绪论。主要介绍一下人脸识别产生的原因背景以及二维人脸识别的简单介绍， 详细阐述了三维人脸识别，现有的一些技术以及国内外的发展概况。最后提出现在的三维 人脸识别所面临的困难与挑战。 第二章，三维人脸数据的获取及预处理。介绍了一下现在的三维人脸数据获取的过程 一9 一 浙江工业大学硕士学位论文 及困难。然后对现存的三维数据库做一些简单的说明。最后重点讲解了对三维数据的预处 理，因为刚得到的三维数据有很多的噪声和杂质，如果要提高识别率就需要把这些噪声和 杂质首先去除。 第三章，特征提取。首先介绍所需提取的关键特征点：眼角、嘴角、鼻尖等。然后对 现有的特征提取技术做一个概括，并分析了优缺点。最后提出本文所使用的特征提取方法。 第四章，三维人脸匹配。先讲解人脸匹配的原理，接着对各种现有的人脸匹配算法进 行介绍说明。 第五章，基于d e l a u n a y i c p 的匹配技术。对i c p 算法进行详细的阐述，提出i c p 算 法的优缺点并分析。由i c p 算法的缺点引申出本文的算法，d e l a u n a y i c p 。 第六章，总结与展望。对本文的各个技术点进行总结，同时提出未来的可能发展路线， 指出今后可以继续展开研究的工作方面。 浙江工业大学硕士学位论文 第2 章三维人脸数据的获取及预处理 要使用三维人脸识别技术，必定需要先得到三维人脸数据。然而经过仪器得到的初始 三维数据都会有噪声。因此在本章中我们首先介绍一下三维数据获取的几个不同方式，然 后对现有的一些人脸数据库做个简单介绍，最后再探讨一下对初始三维数据的预处理。 2 1 三维人脸数据的获取 获取人脸的三维数据是三维人脸识别的第一步，它的技术随着信息化技术的进步而快 速发展，当前获取三维数据的设备和方法主要可以分成两方面：一是复杂的硬件装置结合 简单的算法获取数据；另一方向是采用普通相机采集图像，然后使用复杂的计算机视觉算 法来获得数据。 结构光是其中的一种经典主动视觉方法，它由一个激光源和一个摄像机组成，通过对 激光源发出的光束进行反射后照射到物体上，在物体上形成一个亮条，从而使得摄像机采 集的图像上面有一对应亮条，这样就能有效的解决双目视觉中对应点的匹配问题。使用结 构光方法的主要有结构光投影相移法，此方法对被测物体的背景颜色，光照等的影响非常 小，测量精度相对较高，但使用这种方法得到三维形貌，需要拍摄3 幅或3 幅以上的光栅 投影图，所以它一般只适用于对静态物体三维形貌测量。对于动态物体的三维形貌测量， 可以使用结构光投影傅里叶变换法，即结构光投影结合傅里叶变化，它只需拍摄1 幅光栅 投影图，就能解调出物体的三维形貌，然而它易于受到被测物体的背景颜色，光照等的影 响，因此无法解调出人脸这样的复杂表面1 2 8 1 。 可见的结构光使用激光代替，就是所谓的激光扫描了，它的原理和结构光类似。三维 激光扫描仪在当前工业或商业中的应用是最普遍的，其中最著名的就是c y b e r w a r e 公司的 三维扫描仪和美能达公司的v i v i d 系列了，还有一些如m i n o l t a - e u r o p e ，m e m s 等公司的 扫描仪。 除了以上提到的基于结构光方法，还有另一种常用的三维人脸获取技术：立体视觉【3 】。 立体视觉指通过一个场景的两幅或多幅不同视角的图像来推理获得场景的三维结构信息， 它的基本工作原理基于人眼的三维感知机制。人的两只眼睛在视物的时候，因为所处的角 度不同，看到的图像也有一定的差别。利用这种差别信息可以得到物体到眼睛的距离，即 浙江工业大学硕士学位论文 物体的三维结构信息。最基本的双目立体关系如图2 1 【3 】所示，它是由两个完全相同的摄 像机构成，两个图像位于一个平面上，两个摄像机的坐标轴相互平等，且x 轴重合，摄像 机之间在x 方向上的间距为基线距离l 。在这个模型中，场景中同一特征点在两个摄像机 图像平面上的成像位置是不同的。场景中同一点在两个不同的图像中的投影点被称为共轭 对，其中的一个投影点是另一个投影点的对应，求共轭对就是求解对应关系的问题。而两 幅图像重叠时共轭对之间的位置之差称为视差。 图2 - 1 双目立体视觉示意图 目前在商业产品中，基于立体视觉技术的三维数据获取系统主要有s h a p ec a p t u r e 、 t r i c l o p s 等。 2 2 三维人脸数据的预处理 当前的三维人脸数据主要是通过前一节所述的三维扫描仪获得。因为这些获取的三维 数据都是用三维点云或面片描述面部表面的几何形状，所以我们一般都称之为深度图像。 然而通过扫描仪获取的数据，始终存在着噪声，而且不同时间段取得的数据，姿态表情都 不可能一模一样，利用相异的设备取得的数据也会有所差别。三维人脸识别需要精确的数 据，这样才能得到更精确的识别，因此，三维数据的预处理就显的特别重要了。 我们可以通过使用最小二乘适应法结合b s p l i n e 对获得的三维人脸数据进行预处理来 去除相关噪声【1 5 】。一般，通过三维扫描仪取得的数据，很多会包含颈部的数据，而我们在 识别过程中却不需要这些数据，因此预处理的第一步是先处理掉这些对识别无关紧要的部 位，可以通过k - m e a n s 聚类方法处理。去除掉这些无关部位后，接着使用最小二乘适应法 把数据映射到一个合适的平面，然后旋转点云和此平面，这样主次轴上的数据都能映射到 平面上的x ，y 轴了，那些噪声因为拥有高曲率微分而容易分辨，这些点就能够直接去除。 一1 2 浙江工业大学硕士学位论文 经过这样的处理后，鼻尖点，鼻梁点，眉毛点很容易就能得到，然后通过b s p l i n e 轻松的 提取出如图2 2 的等高线。 图2 - 2 人脸剖面等高线 图2 3 有噪声人脸剖面等高线 假如有噪声，如图2 3 ，a ，b ，c 为噪声点，那么提取出的鼻尖点，鼻梁点都不一定 准确了，因此对获取的三维人脸数据进行预处理是必不可少的。 除了上面提到的方法，还有一个常用方法就是先提取出鼻尖点，然后再进行预处理， 即去除噪声1 2 9 1 。这种方法的关键就是鼻尖点的准确提取，可以通过迭代方法取得鼻尖点： 每个三维人脸被水平的切分成d v 块，初始d v 选取大值以便增加速度，一旦鼻子被粗糙的 定位了，就以小值d v 重复相同步骤。每个切片的数据点都用统一的间隔插值，以便覆盖 每个洞( 原始数据瑕疵的一种) 。接下来，切片上以d h 为半径做圆，然后内接一个三角形， 如图2 4 f 2 9 1 。改变d h 继续进行以上步骤，拥有最大高度( a l t i t u d e ) 的三角形的那个点即 为潜在鼻尖点。然后对所有切片重复以上两个过程，取得所有候选点。在这些候选点中选 取拥有最大高度的点作为鼻尖点。最后以r = 8 0 m m 为半径，取出三维人脸，如图2 - 5 1 2 9 1 。一 旦这个人脸被裁截出来，那些由于无用点产生的“长刺”就能被直接移除了。 一1 3 一 新江工业太学硕士学位论文 图2 4 鼻尖点提取 图2 - 5 人脸裁剪 三维人脸数据的预处理至关重要，它关系到以后识别的精度，因此寻找一个优秀的预 处理方法也是关键的一步，幸而现在的三维人脸识别研究直接使用了现有的三维人脸数据 库，因此预处理这一步可以省略不做，因为数据库中的三维人脸都是经过预处理的，相对 来说噪声已经非常小，可以忽略不记了。对于那些希望建立自己特有的三维人脸数据库并 进行三维识别实验的研究者来说，三维数据的预处理不可忽视。 2 3 三维人脸数据库 如同二维人脸识别有人脸数据库，三维人脸识别也需要数据库，通过获取三维人脸数 据并经过预处理后保存这些数据，就形成了三维人脸数据库。不同于二维人脸库，现在免 费的三维人脸数据库还较稀少，目前国际上有较大规模的三维人脸数据库也只有三四个， 如f r g c v 20 、f e r e t p ，国内如浙江大学的z j u3 d f e d 等可以供学术界免费使用。尽 管免费大规模数据库只有几个，但这也为各种三维人脸识别的研究及各种识别算法提供了 一个很好的比较平台。2 0 0 4 年以前，在三维人脸识别领域一直缺少大规模的公用数据库， 一般都只有几个人，几张脸，而且都是无表情的，因而很难比较各种识别算法的优劣性。 一】4 一 浙江工业大学硕士学位论文 最近卜3 年，越来越多的研究组织开始自己建立专用数据库。表2 一l 圆所示为现有的一小 部分数据库，其中一部分可供研究者免费使用。 表2 - 1 三维人脸数据库概述 数据库 描述文献是否免费 f r g cv 2 0 数据在一年左右的时间内采集，从2 0 0 3 年春天【1 0 】 是 到2 0 0 4 年春天，共计5 5 7 人、4 9 5 0 个模型，包 含不同表情、不同性别、不同地域、不同年龄段 的对象 3 d r m a 1 2 0 人，每人6 个点云深度数据，分两个时间段 是 采集 z j u t - 3 d f e d 4 0 人，共3 6 0 个模型，每个人9 个三维数据， 【3 1 】 是 包括3 个中性表情、2 个微笑、2 个皱眉、2 个 惊讶表情 b j u r - 3 df a c e5 0 0 人，每个人1 个三维数据，数据精读高，经是 d a t a b a s e去噪处理 m s u 1 0 0 人，每个人均有5 个视图构造的较完整的三 3 2 】 否 维模型，共计6 9 8 个模型 f i u s m至少1 6 6 人，每人多种表情，采集对象来自不同 否 种族 a r i s t o t l eu n i v e r s i t yo f5 0 人，共3 0 0 0 个模型，3 3 个男性，1 7 个女性， 【3 3 否 t h e s s a l o n i k i拥有不同德表情、光照和姿态 中国科学院自动化所1 2 3 人，每人3 7 或3 8 个深度数据，包含各种不【3 4 】 否 模式识别国家重点实同条件下的不同组合，共4 0 5 9 个模型 验室 b u 一3 d f e 1 0 0 人，每人l 中性模型和6 表情模型，采集对 3 5 】 是 象包含不同人种4 4 名男性，5 6 名女性 2 4 小结 本章首先对现存的三维人脸数据获取技术进行了详细的综述，要进行三维人脸识别的 研究，首要的条件就是要有三维人脸数据库，本章列举了一些现有的三维人脸数据库，其 中包括收费与免费的两种。因为初始获得的三维人脸数据肯定或多或少的受外界影响，因 此需要对初始数据进行预处理。本章接着对一些现有的优秀预处理方法进行了介绍。 浙江工业大学硕士学位论文 第3 章特征提取 特征的表达和提取在整个三维人脸识别过程中起着关键的作用，其目的在于发现数据 间的联系，并表现出差异。我们首先需要选择整个人脸中的一些特征点或区域，这些特征 点或区域都是有代表性的，这就是通常所说的特征选择，然后对这些选择的点或区域进行 提取，以备接下来的阶段使用。在这章中，我们先讲解三维人脸识别中所需要的几个基本 特征点，然后介绍一些现有的优秀的特征提取方法，最后提出本文所使用的特征提取方法。 3 1 特征点的选择 所谓特征，就是被研究现象的属性或特性，它，f r j 8 p 二够接受观察和测量。三维人脸识别 中，之所以要提取特征点是有很大原因的。首先，整个三维人脸数据非常大，如果不提取 特征点，直接用全部数据进行比较识别，那这个过程的时间量是无法容忍的，如果时间长 的让人无法容忍了，这项技术也就没任何含义了，因为现代人对时间的宝贵已经有了足够 的认识了。其次，每个人脸之间都有差异，世界上没有任何完全相同的两样东西，因此为 了要识别出三维人脸，我们就需要尽可能的找出相对不变的数据，也就是现在所说的特征 点了。综上所述，特征点的选取对于三维人脸识别来说是必不可少的一步。 现在的关键就是怎么去确定这些特征点了，如果随便去定义一些，那就无任何含义。 当前三维人脸识别中选取的基本特征点( 基本特征点的变化最小，几乎可以忽略) 主要有 这么几个：两# i - h e 角，两内眼角，鼻尖，两嘴角。为什么要选取这几个作为最基本的特征 点呢? 因为这几个点相对于整个三维人脸数据来说是具有最大不变性的。人都是有表情 的，一个微笑，一个大笑就能改变脸部的数据点的位置，因此脸部的点都是可变的，不作 为最基本的特征点；微笑的时候嘴张开，生气的时候嘴合并，这样两种表情就能够使的嘴 唇上的数据改变，因此嘴唇也被去除出基本特征点的行列。同理，其他的也被去除，最终 只剩下眼角、嘴角、鼻尖这几个基本的特征点。通过这几个基本特征点，虽然已经可以进 行人脸识别，但毕竟只有很少的数据，精确度肯定很差，因此我们还需要提取出一些特征 点，就是这些基本特征点附近的数据，因为这些数据点相对于其他点改变性会4 4 e 多。基 本点如图3 1 所示。 浙江工业大学硕士学位论文 3 2 特征点的提取 经过上面一小节的描述，我们知道了需要首先选取出哪些基本特征点。现在主要有两 图3 - 1 人脸的7 个基本特征点 个大方向的方法：手动提取和自动提取。不过经过这么多年的发展手动提取基本特征点 的方法己经慢慢消失了，困为它的缺点超过了优点：首先现在三维人脸数据的获取越来 越方便，因此整体数据量就变的很大，假如有1 0 0 0 组人脸数据，如果用手工标注的话， 那肯定是会让人无法容忍的。其次，手工标注靠的是经验，技术，就算看上去觉得自己标 注的点是正确的，其实也不一定而基本特征点是三维识别中的关键一步，容不得半点马 虎。综上所述，人工标注的时代已经过去，自动提取的时代正在如火如荼的进行。 ) ( i a o g u a n gl u l ”1 提出了使用多峰特征提取的方法，在鼻尖点被提取出来后，通过深度 跌射和强度映射进行溶合从而精确的提取出其它的几个特征点。如图3 - 2e 3 6 1 ，取得鼻尖点 以后，使用鼻尖通过平移调整整个统计模型，使得每个特征点的搜索区域限制在图3 - 2 中 代表各特征点的椭圆形中。 在深度映射方面，为每个点