（通信与信息系统专业论文）基于脸纹的人脸识别方法.pdf

中国科学技术大学学位论文相关声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究 工作所取得的成果。除已特别加以标注和致谢的地方外，论文中 不包含任何他人已经发表或撰写过的研究成果。与我一同工作的 同志对本研究所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权， 即：学校有权按有关规定向国家有关部门或机构送交论文的复印 件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名；艄豸 如- 年l 其沙e t 中国科学技术大学硕士学位论文 摘要 随着科学和社会的发展，各个方面对快速有效的自动身份验证的要求也日趋迫 切。目前，通过电子计算机、光学、声学、生物传感器和生物统计学原理等高科技 手段的密切结合，出现了利用指纹、人脸、虹膜、笔迹、声音、步态等人体固有的 生理特性和行为特征来鉴定人的身份的技术。人脸自动识别技术是生物特征识别技 术的重要组成部分，是人工智能和模式识剐领域中非常活跃的课题。与指纹、声音、 虹膜、语音等其他人体生物特征相比，人脸识别更加直接、友好，在身份识别、访 问控制、视频会议、档案管理、电子相册、基于对象的图像和视频检索等方面有着 广泛的应用。 九十年代开始，尤其是近几年来，人脸识别的进展非常迅速，它主要分为人脸 检测和人脸识别两大方面的内容。本文首先回顾了人脸检测、识别的进展。人脸检 测就是从被识别的图像中检测人脸所在的区域，是进行人脸特征提取的前提。人脸 识别就是就是对被检测出的人脸与实际的已知的人脸进行比对、识别，从而达到某 种应用的目的。文中深入地探讨了人脸区域特征定位和面部特征提取技术，以及脸 纹特征的入脸识别。本文主要介绍了人脸图像中人脸的面部特征定位、提取和面部 特征的编码、检索技术。面部识别技术在本文中分为样本拾取、特征提取、特征编 码、匹配等几个过程。在待识别的图像输入后，人脸部的唯一性特征就被拾取，并 创建人脸的识别特征。在经过格雷码编码从而生成脸纹特征。待识别的人脸图像经 过脸纹编码后，与存贮在数据库中的人脸编码进行比对，从而检索出人脸信息。实 验表明进行人脸的识别时具有较高的准确率和很强的实用性。 关键词：人脸特征定位，特征提取，特征编码，人脸识别 中国科学技术大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fs c i e n c ea n ds o c i e t y , al o to fa s p e c t sh a v ea l lu r g e n t r e q u i r e m e n ti nt h ea u t o m a t i cr a p i da n de f f e c t i v ei d e n t i t ya u t h e n t i c a t i o n a tp r e s e n t , t h r o u i g hc l o s ec o m b i n i n g t h eh i g h - t e c h e so ft h ec o m p u t e r 、o p t i c s 、a c o u s t i c s 、b i o s e n s o r a n db i o s t a t i s t i c s ，s o m et e c h n o l o g i e sh a v ea p p e a r e dt oi d e n t ：i 母p e o p l e si d e n t i t yu s i n g h u m a n si n h e r e n tp h y s i o l o g i c a la n db e h a v i o r a lc h a r a c t e r i s t i c e ss u c ha sf i n g e r p r i n t 、 h u m a nf a c e 、i r i s 、ap e r s o n sh a n d w r i t i n g 、v o i c ea n dp a c e t h et e c h n o l o g yo ff a c e s a u t o m a t i c a lr e c o g n i t i o ni st h em o s ti m p o r t a n tp a r to ft h et e c h n o l o g yo fb i o t e c h s r e c o g n i t i o n , a tt h es a l n et i m e i sav e r ya c t i v et a s ki nt h er e a l mo ft h ea r t i f i c i a l i n t e l l i g e n c ea n dp a t t e mr e c o g n i t i o n c o m p a r i n gw i t ho t h e rb i o - c h a r a c t e r i s t i c e ss u c ha s f i n g e r p r i n t , v o i c e , i r i sa n ds o u n d ，f a c er e c o g n i t i o ni sm o l ed i r e c ta n df r i e n d l y , a n dh a sa n e x t e n s i v ea p p l i c a t i o ni nt h ea s p e c to f i d e n t i t yr e c o g n i t i o n 、a c c e s sc o n t r o l 、v i d e om e e t i n g 、 a r c h i v ea d m i n i s t r a t i o n 、e l e c t r o na l b u m 、i m a g ea n dv i d e os e a r c h e sb a s e do no b j e c t i nr e c e n ty e a r s ，t h et e c h n o l o g yo ff a c er e c o g n i t i o nh a sd e v e l o p e dv e r yr a p i d l y t h i s d i s s e r t a t i o nm a i n l ys t u d i e st h ea p p r o a c h e so f f a c i a lf e a t u r e sl o c a t i n ga n df a c er e c o g n i t i o n f i r s t l y , i nt h i sp a p e r , w er e v i e w e dt h et e c h n o l o g i c a ld e v e l o p m e n to ff a c ed e t e c t i o na n d r e c o g n i t i o n h u m a nf a c e sl o c a t i o ni st h ep r e m i s eo ff e a t u r ee x t r a c t i o nw h i c hm e a n s f i n d i n gt h ep o s i t i o no fh u m a nf a c ei nt h ec o m p l i c a t e di m a g e f a c er e c o g n i t i o ni st h e t e c h n o l o g yw h i c hc o m p a r e st h ef a c ed e t e c t e dw i t ht h ek n o w nf a c e ，a n da c h i e v e so u r p u r p o s eo f s o m ea p p l i c a t i o n w ed i s c u s s e dt h et e c h n o l o g yo ff a c i a la r e al o c a t i o na n df a c i a lf e a t u r e se x t r a c t i o n a n df a c er e c o g n i t i o nb a s e do nf a c e p r i n t i nt h i sp a p e r , w ei n t r o d u c e dm a i n l yt h ef a c i a l f e a t u r e sl o c a t i o n 、e x t r a c t i o na n df a c i a lf e a t u r e sc o d i n g 、e x t r a c t i n gt e c h n o l o g y f a c e r e c o g n i z et e c h n o l o g yd i v i d e di n t os e v e r a lp r o c e s s e ss u c ha sm o d e lc o l l e c t i n g ，f e a t u r e s e x t r a c t i n g 、f e a t u r e sc o d i n g 、m a t c h i n g a r e rt h ei m a g ei n p u t e d ，t h e e x c l u s i v e c h a r a c t e r i s t i co fi m a g ei sc o l l e c t e d w es e tu ps o m er e c o g n i s ef e a t u r e s ，a n dc r e a t e f a c e p r i n tu s i n gg r a yc o d e w ec o d et h ei n p u t e di m a g ei n t of a c e p r i n t , t h e nc o m p a r ew i t h t h ef a c e p r i n ts t o r e di nt h ed a t a b a s e ，i nt h ee n d ，t h es a m ef a c eo rt h es i m i l a rf a c e sw e r e r e t r i v e df r o mt h ed a t a b a s e 2 中国科学技术大学硕士学位论文 e x p e r i m e n tr e s u l t si n d i c a t et h a tt h em e t h o di sa c c u 翔掀a n dh a so b v i o u sp o t e n t i a li n p r a c t i c a lu s a g e k e yw o r d s ：f a c i a l f e a t u r e s l o c a l i z a t i o n ，f e a t u r ee x t r a c t i o n ，f e a t u r ee o d c ，f a c e r e c o g n i t i o n 3 中国科学技术大学硕士学位论文 第一章绪论 近十几年来，在计算机视觉研究方面，人脸识别成为非常流行的一个领域，在 图像分析和理解方面有着非常成功的应用。跟指纹、掌纹、虹膜等其他人体生物特 征相比，人脸识别有着更加直接、友好的特点。在身份认证、公共场合监视犯人等 诸多方面都得到广泛的应用，是计算机图像处理、视觉、模式识别和人工智能领域 的一个研究热点 自上个世纪六十年代末七十年代初，就开始出现了人脸识别的技术。随着科学 技术和社会的发展，多个行业和多方面对快速有效的自动身份验证的要求也日趋迫 切。人脸自动识别技术就是通过分析人脸图像，从中提取有效的识别信息并自动鉴 别的一种技术。人脸识别技术在信息安全领域有着巨大的潜在的应用价值，是生物 识别研究和开发的热点，例如用在安全认证系统方面：如在公安、海关、机场、银 行、会议等行业、以及智能卡、犯罪身份识别等方面。它可以在当事人不知情的情 况下，通过摄像头远距离捕捉人脸图像，从而完成人物身份的验证和识别。 人脸识别系统的典型框架如下图所示： 输入图像 l 帅就 j i 脸酬暂醯疆黼l 输出图缘 图1 1 人脸识别系统框架 f 远1 - 1t h ef l a m eo ff a c er e c o g n i s es y s t e m 6 中国科学技术大学硕士学位论文 本文的研究工作主要分成两大部分： 第一部分，人脸面部特征点定位方法研究。 第二部分，人脸面部特征提取、脸纹编码识别方法研究。 在本章节中主要介绍人脸识别研究的背景，目前国内外人脸检测、识别研究现 状、人脸识别的意义，本课题研究的主要内容和本文的章节安排，人脸特征点常用 定位方法和识别方法，以及本实验所用的方法。 1 1 研究背景、意义和现状 1 1 1 人脸识别研究背景和意义 在指纹、虹膜、声音等各种生物特征识别技术发展的同时。另外一种有关的人 体生物特征，即“人脸识别技术”研究的人和机构也越来越多，从而也相应的得到 了快速的发展。人脸识别同其他人体生物特征识别技术相比较，具有直观、可靠、 准确等优越性。由于不需要被检测对像人的行为的被动配合，就能方便有效地核查 人的身份，因此在各个领域都有着十分广泛的应用前景。 在多个部门系统中应用的需求下，人脸识别技术也得到了专门的应用。在银行 金融系统中，如保险柜、自动柜员机以及电子商务信息系统等都需要人体面貌识别 技术这种更直观、准确、可靠的识别系统。在对犯罪分子、逃犯的追捕过程中。可 以在重要的车站，码头、机场、海关等出入e l 附近架设自动摄像机，利用人脸识别 技术就可以迅速准确地对逃犯作出身份判断。当然，人脸识别技术也广泛地运用在 其他行业、部门，比如应用于军队、公安、党政机关、物业管理及其他一切需要的 部门的安全验证、监控、门禁及一切出入口控制等多个方面。 另外，一些恐怖事件的出现，造成了社会的不安定，从而加速了对人脸识别方 面的研究和使用。例如。2 0 0 1 年9 月1 1 日，恐怖分子驾机撞入纽约世贸中心，导 致接近3 0 0 0 人死亡。在美国发生“9 1 1 ”恐怖事件之后，美国警方就率先在各大机 7 中国科学技术大学硕士学位论文 场开始使用人脸识别技术，它们借助监控系统监控人群，自动地搜寻可疑的恐怖分 子。 基于以上多方面的原因，世界上很多国家，包括我国在内也都开始了人脸识剐 技术方面的研究。在人脸识别时，由于人脸识别的方式、被识别人所处的姿态，所 佩戴的饰物、以及当时被拍摄对像所处的周边环境，诸如光照强度、背景等都不一 样，因此识别的难度也不一样，因此每个科研机构或者研究人员所采用的研究方法 也多种多样，非常丰富。 1 1 2 国内外研究现状 在国外而言，欧洲、美洲等地区一些发达国家这一技术己被广泛地应用在许多 场所。例如，德国z n 公司的p h a n t o m a s 系统就可以根据受害者的描绘，进行相应的 处理，从而对一大堆疑犯的图像进行识别。在美国的新泽西州，有一家叫v i s i o n i c s 的公司开发出了基于面像局部特征分析法的识别系统，仅仅需用一架摄像机、一台 计算机就可以在人群中识别出某个特定的人来。 相对于国外而言，在国内人脸识别技术方面的研究就比较迟一些，但是我们也 有很多科研机构和大专院校在研究这方面的内容。其中由高文教授为带头入，在国 家8 6 3 项目中，就应用相应的面像检测与识别核心技术，研制了一套识别系统，识别 速度很快，识别的准确度也比较高。还有，在国内也有一些公司在做或者曾经做过 人脸鉴别系统方面的研究，比如北京的科泰普、航天金盾、金铖华元、北京科瑞奇、 银晨网讯等等，但都应该说处于一种刚刚起步的阶段。 在人脸识别方面所采用的技术非常多，但是在脸纹识别研究方面采用的技术， 在国内，报道非常少见，在国外也不多见。脸纹识别技术采用的核心技术在于4 局部 特征分析4 和”图形识别算法“，这种算法利用了面部各器官及特征部位的方位关系， 形成人脸识别编码与数据库中的原有原始人脸编码进行比较、判断、确认，在较短 的时问内迅速给出判断。与其他生物识别技术，诸如指纹识别、掌纹识别、眼虹膜 识别和声音识别相比较，脸纹识别具有以下独一无二的特性： 每种生物识别方法都需要一些人的行为的配合，而脸纹识别不需要人被动的配 合：可以在远处架设摄像机，自动地用在某些比较隐蔽的场所，远距离采集人脸面 s 中国科学技术大学硕士学位论文 部头像，充分地利用已有的入像数据库资源，更直观、更方便她核查被检测人员的 身份。 1 2 主要内容和章节安排 1 2 。1 本课题研究的主要内容 本课题里研究的主要内容是，先采集一些研究对象( 可以是一些志愿者，也可 以是现成的人脸研究库) 的脸部图像。根据所采集到的研究对象的面部图像，进行 人脸区域的定位，再抽取人脸面部特征，生成脸纹( f a c e p r i n t ) 编码即特征向量，用 一定的算法对特征值进行描述，建立人脸脸纹的档案； 在对人脸进行识别时，用摄像机采集人的面部图像，进行特征提取和编码；将 待识别人的脸纹编码与档案中的脸纹编码进行比对；确认被识别人的身份或列出面 像相似的人以供选择，进行比对后得出结论或发出警告。 1 2 2 本文的章节安排 本论文的章节和内容安排如下： 第一章，绪论，简单介绍了论文基于的研究背景、现状和本文的研究内容，以 及有关论文的章节安排。 第二章，综述现有常用的人脸识别算法和常用的人脸数据库。对已有的、常见 的入脸识嬲算法做了简单的介绍，对有关的算法傲了一定程度的比 较，对一些常用的人脸数据库进行简单的介绍。 第三章，人脸局部特征的定位。介绍了在本文中特征定位所用到的方法，小波 变换的方法和s u s a n 算子结合的方法，定位流程；以及入脸局部特 征器官的自动定位，包括眼睛、鼻子和嘴巴等器官特征的自动定位等。 第四章，脸部特征的提取，包括人脸区域眉毛、眼睛、鼻子和嘴巴等区域局部 特征的提取以及各主要器官间的一些特征提取。 第五章，脸纹识别算法的实现。根据脸纹局部特征编码，从输入人脸图像中提 取出人脸局部特征信息与库中的局部特征编码进行比较，从而实现人 9 中国科学技术大学硕士学位论文 脸的识别。其中，文中还介绍了格雷码的编码特性，以及格雷码在人 脸编码中的应用。 第六章，入脸脸纹的识别系统，介绍本论文的流程图，对人脸图像进行预处理， 包括彩色图像黑白图像问转换。几何归一化和灰度归一化等；最后， 实验结果分析对实验结果和方法进行评价。 第七章，结论与展望。对本论文所做的工作、取得的成绩进行总结和对其中的 不足之处和提出一些想法和期望。 1 0 中国科学技术大学硕士学位论文 第二章人脸常用的识别算法和常用的人脸库 2 1 引言 研究机构和人员经过几十年的研究，有关人脸的识别算法目前也是多种多样。 虽然有一些研究方法经过了多年研究后，在实际应用中也由于多种原因没有得到采 用，但是科学研究人员的研究热情一点也没有削减，相反研究的方法也更加推陈出 新，有些方法也在实际应用中得到了广泛地运用。 在本章中，主要讲述了常用的人脸识别方法、以及一些常用人脸识别库。 2 2 人脸的检测 一般情况下，一个完整的人脸识别系统可以分为两大部分：一是人脸的检测部 分；二是人脸的识别部分。它们分别属于人脸识别系统中的两个不同的分支，其中 人脸区域的检测问题是人脸自动识别系统中的一个关键环节。 由于人脸识别有两种方式：在约束条件下的识别和非约束条件下的识别。约束 条件下的识别由于待识别图像的背景比较单一，有的图像甚至没有背景，这种条件 下的人脸识别相对来说比较简单，人脸检测的问题因而就没有得到重视。后来。为 了使人脸识别更加具有生命力，应用性更强，即在更加复杂的环境中图像具有一定 的适应能力，出现了非约束条件下的人脸识别，在各种应用背景的要求下，人脸检 测开始作为一个独立的课题慢慢的得到研究人员的重视。 在本文中由于主要研究在约束条件下的人脸识别，因此对人脸的检测只进行简 单的介绍。 2 3 人脸常用的识别方法 在计算机视觉方面，人脸识别问题一般分为以下两个方面的内容：在一个场景 中雷科学技术大学硕士学位论文 中给出静态的或者动态的图像，对照存储在数据库中的人脸图像进行辨认、识别出 一个或者多个人。 根据人脸识别原型系统和商业系统的f e r e t 和f r v t 测试表明，人脸识别研 究有以下几个识别方向：对户外的人脸图像进行识别，对非正面的人脸图像进行识 别，低错误率识别和低警告率识别，在识别过程中男性人脸为何比女性人脸容易被 识别，开发更容易被识别的人脸识别模型，同时又要考虑算法和系统训练的有效性 等。由于对人脸识别时的方式、被识别人所表现的姿态、佩戴的饰物以及所处的环 境( 光照条件、背景) 不一样，因此每个研究机构或者大学研究人员所采用的研究 方法多种多样。 在本文中，简单地把人脸图像的识别方法分为两种：基于图像的人脸识别方法 和基于视频的人脸识别方法。 2 3 1 基于图像的人脸识别方法 2 3 1 1 主成分分析( p c a ) 主成分分析( p c a ，p r i n c i p l ec o m p o n e n ta n a l y s i s ) 人脸识别方法基于k l 变 换，是当前用得最多的方法。在人脸图像训练集中给出代表每张人脸的s 维向量。 p c a 方法将人脸数据从原来的s 维空间降维投影到新的t 维子空间，s t ，但是保 存了数据中的主要信息，减少了运算的数据量。t u r k “和p e n t l a n d ”提出了一个 著名的人脸识别算法称为“特征脸”，但是它只考虑了二阶统计信息，而没有利用 图像的高阶统计信息，特征脸在美国国防部组织的测试( f e r e t 测试) 中表现良好 的性能，是人脸识别中最常用的一种方法。 特征脸方法将一幅图像的各行串联起来成为一个向量，即使是一幅非常小的图 像( 如6 4 * 6 4 ) ，它对应的向量的维数仍然会非常巨大。p e a 的主要功能就是将特征向 量的维数降低，以便进行处理。 设x 是图像对应的n 维向量x 2 e 峙- - i x - 1j 是x 对应的协方差矩阵， ，五， 是。的特征值，满足 2 也h 五，u 1u 2 c u 。分别是 ，如，五对应的 中国科学技来大学硕士学位论文 单位特征向量。p e a 用前t b 个特征向量来估计原图像： x = z u i t u r k y 6 q p e n t l a n d 称u 。，u ：，u 。为特征脸脸，通常m 取值为满足如下公式的第一个 整数： 芝 芝 t 上式中t 通常取为0 9 。 z - - ( z 1 ，z 2 ，z 。) 被视为p c a 扶原来的n 个特征中选取的m 个，通常m 远小于n ， 因此，p c a 起到了降低维数的作用。 2 3 1 2 独立成分分析( i c a ) 独立成分分析( i c a 。i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) “人脸识别方法， 是基于数据高阶统计特性的一种线性变换手段，广泛应用于盲信号分离和图像识别。 同时使输入数据间的高阶统计相关性和二阶统计相关性减少到最小。i c a 方法识别 效果比p c a 方法好。i c a 的算法很多，有i n f o m a x 算法，非线性主分量算法，f a s t l c a 算法等。 2 3 l3 线性鉴别分析( l d 是) 线性鉴别分析( l d a ，l i n e a rd i s c r i m i n a n ta n a l y s i s ) 人脸识别方法，是在 潜在空间( u n d e r l y i n gs p a c e ) 找到类中间的最佳鉴别向量。在所有类间的样例中， 定义了类间散布距阵a 和类内散布距阵b 。目的是最大化类闻散布距阵a 的同时最 小化类内散布距阵b ，换句话说，就是使d e t i a l d e t l b l 的比率最大。当投影距阵的 列向量是a b 的特征向量时。d e t i a i d e tj b l 的比率最大。 2 3 1 4 基因遗传的进化算法( e p ) 基因遗传的进化算法( e p ，e v o l u t i o n a r yp u r s u i t ) ”人脸识别方法，为了最 中国科学技术大学硕士学位论文 大化适应性函数去寻求最佳投影轴的基于本征空间的适应性方法。同时测量分类的 精确性和系统的概括能力。由于这个问题的解决空间的维数非常大，因此用一种叫 做进化遗传的基因算法。e p 通过把原始数据投影到一个低维的白化过的p c a 空间， 有指导但随机的转动该空间中的基向量，根据学习的准确性和散射指数定义适当的 函数，去优化基因算法( 准确性表明到目前为止学习成功的程度；散射系数给出了 将来试验期待适应的指示) 。 2 3 1 5 弹性图匹配方法( e b g m ) 弹性图匹配方法( e b g m ，e l a s t i cb u n c hg r a p hm a t c h i n g ) “”是一种基于动 态链接结构的方法。所有的人脸都有一个相似的拓扑结构，通常的人脸模型。人脸 都被描绘成结点位于基准点上和用二维距离向量标记的边的拓扑图。人脸识别基于 标记过的拓扑图。一个标记过的图表是一组用很多边连接起来的结点。每个结点都 包含一组4 0 个复杂的不同相位和幅度的g a b o r 小波系数。跟特征脸的方法比较，弹 性图匹配方法对于光线、尺寸、角度具有一定的不变性，在一定程度上能够容忍表 情和视角的变化；加入新的模板数据时，不需要改变已有的数据。但是计算的复杂 度有所增加。 2 3 1 6 核心方法( k e r n e lm e t h o d s ) 核心方法( k e r n e lm e t h o d s ) 是线性方法的一般性概括。与线性子空间方法相 比，基于k e r n e l 的方法识别效果更好，但是计算量较大。目前核心的方法很多， 有k e r n e li c a i l l k e r n e le i g e n f a c e st 1 1 k e r n e lf i s h e r f a c e s 1 和k e r n e ld d a a ( d i r e c td i s c r i m i n a n ta n a l y s i sa l g o r i t h m s ) 等等，另外s z h o u “”等人提出 了i n t r a - p e r s o n a lk e r n e ls p a c e 的人脸识别方法。 2 3 1 7 主动外观模型( a a m ) 主动外观模型( a r m ，a c t i v ea p p e a r a n c em o d e l s ) o ”人脸识别方法可以看作 r s m 的进一步扩展，它考虑了人脸外观的所有信息。1 9 9 8 年，c o o t s 首次提出了 1 4 中国科学技术大学硕士学位论文 a a m s 的概念，后来作者在此基础上又提出了新的算法：在形状信息的基础上，主要 考虑了区域内的纹理信息。形变模型是一个受到重视的方法。通过合成新的视觉图 像，可以处理姿态交化的问题。a a m s 对实现面部模板的对齐、面部识剐、面部合成 都是很有效的工具，它独创地对形状的变化、纹理的变化及两者间的联系进行了子 空间分析，有效地实现降维。主动外观模型进行人脸识别时的基本思想是利用模型 生成合成图像，然后逐渐去逼近目标物体图像，利用两者之间的差来不断修正合成 图像，在本质上是一个不断优化的过程。 2 3 1 8 三维变形模板( 3 - dm o r p h a b l em o d e l ) 三维变形模板( 3 - dm o r p h a b l em o d e l ) 人脸识别方法首先从训练库中取三组 输入图片，生成三维脸部模型。然后根据姿态、光照、条件的变化生成一批合成图 像。利用这些合成的入脸图像去训练识别系统“”。基于模板匹配方法通常利用了人 脸的全局特征，注重几何形状之间的宏观联系。不同人都有其独特的个人特征，在 不同的环境、拍摄条件下得到的人脸图像也存在差异，但是每张脸都由前额、眼睛、 鼻子、嘴和下巴等组成，因此其空间结构具有稳定的相似共性。在进行图像识别时， 计算人脸图像中相应部位与存储模板间的归一化相关系数，取相互间匹配最大的模 板对应的人脸作为正确的识别结果。优点是充分利用了面部信息，但是存在计算量、 存储空间大的缺点。 2 。3 1 g 贝叶斯框架( b a y e s i a nf r a m e w o r k ) 贝叶斯框架( b f ，b a y e s i a nf r a m e w o r k ) 人脸识别方法是基于贝叶斯准则的似 然相似性测量。人脸图像的主要区别在于个体外观上的典型变化。人脸图像的变化 有两类：个体内的变化，即同一个个体不同的面部表情；不同个体间的变化。人脸 间的相似性用贝叶斯规则来测量。贝叶斯匹配在大容量数据库上，跟大多数线性方 法比较在计算和存储上占有优势“”： 1 5 中国科学技术大学硕士学位论文 2 3 1 1 0 支撑向量机( s u p p o r tv e c t o rm a c h i n e s ) 支撑向量机( s ，s u p p o r tv e c t o rm a c h i n e s ) 人脸识别方法基于结构风险最 小化原理的统计学习理论，近来由v a p n i k 及其助手“提出非常有效的模式识别方 法，用于分类与回归问题。给出一组属于两类的点，支撑向量机去寻找一个超平面， 使得同一类数据的点尽可能的分到一边，同时使得每一类到超平面的距离最大”1 。 按v a p n i k 的说法，该平面又叫最佳分离平面，使得训练集和测试集中数据误分的可 能性最小o s u n a 等用s v m 方法用于人脸检测，对每一个1 9 x1 9 象素的检测窗 口，使用s v m 进行分类，以区分“人脸”和“非人脸”窗口。s v m 方法计算较复杂， 训练比较困难。 2 3 。1 1 l 隐马尔科夫模型( 咖) 隐马尔可夫模型( 删) 是用来描述信号统计特征的一组统计模型。删包含两 个相关的随机过程。其中一个是基本随机过程，叫马尔可夫链，有着有限的状态、 状态转移距阵和初始状态分布矩阵。另一个随机过程描述状态和观测值之间的统计 对应关系1 。在h 吼中，节点表示状态，有向边表示状态之间的转移，一个状态可 以有特征空间中的任意特征，对同一个特征，不同状态表现出这一特征的概率不同。 由于删是一个统计模型，对于同一特征序列，可能会对应许多状态序列，特征序 列与状态序列之间的对应关系是非常正确的。 2 3 2 基于视频的人脸识别方法 过去的几年里，在人脸识别领域从图像序列中进行人脸识别的研究越来越多。 由于图像质量比较差、人脸图像比较小，从实时监控录像中识别人脸比较困难。 z b i u k 等人为了解决头部转动人脸序列里识别人脸，提出了在p c a 特征空间 里通过匹配动态识别多姿态序列人脸的方法。在待识别的人脸序列里，在p c a 空 间通过插入人脸模型来获得轨迹。人脸识别问题可以通过匹配对象轨迹与组模型 轨迹而得到解决。x l i u 和t c h e n 提出了用适应性隐马尔科夫模型来识别基于视 1 6 中国科学技术大学硕士学位论文 频的人脸识剐方法1 ，取得了良好的识刘效果，并提出了同时利用时间和空闯 嘲 的想法。 除了以上的基本识别算法外，国内外很多研究者对各种算法的长处进行了综 合。提出了p c a + i c a “1 算法、p c a + w a v e l e t 算法、p c a + a n n 算法、局部特征方法、 径向基函数( r b f ) 、动态链接结构( d l a ，d y n a m i cl i n ka r c h i t e c h t u r e ) 、小波变 换等人脸识别方法。而且研究者们对以上的识别方法都进行了进一步地研究提出 了一系列改进的算法。 人脸识别的方法很多，但大多数还处在实验室实验研究阶段，离大量推广应用 还存在一定的距离。人脸识别准确性和鲁棒性还受到多种因素的影响，其中姿态和 光照变化是最主要的两个影响因素。 其中，在刘党辉等的人脸识别研究进展一文中提到几种处理姿势和光照变 化的方法。处理姿态变化的方法有；1 ) 简单几何变形的方法；2 ) 多视角的方法；3 ) 采用通用3 d 模型的方法：4 ) 基于形变模型的方法：5 ) 采用本征光流场的方法：8 ) 估计低维内嵌结构的方法。处理光照变化的方法大致分为：1 ) 采用对光照变化不敏 感的特征；2 ) 采用图像光照变换方法；3 ) 采用低维光照子空间的方法。另外，人 脸识别除了受到姿势和光照两个主要因素的影响外，还受到人脸表情、饰物遮挡、 年龄、图像分辨率等多种情况的影响。 人脸识别是一门非常复杂的前沿课题，经过多年的研究已经有了一些成果，也 在一些部门和场所得到了应用，但是如果要达到更高的准确率和拥有更好的鲁棒性， 有必要与其它的生物技术进行结合。 在本章中，我们对到目前为止，应用于人脸识别的研究技术方法作了选择性的 简单介绍。正如在一些人脸识别的综述文章提到的一样，人脸识别的理论还有待完 善，识别研究技术从理论走上实践，在各种因素的影响下，准确率等还有待提高。 在本文的后续章节中，我们将进行人脸特征定位、提取、匹配等方面的探讨，研究。 2 4 常用的人脸识别库 当我们在评估一个算法的时候，研究者们经常被推荐使用标准的人脸测试数据 1 7 中国科学技术大学硕士学位论文 库。目前，在人脸研究领域有很多个人脸数据库，如何去选择一个合适的测试库， 要考虑人脸图像中人物的年龄、姿态、面部表情、光照、饰物、背景等因素的影响。 在另一方面，当一个算法需要很多的人脸图像进行训练时，需要我们在众多人脸数 据库选择一个合适的库。 下面提及的数据库是在人脸识别研究领域常用的一些人脸数据库： 2 4 1 彩色f e r e t 人脸库，n i s t ，u s a m f e r e t 人脸库，在1 9 9 3 年8 月到1 9 9 6 年7 月期间，总共收集了1 5 次。该人 脸库包含了1 5 6 4 组共1 4 1 2 6 张人脸图像。在1 5 6 4 组图像中包含了1 1 9 9 组单份图像 集和3 6 5 双份图像集。双份图像集指在人脸库中有某人的两份人脸图像，但是这两 份图像集摄取的时间是不同的。 2 4 2y h l e 人脸库” y a l e 人脸库，包含1 5 个人的1 6 5 张灰度级g i f 格式的人脸图像。每个对象有 1 1 张人脸图像；在这一组人脸图像中，每张人脸图都带有不同的表情神态( 高兴的、 悲伤的、困乏的、惊讶的、眨眼睛的) ，或者在不同的环境、佩带不同的饰物下拍摄 ( 中央光源、左光源、右光源、正常光照下、戴眼镜、不戴眼镜) 。 该人脸库由耶鲁大学计算视觉和控制中心建立。典型图像如下： 图2 - ly a l e 人脸库典型图 f i g 2 1y a l ef a c ed a t a b a s et y p i c a li m a g e 2 4 3y a l e 人脸库b t m y a l e 人脸库b ，包含了1 0 个人的5 7 6 0 幅不同姿态和光照情况下的图像( 9 种 姿态6 4 种光照) 。每张人脸图像都有不同的姿态和环境光照。该人脸库适合在光 中国科学技术大学硕士学位论文 照和姿态闯题上的建模和分析，缺点是采集的人数比较少，整个压缩入脸库在l g 左右。典型图像如下： 图2 - 2y a l e b 人脸库典型图 f i g 2 2y a l e bf a c ed a t a b a s et y p i c a li m a g e 2 4 4p i e 人脸库，c m u m p i e 人脸库，包含了6 8 个人的4 1 3 6 8 幅人脸图像。每个人都有1 3 种不同姿态、 4 3 种不同的光照情况和4 种不同的衷情的人脸图片。典型图像如下： 不同姿态下的图像； 图2 - 3p i e 人脸库典型图 f i g 2 - 3p i ef a c ed a t a b a s et y p i c a li m a g e 1 9 中国科学技术大学硕士学位论文 图2 - 4p i e 人脸库不同光照、不同表情下典型图 f i g 2 4p i ef a c ed a t a b a s ei m a g e i nd i f f e r e n ti l l u m i n a t i o na n de x p r e s s i o n 2 4 5f i a ( f a c ei na c t i o n ) 人脸视频库，a m p ，c m u c 舶j f i a 人脸视频库，是基于视频的人脸识别的需要而建立的。在不同的时间段里， 分三个时段拍摄2 0 0 个对象。在同一个时间段里，同时拍摄室内和室外场景的人脸 图像。在拍摄的时候，有六台摄像机从三个不同的角度捕获人脸。典型图像如下： 图2 5f i a 人脸库典型图 f 培2 5f i a f a c ed a t a b a s et y p i c a li m a g e 2 4 6o r l 人脸库w o r l 人脸库，在1 9 9 2 年4 月到1 9 9 4 年4 月期间，由剑桥大学的a t & t 实验 室创建。该人脸库包含了4 0 个人的4 0 0 幅人脸图像( 每个人l o 张) 。其中有部分人 的人脸图像是在不同的时间拍摄，有光照、面部表情( 微笑或没有微笑) 、面部细节 ( 戴眼镜或没戴眼镜) 的变化。所有的照片都在同一背景、直立、正面( 允许有一 点侧面的移动) 的情况下拍摄。每张图像的大小是9 6 x1 1 2 像数，每个像数2 5 6 个 灰度级。典型图像如下： 图2 - 6o r l 人脸库典型图 f i g 2 6o r l f a c ed a t a b a s et y p i c a li m a g e 中国科学技术大学硕士学位论文 2 4 7c o h n - k a n a d ea u 编码面部表情人脸库m 该人脸库中，包含了超过2 0 0 人的大学生2 0 0 0 幅人脸图像。其中免费使用部 分，包含了1 0 0 个大学生的人脸图像。这些入的年龄在1 8 到3 0 岁之间，其中6 5 是女性，1 5 是非洲和美国人，3 是亚洲和拉丁美洲人。被拍摄人在实验者的指导 下完成一系列包括一种或多种变化的2 3 种面部图像。 2 4 8m i t o c b c l 人脸识别库m 该人脸识别库包含十位志愿者的入脸图像。有两组训练集：高分辨率面部图像， 包含正面、微侧面、侧面的面部图像。三维头部模型生成的合成图像，每个人3 2 4 张。测试集里每人有2 0 0 幅不同光照、姿态和背景的人脸图像。 2 4 9 表情图像库 在l 蛩像库中有2 4 位对象，每个对象生成1 5 0 张6 到1 8 种方式( 多种方式可选) 的人脸图像，共有大约7 0 0 0 幅彩色图像。每张彩色图像都有相应的灰度图像在神经 网络分析中使用。 2 4 1 0 英国艾塞克斯大学人脸识别库嘲 人脸识别库中有3 9 5 个人的2 0 辩不同方式韵入脸图像。对象主要是不同种族的 大学一年级的学生，年龄在1 8 到2 0 岁之间。其中一些人留着胡须、戴着眼镜。 2 4 1 1m l d ( n i s t m u g s h o tl d e n t i f i c a t i o nd a t a b a s e ) 人脸库 3 e l 在人脸图像库中包含了1 4 9 5 位男性、7 8 位女性共1 5 7 3 个对象。根据需要，库 中收集了正面和侧面的不同图像。在正面图像中，其中1 3 1 例对象有两张或更多的 正面图像，1 4 1 8 例对象只有一张正面图像。在侧面图像中，8 9 例对象有有两张或更 多的侧面图像，1 2 6 8 例对象只有一张侧面图像。其中有8 9 例对象同时有两张或更 多的正面和侧面图像，2 7 例对象有两张或更多的正面图像和一张侧面图像，1 2 1 7 中翻科学技术大学硕士学位论文 例对象有一张正面和侧面图像。 2 4 1 2n l p r 人脸库 f o 在库中包含大约2 7 个对象的不同光照、表情、背景，共4 5 0 幅8 9 63 5 9 2 像素 的j p e g 格式的人脸图像。 2 4 1 3m 2 v t s 多模型人脸库m ， 人脸库由3 7 个不同入的人脸组成，每人有5 副不同的人脸图像。这些人脸图像 间隔一周拍摄或者同时拍摄时人脸有很大的变化在拍摄对，被拍摄对象被要求用 本国语亩( 大多数人用法语) 从。数到9 ，头部从。度转到9 0 度，回到。度，再转 到9 0 度，最后回弱o 度。如果被拍摄对象戴眼镜的话。会被要求在不戴眼镜约情况 下，同样再做一遍。 2 4 1 4 扩充的m 2 v t s 人脸库w 该人脸库包括4 组2 9 5 个对象在4 个月期问拍摄的人脸图像。每组图像包含说 话时的人脸拍摄图像和头部转动时的人脸图像。在这个入脸库中，包括高质量的彩 色图像，3 2 k h z 、1 6 位的声音文件，视频序列和3 维模型。 2 4 1 5a r 人脸库m 由7 0 位男性和5 6 位女性组成的1 2 6 位人的4 0 0 0 幅人脸图像。人脸正面图像有 不同的面部表情、光照条件、和饰物( 太阳镜或围巾) 。如中性表侍、微笑、生气、 尖叫、左光