（计算机应用技术专业论文）人脸特征提取与识别.pdf

摘要 摘要 生物特征识别是一项利用人类特有的生理或行为特征来进行身份识别的技 术，它提供了一种高可靠性、高稳定性的身份鉴别途径。人脸识别技术是基于生 物特征识别技术的一个重要分支，是模式识别和计算机视觉领域内研究的一个热 点，有着重要的理论研究价值和应用价值。 本文首先介绍了人脸识别技术的研究现状、应用领域、发展前景，然后分别 讨论和研究了人脸图像的预处理、特征提取和分类识别。在预处理中，分析了直 方图均衡化、灰度归一化和中值滤波的方法，给出了实验结果。特征提取是本文 的重点，主要研究的内容如下： 1 基于小波变换的人脸识别。首先对图像进行一层小波变换，提取低频系数 ( 包含图像的大部分能量，且对表情和姿势变化不敏感) ，进而研究了2 d p c a 、 c o m p l e t e2 d p c a 和s v d ( 奇异值分解) 方法，分别结合小波变换进行了实验。进 一步分析了经过s v d 分解得到的特征矩阵，采用遗传算法进行特征优化，提出了 基于小波域奇异值分解和遗传算法的人脸识别，经过实验证明，该方法切实有效。 2 基于细胞自动机变换的人脸识别。首先具体地讲述了细胞自动机和细胞自 动机变换，然后提出了一种基于细胞自动机变换的人脸识别方法。将细胞自动机 变换用于人脸识别，得到4 个频段的变换系数；然后根据每种系数对识别率贡献 的不同，将其按照不同的比例相融合，作为下一步特征提取的变换矩阵。实验表 明该方法有助于分类识别，但由于对细胞自动机的研究不足，所以该方法还有待 于进一步的改进。 关键词：人脸识别2 d p c a 奇异值分解遗传算法细胞自动机 a b s t r a c t a b s t r a c t b i o m e t r i c si sak i n do fs c i e n c ea n dt e c h n o l o g yu s i n gi n d i v i d u a lp h y s i o l o g i c a lo r b e h a v i o r a lc h a r a c t e r i s t i c st ov e r i f yi d e n t i t y i tp r o v i d e sah i g h l yr e l i a b l ea n dr o b u s t a p p r o a c ht ot h ei d e n t i t yr e c o g n i t i o n f a c er e c o g n i t i o nt e c h n o l o g yi s a ni m p o r t a n t b r a n c ho fb i o m e t r i c sa n di ti sa l s ot h es t u d yf o c u so fp a t t e r nr e c o g n i t i o na n dc o m p u t e r v i s i o n i th a si m p o r t a n tt h e o r ya n da p p l i c a t i o nv a l u e i nt h i sp a p e r , w ef i r s ti n t r o d u c et h ec u r r e n tr e s e a r c h , m e t h o d sa n dt r e n do nf a c e r e c o g n i t i o n t h e nw er e s p e c t i v e l yd i s c u s sf a c ei m a g ep r e p r o c e s s i n g ，f e a t u r ee x t r a c t i o n a n dc l a s s i f i e r i np r e p r o c e s s i n g ，t h r e em e t h o d s ，w h i c ha r e g r a y l e v e lh i s t o g r a m e q u a l i z a t i o n ，g r e y l e v e ln o r m a l i z a t i o na n dm e d i a nf i l t e r i n g ，a l ea n a l y z e da n dt e s t e d f e a t u r ee x t r a c t i o ni sa ne m p h a s i si nt h i sp a p e r t h em a i nc o n t r i b u t i o n _ sg i v e ni nt h i s d i s s e r t a t i o na sf o l l o w s ： i f a c er e c o g n i t i o nb a s e do n2 d - d w t f i r s t , w eu s e2 d - d w tt od e c o m p o s e i m a g e ，g e tt h el o w - f r e q u e n c yc o e f f i c i e n t s ，w h i c ha r ei n s e n s i t i v et op o s ea n de x p r e s s i o n t h e n , r e s e a r c h e d2 d p c a 、c o m p l e t e2 d p c aa n ds v d ，c o m b i n e d 埘m2 d d w ta n dd o s o m ee x p e r i m e n t s a n a l y z e dt h em a t r i xd e c o m p o s e db ys v d ，t oo p t i m i z et h ef e a t u r e s w i t hg a p r o p o s e dam e t h o db a s e do n2 d - d w ta n ds v di nc o m b i n a t i o nw i t hg af o r f a c er e c o g n i t i o n ，e x p e r i m e n t a lr e s u l t ss h o w e dt h i sm e t h o di se f f e c t i v e l y 2 f a c er e c o g n i t i o nb a s e do nc a f i r s t ，w ec o n c r e t e l yi n t r o d u c e dc aa n dc a t r a n s f o r m , t h e np r o p o s e dam e t h o db a s e do nc at r a n s f o r mf o rf a c er e c o g n i t i o n d e c o m p o s e di m a g e 埘t l lc at r a n s f o r m ，w eg o tf o u rk i n d so ff r e q u e n c yc o e f f i c i e n t s f u s e dt h ec o e f f i c i e n t sf o rf u r t h e rf e a t u r ee x t r a c t i n g e x p e r i m e n t a lr e s u l t ss h o w e dt h i s m e t h o di se f f e c t i v e l y b e c a u s eo ft h ei n a d e q u a t er e s e a r c ha b o u tc e l l u l a ra u t o m a t a , t h i s m e t h o da l s on e e d st ob ef u r t h e ri m p r o v e d k e y w o r d s ：f a c er e c o g n i t i o n2 d p c as v dg ac a 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 本人签名： 导师签名： 日期 日期 第章绪论 第一章绪论 随着科学技术的发展，社会自动化程度不断提高，许多领域对快速有效的自 动身份验证的需求日益迫切。当前，个人身份鉴别主要依靠i d 卡( 如身份证、储 蓄卡) 和密码等手段，而这些手段存在携带不便、容易遗失、证件破损、密码遗 忘或破解等诸多问题，已不能适应现代社会进步的需要。生物特征作为人体的内 在属性，是最理想的身份辨别依据，美国“9 1 1 ”恐怖袭击发生以来，各国都投入了 大量的人力物力研究身份识别技术，使得以生物特征为依据的识别方法以其特有 的优势得到了极大的发展。 人脸识别技术( f a c er e c o g n i t i o nt e c h n o l o g y ) 简称f r t ，是生物特征识别技术的 一种。作为主要的面部特征，人脸是最自然直接的身份辨别手段，f r t 利用计算 机对人脸图像进行处理和分析，从中提取出有效的识别信息，来进行人物身份的 识别。作为2 0 世纪末期才兴起并活跃起来的一个研究领域，f r t 跨越了图像处理、 模式识别、计算机视觉、生物学、神经生理学和神经网络等诸多学科，是一个典 型的多学科交叉的边缘应用，在商业、法制和军事等方面都具有广阔的应用前景【l 】。 1 1 人脸识别的研究背景与应用 1 1 1 人脸识别的研究背景和意义 2 0 世纪9 0 年代，随着电子商务等应用的发展以及人们安全意识的逐渐增强， 社会各领域对快速有效的自动身份识别验证的要求日益迫切。由于生物特征是人 体的内在属性，具有很强的自身稳定性和个体差异性，因此是身份验证的最理想 依据。这其中，人脸识别又是生物特征鉴别技术的一个主要方向，与其他生物特 征相比，人脸识别具有主动性、非侵犯性和用户友好等许多优点，多年来一直受 到许多研究者的关注。作为最有潜力的生物特征身份验证手段，人脸识别技术已 经发展成为模式识别研究领域的一个热点。这项技术在身份鉴别、信用卡识别、 驾驶执照和护照的核对、银行及海关监控系统等方面有着广泛的应用，“9 l l ”事件 以来，各国权力机关、科技界以及舆论界都给予了高度重视，人脸识别已经成为 一门独立的研究课题。 人脸识别技术在很多领域都具有十分广泛的应用前景，在国家安全、军事安 全和公共安全领域，智能门禁、智能视频监控、公安布控、海关身份验证、司机 驾照验证等是典型的应用；在民事和经济领域，各类银行卡、金融卡、信用卡、 2 人脸特征提取与识别 储蓄卡的持卡人身份验证，社会保险人的身份验证等具有重要的应用价值；在家 庭娱乐等领域，人脸识别也具有一些有趣有益的应用，比如能够识别主人身份的 智能玩具、家政机器人，具有真实面像的虚拟游戏玩家等等。另外，人脸识别的 研究还涉及心理学、生理学、人工智能、模式识别、计算机视觉、图像分析与处 理等多个学科领域，更是模式识别、人工智能和计算机视觉的典型案例之一。对 这一问题的研究和解决，有助于对其他对象识别问题的研究分析和解决，人脸识 别也因此成为这些基础研究领域的重要课题之一，具有重要的理论研究价值。 1 1 2 人脸识别的应用 任何一种技术的发展都是由于受到了实际应用需要的激励，人脸识别技术也 不例外，它最初的发展原因就是公安部门要把它用于罪犯照片的存档管理和刑侦 破案。现在这种技术在安全系统和商贸系统都有很多应用，主要分为以下几类 2 1 ： 1 刑侦破案。公安部门获得案犯照片后，可利用人脸识别技术，在存储罪犯 照片的数据库里找出最相像的人为嫌疑犯；还可以根据目击证人的描述由专家画 出草图，然后用这张图到库里去找嫌疑犯。一般情况下罪犯图像数据库往往很大， 由几千甚至几万幅图像组成。如果这项搜索工作人工完成，不仅效率低，而且容 易出错，因为人在看了几百幅人脸图像后，记忆力会急剧下降，而由计算机来完 成则不会出现此问题。 2 证件验证。身份证、驾驶执照以及其它很多证件都有照片，现在这些证件 多是由人工验证的。如果用人脸识别技术，这项工作可以交给机器完成，从而实 现自动化智能管理。当前普遍使用的另一类证件是用符号或条形码来标记的，比 如信用卡、自动提款机等。这类卡的安全系数比较低，因为卡可能丢失，密码也 可能被遗忘或窃取。如果在这类卡上加入人脸的特征信息，则可大大改善其安全 性能。 3 门禁系统。门禁系统的应用范围很广，可以将之设在楼宇、单位或私人住 宅入口处进行安全检查，也可以是计算机系统或情报系统等设为门禁系统。用人 脸识别作门禁系统的识别技术较其它方法更加直接、方便、安全可靠。 4 视频监视。在许多银行、公司、公共场合等处都设有2 4 小时的视频监视。 另外侦察员在破案时也要用摄像机对人进行跟踪。在对图像进行集体分析时，就 要用到人脸的检测、跟踪和识别技术。 除了这几部分应用外，人脸识别技术还可用在视频会议、机器人的智能化研 究以及医学等方面。 总之，从应用的角度讲，人脸识别的实用功能包括三大类： 1 人脸身份辩识：即根据人脸图像识别出人物的身份，解决“他是谁 的问 第一章绪论 3 题，这是一个“以像找人的过程，例如模拟像的人脸识别。 2 人脸身份确认验证：判断图像中的人脸是否是指定的人，即解决“声称的 他是不是他”的问题，例如持证人的身份合法性认证。 3 监视识别：解决“谁是他 的问题，例如高危人员的监控、智能追捕逃犯 等。 1 2 人脸识别技术的研究现状及发展前景 1 2 1 人脸识别的现状分析 近3 0 年来，人脸自动识别的研究取得了很大进展，世界范围内有很多的科研 机构都设立了专门的研究组进行人脸检测和识别研究。国外著名的人脸识别研究 机构主要有英国s u r r e y 大学视觉和语音信号处理中心、瑞士i d i a p 、法国i n r i a 研究所、美国麻省理工学院媒体实验室( m i tm e d i al a b ) 和人工智能实验室( c m l a b ) 、美国卡奈基梅隆大学( c m u ) 机器人研究所等。一些模式识别、计算机视 觉领域的著名国际会议( 如国际计算机视觉会议i c c v 、国际计算机视觉和模式识 别会议c v p r 、国际模式识别会议i c p r 等) 和知名的国际期刊( 如i e e e ，p a t t e r n r e c o g n i t i o n i m a g ea n d v i s i o nc o m p u t i n g 等) 也都设立了专门的人脸识别专题1 3 j 。 国内关于人脸自动识别的研究起步较晚，主要是对基于几何特征的人脸正面 自动识别、基于代数特征和基于连接机制的人脸正面自动识别方法，代表人物有 周激流、彭辉、李介谷等人。周激流运用积分投影法提取面部特征的关键点并用 于识别，获得了较为满意的结果；彭辉，张长水提出了改进的“特征脸”法；张辉、 周洪祥、何振亚采用主元分析神经网络，用去冗余和权值正交相结合的方法对人 脸进行特征提取和识别分类；李介谷、王华专门研究了人脸斜视图像的几何特征 提取与恢复。 9 0 年代中后期以来，国内许多研究机构在自然科学基金、8 6 3 计划、攀登计 划等资助下，加强了对人脸识别的研究，主要有清华大学、北京大学、中国科技 大学、上海交通大学和哈尔滨工业大学等高校，中科院计算所、中科院自动化所 和中科院声学所等科研所，其中中科院计算所的研究工作取得了重大进展，他们 的研究成果己经被应用到了十六大会场。 目前，人脸识别技术在全球范围内得到了空前的发展，同时也在很多领域得 到了广泛的应用，但是由于受到光照、姿势、饰物、表情等变化因素的影响，识 别的准确度仍然受到很大限制。与指纹、视网膜等其它人体生物特征识别系统相 比，人脸图像识别目前在实际应用中仍然较少，这项技术本身还有待于进一步研 4 人脸特征提取与识别 究发展，更有待于在应用中逐步完善。总体上讲，当前人脸识别算法还不是很成 熟，它的识别效率还不是很高，而且其使用所需的环境要求也很严格，这与人脸 识别的高难度有很大的关系。其主要面临的困难有：人脸塑性变形的不确定性 ( 如表情等) 和人脸模式的多样性( 如胡须、发型、化妆等) ；数据获取的困难； 海量存储和计算的困难；识别方法不足等。所以，虽然在这方面的研究已取 得了一些可喜的成果，但是在实用中仍面临着很多严峻的问题。迄今为止，建立 一个鲁棒的人脸识别系统仍然是一件比较困难的事情，人脸识别技术仍然是具有 挑战性的课题。 1 2 2 人脸识别的前景展望 近二十年来，研究者们在人脸识别技术方面取得了许多成绩，但是要设计并 实现一个健壮的人脸检测识别系统，还有许多问题有待解决，如年龄、表情、光 照的变化以及使用不同采集设备等都会给人脸检测与识别系统带来很大的影响， 另外建立用于测试的标准人脸库也是日后研究的主要工作。 人脸识别必须结合生理学、心理学的一些研究成果，这种技术的复杂性使得 仅仅单独依靠任何一种现有的方法都很难取得十分好的识别效果，将各种方法有 效综合是以后研究的必然趋势，如何与基于其它生物特征的鉴别系统结合以提高 识别效率也是一个有意义的研究方向。今后，人们将越来越多的借鉴生物生理模 型和生物心理模型的研究成果，以期提高特征表达的可持续性，进而提高识别率。 相信随着计算机技术和生物特征识别技术的发展，以及人脸检测与识别技术的不 断完善，在不远的将来，一套准确而高效的人物身份鉴别系统将会呈现在大家面 前。 1 3 本文所做工作和章节安排 本文的工作主要是对人脸图像分类识别。包括对人脸图像的预处理，讲了3 种用于灰度预处理的方法，并给予实验证明；讨论了人脸特征提取的主要方法， 主要就特征提取进行了详细地分析，给出了基于小波变换的各种特征提取方法， 包括2 d p c a 、c o m p l e t e2 d p c a 和s v d ，提出了基于小波域奇异值分解和遗传算 法的人脸识别方法；另一种，基于细胞自动机变换进行的人脸识别，采用细胞自 动机对人脸图像进行一层变换，得到近似系数和细节特征，融合近似系数和细节 系数作为下一步处理的图像矩阵，采用s v d 分解的方法提取图像特征，最后采用 最近邻分类器进行分类识别，实验结果表明该方法有助于分类识别，但由于对于 细胞自动的研究不足，所以还有待于进一步的改进。 第一章绪论 5 本论文章节安排如下： 第一章是概述部分，简要阐述了人脸识别技术的研究现状、应用领域、发展 前景以及本文所做工作和结构安排。 第二章讲述了人脸识别技术的研究内容，给出一个完整的人脸识别系统应包 括人脸检测、人脸图像预处理、人脸特征提取及分类识别四个主要环节；详细分 析了人脸特征提取和识别的常用方法；并且对一些现有典型人脸数据库的具体情 况进行了简要说明。 第三章论述了人脸图像的预处理，详细分析了3 种关于人脸图像灰度预处理 的方法，并且分别给出了实验结果。 第四章分析了基于小波变换的主分量分析方法、改进方法和奇异值分解方法， 并且分别进行了实验分析，提出了基于小波域奇异值分解和遗传算法的人脸识别。 第五章详细论述了细胞自动机变换，采用图像经过一层细胞自动机变换得到 各系数矩阵作为图像下一步特征提取的依据，用最近邻分类器进行了实验。实验 结果表明，该算法有效，但由于细胞自动机变换用于人脸识别尚属于初期，所以 有待于进一步的改进。 第六章结束语。 第二章人脸识别系统综述 7 第二章人脸识别系统综述 2 1 人脸识别的研究内容 人脸识别( f a c er e c o g n i t i o n ) 系统所做的主要工作是：对于所输入的图像或视频 流，首先判断其中是否存在人脸；如果存在则进一步给出每个人脸的位置、大小 和各个主要面部器官的位置信息，并依据这些信息或人脸图像的整体信息进一步 提取每张人脸中所蕴含的身份特征；然后将其与已知人脸库中的模型进行比较， 确定是否存在匹配项找出匹配结果，从而识别所输入人脸的身份，达到身份鉴别 的目的。这项技术作为模式识别与计算机视觉领域相结合的一项关键应用技术， 多年来一直受到人们的高度重视。 一个完整的人脸识别系统一般可以分为“人脸检测”和“人脸识别”两个过程，本 文所做的主要工作集中在第二个过程。其中人脸识别又可以细化为“图像预处理”、 “人脸特征提取”和“人脸对比识别”三个步骤( 如图2 1 ) 。 图2 1 人脸识别系统框图 笼统的讲，人脸识别技术的应用过程主要包括以下四个阶段( 如图2 2 ) ： 1 人脸检测( f a c ed e t e c t i o na n dl o c a l i z a t i o n ) ：对于输入的人脸图像或者视频 流，首先判断其中是否存在人脸，如果存在人脸，则进一步的给出每个人脸的位 置、大小和各个主要面部器官的位置信息，这一部分工作受光照、噪声、头部倾 斜度以及各种遮挡的影响比较大f 4 j 。 2 图像预处理( p i c t u r ea d v a n c et r e a t m e n t ) ：证实所输入的图像中存在人脸后， 假如人脸图像不是很标准，存在模糊、倾斜、光照不均等情况时，需要对人脸图 像进行预处理( 如人脸校正、光照补偿等) ，这部分工作中要对图像进行“几何归 一化”和“灰度归一化”来使人脸照片的尺寸、位置和灰度具有一致性。 3 面部特征提取( f a c i a lf e a t u r ee x t r a c t i o n ) ：确定已检测出的人脸和数据库 中己知人脸模板的描述方式，依据上面人脸检测得到的基本信息，进一步提取每 张人脸中所蕴含的主要身份特征。在实际应用中，常用到的表示方法包括几何特 征( 如欧氏距离、曲率、角度等) 、代数特征( 如矩阵特征矢量) 、固定特征模板、 人脸特征提取与识别 特征脸、云纹同等。所提取特征的具体形式随彭 别方法的不同i 巾有所差别，比如 几何特征的识别方法l 】，毛要提取特征点，然后构造特征矢节：在统计识别方浊 中，是利用图像相关矩阵的特征矢量构造特征脸；而大音【5 分神经网络方法则直接 利用归一化后的灰度图像作为输八，网络的输出就是识别结果，没有专门的特征 提l 投过秤， 小凡脸比对沮别( f a c er e c o g n i t i o n ) ：根掘而部特征定位的结果，与已知人脆 库中的人腧进行对比分类，从而识别所输入脸部图像人的身份。这过程的核心 是选择适当的人脸表示方式与匹配策略以及适当的匹配闽值h 】。 人腑埸的研究工作卜要有二个方血：人脸蚓像预处理、人脸特征的提取( 即 训练人腧) 、人脸以别( 人脸特征的检测) ，其中，提取人脸特征，人脆特征的比 较分类是比较有难度的两项t 要工作。由丁年龄、姿态、表隋、光照等因素的影 响，一个人的脸音【f 罔像小足一成不变的，具有“一人千面”的特点，困此，选取适当 的特 = l ! 提取t 分娄方法是人脆识j j l 技术的重中之重。 l p 凰匾一璧慢圈 阳测| 鍪罐1 鐾幽二墅 目22 人脸静：别系统i 作过程国 总之，人脸 = 别就是对已获取的包含人脸的罔像进行检测、定位，分割人脸 位置，计利j 珀训算机进行分析和处理，从巾提耿出有效的识别信息，用来进行人物 身份辨认的技术。 2 , 2 人脸特征提取与识别方法 人腧识别本质上足三维颦性物体二维投影 兰j 像的匹配问题，这项技术主要依 据人脸卜的特征，也就是依扼那些和许多不同个体之间存在较火差异而对于h 个人则比较稳定的度量米进行身份鉴别，由于人脸变化复杂，因此面部特征的表 述和提取十分困难。 在利用人脸的定位与检测方法将人腑从具有一定背景的图像中分割出来后， 有效的抽取人腑特征并进行识别成了人脸识别的关键。人脸特征主要可分为几何 特征和代数特征两大类：几何特征也称为直观特征，它是以人脸器官的形状和几 何关系为基础的特征矢量，其分量通常包括人脸指定两点问的欧氏距离、曲率、 角度等；代数特征即人腧崮像在本征宅问形成的降维投影。人脯的几何特征比较 第二章人脸识别系统综述 9 稳定，受人脸的姿态变化与光照条件等因素的影响小，但是不容易抽取，而且测 量精度也较差；人脸的代数特征容易得到，但是稳定性较差，容易受到外界因素 的影响。 目前国内外研究人脸识别的方法层出不穷，根据人脸表征方式的不同，常用 的方法大体可分为以下三种：基于几何特征的识别方法、基于统计特征的识别方 法和基于连接机制的识别方法( 如图2 3 ) ，下面对这些方法进行分别介绍。 人 脸 特 征 提 取 与 识 别 方 法 基于几何特征的方 基于统计特征的方 于连接机制的方 匕 特征脸法 隐马尔科夫模型 支持向量机识别 经网络法 弹性图匹配法 图2 3 人脸识别方法框图 2 2 1 基于几何特征的人脸识别 基于几何特征的识别方法首先将人脸用一个几何特征矢量表示，用模式识别 中的层次聚类思想设计分类器来对人脸进行识别。几何特征矢量是以人脸器官( 如 鼻子、眼睛、嘴巴等) 的形状和几何关系为基础的特征矢量，其分量通常包括人 脸指定两点间的欧氏距离、曲率、角度等。人脸器官的关键点分别对应于不同的 积分投影方式产生的波峰波谷，根据人脸结构的先验知识，可得出人脸各器官之 间的几何位置关系。 基于几何特征的方法是最早、最传统的方法，通常需要和其他算法结合才能 有比较好的效果。这种识别方法具有如下优点：符合人类识别人脸的机理，易 于理解；对每幅图像只需存储一个特征矢量，存储量小；对光照变化不太 敏感；特征提取工作只依赖于本幅图像，可用于只有单个样本的识别。同时， 基于几何特征的识别方法也存在许多问题：从图像中抽取稳定的特征比较困 难；对强烈的表情变化和姿态变化的鲁棒性较差；特征点只能从灰度变化 剧烈的地方抽取，因此不易考虑人脸的三维结构；一般几何特征只描述了部件 的基本形状与结构关系，忽略了局部细微特征，造成部分信息丢失，更适合于粗 分类。 可变形模板法可以视为几何特征方法的一种改进。它的基本思想是：设计一 个参数可调的器官模型( 即可变形模板) ，定义一个能量函数，通过调整模型参数使 l o 人脸特征提取与识别 能量函数最小化，此时的模型参数即作为该器官的几何特征。这种方法思想很好， 但是存在两个问题：一是能量函数中各种代价的加权系数只能由经验确定，难以 推广；二是能量函数优化过程十分耗时，难以实际应用。 2 2 2 基于统计的人脸识别方法 统计的识别方法将人脸用代数特征矢量来表示。代数特征由图像本身的灰度 分布决定，它描述了图像的内存信息，通过对图像灰度进行各种代数变换和矩阵 分解而得来。目前，基于统计的人脸识别方法有很多，常用的主要有以下几种。 1 基于主成分分析( p c a ) 的人脸识别方法 基于主成分分析( p c a ) 的人脸识别方法也称为特征脸方法，这种方法于9 0 年 代初期由t u r k 和p e n t l a n d 提出，它具有简单有效的特点，是一种比较经典的人脸 识别方法。特征脸方法是基于k l 变换的识别方法，高维的图像空间经过k l 变换 后得到一组新的正交基，选择其中起重要作用的基，由它们构成低维线性空间， 将人脸图像在这些低维线性空间上投影降维后进行分类，这就是主成分分析法的 基本思想。 特征脸法的应用过程大致可分为以下两个阶段：训练阶段，系统根据参加 训练的人脸图像产生若干个特征脸图像。识别阶段，把新的人脸图像表示成这 些特征脸的系数，用这些系数来代表待识别人脸。这样，人脸图像就可以由一维 的向量来表示，达到了降维的目的。利用这个一维向量就可以采用简单的方法( 如 最近距离法) 来判断新的人脸图像属于数据库中的哪一个。它的具体计算步骤将 在本文第三章中给出详细介绍。 2 基于独立成分分析( i c a ) 的人脸识别法 继p c a 方法后，1 9 9 8 年b a r t l e t t 提出了基于独立成分分析( i c a ) 的人脸识别 新方法，它是p c a 的高阶扩展。同p c a 法一样，此种方法特征的提取是基于整幅 图像的训练，因此其不仅计算复杂度较高，而且收敛速度更慢【6 】。 3 基于线性判别分析( l d a ) 的人脸识别方法 基于线性判别分析( l d a ) 的人脸识别法是对p c a 法的拓展和改进。学者们在 对特征脸技术进行认真研究的基础上，尝试了基于特征脸特征提取和各种后端分 类器相结合的方法，并提出了各种各样的改进版本或扩展算法，主要的研究内容 包括线性月e 线性判别分析( l d a k d a ) 、b a y e 概率模型、人工神经网络以及内核双 子空间分析方法等r 7 1 。 线性判别方法同样是一种有效的特征提取方法，f i s h f e r f a c e 方法是以l d a 为 基础的。将人脸图像表示成一个列向量，经过l d a 变换后，在有效的降低其维数 第二章人脸识别系统综述 的同时又保留了所需要的主要识别信息，这些信息能较好地反应人脸图像的全面 特征和局部特征，对光照、表情以及姿态等因素具有一定的不变性。但是线性判 别法和主分量分析法存在着一个共同的缺点：它们的性能在很大程度上取决于人 脸定位的精确性，当定位的误差增大时，识别率将急剧下降。而且应用这两种方 法进行特征提取计算量太大，又没有快速算法，使得应用于人脸这一高维图像矢 量的识别时，耗费的内存和时间很多。 4 基于隐马尔柯夫模型( h m m ) 的人脸识别方法 基于隐马尔柯夫模型( h m m ) 法提供了描述复杂现象的一种可能机制【8 】，按照 这种模型，观测到的一系列特征( 例如描述各个器官和脸庞的一组数值特征) 被看成 是另一组不可观测的( 因此是隐的) “状态”产生出的一列实现。状态既然是不可观测 的，它的个数便是未知的，但可以假定。选择状态个数的多少必须在模型的复杂 性和描述复杂现象准确度之间进行折中。一个合理的隐马尔可夫模型应该是这样 的：给定一组观测序列，从关于状态的一组初始分布出发，能够产生出一组实现 序列，它非常好地逼近给定的观测序列。利用隐马尔可夫模型对人脸进行描述和 识别，我们就不是孤立地利用各个器官的数值特征，而是把这些特征和一个状态 转移模型联系起来。 5 基于支持向量机( s v m ) 的人脸识别方法 s v m 是基于统计学理论的学习方法，它通过构造最优超平面使得对未知样本 的分类具有最优的推广能力。根据结构风险最小化归纳原则，s v m 通过最优超平 面的构造在固定学习机经验风险的条件下最小化v c 置信度，对于两类线性可分情 形，可直接构造最优超平面使得样本集中的所有向量满足如下条件：能被某一 超平面正确划分；距该超平面最近的异类向量与超平面之间的距离最大，即分 类间隔最大【9 】。这两个条件分别保证了经验风险最小和v c 置信度最小，从而使期 望风险最小。 近年来，支持向量机是统计模式识别领域的一个新的热点，它试图使得学习 机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。支持向量机 主要解决的是一个二分类问题，它的基本思想是试图把一个低维的线性不可分的 问题转化成一个高维的线性可分的问题，实验结果表明s v m 应用在模式识别方面 有较好的识别率。 2 2 3 基于连接机制的方法 1 基于神经网络的人脸识别方法 基于神经网络的方法是最近几年比较活跃的一个研究方向。应用神经网络进 1 2 人脸特征提取与识别 行人脸的特征提取和分类器的设计，已有比较成熟的算法是“自适应主分量神经网 络算法”，这种算法中神经网络的输入可以是低分辨率的人脸图像、局部区域的自 相关函数、局部纹理的二阶矩等【l o 1 1 】。这类方法利用了每个象素及其相邻像素之 间的相关性，在人脸识别上有其独到的优势，它避免了复杂的特征提取工作，能 根据有代表性的样本自我学习，具有鲁棒性和自适应性，而且其并行的处理信息 的方式，若能以硬件实现，就能显著的提高识别的速度，但是应用此方法进行识 别神经元数目多、训练时间较长。 2 基于弹性匹配的人脸识别方法 弹性匹配技术是一种基于几何特征和对灰度分布信息进行小波纹理分析相结 合的识别算法，此法在二维空间中定义了一种对于通常的人脸变形具有一定不变 性的距离，并采用属性拓扑图来代表人脸，拓扑图中任一顶点均包含一特征向量， 用来记录人脸在该顶点位置附近的信息。该方法较好的结合了灰度特性和人脸的 几何因素，而且具有自动精确定位面部特征点的功能，比对时允许图像存在弹性 形变，因而在克服表情变化对识别的影响方面收到了较好的效果，同时对于单个 人也不再需要多个样本进行训练。弹性图匹配算法在f e r e t 测试中若干指标名列 前茅，其缺点是时间复杂度高、需要较大的存储空间、系统实现复杂【l 引。 2 2 4 其它方法 以上介绍的是一些典型的人脸识别方法，这些方法各有其优缺点，一些学者 倾向于将多种方法综合起来，或同时利用不同种类的特征来进行人脸识别。例如 有人指出，要从大量人脸数据库中进行识别，只靠扩展单一种类的特征数目是不 够的，他们在正面人脸几何特征的基础上，将侧面轮廓特征、眼睛形状特征以及 人脸轮廓特征也加入特征矢量，获得了比采用单一正面人脸几何特征为特征矢量 方法更高的识别率；还有一些学者结合小波变换与傅立叶变换提出与平移、缩放、 平面内旋转无关的光谱脸人脸表征方法。 目前人脸识别研究的对象基本上都是针对二维灰度图像，除此之外，还有深 度人脸图像识别和红外人脸图像识别方法。深度图像包含了人脸的深度信息， g o r d o n 针对深度图像提出了一种基于模板的用图像数据曲率作描述的识别方法。 他使用一个旋转的激光扫描系统获得人脸深度图像，将曲面数据以柱坐标形式存 储，然后根据曲面上各点法向最大和最小曲率的振幅和相位值定位眼睛、鼻子和 两侧脸部区域。红外人脸图像( 即温谱图) 对每个人来说都是唯一的，所以也可以利 用温谱图识别人脸，并且在黑暗环境中红外人脸图像识别系统也能够应用。对于 多c c d 摄像系统，可以得到多视点人脸图像，从而获得人脸的立体模型，含有三 第二章人脸识别系统综述 维信息的特征能有效解决人脸在光照、伪装或年龄变化等情况下的识别问题。总 之，目前各种人脸识别方法层出不穷，很多仍然停留在研究阶段，其识别效果离 实用还有很大的距离，将多种方法有效综合是以后研究的一个趋势。 2 3 人脸数据库介绍 任何人脸识别系统的开发都需要建立一个包含有人脸图像和图像序列的数据 库。人脸数据库的设计对系统的识别率影响是至关重要的。开发一个在所有可能 的变化情况下都能正确进行人脸识别的系统非常困难，因此几乎所有的人脸识别 研究都是在一定约束条件下进行的，如光照、表情和姿态变化等受到一定限制， 大多数系统都未考虑长期变化，如年龄的变化、情绪的变化等。这样就有必要建 立特定需要的人脸数据库，表2 1 给出了常用的标准人脸数据库。 表2 1 常用的人脸检测识别图像库 图像库名称位置简介 f e r e t ( 美国军 此图像库包含大量人脸图像，是目前 方) d a t a b a s e h t t p ：w w w n i s t g o v h u m a n i d f e r e t 世界上最大的人脸数据库。 m i tm e d i al a b s a p ：w h i t e c h a p e l m e d i a m i t e d u p u b 包括1 6 人，每人有不同光照、不同尺 d a t a b a s e i m a g e s 寸、不同角度的2 7 幅图像。 m i tc b c l ( 生物 训练集中包括6 9 7 7 幅图像( 2 4 2 9 幅人 和计算学习中心) h t t p ：w w w a i m i t e d u p r o j e c t s c b c l s 脸、4 5 4 8 幅非人脸) ，测试集中有2 4 0 4 5 o t t w a r e - d a t a s e t s f a c ed a t a2 h t m l f a c ed a t as e t 幅图像( 4 7 2 幅人脸、2 3 5 7 3 幅非人脸) 。 h t t p ：i m a g e s e e u m i s t a c u k d a n n y d 2 0 个人共5 6 4 幅图像，每人具有不同 u m i s td a t a b a s e a t a b a s e h t m l角度、不同姿态的多幅图像。 u n i v e r s i t y o f 邱：i a m f t p u n i b e c h p u b i m a g e f a c e 3 0 个人3 0 0 幅正视图( 每人1 0 幅) ，1 5 0 b e m i m a g e s 幅侧视图( 每人5 0 幅) 。 不同光照条件下的带有表情和眼镜的 y 酊ed a t a b a s e h t t p ：e v c y a l e e d u 人脸库。 a t & t ( o r e ) 却：f t p u k r e s e a r c h a t t c o r n p u b d a t a 4 0 人，每人1 0 幅图像；和1 5 0 幅侧面 d a t a b a s e a a _ f a c e z i p人脸图像( 每人5 幅) 。 h t t p ：c v c y a l e e d u p e o p l e f a c u l t y b e l 具有大量剪裁过的不同光照条件下的 h a r v a r dd a t a b a s e h u m e u r h t m l 不而人盼图像。 h t t p ：p o s e i d o n c s d a u t h g r m 2 v t s i 一个多模型的包含多种图像序列的图 m 2 v t sd a t a b a s e n d e x h t m l 像库。 h t t p ：r v l l e c n p u r d u e e d u a l e i x a l e i x 3 2 7 6 幅在不同光照下带有不同表情和 p u r d u ed a t a b a s e f a c e 遮挡的人脸图像。 1 英国o r l 人脸数据库 该数据库是英国剑桥大学贝尔实验制作的，库中包括了从1 9 9 2 年4 月到1 9 9 4 年4 月拍摄的一系列人脸图像，由4 0 个人的4 0 0 幅灰度图像组成( 每人十幅) ， 图像尺寸为9 2 1 1 2 ，图像背景为黑色。其中人脸脸部表情和细节均有变化，例如 1 4 人脸特征提取与识别 笑与不笑，眼睛睁着或闭着，戴或不戴眼镜等，人脸姿态也有变化，其深度旋转 和平面旋转可达2 0 度，人脸的尺寸也有最多1 0 的变化。这是目前使用最广泛的 人脸数据库。 2 英国m a n c h e s t e r 人脸数据库1 1 3 j 该数据库由3 0 个人的6 9 0 幅图像组成，其中训练集和测试集分开，有不同的 光照和背景特征，而且对于每个人而言，前后两张照片之间的时间间隔至少有3 周。训练集对光源有一定的约束，而在测试集中则变化多端。测试集还增加了两 级难度：一是对于其中的相似人脸，仅有发型、背景以及戴眼镜等变化；二是特 征遮挡，头发、黑眼镜、手臂等。虽然m a n c h e s t e r 数据库远比o r l 数据库测试更 为全面，但因发表的比较结果不够多，从而远不如o r l 人脸库使用广泛。 3 美国f e r e t 人脸数据库 美国国防部为人脸识别算法的深入研究和实用化，发起了人脸识别技术( f a c e r e c o g n i t i o nt e c h n o l o g y 简称f e r e t ) 工程，建立了f e r e t 人脸数据库，该工程包 括一个通用的人脸库和一套测试标准。f e r e t 人脸数据库是目前最大的人脸数据 库，其中每人8 张照片，两张正脸，3 张从右到左不同侧面角度的照片，有些人还 提供了更多不同视点和不同表情的照片。该数据库中不包含戴眼镜的照片，拍摄 条件也有一定的限制，人脸大小约束在规定范围内。到1 9 9 6 年6 月，该数据库己 存储了1 1 9 9 个人的1 4 1 2 6 幅图像，而且不断扩充，逐年增加。但到目前为之，该 数据库并未提供运动图像系列或包含语音信息。f e r e t 数据库的最大缺点是：库 中包括军人的图片，不能在美国以外的地方获得。 4 欧洲m 2 v t s 多模型人脸数据库 该数据库用于测试多模型身份鉴别，目前该库由3 7 人组成，每人有5 个图像 序列，拍摄时间间隔一周左右，其中至少有一个序列提供合成语音。 5 中国c a s p e a l 人脸库 该数据库由中科院( c a s ) 的先进人机通信技术联合实验室( 简称联合实验室 j d l ) 在8 6 3 和海银晨智能识别科技有限公司支持下拍摄。创建目的是提供一个大 型的中国人脸数据库，作为众多人脸识别技术研究、开发和测试的依据。此库中 包含1 0 4 0 个人共9 5 9 4