（计算机应用技术专业论文）特征提取技术在人脸识别中的研究与应用.pdf

摘要 摘要 人脸识别是人工智能与模式识别领域以及计算机视觉领域最富挑战性的研究课题 之一。在计算机科学领域的许多科学家都希望机器能够具有人类的智慧，并且能够像人 类一样识别和记忆人脸。在证件验证、门禁系统、刑侦破案、视频监控等领域都具有十 分广泛的应用前景。随着科学的进步、技术的发展和社会的前进，对可靠、方便的自动 身份鉴别的实际需求日益的迫切。人脸识别重新成为了机器智能研究的热点问题。研究 人脸识别，其意义不仅仅在于推动图像处理和模式识别理论与应用的发展，满足身份验 证等，基于内容的检索等实际需求，同时由于人脸模式的特殊性，对人脸识别进行应用 研究，对推动生理学、认知科学、心理学等相关学科的研究也有着积极的影响。 本文在对人脸识别问题和特征提取的现有理论和算法进行了回顾、探讨在此基础 上，有针对的提出了新的算法，并通过实验证明。主要工作总结如下： 第一部分为全文的绪论，对人脸识别技术和特征提取技术的分类和发展现状进行了 分析和综述。 第二部分介绍了几种基于统计的特征提取和选择方法，包括主成分分析( p c a ) 、线 性判别分析( l d a ) 、最大间距准贝j j ( m m c ) 等。 第三部分为人脸图像的特征提取分析，在人脸图像的特征提取环节，由局部保持和 最大间距准则的原理，本文提出了一种局部保持( l p p ) 与最大间距准则结合的特征提取 方法。本文所提出的新特征提取方法与原来m m c 相比，经过对原来的散度加乘权重， 以及通过对参数的调整，能够在特征提取的同时更好地保持人脸图像的局部流形结构。 第四部分是由第三部分提出的算法进行实验分析，本文使用了传统的最近邻分类 器，通在o r l 人脸库、y a l e 标准人脸库和u m i s t 人脸库上的试验，表明本文所提出的 局部保持与最大间距准则结合的特征提取方法能够对光照和姿态变化具有一定的鲁棒 性，能更为有效的识别人脸图像，提高识别率。 关键词：人脸识别，特征提取，主成分分析( p c a ) ，线性判别分析( l d a ) ，最大间距 准则( 删c ) ，局部保持( l p p ) a b s t r a c t ab s t r a c t 1 1 l ea u t o m a t i cr e c o g n i t i o no fh u m a nf a c ei so n eo ft h em o s ta t t r a c t i v ea n dc h a l l e n g i n g p r o b l e m si nt h ef i e l d so fp a t t e r nr e c o g n i t i o na n dc o m p u t e rv i s i o n t h ea i mo fm a n ys c i e n t i s t s w h ow o r ki n c o m p u t e rs c i e n c ef i e l di s t om a k er o b o t sh a v eh u m a n si n t e l l i g e n c ea n d r e c o g n i z ea n dr e m e m b e rp e r s o nj u s tl i k ew h a th u m a nd o e s i nt h ea u t h e n t i c a t i o n ，a c c e s s c o n t r o ls y s t e m s ，d e t e c t i o no fc r i m i n a li n v e s t i g a t i o n ，v i d e os u r v e i l l a n c ea n do t h e ra r e a s ，f a c e r e c o g n i t i o nt e c h n o l o g yh a v eav e r yw i d er a n g eo fa p p l i c a t i o n s ，n l er e s e a r c ho nf a c e r e c o g n i t i o n ，i t ss i g n i f i c a n c el i e sn o to n l yi np r o m o t i n gt h ei m a g ep r o c e s s i n ga n dp a r e r n r e c o g n i t i o nt h e o r ya n da p p l i c a t i o n st om e e tt h ea u t h e n t i c a t i o na n ds oo n ，s u c ha s c o n t e n t - b a s e dr e t r i e v a lo ft h ea c t u a ld e m a n d ，a tt h es a m et i m ea sar e s u l to ft h es p e c i f i c i t yo f f a c ep a t t e r n s ，t h ea p p l i c a t i o no ff a c er e c o g n i t i o ns t u d yo nt h e p r o m o t i o no fp h y s i o l o g y ， c o g n i t i v es c i e n c e ，p s y c h o l o g ya n do t h e rr e l a t e dd i s c i p l i n e sa l s oh a v eap o s i t i v ei m p a c t w i t l lt h e i m p r o v e m e n to fs c i e n c ea n dt e c h n o l o g ya n dd e v e l o p m e n to fs o c i e t y i ti s u r g e n t l yn e e d e df o rc o n v e n i e n ta n dr e l i a b l ea u t o m a t i c s t a t u sf a c er e c o g n i t i o nm e t h o d s s o f a c er e c o g n i t i o nr e s u m e si st ob et h eh i g h l i g h to fm a c h i n e i n t e l l i g e n c er e s e a r c h i nt h i sp a p e r ，o nt h eb a s i so ft h er e v i e w e da n dd i s c u s s i o no ff a c er e c o g n i t i o na n d f e a t u r ee x t r a c t i o nt h a te x i s t e db r o u g h tan e wm e t h o do np u r p o s e ，a n dp r o v e di t t h r o u g h e x p e r i m e n t s s u m m i n gu pt h em a i nw o r ki sa sf o l l o w s ： ，n l ef i r s ts e c t i o no ft h ep a p e ri st h es u m m a r yo ft h ef u l lt e x t i ti st h ei n t r o d u c t i o na n d a n a l y s i s t h ed e v e l o p m e n ta n dt h es t a t u so ft h ec l a s s i f i c a t i o no ft h ef a c e r e c o g n i t i o n t e c h n o l o g ya n df e a t u r ee x t r a c t i o nt e c h n o l o g y t h es e c o n ds e c t i o nd e s c r i b e san u m b e ro fs t a t i s t i c s b a s e df e a t u r ee x t r a c t i o na n ds e l e c t i o n m e t h o d s ，i n c l u d i n gp r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) ，l i n e a rd i s c r i m i n a t ea n a l y s i s ( l d a ) ， m a x i m u md i s t a n c ec r i t e r i a ( m m c ) a n ds oo n t h et h i r ds e c t i o ni st h ea n a l y s i so ft h eh u m a nf a c ei m a g ef e a t u r ee x t r a c t i o n i nt h ep a r to f h u m a nf a c ei m a g ef e a t u r ee x t r a c t i o n ，t h i sp a p e rg e tan e wm e t h o do ff e a t u r ee x t r a c t i o no n m a x i m u mm a r g i nc r i t e r i o nw i t hl o c a l i t yp r e s e r v i n g c o m p a r e dw i t ho r i g i n a lm m c m e t h o d ， b ym u l t i p l y i n gt h ed e f i n e dw e i g h t sa n dr e g u l a t i n gt h ep a r a m e t e r ，t h en e wm e t h o dh e r ec a n s t i l lb e r e rm a n i f o l d1 0 c a ls t r u c t u r ei n f o r m a t i o n ，n l ef o u r t hs e c t i o ni st h ee x p e r i m e n t sa n a l y s i so f t h en e wm e t h o dt h a tg o tf r o mt h et h i r d s e c t i o n t h e e x p e r i m e n t a lr e s u l t s o no l i v e t t ir e s e a r c h l a b o r a t o r y ( o r e ) f a c e d a t a b a s e ，y a l ed a t a b a s ea n du m i s td a t ab a s es h o wt h a tt h en e wm e t h o di sr o b u s tt o i l l u m i n a t i o na n dp o s e ，a n dc a nr e c o g n i s et h ef a c e i m a g e se f f i c i e n t l ya n de n h a n c et h e r e c o g n i t i o nr a t e k e y w o r d s ：f a c er e c o g n i t i o n ，f e a t u r ee x t r a c t i o n ，p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) ， l i n e a rd i s c r i m i n a n t a n a l y s i s ( l d a ) ，m a x i m u mm a r g i n c r i t e r i o n ( m m c ) ，l o c a l i t y p r e s e r v i n gp r o j e c t i o n ( l p p ) i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及j 得的研究成果尽我所知，除了文中特别加以标注和致谢的地方夕卜，论： 中不包舍其他人已经发表或撰写过的研究成果，也不包含本人为获得江i 大学或其它教育机构的学位或证书而使用过的材料与我一同工作的同j 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意 签 名：彳j 衫 日 期：劢7 气垒g 日仰臼 签 名：丝型! 日 期：丝呈i 笨签型坐竺 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规定 江南大学有权保留并向国家有关部门或机构递交论文的复印件和磁盘， 许论定被查阅和借阅，可以将学位论文的全部或部分内客编入有关数据 进行检索，可以采用影印，缩印或扫描等复制手段像存、汇编学位论文 并且本人电子文档的内容和纸质论文的内容相一致 保密的学位论文在解密后也遵守此规 ，叮町、 签 名： 丝丝 导师签名： 日 期：2 迸星臼 生坌 第一章绪论 第一章绪论 1 1 引言 在当今社会，随着科学和技术的突飞猛进，以及计算机及网络的高速发展，人们对 信息的安全性、隐蔽性等的要求越来越高，怎样才能够有效、方便地进行身份将别和验 证，己经成为人们日益关心的重要问题之一。目前常用的身份识别和验证方法有：智能 卡、工作证、身份证、密码、口令等，这些方法都存在容易丢失、携带不方便，或者由 于使用不当或使用过多而造成损坏、不可读以及密码易被破解等诸多问题和不安全因 素。所以，目前广泛使用的依靠智能卡、工作证、身份证、密码、口令等这些传统鉴定 方法来确认个人身份的技术面临着非常严峻的挑战，而且它们越来越不适应现代科技的 发展和社会的进步【。 这些传统的身份方法( 身份证号码、密码、口令等) 易于丢失、盗取、伪造或者遗忘， 从而给工作和生活带来极大的安全隐患。我们以信用卡为例，国际信用卡组织v i s a 曾 经进行过的一次统计表明，全球在一年内因为伪卡盗刷而造成的信用卡的消费损失高达 1 6 亿美金左右。在计算机信息、网络技术迅猛发展的今天，网络安全、电子商务、电子 银行等应用领域更是迫切的需要一种高效的安全的自动身份认证技术。传统原始的个人 身份认证技术已经明显不能满足信息时代对于信息安全的各种要求。如何才能更加方 便、更加安全地将定每个人的身份呢? 正在兴起的生物识别技术也许能解决这个难题【2 1 。 1 2 生物识别技术简介 1 2 1 生物识别技术的发展和现状 生物识别技术顾名思义就是利用人体的生物特征来进行身份验证的一种识别技术。 由于人体所固有的并不可复制的唯一性是人体的生物特征所具有的特性，所以这一生物 特征密钥是无法简单的被复制、盗窃或者遗忘的。如果采用人体的生物特征作为身份密 钥，用户不但可以不用随身携带大串的钥匙，同时也不用费神去记或更换密码，系统管 理员更不会因为忘记密码而束手无策。从理论上来讲，人体的任何生理特征或人的行为 特征只要满足以下特性都能够用来确认人的身份：稳定性，即这种生物特征不会因为时 间或空间的变化而变化。普遍性，即所有的人都拥有的特征。可获取性，即可以比较容 易的获得该特征并对此特征进行定量处理。唯一性，即没有同时两个不同的人拥有相同 的该种生物特征。 生物识别技术是一门既古老又新颖的技术，以指纹识别为例，可以追溯到我国几千 年前的秦朝至唐朝。以按指为书作为代表的指纹捺印已经在文书、契约等民用场合被广 泛采用，并且得到政府的认可，并具有法律效益。从宋朝起指纹则开始被用做刑事诉讼 的物证，虽然我国对指纹的应用历史非常悠久，但由于缺乏专门性研究未能将指纹识别 技术上升为一门专门的科学。现代的指纹识别技术则起源于十六世纪后期苏格兰， h e n r y f a u l d 于1 8 8 0 年1 0 月2 8 日首次在英国( ( n a t u r e ) ) 上发表论文指出，每个人的指纹是 1 江南大学硕士学位论文 恒久不变的并且各不相同，他还利用现场取得的指纹来坚定罪犯。随后w i l l i a mh e r s c h e l 也在n a t u r e ) ) 上发表了关于指纹识另1 j 2 0 多年来的研究成果，从而才揭开了现代指纹识 别技术研究的序幕。当今社会，计算机技术的高速发展，信心采集系统的日趋完善，各 种识别算法的也得到不断优化，研究者逐渐的由人工指纹识别转向了自动指纹识别的研 究。在1 9 世纪7 0 年代，出现的自动指纹识别系统就逐步渗透到了海关、金融、保险、医 疗等诸多不猛。此时，作为个人身份认证的人脸、虹膜、步态等非接触式的生物识别技 术也引起了研究者的极大关注。 1 2 2 生物识别技术的分类 目前常用的生物识别技术有以下五种【3 】【4 】【5 】： ( 1 ) 人脸识别技术 人们最早使用的生物识别技术之一就是人脸识别技术，人脸识别技术利用获得的人 类面部图像的某些特征，然后对这些特征进行分析比较，从而达到识别身份的目的。这 种技术是我们日常进行身份识别的最主要和最常用的方法，随着现今科学技术的发展， 利用计算机来进行人脸识别的研究与应用，在各个行业中受到了越来越多的关注。 ( 2 ) 指纹识别技术 跟据统计表明，如果按照全球人d 6 0 亿来计算，n 3 0 0 年之间出现重复的指纹概率 约为零。而且一个人在母腹大约7 个月左右的时候指纹就已定型。虽然随着年龄的增长， 人的相貌和性格都会发生变化，但是指纹却是永远保持不变的。另外如果受伤不伤及真 皮组织，指纹即使被磨掉也很快会长出来，并且和原来一样。指纹识别系统就是充分利 用了上述指纹的唯一性、稳定性和再生性等特点，通过比较预先保存的模板指纹特征和 输入的指纹来进行身份验证。 ( 3 ) 签名识别技术 签名识别技术是一种行为的鉴定。人们都很熟悉在银行的账单上签名，以此作为自己 身份的标志。签名识别是这样一个过程，测量图像的本身以及整个签名的动作过程，检 测在每个字母和字母之间不同的速度、顺序和压力。使用签名识别更容易被人们接受。 但是随着生活经验的增长，性情和生活方式的改变等，签名也会随之改变。所以为了处 理签名不可辟免的自然改变就不得不在安全方面做出妥协。 ( 4 ) 语音识别技术 语音识别与签名识别技术一样，是一种行为的鉴定，是对说话者语言学和声音的综 合运用，语音识别技术并不对词语的本身进行识别，而是通过分析语音的某些特征进行 识别。例如发音的频率、波形等来识别说话人的身份，使得人们可以通过说话来控制能 否具有出入限制性的区域的权限。比如可以通过电话，语音拨入电子银行购物，或者使 用语音邮件等。虽然语音识别比其他的技术快捷、方便，但是因为一些非人性化的风险 还有远程控制，以及低准确率使得它的可靠性并不高。比如一个患上感冒而声音改变的 人，就有可能被错误的拒绝识别，从而无法使用该语音识别系统。 ( 5 ) 虹膜识别技术 2 第一章绪论 利用世界上任何两个人的虹膜都是不同的这一特征，就可以通过人们最早使用的生 物识别技术来进行身份鉴别。即使是双胞胎，他们虹膜也时不同的，而且人的虹膜在一 岁之后就已经稳定，从此不再发生变化。虹膜识别系统首先用一台扫描仪对用户的眼睛 进行扫描，然后把扫描到的虹膜图像通过计算机转化成数字信息，再将其与数据库中的 已有的资料进行核对，从而识别出身份。但是目前的虹膜识别系统的价格比较昂贵。 1 3 人脸识别技术 1 3 1 人脸识别技术简介 计算机识别人脸技术就是通过输入设备提取人类的面部特征，然后由这些特征进行 身份验证的一种技术。人脸识别技术作为一个系统主要包括人脸的检测、特征提取和人 脸识别三个步骤。其过程如图1 1 所示。 一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一、 人脸检测人脸特征提取 l ! 人脸识别 i 圃日囤日囤净团 图1 - 1 人脸识别系统 f i g 1 - 1 f a c er e c o g n iti o ns y st e a 利用人脸特征进行身份验证是最自然、最直接的手段，同其他生物特征识别技术相 比它具有直接、友好、方便的特点，易于为用户所接受。因此人脸识别技术在罪案侦查、 通信安全、权限控制等领域具有广泛的应用前景。与其他学科又不同的是，人脸识别技 术作为一门交叉学科，涉及的学科种类非常多，包括：心理学、解剖学、数学、计算机 科学中的图像处理、人工智能、计算机视觉和物理学中的光学、材料学等等，这就需要 研究人员具有完善的知识体系和丰富的经验。关于人脸识别的研究已经成为众多学科中 的热点问题，尤其是在认知心理学和计算机科学中的地位尤为突出。而且人类的面部表 情丰富；人的面部特征会随年龄增长而变化；认的面部所成像的距离、成像角度、表情、 姿态、图像的环境光照强度等的影响，使得计算机识别出人脸的难度加大。因此人脸识 别技术仍然是2 1 世纪富有挑战性的主要课题。 1 3 2 人脸识别技术的发展现状 在上个世纪的中叶，人脸识别技术在研究领域就引起了人们的广泛关注。在6 0 年代 末期，b l e d s o e 通过得到人脸一些特征点，然后分析其中的一些参数，建成了一个半自动 3 江南大学硕士学位论文 的人脸识别系统。在过去的将近半个世纪的时期中，生物学家、物理学家、工程师、等 多个领域的研究者对人或者机器怎样识别人脸的各个方面都进行了广泛的研究p j 。目前， 向美国等发达国已经建立了许多研究组在从事人脸识别的研究，政府、警方、军方和许 多大公司的高度重视和资助这些研究组。在我国，也开始有一些高等院校和研究所研究 人脸识别相关的技术。最近几十年来，人脸识别的研究取得了长足进步，国内外发表有 关人脸识别的论文数量大幅增长【6 j 。 在二十世纪九十年代，人脸识别的发展趋势是人脸器官部件分析与人脸全局分析相 结合的方向，研究人员融合人脸的面部局部灰度特征、几何形状拓扑结构特征，还有整 体特征等多种特征，认为人脸识别的算法要尽可能充分地利用人类面部的各种特征信 息，从而衍生出血多新的算法，新的这些算法是是把原来功能比较单一的算法融合，然 后共进行人脸识别。进入9 0 年代后期之后，人脸识别技术开始商业化，一些人脸识别系 统开始进入市场。在2 0 0 0 年前后，伴随着计算机技术的飞速发展，人脸识别方法的性能 有了一定的提高，并且已经广泛应用于智能门禁系统、计算机安全领域、智能监控系统、 机器视觉系统、医学诊断系统以及三维动画等领域，但是还是没有满足人们的要求，现 有的方法仍然有一定得局限性，需要完善和提高。 1 3 3 人脸识别技术的内容 从人脸识别技术的应用内容来看，它可分为：已知待识别的目标人脸及其身份，来 确定待识别的目标人脸是否符合其身份；还有就是目标人脸的身份是未知的，来识别出 该目标人脸的身份。当待识别的目标人脸是己知的时候，确定待识别的目标人脸是否符 合其身份，主要是应用在已知一个或已知几个人脸的情况下，将待识别人脸与已经过获 得的这个人的多幅图像进行比较，从而判断待识别人脸是否是这个人。在目标人脸的身 份是未知的，来识别出该目标人脸的身份，就是将已经未知身份的待识别人脸图像与已 有的人脸图像库中存储的人脸图像进行比较，从而识别出该待识别人脸图像是否在人脸 图像库中、是人脸图像库中的哪一个，从而确定身份。 从人脸识别技术中识别人脸的过程来看，可以将人脸识别方法划分为人脸检测、人 脸表征、人脸识别。如果从广义上来所，还有生理分析和表情分析1 7 儿叫： ( 1 ) 人脸检钡l j ( f a c ed e t e c t i o n ) ：是指在各种不同的场景中，检测出输入图像中人脸 是否存在，如果存在则分析出输入图像中所有人脸的位置、大小、姿态的过程。人脸检 测的算法有很多，主要有：基于肤色区域分割的人脸检测算法、基于启发式模型的人脸 检测算法以及基于统计模型的人脸检测算法。 ( 2 ) 人脸表征( f a c er e p r e s e n t a t i o n ) ：就是使用一种表示的方法表达出的检测到得人 脸和数据库中的已知人脸，是一种表示方式。通常的表示法包括代数特征( 如矩阵特征 矢量) 、几何特征( 如欧氏距离曲率角度) 、固定特征模板特征脸云纹图等。 ( 3 ) 人脸鉴另l j ( f a c ei d e n t i f i c a t i o n ) ( 通常所说的人脸识别) ：即将数据库中的己知人脸 图像与待识别人脸图像做比较，求得相关结果，然后分类。这一过程的核心就是选择适 当的人脸表征方式与匹配策略，系统的构造与人脸表征方式密切相关。由于人脸鉴别通 4 第一章绪论 常被称作“人脸识别”如无特别指明，本文中的人脸识别即是指待识别人脸与数据库中已 知人脸之间匹配的问题。 ( 4 ) 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：就是通过对人类生理信息和人脸形态对应关 系的研究和建模，分析面部图像的生理特征，如肤色、瞳孔距离等，然后对其进行分析， 得出其性别、年龄等的相关信息。反之，也可以利用这些生理信息和人物目前的面貌推 断其未来可能的形态。 ( 5 ) 姿态表情分析( g e s t u r e e x p r e s s i o na n a l y s i s ) ：即通过分析待识别面部图像的某 些表情( 害怕、伤感、高兴、惊恐等) ，然后归类。显然，这需要大量的知识，并且需要 相当复杂的运算，所以对姿态、表情的研究处于起步阶段。至u f r i e s e n 和e k m a n1 9 】， t e r z o p o u l o s 和w a t e r s i l u j 等已经在这方面做了初步的研究。 1 4 特征提取技术 特征提取的主要目是从检测到的人脸图像中抽象出具有代表性的人脸特征本质特 征，从而降低特征空间的维数，以利于识别后续的分类过程。特征提取技术首先要去除 图像冗余信息以简化和加快计算速度和识别过程；并且要让提取的特征具有完备性和充 分性从而保证识别的正确率。这样提取的特征是否充分了反映人脸特征机器属性是人脸 识别系统成败的主要因素，从另一个方面说也就是选取什么特征的即特征选择的问题。 特征提取是人脸识别中的重要过程，有效地特征提取方法不仅能够有助于简化后继 的分类器设计，并且能够有效提高识别率。迄今为止，提出的特征提取算法很多，特征 提取技术按照其采用的准则的不同，可以分为基于描述准则的非监督方法和基于类别可 分离准则的监督方法两大类：基于整体( h o l i s t i c b a s e d ) 方法和基于局部特征的 ( 1 0 c a l f e a t u r e b a s e d ) 方法。前者的基本思想把人脸图像作为一个整休，对其进行某种变换 处理提取特征。由于基于整体的方法不仅考虑了人脸的整体属性，而且也保留了人脸部 件之间的拓扑关系，因此，这类方法近年来得到人们更多的研究。基于局部特征的方法 则是利用人脸的局部几何特征，如一些面部器官( 眼、鼻、嘴等) 的相对位置和相互距离 来描述人脸。这类方法是早期人脸特征提取的主要方法。下面介绍几种人脸特征提取与 识别的常用方法。 1 4 1 基于几何特征的方法 人的脸可以看成由鼻子、嘴、眼睛、下巴等部件构成，正因为这些部件的结构、大 小和形状上的各不相同世界上每个人脸才会千差万别，所以关于这些部件的结构、大小 和形状关系的几何描述，就可以作为人脸识别的重要特征。现在有不少的这类方法，比 如由曲率识别【1 1 】【1 2 】，先建立一个由人脸轮廓线构成的分类库，然后再用相关的函数计算 分类库中曲率线和人脸的轮廓线的曲率线，最后得出人脸的分类。另外一种方法是基于 面部几何特征点提取方法，采用几何特征进行正面人脸识别一般是通过提取人眼、口、 鼻等重要特征点的位置，还有眼睛等重要器官的几何形状作为分类特征。这种方法最早 5 江南大学硕士学位论文 是用于人面轮廓的描述与识别，首先根据侧面轮廓曲线确定若干显著点，并由这些显著 点导出一组用于识别的特征度量对这些部件和结构关系的几何描述。例j t l y u i l l c l l o l 1 3 】 提出了用全局人脸模板以抽取眼睛与嘴。k a n a d e 1 4 1 用眼睛、嘴角、鼻子等点之间的距离， 以及所成的角等几何量作为人脸的特征。 1 4 2 基于统计的方法 人脸图像从数学上看就是一个矩阵，将人脸用代数特征矢量表示，经过特定分析计 算，就可以获得人脸统计上的整体特征。k i r b y 和s i r o v i c h t l s 使m k l 变换的方法来提取 人脸特征，k l 变换是图像压缩中的一种最优正交变换。若将k l 变换用于人脸识别，则 需假设人脸处于低维线性空间，且不同人脸具有可分性。t u r k 和p e n t l a n d l l 6 首次把主元 分析的子空间思想引入到人脸识别中，并获得了较大的成功，随后子空间分析方法就引 起了人们的广泛注意，从而成为了当前人脸识别的主流方法之一。f i s h e r f a c e s 1 7 】【1 8 】【1 9 】法 采用线性判别分析法，是对特征脸法的一种改进。奇异值分解( s v d ) 睇o j 法是与k l 变换 类似的一种特征提取方法。 这类方法利用统计方法从整个训练图像集合提取统计特征，并不要求单独抽取眼 睛、嘴角、鼻子等面部特征，从原理上更为先进合理，在实验中也表现出更好的识别效 果。图1 2 为统计方法的一个简单模型，由训练阶段和测试阶段两部分组成。 训练图像 ，、训练图像特征向量广、 _ i 特征提取l _ 1 分类器i 、- - - - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - _ 一- _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ j ， 训练( 学习) 土 特征表示 上 分类器参数 图1 - 2 统计识别模型 f i g 1 - 2 m o d e lo fs t a t i s t i c sr e c o g n i t i o ns y s t e m 1 4 3 弹性图匹配 弹性图匹配【2 1 】瞄】【2 3 1 方法一种基于动态链接结构( d y n a m i cl i n ka r c h i t e c t u r e ，d l a ) 的方法。它将人脸用格状的稀疏图开表示，弹性图匹配方法对于人脸变形具有一定的容 忍度，图中的节点表示一个特征向量，图的边用连接节点的距离向量标记。匹配时，第 一步先寻找与输入图像最相似的模型图，第二步再对稀疏图中的每一个节点位置进行最 佳匹配，从而产生一个变形图，其节点逼近模型图的对应点的位置，这样就找到匹配程 度最高的一个人脸图像。弹性图匹配方法对旋转、位移及尺度变化都不敏感，它是一种 6 果一 结一别一竺 凶 量1 i 向一 正 一 右4 一 特一像一 图一试一 一 卤 类分，l 第一章绪论 比特征脸方法的优秀人脸识别方法。但是此方法的不足之处是对每一个在人脸库中的人 脸，都要去计算其模型图，所以它的计算量、存储量太大。 1 4 4 神经网络方法 神经网络是利用大量简单处理单元( 神经元) 互联构成的复杂系统来解决识别问题， 它在正面人脸识别中取得了较好的效果【2 4 】。它通过对样本的学习构造出分类器，并且对 分类器进行训练，最后利用分类器来完成仿真分类。用于人脸识别的神经网络最早的是 k o h o n e n t 2 引，他利用神经网络的联想能力“回忆 人脸，“回忆”是指当输入图像上的人 脸受噪声污染严重或部分缺损时，能用k o h o n e n 网络恢复出原来完整的人脸。 l a w r e n c e 等【2 6 j 利用多级的s o m ，实现样本的聚类。d e m e r s 等【2 7 】使用一种主成分分 析方法与神经网络相结合的办法来实现人脸识别。最近几年经常使用的人工神经网络方 法有径向基函数神经网络1 2 8 、b p 神经网络、自组织神经网络等。神经网络方法在人脸 识别上与其他类型的人脸识别方法相比有其独到的优势，神经网络方法充分利用了神经 网络的非线性映射特性，因此对人脸图像的光照变化具有很好的稳定性。 1 4 5 支持向量机方法 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 1 2 9 】方法是核函数方法和最优线性分类混 合应用的产物。通过核函数映射，支持向量机第一步将输入样本空间非线性变换到另一 个高维数的空间( 特征空间) ，然后在这个新的空间中求取样本的最优线性分类面，而这 种非线性变换是通过定义适当的内积函数。支持向量机仍然处在不断发展的阶段，但支 持向量机是这几年来在模式识别和人工智能领域大多数研究者都认为种性能很好的分 类器，并且支持向量机进行人脸检测和识别的时候能够取得较好的效果，但是其缺点是 速度速度比较慢和内存开销比较大【3 0 1 。 1 4 6 隐马尔可夫模型法 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 是用于描述信号统计特性的一组统计 模型，它使用马尔可夫链来描述模拟信号统计特性的变化，而这种模拟信号变化的描述 是间接地通过观察序列得到的。所以，隐马尔科夫过程是一个双重的随机过程。隐马尔 可夫模型在语音领域的应用非常广泛，而且在文字识别方面的效果也比较好，目前在人 脸识别方面也得到了推广和应用。因为隐马尔可夫模型是一个数学统计模型，对于同一 特征序列，它可能会对应于许多的状态序列，特征序列与状态序列之间的对应关系不 一定是确定的。这种模型对于状态序列来说是隐的，所以称之为隐马尔科夫模型。用隐 马尔可夫模型对人脸进行描述和识别的时候，不是孤立地使用各个器官的数值特征，而 是把一个状态转移模型和这些特征联系起来。人脸的模式可以通过眼睛、眉毛、鼻子、 耳朵和嘴等几个部分表示，然后，我们就可以有顺序地观察人脸( l k 女n 从左到右等) ，这 样的话人脸的模式就可以和连续密度隐马尔可夫模型的状态来进行关联【3 l 】。 7 江南大学硕士学位论文 通过上面的介绍我们可以看到，人脸识别方法有许多种，每一种方法都尤其自身的 有点或者缺点，所以现在还没有找到一种能够比较广泛的使用于各种情况下的通用方 法，所以就有不少的研究者把几种方法综合起来进行人脸识别，或者同时采用不同类型 的特征进行识别。 8 第二章人脸图像的特征提取 第二章人脸图像的特征提取 2 1 研究背景 人脸图像的特征提取又被称为人脸表述，是对人脸图像进行特征建模的过程，目的 是提取出原始高维人脸模式的低维特征，以用于后继的分类等任务。由于这些特征，是 由训练样本的整体统计特性分析得到的，所以它们也称为基于统计的特征提取。近年来， 特征提取的各种方法中比较经典的就是基于统计的方法。基于统计的方法简单的讲就是 利用统计策略直接从全部的训练图像集合提取整体的统计特征，基于统计的方法是不需 要单独提取每个人脸图像的面部特征。基于统计的方法用于人脸图像的特征提取的基本 策略就是首先得到一个合适的投影空间，然后将人脸图像投影到这个投影空间上，最后 通过度量图像与这种投影间的某种关系来确定图像间的相似度【3 2 】。 如果把一幅人脸图像看作成一个像素值为元素的矩阵，但是矩阵一般都非常的巨 大，比如把n 幅11 2 x 9 2 的图像展开就是一个1 0 3 0 4 xn 的矩阵，其维数比较巨大，为了 使数据的分布更加紧凑，使其有更好的描述，并尽量降低数据计算的复杂度，我们就将 原始图像数据压缩到一个低维子空间。子空间分析的思想就是根据一定的性能目标来寻 找一线性或非线性的空间变换，把原始图像数据投影到一个低维子空间，使得原始样本 在该子空间内的投影矢量作为鉴别特征用于识别。 在使用子空间分析这种方法识别人脸时，由于人脸模式的复杂性和多变性，在视角、 表情和光照等各种因素变化时，通常人脸模式的类内离散度远远大于类间离散度，这样 就会导致很难有效地提取分类特征。所以，人脸图像的特征提取是人脸识别的主要难点， 同样也是影响人脸识别准确率的关键技术环节之一。而且人脸图像的特征提取过程在本 质上比识别的过程更具有启发式的特性。从人类自身的识别机理来看，很难从表面上将 特征提取的过程与识别的过程截然分开，往往这两个过程是相互反馈和相互启发的。在 在实现识别系统过程中，特征提取过程的有效性与识别过程相比更不易定量。这多种因 素就决定了人脸图像的特征提取的多变性和复杂性【3 3 】。 2 2 主成分分析( p c a ) 主成分分析( p r i n c i p a lc o m p o n e n t sa n a l y s i s ，p c a ) t 1 5 】【1 6 1 1 2 9 ，实质上是一种统计性的 模板匹配方法，特征脸方法原理简单，易于实现，是线性模型参数估计性能的一种常用 方法，现在它己经成为众多人脸识别基准算法之一。 2 2 2k - l 变换 p c a 的实质上是是k - l 展开的网络递推实现。k - l 变换是图像压缩技术中的一种最优 正交变换，其生成矩阵一般为训练样本的总体散布矩阵。其基本原理如下： 现在设x 是一个n x l 维的随机向量，则可以在同一个随机母体中得到了m 个矢量的 9 江南大学硕士学位论文 采样：x = ( 矸，而k ，h k ) 7 ，k = 1 2 ，m ； 得到的该组组随机矢量的平均值则可由m 个样本近似为：峨2 击善坼。 并且其协方差矩阵可以近似为： c = e 一) ( i - - m x ) 7 】吉善磁t - m x m r 。 设矩阵a 的行向量为协方差矩阵乙z 的正交特征向量，然后把矩阵a 的特征值按照递 减的顺序排列，再把其行向量一一对应，我们就可以定义k l 变换为： y = a ( x m x ) 然后我们就可以把y 的协方差矩阵( 其中y 是具有零均值的随机向量) 与x 的协方差矩 阵的关系表示为： c v = a c x a lo 上面q 为对角矩阵，对角矩阵q 主对角线上的元素也同时是c 的特征值，即： c y = 0 如 0 九n 我们看到l y 只有对角的元素不为零，所以我们就可以知道y 的各向量之间都是不相 关的。这样，通过线性变换a ，就去掉了变量间的相关。并且矩阵c 。和矩阵c ，具有相 同的特征向量和特征值。 通过k l 变换将x 映射到y ，其实质上是建立了一个新的坐标系，这个坐标系的坐标 轴在c ，的特征向量方向上。 k l 变换是可逆的，矩阵a 的每一行都是正交归一化向量，即a = a7 ，所以任何 一个矢量x 反过来都可以由对应的矢量y 重构：x = a _ 1 y + m ，= a 丁y + m ，。 2 2 3 基于p c a 的特征提取 主成分分析法( p c a ) 是根据样本点在多维模式空间的位置分布，以样本点在空间中 变化最大方向，即方差最大方向，作为判别矢量来实现数据的特征提取与数据压缩的。 从概率统计观点可知，一个随机变量的方差越大，该随机变量所包含的信息就越多，如 当一个变量的方差为零时，该变量为一常数，不含任何信息。 设有大小为mx 刀个像素的一幅人脸图像，通过将其每列相连就可以得到一个大小 为d = mx 刀维的列向量，d 为人脸图像的维数，即人脸图像空间的维数。设m 为所有训 练样本的数目，x ，为第i 幅人脸图像形成的列向量，则所有训练样本的协方差矩阵为即总 体散度矩阵s ，定义如下： l o 第二章人脸图像的特征提取 s r = ( t 一) ( 而一) 1 扛1 ( 2 1 ) 1m 其中表示所有样本的均值：= 吉墨。 v l i = 1 如果令a = 【x ，- t ，x ：- t ，h 一川，品就可以表示为s r = a a r ，它的维数的大小 就是d x d 。 由k l 变换原理得到，我们所得到的新的坐标系就是由我们所求的新坐标系即由矩 阵删。非零的特征值所对应的特征向量构成。我们就可以得到总体散度矩阵的正交归一 的特征向量及其特征值，其中特征向量就是子空间的正交基。这样我们就可以把全部的 人脸图像都投影到由这些特征向量所组成的子空间中。这样其中的每一幅人脸图像都对 应于子空间中的一个点，如果我们把非零的特征值所对应的特征向量从新按照图像形式 进行排列，就可以看出这些向量所排列出来的特征像人脸，所以这些特征向量也就是子 空间的正交基被叫做“特征脸”。 p c a 分析中，其中主成分选取的优先级一般是按照其特征值的大小来选择的。如 果该特征值越大，那么它的优先级就是越高的。但是p c a 在人脸识别方面来说，究竟应 该选择多少个主成分才是最好的，目前有下面通用的标准： ( 1 ) 选取最大的前i 个特征向量，这样使样本集在前i 个轴上的能量在占整个能量能够 达到一定的比例( 通常要大于9 0 ) 。 ( 2 ) 保持前面c 1 个特征向量( c 为样本类别数) ：将特征向量是按照其对应的特征值 降序排列，并且只保留最前面的c 1 个特征向量。 ( 3 ) 丢弃最前面的3 个特征向量：同样把特征值按照降序排列，对于最大的3 个特征值 所对应的特征向量有可能反映了图像间由于光线不同而造成的差异，丢掉前面的3 个特 征向量会提高识别率。 ( 4 ) 丢弃最后4 0 的特征向量：这是因为特征向量是按照其对应的特征值降序排列 的，丢弃最后4 0 的特征向量就是丢弃掉反映最少的4 0 图像间差异的特征向量。 ( 5 ) 标准的特征空间投影：所有的对应于非零特征值的特征向量均被用于创建特征脸 子空间。这种方法在非零特征值所对应特征向量比较多的时候，它是不利于分类的，且 运算速度慢，也不能达到降低人脸