（信号与信息处理专业论文）人脸特征子空间方法研究.pdf

人连理j ：火学硕士学位论文 摘要 人脸识别和表情识别研究工作一般分为三个步骤：人脸检测、人脸特征提取以及分 类与识别。而人脸特征的提取是整个过程中较为关键的环节。本文以模式识别中的特征 子空间思想为主要研究方法，系统地研究了人脸特征提取技术。 人脸特征子空间方法的基本思想是找到能够表征人脸特征的子空间，不同的方法对 于特征的提取，有不同的特点。p c a 、i c a 、n m f 和l n m f 这四种子空间方法中，相 对而言，p c a 主要提取的是人脸图像的整体信息，而其他三种方法能够提取出图像的局 部信息，其中l n m f 提取人脸图像局部信息的能力最强。因为每种方法的机器学习过程 不尽相同，其得到的基图像和重构图像也各有不同的特征。同时每种方法对其本身的基 向量的个数要求以及系数矩阵的约束条件不同，其收敛方式和收敛速度也有所差异。在 实际应用中，四种方法都可以应用到人脸识别和表情识别中，识别率与其基向量的个数 以及迭代的次数有关。其中，l n m f 达到收敛所需要的基向量个数较少，并且用来重构 图像所需的基向量的个数也较少。在基向量个数相同的情况下，l n m f 的识别率也比较 高。但是其达到收敛所需的迭代次数较多。 子空间提取出来的特征，通常是人脸的最佳描述特征，但并不一定是最适合于分类 的特征。而判决分析可以总结为：找到一个能够返回某种度量值的函数，而且该度量值 能够成为区分样本不同类别的依据。这些依据可以用来训练分类器，或者提取特征。因 此，判决分析可以理解为一种监督学习或者特征提取方式。n k f d a 就是这样一种基于 零空| 日j 的核函数f i s h e r 判决分析，这种方法结合了核函数与线性判决分析以及零空间思 想，能够挑选出人脸特征子空白j 中有利于分类的特征，所以可以和子空问方法结合起来 应用到人脸识别和表情识别等实际的分类问题。 通过对o r l 图像库中的人脸图像进行人脸识别实验，以及对c o h n - k a n a d e 图像库 的表情图像进行的表情识别实验，表明了将子空间方法和n k f d a 结合的有效性和合理 性，针对上述的实验，都取得了比较好的实验结果，优于单纯的子空间方法。其中l n m f 结合n k f d a 的方法，识别效果最佳。同时，为了验证光照和分辨率等外界条件对其识 别结果的影响，本文也进行了相应实验，结果表明该方法对于光照条件和图像分辨率具 有较强的鲁棒性。 关键词：人脸特征子空间；主成分分析；独立成分分析；非负矩阵分解；局部非负矩阵 分解 大连理工大学硕十学位论文 r e s e a r c ho nf a c ef e a t u r es u b s p a c em e t h o d s a b s t r a c t 1 1 1 er e s e a r c ho ff a c er e c o g n i t i o na n df a c i a le x p r e s s i o nr e c o g n i t i o nc a l lb ed i v i d e di n t 0 t h r e es t e p s ：f a c ed e t e c t i o n f a c ef e a t u r ee x t r a c t i o na n dc l a s s i f ya n dr e c o g n i t i o n 1 1 1 ee x t r a c t i n g o ff a c ef e a m r ei st h ek e yt a c h eo ft h ew h o l ec o u r s e b a s e do nt h es u b s p a c em e t h o d so ft h e p a t t e r nr e c o g n i t i o na st h er e s e a r c hf i e l d t h i sp a p e rh a ss t u d i e dt h ef a c ef e a t u r ee x t r a c t i o n t e c h n o l o g y t h em a i np o i n to fs u b s p a c em e t h o di st of i n das u b s p a c ew h i c hc a ns h o wt h ef e a t u r e so f f a c ei m a g e s d i f f e r e n tm e t h o d sh a v ed i f f e r e n tc h a r a c t e r s a m o n gt h em e t h o d sp c ai c a n m fa n du 叮m f 。c o m p a r a t i v e l y , p c ae x t r a c t st h ew h o l ei n f o r m a t i o no ft h ei m a g e s ，b u tt h e o t h e rt h r e em e t h o d sc a ne x t r a c tt h el o c a li n f o r m a t i o no f t h ei m a g e s w h i d ll n m fh a st h eb e s t a b i l i t yt og e tl o c a li n f o r m a t i o n h it h ep r a c t i c a l i t ya p p l i c a t i o n s ，a l lt h ef o u rm e t h o d sc a nb e u s e di n t of a c er e c o g n i t i o na n df a c i a le x p r e s s i o nr e c o g n i t i o n , a n dt h er e c o g n i t i o nr a t e sh a v e r e l a t i o n s h i pw i t ht h en u m b e ro f b a s ev e c t o r sa n di t e r a n c e l n m fr e e d st h el e a s tn u m b e ro f b a s ev e c t o r st or e a c hc o n v e r g e n c ea n dr e c o n s t r u c t i o n w h a nt h en u m b e ro f b a s ev e c t o r sj st h e s a m e , l n m fh a st h eb e s tr e c o g n i t i o nr a t e b u ti tn e e d sm o r en u m b e ro fi t e r a n c et h a nt h e o t h e l t h r e em e t h o d s t h ef e a t u r e se x t r a c t e db ys u b s p a c ec a nu s u a l l ys h o wt h ei n f o r m a t i o no ff a c ei m a g e s b u t a r en o ta l w a y ss u i t a b l ef o rc l a s s i f y t h ed i s c r i m i n a n ta n a l y s i sc a nb es u m m e d u pa s ：f i n da f u n c t i o nw h i c hc a nr e t u r nam e a s u r e m e n tv a l u e ，a n dt h ev a l u ec a nd i s t i n g u i s hd i f f e r e n t s a m p l e s i tc a nt r a i nt h ec l a s s i f i e r , a sw e l la se x t r a c t i n gf e a t u r e s t h e r e b y , d i s c r i m i n a n t a n a l y s i sc a nb ec o n s i d e r e da sas u p e r v i s el e a r n i n go ram e t h o do ff e a t u r ee x t r a c t i n g n k f d a i saf i s h e rd i s c r i m i n a n ta n a l y s i sc o m b i n e dn u l l s p a c ea n dk e r n e lf u n c t i o n ，i tc a l ls e l e e tt h e f e a t u r e sw h i c ha r es u i t a b l ef o rc l a s s i f 讥s oi tc a l lb ec o m b i n e dw i t hs u b s p a c em e t h o d s i th a sb e e np r o v e dt h a ts u b s p a c em e t h o d sc o m b i n e dn k f d ah a sv a l i d i t ya n dr a t i o n a l i t y , b a s e do nt h ef a c er e c o g n i t i o ne x p e r i m e n t so no r ld a t a b a s ea n df a c i a le x p r e s s i o nr e c o g n i t i o n e x p e r i m e n t so nc o h n k a n a d ed a t a b a s e 1 1 1 i sm e t h o dh a sb e t t e rr e s u l t st h a nu s i n gs u b s p a c e m e t h o d so n l y a n dt h em e t h o dl n m fc o m b i n e dn k f d ah a st h eb e s tr e s u l to fa 1 1t h ef o o r m e t h o d s a tt h em e a n w h i l e i ti sr o b u s tt oi l l u m i n a t i o na n dr e s o l u t i o n k e yw o r d s ：f a c es u b s p a c e ；p c a ；i c a ：n m f ；l n m f 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意 作者签名：蛰坠日期：坦塑：l 笪 人连理i ，人学颂十研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送 交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也 可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名如 铆签名：老潮：l导师签名： 翟幽：f 上丝年j _ 月卫闩 大连理上大学硕十学位论文 1绪论 人脸特征子空间方法 i - 2 是利用计算机对人脸图像进行特征抽取，将基于像素特征 的原人脸图像映射到特征子空间上，目的是在人脸图像所映射的特征子空间中，获得原 有图像所隐含的特征，从而完成人脸识别、表情识别、性别识别、种族识别等具体应用。 人脸特征子空间方法是近年计算机图像处理、模式识别、人工智能领域内最为活跃的研 究课题之一。 本章就人脸特征子空间方法的研究背景、意义、研究现状和应用| j 景进行介绍，最 后对论文的安排进行说明。 1 1 研究背景及意义 生物特征可分为生理特征和行为特征【3 4 】。虹膜、指纹、掌纹、耳朵、体味等都是 生理特征。步态、笔迹、声音等则可归类为行为特征。人脸则是其中最特殊的一种生物 特征，它既是生理特征又是行为特征( 但很少有人研究人脸的行为特征) 。而且与其他生 物特征相比，人脸特征具有主动性、非侵犯性和用户友好等许多优点，多年来一直受到 许多研究者的关注。 人脸特征所反映的视觉信息在人与人的交流和交往中有着重要的作用和意义。计算 机人脸识别技术试图使计算机具有人的脸像识别能力【5 】。依托于图像理解、模式识别、 计算机视觉和神经网络等技术，人脸识别技术在近三十年里得到了广泛的关注和研究。 人脸识别的研究范围广义上来讲大致包括以下五个方面的内容： ( 1 ) 人脸定位和检测( f a c ed e t e c t i o n ) 即从静态图片或者视频序列中是否检测出人脸的存在并且确定其位置，最后分离出 来。这一任务主要受到光照、噪声、面部倾斜以及各种各样遮挡的影响。在某些情况下 由于图像( 照片) 的获取环境是可以人为控制的( 如身份证照片等) ，因而人脸的定位可以 轻易地做到：但在大多数的场合中由于场景较复杂，人脸的位置是预先不知道的，因而 首先必须确定场景中是否存在人脸，如果存在人脸，再确定图像中人脸的位置。人脸检 测是人脸身份识别的前期工作。同时，人脸检测作为完整的单独功能模块可用于保安系 统、案件侦破系统以及涉及到人机交互的领域；另外还可广泛应用于人的跟踪、监测等 系统。 ( 2 ) 人脸表征( f a c er e p r e s e n t a t i o n ) ( 也称人脸特征抽取) ：即采用某种表示方法表示 检测出的人脸与数据库中的已知人脸。通常的表示方法包括几何特征( 如欧氏距离、曲 率、角度) 、代数特征( 如矩阵特征向量) 、固定特征模板、特征脸等。 人脸特征子空间方法研究 ( 3 ) 人脸识别( f a c ei d e n t i f i c a t i o n ) ：即将待识别的人脸与数据库中已知人脸比较，得 出相关信息。这一过程的核心是选择适当的人脸表征方式与匹配策略，系统的构造与人 脸的表征方式密切相关。在人脸识别研究中，现在主要集中在三类方法上：基于几何特 征的方法、基于模板的方法和基于模型的方法。基于几何特征的方法是最早、最传统的 方法，由于现在结合了各种优秀特征提取算法( 如动态模板、活动轮廓等) 的提取，使得 人脸的几何特征描述越来越充分，而且在表情分析方面，人脸的几何特征仍然是最有力 的判据：基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方 法、奇异值分解方法、神经网络方法、动态连接匹配方法等。基于模型的方法则有基于 隐马尔可夫模型、主动形状模型和主动外观模型的方法等。其中，特征脸方法是目前最 流行的算法之一，具有简单有效的特点，现在特征脸算法己经与经典的模板匹配算法一 起成为测试人脸识别系统性能的基准算法，改进的特征脸算法是主流的人脸识别技术， 也是具有最好性能的识别方法之一。 ( 4 ) 表情姿态分析( e x p r e s s i o n g e s t u r ea n a l y s i s ) ：即对待识别人脸的表情或姿态信 息进行分析，并对其加以归类。到目前为止，由于该问题的复杂性对表情分析的研究还 处于初步阶段。 ( 5 ) 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：即对待识别人脸的生理特征进行分析，得出其 年龄、性别等相关信息，或者从几幅相关的图像推导出希望得到的人脸图像，如从父母 图像推导出孩子的脸部图像、基于年龄增长的人脸图像估算等。显然，完成这一操作需 要大量的知识并且通常是非常困难和复杂的。 人脸识别具有广阔的应用前景。机关单位的安全和考勤、网络安全、银行、海关边 检、物业管理、军队安全、计算机登录系统等方面都可以用到人脸识别技术。在机关等 单位，基于人脸识别的门禁系统既可以保障单位的安全，又可以对职工自动进行考勤； 在电子商务、国际贸易、银行交易等场合，人脸识别技术可以在一定程度上克服口令和 密码的缺陷；在银行系统，人脸识别系统不需任何电子或机械的“钥匙”，可以减少因 丢失钥匙、遗忘密码而带来的问题。目前人脸识别技术在一定应用范围内已经获得了成 功，并且正在被推向以下的应用领域。 ( 1 ) 身份鉴别 人脸作为一种高普遍性、可以非接触式采集的重要生物特征，可以用以进行身份鉴 别。人脸识别技术可以被应用在多种不同的安全领域：证件( 如：驾驶执照、护照) 中的 身份认证；楼字进出的安全控制；重要场所中的安全检测和监控；智能卡中的身份认证。 ( 2 ) 信息安全 大连理j ：人学硕十学位论文 人脸识别技术在信息安全领域也有着巨大的潜在应用价值。随着网络技术日益走进 人们的日常生活，越来越多的用户可以访问互联网，越来越多的信息被置入互联网。而 由于网络信息访问的便捷性，网络的安全控制成为一个日益迫切的重要问题。利用人脸 识别技术，可以进行计算机的登录控制，可以进行应用程序的安全使用、数据库的安全 访问和文件加密，可以实现局域网和广域网的安全控制，可以保护电子商务的安全性。 ( 3 ) 人机交互 人脸识别技术可以用于创建友好自然的人机交互方式，是智能计算机领域研究的重 要内容之一。一个可以识别使用者人脸的智能计算机，可以按照其特点为该使用者提供 工作环境，从而使人与计算机之间的交互如同人与人之间的交互一样轻松自如。 ( 4 ) 图像库检索 人脸识别技术还被用在图像库检索技术中，在大型人脸库中检索出与索引脸像相同 或相近的脸像。例如：公安部门可以利用人脸识别技术进行罪犯库的管理和查询。 图1 1 和1 2 给出了人脸特征子空间方法在实际生活中的两个应用。 图1 1 表示的是北京2 0 0 8 奥运会人脸识别系统。在北京2 0 0 8 奥运会中，将采用这 一系统进行与会者的身份鉴别。 图1 2 表示的是表情识别机器人k h o t 。该机器人能自动识别出眼前的人的面部表 情，进而进行模仿，它可以应用到临床医疗等很多应用领域。 图1 1 北京2 0 0 8 奥运会人脸识别系统 f i g 1 1 f a c er e c o g n i t i o ns y s t e mo f 2 0 0 8b e i j i n go l y m p i cg a m e s 人脸特征子空间方法研究 图1 2 表情识别机器人k - b o t f i g 1 2 f a c i a le x p r e s s i o nr e c o g n i t i o nr o b o t ：k - b o t 1 2 人脸识别、表情识别的研究现状 在六十年代初期，人脸识别就引起了研究者的强烈兴趣。最近几年来，人脸识别研 究越来越受到学术和商业界的关注，人脸识别的输入图像通常有三类情况：正面、侧面、 倾斜。目前，对正面人脸识别最多，它的发展主要分为三个阶段【6 。l 】： 第一阶段以b e r t i l l o n 、a l l e n 和p a r k e 为代表，主要研究人脸识别所需要的面部特征。 在b e r t i l l o n 系统中，采用一个简单语句与数据库中的一张人脸建立联系，取得了较好的 识别效果。a l l e n 为待识别的人脸设计了一个有效特征，从而提高了人脸的识别率【l2 1 。 p a r k e 把它用计算机实现，并产生了较高质量的人脸灰度图模型【l3 1 。这一阶段的特点是 识别过程几乎完全依赖于操作人员。 第二阶段是人机交互识别阶段。g o l d s t i o n 等人用几何特征参数来表示人脸正面图 像，采用2 1 维特征矢量表示人脸面部特征，并设计了基于这一特征表示法的识别系统 【1 4 】。k a y a 和k o b a y a s h i 采用统计识别的方法，用欧氏距离来表征人脸特征【1 5 l 。总的来 说，这类方法需要利用操作员的某些先验知识，还是摆脱不了人的干预。 第三阶段是真正的向实用化发展的机器自动识别阶段。近十余年来，随着高速、高 性能计算机的发展，人脸模式识别方法有了较大突破，出现了多种机器自动识别系统。 近年来，人脸识别技术研究非常活跃，除了基于k - l 变换的特征脸方法与以奇异值特征 为代表的代数特征方法取得了新进展外，人工神经网络、小波变换在人脸识别研究中都 取得了很广泛的应用，而且出现了不少新方法。 2 0 世纪9 0 年代以来，随着计算机软硬件性能的迅速提高，以及对人脸识别能力的要 4 - 人近理i ：人学硕士学位论文 求，发展更具鲁棒性的人脸识别方法成为必然。这也使得各国科学家积极寻求能改进和 提高识别率的新算法、新方法。在过去的几年中，人脸识别方法得到了很大的发展，其 在金融领域、政府部门、国家安全部门等领域中都有广泛的应用。 人脸识别研究经过近四十年的研究，已取得了长足的进展。对己知人脸数据库规模 在1 0 0 0 人左右、成像条件理想、用户比较配合的场合，目前最好的人脸识别系统的性能 已经达到了9 0 以上，并已经在限定范围内得到了一些应用。但这并不意味着人脸识别 己经是一个被解决了的成熟技术问题。相反，人脸识别研究目前仍面临着诸多挑战性的 问题。客观地说，在很多应用条件下，最好的识别系统的识别率也往往达不到5 0 ，这 也是为什么直到目前人脸识别几乎没有典型的成功案例、难以推广的主要原因。因此， 研究更加鲁棒、实用的人脸识别核心算法，提供更加有效的影响识别性能的关键问题的 解决方案，仍将是相关领域内的研究内容。 计算机人脸识别技术是近几十年才逐渐发展起来的，现在逐渐成为科研热点。国内 外很多机构都在进行这方面的研究，尤其美国、日本。进入9 0 年代，对人脸表情识别的 研究变得非常活跃，吸引了大量的研究人员和基金支持，美国、日本、英国、德国、荷 兰、法国等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的 研究。其中m i t 、c m u 、m a r y l a n d 大学、s t a n f o r d 大学、r 本城蹊大学、东京大学、a r t 研究所的贡献尤为突出。国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、 南京理工大学、北方交通大学等都有人员从事人脸识别的研究。 人脸识别的方法大致可以分为基于特征、基于模板、基于三维模型、基于模型以及 基于子空间学习等的几大类。 1 2 1 基于特征的识别方法 一种基于特征的方法是在抽取人脸图像上显著特征的相对位置及其参数的基础上 进行识别。b l e d s o 1 6 1 是最早研究人脸识别的学者之一。他用手工的方法确定人脸特征点 的位置并将其输入计算机中，在给定待识别人脸的特征点距离后，用最近邻方法或其它 分类方法来识别人脸。由于特征点是人工抽取的，因此系统允许较大范围的头部转动、 倾斜以及图像的质量和对比度变化。k e l l y 的工作在b l e d s o 的框架之上，但一个明显的 进步是它不需要人的干预。k e l l y 的方法利用了人的身体和头部图像。其中脸部的测量 量包括头部的宽度、眼睛之间的距离，头项到眼睛的距离，眼睛到鼻子的距离，以及眼 睛到嘴巴的距离。同样采用了最近邻分类法。 后来有很多学者对这一方法进行了发展，包括：y k a r a 和i ck o b a y a s h i ，i c r a w 等 t t l ，t p c ，g g i o ，f c r i r o s i t l8 1 ，r b r u n e l l i t 9 1 ，x j i a 和m s n i x o n 冽等，而n i c h o l a sr o e d e r 人脸特征子空间方法研究 和x i a o b ol i 在文献 2 1 】中则更为全面地对基于特征的人脸识别方法的准确性进行了研 究。他们指出，基于特征的人脸识别的准确率依赖于脸部特征识别的准确性。然而，这 种依赖性的程度和细节还不知道。他们对眼睛、嘴巴、面颊和下巴等定义了1 2 个测量 量，通过实验来发现测量的准确率对识别的影响。同时，他们提出的框架对于后来者发 展基于特征的识别方法具有重要的意义。 另一类基于特征的方法是在抽取代数特征的基础上完成的。这罩的代数特征是指经 过数学变换得到的特征，是与几何特征相对而言的。典型的代数特征包括：k i 变换， 奇异值分解( s v d ) 等。 m k i r b y 和l s i r o v i c h 利用k l 变换抽取人脸图像的主成分并以此作为人脸的特征 向型2 2 1 。m a t u r k 和a p e m l a j l d 【2 3 提出了特征脸的方法，它根据一组人脸训练图像构 造主元子空间，由于主元具有脸的形状，也称为特征脸。识别时将测试图像投影到主元 子空间上，得到一组投影系数，和各个已知人的人脸图像比较进行识别。特征脸方法的 优点是算法稳健，但它也有一个缺点是它的“扩容性”差，即每增加一个对象，就要将 所有数据重新进行计算，当数据库很大时，这种计算的代价将非常大。 1 2 2 基于模板匹配的识别方法 基于模板匹配的方法是另一类常用的方法。最简单的模板匹配方法是每个人作为数 据库中的一个条目，它的字段包含一个从其j 下面人脸像抽取的二维点阵。图像必须经过 归一化。识别时，未分类的图像跟数据库中的所有图像数据进行比较，采用相关作为典 型的匹配函数。这一方法的较早研究可参见b a r o n 的文章【2 ”。 o s a m u 等人提出了等灰度图匹配的方法【2 ”。所谓等灰度图就是对原始图像进行二值 化后得到的图像。这种方法的优点是运算量小于通常的基于灰度图的匹配方法，但也存 在不足，比如它要求光照变化不大，摄像机到人脸的距离应保持不变，有外形( 一个新 的胡子或头形) 或附属物发生变化时，要重新注册。 y u i l l e ，c o h n 和h a l l i n e n l 2 6 1 利用可变形模板抽取面部特征。这些模板可以平移、旋 转和变形以便能够最佳地表示它们在图像中的形状。他们对图像进行了预处理，定义了 各种能量函数。他们在实验中发现，模板的起始位置对于确定眼睛的准确位置至关重要。 当模板从眉毛上开始时，算法不能够区分眼睛和眉毛。算法的另一个缺点是计算复杂。 一般意义上讲，基于模板的方法是一个更理性的途径。问题的关键是如何描述模板。当 对图像进行分析近似时，系统应能够容忍模板和实际图像之间的差别，而这种容忍度往 往趋向于抹煞人脸之间的差别。 6 一 人连理e 人学硕士学位论文 h a l l i n a n 在文献【27 】中利用模板匹配的方法检测眼睛。他将模板描述为具有均匀灰度 值的两个区域。一个区域是虹膜部分，另一个区域是眼睛的白色部分。他构造了眼睛原 型，并且用不同的分布表示它的变化。他定义了一个价格函数并采用最速下降法寻找极 小值。 1 2 3 基于模型的识别方法 最初接触这一领域，不容易将其与随机场联系起来。但随着研究的深入，随机序列 模型表现出很多不可替代的优点。人脸识别问题本身不是一个确定性的识别问题，而是 一个随机模式识别问题。人脸图像拍摄过程中光线明暗、焦距大小，视角是随机的：人 脸的表情及姿态变化以及人年龄、健康变化都会引起人脸的变化。因此用确定性方法进 行人脸识别有内在的缺点。另一方面，人脸可以通过各个器官、脸庞的几何特征以及配 置来表征。既然所有特征参数都应当作为随机量，人脸描述就是一个很复杂的问题。我 们需要找到一种方法，它能够把表征人脸的各个随机的特征量相互联系起来，构成一个 整体的描述，并且在计算上容易处理。隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 为我们提供了描述这一复杂现象的一种机制。 由于人脸的可变形性，对人脸特征进行精确定位有很大的难度，这也是限制基于几 何特征识别方法的一个主要因素。选择隐马尔可夫模型进行人脸识别的合理性在于同一 个人的各种变化可以看作是同一组状态产生的一系列实现，而不同的人可以用不同的 h m m 来表现。采用隐马尔可夫模型对人脸进行描述和识别，就不是孤立地利用各个器 官的数值特征，而是把这些特征和一个状态转移模型联系起束。 1 2 4 基于子空间特征的识别方法 由于人脸图像的复杂性，显式的描述人脸特征具有一定的困难，因此基于统计分析 的子空问方法越来越受到重视。子空间方法把整个人脸图像作为一个全局特征，并假设 它们位于一个线性空间中。但通常图像的维数通常都是很高的，人脸在该高维空间上是 非常稀疏的。由前面的基于几何特征和模板匹配方法的人脸识别方法可知，人脸可由一 些主要特征来描述，所以实际上人脸并不位于这样的高维空问。在这样一个高维空间中， 稀疏的样本使得基于统计分析的方法遇到了维数灾难问题，并且在计算上的复杂度也非 常大，因此人们往往将人脸图像投影到低维的子空间进行判别。 子空间方法的基本出发点是根据一定的性能目标来寻找一线性或非线性的空间变 换，把原始信号数据压缩到一个低维的子空间中，使数据在该子空间的分布更加紧凑， 为数据的描述提供了更好的手段，另外，其计算复杂度也大为降低。 子空间方法的基本思想如图1 3 所示。 人脸特征子空间方法研究 对于一个给定的图像集，子空间方法： 1 生成一组基图像能够线性叠加成新的图像： 2 找到一组权重能够把基图像重构成输入图像，且每幅输入图像都与一组权重相 对应。 图1 3 子空间方法的模式图 f i g 。1 3 f a c ei m a g es y n t h e s i sm o d e lo f s u b s p a c em e t h o d 特征脸方法就是典型的一种线性子空间方法。子空间方法除了有线性和非线性之分 以外，根据不同的性能目标要求，得到的子空间也是不一样的。目前在人脸识别中得到 成功应用的子空间方法，包括主元分析( p c a ) 、奇异值分解( s v d ) 、线性鉴别分析 ( l d a ) 、独立主元分析( i c a ) 、非负矩阵分解( n m f ) 和局部非负矩阵分解( l n m f ) 等。 基于核方法的非线性子空间方法主要有核主元分析( k p c a ) 、核f i s h e r 判别分析( i 江d a ) 等。 t u r k 和p e n t l a n d 于1 9 9 1 年提出了著名的特征脸( e i g e n f a c e s ) 方法。该方法纯粹从概 率的角度来考虑人脸识别问题。该方法将人脸图像看成随机变量，通过图像矢量化( 图 像的每个像素视为矢量的一个元素，串连所有的行或列) 后采用k l 变换或p c a l 2 8 获得 其正交基，通过保留部分主元( 也称主分量) ，得到低维的人脸向量或特征脸。所谓特征 脸就是对应于人脸( 模式) 协方差矩阵的那些较大特征值的特征向量。由特征脸所张成的 子空间在维数上比原模式空间大大减少，人脸检测和识别工作就在该子空问上进行。从 压缩能量的角度来说p c a 变换是最优的，不仅使得降维前后的均方差最小，而且变换 后的低维空间有很好的人脸表达能力。尽管e i g e n f a c e s 具有很好的人脸表达能力，但并 不是说就具有了很好的人脸鉴别能力。而l d a 就是以寻找最具鉴别能力的子空间为目 标，它使得每类的类内离散度最小而类间离散度最大。因此从理论上来说l d a 的 f i s h e f l 沁铝【2 9 】较e i g e n f a e e s 更适合于人脸识别问题。 然而，p c a 和l d a 都是基于训练样本的二阶统计信息，而忽略了高阶统计信息， 实际上高阶统计信息有时对识别来说也是非常有用的。i c a l 3 l 】的思想就是通过线性变 换，从训练样本中找到一组互相独立的基( 独立元) ，并以此来描述样本数据。p c a 实际 上是在二阶统计意义上去相关，而i c a 则是在所有阶统计意义上去相关，从而使信号的 人连理i ：人学硕士学位论文 一阶统计和高阶统计都得到了有效利用。由于i c a 基于所有阶的统计信息，因而其求解 较p c a 和l d a 更复杂。b a r t l e t t 3 2 】等首先将i c a 应用于人脸识别中，把人脸图像看成 多个独立的基图像的线性叠加。文献【3 3 】对i c a 方法进行了详细的评价说明，并与特征 脸方法和f i s h e r f a c e s 方法进行比较，结果显示i c a 略好于后两者。但在文斛”j 中作者 指出在选择各自最佳的距离度量后，i c a 明显不如p c a ，且i c a 计算复杂。 神经科学和认知科学的相关分析研究表明，利用对象的局部稳定性有时对识别是非 常有利的，而p c a ，l d a 等均是作为一种全局描述，尽管在自然场景的图像中，独立 主元分析也类似于一个边缘滤波器，但是用基图像的线性组合来描述原图像时，可能会 存在复杂的减性关系，不符合由局部累加为一个整体的直观性，同样p c a 和l d a 也存 在这样的弱点。非负矩阵分解( n m f ) 以及局部非负矩阵分解( l n m f ) p 5 】的思想就是寻找 一线性空间，使得原样本在空间上的投影都是非负的。n m f 和l n m f 方法中的非负约 束使得所得到的结果是部分的，并且只能有加性组合而没有减性组合。但n m f 的初始 化问题，加性子空间搜索速度和收敛于局部极小值问题，以及它的计算复杂度限制了它 的稳定性和应用。l n m f 方法与n m f 方法相比，提升了局部特征的抽取能力，但是在 复杂度和计算时间方面，要求更高。 1 3目前国内外典型的人脸图像库介绍 进行人脸识别问题的研究或实验都需要建立包含各种典型人脸的图像库。目前大部 分人脸方面问题的研究和实验都是基于一个或若干个人脸图像库来进行的。下面简要介 绍一下比较常用的典型人脸图像库： 1 英国o r l 单人脸图像库 该图像库由不同时段的，背景为黑色的人脸脸部表情和细节均有变化的4 0 0 幅灰度 图像组成，是目前使用最为广泛的人脸图像库。 2 c o h n k a n a d e 表情图像库 由1 0 0 名年龄在1 8 - 3 0 岁的大学生组成，其中女性占6 5 ，黑人占1 5 ，亚洲人或拉 美人占3 。每种表情视频由中性表情开始，再由中性脸结束。 3 美国f e r e t 人脸图像库 为了促进人脸识别算法的研究和实用化，美国国防部的国防高级项目研究组和美国 军方研究实验室开展了人脸识别技术工程( f a c i a lr e c o g n i t i o nt e c h n o l o g y ) 计划，简称 f e r e t ，并建立了用于测试人脸识别算法的通用标准人脸图像库f e r e t 。f e r e t k 脸图 像库是目前最大的人脸图像库，其中每人8 幅图像，包括正面人脸图像，以及向左右侧 面旋转不同角度( 不大于4 5 度) 的图像。该图像库中的图像在拍摄条件上有一定的限制， 9 人脸特征子空间方法研究 人脸的大小约束在某个规定的范围内。该图像库的图像数目在逐年增加。 4 美国y a l e 人脸图像库 该人脸图像库是由耶鲁大学的1 5 人，每人1 1 幅图像组成，主要包括光照条件和人脸 表情的变化。 5 英国m a n e h e s t e r j k 脸图像库 该图像库由3 0 个人的6 9 0 幅图像组成，图像有不同的光照条件和背景变化，并且对 用一个人而言，其前后两张照片的拍照时间间隔至少为三周，这就考虑了时间对人脸的 影响。其训练集和测试集是预先分开的，训练集对光源有一定的约束，而在测试集中则 不见任何约束。 6 美国a r 人脸图像库 该人脸图像库由p u r d u e 大学构建，包括1 2 6 个人的彩色图像，图像中包含了光照变 化，佩戴墨镜，尺度变化，表情变化和佩戴围巾等情况。 1 4 本文的研究内容 在本课题的研究过程中，本文首先查阅了国内外大量的相关参考文献，然后针对有 关人脸特征子空间方法的四种理论和方法进行了系统的研究，最后针对具体的人脸识别 问题和表情识别问题进行了实验。本文的研究内容总结如下： ( 1 ) 系统地研究在人脸识别与表情识别方面的四种人脸特征子空间方法，并对这四 种方法进行对比和总结。并系统研究f d a 、k f d a 和n k f d a 方法，对其进行深入的探讨 和实现，验证其对于分类信息提取的有效性和合理性。 ( 2 ) 基于o r l 人脸图像库中的人脸图像，通过实验系统地分析四种关于人脸识别的 解决方案，主要方法有p c a 、i c a 、n m f 和l n m f 。通过基图像的比较，重构图像的比 较，不同基的个数情况下识别率的比较以及相同基的个数情况下迭代次数和识别率关系 比较等实验，对比实验结果分析各种方法的性能。并将这四种人脸特征子空间方法应用 到表情识别问题中，在c o h n k a n a d e 图像库上进行大量比对试验，对比分析其对于不同 表情图像的识别率，比较四种人脸特征子空间方法的表情识别性能。 ( 3 ) 针对基本的人脸识别和表情识别方法提出改进方案。即首先提取人脸特征子空 间，然后将原始图像向该子空间上映射，将所得到的投影系数通过n k f d a 机器学习， 挑选出对分类起重要影响的分量，然后再进行识别。这种方法优于单独使用子空间方法， 本文通过实验验证n k f d a 方法和人脸特征子空间方法相结合的有效性和合理性。 l o 人连理_ 1 火学硕士学位论文 ( 4 ) 验证通过实验得出的最佳识别方法l n m f 结合n k f d a 的鲁棒性，将该方法应用 到自建数据库，证明其对光照条件的不敏感。同时，对于不同的图像分辨率，该方法也 取得了比较好的识别结果。证明l n m f 结合n k f d a 在实际应用中的可行性。 本文实验的系统框图如图1 4 所示。 图1 4 本文实验的系统框幽 f i g 1 4 f l o w c h a r to f r e c o g n i t i o ns y s t e m 1 5 本文的章节安排 本文的章节安排如下： 第一章为绪论，给出了人脸特征子空间方法的研究背景和研究意义，介绍了人脸子 空间方法的国内外研究状况以及在人脸识别和表情识别领域中常用的人脸图像库，介绍 了本文的研究内容并给出了文章的结构。 第二章系统研究了四种主要的人脸特征子空间方法，详细探讨了本文采用的n m f 和l n m f 方法的原理，性质和实现方法。并将四种方法进行了对比和总结。 第三章介绍了判决分析理论。对f d a 、k f d a 和n k f d a 方法，进行了系统的研究和 探讨。 第四章针对本文研究的四种人脸特征子空间方法，设计了人脸识别实验。在o r l 库 上的实验验证了子空间方法对于人脸识别问题的有效性。同时，通过针对基图像的比较， 人脸特征子空间方法研究 重构图像的比较，不同基图像个数的识别率以及迭代次数与识别率关系等实验，比较了 四种方法的性能。针对n k f d a 能够挑选出有利于分类信息的特点，本文将子空间方法 与其结合，应用到人脸识别，经过实验得到了较高的识别率，验证了这种方法的合理性。 第五章详细介绍本文方法在表情识别中的应用，基于c o l m - k a n a d e 图像库的不同表 情图像进行了表情识别实验，得到了最优的识别方法l n m f 结合n k f d a 。并进一步通过 实验验证了其对于光照、图像分辨率等条件的鲁棒性。 第六章为总结与展望。 大连理 ：人学硕十学位论文 2 人脸特征子空间方法 子空间方法是统计模式识别方法中一类重要的方法，本质上是一种特征提取和选择 的方法。其主要思想是在原空间( 样本空间) 中寻找合适的子空间( 特征空间) ，通过将高 维样本投影到低维子空间上，在子空间上进行分类。这样做至少有两个好处：一方面对 高维样本进行了降维、压缩，大大简化了计算；另一方面，高维样本在子空间上的投影 可以比在原空间中具有更好的可分性，这也是我们寻找子空间的一个重要标准。本章详 细介绍几种重要的子空间方法。 2 1主成分分析方法( p c a ) 2 1 1p e a 的基本原理 主成分分析日p p c a ，也称为k - l 变换( k a r h u n e nl o e v ee x p a n s i o n ) ，是图像压缩中的 一种最优正交变换，人们将它用于统计特征提取。在此基础上形成的主元分析，又叫因 子分析( f a c t o ra n a l y s i s ) ，最早被l s i r o v i c h 和m k i r b y 用于人脸表示与识别【3 6 1 ，并由m a t u r k 和a p p e n t l a n d 发展为特征脸( e i g e n f a c e ) 人脸识别方澍3 “，人脸识别的研究热点 也从此由基于局部几何特征的几何特征方法转移到基于全局统计特征的统计方法上来。 主成分分析的目的是在数据空间中找到一组向量以尽可能地解释数据的方差，从而 用降维后的低维向量保存原数据中的主要信息，使数据更易于处理。p c a 的主要原理就 是基于对原始数据进行统计分析，利用线性变换，对高维数据进行分析与压缩，一般认 为具有如下功能：一，去除数据的相关性，利用p c a 得到的诈交基原始高维数据就可以 用一组新的数据表示，而这组新的数据中每一维的取值都与其它维无关，二，实现数据 的降维，如前所述，我们得到的一组正交基代表的信息是不同的，如果我们将其