（计算机应用技术专业论文）基于支持向量机和小波的人脸识别方法研究与应用.pdf

摘要 随着社会的发展，各个方面对快速有效的自动身份验证的要求目益迫切，生 物特征识别是一项利用人类特有的生理或行为特征来进行身份识别的技术，它提 供了一种高可靠性、高稳定性的身份鉴别途径。而人脸识别是目前生物特征识别 中最受人们关注的一个分支，是计算机视觉与模式识别领域非常活跃的一个研究 方向，利用人脸特征是最自然直接的手段，相比其他生物特征，它具有直接、友 好、方便的特点，易于为用户接受。在公安和安全部门有着广泛的应用，例如搜 索罪犯、动态监视、银行密码系统等。人脸识别是一个涉及面广且又前景广阔的 研究课题，近几年来关于人脸识别的研究取得了较大的进展。 本文首先介绍了计算机人脸识别技术的研究背景和主要方法，提出了一种基 于小波变换、支持向量机和否定选择人脸识别方法。然后针对支持向量机学习是 一种有导师的学习，引入了聚类算法，把人脸特征聚类的结果来供支持向量机学 习。在实际应用中有时标准正面人脸图像很难获得，为此尝试把神经网络和支持 向量机结合起来进行多姿态人脸识别，该算法对人脸图像进行预处理，然后用小 波变换的方法提取人脸图像的相对稳定的低频子带，并同时达到了对图像向量降 维的效果，然后进行离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) 提取主要特征 分量，所提取出的特征向量保留了原图像空间中的主要分类信息，取得了较高的 识别率和优良的抗噪声性能。与传统的p c a 方法相比，本算法大大降低了运算复 杂度，实验结果表明本文所提出的算法与其它方法相比具有较高的识别率。 关键词：人脸识别；支持向量机；离散余弦变换；小波分解；神经网络 a b s t r a c t a st h ed e v e l o p m e n to ft h es o c i e t y ，t h e r ea r ei n c r e a s i n gd e m a n d si ne f f e c t i v e a u t o m a t i ci d e n t i t yc h e c k i n g ，b i o m e t r i c si sak i n d o ft e c h n o l o g yu s i n gi n d i v i d u a l p h y s i o l o g i c a lo r b e h a v i o r a lc h a r a c t e r i s t i c st o v e r i f yi d e n t i t y i tp r o v i d e s a h i g h l y r e l i a b l ea n d h i g hs t a b i l i t ya p p r o a c h t ot h ei d e n t i t yr e c o g n i t i o n a u t o m a t e df a c e r e c o g n i t i o ni so n eo ft h em o s tc o n c e r n e db r a n c h e so fb i o m e t r i c sa n di t i sa l s ot h eo n e o ft h em o s ta c t i v ea n dc h a l l e n g i n gt a s k sf o rc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o na t p r e s e n t o t h e r s ，t h e y c a nb eu s e da sf e a t u r e sf o ri d e n t i t yc h e c k ，a m o n ga l lt h e c h a r a c t e r i s t i c so fh u m a n ，t h ec h a r a c t e r i s t i c so ff a c ea r et h em o s td i r e c tm e a n sw h i c h a r ef r i e n d l ya n dc o n v e n i e n ta n dc a ne a s i l yb ea c c e p t e db yt h ec u s t o m e r s i ti sw i d e l y a p p l i e dt op u b l i cs e c u r i t y a n ds e c u r i t yd e p a r t m e n t ，s u c ha sm u gs h o t sr e t r i e v a l ， r e a l t i m ev i d e os u r v e i l l a n c e ，b a n kc r y p t o g r a p h ya n ds oo n f a c er e c o g n i t i o ni sa n e x t e n s i v ea n dc h a l l e n g i n gr e s e a r c hp r o b l e m r e c e n t l y ，s i g n i f i c a n tp r o g r e s s e sh a v e b e e nm a d ei nt h et e c h n o l o g yo ft h ef a c er e c o g n i t i o n i nt h i st h e s i s ，w ef i r s ti n t r o d u c e dt h eb a c k g r o u n da n dt h em a i nm e t h o d so ft h e f a c er e c o g n i t i o na n dt h e np r o p o s e dam e t h o db a s e do nt h ew a v e l e tt r a n s f o r ma n d s u p p o r tv e c t o rm a c h i n ea n dn e g a t i v e s e l e c t i o nf o rf a c er e c o g n i t i o n a i m i n ga tt h e s t u d y i n go fs u p p o r tv e c t o rm a c h i n ei s ak i n d o f s t u d y i n gw i t ht h ea n s w e r ，t h e c l u s t e r i n ga l g o r i t h mi si n d u c t e d t h ef a c i a lf e a t u r ec l u s t e r e di su s e dt ot r a i nt h es u p p o r t v e c t o rm a c h i n e s o m e t i m e st oo b t a i nc r i t e r i o nf r o n t a lf a c ei m a g ei sf u l lo fd i f f i c u l t i e s i np r a c t i c a la p p l i c a t i o n ，t h e r e f o r ew et r yt oc o m b i n en e u r a ln e t w o r ka n ds u p p o r tv e c t o r m a c h i n et od e a lw i t hm u l t i p o s ef a c ei m a g er e c o g n i t i o n i nt h i sm e t h o d ，w ef i r s t p r e p r o c e s s e dt h ef a c e ，t h e nt h ew a v e l e tt r a n s f o r mw a su s e dt oo b t a i nt h es t a b l el o w f r e q u e n c ys u b b a n do ft h ei m a g ei nr e l a t i v e l yl o wd i m e n s i o n sa n da c h i e v et h ep u r p o s e t or e d u c et h ev e c t o rq u a n t i t yo ft h ep i c t u r ea tt h es a m et i m e ，t h e nd i s c r e t ec o s i n e t r a n s f c l r mw a su s e dt oe x t r a c tt h ec e n t r a lf e a t u r e so ft h ei m a g e s ，t h ec h a r a c t e r i s t i c v e c t o rd r a w no u tk e e p sm a i nc l a s s i f i a b l ei n f o r m a t i o ni no r i g i n a l l yp i c t u r es p a c e ，t h e r a t eo fh i g h e rd i s c e r n m e n ta n df i n er e s i s t i n gn o i s ep e r f o r m a n c ea r eo b t a i n e d c o m p a r i n gw i t ht h et r a d i t i o n a lp c aa l g o r i t h m ，t h em e t h o dp r o p o s e dh e r es i g n i f i c a n t l y d e c r e a s e st h eo p e r a t i o nc o m p l e x i t y ，e x p e r i m e n t a lr e s u l t sv e r i f i e dt h a tt h ep r o p o s e d a l g o r i t h mh a sh i g h e rr e c o g n i t i o nr a t ec o m p a r e d w h i to t h e ra l g o r i t h m k e y w o r d s ：f a c er e c o g n i t i o n ；s u p p o r t v e c t o rm a c h i n e ( s v m ) ；d i s c r e t ec o s i n e t r a n s f o r m ( d c t ) ； w a v e l e td e c o m p o s i t i o n ；n e u r a ln e t w o r k 长沙理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：伍聋乙 日期：z ，i 阵y 月( b 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权长沙理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打“4 ”) 作者签名： 侮暮五 日期：埘年) ，月【( ，b 翩繇韵“吼硎缉r 月- 6 日 第一章绪论 人脸识别( f a c er e c o g n i t i o n ) 是指基于己知的人脸样本库，利用图像处理和模 式识别技术从静态或动态场景中，识别或验证一个或多个人脸。通常识别处理后 可得到的基本信息包括人脸的位置、尺度和姿态信息。利用特征提取技术还可进 一步抽取出更多的生物特征( 如：种族、性别、年龄1 。 人脸识别技术在国家重要机关及社会安防领域具有广泛而特殊的用途。例如： 公安系统的视觉监控证件和各类金融卡持有人的身份验证等。同其它人体生物特 征f 如：指纹、掌纹、虹膜语音等) 识别技术相比，人脸识别技术的隐蔽性最好， 利用人脸特征进行身份验证又是最自然直接的手段，比其他的人体生物特征更具 有自接、友好、方便的特点，易为用户所接受。是当今国际反恐安防最重视的科 技手段和攻关目标之一。 另外，人脸识别技术还可应用于多媒体数据库的视频检索，以及多媒体制作 方面。近几年，随着计算机硬件和软件技术的发展，基于人脸识别技术的表情信 息提取也成为可能，它可用于改进人机交互方式，从而产生更加人性化、智能化 的计算机系统。人脸识别技术的发展正是受到商业应用需求的推动，以及相关技 术的发展而得到空前的重视，成为图像识别和理解领域中的研究热点。 1 1 论文背景 1 1 1 问题的提出 人脸识别涉及模式识别、图像处理、生理学、心理学、认知科学等领域，与 基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系， 在公安部门、安全验证系统、信用卡验证，档案管理、人机交互系统等方面的应 用前景广阔，因而成为当前模式识别和人工智能领域的一个研究热点l 。3 】。 人脸识别技术就是以计算机为辅助手段，从静态图像或动态图像中识别人脸。 问题一般可以描述为：给定一个场景的静态或视频图像，利用己经存储的人脸数 据库确认场景中的人是不是人脸数据库里面的特定人( 人脸确认) 或者是人脸数据 库里面的哪个人( 人脸识别) 。一般来说，人脸识别研究一般分为三个部分：从具 有复杂背景的场景中检测并分割人脸；抽取人脸识别特征；然后进行匹配和识别。 虽然人类从复杂背景中识别出人脸和表情相当容易，但人脸的自动机器识别 却是一个难度极大的课题，困难表现为三个方面：首先，虽然每张人脸都有眼睛、 鼻子、嘴巴、且都按照一定的空间结构分布，但是人与人之间的差异较多，导致 反映在图像中的纹理的不同；其次，人脸的一些非固定特征，如眼镜、胡子等也 使人脸检测和识别变得复杂；最后，由于人脸是个三维非刚性物体，姿态、光线 的不同，也使得图像千变万化。总之，人的千姿百态，使得人脸检测和识别都变 得非常困难。同时，人脸识别研究跨越了图像处理，模式识别，计算机视觉，人 工神经网络以及神经生理学，心理学等研究领域，也使其变得更富有挑战性。 1 1 。2 人脸识别的应用 如同人的指纹一样，人脸也具有唯一性，可用来鉴别一个人的身份，人脸识 别技术在商业、法律和其他领域有着广泛的应用。人脸识别首先是法律部门打击 犯罪的有力工具，在毒品跟踪、反恐怖活动等监控中有着很大的应用价值。人脸 识别的商业应用价值也正在日益增长，主要是信用卡或者自动取款机的个人身份 核对，与利用指纹、手掌、视网膜、虹膜等其他人体生物特征进行个人身份鉴别 的方法相比，人脸识别具有直接、友好、方便的特点，特别是对于个人来说没有 任何心理障碍。 人脸识别的具体应用主要有以下几个方面： 嫌疑犯照片的识别匹配 信用卡、驾驶执照、护照与个人身份的识别 银行、商场安全系统 公众场合监控 专家识别系统 基于目击线索的人脸重构 嫌疑犯电子照片簿 基于残留人脸的人脸重构 基于父母人脸的小孩脸推导生成 随着年龄增长的人脸估算 表情识别 这些应用包括了从静态的受控背景的照片到动态的、非控背景的录像等各个 方面，各项应用都有着不同的技术难度、处理方法和分析理解方式。它们基本上 可以分为两类：静态( 非视频) 匹配和动态( 视频) 匹配。 嫌疑犯查找是静态匹配中的最常见的应用。显然，在嫌疑犯照片的拍摄过程 中，一般来说可以控制照相背景、光照条件、摄像机的分辨率以及摄像机与被拍 照人之问的距离、角度等，获彳导多幅人脸正面图像和侧面图像。在这些条件约束 下来获取图像，可简化人脸分割和识别算法。 公众场合监控是典型的动态匹配应用。通过摄像机得到的视频图像质量一般 较差，而且背景比较杂乱，分割人脸就相当困难，但可以利用运动图像分析来分 2 割运动者的人脸，也可以利用现有的人脸模型，部分重建人脸图像，在某种程度 上会比静态匹配更容易解决。这方面应用的难点是需要实时处理。小孩人脸推导 生成以及随年龄增长的人脸估算则不止是图像处理和模式识别领域的问题，它还 涉及到生物技术的范畴，目前还没有成熟的理论来描述此类问题，还存在很多的 难点有待解决。 1 2 人脸识别的发展现状 视觉是一种复杂的信息处理任务，它的研究涉及计算机技术和心理、神经生 物科学，早期的理论框架由d i v h a r 于2 0 世纪8 0 年代初期提出，他把视觉信息 处理划分为三个不同层次来描述：计算理论；算法；实现机制。 人脸识别作为视觉处理的一个特例，在近几年的研究中表现出与其它视觉处 理过程的不同之处，下面将分别从心理神经生物学和计算机科学方面介绍人脸识 别的特点和方法。 1 - 2 1 神经生理学、心理学的主要结果 近几年的研究表明，人类视觉数据处理是多层次的过程，其中最低层的视觉 过程( 视网膜功能) 起信息转储作用，即将大量图像数据转换为较为抽象的信息， 这一任务由视网膜中的两类细胞完成，低层次的细胞对空问的响应与小波变换作 用类似，高层次的细胞则依据低层次细胞的响应，而作出具体的线、面乃至物体 模式的响应。这表明在视觉处理过程中，神经元并不是随便地不可靠地把视觉图 像的光照强度转手投射到感觉中枢，它们可以检测模式单元，区分物体的深度， 排除无关的变化因素，并组成一个使人感兴趣的层次结构。人脸识别不仅有着以 上普通视觉过程的特点，而且具有以下独特之处： 人脸识别是大脑中一个特有的过程，经过长期的研究，人们发现大脑对人 脸形状有着特殊的兴趣。 在人脸感知和识别过程中，局部和整体特征均起作用。若存在明显的局部 特征时，整体特征将不起作用。 在j 下面人脸图像中，鼻子对人脸识别不起主要作用( 但不是不起作用) ，但 是在侧面人脸识别中，鼻子对特征点的匹配很有作用；人脸的上半部的特征比下 半部特征所起的作用大。 低频信息代表了整体的描述，高频信息包含了局部的细节。对于性别的判 断，仅利用低频信息就足够了，对身份识别没有高频信息就无法完成。 光照对视觉有影响，有实验表明，从人脸底部打光会导致识别困难。 动态信息比静态信息更利于识别。研究还发现对熟悉的人脸，人类的识别 能力在动态场景中要高于静态场景。 面部表情的分析与人脸识别并行处理。通过对脑部受损的病人研究表明， 表情的分析与识别虽有联系，但总体来说是分开处理的。 人脑的右半球对人脸图像的识别起着重要作用，左半球对语言的处理起重 要作用。 十岁以下的儿童识别人脸较多地采用显著特征，而较少地使用整体分析。 不同的种族、性别的人脸识别的难易程度不同，这可能因为不同类型的人 脸图像具有不同的特性。 神经生理学和心理学的研究结果无疑将非常有益于人脸识别技术的发展，但 是除少数文献外，机器识别人脸的研究还是独立于心理学和神经生理学的研究的。 1 2 2 机器识别人脸的现状 人脸识别的输入图像通常有三种情况：正面、倾斜、侧面。由于人脸正面图 像包含了人脸更明显的特征，所以对人脸正面模式的研究最多，它的发展可分为 三个阶段【1 - s 】。 第一阶段以b e r t i l l o n 、a l l e n 和p a r k e 为代表，主要研究人脸识别所需的面部 特征【l z j 。在b e r t i n o n 系统中，用个简单的语句与数据库中的某一张脸相联系， 同时与指纹识别相结合，提供了一个较强的识别系统。为了提高脸部识别率，a l l e n 为待识别脸设计了一种有效逼真的摹写，p a r k e 用计算机实现了这一想法，并且 产生了较高质量的人脸灰度图模型旧。这一阶段工作的特点是识别过程全部依赖 于操作人员，显然不是一种可以完成自动识别的系统。 第二阶段是人机交互式识别阶段。代表有g o l d s t i o n 、h a r r n o n 和l e s k 等人。 他们用几何特征参数来表示人脸e 面图像，采用2 1 维特征矢量来表示人脸面部特 征，并设计了基于这一特征表示法的识别系统【7 】。k a y a 和k o b a y a s h i 则采用了统 计识别的方法，用欧氏距离来表示人脸特征，如嘴唇的高度，两眼之间的距离【8 】。 更进一步的，t k a n a d 设计了一个半自动回溯识别系统，创造性的运用积分投影 法从单幅图像上计算出一组脸部特征参数，再使用模式分类技术与标准的人脸相 匹配【9 j 。总的说来，这类方法需要利用操作员的某些先验知识，仍然摆脱不了人 的干预。 第三阶段是真正的向实用化发展的机器识别阶段，近十年来随着高速度高性 能计算机的发展，人脸模式识别方法有了较大的突破，出现了多种机器全自动识 别系统。近年来，人脸识别技术研究非常活跃，除了基于k l 变换的特征脸方法 与以奇异值特征为代表的代数特征方法取得了新进展外，人工神经网络、小波变 换在人脸识别研究中都得到了很广泛的应用，而且出现了不少人脸识别的新方法。 下面将介绍人脸识别研究的主要内容和方法。 4 1 3 人脸识别的研究范围以及方法 人脸识 ! j ( f a c er e c o g n i t i o n ) 的研究范围从广义上讲大致包括以下五个方面的 内容f 4 1 ： 1 、人脸定位和检n ! | ( f a c ed e t e c t i o n ) ：即从动态的场景与复杂的背景中检测出 人脸的存在并且确定其位置，最后分离出来。这一任务主要受到光照、噪声、面 部倾斜以及各种各样遮挡的影响。 2 、人脸表征( f a c er e p r e s e n t a t i o n ) ( 也称人脸特征提取) ：即采用某种表示方法 表示检测出的人脸与数据库中的已知人脸。通常的表示方法包括几何特征f 如欧氏 距离；曲率、角度) 、代数特征( 如矩阵特征向量) 、固定特征模板、特征脸等。特 征提取之前一般需要做几何归一化和灰度归一化的工作。前者是指根据人脸定位 结果将图像中的人脸变化到同一位置和大小；后者是指对图像进行光照补偿等处 理，以克服光照变化的影响。 3 、人脸识别( f a c ei d e n t i f i c a t i o n ) ：根据不同人脸之间的特征差别进行识别， 即将待识别的人脸与数据库中已知人脸比较，得出相关信息。这个过程是一对多 或一对一的匹配过程，前者是确定输入图像为图像库中的哪一个人，后者是验证 输入图像的人的身份是否属实。这一过程的核心是选择适当的人脸表征方式与匹 配策略。 4 、表情姿态分析( e x p r e s s i o n g e s t u r ea n a l y s i s ) ：即对待识别人脸的表情或姿 态信息进行分析，并对其加以归类。 5 、生理分类( p h y s i c a lc l a s s i f i c a t i o n ) 即对待识别人脸的生理特征进行分析，得 出其年龄、性别等相关信息，或者从几幅相关的图像推导出希望得到的人脸图像， 如从父母图像推导出孩子的脸部图像、基于年龄增长的人脸图像估算等。 下面将详细介绍各方面的具体研究方法。 1 3 1 人脸定位和检测 人脸的定位和检测，作为人脸识别的基础，是人脸识别技术实用化所必须解 决的一个重要问题。但是，由于人脸的自然性和变化多样性，这一方面的研究相 对滞后，目前越来越受到人们的关注，研究者们从各种不同的途径提出了多种方 法。 早期的模板匹配方法： 早期方法主要是人脸模板的顺序匹配，利用一个可变的椭圆形模板检查图像 中是否存在人脸，其模板的建立一般是在对一定数量的人脸样本的次度分布等特 征进行统计的基础上完成的。先抽取图像边缘，然后与模板匹配，找出人脸的可 能位置。在预期的位置上，检测眼睛、嘴等的边缘，进一步的确认人脸的存在。 当物体的结构已知，而大小、位置和方向未知时，可变模板的模板匹配对物 体定位和描述是个强有力的工具。k e l l y 介绍了- - q z 从上到下的图像分析方法， 用于从图像中自动提取头部与身体的轮廓，再确定眼睛、鼻子、嘴巴的位罱。 g o v i n d a r a j a 提出了一个存复杂背景下确定人脸的计算模型i t m ，s i r o h e y 用灰度图像 及边缘图像从复杂背景中分割出人脸，人脸用椭圆近似的来表示，预处理过程包 括确定边缘上的断点，给相邻的边缘曲线加上标记，在断点处用最相似的边缘连 接起来i - 】。 模板匹配方法的最大困难在于较难建立一个对人脸尺度、位置、角度以及照 明等变化具有稳定性的人脸模板。在图像背景比较复杂的情况下，模板匹配的时 间较长，要实现图像中多个人脸检测尤其困难。 基于知识的人脸验证方法： c o n l i n 描述了基于从手工素描中检测人脸的视觉系统，应用i f t h e n 规则处 理任务。杨光正等则从人脸灰度网格分布的角度提出了一个多层的基于知识的人 脸定位系统，在充分利用人脸灰度分布、边缘等特征的基础上，采用从粗到精的 分步搜索和多级判断逐渐排除非脸区域的方式完成人脸的检测，能够在预先不知 道人脸数量与大小的情况下，在复杂背景中找寻人脸位置。l e e 等则利用运动和 色彩线索，基于知识，在监控视频图像的复杂背景中，在实时景象中定位人脸区 域。 基于知识的人脸验证方法综合了人脸图像的各种特征信息，有可能达到比较 稳定的检测效果，其关键在于选取何种特征以及如何建立规则进行各种特征的组 合。 基于统计的学习方法： 出于人脸图像的复杂性，显式地描述入脸特征具有一定的困难，因此，另一 类方法即基于统计模型的方法越来越受到重视，此类方法将人脸区域看作一类模 式，即模板特征，使用大量的“人脸”与“非人脸”样本训练，构造分类器，通 过判别图像中所有可能区域属于哪类模式的方法实现人脸检测，实际上，人脸检 测问题在这里转化成了统计模式识别的二分类问题。具体的有基于特征空间的方 法、基于人工神经网络的方法、基于概率模型的方法以及基于支持向量机的方法 等。 基于统计模型的方法是目前比较流行的方法，是解决复杂的人脸检测问题的 有效途径。但是，统计模型的建立需要较为一致的模式，因而使用的特征一般仅 限于人脸的五官区域。但是有一些“人脸”与“非人脸”样本即使是人也较难区 分，这说明在此分辨率下五官区域的信息对于辨识人脸仍然是不够的。然而受图 像质量、检测速度等因素的约束，提高检测窗口图像的分辨率又很困难。我们认 为出路在于与基于知识模型的方法相结合，充分利用头部乃至全身的特征及相关 的知识，但这将涉及到图像理解这个十分困难的问题。 6 1 3 2 人脸特征提取 在利用人脸的定位与检测方法将人脸从具有一定背景的图像中分割出来后， 有效的抽取人脸识别特征成了人脸识别的关键。人脸识别特征主要可分为两类特 征： 是人脸的直观特征( 即几何特征) ，二是人脸的代数特征 1 2 ，1 4 1 。 几何特征 几何特征也称为直观特征，它是以人脸器官的形状和几何关系为基础的特征 矢量，其分量通常包括人脸指定两点间的欧氏距离、曲率、角度等。人脸可以用 一组几何特征矢量表示，用模式识别中层次聚类的思想设计分类器达到识别的目 的。这要求选取的几何特征矢量有一定的独特性，能够反映不同人脸之间的差别。 同时又具有一定的弹性，能够消除时间跨度和光照的影响。b l e d s o e 提出了基于人 脸特征点的间距、比率等特征，这些特征的提取是手工完成的，所以允许脸部有 较大变化。k e l l y 的工作在框架上与b l e d s o 的工作相似，但是不需要人工介入。 k a n a d e 用几何量作为人脸的特征，这些几何量包括眼角、嘴角、鼻孔、下巴这些 点之间的距离以及所成的角】。b u h r 用图表示法和描述树法给出了人脸的3 3 个 特征与1 2 个次要特征，其中包括了2 4 个基于眼睛、人脸中心、嘴的量测。c r a w 提出了更复杂的人脸模板，包括了头发线条、眼睛、眉毛、鼻子、嘴和面颊。 h u a n g 和c h e n 使用了另外一种几何特征提取机制，即采用动态模板和活动 轮廓模型技术检测出人脸的各种面部特征i t 6 1 。动态模板是参数化的简单图元模型， 主要用于提取眼睛和嘴巴轮廓，而活动轮廓是能量最小化的曲线，主要用于提取 眉毛和下巴的轮廓。在此之前，y u l l i 等先利用动态模扳进行特征提取，c l h u a n g 则进一步的提出了用动态模板与活动轮廓进行人脸几何特征细提取的算法。用动 态模板与活动轮廓提取出的人脸器官轮廓，对人脸具有较为精确的描述能力，为 几何特征矢量的生成打下了坚实的基础。 代数特征 代数特征即人脸图像在由“特征脸”形成的降维子空间上的投影。s i r o v i c h 和k i r b y 首先在k l 变换的框架下讨论了人脸图像的最优表示，任何图像都可以 近似地用本征图线性表示，通过增加本征图的数量可以提高所给图像的表示精度， 他们讨论的重点是人脸的表示，对于一幅给定的图像，其线性表示的权重系数作 为它的特征。t u r k 和p e n t l a n d 进一步提出了叫寺征脸”的方法，该方法以训练 样本集的总体散布矩阵为产生矩阵，经k l 变换后得到相应的一组特征矢量，称 作“特征脸”。这样，就产生了一个由“特征脸”矢量组成的子空间，每一幅人 脸图像向其投影都可以获得一组坐标系数，这组坐标系数表明了人脸在子空间中 的位置，可以作为人脸识别的依据。 人脸的几何特征比较稳定，受人脸的姿态变化与光照条件等因素的影响小， 7 但是不容易抽取，而且测量精度不高。 差，容易受到外界因素的影响。 1 3 3 人脸识别的方法 人脸识别的主要方法有统计方法、 统计方法 人脸的代数特征容易得到，但是稳定性较 神经网络方法和多分类器组合方法等。 t u r k 和p e n t l a n d 于1 9 9 0 年提出用e i g e n f a c e s ( 特征脸1 来检测和识别人脸，通 过k a r h o n e n l o e v e ( f l hk l l 变换，将高维的人脸图像投影到一个低维空间中，用一 个投影权值向量来表示，将测试图像的权值向量与训练图像的权值向量作比较， 确定哪幅训练图像与测试图像相接近。他吖门进一步发现人脸图像与非人脸图像 的投影向量明显不同，因此给出了一种在图像中检测是否有人脸的方法。特征脸 的概念可以扩张到特征眼、特征嘴等。正如特征脸可被用于检测人脸的存在性一 样，特征眼、特征嘴可用于检测眼、嘴等。 但是e i g c n f a c e s 的方法的缺点也是非常明显的，首先，它对光照和表情因素 都很敏感。再次，p c a 最大化投影空间中的总体散布矩阵，其中包括类内散布矩 阵，不利于分类最优化。b e l h u m e u r ，h e s p a n h a 和k r i e g r n a n 通过训练不同光照下 的人脸图像，利用f i s h e r 线性判别进行人脸识别。首先通过p c a 来降原始图像的 维数，然后应用多类情况下的f i s h e r 线性判别来分类，取得了优于e i g e n f a c e s 的 结果。 人工神经网络方法 人工神经网络由于其固有的并行运算机制以及对模式的分布式全局存储，故 可以用于模式识别。用于人脸识别的神经网络方法可训练有较强噪声和部分缺损 的图像，这种非线性方法有时比线性方法更有效。 最早应用神经网络进行人脸识别工作的是k o h o n e n ，利用网络的联想能力回 忆人脸，当输入图像噪音很多或部分图像丢失时，也能回忆出准确的人脸。后来， r a n g a n a t h 和a r u n 提出了用于人脸识别的径向基函数网络( r b f n ) ，l i n 等提出了用 于人脸检测、眼睛定位与人脸识别的基于概率决策的神经网络，l e e 等提出了用 于人脸识别的模糊b p 网络，l a w r e n c e 提出了用于人脸识别的卷积神经网络。动 态连接结构( d y n a m i cl i n ka r c h i t e c t u r e ) 试图解决神经网络上面的一些概念性的问 题，其中最主要的问题是网络的旬式表达，识别人脸取得了较好的结果，是最有 影响的神经网络方法之一。虽然d l a 方法取得了较好的识别效果，但是代价函 数最优化的计算量非常大。 多分类器组合方法 多分类器的组合己成为模式识别领域的前沿研究课题，并在字符识别、目标 识别等领域取得了较好的应用效果。目前，已有一些采用多分类器的方法来识别 8 人脸：如i n t r a t o 应用监督、无监督混合神经网络抽取人脸特征，进行人脸识别； y o o n 等基于脸部组件的一般知识抽取脸部特征，采用基于跨m a r k o v 模型和神经 网络的混合识别方法等。g u t t a 和w e c h s l e r 提出的基于径向基函数网络与决策树 的人脸识别混合分类器等。 多分类器组合方法还有许多问题值得进一步深入研究，对于人脸识别这种类 别数较多，而训练样本数较少的情况，怎样选择和使得组合准则才能保证组合结 果较优还是一个有待解决的难题。 以上一些方法在最近几年均对人脸识别这一研究领域作出了很大的贡献，同 时深化了我们对人类复杂视觉机制的了解，取得了一定的成功，但也存在各自的 优缺点。 1 4 论文内容安排 第一章绪论，介绍了论文背景、人脸识别的发展现状和人脸识别的研究范围。 第二章人脸识别方法综述，研究了人脸识别常用方法，主要有特征脸、隐马 尔科夫模型、神经网络、弹性图匹配等方法。 第三章人脸识别的相关算法与方法，研究了人脸识别相关算法与方法，包括 免疫算法、小波分析、聚类算法、支持向量机、神经网络和离散余弦变换。 第四章正面人脸识别，在上述基础上提出了两种正面人脸识别的方法即基于 免疫算法和层次支持向量机的人脸识别方法和基于聚类支持向量机和免疫算法的 人脸识别方法。 第五章研究了现有的姿态人脸识别方法，提出了一种基于神经网络和支持向 量机的多姿态人脸识别。 第二章人脸识别方法综述 2 1 引言 人脸自动识别技术就是利用计算机分析人脸图像，从中提取有效的识别信息， 用来辨认身份的一门技术。它涉及到模式识别、图像处理、计算机视觉、生理学、 心理学及认知学等诸多学科的知识，并与基于其它生物特征的身份鉴别方法以及 计算桃人机感知交互的研究领域都有密切联系。目前，静止图像的人脸识别方法 主要有三个研究方向：基于统计的识别方法；基于连接机制的识别方法；其它一 些综合方法或处理非二维灰度图像的方法。下面分别介绍这些方法。 2 2 基于统计的识别方法 基于统计的识别方法包括特征脸( e i g e n f a c e ) 方法和隐马尔科夫模型( h i d d e n m a r k o vm o d e l ) 方法，该方法将人脸用代数特征矢量来表示。代数特征是由h o n g 等 首先提出的，由图像本身的灰度分布决定，它描述了图像的内存信息，它是通过 对图像灰度进行各种代数变换和矩阵分解提出的。将人脸看作一个二维的灰度变 化的模板，从整体上捕捉和描述人脸的特征，所运用的主要是些标准的数据统 计技巧，运算比较复杂。 2 2 1 特征脸方法 特征脸方法是从主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 导出的一 种人脸识别和描述技术1 1 7 1 。特征脸方法就是将包含人脸的图像区域看作是一种随 机向量，因此可以采用k l 变换获得其正交k l 基底。对应其中较大特征值的基底 具有与人脸相似的形状，故将其称为特征脸。利用这些基底的线性组合可以描述、 表达和逼近人脸图像，因此可以进行人脸识别和合成。识别过程就是将人脸图像 映射到由特征脸张成的子空间上，比较其与已知人脸在特征脸空间中的位置。 在传统特征脸方法的基础上，研究者注意到特征值大的特征向量( 即特征脸) 并不一定是分类性能最好的方向，而且对k l 变换而言，外在因素带来的图像差异 和人脸本身带来的差异是无法区分的，特征脸在很大程度上反映了光照等因素的 差异。实验表明，由于作为一种图像的统计方法，图像中所有的像素都被赋予了 同等的地位，因此随着光照、角度和人脸尺寸等因素的引入，识别率急剧下降， 人脸在人脸空间的分布近似高斯分布，且普通人脸位于均值附近，而特殊人脸则 位于边缘分布，可见，越普通的人脸越难分别，特征脸方法的本质是抓住了人群 1 0 的统计特征，反映了特定人脸库的统计特征，但不具有广泛性、代表性，因此特 征脸方法还存在着理论上的缺陷。近年来，据此发展了多种对特征脸的改进方法， 如双予空问法、相形歧义分析方法、f is h e r 脸方法等。其中f is h e r 脸方法又称 为线形判别分析方法( l i n e a rd i s c r i m i n a n ta n a l y s i s ，l d a ) ，它选择与类内散布 正交的矢量作为特征脸空问，从而能压制图像之间的与识别信息无关的差异，对 光照及人脸表情变化都不太敏感。t o r t e s 从传统特征脸发展出自身特征脸的概 念，使用这种技术并结合人脸颜色信息，可以有效地从动态图像序列中识别出指 定的人脸。另一方面，以p c a 为基础的传统特征脸方法没有利用人脸的几何拓扑 特征，为此p u j o l 等将p c a 与人脸拓扑关系结合后提出的t p c a ( t o p o l o g i c a l p r i n c i p a lc o m p o n e n ta n a l y s i s ) 方法，其识别率较单一的p c a 类方法有所提高。 m o g h a d d a m 图像差异分为脸内差异和脸间差异，其中脸内差异属于同一个人脸的 各种可能变形，而脸间差异则表示不同人的本质差异，而实际人脸图的差异为两 者之和【l b 】。通过分析人脸差异图，如果脸内差异比脸间差异大，则认为两张脸属 于同一个人的可能性大，反之属不同人的可能性大。这种算法在1 9 9 6 年进行的 f e r e t 人脸识别测试中取得了最好的识别效果。其综合识别能力优于参加测试的 其它任何算法，尤其是在克服光照变化对识别的影响方面。此外，与k l 变换的思 想比较接近但不是从统计角度出发的另一种变换是奇异值分解( s v d ) 的方法，即将 图像矩阵的奇异值作为模式的特征矢量。s v d 方法具有如下优点：( 1 ) 人脸图像 的奇异值具有良好的稳定性，当图像上有小的扰动时，奇异值变化不大：( 2 ) 奇 异值表示了图像的代数特征，是一种本质的内在特征，在某种程度上，s v d 特征 同时拥有代数与几何两方面的不变性，即对图像灰度值的比例变化、平移、旋转 和伸缩不变性。 2 2 2 隐马尔科夫模型 隐马尔科夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 是用于描述信号统计特性的一组 统计模型。h m m 使用马尔科夫链来模拟信号统计特性的变化，而这种变化又是间 接地通过观察序列来描述的，因此，隐马尔科夫过程是一个双重的随机过程。其 中之一是马尔可夫链，这是基本随机过程，它描述状态的转移；另一个随机过程 描述状态和观测值之问的统计对应关系。在t l m m 中，节点表示状态，有向边表示 状态之间的转移，一个状态可以具有特征空间中的任意特征，对同一特征，不同 状态表现出这一特征的概率不同。由于h m m 是一个统计模型，对于同一特征序列， 可能会对应于许多状态序列，特征序列与状态序列之间的对应关系是非确定的。 这种模型对于状态序列来说是隐的，故称为隐马尔科夫模型。 1 1 2 3 基于连接机制的识别方法 基于连接机制的识别方法包括一般的神经网络方法和弹性图匹配( e l a s t i c g r a p hm a t c h i n g ) 方法。 2 3 1 基于神经网络的方法 神经网络在人脸识别应用中有很长的历史 1 9 1 。早期用于人脸识别的神经网络 主要是k o h o n e n 自联想映射神经网络，主要用于人脸的“回忆”。所谓“回忆” 是指当输入图像上的人脸受噪声污染严重或部分缺损时，能用k o h o n e n 网络恢复 出原来完整的人脸。c o t t r e l l 等人使用级联b p 神经网络进行人脸识别，它对部 分受损的人像、光照有所变化的人像的个人识别能力较好。i n t r a t o r 等人用一个 无监督监督( b c m b p ) 混合神经网络进行人脸识别。其输入是原始图像的梯度图 像，以此可以去除光照的变化。无监督学习的目的是寻找类的特征，有监督学习 的目的是减少训练样本被错分的比例。这种网络比用b p 网络提取的特征更明显， 所以识别率更高，如果用几个网络同时运算，求其平均，识别效果还会提高。 l a w r a n c e 和c 1 1 1 e s 等人用一个自组织特征映射( s o m ) 神经网络与卷积神经网络结 合的系统对一个有4 0 0 幅人脸图像，人均1 0 幄的数据库进行了人脸识别研究。其 中s o m 网络的作用是将图像样本量化到降维的拓扑空间，它使原空间中相邻的输 入点在输出空间中仍相邻。卷积网络用于实现相邻像素之间的相关性知识，从而 在一定程度上实现了图像平移、旋转、尺度和局部变形的不变性。l i n 和k u n g 将 神经网络方法和统计方法结合在一起，提出了种基于概率决策的神经网络 ( p r o b a b i l i s t i cd e c i s i o n - b a s e dn e u r a ln e t w o r k ，p d b n n ) 用于识别人脸。其主要 思想是采用虚拟样本( 正反例) 进行强化和反强化学习，从而得到较理想的概率估 计结果，并采用模块化的网络