（运筹学与控制论专业论文）基于dct的pca及集成神经网络的人脸识别研究.pdf

摘要 人脸识别技术是模式识别、图像处理、计算机视觉和认知科学等领域的一个 极富挑战性的交叉课题，是近年来的一个研究热点。尽管人脸自动识别技术在各 种潜在应用的推动下发展很快，但到目前为止，要建立通用的人脸自动识别系统 还有许多难点问题尚未解决，特别是人脸识别算法的效率和鲁棒性问题。 人脸识别技术是由计算机分析人脸图像，从人脸图像中提取有效的识别信 息，以此来辨认身份的- i 1 技术。计算机人脸识别技术的研究主要从提取表述人 脸图像的特征方面进行。要求表述人脸图像的特征既能够容忍几何变化、表情变 化和光照变化，又能够保留人脸不同于其它人脸的分类识别信息。本文从人脸特 征提取角度介绍了常用的几种人脸识别方法：基于几何特征的识别方法、基于统 计的特征脸方法、基于模板匹配的方法、基于神经网络的方法，并分析了它们的 优势和劣势。着重从基于图像整体代数特征的主成分分析( p c a ) 算法入手，介 绍了“特征脸算法的原理和实现过程，针对传统的p c a 算法存在的运算量大 的缺点，提出了一种基于离散余弦变换( d c t ) 的p c a 特征提取算法。该算法 先对整个原始人脸图像进行二维离散d c t 变换得到d c t 系数矩阵，再取包含了 原始图像大部分信息的少量d c t 系数作p c a ，提取出人脸特征，取得了优于单 独的d c t 特征提取方法与传统的p c a 特征提取几乎等同的识别效果，同时大大 减少了p c a 算法的运算量，速度提高了将近一倍。 寻求适用、优秀的分类方法构造出性能优良的分类器，是提高模式识别效果 的关键环节。b p 神经网络是常用的一种人脸分类器，它具有自学习性、鲁棒性 和自适应性，但传统的b p 网在学习过程中容易陷入局部最小，本文对其进行改 进，用集成的b p 网代替单一的b p 网。试验表明，与单一的b p 网分类器相比， 集成b p 网分类器的识别率提高了将近3 个百分点，识别时间也大大降低。 文中采用m a t l a b 语言实现人脸识别算法，通过对o r l 人脸库多幅人脸图像 的仿真试验表明，系统的识别率较高，且训练时间大大降低，是一种高效的识别 方法。 关键词：人脸识别；d c t ；p c a ；b p 神经网络；神经网络集成 a b s t r a c t f a c er e c o g n i t i o ni so n eo ft h em o s tc h a l l e n g i n gp r o b l e m si nt h ef i e l d so fp a t t e r n r e c o g n i t i o n ，i m a g ep r o c e s s i n g ，a n dc o m p u t e rv i s i o na n dc o g n i z a n c es c i e n c e i th a s t u r n e di n t oa n a c t i v er e s e a r c ht o p i ca n dd e v e l o p e dq u i c k l yi nt h er e c e n td e c a d ea l o n g w i t hv a r i o u sa p p l i c a t i o n s b u t ，t os e tu pp r a c t i c a la u t o m a t i cf a c er e c o g n i t i o ns y s t e m ， t h e r ea r es t i l lm a n yp r o b l e m su n s e t t l e d ，e s p e c i a l l yt h ee f f i c i e n c ya n dr o b u s t n e s so ft h e a l g o r i t h m s t h et e c h n o l o g yo ff a c er e c o g n i t i o na n a l y z e sf a c ei m a g e sw i t hc o m p u t e r , a n d t h e ne x t r a c t se f f e c t i v er e c o g n i t i o ni n f o r m a t i o nf r o mt h e m ，w h i c hi su s e dt or e c o g n i z e t h ei d e n t i f i c a t i o no fap e r s o n t h er e s e a r c ho ft h ef a c er e c o g n i t i o nt e c h n i q u em a i n l y f o c u s e do nh o wt oe x t r a c tt h ef e a t u r e sd e s c r i b i n gf a c ei m a g e i tn e e d st h a tt h e s e f e a t u r e sa r et o l e r a n to fg e o m e t r yc h a n g e s ，i m p r e s s i o nc h a n g e sa n di l l u m i n a t i o n c h a n g e s ；m e a n w h i l et h ef e a t u r e ss h o u l dc o n t a i nt h ei n f o r m a t i o nt h a td i s t i n g u i s h e st h i s f a c ep a t t e mf r o mo t h e r s t h i sp a p e rp r e s e n t ss e v e r a la p p r o a c h e su s u a l l ya p p l i e di n f a c er e c o g n i t i o ns y s t e m ：g e o m e t r i c a lf e a t u r eb a s e d ，e i g e n f a c eb a s e d ，e l a s t i cm a t c h i n g b a s e d ，n e u r a ln e t w o r k sb a s e da p p r o a c h e s ，a n da n a l y z e s t h e i r a d v a n t a g e sa n d d i s a d v a n t a g e s b a s e do na l g e b r a i cf e a t u r e so ft h ei m a g e s ，t h i sp a p e rf i r s ti n t r o d u c e d t h ep c a - b a s e df a c er e c o g n i t i o na l g o r i t h m t h ec o m p u t i n gt i m eo ft h et r a d i t i o n a l p c a - b a s e df a c er e c o g n i t i o ni sv e r yl a r g e ，s ot h ed i s c r e t ec o s i n et r a n s f o r mi su s e dt o d ot h ep r e p r o c e s s i n g t h em e t h o dp r o p o s e di nt h i sp a p e rd e a l sw i t ht h eo r i g i n a lf a c e i m a g e su s i n gd c tf i r s t , a n dt h e na p p l i e sp c a t oaf e wd c tc o e f f i c i e n t st h a tc o n t a i n m o s to ft h ei n f o r m a t i o no ft h eo r i g i n a li m a g e s t h ee x p e r i m e n t sr e s u l t ss h o wt h a tt h e c o r r e c tr e c o g n i t i o nr a t eo ft h ep r o p o s e dm e t h o di ss u p e r i o rt ot h a to fm e t h o d su s i n g d c to n l ya n da l m o s te q u a lt ot h a to fm e t h o d su s i n gp c ao n l yw h i l et h es p e e do ft h e t r a i n i n g i so n et i m ef a s t e rt h a nt h et r a d i t i o n a lp c aa l g o r i t h mi n t r o d u c e di nt h e p r e c i o u sc h a p t e r t h ed e s i g no fc l a s s i f i e ri sc r u c i a lt of a c er e c o g n i t i o n t h eb pn e u r a ln e t w o r ki s w i d e l yu s e da sc l a s s i f i e rw h i c hh a ss e l f - s t u d y , r o b u s t i c i t y , s e l f - a d a p t a b i l i t y i nt h i s p a p e r , w er e p l a c ei n d i v i d u a lb pw h i c hp r o n et ol o c a lm i n i m u mw i t hb pe n s e m b l e e x p e r i m e n t ss h o wt h a tt h er e c o g n i t i o nr a t eo ft h eb pe n s e m b l ei s3p e r c e n th i g h e r t h a ni n d i v i d u a lb pw h i l et h er e c o g n i t i o nt i m ei sn o t a b l ys h o r t e n e d t h i sp a p e ra d o p t sm a t l a bl a n g u a g et or e a l i z ef a c er e c o g n i t i o na r i t h m e t i c ，a n dt h e s i m u l a t i o ne x p e r i m e n t sa r ec o n d u c t e db a s e do nf a c ei m a g e si no r lf a c ed a t a b a s e t h er e s u l t ss h o wt h a tt h er e c o g n i t i o nr a t ei sq u i t eh i g ha n dt h et r a i nt i m ei sn o t a b l y s h o r t e n e d , s ot h em e t h o di se f f i c i e n tf o rf a c er e c o g n i t i o n k e yw o r d s ：f a c er e c o g n i t i o n ；d c t ；p c a ；b pn e u r a ln e t w o r k ；n e u r a ln e t w o r k e n s e m b l e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：马怡铐 签字日期：砌多年7 2 月倡日 学位论文版权使用授权书 本学位论文作者完全了解墨叠态堂有关保留i 使用学位论文的规定。 特授权墨生盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文柘者签名：马饴拶 签字b 期：7 o o f 年，2 月了日 导师签名：a ，虱鸢 签字日期：么灼彭年肛月侈日 第一章绪论 1 1 研究背景与意义 第一章绪论 近年来，特别是自美国“9 l l 恐怖袭击发生以来，如何安全、方便地自 动鉴定个人身份成了摆在世界各国面前的一个亟待解决的问题，而产生一种新的 识别与认证技术来替代旧的认证技术更成为解决问题的关键，生物特征识别技术 正是应此而生。所谓生物特征识别技术是指依据人体所固有的生理特征( 人脸、 指纹、视网膜、虹膜、基因、语音等) 或行为特征，利用图像处理技术( 或其他 数字信号处理技术) 和模式识别的方法来达到身份鉴别或验证目的的- - n 交叉科 学。与传统的身份鉴定手段相比，基于生物特征识别的身份鉴定技术具有多方面 的优点： 首先，生物识别技术是目前最为方便与安全的识别技术。由于人体特征具有 人体所固有的不可复制的唯一性，这一生物密钥无法复制，失窃或被遗忘。而常 见的口令、i c 卡、条形码、磁卡或钥匙则存在着丢失、遗忘、复制及被盗用等 诸多不利因素。因此采用生物“钥匙”，可以不必携带大串的钥匙，也不用费心 去记或更换密码，而系统管理员更不必因忘记密码而束手无策。 其次，生物识别技术产品均借助于现代计算机技术来实现，很容易配合电脑 和安全、监控、管理系统整合，实现远程的自动化智能管理。 正是由于生物特征所具有的这些优势，使得其获得了长足的发展，而在如此 众多的生物特征识别技术研究中，作为人类彼此区别的第一外部特征的人脸的识 别研究得到了更为热切的关注。这是因为： ( 1 ) 在所有可用于个人身份鉴定的生物特征中，人类自身对人脸的辨识最 轻也最准确，然而在机器自动人脸识别方面却一直未能取得令人满意的结果，这 对人工智能、图像处理、生理学等多个领域的研究提出了挑战； ( 2 ) 相较于其他的生物特征识别系统，自动人脸识别系统中人脸图像的采 集获取相当“友好 ，无须接触，只需人脸在一台摄像机的视野范围内出现即可， 人完全可以忽略采集过程的存在，使用者无任何心理障碍； ( 3 ) 与其它生物特征识别系统相比，人脸识别系统具有较好的交互性，有 利于人机交互系统，特别是视频会议的广泛应用。 经过众多学者的不懈努力，目前已经有很多自动人脸识别系统投入了商业运 营。这些自动人脸识别系统主要在以下几类场合得到了应用 1 ，2 ，3 ： 第一章绪论 ( 1 ) 刑侦破案。当公安部门获得案犯的照片后，可以利用人脸识别技术， 在存储罪犯照片的数据库里找出最相像的人为嫌疑犯。还有一种应用就是根据目 击证人的描述，先由警察画家画出草图，然后用这张图到库里去找嫌疑犯。 ( 2 ) 证件验证。身份证、驾驶执照等以及其它很多证件上都有照片，现在 这些证件多是由人工验证的。如果用了人脸识别技术，这项工作则可交给机器完 成，从而实现自动化智能管理。i c 卡、信用卡等可能丢失，密码也可能被遗忘 或窃取，如果在这类卡上加上人脸的特征信息，则可大大改善其安全性能。 ( 3 ) 入口控制。入口控制的范围很广，它可以是设在楼字、私人住宅或某 些安全部门的入口处的安全检查，也可以是计算机系统或情报系统等的入口控 制。 ( 4 ) 视频监控。一般在机场、大楼、商业区等公共场合需要配备一些用于 监控的人脸识别系统，其目的是为了在突发事件中能够锁定事件的核心人物并确 认其身份。另外侦察员在破案时有时也要用摄像机对人进行跟踪。 ( 5 ) 视频会议、机器人的智能化研究以及医疗等方面。 除上述应用外，对人脸识别的研究还具有极为重要的理论价值。人脸是自然 存在的一种复杂的视觉模式，以它作为二维图像或三维非刚性物体的一种范例进 行检测和识别方面的研究，必将推动图像处理、模式识别、计算机视觉等相关理 论的发展。另外，人脸识别也是视觉认知心理学中的一个典型研究课题，人脸自 动识别的研究一方面要借鉴对人脸识别最有帮助的人类视觉系统的研究成果，另 一方面也会对视觉心理学中有关课题的探讨产生积极的影响和启迪。 1 2 研究历史与现状 早在2 0 世纪6 0 年代末，人脸识别即引起了研究者的强烈兴趣，最初的人脸 识别技术基于面部几何特征分析，而且重点使用的是从侧面人脸图像上提取的几 何特征。直到八十年代，人脸识别一直处于提取的特征数目少，自动提取特征的 准确度也比较低的状态，进展甚微。九十年代以来，随着高速度高性能的计算机 的出现，人脸识别的方法有了重大突破，进入了真正的机器自动识别阶段，人脸 识别研究得到了前所未有的重视。国外有很多大学在此方面取得了很大进展 4 ，5 ，他们研究涉及的领域很广，其中有从感知和心理学角度探索人类识别入 脸机理的，如美国t e x a sa td a l l a s 大学的a b d i 和t o o l e 小组，主要研究人类感知 人脸的规律，如漫画效应、性别识别与人脸识别的关系、种族效应等；由s t i f l i n g 大学的b r u c e 教授和g l a s g o w 大学的b u r t o n 教授合作领导的小组，主要是研究 人类大脑在人脸认知中的作用，并在此基础七建立了人脸认知的两大功能模型， 2 第一章绪论 他们对熟悉和陌生人脸的识别规律以及图像序列的人脸识别规律也进行了研究。 也有从视觉机理角度进行研究的，如英国a b e r d e e n 大学的c r a w 小组，主要研究 人脸视觉表征方法，他们对空间频率在入脸识别中的作用也进行了分析；荷兰 g r o n i n g e n 大学的p e t k o v 小组，主要研究人类视觉系统的神经生理学机理并在此 基础上发展了并行模式识别方法。更多的学者则从事利用输入图像进行计算机入 脸识别的研究工作。 近十年来，尤其是在过去的5 年内，人脸识别吸引了更多科学家的注意，并 且取得了重大的进展。不仅出现了许多具有影响力的国际会议，如a f g r 6 和 a v b p a 7 ，而且有了一系列的人脸识别技术的评价方法，如：f e r e t 协议 8 、 x m 2 v t s 协议。国际上发表的有关人脸识别的论文数量大幅度增加，仅从1 9 9 0 年到2 0 0 0 年之间，e i 可检索到的相关文献多达数千篇，i e e e 的p a t t e ma n a l y s i s a n dm a c h i n ei n t e l l i g e n c e ( p a m i ) 汇刊还于1 9 9 7 年7 月出版了人脸识别专辑，每 年的国际会议上关于人脸识别的专题也屡见不鲜，而且i e e e 还专门召开了四次 入脸和手势识别国际会议。国内外的许多大学都有计算机视觉的研究组，并有从 事人脸图像处理课题的研究小组。国外著名的大学包括m i t 、c m u 、c o m e l l 等， 德国的一些相应的研究机构也开展得较好 4 ；国内从事这方面研究的大学有清 华大学 9 、浙江大学 1 0 、哈尔滨工业大学 1 1 、南京理工大学 1 2 等。另外， 从1 9 9 4 年开始，一些科研单位和公司开始将研究成果转移为实用产品 4 ，1 3 ， 如m i r o s 公司的t r u e f a c e ，v i s i n o c s 公司的f a c e l t ，以及z nb o c h u mg m b h 公司 研制的z n - f a c e 等。我国在此方面也有所建树，中科院、微软亚洲研究院以及多 所重点大学都在此领域投入了大量的人力物力，并且由中科院计算所高文教授主 持的8 6 3 项目“面像监测与识别核心技术”已经通过了鉴定，在静态场景下其准 确率达到9 6 5 。但相比之下，国内对人脸识别的研究和重视程度还不够，研究 成果与国际水平还存在相当距离。 尽管取得了一定成功，但现有人脸识别系统仍存在许多不足：1 、人脸检测 还不够鲁棒和精确；2 、某些识别算法如特征脸等对光照、表情等变化很敏感， 无法适应复杂的应用环境；3 、某些算法如弹性图匹配虽然识别性能较好，但速 度太慢，不能满足快速处理的要求；4 、人脸图像和视频检索等应用对识别速度 提出了更高的要求，而当前的识别策略效率低下，无法同时满足系统对准确性和 速度的要求。因此对人脸识别的各个方面还需要继续深入研究。 第一章绪论 1 3 研究内容与方法 人脸识别一般可描述为：给定一静止或动态图像，利用已有的人脸数据库来 确认图像中的一个或多个人。一个人脸识别系统包括以下三个主要技术环节 51 ： ( 1 ) 人脸检测与定位，即检测图像中有没有人脸，若有，将其从背景中分 割出来，并确定其在图像中的位置。这一任务主要受以下因素的影响：人脸在 图像中的位置、旋转角度和尺度不固定；发型和化妆会遮盖某些特征；图像 中出现的噪声。 ( 2 ) 特征提取，即确定表示检测出的人脸和数据库中的已知人脸的描述方 式。特征提取之前一般需作几何归一化和灰度归一化的工作。其中前者是指根据 人脸定位结果将图像中的人脸变化到同一位置和大小；后者是指对图像进行光照 补偿等处理，以克服光照变化的影响。具体的特征形式随识别方法的不同而不同。 ( 3 ) 人脸识别，即将待识别的人脸图像或特征与库里的进行匹配，得出相 关信息。识别的任务主要有两个：一个是人脸辨认，即确定输入图像为库中的哪 一个人，是一对多的匹配过程；另一个是人脸证实，即验证某个人的身份是否属 实，是一对一的匹配过程。根据输入图像的性质，可以将人脸识别分为静态图像 的人脸识别和动态图像的人脸识别两大类。前者主要是用静态图像如从证件照 片、罪犯照片、场景照片上扫描的图像进行识别；后者则是用摄像机摄取的时间 图像序列进行识别。 人脸识别本质上是三维塑性物体二维投影图像的匹配问题，它的困难体现 在：入脸塑性变形( 如表情等) 的不确定性；人脸模式的多样性( 如胡须、 发型、眼镜、化妆等) ；图像获取过程中的不确定性( 如光照强度、光源方向 等) 。识别人脸主要依据人脸上那些在不同个体之间存在较大差异而对同一人又 比较稳定的度量特征。由于人脸变化复杂，因此特征表述和特征提取十分困难。 根据输入图像的性质，人脸识别方法分为静止图像的识别方法和图像序列的 识别方法两大类。由于图像序列的计算远比静止图像的计算复杂和耗时，静止图 像的识别方法是人脸识别领域中主要的研究方向，研究成果也更为成熟，而基于 图像序列的人脸识别还处于起步阶段。下面将主要介绍静止图像的几种典型的人 脸识别方法： 目前，静止图像的识别方法主要有三大类：基于几何特征的方法：基于 统计的识别方法，包括特征脸方法和隐马尔科夫模型方法：基于连接机制的识 别方法，包括一般的神经网络方法和弹性图匹配方法：下面分别介绍这些方法： 1 3 1 几何特征法 4 第一章绪论 几何特征法【1 4 】包括人脸部件归一化的点间距离和比率以及人脸的一些特 征点，如眼角、嘴角、鼻尖等部位所构成的二维拓扑结构。几何特征法对每幅图 像只需存储一个特征矢量，存储量小，但是采用一般几何特征只描述了部件的基 本形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于粗分 类，而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也很 大。 1 3 2 特征脸方法 特征脸法 1 5 ，1 6 以训练样本集的总体散布矩阵为产生矩阵，经k - l 变换 ( k a r h u n e n - l o e v et r a n s f o r m ) 后得到相应的一组特征矢量，称为“特征脸， 这样就产生了一个由“特征脸”矢量张成的子空间，每一幅人脸图像向其投影都 可以获得一组坐标系数，这组坐标系数表明了人脸在子空间中的位置，试验表明 其具有较强的稳定性，可以作为人脸识别的依据。识别过程就是将待识人脸图像 映射到由特征脸张成的子空间上，比较其与已知人脸在特征脸空间中的位置。 在传统特征脸的基础上，研究者注意到特征值大的特征矢量( 即特征脸) 并 不一定是分类性能好的方向，也就是说特征脸是人脸在均方误差最小意义上的最 好表征，但并不是最好的识别特征。据此发展了多种方法，例如：双子空间方法、 线性歧义分析方法、f i s h e r f a c e 方法。 另一种利用代数特征的人脸识别方法是基于奇异值特征向量的人脸识别方 法。该方法的基本原理是将人脸图像作为一个矩阵，对它做奇异值分解，求出奇 异值作为特征向量。许多研究表明，矩阵的奇异值分解是一种有效的代数特征提 取。奇异值具有良好的稳定性，反映了图像的一种代数本质，具有代数和几何上 的不变性。 特征脸方法通过低维子空间表示对数据进行压缩，识别简单有效，但是它在 光照、表情、姿态等发生变化时，识别率明显下降，而且运算量大，只能离线计 算，学习时间长。 1 3 3 隐马尔可夫模型法 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 【1 7 是用于描述信号统计 特征的一组统计模型。h m m 的基本理论由b a u m 和w e l c h 等人于2 0 世纪6 0 年 代末7 0 年代初建立，在语音识别中应用较多。h m m 使用马尔可夫链来模拟信 号统计特性的变化，而这种变化又是间接地通过观察序列来描述的，因此，隐马 第一章绪论 尔可夫过程是一个双重的随机过程。在h m m 中，节点表示状态，有向边表示状 态之间的转移，一个状态可以具有特征空间中的任一特征，对同特征，不同状 态表现出这一特征的概率不同。由于h m m 是一个统计模型，对于同一特征序列， 可能会对应于许多种状态序列，特征序列与状态序列之间的对应关系是非确定 的。这种模型对于状态序列来说是隐的，故称为隐马尔可夫模型。h m m 有三个 主要问题：评估、估计及解码。我们直接关心的是评估问题及估计问题。评估问 题用于解决识别问题，一般采取比较有效的“向前一向后 法；估计问题用来产 生用于识别的各个单元的h m m ，采取b a u m w e l c h 方法。 1 3 4 弹性图匹配法 弹性图匹配法 1 8 的基本思想是用一个属性图来描述人脸：属性图的定点代 表面部关键特征点，其属性为相应特征点处的多分辨率、多方向局部特征g a b o r 变换特征，称为j e t ；变的属性则为不同特征点之间的几何关系。对任意输入入 脸图像，弹性图匹配通过一种优化搜索策略来定位预先定义的若干面部关键特征 点，同时提取它们的j e t 特征，得到输入图像的属性图。最后通过计算其与已知 人脸属性图的相似度来完成识别过程。该方法的优点是既保留了面部的全局结构 特征，也对人脸的关键局部特征进行了建模，缺点是计算量非常巨大。 1 3 5 神经网络法 目前神经网络方法 1 9 - 2 2 在人脸识别中的研究方兴未艾。这类识别方法将 人脸直接用灰度图( 二维矩阵) 表征，利用了神经网络的学习能力及分类能力， 这种方法的优势在于保存了入脸图像中的材质信息及细微的形状信息，同时避免 了较为复杂的特征提取工作。而且，由于图像被整体输入，符合格氏塔( g e s t a l t ) 心理学中对人类识别能力的解释。与前面谈到的识别方法比较，这类方法具有两 个明显不同，首先信息处理方式是并行而非串行；其次编码存储方式是分布的。 k o h o n e n 率先运用自相关记忆( 全互联神经网络) 存储和重建人脸图像，利用简 单的h e b b i a n 学习率，任意图像的自相关记忆将被创建并存储在全互联神经网络 的权值中，试验表明，在噪声存在，甚至人脸图像被部分遮挡的情况下，该网络 能有效地重建人脸图像，这表明了自相关神经元具有识别能力。c o t t r e l l 等和 f l e m i n g 采用了不同的网络结构一非线性前馈神经网络，该网络用b p 算法训练以 后用于入脸灰度图像的识别。他们采用的前馈式神经网络具有4 0 9 6 个输出单元。 神经元的响应函数为s i g m o i d 函数，该网络实际上实现了对多幅人脸图像的压缩 编码，对人脸识别与生理分类都具有较高的准确率。 6 第一章绪论 尽管神经网络方法在编码压缩与信息处理方式等方面具有一定的优势，但由 于原始灰度图像数据量十分庞大，因此神经元数目通常很多，训练时间很长。另 外，完全基于神经网络的识别法在现有的计算机系统( 冯一诺伊曼结构) 上也有 其内在的局限性，且神经网络虽然有较强的归纳能力，但当样本数大量增加时， 其性能有可能会严重下降。 以上介绍的是几种典型的人脸识别方法，从分析中可以看出，每种方法各有 其优缺点，目前还没有一个较通用的方法适用于所有识别情况，因此有些学者倾 向于将多种方法综合起来，或同时利用不同种类的特征。如j i a 等人指出，要从 大数据量的人脸库中进行识别，单靠扩展单一种类的特征数目是不够的，而要扩 展与原特征集正交的其它种类特征，他们在正面人脸几何特征的基础上，将侧面 轮廓特征、眼睛形状特征以及人脸轮廓特征也加入特征矢量，获得了较采用单一 正面人脸几何特征为特征矢量方法高的识别率。 目前研究最多的识别方法基本上都是针对二维灰度图像的，除此之外，还有 深度人脸图像数据库和红外入脸图像数据的识别方法。对于多c c d 摄像机系统， 可以得到不同视点的人脸图像，从而利用立体视觉的方法获得人脸的三维模型， 含有三维信息的特征能有效解决人脸在光照、伪装或年龄变化等情况下的识别问 题。 此外，由于每种生物特征鉴别系统各有优缺点，将不同种类的生物鉴别系统 进行结合也越来越引起人们的重视，如把人脸识别与指纹识别结合，或者与语音 识别结合等。 1 4 人脸数据库 4 ，6 ，1 3 】 任何人脸识别系统的开发都需要建立一个包含人脸图像或图像系列的数据 库。人脸数据库的设计对系统的识别率影响是至关重要的。开发一个对所有可能 变化情况下都能正确进行人脸识别的系统是非常困难的，因此几乎所有的人脸识 别研究都是在一定约束条件下进行的，如光照、表情和姿态变化等受到一定限制， 大部分系统都未考虑长期变化，如年龄的变化等。所以有必要建立适应不同需要 的人脸数据库，以下介绍一些典型的标准数据库。 1 英国o r l ( o l i v e t t ir e s e a r c hl a b o r a t o r y ) 单人脸数据库 该数据库包括从1 9 9 2 年4 月到1 9 9 4 年4 月拍摄的一系列人脸图像，由4 0 个人的4 0 0 幅灰度图像组成，图像尺寸为9 2 x 1 1 2 ，图像背景为黑色。其中人脸 脸部表情和细节均有变化，例如笑与不笑，眼睛睁着或闭着，戴或不戴眼镜等， 人脸姿态也有变化，其深度旋转和平面旋转可达2 0 度，人脸的尺寸也有最多1 0 7 第一章绪论 的变化。这是目前使用最广泛的人脸数据库。 2 英国m a n c h e s t e r 人脸数据库 该数据库由3 0 个人的6 9 0 幅图像组成，其中训练集和测试集分开，有不同 的光照和背景特征，而且对每个人而言，前后两张照片之间的时间间隔至少有3 周。训练集对光源有一定的约束，而在测试集中则变化多端。测试集还增加了两 级难度：其一是对于其中的相似人脸，仅有发型、背景以及戴眼镜等变化；其二 是特征遮挡，如头发、墨镜、手臂等。 虽然m a n c h e s t e r 数据比o r l 测试更为全面，但因发表的比较结果不够多， 从而远不如o r l 使用广泛。 3 美国f e r e t ( f a c er e c o g n i t i o nt e c h n o l o g y ) 人脸数据库 f e r e t 人脸数据库是目前最大的人脸数据库，由美国军方研究实验室提供， 其中每人8 张图像，两张正脸，3 张从右到左不同侧面角度的照片，有些人还提 供了更多不同视点和不同表情的照片。该数据库中不包括戴眼镜的照片，拍摄条 件也有一定的限制，人脸大小约束在规定范围内。到1 9 9 6 年6 月，该数据库已 存储了1 1 9 9 个人的1 4 1 2 6 幅图像，而且逐年增加。但到目前为止，该数据库并 未提供运动图像系列或包含语音信息。f e i 也t 数据库的最大缺点是非美研究机 构的获取不便。 4 日本a t r 数据库 该数据库考虑了除人脸特征外的其它信息在人脸识别中的作用，提供人脸和 语音的合成，由6 0 人组成，但其中人脸图像是静止的而非运动图像序列。 5 欧洲m 2 v t s 多模型入脸数据库 该数据库用于测试多模型身份鉴别方法。目前该库由3 7 人组成，每人有5 个图像序列，拍摄时间间隔一周左右，其中至少有一个序列提供合成语音。 其他数据库还有：c m u ( c a r n e g i em e l l o nu n i v e r s i t y ) 正面人脸数据库、m i t 单人脸数据库等。o r l 人脸数据库仍是目前使用最广泛的标准数据库，它含有 大量的比较结果。然而由于不同任务的需要，仍有必要设计和建立具有特色的专 用数据库。 1 5 本文的主要工作及各章内容安排 人脸识别作为模式识别领域最经典的问题之一，已经有很多解决方法，取得 了较好的试验结果。但是，人脸识别的最终目的当然是走向实际应用，真正能够 应用于任意背景、任意姿态条件下的通用的人脸识别系统目前还不存在。这说明 人脸识别如何走向应用领域依然有待探索和完善，比如如何提高所提取人脸特征 8 第一章绪论 的有效性、分类器的优化等。 本文分析了已有的d c t 和p c a 两种人脸特征提取方法的优缺点，深入探讨 了b p 神经网络人脸分类器的局限性，并给出了相应的解决方案。论文的主要工 作如下； 1 人脸特征提取方法改进。详细论述了基于d c t 、p c a 的人脸特征提取 方法的原理和实现过程，基于d c t 的方法虽然速度快，但提取出的特征存在一 定冗余；而p c a 方法存在受光照等外界因素影响较大、在样本比较多时计算量 大等阔题。有鉴于此，第二章提出了将两种方法结合起来的特征提取方法，从而 既提高了特征向量的精度，又降低了运算复杂度。 2 人脸分类器优化。详细论述了广泛应用的b p 神经网络人脸分类器的结 构和学习方法，针对b p 网在学习过程中速度慢、易陷入局部极小的问题，结合 集成神经网络良好的泛化能力和快捷的运算速度，本文第三章提出了基于集成 b p 神经网络的入脸分类器，并给出了它的结构和算法，从而提高了识别效率。 论文分为五个部分：第一章是论文的绪论，主要介绍了人脸识别的背景、意 义、国内外的研究历史及现状，重点介绍了目前比较常用的正面静止人脸图像的 识别方法并分析其优缺点，最后提出本文的主要研究工作及各章内容安排；第二 章阐述了基于d c t 的p c a 人脸特征提取方法：首先介绍了离散余弦变换的原理 及基于d c t 的人脸特征提取方法，然后介绍了主元分析的基本原理、方法，最 后介绍用主元分析的方法对提取的d c t 特征向量迸一步降维；第三章详述了基 于集成b p 网的人脸分类器设计：介绍了传统的b p 神经网络的结构、算法以及 存在的缺陷，在此基础上详细论述了集成b p 神经网络分类器的结构以及学习方 法；第四章以o r l 入脸数据库为例，详细介绍了本文提出的人脸识别方法的系 统实现过程，并与基于d c t + 单一b p 网、p c a + 单一b p 网、d c t + p c a + 单一 b p 网、d c t + 集成b p 网、p c a + 集成b p 网方法的实验结果进行比较，最后对比 较结果进行归纳分析；第五章对本文所作的工作进行总结并提出下一步研究的方 向。 9 第二章基于d c t 的p c a 人脸特征提取 2 1 引言 第二章基于d c t 的p c a 人脸特征提取 在自动人脸识别系统中，人脸图像的特征提取是系统成败的关键。人脸图像 特征提取的目的是获取一组“少而精”的分类特征，即获取特征数目少而分类错 误概率小的特征向量。通过特征选择和提取，可以把维数很高的测量空间中表示 的模式变为维数较低的特征空问中表示的模式，这不仅从本质上描述了对象的特 性，降低了信息的冗余程度，也有利于进一步的分析和计算机分类识别。 9 0 年代以来利用k - l 变换的方法抽取人脸特征一直深受重视，也取得了很 好的效果。p c a 的算法复杂度为o ( d 3 ) ，其中d 为图像的大小，这给实际应用带 来很大困难。另外p c a 方法对人脸在方向、位置和光照上的变化比较敏感。尽 管它本身还存在着一定的缺陷，但由于其具有简单、易行的特点，并且从整体上 反映了人脸图像的灰度相关性，因此，围绕k - l 变换的改进方法 1 6 ，2 3 不断出 现。z i a d 和m a r t i n 2 4 提出了一种基于d c t 的人脸识别方法，他们对整个人脸 图像进行离散余弦变换，再取很少的d c t 系数作为特征进行人脸识别。由于离 散余弦变换( d c t ) 可用很少的d c t 系数表征大部分人脸信息，同时又保留了 对光照、表情以及姿态具有一定的不敏感性的类别信息，此外还可通过快速算法 2 5 来完成，故该方法有效地解决了p c a 方法的缺陷。但是对整个人脸图像进 行离散余弦变换提取的特征可能包含了与识别无关的一些信息，这对识别率会有 一定的影响。 本章我们提出了一种基于d c t 的p c a 人脸特征提取方法。基本的思路是先 用d c t 变换得到人脸图像的d c t 特征，然后对提取的d c t 系数做p c a 特征提 取。 2 2 人脸的离散余弦变换 2 2 1 离散余弦变换 d c t 是一种准最佳正交变换，其优点是在信号符合一阶平稳马尔科夫过程 并且相关系数接近于1 时( 一般图像信号都近似于满足这个条件) 2 6 ，十分接 近信号的最佳变换k l 变换，并且变换后能量的集中程度比较高，运算速度比 l o 第二章基于d c t 的p c a 人脸特征提取 较快。d c t 由于其在信息压缩能力和计算复杂程度两个问题上提供了一种很好 的平衡，所以在通常所用的j p e g 、m p e g 、h 2 6 3 等图像或视频压缩标准中得到 广泛应用。假设一幅图像的维数是肘，f ( x ，y ) 是图像( 工，y ) 位置上的灰度值， 则图像的二维离散余弦变换公式 2 7 如下： 、 脚) - c 小) m 萎- 1 驴n - i c o s 堕学c o s 塑挚 沼。) = 0 ，1 ，2 ，m l ；v = 0 ，1 ，2 ，n - i 相应的二维离散余弦反变换( i d c t ) 公式如下： m 咖篓如岫s 塑焉产c o s 丛笔产协2 ) x = 0 ，1 ，2 ，m - l ；y = 0 ，i ，2 ，n i 其中： c ) = “ ，) = l 而 焉 焉 甜= 0 甜= 1 ，2 ，m 一1 1 ，= 0 ，= 1 ，2 ，n - 1 ( 2 - 3 ) ( 2 - 4 ) 式2 - 1 、2 - 2 中的f ( u ，们称为d c t 系数。 d c t 的另一个优势是，真实世界的图像的绝大多数d c t 系数在数值上非常 小，尤其是当材和y 分别接近图像的长和宽时，当用d c t 变换来表征图像时，舍 弃这些数值较小的系数在图像重建上只会引入很小的误差。而对于一些类型的图 像( 例如人脸) ，大多数的信息集中在豁和y 很小的系数上( 在下一节中可看到) ， 这个特点简化了图像识别或其它应用中最优系数的选取。 第二章基f d c t 的p c a 臆# e 2 2 2 人脸图像的离散余弦变换特征提取 辫 ( - ) l 2 8 1 2 8 人齄酗像啦) 8 8 d c r 系教 图2 1 一幅人脸图像及其d c t 变换 对粒个人脸图像作二维d c t 变换，得到的系数矩阵中的元素代表该图像的 频率成分，左上角一个为直流系数，其余为交流系数，并且从左到右从t 到下频 率依次增高。如图2 一i 所示为一幅图像的d c t 系数分布情况，图21 ( a ) 为一 人脸图像，圈2 1 ( b ) 示卅了它的d c t 系数中的低中频部分的8 8 子集。可以 看出- 人脸图像的绝大多数d c t 系数在数值i 二都足很小的，因为大多数的显著的 信息都存在于低频系数中，这些显著的信息包括脸和头部的轮廓，眼睛、嘴巴、 鼻子的位置和大小，而人脸的表情变化和少许遮掩( 比如眼镜) 只影响到图像中 高频部分的变化。这样，人脸图像的低频部分就在有表情变化的情况下仍然比较 稳定。 山卜节d c t 变换公式可知，对整个人脸阁像作一维d c t 变换，得到的d c t 系数个数与图像的太小相等，关键的问题是如何选择d c t 系数的个数从而有效 地表示人脸。山图2 一l 町以看到，数值很大的d c t 系数主要集中在左上角( 对 应于人脸图像的低频d c t 分繁) ，余下的系数数值非常小几乎为零。由于左j 角的低频分量包含丫图像的主要信息( 如亮度) ，而高频与之相比，就不那么重 要了所以可保留左l 角的少数低频分最而舍去丈部分高频分量从而实现对 高维图像信息的压缩。故h 选上睨部分d c t 系数而禽七其它的系数作为分类的信 息，为尽量减少这样处理所造成