（信号与信息处理专业论文）人脸识别技术研究(1).pdf

摘要 在过去的十年里，人脸识别成为计算机视觉的一个热门研究领域，也是图像 分析和理解理论最成功的一个应用。由于人脸识别问题的本质，不仅计算机科学 家对它感兴趣，神经学家和心理学家也同样对人脸识别有浓厚的兴趣。显然，先 进的计算机视觉理论会为神经学家和心理学家提供关于人脑如何工作的有用的观 点，反之亦然。 人脸识别问题通常被定义为：给定一幅静态的视频图像，利用存储的人脸数 据库识别或检测出图像中的一个或多个人。人脸识别系统包括图像摄取、人脸定 位、图像预处理、以及人脸识别( 身份确认或者身份查找) 。人脸在视觉上的特点 是：第一，不同个体之间的区别不大，所有的入脸的结构都相似，甚至人脸器官 的结构外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利 用人脸区分人类个体是不利的；第二，人脸的外形很不稳定，人可以通过脸部的 变化产生很多表情，而在不同观察角度， 脸识别还受光照条件( 例如白天和夜晚， 人脸的视觉图像也相差很大，另外，人 室内和室外等) 、人脸的很多遮盖物( 例 如口罩、墨镜、头发、胡须等) 、年龄等多方面因素的影响。因为人脸的这些特点， 人脸识别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一。 人脸识别具有主动性、非侵犯性和用户友好等许多优点，是人体生物特征识 别技术的一个重要方向。因其在安全验证系统、信用卡验证、医学、档案管理、 视频会议、人机交互、系统公安( 罪犯识别等) 等方面的巨大应用前景而越来越成为 当前模式识别和人工智能领域的一个研究热点。虽然人类能毫不费力地识别出人 脸及其表情，但人脸的自动机器识别却是一个难度极大的课题。它牵涉到模式识别、 图像处理及生理、心理学等方面的诸多知识。 本文的研究内容是人脸识别的主要方法。基于剑桥大学人脸识别研究组提供 的o c l 标准人脸数据库和耶鲁大学人脸数据库，本文采用最小欧氏距离分类器和 余弦分类器分别对人脸图像的主分量分析，二维主分量分析，线性可分性分析， 二维线性可分性分析，隐马尔可夫模型方法进行了识别试验。结果表明，将人脸图 像看成是一个整体的二维的人脸识别方法，考虑了人脸的空间结构信息识别性能 远优于不考虑人脸拓扑结构的基于维的人脸识别方法，且基于特征融合的方法 识别性更优于单特征识别方法。因基于特征融和的识别方法采用并行处理技术， 在提高识别性能的同时，并未增加数据处理和识别时间。 关键词：人脸识别主分量分析线性可分性分析隐马尔可夫模型多特征融合 a b s t r a c t o v e rt h el a s tt e ny e a r s ，f a c er e c o g n i t i o nh a sb e c o m eap o p u l a ra r e ao fr e s e a r c hi n c o m p u t e rv i s i o na n do n eo ft h em o s ts u c c e s s f u la p p l i c a t i o n so fi m a g ea n a l y s i sa n d u n d e r s t a n d i n g b e c a u s eo ft h en a t u r eo ft h ep r o b l e m ，n o to n l yc o m p u t e rs c i e n c e r e s e a r c h e r sa r ei n t e r e s t e di ni t ，b u tn e u r o s c i e n t i s t sa n dp s y c h o l o g i s t sa l s o i ti st h e g e n e r a lo p i n i o nt h a ta d v a n c e si nc o m p u t e rv i s i o nr e s e a r c hw i l lp r o v i d eu s e f u li n s i g h t s t on e u r o s c i e n t i s t sa n dp s y c h o l o g i s t si n t oh o wh u m a nb r a i nw o r k s a n dv i c ev e r s a a g e n e r a ls t a t e m e n to ft h ef a c er e c o g n i t i o np r o b l e m ( i nc o m p u t e rv i s i o n ) c a nb e f o r m u l a t e da sf o l l o w s ：g i v e ns t i l lo rv i d e oi m a g e so fas c e n e ，i d e n t i f yo rv e i l f yo n eo r m o r ep e r s o n si nt h es c e n eu s i n gas t o r e dd a t a b a s eo ff a c e s a l t h o u g hag r e a td e a lo f e f f o ah a sb e e nd e v o t e dt o2 di n t e n s i t yi m a g eb a s e df a c er e c o g n i t i o nt a s k ，i tw i l ls t i l l r e m a i nac h a l l e n g i n gp r o b l e mi nag e n e r a ls e t t i n g s u c c e s s f u l2 df a c er e c o g n i t i o n s y s t e m sh a v eb e e nd e v e l o p e do n l yu n d e rc o n s t r a i n e ds i t u a t i o n s o n em a j o rf a c t o r l i m i t i n gt h ea p p l i c a t i o n so f2 df a c er e c o g n i t i o ns y s t e m si st h a th u m a nf a c ei m a g e a p p e a r a n c eh a sp o t e n t i a l l yv e r yl a r g ei n t r a s u b j e c tv a r i a t i o n sd u et o3 dh e a dp o s e i l l u m i n a t i o n ，a n df a c i a le x p r e s s i o n o nt h eo t h e rh a n d ，t h ei n t e r - s u b j e c tv a r i a t i o n sc a n b es m a l ld u et ot h es i m i l a r i t yo f i n d i v i d u a la p p e a r a n c e s f a c er e c o g n i t i o ni sau s e r - f r i e n d l yt e c h n i q u ef o rp e r s o n a li d e n t i f i c a t i o n , w h i c hi s r e g a r d e d 嬲a ni m p o r t a n td i r e c t i o no fb i o m e t r i cr e c o g n i t i o nt e c h n i q u e s i ti sac o m p l e x a n dd i f n c u l t p r o b l e m t h a ti s i m p o r t a n t f o rs u r v e i l l a n c ea n d s e c u r i t y t e l e c o m m u n i c a t i o n s ，d i g i t a ll i b r a r i e s ，v i d e om e e t i n g ，a n dh u m a n c o m p u t e ri n t e l l i g e n t i n t e r a c t i o n s d e s p i t et h ef a c tt h a th u m a nf a c e sa r ee s s e n t i a l l ys i m i l a r , w ea r ev e r y s k i l l e da tr e c o g n i z i n gt h ei d e n t i t i e so f p e o p l ef r o mt h e i rf a c e s w ec a np e r f o r mt h i st a s k v e r ye a s i l ya n di ti sab a s i ca n di m p o r t a n ts o c i a la c ta l t h o u 出w ea r es t i l lp u z z l e dw i t h t h ep s y c h o l o g i c a la n dp h y s i o l o g i c a ln a t u r eo f t h ep r o c e s s f o u rf a c er e c o g n i t i o nt e c h n o l o g i e sa r ep r e s e n t e di nt h er e s e a r c h b a s e do nt h e o r la n dy a l ef a c ed a t a b a s ef i v ek i n d so ff a c er e c o g n i t i o nt e c h n o l o g y i n c l u d i n gp c a f e a t u r e s ，l d af e a t u r e sa n dh m m ，a r eu s e d t h er e c o g n i t i o np e r f o r m a n c e so ft h e s e t e c h n o l o g i e s a r et e s t e d b yu s i n g m i n i m u me u c l i d e a nd i s t a n c ec l a s s i f i e r t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h et w od i m e n s i o n a lm e t h o da c h i e v et h eb e t t e r r e c o g n i t i o np e r f o r m a n c e , a n dt h ec o m b i n i n gf e a t u r eo u t p e r f o r mt h es i n g l ef e a t u r e k e y w o r d ：f a c er e c o g n i t i o np r i n c i p a lc o m p o n e n ta n a l y s i s l i n e a rd i s c r i m i n a t e a n a l y s i s h i d d e nm a r k o vm o d e l s m u l t i - f e a t u r e sf u s i o n 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列 的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也 不包含为获得西安电子科技大学或其他教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中做了明确的说明并表示了谢意。， 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：哓隧日期2 d d 7 复f 目 了苷 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定， 即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科 技大学。本人保证毕业离校后，发表论文或使用论文( 与学位论文相 关) 工作成果时署名单位仍然为西安电子科技大学。学校有权保留送 交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或 部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密 的论文在解密后遵守此规定) 本人签名： 导师签名： 斗粗仁 日期兰全全2 宜! 鱼1 7 臼 日期矽6 7 1 修 第一章绪论1 第一章绪论 1 1人脸识别技术的应用与难点 人脸是自然界存在的一种特殊的、复杂的视觉模式，它包含着极其丰富的信息。 首先，人脸具有一定的不变性和唯一性，人脸识别是人类在进行身份确认时使用 的最为普遍的一种方式，其次，人脸图像还能提供一个人的性别、年龄、种族等 有关信息。人类在人脸识别中所表现出来的能力是令人惊异的，但是让计算机能 够识别人脸，却是非常困难的问题。迄今为止，人脸识别的认知过程和内在机理 仍然是一个未解之谜，如何实现一个自动的人脸识另i j 系统仍然是一个悬而未决的 难题。 从上个世纪六十年代以来，随着计算机和电子技术的迅猛发展，人们开始利用 计算机视觉和模式识别等技术对人脸识别进行研究。近年来，随着相关技术的不 断发展和实际需求的日益增加，人脸识别已经引起了越来越多的关注，成为了信 息处理和人工智能等领域研究的热点之一，新的研究成果和实用系统也不断涌现 i i 1 人脸识剐技术的广泛应用 一项技术的问世和发展与人类的迫切需求是密切相关的，飞速发展的社会经 济和科学技术使得人类对安全( 包括人身安全、隐私保护等) 得认识越来越重视。 人脸识别得一个重要应用就是人类得身份识别。一般来说，人类得身份识别方式 分为三类： 1 特征物品，包括各种证件和凭证，如身份证、驾驶证、房门钥匙、印章等； 2 特殊知识，包括各种密码、口令和暗号等； 3 人类生物特征，包括各种人类得生理和行为特征，如入脸、指纹、手形、 掌纹、虹膜、d n a 、签名、语音等。 前两类识别方式属于传统得身份识别技术，其特点是方便、快捷，但致命得 缺点使安全性差、易伪造、易窃取。特殊物品可能会丢失、偷盗和复制，特殊知 识用以被遗忘、混淆和泄漏。相比较而言，由于生物特征使人得内在属性。具有 很强得自身稳定性和个体差异性，因此生物特征使身份识别得最理想依据。基于 以上相对独特得生物特征，结合计算机技术，发展了众多的基于人类生物特征得 身份识别技术，如d n a 识别技术、指纹识别技术、虹膜识别技术、语音识别技术 和人脸识别技术等。表1 1 为各种生物识别技术的综合比较。 2人脸识别技术研究 表1 1 各种生物识别技术的综合比较 生物特征 唯一性永久性可接受性 人脸中 中高 指纹高高 低 手掌几何形状 由 中中 虹膜高高中 行为特征 由 中高 语言 中低高 击键动作 中中中 签名 由 低高 生物识别技术在上个世纪已经有了一定德发展，其中指纹识别技术已经趋近 成熟，但人脸识别技术的研究还处于起步阶段。指纹、虹膜、掌纹等识别技术都 需要被识别者的配合，有的识别技术还需要添置复杂昂贵的设备。人脸识别可以 利用已有得照片或是摄像头远距离捕捉图像，无需特殊得采集设备，系统的成本 低。并且自动人脸识别可以在当事人毫无觉察的情况下即完成身份确认识别工作， 这对反恐怖活动有非常重要的意义。由于人脸识别技术具有如此多的优势，因此 它的应用前景非常广阔，已成为最具潜力的生物特征识别技术之一。本文将人脸 识别技术的各种应用及其特点总结在表1 2 中。 表1 2 人脸识别技术的应用 应用特点难点 护照、驾照、信用卡控制的光照、姿 不存在统一的数据库，如果能建立这样 嫌疑犯、罪犯照片 态、背景，比较的库，将很庞大 好的照片质量 安全部门、保密部门、重 一般有多于一张图像质量差，背景不受控制 要场所的入口控制 的照片 视频监控有连续的照片，图像质量比较差，背景不受控制，要求 每张尺寸比较实时检测、跟踪和识别 小，理论价值高 专家鉴定理论研究价值图像质量比较差，需要法律确定 高，可能性增加 人脸识别最初的应用源于公安部门关于罪犯照片的存档管理和刑侦破案。现 在该技术在安全系统、商业领域和日常生活中都有很多应用，主要有以下几类作 用： 1 刑侦破案，当公安部门获得罪犯的照片后，可以利用人脸识别技术，在存 第一章绪论3 储罪犯照片的数据库中找出最相像的人作为嫌疑犯，极大的节省了破案的时问和 人力物力。还有一种应用就是根据目击证人的描述，先由专业人员画出草图，然 后用此图到库里去找嫌疑犯。罪犯数据库往往很大，由几千幅图像组成。如果这 项工作由人工完成，不仅效率低，而且容易出错。因为人们看了上百幅人脸图像 后，记忆力会下降，而由计算机来完成则不会出现此问题。 2 证件验证，身份证、驾驶执照以及其它很多证件上都有照片现在这些证 件多由人工验证完成。如果应用人脸识别技术，这项工作就可以交给计算机完成。 从而实现自动化及智能管理。当前普遍使用的另一类证件是用符号或者条形码标 记的，比如信用卡。这类卡的安全性较低，可能遗失、被盗窃，使用场合( 比如 自动提款机) 的安全性也比较差。如果在这类卡上加上人脸的特征信息，则会大 大改善其安全性能 3 入口控制，需要入口控制的范围广，它可以是重要任务居住的住所、保存 重要信息的单位，只要人类觉得安全性比较重要的地点都可以进行入口控制，比 较常用的检查手段是核查证件。人员出入频繁时，保安人员再三检查证件是很麻 烦的，而且证件安全性也不高。在一些保密要求非常严格的部门，除了证件外， 已经使用了生物特征识别手段，如指纹识别、掌纹识别、虹膜识别和语音识别等。 人脸识别与这些技术相比，具有直接、方便和友好的特点。当前计算机系统的安 全管理也备受重视，通常使用由字符和数字组成的口令( p a s s w o r d ) 进行使用者身 份的验证，但口令可能被遗忘，或被破解，如果将人脸作为口令，则既方便又安 全。 4 视频监控，在银行、公司、公共场所等处设有2 4 小时的时频监控，如何 对时频图像进行筛选分析，就需要用到人脸检测、跟踪和识别技术。 1 1 2 人脸识别技术的难点 虽然人类可以毫不困难地根据入脸来辨别一个入，但是利用计算机迸行完全 自动的人脸识别仍然有许多困难。人脸模式差异性使得人脸识别成为一个非常困 难的问题，表现在以下方面： 1 人脸表情复杂，人脸具有多样的变化能力，人的脸上分布着五十多块亟部 肌肉，这些肌肉的运动导致不同面部表情的出现，会造成人脸特征的显著改变。 2 随着年龄而改变，随着年龄的增长，皱纹的出现和面部肌肉的松弛使得人 脸的结构和纹理都将发生改变。 3 人脸有易变化的附加物，例如改变发型，留胡须，戴帽子或眼镜等饰物。 4 人脸特征遮掩，人脸全部、部分遮掩将会造成错误识别。 5 人脸图像的畸变，由于光照、视角、摄取角度不同，可能造成图像的灰度 4 人脸识别技术研究 畸变、角度旋转等，降低了图像质量，增大了识别难度。 所以很难从有限张人脸图像中提取出反映人脸内在、本质的特征。另外人脸 识别还涉及模式识别、图像处理、计算机视觉、生理学和心理学等学科领域。这 诸多因素使得人脸识别至今仍是一个有待深入研究，极富有挑战性的课题。同时 一个成功的，具有商用价值的快速人脸识别系统将会给社会带来极大的影响。 1 2 人脸识别技术的发展与现状 人脸识别的研究可以追溯到2 0 世纪6 0 年代末，最早的研究见于文献【1 1 b l c d s o e 以人脸特征点的间距、比率等参数为特征，建成了一个半自动的人脸识别体统。 人脸识别的发展大致经历了三个阶段，其中伴随发展了多样的人脸识别技术 1 2 1 人脸识别技术发展的三个阶段 第一阶段一非自动识别阶段：主要研究如何提取人脸识别所需的特征。通过 简单的语句描述人脸数据库成为待识别人脸设计逼真的摹写来提高面部识别率。 这是需要手工干预的阶段。此阶段以b e r t i l l o n 、a l l e n 和p a r k e 为代表。在b c r t i l l o n 系统中，用了一个简单的语句与数据库中的某一张脸相联系，同时与指纹识别相 结合，提供了一个较强的识别系统。为了提高面部识别率，a l l e n 为待识别人脸设 计了一种有效逼真的摹写 2 1 ，p a r k e 则用计算机实现了这一想法【3 l ，并且产生了较 高质量的人脸灰度图模型。在此阶段，识别过程全部依赖于操作人员，所以不是 一种自动识别的系统。 第二阶段一人机交互阶段：这一阶段虽然实现了一定的自动化，但还需要操 作员的某些先验知识，仍然不是一个完全自动的识别系统。此阶段的代表性工作 有：g o l d s t i o n 、h a r m o n 和l c s k 等人用几何特征参数来表示人脸正面图像【4 】。他们 采用2 1 维特征矢量表示人脸面部特征，并设计了基于这一表示法的识别系统。k a v a 和k o b a y a s h i 则采用了统计识别的方法，用欧氏距离来表示人脸特征1 5 l ，例如嘴和 鼻子之间的距离，嘴唇的高度，两眼之间的距离等。更进一步的，t k a n a d 设计了 快速且有一定知识引导的半自动回溯识别系统 6 1 ，创造性的运用积分投影法从单幅 图像上计算出一组脸部特征参数，再利用模式分类技术与标准人脸相匹配。k a n a d 的系统实现了快速、实时的处理，是一个很大的进步。总的来说，上述方法都需 要利用操作员的某些先验知识，始终摆脱不了人的干预。 第三阶段一自动识别阶段：这一阶段真正实现了机器自动识别，产生了众多 人脸识别方法，出现了多种机器全自动识别系统。近十余年来，随着高速度、高 性能计算机的发展，人脸识别方法有了较大的突破，提出了多种机器全自动识别 第一章绪论5 系统阴。近年来，人脸识别技术研究也非常活跃，除了基于k - l 变换的特征脸方 法与奇异值特征为代表的代数特征方法取得了发展外嘲【9 l ，人工神经网络【1 0 1 1 1 1 、隐 马尔可夫模型、小波变换等也在入脸识别研究中得到了广泛的应用【1 2 1 t 1 3 1 ，而且出 现了不少人脸识别的新方法【1 4 1 1 1 5 】1 1 6 1 。本文将再1 3 节介绍人脸识别的主要内容与 方法。 1 2 2 国内外发展现状 目前，国外对人脸识别问题的研究比较多，其中比较著名的有m i t 、c m u 、 c o r n e l l 和r o c k f e l l e r 等，m p e g 标准组织也已经建立了专门的人脸识别草案小组。 国际上发表的相关论文数量也大幅度增长，i e e e 的著名国际会议，如i e e e i n t e r n a t i o n a lc o n f e r e n c eo ba u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n 、i n t e r n a t i o n a l c o n f e r e n c eo i li m a g ep r o c e s s i n g 、c o n f e r e n c eo nc o m p u t e rv m i o na n dp a t t e r n r e c o g n i t i o n 等，每年都有大量关于人脸识别的论文。截至2 0 0 5 年3 月，i e e e _ a e e 全文数据库中收录的关于“f a c e ”的文章8 9 1 6 篇，其中有关“f a c er e c o g n i t i o n 的 3 2 8 0 篇，约占3 6 8 ，并且每年的文献呈急剧上升趋势，如图1 1 同样在工程索 引e l 中，至2 0 0 5 年3 月，共有8 1 6 5 7 篇有关“f a c e ”的文献，数目是惊人的，并 且2 0 0 0 年后快速增长。 国内对人脸识别领域的研究起步较国外晚，但近十年来呈现飞速发展，据中 国期刊网统计，1 9 9 6 年至2 0 0 5 年3 月，有关“人脸”的文献1 4 6 7 篇，其中人脸 识别领域的文章4 9 4 篇，并且再近几年获得快速增长，也预示人脸识别领域得到 快速发展。目前国内大部分高校有人从事人脸识别相关的研究，其中技术比较先 进的有中科院自动化所、清华大学、浙江大学等。 1 3人脸识别的研究内容与主要方法 人脸识别技术( a f r ) 就是利用计算机技术，根据数据库的人脸图像，分析提取 出有效的识别信息，用来“辨认”身份的技术。人脸识别技术的研究始于六十年 代末七十年代初，其研究领域涉及图像处理、计算机视觉、模式识别、计算机智 能等领域，是伴随着现代化计算机技术、数据库技术发展起来的综合交叉学科 1 3 1 人脸识别研究内容 人脸识别的研究范围广义上来讲大致包括以下五个方面的内容。 1 人脸定位和检测( f a c ed e t e c t i o n ) ：l l p 从动态的场景与复杂的背景中检测出人 6人脸识别技术研究 脸的存在并且确定其位置，最后分离出来。这一任务主要受到光照、噪声、面部 倾斜以及各种各样遮挡的影响。 2 人脸表征( f a c er e p r e s e n t a t i o n ) ( 也称人脸特征提取) ：即采用某种表示方 法来表示检测出人脸与数据库中的已知人脸。通常的表示方法包括几何特征( 如 欧氏距离、曲率、角度) 、代数特征( 如矩阵特征向量) 、固定特征模板等。 3 人脸识别( f a c er e c o g n i t i o n ) ：即将待识别的人脸与数据库中已知人脸比较， 得出相关信息。这一过程的核心是选择适当的人脸表征方法与匹配策略。 4 表情姿态分析( e x p r e s s i o n g e s t u r e a n a l y s i s ) ：即对待识鄹入脸的表情或姿态 信息进行分析，并对其加以归类。 5 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：即对待识别人脸的生理特征进行分析， 得出其年龄、性别等相关信息，或者从几幅相关的图像推导出希望得到的人脸图 像，如从父母图像推导出孩子脸部图像和基于年龄增长的人脸图像估算等。 人脸识别的研究内容，从生物特征技术的应用前景来分类，包括以下两个方 面：人脸验证与人脸识别。 1 入脸验证( f a e ev e r i f i c a t i o n a u t h e n t i c a t i o n ) ：即是回答。是不是某人? ”的 问题。它是给定一幅待识别人脸图像，判断它是否是某人的问题，属于一对一的 两类模式分类问题，主要用于安全系统的身份验证。 2 人脸识别( f a c er e c o g n i t i o n ) ：即是回答“是谁”的问题。它是给定一幅待 识别人脸图像，再已有的人脸数据库中，判断它的身份的问题它是个“一对多” 的多类模式分类问题，通常所说的人脸识别即指此类问题，这也是本文的主要研 究内容。 1 3 2 人脸识别系统的组成 在人脸识别技术发展的几十年中，研究者们提出了多种多样的人脸识别方法， 但大部分的人脸识别系统主要由三部分组成：图像预处理、特征提取和人脸的分 类识别。一个完整的自动人脸识别系统还包括人脸检测定位和数据库的组织等模 块，如图1 4 。其中人脸检测和人脸识别是整个自动人脸识别系统中非常重要的两 个环节，并且相对独立。下面分别介绍这两个环节。 ：人脸检测i：人脸库! 输入图像 输出识别结果 图1 1 人脸识别系统框图 人脸检测与定位，检_ 澳4 图像中是否由人脸，若有，将其从背景中分割出来，并 第一章绪论 7 确定其在图像中的位置。在某些可以控制拍摄条件的场合，如警察拍罪犯照片时 将人脸限定在标尺内，此时人脸的定位很简单。证件照背景简单，定位比较容易。 在另一些情况下，人脸在图像中的位置预先是未知的，比如在复杂背景下拍摄的 照片，这时人脸的检测与定位将受以下因素的影响： 1 入脸在图像中的位置、角度、不固定尺寸以及光照的影响： 2 发型、眼睛、胡须以及人脸的表情变化等； 3 图像中的噪声等。 特征提取与人脸识别寺征提取之前一般都要做几何归一化和灰度归一化的工 作。前者指根据人脸定位结果将图像中的人脸变化到同一位置和大小；后者是指 对图像进行光照补偿等处理，以克服光照变化的影响，光照补偿能够一定程度的 克服光照变化的影响而提高识别率。提取出待识别的人脸特征之后，即进行特征 匹配。这个过程是一对多或者一对一的匹配过程，前者是确定输入图像为图像库 中的哪一个人( 即人脸识别) ，后者是验证输入图像的人的身份是否属实( 人脸验 证) 。 以上两个环节的独立性很强。在许多特定场合下入脸的检测与定位相对比较 容易，因此“特征提取与人脸识别环节”得到了更广泛和深入的研究。近几年随 着人们越来越关心各种复杂的情形下的人脸自动识别系统以及多功能感知研究的 兴起，人脸检测与定位才作为一个独立的模式识别问题得到了较多的重视。本文 主要研究人脸的特征提取与分类识别的问题 1 3 3 人脸识别的主要方法 人脸识别技术作为模式识别领域的一个研究热点，每年都有许多相应的研究 成果发表，并且涌现出各种各样的识别方法，可以说信息处理领域的各种新方法 的研究和算法的改建都在人脸识别中得到应用。文科1 7 f 1 8 1 对近十年来人脸识别领 域取得的成果进行了总结。入脸识别方法的分类，根据研究角度的不同，可以有 不同的分类方法，这是研究人脸识别方法首先遇到的问题。本文在深入研究国内 外人脸识别技术的发展和研究成果的同时，将已有的不同的分类方法做一个比较， 目的是希望能从不同角度认识人脸识别问题，在较全面的了解各种方法优缺点的 基础上，给本文的人脸识别方法提供研究方向。 根据输入图像中人脸的角度，人脸识别技术可分为基于正面、侧面、倾斜人 脸图像的识别。由于实际情况的要求，对人脸正面模式的研究最多，这也是本文 的研究内容。 根据图像来源的不同，人脸识别技术可分为两大类：静态人脸识别和动态人 脸识别。静态人脸识别，即人脸源为稳定的二维图像如照片。如果人脸的来源是 8 人脸识别技术研究 一段时频图像，贝i j 入脸识别就属于动态人脸识别。在头部运动和表情变化状态下 的人脸识别都可以看作动态人脸识别，如时频监视中的人脸识别。动态人脸识别 具有更大的难度：首先，时频输出的图像质量较差；其次，背景较复杂，目前对 动态人脸识别的研究还局限于简单背景，较少人物的情况，对静态人脸识别的研 究比较多。本文研究也是基于静止图像的。 根据人脸识别技术发展的历史，人脸识别方法大致可分为基于几何特征的人 脸识别方法、基于模板匹配的人脸识别方法和基于模型的人脸识别方法。 i 基于几何特征的入脸识别方法 这是人脸识别技术发展中，应用最早的方法。该方法是通过提取人脸的几何 特征，包括人脸部件归一化的点间距离、比率以及人脸的一些特征点，如眼角、 嘴角、鼻尖等部位所构成的二维拓扑结构进行识别的方法。所构造的几何特征既 要清晰区分不同对象人脸的差异，又要对光照背景条件不敏感，常规的几何特征 量很难满足这些要求。因此该方法识别效果不理想。 2 基于模板匹配的人脸识别方法 基于模板匹配的方法，主要是利用计算模板和图像灰度的自相关性来实现识 别功能。一般基于人脸的全局特征，利用人脸模板和相关参数如灰度的相关性来 进行检测和识别的。b e r t o 在【1 9 】中将基于几何模型的人脸识别方法和模板匹配进行 了全面比较后，得出结论：前者具有识别速度快和内存要求小的优点，但在识别 率上后者要优于前者。增加几何特征对于基于几何特征的人脸识别方法只能轻微 提高识别率，因为要提高几何特征的提取质量本身十分困难，因而随着图像质量 的下降和人脸遮挡的引入，基于几何特征的人脸识别效果会大幅下降总之，认 为模板匹配法要优于几何特征法。 3 基于模型的人脸识别方法 通过统计分析和匹配学习找出人脸和非人脸，以及不同人脸之间的联系。该 方法包括特征脸法( e i g e n f a c e ) 、神经网络法仪、隐马尔可夫模型方法饵m m 和 支持向量机( s v m ) 等方法。和模板匹配的方法相比，基于模型方法的模板是通过样 本学习获得，而非人为设定。所以该方法，从原理上更为先进合理，试验中也表 现出更好的识别效果。 根据人脸表征方式( 即特征提取) 的不同，还可以将人脸识别技术分为三大 类：基于几何特征的识别方法、基于代数特征的识别方法和基于连接机制的识别 方法。 1 基于几何特征的人脸识别方法 该方法将人脸用一个几何特征矢量表示，用模式识别中层次聚类的思想设计 分类器达到识别目的。该方法的困难在于没有形成一个统一的、优秀的特征提取 准则。由于人面部的模式千变万化，即使是同一个人的面部图像，由于时间、光 第一章绪论9 照、摄影机角度等不同，也很难用一个统一的模式来表达，造成了特征提取的困 难。不过，由于现在各种优秀特征提取算法( 如动态模板、活动轮廓等) 的提出， 使得人脸的几何特征描述越来越充分。而且在表情分析方面，人脸的几何特征仍 然是最有力的判据。 2 基于代数特征的入脸识别方法 这类识别法仍然是将人脸用特征矢量表示，只不过用的是代数特征矢量。该 方法在实际应用中取得了一定的成功闭。由于代数特征矢量( 即人脸图像向各种 人脸子空间的投影) 具有一定的稳定性，识别系统对不同的倾斜角度，乃至不同 的表情均有一定的鲁棒性，所以，也说明了这种方法对表情的描述不够充分，难 于用于表情分析。 3 基于连接机制的人脸识别方法 。 这类识别法将人脸直接用灰度图( - - 位矩阵) 表征，利用了神经网络( n e u r a l n e t w o r k , n n ) 的学习能力及分类能力【2 1 1 1 2 2 。这种方法的优势在于保存了人脸图像 中的纹理信息及细微形状信息，同时避免了较为复杂的特征提取工作。而且，由 于图像被整体输入，符合格氏塔心理学中对人类识别能力的解释。与前两种识别 方法相比，基于连接机制的识别法具有以下明显不同：信息处理方式是并行而不 是串行；编码存储方式是分布式。但由于原始灰度图像数量十分庞大，因此神经 元数目通常很多，训练时间很长。另外，完全基于神经网络的识别法在现有的计 算机系统上也有其内在的局限性。神经网络虽然有较强的归纳能力，但当样本数 目大量增加时，其性能可能会严重下降。 识别人脸主要依据那些在不同个体之间存在较大差异，而对于同一个人比较 稳定的特征，具体的特征形式和综合方式( 分类方式) 的不同决定了识别方法的 不同。图1 2 列出了主要的人脸特征与综合方法。早期静态人脸识别方法研究较多 的是基于几何特征和基于模板匹配方法。目前静止图像的人脸识别方法主要是基 于样本通过统计学习识别人脸的方法，主要研究方向有：基于代数特征的识别方 法，包括特征脸吲g c i l f a 哟方法1 8 】和隐马尔可夫模型( h m 岣方法嘲；基于连接机制 的识别方法，包括一般的神经网络方法和弹性图匹配( e l a s t i cg r a p hm a t c h i n g ) 方法 跚：以及以上方法的一些综合方法。 基于统计学习的方法属于基于整体的研究方法，它主要考虑了模式的整体属 性。因为基于整体的人脸识别不仅保留了人脸部件的拓扑关系，而且也保留了各 部件本身的信息。文献【”】认为基于整个人脸的分析要优于基于部件的分析，理由 是前者保留了更多信息。对于基于整个人脸的识别而言，由于把整个人脸图像作 为模式，那么光照、视角以及人脸尺寸会对人脸识别又很大的影响。因此如何能 够有效的去掉这些干扰尤为关键。 神经网络方法在人脸识别上有其独到的优势，即它避免了复杂的特征提取工 1 0人脸识别技术研究 作，可以通过学习的过程获得其它方法难以实现的关于入脸识别的规律和规律的 隐性表达。但是n n 方法通常需要将人脸作为一个一维向量输入。因此输入节点 庞大，降维就显得尤为重要。根据文献1 3 2 l 对于自组织神经网络方法的分析，认为 可采用自组织神经网络的p 各节点来表达原始的n 各输入0 n ) ，但由于将p 各节 点进行分类，其识别的效果仅相当于提取人脸空间特征向量后进行的识别分类， 因此采用此类神经网络进行识别的效果只能是特征脸的水平。除此之外，由于人 脸处在高维空间，如一幅不大的1 0 0 x 1 0 0 的图像为1 0 0 0 0 维，这样神经网络的输 入节点将很庞大，因此实际训练网络的参数繁多，实现起来很困难。神经网络方 法的优点是可以针对特定的问题进行子空间设计，比如用于人脸检测、性别识别、 种族识别等。 i m a g e - b a s e d f z k ：ep g n t t o n 踅a l c a l n a o 蜘e 潞 i j 碍c a i s o m a p u 点 b a s t n i c & m c hg r a p h a 龇a p p e a r a n c em o d d 图1 2 人脸识别方法 通过对不同的人脸识别分类方法的总结，多视角的、全面的介绍了主要的人 脸识别方法。从对人脸识别方法的分析中可以看出，每种方法各有其优缺点，因 此一些学者倾向于将多种方法综合起来，或同时利用不同种类的特征，图1 2 为人 脸图像可以提取的特征以及可能的特征综合方法。 在对各种人脸识别方法进行理论分析后，本文主要研究基于统计学习的、整 体的人脸识别方法，包括特征脸法、基于线性可分性分析及特征融合的人脸识别 方法和基于隐马尔可夫模型的人脸识别方法，并尝试新的特征提取和分类方法。 1 4 人脸数据库 入脸识另l j 是近年来研究的热点，很多研究人员提出了各种新的识别算法，为 测试和比较各种识别技术的优缺点及其识别率的高低，世界各研究都建立了各自 的人脸测试和测评数据库，下面介绍一些著名的标准数据库。 第一章绪论 1 1 1 英国o r l ( o l i v e t t ir e s e a r c hl a b o r a t o r y ) 人脸数据库 o r l 人脸图像库是由英国剑桥o l i v e t t i 实验室从1 9 9 2 年4 越到1 9 9 4 年4 月期 间拍摄的一系列人脸图像组成，共有4 0 个不同年龄、不同性别和不同种族的对象 每人1 0 幅图像，共4 0 0 幅。每幅原始图像2 5 6 个灰度级，分辨率1 1 2x9 2 。其中 入脸部分表情和细节均有变化，例如笑与不笑，眼睛睁着或闭着，戴或不戴眼睛 等，人脸姿态也有变化，其深度旋转和片面旋转可达2 0 度，该库是目前使用最广 泛的标准数据库，它含有大量的比较结果。 2 美国m a n c h e s t e r 人脸数据库 该数据库由3 0 人的6 9 0 幅图像组成，图像有不同的光照和背景特征，而且对 于每个人而言，前后两张照片之间的时间间隔至少为3 周。训练集对光源有一定 的约束。虽然m a n c h e s t e r 人脸数据库远比o r l 数据库全面，但因发表的比较结果 不够多，从而远不如o r l 数据库使用广泛。 3 y a l e 耶鲁人脸库 该数据库包括1 5 个不同人，每人1 1 幅不同表情或外部条件的图像，共有1 6 5 蝠，其中不同表情和外部条件包括；光线直射，是否戴眼镜，高兴，光线左边入 射，正常，光线右边入射，焦虑，困乏，惊讶和眨眼。该库的特点就是光照变化 显著，具有面部部分遮挡 4 欧洲m 2 v t s 多模型数据库 该库是用来作为多模型输入的通路控制实验，它包括3 7 个人的序列入脸图像。 每人的5 幅图像间隔一个星期，每个图像序列包括从右侧轮廓( - 9 0 度1 到左侧轮廓 ( 9 0 度) 之间的图像，而且拍摄时每个人用他们的母语从一到九数数。该库主要用于 测试多模式身份识别。 5 美国f e r e t ( r e c o g n i t i o nt e c h n o l o g y ) h 脸数据库 f e r e t 人脸数据库是目前最大的人脸数据库，由美国军方研究实验室提供， 其中每人的图像数目不等，有些人提供了更多不同视点和不同表情的照片。该数 据库中不包含戴眼镜，拍摄条件也有一定的限制。人脸大小约束在规定范围内。 1 9 9 6 年6 越，该数据库已存储了1 1 9 9 个人的1 4 1 2 6 幅图像，而且逐年增加。但到 目前为止。该数据库并未提供运动图像系列或包含语言信息。f e r e t 数据库的最 大缺点是菲美研究机构的获取不便。 其它数据库还有c m u ( c a r n e g i em e l l o nu n i v e r s i t y ) i e 面人脸数据库，m r r 单 人脸数据库等。不同的人脸数据库，图像的质量和内容也是不同的，为了客观的、 全面的测试人脸识别方法的性能，考虑不同因素对识别方法的影响，本文人脸识 别方法主要应用了o r l 、y a l e 人脸数据库进行测试。 人脸识别技术研究 1 5本文的主要内容 本论文算法的验证和仿真是在英国剑桥大学o r l ( o l i v e t t ir e s e a r c hl a b o r a t o r y ) 和耶鲁大学标准人脸数据库上完成的。论文共分六章，其具体内容安排如下： 第一章绪论部分，概述了人脸识别技术应用的难点，发展与现状，研究内容 与主要方法，常用的人脸识别数据库及本文的工作。 第二章基于主分量分析的人脸识别方法，包括p c a ，2 d p c a ，d i a g p c a 。对不同算 法的性能进行论证和评估。 第三章基于线性可分性分析的人脸识别方法，包括l d a ，2 d l d a , 2 d s d a 。分析论 证了各种方法的优缺点。 第四章提出