（模式识别与智能系统专业论文）人脸识别算法的改进.pdf

摘要 人脸识别是一项极具发展潜力的生物特征识别技术，研究人脸识别技术具有 十分重要的理论和应用价值。识别系统采集的原始人脸图像通常以网格像素的灰 度值集表示，孤立的像素灰度集合不能直接反映人脸的内蕴特征。二维g a b o r 小波变换能够将相邻区域的像素联系起来，从不同的频率尺度和方向反映局部范 围内图像像素灰度值的变化。本文深入研究了利用二维g a b o r 小波变换进行人脸 识别的理论方法和技术，主要内容如下： ( 1 ) 研究了人脸图像的预处理。人脸图像的预处理就是将由图像采集设备采 集到的人脸图像调整成规范化的图像，主要包括三个环节：人脸图像的光照补偿、 人眼检测和定位、几何规范化和灰度规范化。论文重点研究了采用改进的广义对 称变换算法进行人眼的检测和定位。 ( 2 ) 研究了二维g a b o r 小波变换。二维g a b o r 小波变换是通过计算一组二维 g a b o r 滤波器与图像上给定位置附近区域像素灰度值的卷积来实现的，接着研究 了二维g a b o r 滤波器参数的选择及其意义。 ( 3 ) 改进了经典的弹性束图匹配算法。经典的弹性束图匹配算法首先将人脸 图像与某一预定义人脸束图进行匹配以得到各特征点的粗略初始位置，再通过弹 性微调以确定各特征点的位置，最后计算特征点位置的二维g a b o r 小波变换系数 并进行人脸的分类识别，经典弹性束图匹配算法的计算量较大。本文对特征点进 行了适当的取舍和加权值，并通过对大量训练集的人脸标号图网格结构的聚类得 到7 个有代表性的网格结构组成人脸束图的模板束。在进行匹配时，将弹性束图 匹配算法与改进的广义对称变换算法相结合，首先，采用改进的广义对称变换算 法确定眼睛的位置，以眼睛坐标为基准点对输入图像进行几何规范化；然后，从 模板束中挑选出最合适的网格结构来确定人脸的几何特征，并在此基础上进一步 进行精确匹配。实验结果表明改进的弹性束图匹配算法比原算法在识别率上有了 一定的提高，并且在克服光照、表情和姿态等方面也有了很大的改善。 关键词：人脸识别；g a b o r 小波变换；弹性束图匹配 a b s t r a c t f a c er e c o g n i t i o ni sab i o m e t r c t e c h n o l o g yp o s s e s s i n gg r e a td e v e l o p a b l e p o t e n t i a l ，r e s e a r c h i n go nt h ef a c er e c o g n i t i o nt e c h n o l o g yh a sg r e a tt h eo r e t i c a la n d p r a c t i c a lv a l u e s 1 1 1 eo r i g i n a lf a c ei m a g ec a p t u r e db yt h er e c o g n i t i o ns y s t e mu s u a l l yi s d e n o t e dt h eg r e yv a l u e so fg r i dp i x e l s i s o l a t e dg r e yv a l u e so f p i x e l sc a n n o tr e f l e c tt h e c h a r a c t e r i s t i c sc o n t a i n e di nh u m a nf a c ed i r e c t l y t w o d i m e n s i o n a lg a b o rw a v e l e t s t r a n s f o r mc a nl i n kt h ep i x e l si na na d j a c e n tr e g i o nt o g e t h e r , a n dr e f l e c tt h ec h a n g e so f t h eg r e yv a l u e so f p i x e l si nal o c a la r e ao fa ni m a g ef r o md i f f e r e n tf r e q u e n c ys c a l e s a n do r i e n t a t i o n s t h i sd i s s e r t a t i o nr e s e a r c h e si n t ot h et h e o r ya n dt e c h n o l o g yo ff a c e r e c o g n i t i o nt h r o u g ht w o - d i m e n s i o n a lg a b o rw a v e l e t st r a n s f o r m t h em a i nc o n t e n to f t h ed i s s e r t a t i o na r ea sf o l l o w s ： ( 1 ) t h ep r e p r o c e s s i n go ff a c ei m a g ei sr e s e a r c h e d n ea i mo ff a c ei m a g e p r e p r o c e s s i n gi st or e g u l a r i z et h ef a c ei m a g ew h i c hi sc a p t u r e db yi m a g ec o l l e c t i n g d e v i c e st on o r m a l i z e d i m a g e ，i ti n c l u d e st h r e e s t e p sm a i n l y ：f a c ei m a g el i g h t c o m p e n s a t i o n ，e y e sd e t e c t i o na n dl o c a t i o n ，g e o m e t r yn o r m a l i z a t i o na n dg r e yv a l u e n o r m a l i z a t i o n t h i sd i s s e r t a t i o n e m p h a s i z e so nt h er e s e a r c ho fe y e sd e t e c t i o na n d l o c a t i o nm e t h o dw h i c hi sb a s e do ni m p r o v e m e n ts y m m e t r yt r a n s f o r m a t i o na l g o r i t h m ( 2 ) t w o - d i m e n s i o n a lg a b o rw a v e l e t st r a n s f o r mi sr e s e a r c h e d t w o d i m e n s i o n a l g a b o rw a v e l e t st r a n s f o r mi sr e a l i z e db yc o m p u t i n gt h ec o n v o l u t i o n so fab a n ko f t w o d i m e n s i o n a lg a b o rf i l t e r sa n dt h eg r e yv a l u e so f p i x e l si na na r e aa r o u dag i v e n p o s i t i o ni na ni m a g e ，a n dt h e nr e s e a r c h e st h et w o - d i m e n s i o n a lg a b o rf i l t e rp a r a m e t e r c h o i c ea n di t ss i g n i f i c a n c e ( 3 ) c l a s s i c a le l a s t i cb u n c hg r a p hm a t c h i n ga l g o r i t h mi si m p r o v e d t h ec l a s s i c a l e l a s t i cb u n c hg r a p hm a t c h i n ga l g o r i t h mm a t c h e st h ef a c ei m a g et oa p r e d e f m e df a c e b u n c h g r a p h i no r d e rt oo b t a i nt h e r o u g hp o s i t i o n so ft h ef e a t u r ep o i n t s f i r s t l y ；t h e n ，e v e r yf e a t u r ep o i n ti sl o c a t e dt h r o u g he l a s t i cf m ea d j u s t m e n t ；l a s t l y , t h e t w o - d i m e n s i o n a lg a b o rw a v e l e t st r a n s f o r mc o e f f i c i e n t sa r ec o m p u t e da tt h ef e a t u r e p o i n t sa n dt h e s ec o e f f i c i e n t sa r eu s e df o rf a c ec l a s s i f i c a t i o na n dr e c o g n i t i o n m e c o m p u t a t i o no fc l a s s i c a le l a s t i cb u n c hg r a p hm a t c h i n ga l g o r i t h mi sp r o h i b i t i v e i nt h i s d i s s e r t a t i o n ，t h ec h a r a c t e r i s t i cp o i n ts u i t a b l eh a sb e e nt a k e na n dw e i g h t e dt h ev a l u eo f c h o i c e ，s e v e nr e p r e s e n t a t i v eg r i ds t r u c t u r e sa r eo b t a i n e dt h r o u g ht h ec l u s t e r i n go ft h e g a ds t r u c t u r e so ft h ef a c el a b e l e dg r a p h so f m a n yt r a i n i n gi m a g e s ，t h e s eg a ds t r u c t u r e s a r eu s e dt oc o n s t i t u t eat e m p l a t eb u n c ho ft h ef a c eb u n c hg r a p h d u r i n gt h em a t c h i n g s t a g e ，t h ee l a s t i cb u n c hg r a p hm a t c h i n ga l g o r i t h mi sc o m b i n e dw i t hi m p r o v e m e n t s 砌m 哪t r a n s f o r m a t i o na l g o d t h m ：f t r s t l y , t h ee y e s a r el o c a t e db y 皿p r 0 v e m e n t s 、，n 皿咖t r a n s f o r m a t i o na l g o r i t h m ，u s i n ge y ec o o r d i n a t e sa s t h ed a t u mm a r k s , t h e 卸u ti m a g ei sg e o m e t r i c a l l yn o r m a l i z e d ；t h e n ，t h em o s ta p p r o p r i a t e 鲈ds 饥c t u 他1 s s e l e c t c d 肋mt h et e m p l a t eb u n c ht od e t e r m i n et h eg e o m e t r i c a lf e a t u r eo f af a c e ，觚d p r e c i s em a t c h i n g i s p e rf o r m e d f u r t h e rb a s e do nt h eo u t c o m e t h em a t c h m g c o m p u t a t i o ni ss i m p l i f i e dl a r g e l y a f t e ri m p r o v e m e n t s t h ee x p e r i m e n t a lr e s u l t s i n d i c a t e st h a tt h ei m p r o v e m e n te l a s t i cb u n c hg r a p hm a t c h i n ga l g o r i t h mh a s c e r t a i n e l l l l a i l c e m e n tc o m p a r i n gt ot h eo r i g i n a la l g o r i t h m i nt h er e c o g n i t i o nr a t e , a n dm o v e r c 伽i 1 1 9a s p e c t st h a ta r el i g h t ，e x p r e s s i o n ，p o s t u r ea n d s oo na l s oh a v et h ev 叫b l g i m p r o v e m e n t f a c er e c o g n i t i o n ；g a b o rw a v e l e t st r a n s f o r m ；e l a s t i cb u n c hg r a p hm a t c h i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除 了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也 不包含为获得云洼王些太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：杨谫杨签字日期：2 御净月2 珀 学位论文版权使用授权书 本学位论文作者完全了解云洼王些太堂有关保留、使用学位论文的规定。特授权云 洼王些太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩 印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文 的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名物旃杨 签字日期：2 彻扩年j 月2 日 导师签名： 签字日期：2 彬归月2 汐日 学位论文的主要创新点 一、利用人脸几何特征的先验知识和g a b o r 小波变换的特性，根 据特征点对分类性能的贡献对其进行适当的取舍，并对留下的特征点 根据其贡献的大小加上适当的权值。 二、在人脸束图中引入了模板束，模板束是通过对大量训练集的 人脸标号图网格结构的聚类得到的7 个有代表性的网格结构的集合。 三、在预处理阶段，摒弃了利用人脸束图确定人脸的大小和位置 并进行几何规范化的方法，而采用人脸图像预处理方法，首先对人脸 图像进行光照的补偿，以减少光照对图像识别阶段的影响，然后利用 改进的广义对称变换算法确定眼睛的位置，最后以眼睛坐标为基准 点，对人脸图像进行几何规范化和灰度规范化。 四、在特征点定位阶段，从模板束中挑选出最合适的网格结构来 确定人脸的几何特征，并在此基础上进一步进行精确匹配。这一阶段 将人脸图像预处理方法的速度优势和弹性束图匹配方法的精度优势 有机地结合了起来，使计算过程大幅度简化。 第一章绪论 1 1 人脸识别的背景及意义 第一章绪论 人脸识别技术就是利用计算机分析人脸图像，从中提取出有效的特征信息， 用来识别个人身份的一门技术，它是近年来计算机图像处理、模式识别、人工智 能等领域内最为活跃的研究课题之一。虽然在这方面的研究己经取得了一些可喜 的成果，但在实际应用中由于人脸的非刚体性，表情、姿态、发型以及化妆的多 样性都给正确识别带来了困难。要让计算机像人一样方便准确地识别出大量的人 脸，还需要不同学科研究领域的学者们共同作出不懈的努力。 现代社会中，随着计算机及网络技术的高速发展，信息安全显示出前所未有 的重要性。身份鉴定是保证系统安全的必要前提，在金融、国家安全、司法、电 子商务、电子政务等应用领域都需要准确的身份鉴定。如某人是否有权进入安全 系统，是否有权进行特定交易，为了安全在公司计算机网络上单独设置口令进行 保护等。当前，用于个人身份鉴别主要依靠卡如身份证、工作证、智能卡和储蓄 卡以及密码等手段，然而这些手段存在携带不便、容易遗失，或者由于使用过度 或不当而损坏、不可读和密码易被破解等诸多问题。生物特征是人的内在属性， 它所具有的唯一性和不易被复制的良好特性为身份鉴定提供了必要的前提。因 此，基于生物特征识别技术如人脸、指纹、虹膜、掌纹等的个人身份识别系统以 其更好的安全性、可靠性和有效性，越来越受到人们的重视，并开始进入我们社 会生活的各个领域。 人脸识别作为生物特征识别技术中最为直观的一种识别方法，与其他识别技 术指纹( f i n g e r p r i n t ) 、虹膜( i r i s ) 、掌纹( h a n dv e i n ) 、视网膜( r e t i n a ls c a n ) 、 红外温谱、笔迹( s i g n a t u r e ) 、步态( p a c e ) 和声纹( v o i c e ) 识别相比，有其独特 的优点：( 1 ) 可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用，这是 其他生物特征识别技术不能替代的；( 2 ) 人脸识别是非接触式采集，没有侵犯性， 容易接受；( 3 ) 人脸识别有着方便、快捷、强大的事后追踪能力，因为普通人并 不具备指纹、虹膜、视网膜的判别能力；( 4 ) 人脸识别更符合我们人类的识别习 惯，可交互性强，一般人就可以进行评判；( 5 ) 人脸识别所采用的设备成本低， 摄像头可望很快成为标准外设。 人脸识别技术在现代飞速发展的社会中应用十分广泛，主要在国家安全、公 共信息安全、人机交互三大领域： 国家安全 一出入境管理，过滤敏感人物，如间谍或恐怖分子 第一章绪论 一嫌疑人照片比对，公安系统用于确定犯罪嫌疑人身份 一关键场所视频监控，预警可能的不安全因素 信息安全 一机要信息系统门禁，避免单纯的密码被窃取造成信息被窃 一智能卡，安全可靠的授权 一金融用户身份验证，避免单纯的密码被窃取造成的财产损失 一电子公共安全 一会议代表身份识别，防止非法人员进入会议带来危险因素 一物理门禁，避免钥匙遗漏或密码被窃造成不便或损失 一商务身份验证，安全可靠的身份验证手段 人机交互 一屏幕保护程序，方便快捷的允许合法用户打开屏保 一家庭机器人，能够识别家庭成员的智能机器人 一自动识别系统登陆，自动识别用户身份，提供个性化界面 一真实感虚拟游戏，提供真实感的人物画像，增加交互性 特别是在国家安全方面，用于公安系统的罪犯身份识别、银行及海关的监控 系统及自动门卫系统等。9 1 1 事件以后，以美国为首的西方各国都将生物特征 识别技术作为关系国家安全的重大关键技术加以发展。美国连续发布了三个法案 强调在边检、执法、民用航空等领域应用生物特征识别技术，并立法要求在部分 护照上加上生物特征识别技术。我国火车站在2 0 0 6 年的l o 月份也安装了人脸 识别追逃系统，凡是“网”上有名的逃犯，都将被自动认出。逃犯很快就不能利 用铁路交通逃亡了。特别是2 0 0 8 年奥运会将在北京举行，北京奥组委安全保障 部门将采用人脸识别技术进行安全管理。到时不管涌入多少人，都可以在瞬间抓 拍，绝不遗漏任何一个人，即使只拍到1 5 的侧面，也可以在几秒种内识别出 “可疑人物 ，整容、乔装都不能蒙混过关。银行安全方面，北京的a t m 机将 加装人脸自动识别系统，如有可疑人员出现，其图像传至公安部门后系统将立即 自动报警。如有网上通缉逃犯或者可疑人员，系统将自动识别出来并报警。即使 “可疑目标”戴上眼镜，都会在识别系统前原形毕露。我国新推出的第二代身份 证也读入了人脸的信息。 除了广泛的应用领域，人脸识别技术的研究同样具有重要的理论研究价值。 人脸识别技术的研究涉及模式识别、计算机视觉、人工智能、图像处理、心理学、 生理学和认知科学等，与计算机人机交互领域和基于其它生物特征的身份识别方 法都有密切联系。虽然人类可以毫不费力地通过脸部图像来鉴别相互的身份，但 是由于成像过程中各种影响因素的变化常常导致同一个人的人脸图像发生非常 2 第一章绪论 大的变化，因此建立自动系统完成识别任务是非常具有挑战性的。虽然目前国内 外己经有许多实用系统问世，但是只有在非常苛刻的成像条件下，才能得到比较 令人满意的识别效果。因此，人脸识别技术的研究仍然远远没有达到完善的境地， 还有非常大的发展空间。 同时，人脸识别技术面临的困难在计算机视觉和机器学习等研究领域内普遍 存在，对人脸识别技术的研究能够验证这些领域的研究成果，并促进这些领域的 发展。人脸识别技术对于相关领域内的研究工作有重要的影响和意义。 因此，人脸识别技术的研究不仅对推动模式识别、计算机视觉等各个学科领 域的发展具有重要的理论意义，而且还具有重大的市场价值和社会意义。无论在 理论上还是在实践中，对该课题的研究己经变得越来越重要和迫切。 1 2 人脸识别的研究历史 人脸识别技术的研究始于2 0 世纪6 0 年代末，b l e d s o e 以人脸特征点的间距、 比率等参数为特征，建立了一个半自动的人脸识别系统。由于其本身的难度和技 术条件的限制，该技术一直发展缓慢。直到最近二十年，得益于计算机技术、信 号处理技术的飞速发展和实际应用需求的急速增长，这一技术的研究才开始变得 方兴未艾，并在相关的理论和应用领域内获得长足的进步。 按照人脸识别的自动化程度，人脸识别的发展经历了以下三个阶段： 第一阶段机械式的识别阶段：以b e r t i l l o n 、a l l e n 和p a r k e 为代表，主要 研究人脸识别所需要的面部特征。在b e r t i l l o n 的系统中，用一个简单的语句与数 据库中的某一张脸相联系，同时与指纹分析相结合，提供了一个较强的识别系统。 为了提高脸部识别率，a l l e n i 】为待识别脸设计了一种有效和逼真的摹写。p a r k e 2 则用计算机实现了这一想法，并产生了较高质量的人脸灰度图模型。这一阶段工 作的特点是识别过程全部依赖于操作人员，显然并不是一种可以自动完成识别的 系统。 第二阶段人机交互式识别阶段：代表性工作有：g o l d s t i o n 、h a r m o n 和 l e s k 等人用几何特征参数来表示人脸正面图像【3 】。他们采用2 1 维特征矢量表示 人脸面部特征，并设计了基于这一特征表示法的识别系统。k a y a 和k o b a y a s h i 则采用了统计识别的方法，用欧氏距离来表示人脸特征【4 】，如嘴唇与鼻子之间的 距离、嘴唇的高度等。更进一步地，t k a n a d 设计了一个高速且有一定知识导引 的半自动回溯识别系统【5 1 ，创造性地运用积分投影法从单幅图像上计算出一组脸 部特征参数，再利用模式分类技术与标准人脸相匹配。k a n a d 的系统实现了快速、 实时的处理，是一个很大的进步。总的来说，此类方法都需要利用操作员的某些 先验知识，仍然摆脱不了人的干预。 第一章绪论 第三阶段真正的机器自动识别阶段：2 0 世纪9 0 年代以来，随着高速度、 高性能计算机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自 动识别系统。人脸识别研究得到了前所未有的重视，除了基于k l 变换的特征 脸方法与奇异值特征为代表的代数特征方法取得了新进展外【6 】【刀，人工神经网络 8 】【9 】、小波变换【1 0 】等在人脸识别的研究中都被广泛地应用，出现了不少新方法。 1 3 人脸识别的研究现状 目前，由于各方面对于人脸识别系统的迫切需求，更使得人脸识别研究成为 科研的热点。国际上发表有关论文的数量大幅增长，e i 可检索到的相关文献多 达数千篇，i e e e 的p a m i 汇刊还于1 9 9 7 年7 月出版了人脸识别专辑，著名的国 际学术会议有a f g r 和a v b p r 。 目前国外的研究机构以美欧为主，主要是美国以及欧洲的各知名大学、研究 所和企业研究院。剑桥大学( c m u ) 、麻省理工学院( m i t ) 、密歇根大学 ( m i c h i g a n s t a t eu n i v e r s i t y ) 、美国加州大学( u c l a ) 、曼彻斯特大学( u n i v e r s i t y o fm a n c h e s t e r ) 、u m d 、u s c 。国外关于人脸识别的研究已经开展多年，近期已 有一些人脸识别算法用于商业产品中，并得到了实际应用【1 2 】。比较有代表性的产 品有m i r i o 公司开发的用于入口控制的t r u e f a c eg a t e w a t ，f a c e k e y 公司开发 的入口控制系统f a c e k e y ，德国的z n b o c h u mg m b h 公司开发的入口控制系 统z n f a c 、人脸搜索系统z n p h a n t o m a s 、视频监控系统z n s m a r t e y ，美国 v i s i o n i c s 公司开发的可用于入口控制，视频监控，视频会议等诸多领域的软件 f a c e l t ，其他的比较优秀的人脸识别产品还有f a c e f i n d e r ， f a c e w a r e ， p a s s f a c e ，e y e m a t i c ， b i o i d 等。1 9 9 3 年到1 9 9 7 年3 月，美国国防高级研 究项目组( d a r p a ) 和美国军方研究实验室( a r e ) 开展了 f e r e t ( f a c er e c o g n i t i o nt e c h n o l o g y ) 计划，建立了用于测试人脸识别算法的标准 人脸数据库f e r e t 人脸库，并进行了多次测试来比较已有的各种人脸识别算法 【1 3 1 。除此之外，关于人脸识别的国际会议一m e ei n t e r n a t i o n a l c o n f e r e n c eo n a u t o m a t i cf a c ea n dg e s t u r e r e c o g n i t i o n ，也已举行过多次，展示了这一领 域的理论和应用成果。 国内关于人脸识别的研究起步较国外晚，始于2 0 世纪8 0 年代，主要是在国 际流行的方法上作了发展性工作，目前，国内的清华大学、中科院自动化研究所、 上海交通大学、南京理工大学、哈尔滨工业大学、四川大学等单位都有研究人员 从事人脸识别相关工作的研究。虽然起步比较晚，但国内关于人脸自动识别方法 的研究己经取得了可喜的成绩。从国内近期的研究成果看，赵海涛等人1 1 4 j 通过提 取人脸图像的形状和纹理特征，运用广义k - l 变换降低形状和纹理空间的维数， 4 第一章绪论 避开人脸识别小样本集的局限。杨健等人【1 5 】提出了一种基于图像矩阵的图像投影 鉴别分析方法，具有能够消除投影特征向量之间相关性的优点，在o r l 标准人 脸库和n u s t 6 0 3 人脸库上的试验结果表明，在普通的分类器下分别达到 9 5 5 和9 9 4 的识别率，特征抽取的速度提高了近1 5 倍。谷春亮等人【1 6 】将三 维多分辨率模型与f i s h e r 线性判别结合起来，利用重采样技术构造了三维多分 辨率模型，同时结合f i s h e r 线性判别，更有效地排除光照、姿态的影响。 作为模式识别领域最经典的问题之一，人脸识别己经有很多相应的的解决方 法，并且取得了较好的实验结果。但是，人脸识别的最终目的是走向实际应用， 然而到目前为止还没有一个完全的解决方案可以在毫无约束条件的情况下出色 地完成人脸识别任务，这说明人脸识别如何走向实际应用领域仍然有待探索和完 善。 1 4 本文的研究思想和主要工作 按照人脸图像表示的策略和重点的不同，人脸识别算法可分为两类：基于全 局特征的人脸识别算法和基于局部特征的人脸识别算法。基于全局特征的人脸识 别算法偏重于将人脸图像作为一个整体来进行分析计算，基于局部特征的人脸识 别算法则在注意人脸全局性信息的同时更侧重于从人脸的局部来描述人脸图像， 因为不同人的脸部差异主要在局部细观，利用局部特征可以得到更加鲁棒的人脸 表示，在识别时表现出明显的优势。二维g a b o r 小波变换系数描述了图像上给定 位置附近区域的灰度特征，适合用于表示人脸的局部特征。 弹性束图匹配利用二维g a b o r 小波变换系数表示人脸图像，是一种基于局部 特征的人脸识别算法，这种算法将人脸图像与人脸束图进行匹配以确定特征点的 位置，然后计算特征点位置的g a b o r 小波变换系数并进行分类识别。为了提高匹 配效率，并尽可能多地利用先验知识，本文先对特征点进行了适当的取舍并对留 下的特征点根据其贡献的大小加上不同的权值，然后通过对大量训练集的人脸标 号图网格结构的聚类得到7 个有代表性的网格结构组成人脸束图的模板束。在进 行匹配时，将弹性束图匹配算法与改进的广义对称变换算法相结合，首先，采用 改进的广义对称变换方法进行人眼的检测和定位，以眼睛坐标为基准点对输入图 像进行几何规范化；然后，从模板束中挑选出最合适的网格结构来确定人脸的几 何特征，并在此基础上进一步进行精确匹配。 本文的大体结构如下： 第一章为绪论部分。介绍了本论文的研究背景和意义、人脸识别的研究历史 和现状，还给出了本文的研究思想和主要内容。 第二章概要介绍了人脸识别的研究内容和系统组成，并着重介绍了几种人脸 第一章绪论 识别的方法。 第三章介绍了人脸图像的预处理，包括人脸图像的光照补偿、人眼的检测和 定位、几何规范化和灰度规范化等方面的内容，研究了基于改进的广义对称变换 算法进行人眼的检测和定位的方法。 第四章介绍了相应的g a b o r 小波理论知识。简单介绍了g a b o r 小波的生物学 背景和二维g a b o r 小波变换，研究了二维g a b o r 滤波器组的参数的选择及其意义。 第五章研究了弹性束图匹配算法，并提出了特征点取舍和加权值、在人脸束 图中引入模板束、将改进的广义对称变换算法与弹性束图匹配算法相结合的改进 算法。 第六章对全文进行了总结，并对进一步的工作做了展望。 6 第二章人脸识别的研究内容和主要方法 第二章人脸识别的研究内容和主要方法 2 1 人脸识别的研究内容 广义上的“人脸识别”是指包括人脸检测在内的一门完整的关于人脸的信息 处理技术。例如在多数商用系统和专利中，“人脸识别”是将人脸检测作为系统 的一个组成部分的。狭义上的“人脸识别 则专指与人物身份验证相关的识别 技术。例如在多数技术文献中，“人脸识别 指己知系统输入中存在人脸及人脸 的位置，在输入图像没有复杂背景的条件下，对人脸所属身份的验证和辨识。本 文为避免上述概念在文中的混淆，进行如下概念的限定：人脸识别技术是包括人 脸检测和人脸身份认证技术在内的识别技术，人脸识别仅指人脸身份认证技术。 计算机人脸识别技术包括多个研究内容，我们利用下图所示的基于人脸的生 物信息系统进行说明。 图2 1 基于人脸的生物信息系统 ( 1 ) 人脸检测( f a c ed e t e c t i o n ) ：系统对输入图像中是否存在人脸进行判断，并 给出存在人脸的数量和位置。如果系统已知图像中存在人脸，只进行人脸位置的 确定，则一般称为人脸定位( f a c el o c a l i z a t i o n ) 。系统也可以只对人脸的部分面部 器官进行检测，一般称为人脸特征检钡l j ( f a c i a lf e a t u r ed e t e c t i o n ) 。 ( 2 ) 人脸跟踪和监视( f a c et r a c k i n g ) ：对图像中检测到的人脸进行位置跟踪，提 取人脸的运动信息。 ( 3 ) 人脸表征( f a c er e p r e s e n t a t i o n ) ：利用某种表征形式对人脸进行描述。通常 这一过程是对人脸的特征提取过程。人脸表征是人脸识别技术中最重要的研究内 7 第二章人脸识别的研究内容和主要方法 容之一。 ( 4 ) 人脸识另l j ( f a c er e c o g n i t i o n ) ：通过脸与脸的匹配识别完成对人物身份信息 的确认和查找。它是基于人脸的生物信息系统中最重要也是应用最广泛的部分。 ( 5 ) 面部表情分析( f a c i a le x p r e s s i o na n a l y s i s ) ：通过对人类情绪和人脸形态对应 关系的研究和建模，完成对人物情绪的理解。反之，在己知人物情绪的条件下， 利用上述对应关系和模型可以虚拟出人物的表情。后者在计算机动画中的应用尤 其广泛。 ( 6 ) 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：通过对人类生理信息和人脸形态对应关 系的研究和建模，完成对人物年龄、性别等生理信息的推断。反之，也可以利用 这些生理信息和人物目前的面貌推断其未来可能的形态。 ( 7 ) 人脸编码( f a c ec o d i n g ) ：对人脸表征获得的特征进行编码，对图像内容进 行理解和描述。 狭义的人脸识别，根据其应用方式的不同，分为人脸验证( f a c ev e r i f i c a t i o n ) 和人脸辨识( f a c ei d e n t i f i c a t i o n ) 两个方面。从分类的角度来说，人脸验证是一个两 类问题。它验证的内容是某张脸同其所“声称”身份( i d e n t i t y ) 对应的脸是否一致。 即是回答“是不是某人? 汹l1w h o mic l a i l i li 锄? ) ”的问题，最终给出的是一个 真或假的答案，属于“一对一 的两类模式分类问题，主要用于安全系统的身份 验证。人脸辨识则是一个多类问题。它辨识的内容是某张脸同数据库中的哪一个 身份相一致。即是回答“是谁? ( w h oa m1 7 ) ”的问题，最终给出的是一个身份标 号，属于“一对多”的多类模式分类问题，通常所说的人脸识别即指此类问题， 这也是本文的主要研究范围。 2 。2 人脸识别系统的组成 一个完整的自动人脸识别系统如图2 2 所示。系统首先对输入图像进行人脸 检测，确认输入图像中存在人脸并剪切出人脸图像。接着对人脸图像进行特征提 取，然后该特征被编码存入人脸数据库中( 图中的流程) 。实际应用中，将待检 测人脸的特征和数据库中每个人脸特征进行匹配，最后判决给出待测人脸的身份 信息，这一过程完成人脸辨识的工作。加入图中的部分后，系统则完成人脸验 证的工作。此时系统根据输入身份在数据库中选择相应的人脸特征，只进行该特 征和待测人脸特征的匹配判决，给出“一致”或“不一致 的判决结果。 人脸检测和人脸识别是整个自动人脸识别系统中最主要的两个技术环节，下 面分别对这两个环节进行说明。 8 第二章人脸识别的研究内容和主要方法 图2 - 2 人脸识别系统框图 人脸检测与定位：检测图像中是否有人脸，若有，将其从背景中分割出来， 并确定其在图像中的位置。在某些可以控制拍摄条件的场合，如警察拍摄罪犯照 片时将人脸限定在标尺内，此时人脸的定位很简单。在另一些情况下，比如复杂 背景下拍摄的照片，人脸在图像中的位置预先是未知的，这时人脸的检测与定位 就比较困难。 特征提取与分类识别：特征提取之前一般需要做几何归一化和灰度归一化的 工作。前者是指根据人脸定位结果将图像中的人脸变化到同一位置和大小，后者 是指通过灰度变换，将不同图像的灰度分布参数统一调整到预定的数值。提取特 征的具体形式随识别方法的不同而不同，提取出待识别的人脸特征之后，即可进 行特征匹配，完成分类识别。 以上两个环节的研究独立性很强。由于在很多特定情况下人脸检测与定位的 工作相对比较简单，因此“特征提取与分类识别”环节得到了更为广泛和深入的 研究。而近几年随着人们越来越关心各种复杂情形下的人脸自动识别系统，人脸 检测与定位才作为一个独立的模式识别问题得到了较多的重视。 2 3 主要的人脸识别方法 人脸识别主要依据那些在不同个体之间存在较大差异而对同一个人则比较 稳定的特征，具体的特征形式随识别方法的不同而不同。早期的人脸识别主要是 基于几何特征的方法和模板匹配的方法，目前，根据人脸表征方式的不同，主要 的研究方向分为以下三种：一、基于统计的识别方法，包括特征脸方法和隐马尔 科夫模型方法；二、基于连接机制的识别方法，包括一般的神经网络方法和弹性 图匹配方法；三、其它一些综合方法或处理非二维灰度图像的方法。 2 3 1 基于几何特征的方法 基于几何特征的方法是最早、最传统的方法，该方法是通过提取人脸的几何 特征，包括人脸部件的归一化的点间距离、比率以及人脸的一些特征点，如眼角、 9 第二章人脸识别的研究内容和主要方法 嘴角、鼻尖等部位所构成的二维拓扑结构进行识别的方法。主要代表是m i t 的 b r u n e l l i 和p o g g i o 小组【1 7 1 ，他们采用改进的积分投影法提取出用欧氏距离表征的 3 5 维人脸特征矢量用于模式分类。 基于几何特征的识别方法具有如下优点：符合人类识别人脸的机理，易于 理解；对每幅图像只需存储一个特征矢量，存储量小；对光照变化不太敏感。 这种方法同样存在如下问题：从图像中抽取稳定的特征比较困难，特别是特征 受到遮挡时；对强烈的表情变化和姿态变化的鲁棒性较差；一般几何特征只 描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息丢失， 更适合于粗分类。 2 3 2 基于模板匹配的方法 模板匹配的方法主要是利用计算模板和图像灰度的自相关性来实现识别功 能的。由于这种方法要求两幅图像上的目标要有相同的尺度、取向和光照条件， 所以预处理工作要做尺度归一化和灰度归一化的工作。 最简单的人脸模板是将整个人脸看成一个椭圆，它可以进行不同视点的人脸 识别工作。另一种方法是将人脸用一组独立的小模板表示，如眼睛模板、嘴巴模 板、鼻子模板以及眉毛、下巴模板等。这些模板的获得必须利用各个特征的轮廓。 传统的边缘描述子往往很难获得可靠度较高的连续边缘。即使获得了可靠度高的 边缘，也很难从中自动提出所需的特征量。为此，用弹性模板方法提取特征显示 出其独到的优越性。 弹性模板由一组根据特征形状的先验知识设计的可调参数所定义。为了求出 这组参数，需要利用图像的边缘、峰值、谷值和强度信息及特征形状的先验知识 设计合适的能量函数。参数向能量减小方向作调整，当能量达到最小时，这组参 数对应的模板形状最符合特征形状。主要代表是h a r v a r d 大学s m i t h k e t t l e w e l l 眼睛研究中心的y u i l l e ，他采用弹性模板来提取眼睛和嘴巴的轮廓【l s l ，c h e n 和 h u a n g 则进一步提出用活动轮廓模板( 即s n a k e s 模型) 提取眉毛、下巴和鼻孔等不 确定形状。 p o g g i o 和b r u n e l l i 专门比较了基于几何特征的人脸识别方法和基于模板匹配 的人脸识别方法，并得出结论：基于几何特征的人脸识别方法具有识别速度快和 内存要求小的优点，但在识别率上模板匹配要优于基于几何特征的识别方法。增 加几何特征对于基于几何特征的人脸识别方法只能轻微的提高识别率，因为要提 高几何特征的提取质量本身就十分困难，而且随着图像质量的下降和人脸遮挡的 引入，基于几何特征的人脸识别效果会大幅下降。总之，认为模板匹配法要优于 几何特征法。但是，模板匹配的方法由于利用了相关性信息，对光照、旋转和表 1 0 第二章人脸识别的研究内容和主要方法 情变化比较敏感。另外，模板匹配的计算量比较大，多尺度、多模板的使用会增 加计算和存储的复杂度。 2 3 3 特征脸方法 特征脸方法，也称为主分量分析( p c a ) 方法。s i r o v i c h 和k i r b y 1 9 】首先将k l 变换用于人脸图像的最优表示，t u r k 和p e n t l a n d 受其启发，将包含人脸的图像 区域看作是一种随机向量，通过k l 变换获得其正交基底，对应其中较大特征 值的基底具有与人脸相似的形状，因此又称之为特征脸。利用这些基底的线性组 合可以描述、表达和逼近人脸图像，因此可以进行人脸识别与合成。 识别过程就是将人脸图像映射到由特征脸张成的子空间上，比较其与己知人 脸在特征脸空间中的位置，该方法具有简单有效的特点，目前己成为事实上的基 准测试算法。特征脸方法的重要贡献不仅在于它为基于图像的目标识别提供了一 种普遍的方法，还在于它的基于变换进行降维和特征提取的思想为目标识别提供 了一种方法论。但是在人脸识别问题上，它的不足之处是受表情变化、