（光学专业论文）基于可视图像和红外热图像的人脸识别研究.pdf

中文摘要 人脸识别是生物识别技术的一种，由于其具有友好性、无侵害性等优点引起 了研究者的广泛兴趣。人脸识别有重要的研究意义，突出表现在其对学科发展的 贡献和巨大的潜在应用前景两个方面。由于光照对可视图像的质量有很大的影 响，这将严重影响在识别过程中的识别率。而红外热图像则对外界光照不敏感， 因此本文对可视图像和红外热图像的人脸识别进行了研究。在可视图像的研究中 用了p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) 算法，它降低了图像的维数，保持 了图像间的差异性。利用了f l d ( f i s h e rl i n e a rd i s c r i m i n a n t ) 方法，f l d 有 分类和压缩图像的功能，对光照不敏感，因此f l d 和p c a 的优点相结合有更高的 识别率。对于红外热图像我们发现红外热图像相比于可视图像有更多的低频成 分。另外论文中还研究了后来发展的应用于人脸识别的隐马尔可夫模型方法。在 可视图像人脸识别中我们应用了基于奇异值分解的隐马尔可夫模型，在红外热图 像人脸识别中用了基于k l 变换的隐马尔可夫人脸识别，降低了观察向量的维 数，并且相比与只用隐马尔可夫进行人脸识别具有更高的识别率，降低了计算时 间。 关键词：人脸识别p c af l d 隐马尔可夫模型 a b s t r a c t f a c er e c o g n i t i o nt e c h n o l o g yi so n eo ft h eb i o m e t r i c s m a n yr e s e a r c h e r ss h o w g r e a ti n t e r 嚣捃i ni tb o c a u s eo fi t sc h a r a c t e r i s t i c so fk i n d n e s sa n dn o n - i n v a s i v e f a c e r e c o g n i t i o nh a sv e r yi m p o r t a n ts i g n i f i c a n c e ，t h ec o n t r i b u t i o nt ot h ed e v e l o p m e n to f o t h e ro b j e e t sa n dt h ew i d ea n dp o t e n t i a la p p l i c a t i o ni nt h ef u t u r ea l et w op r o m i n e n t a s p e c t s l i g h t i n ga f f e c t st h ev i s u a li m a g eq u a l i t yg r e a t l s ot h a tt h er e e o g n i t o nr a t e r e d u c e s ，w h i l et h ei n f r a r e dt h e r m a li m a g ei sr o b u s tt ot h el i g h t i n g s oi nt h ep a p e r , t h e f a c er e c o g n i t o nb a s eo nt h ev i s u a li m a g ea n di n f r a r e dt h e r m a li m a g e i nt h er e s e a r c h o f v i s u a li m a g e ，p e a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) a n df l da r eu s e d , p c ah a st h e f u n c t i o n so fr e d u c i n gd i m e n s i o na n dk e e pt h ev a r i a n c e ，w h i l ef l d ( f i s h e rl i n e a r d i s c r i m i n a n t ) h a st h ef i m c t i o n so f c l a s s i f y i n ga n d r e d u c i n gd i m e n s i o na n d i sr o b u s tt o t h el i g h t i n g , s oc o m b i n i n gp c aw i t hf l dh a sh i g h e rr e c o g n i t o nr a t e i nt h er e s e a r c h w ef i n dt h e r ei sm o r l 5l o wf r e q u e n c yt h a nv i s u a li m a g e s ot h er e c o g n i t o ni sh i g h e r t h a nv i s u a li m a g eu s i n gp c aa tt h ee o n d i t o no fl i g t h i n g o nt h eo t h e rh a n d ，h m m ( h i d d e nm a r k o vm o d e l ) i sa l s ou s e d i nt h er e c o g n i t o no fv i s u a li m a g e , w ea p p l i e d t h em e t h o do fs i n g u l a rv a l u ed e r a ) m p o s i t i o na n dh i d d e nm a r k o vm o d e l ，w h i l ei nt h e i n f i - a r e dt h e r m a li m a g ew eu s e dt h ek - lt r a n s f o r ma n dh i d d e nm a r k o vm o d e l ( h m m ) t h e r ea l ea l lh a v eh i g h e rr e c o g n i t o nr a t ea n dl o wt i m et h a no n l yu s i n gh i d d e n m a r k o vm o d e l k e yw o r d s - f a c e r e c o g n i t o n , p c a ，f l d ，h i d d e nm a r k o vm o d e l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得鑫鲞叁茎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名；和巳而狐 签字日期：1 坩，年f 月p 日 学位论文版权使用授权书 本学位论文作者完全了解苤鲞盘堂有关保留、使用学位论文的规定。 特授权盘鲞盘茎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： ；长葡敬导师签名：扔艺t 签字日期：渺f 年f 月j 口日签字日期：，2 ，。解月，一日 天津大学硕士学位论文 第一章绪论 1 i 引言 第一章绪论 ，在现代社会中，随着社会自动化程度的提高，各个方面对快速有效的自动 身份验证的要求日益迫切。由于生物特征是人的内在属性，具有很强的自身稳定 性和个体差异性，因此成为了身份验证的最理想依据。生物特征识别技术 ( b i o m e t r i c s ) 是根据每个人独有的可以采样和测量的生物学特征和行为学特征 而进行身份识别的技术。生物特征可分为生理特征和行为特征，人体所固有的生 理特征包括面部特征、指纹、手型、掌纹、虹膜、视网膜、体味、耳廓、基因( d n a ) 、 体热辐射以及手部、面部静脉血管模式等，这些特征不随客观条件和主观意愿而 改变。基于行为特征的识别包括击键动力学分析、签名识别、说话人识别、步态 识别等，这些都与后天环境养成的行为习惯有关“。与传统的身份验证方法相比， 生物特征识别突出的优势表现在生物特征可以从根本上杜绝伪造和窃取，而且是 人类自身拥有的，从而具有更高的可靠性、安全性和可用性。而人脸识别由于其 直观性和无侵害性等优点以及其跨学科的特点引起了研究者广泛的兴趣。 ( 注： 论文中无特殊说明图像均指可视二维图像) 1 2 人脸识别的研究意义与典型应用 人脸识别技术是一个非常活跃的研究领域，它覆盖了数字图像处理、模式识 别、计算枫视觉、神经网络、心理学、生理学、数学等诸多学科的内客，是一个 跨学科富有挑战性的前沿课题1 】【2 】【3 】。因此早在六七十年代即引起了研究者的强 烈兴趣，进入九十年代，各个方面对快速有效的自动身份识别验证的要求日益迫 切，人脸识别的研究重新交的非常热门。国内外各知名大学、研究所还有一些公 司都得到了大量的项目支持。人脸识别问题之所以得到重视，是因为其有重要的 研究意义，突出表现在它对学科发展的贡献和巨大的潜在应用前景两个方面”： 1 ) 人脸识别对学科发展的贡献 由于自动人脸识别技术是一个覆盖多个学科内容的课题，它的深入研究和最 终解决，可以极大的促进这些学科的成熟和发展。例如，作为一个模式识别问题， 天津大学硕士学位论文第一章绪论 它被认为是最具有挑战性的问题之一。模式种类数目庞大，不同类别模式的差别 非常微妙，这一点由于数据采集过程的噪声、成像设备的精度、外界条件的变化 以及数据缺损等原因而显得更加突出。再如，作为一个计算机视觉问题，如何融 合人脸的一般性先验形状信息来准确地恢复特定人脸的3 d 结构也是一个非常 有价值的研究问题。从图形学的角度，研究3 d 人脸在光源照射下的成像过程， 以指导人脸图像的3 d 形状分析、光照模式分析及其生成虚拟光照、不同视角视 图问题也已经成为一个重要的研究课题。人脸识别本质上是要赋予计算机区分不 同人类个体的能力，这恰是智能人机接口研究需要解决的问题之一，也是机器智 能的重要表现。人脸识别问题的最终解决可以极大的改善且前呆板、不方便的人 机交互环境，从而在一定程度上改变人们的生活方式。 2 ) 人脸识别技术有巨大的应用前景： 我们每天都要对很多人的身份做出判别，同时，每个人都要经常通过各种方 式和手段证明自己的身份，比如我们进出家门需要钥匙，在a t m 上进行金融业 务时需要输入密码，进入自己的计算机系统则需要输入用户明和密码等，我们在 某些场合需用学生证、身份证等。然而这些方式不方便、不安全、不可靠的缺点 不言而喻：证件、钥匙携带不便：证件可以被伪造；钥匙可能丢失；密码可能会 遗忘或被蓄意窃取。这些缺点使得它们越来越不能适应社会发展的要求，我们亟 需更方便、更可靠、更安全的身份验证方式。同时，国家公共安全、信息安全等 关系国计民生的领域更需要各种高可靠性、安全性的全新身份验证技术，尤其是 美国遭遇“9 1 1 ”恐怖袭击事件之后，安全问题更成为人们关注的热点。因此人 脸识别技术具有广泛的应用前景，在国家安全、军事安全和公共安全领域，智能 门禁、智能视频监控、公安布控、海关身份验证、司机驾照验证等是典型的应用； 在民事和经济领域，各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证， 社会保险人的身份验证等具有重要的应用价值，比如在获得罪犯照片后。可以通 过人脸识别技术，在存储的罪犯照片数据库中找出最为相象的几个人列为嫌疑 犯，缩短破案时间，另一方面设在重要交通要道的摄像头可在无人职守的情况下 自动捕捉头像，通过网络将头像面貌特征数据传送到计算机中心数据库去，与逃 犯的头像进行比较，一旦发现是吻合的头像，即自动记录并报警。在家庭娱乐等 领域，人脸识别也具有一些有趣有益的应用，比如能够识别主人身份的智能玩具、 家政机器人等等愀叼。 根据不同的应用我们可以把人脸识别分为三种问题：1 ) 将一副图像对另一 副图像的匹配问题，如：信用卡、护照、驾驶执照及个人身份识别等；2 ) 选择 或创造一副给出图像相似的面孔，如：专家识别、目击面孔重建等；3 ) 根据一 些输入信息来创建或修改人脸图像，如：从遗留物的人脸重建、年龄计算 天津大学硕士学位论文第一章绪论 1 3 国内外研究概况 最早的人脸识别研究论文见于1 9 6 5 年c h a n & b l e d s o e 在p a n o r a m i cr e s e a r c h i n c 发表的技术报告，到现在有四十年的历史。一直到七十年代中期以前，典型 的模式识别分类技术始终是用人脸正面或侧面特征点的距离来度量，而且重点使 用的是从侧面人脸图像上提取的几何特征。在这一阶段，对图像的约束条件较多， 提取的特征数目少，自动提取特征的准确度也比较低。八十年代，对人脸识别技 术研究仍处于冷凝状态，没有什么进展，进入九十年代，该课题受到了前所未有 的重视，人脸识别研究得到了长足的发展，原因是多方面的：首先是在安全系统 即商贸系统中有应用需要：其次是受其他技术发展的影响。每年都有大量的学术 论文发表。仅1 9 9 0 年到1 9 9 8 年之间，e i 可检索到的相关文献就多达数千篇。 两个有关人脸识别的国际会议a f g r 和a v b p a 在9 0 年代中期出现，并一直延 续至今。现在，几乎所有知名的理工科大学和r r 产业的主要公司都有研究组在 从事人脸识别的研究【4 】【5 】【8 j 。 ( 1 ) 目前美国等国家的国有研究机构在从事人脸识别的研究，这些研究受 到军方、警方以及大公司的高度重视和资助。经过众多科研者的不懈努力，目前 已经有很多自动人脸识别系统投入了商业运营，其中比较有名的包括： 1 ) 美国麻萨诸塞州的v i s s a g et e c h n o l o g y 公司研制实时人脸检测系统，采 用多个摄像机摄取图像。采用运动特征和肤色特征从输入图像中定位人脸，再通 过模板匹配的方式定位眼睛，嘴等部位。识别过程相当短，应用于飞机场、车站 等公共场所的逃犯追捕、门禁系统控制等方面。 2 ) 美国明尼苏达州的i d e n t i x 和v i s i o n i 馏公司研制了实时的f a c e i t a r g u s 人脸检测及识别系统并制成成品。提取人脸并建立模板，将模板与数据库中的模 板进行比对，比对成功进行报警。该系统对光照、姿态、表情及距离均不敏感。 3 ) v i s i o n s p h e r e 公司研制i t sm e t m 产品，使用用户的脸部特征，实现限 制登陆上网的目的。同时，该公司又推出f a c e c a m t m 产品，这实属于一种生物 验证和识别产品。它将人脸识别技术集成于一个装置中。同时与声音识别结合， 大大提高识别率。 ( 2 ) 国内关于人像识别技术的研究虽然起步较晚，但近年来发展很快，已 经成为研究的热点主要研究人员集中于一些学校如：清华大学、浙江大学、上 海交通大学、哈尔滨工业大学、南京理工大学、吉林大学等高校和科学研究机构 ( 如中国科学院等) 以及一些与其相关的高新技术企业目前，国内对于人脸识 别理论和方法的研究水平已经达到或接近国际水平，但对于人脸识别应用产品的 开发研制却相对滞后国内做的较好的有：中科院计算技术研究所2 0 0 2 年1 1 月 天津大学硕士学位论文第一章绪论 份在“面像检测与识别核心技术”这一国家8 6 3 项目取得了重大突破，完成对8 0 0 0 多个人脸的成功识别，上海银晨智能识别科技有限公司提出人脸识别考勤机， 具体技术指标见下图： 产品名称：银晨入脸识别考勤系统 特色；人性化管理考勤，员工无需携带任何证 卡；根据员工人脸识别，杜绝代替打卡的管理漏 洞；快速识别通过，不会出现排队堵塞现象；考 勤记录不可更改，原始人脸记录消除管理纠纷； 功能：职员资料及照片样本管理；单位作息时问 描述： 管理；考勤记录查询( 含职员照片) ；自动完成 出勤记录报表，打印输出； 性能指标；考勤时间：平均3 5 秒人； 可在1 5 分钟内完成约2 0 0 位职员考 勤； 可管理多达5 0 个部门； 图1 - 1 人脸识别考勤机介绍 1 4 人脸识别问题概述 人脸识别( f a c er e c o g n i t i o n ) 就是对于输入的人脸图像或者视频，首先判断 其中是否存在人脸，如果存在人脸，则进一步的给出每个人脸的位置、大小和各 个主要面部器官的位置信息，并依据这些信息，进一步提取每个人脸中所包含的 身份特征。并将其与已知人脸库中的人脸进行对比，从两识别每个人脸的身份。 人脸识别是图像识别的一个主要分支。广义概念的人脸识别研究大致可以分 为如下几个方面嘲】嘲： 1 ) 人脸检测：在不同情景中判断是否有人脸的存在并且标记人脸的确切位 置。 2 ) 人脸识别：狭义概念的人脸自动识别研究就是指的此部分工作，继续人 脸检测的工作，对已知人脸进行标准化处理后通过某种方法和数据库中的人脸标 本进行匹配，寻找库中对应人脸及人脸相关信息。 3 ) 人脸分析：包括表情特征分类及生理特征分类等方面，表情特征分类通 过对已知人脸的面部研究，判断此人表情信息，并对此人状态( 平静、欢乐、恐 天津大学硕士学位论文第一章绪论 慌、悲伤等) 进行分类；生理特征分类对已知人脸的面部生理特征进行分析处理， 由此判断此人的性别、种族、年龄等相关信息。 人脸识别的目的包括两大类： 1 ) 人脸身份识别：即根据人脸图像识别出人物的身份，解决是谁的问题； 2 ) 人脸身份确认验证：判断图像中的人脸是否是指定的人，即解决是不是某人 的问题。 根据系统初始输人模式的不同，人脸识别的研究可以分为不同的种类。从是 否包含运动信息的角度可以将入脸识别任务分为静态图像识别和动态图像识别 两大类。到目前为止大多数的人脸识别研究都是在静态图像上进行的。静态图像 问题存在一些固有的优点和缺点。在脸部照片匹配的场合，由于控制了获取图像 的环境，从而使得分割变得相对容易。但在另一方面，如果在复杂场景下仍只用 静止图像，则脸部的定位及分割问题就会变的较为困难；但若以运动作为线索这 个问题就会容易得多；即从序列图像中分离出运动物体。 从输入人脸模式的属性可以将人脸识别分为【5 2 】【5 3 】： l 、侧面图像识别人脸识别研究的初期得到了很好的发展，现在通常作为正面 和多姿态识别的辅助。基于侧面的人脸识别多数采用基于几何特征的识别方 案。 2 、 正面或准正面人脸识别8 0 年代和9 0 年代初期多数人脸识别研究的重点。 主要的方法有；基于特征的方案、基于局部或全局模板匹配、特征脸 ( e i g c n f a e e ) 、主成分分析( pc a ) 、奇异值分解( s v d ) 、人工神经网络( a n n ) 等。 3 、多姿态人脸识别9 0 年代中后期研究的热点问题，正在得到进一步研究。多 视图模板匹配、基于3 d 人脸模型的姿态补偿、弹性图匹配是解决多姿态问 题的主流方法。 4 、深度图像( r a n g ed a t a ) 识别尽管由于深度信息的获得可以使得识别性能 增强，但由于需要激光扫描器( l a s e r s c a n n e r ) 等特殊设备，应用和研究都 受到了限制，在特殊领域会有很好的应用前景。 目前人脸识别研究的重点是多姿态识别、不同算法的融合、实用系统的设计 以及多通道信息融合，但是到现在为止即使基于正面人脸的识别尚未达到很实用 的地步。 为了促进自动人脸识别研究的发展，多个可共享使用的人脸数据库也应运面 生，如英国剑桥o i i v e t t i 实验室的o r l 库、耶鲁大学的y a l e 库等【7 1 。为促进人脸 识别算法的深入研究和实用化，美国国防部发起了人脸识别技术( f a o o r e c o g n i t i o nt e c h n o l o g y ，简称f e r e t ) t 程，它包括一个通用入脸库和一套通用 天津大学硕士学位论文第一章绪论 测试标准。该f e r e t 库可用于各种人脸识别算法的测试比较。1 9 9 7 年，f e r e t 人脸库存储了1 1 9 9 个人的1 4 ，1 2 6 幅图像，其中同一个人的图像差异，包括不同 表情、不同光照、不同头部姿态以及不同时期( 相隔1 8 个月以上) 拍摄差异等。 如今f e r e t 人脸库仍在扩充，并定期对各种人脸识别程序进行性能测试，其分 析测试结果对未来的工作起到了一定的指导作用【们。由于f e r e t 库中包括军人 的图片，不能在美国以外获得。下面对部分公共人脸数据库进行介绍： ( 1 ) y a l e 人脸数据库 由耶鲁大学计算视觉与控制中心创建，包含1 5 位志愿者的1 6 5 张图片，包 含光照、表情和姿态的变化。包含了1 0 个人的5 8 5 0 幅多姿态、多光照的图像。 其中的姿态和光照变化的图像都是在严格控制的条件下采集的，主要用于光照和 姿态问题的建模与分析。 ( 2 ) o r l 人脸数据库 由剑桥大学a t & t 实验室创建，包含4 0 人共4 0 0 张面部图像，部分志愿者 的图像包括了姿态、表情和面部饰物的变化。该人脸库在人脸识别研究的早期经 常人们采用，但变化模式较少。 ( 3 ) k f d b 人脸图像库 该人脸库包含1 0 0 0 名韩国人的共5 2 ，0 0 0 幅图像，涵盖7 种不同姿态、1 6 种 不同光照条件和5 种表情变化。 由于不同研究任务的需要。必要时可以设计和建立具有特色的转用数据库。 一般可以通过错误拒绝率和错误接受率评价一个人脸识别系统，前者指在数据库 中的人被错误拒绝，后者指不在数据库中的人被错误接受。这两者之间存在着矛 盾，所以在实际问题中往往需要对二者进行折中。 与其它生物识别技术相比，人脸识别具有独特的技术优势，这主要体现在： 1 可以隐蔽操作，尤其适用于安全监控 这点特别适用于解决重要的安全问题、罪犯监控与网上抓逃等应用，这是 指纹、虹膜、视网膜等其他人体生物特征识别技术不能比拟的： 2 非接触式采集，没有侵犯性，容易被接受 因此，不会对用户造成生理上的伤害，另外也比较符号一般用户的习惯，容 易被大多数的用户接受； 3 具有方便、快捷、强大的事后追踪能力 基于面像的身份认证系统可以在事件发生的同时记录并保证当事人的面像， 而可以确保系统具有良好的事后跟踪能力。这是指纹、虹膜等生物特征所不 具有的性质( 一般人不具有指纹、虹膜鉴别能力) 。 4 更符合人类的识别习惯，可交互性 天津大学硕士学位论文第一章绪论 例如，对于指纹、虹膜等识别系统，一般用户对识别往往是无能为力的，而 对人脸来说，授权用户的交互和配合可以大大提高系统的可靠性和可用性。 然而，人脸作为生物特征识别技术也有其固有的缺陷，这主要表现在： 1 人脸特征稳定性较差 尽管面部通常在不会发生根本的变化( 故意整容除外) ，但人脸是有极强可塑 性的三维柔性皮肤表面，会随着表情、年龄等的变化而发生变化，皮肤的特 性也会随着年龄、化妆乃至整容、意外伤害等发生很大变化； 2 可靠性、安全性较低 尽管不同个体的人脸各不相同，但人类的面孔总体是相似的，而且地球上人 口如此众多，以致很多人的面孔之间的差别是非常微妙的，技术上实现安全 可靠的认证是有相当难度的； 3 图像采集受各种外界条件影响很大，因此识别性能偏低 图像的摄制过程决定了人脸图像识别系统必须面对不同的光照条件( 可视图 像) 、视角、距离变化等非常困难的视觉问题，这些成像因素都会极大影响人 脸图像的表现，从而使得识别性能不够稳定； 这些缺点使得人脸识别成为一个非常困难的挑战性课题，尤其是在用户不配 合、非理想采集条件下的人脸识别问题，变成为目前的热点问题。目前，世界 上最好的人脸识别系统也只能在用户比较配合、采集条件比较理想的情况才可 以基本满足一般应用的要求。当然，随着技术的进步，相信这些问题也可以逐 步解决，从而使得自动人脸识别技术能够更好得满足公众的期望。 1 5 红外热图像和三维图像人脸识别 ，、 由于可视二维图像在采集过程有自身无法克服的弱点，所以红外热图像和三 维图像用于人脸识别也是一个发展趋势。 1 5 1 红外热图像人脸识别 红外热图像或者说是温谱图表征了从物体中散发的热模式。由于物体的温度 和特性不同物体将发出不同数值的红外热能量。而人脸的温度和体温非常的一 致，变化范围是3 5 5 到3 7 5 c ，对不同的人来说这就提供了一个一致的热信号。 脸部的热量主要来自于皮肤下面的表面血管，血管运输全身暖的血液使得皮肤的 温度升高，直接位于血管上面的皮肤平均要比相邻皮肤的温度高0 1 。对于每 天津大学硕士学位论文第一章绪论 个人来说血管和组织的热模式是不同的，即使是双胞胎也有不同的热模式。基于 红外热图像的人脸识别系统利用了不同人脸具有独一无二的解剖信息的原理。而 这些信息对人脸识别是很有用的，并且可通过红外传感技术远距离测量得到。在 测量过程中环境光照的变化对红外热图像几乎没有影响【1 0 l e l l 】【1 2 】。 在不同光照条件下的人脸识别是在人脸识别中是一个重要的问题，一般的可 视相机得到的灰度图像是皮肤的内在反射和外部入射光照的结果。在室外应用 时，光线昏暗、光照不均匀都会使可视图像的识别率很大的下降，光照的改变比 个体差异对人脸识别的影响还要大。另外由于种族的不同入脸特征也有很大的不 同，在可视化图像人脸识别系统中对于皮肤颜色较亮的人有较高的识别率，但 是对于黑色皮肤识别率很低。相反皮肤的热辐射测量只是测量皮肤内在性质而不 受外部光照的影响。在可视图像人脸识别过程中为了消除或者减小光照对人脸识 别的影响，人们用很多的算法，例如：直方图均衡化。拉普拉斯变换，g a b o r 变 换等，这些方法都是想减小光照对类闻变化的影响。由于红外热图像与光照无关， 所以不存在这些问题。 另外伪装脸的检测在高端安全人脸识别系统中也是非常重要的。红外热图像 人脸识别在一些人脸的伪情况下检测是很有用的。多年来各种各样的用于伪装的 材料和方法不断的产生。在实际生活中改变人脸特征的两种方法：一是用人造材 料，另一个是整容手术。人造材料包括假鼻子、化妆、假发等。而对于人脸的这 些伪装和化妆可视化识别几乎是无能为力的。由于在伪装中用的人造材料能够改 变能够降低人脸的热信号，所以用红外光谱很容易探测到伪装的情况，整容手术 可以增加或者减少皮肤的组织，重新分配脂肪，加入硅等，手术之后会改变血管 的流动，这将会在红外图像中出现一个明显的冷点。因此红外热图像能够用于这 方面的检测。 最早的基于红外热图像的人脸识别研究在1 9 9 5 年【9 】【1 3 】【1 4 】，在这方面的论文 较少，国外对此方面有一定的研究，国内还没查到相关的文章，其中一个很大的 原因是因为红外热像仪的价钱比较昂贵。在研究中发现，对于人脸图像，比较其 红外热图像和可视图像的特征空间成分的光谱，如果归一化为1 0 0 维，红外热图 像中包含更多的低维子空间。例如：在红外热图像中6 维子空间占据了9 5 的 变化，而达到同样的程度可视图像则需要3 6 维空间。由于特征脸是邻近分类器， 研究也已经表明对于高维的空间邻近的观点就会变得很不稳定甚至没有意义。 实际上对于很多的分类问题，随着特征空间维数的增大，给定的探测到它的最近 和最远距离就会变得很难区别。因此毫无疑问的说，本身是低维的数据更适合解 决分类问题。 在进行红外人脸识别的过程中，由于时问的不同，人脸的热模式也会有较大 天津大学硕士学位论文第一章绪论 的变化，这种变化会使识别率降低。通过实验发现在不同的时间热模式就会有所 不同，这种变化可能是环境变化引起的，比如说由于天冷或者是有风，皮肤上面 的毛细血管收缩，降低了血流速度使得人脸的表面温度降低。反之，当人从外面 的冷的环境申进入一个热的环境时，毛细血管会扩张，热的血液使人的皮肤变红 进而使人体的温度回复正常。还有一些使红外热图像变化的条件与外部环境无 关，而是与人体自身的新陈代谢关系紧密。如剧烈的活动、血液消耗、酒精或者 是咖啡因都能够影响人脸的热图像。当人体吸气时鼻子和嘴就会变冷、呼气时会 变热，呼出的空气是中心体温，这个温度要比中心体温高几度。因此，可视图像 要受到光照的影响，与其相似，红外热图像也要受到众多外部和内部因素的影响。 不同的算法对图像变化的敏感性不同。正确的补偿这种变化是任何一种人脸识别 成功的关键步裂【1 5 】【1 6 1 。 基于红外热图像的生物识别技术最主要的缺点是红外热像仪的价钱很高，但 是最近几年价钱在不断的减低，考虑到其在识别中的优势，在此方面发展是很有 必要的。 1 5 2 三维图像人脸识别 基于2 d 人脸图像的机器识别，不可避免受到环境( 光线、背景、视角等) 和 人脸的本身( 姿态、表情、遮挡等) 给识别带来的不利影响，针对人脸识别的难点， 许多学者始终致力于这方面的研究，一个较好的办法是利用三维信息进行人脸的 识别1 7 1 1 8 【1 9 1 1 2 0 】。三维信息能够更精确地描述人的脸部特征，提取的某些特征具 有刚体交换不变性，并且不易受化装和光照的影响。但是由于三维数据获取方面 存在困难，现在利用三维信息进行识别的报道并不多见，然而三维信息加入到现 有的人脸识别算法中，识别效果将会大大提高。 三维人脸建模与识别是刚刚兴起的前沿方向，是计算机视觉和计算机图形学 相结合的边缘学科，科学意义重大，应用前景广泛，是将来研究的热点问题。二 维图像识别技术虽然较为成熟，但由于单一的二维图像不能提供识别所需的完整 信息，因而其识别精度很难有进一步的提高；这也使得采用单一的人脸识别技术 的应用产品很难达到实用水准。3 d 人脸的研究始于计算机动画和生物医学成像。 计算祝动画方面的方法是在计算机上生成3 d 的人脸动画来表达人的运动、姿态 和表情。这种动画的人脸可以在不同的环境下，从而应用和发展为虚拟现实。在 生物医学方面的方法是从生物图层或切片重构人体器官组织，并将其用于病理分 析。将三维的方法用于人脸机器识别是近几年才开始的，主要是为了解决2 d 方 法所无法根本解决的问题，或者弥补2 d 方法的不足，目前，三维的人脸识别处 天津大学硕士学位论文 第一章绪论 于方法和手段的发现时期，或者叫探索时期，每年都有一些相关的方法和文章相 继问世。 比利时学者b e u m i e r 等利用结构光的方法获取三维数据，然后利用曲面匹配 的方法进行人脸识别收到较好的效果。美国的g o r d o n 等利用激光扫描仪获取的 距离数据建立面部曲面，通过计算表面曲率寻找凸点、凹点和脊点，然后定位面 部的一些特征点，利用模板匹配的方法进行识别。德国人v e t t e r 等利用单幅图片 构建三维模型，利用形状和纹理参数来表征个性特征。国内在这方面的研究起步 较晚，但是发展较为迅速。浙江大学、清华大学、中国科学技术大学、中国科学 院计算技术研究所和中国科学院自动化研究所等在三维人脸的数据获取和建模 方面取得了一些成果。 三维人脸识别虽然为人脸的机器识别展开了新的思路，但其本身的实现还是 很不成熟的。三维人脸识别存在以下的困难： ( 1 ) 数据获取的困难：用于3 d 识别的完整信息难于获取，或者用于3 d 识别的 信息往往是不完整的，这造成了识别算法本身不可纠正的错误。同时，由于图像 采集设备的差异，成像原理的不同，也造成数据上的差异。 ( 2 ) 海量存储和计算的困难：由于3 d 识别的数据容量和计算量十分巨大，给 存储和运算带来困难，也对计算机的硬件提出了更高要求。 ( 3 ) 对人的生理认识的不足：对于生物生理学和生物心理学等相关学科的有限 的认知水平制约了计算机的算法实现，比如：对于肌肉的运动理论和表情的形成 等问题，不能提供给计算机足够的专家支持。计算机只具备计算功能而没有人的 经验和知识。 ( 4 ) 受到环境和条件的约束：影响二维识别的不利因素在三维识别上同样比如： 光线的强弱。方向，遮盖，阴影。背景等。 ( 5 ) 实现方式和手段的不足：传统的识别方法不能满足三维识别的要求，必须 改进或采用新的方法比如：由于动态图像的计算量太大，适用于静态图像处理 的神经网络就变得不很适合了。三维人脸识别是极具挑战性的课题，但如在技术 上有所突破，将具有很强的创新性和应用价值。 1 6 本论文的主要工作 本论文是基于静态图像的研究，主要对人脸识别部分进行了研究。在训练和 识别过程中除了应用公用数据库o r l 、y a l e 库外，我们还建立了自己的可视图 像和红外热图像人脸数据库。在识别算法中主要应用了基于统计的算法。 首先对p c a 方法进行了深入的分析与讨论，然后在先前的基础上，利用 天津大学硕士学位论文 第一章绪论 p c a + f l d 的方法应用于人脸识别，提高了识别率。另外通过研究和试验发现， 由于红外热图形有更多的低频成分，相比于可视图像p c a 应用在红外图像上有 更高的识别率。进行了最近发展的隐马尔可夫模型人脸识别的研究。在可视图像 人脸识别中，利用奇异值的稳定性、转置不变性等优点，进行了基于奇异值分解 的隐马尔可夫人脸识别。并且根据红外热图像的特点首次研究了基于k l 变 换的隐马尔可夫人脸识别研究。研究结果表明提高了识别率，计算时间大大的降 低。 天津大学硕士学位论文第二章人脸识别的系统和算法介绍 第二章人脸识别的系统和算法介绍 2 1 系统装置介绍 在人脸识别技术尚未达到完全成熟阶段的今天，系统设计的作用非常突出， 良好的系统设计可能起到事半功倍的效果，而拙劣的系统设计可能会使最好的核 心识别算法前途黯淡。在我们的研究过程中系统基本配置主要包括：照明器、 c c d 摄像机、红外热像仪、图像采集卡以及图像处理设备( 计算机) 。 ( 1 )照明器 在以图像处理为基础的人脸识别系统中，原始输入图像的质量无疑在很大程 度上决定了整个系统的工作状况，不同质量的原始图像会对识别结果有很大的影 响。人脸本身是不发光的，所以不同的天气以及一天的不同时段由于脸部表面光 照状况不同，会导致拍摄图像清晰度不同。清晰度差的图像会影响识别的准确性， 甚至无法识别。因此，通过照明设施控制来人为地补偿自然光线的变化，以保证 摄像机视场照明的均匀性和保证采集到的原始图像质量是必不可少的。 ( 2 ) c c d 摄像机 。 c c d ( c h a r g ec o u p l e dd e v i 嘲摄像机是电荷耦合器件，作为一种光电转换的 设备在现代成像技术中有着十分重要的作用。c c d 摄像机具有体积小、重量轻、 耗电小、寿命长抗震动冲击性、没有几何畸变、对光的响应是高度线性等特点。 在研究过成中应该考虑成像质量、镜头焦距以及光圈、自动光圈、白平衡和 增益调整功能等条件。本研究过程中选用s a n t a c h i 公司的s t - c c 2 0 4 0 型数码 彩色摄像机。它采用了具有7 5 2 个水平像素的1 3 英寸行间传递c c d 图像传感 器及数字信号处理大规模集成电路，达到了高质量和高清晰度。 技术革新，尤其表现在探测器技术，内置可见光照相机，各种自动功能，分析软 件的发展等等，使得红外分析解决方案比以往更为经济有效。本研究过程是选用 f l i p 公司的t h c r m o v i s i o n t m a 4 0 m 红外热像仪。它是一款经济型的精确测温成 像系统，测得的波长范围是7 5 m 一1 3 1 z m ，可在- - 4 0 一+ 5 0 0 。c 之间探测到细 微至o 0 8 的测温变化。a 4 0 m 可以生成清晰分辨率热图像( 3 2 0 x 2 4 0 像素) ， 并可对每幅图像中多达7 6 ，8 0 0 个单独像素点进行测温。 ( 4 ) 图像采集卡 图像采集卡是连接摄像机和图像处理器的关键接口部件，其功能主要是完成 天津大学硕士学位论文第二章人脸识别的系统和算法介绍 对模拟视频信号的转换，使之成为图像处理器可以处理的数字视频信号。本研究 过程选用大恒的d h c g 4 0 0 视频图像采集卡。它具有使用灵活、集成度高、功 耗低等特点。适用于图像处理、工业控制、多媒体监控、办公自动化等领域。 2 2 人脸识别算法介绍 识别人脸主要依据某些在不同个体之间存在较大差异而对于同一个人则比 较稳定的特征。具体的特征形式随识别方法的不同而不同。早期研究较多的静态 人脸识别方法有基于几何特征的人脸识别方法豳和基于相关匹配的人脸识别方 法。目前，静止图像的人脸识别方法主要有三个研究方向：一是基于统计的识别 方法，包括特征脸( e i g e n f a c e ) 方法和隐马尔科夫模型( h i d d e nm a r k o vm o d e l ) 方法；二是基于连接机制的识别方法，包括一般的神经网络方法和弹住图匹配 ( e l a s t i cg r a p hm a t c h i n g ) 方法；三是其它一些综合方法或处理非二维灰度图像 的方法。下面分别介绍这些方法。由于本论文主要研究了基于统计的识别方法， 具体内容将在后面章节介绍。下面主要对其它用于人脸识别的主要算法进行介 绍： ( 1 ) 模板匹配方法 模板匹配法是一种经典的模式识别方法，这种方法大多是用归一化互相关， 直接计算两幅图像之间的匹配程度。由于这种方法要求两幅图像上的目标要有相 同的尺度、取向和光照条件，所以预处理要做尺度归一化和灰度归一化的工作。 最简单的人脸模板是将人脸看成一个椭圆，检测人脸也就是检测图像中的椭圆。 另一种方法是将人脸用一组独立的小模板表示，如眼睛模板、嘴巴模板、鼻子模 板、眉毛模板和下巴模板等。但这些模板的获得必须利用各个特征的轮廓，而传 统的基于边缘提取的方法很难获得较高的连续边缘。即使获得了可靠度高的边 缘，也很难从中自动提取所需的特征量。为此，用弹性模板方法提取特征显示出 其独到的优越性。弹性模板由一组根据特征形状的先验知识设计的可调参数所定 义。为了求出这组参数，需要利用图像的边缘、峰值、谷值和强度信息及特征形 状的先验知识设计合适的能量函数。参数向能量减小方向调整，当能量达到最小 时，这组参数对应的模板形状最符合特征形状。 p o g g i o 由和b r u n e l l i 专门比较了基于几何特征的人脸识别方法和基于模板 匹配的人脸识别方法，并得出结论：基于几何特征的人脸识别方法具有识别速度 快和内存要求小的优点，但在识别率上模板匹配要优于基于几何特征的识别方 法。增加几何特征对于基于几何特征的人脸识别方法只能轻微地提高识别率，因 天津大学硕士学位论文第二章人脸识别的系统和算法介绍 为要提高几何特征的提取质量本身就十分困难，而且随着图像质量的下降和人脸 遮挡的引入，基于几何特征的人脸识别效果会大幅下降。总之，认为模板匹配法 要优于几何特征法。 ( 2 ) 神经网络方法 神经网络技术已被用在人脸识别的研究中，它在诸如性别分类、脸部表情识 别和身份识别等方面已经有了越来越多的应用。 神经网络方法通常需要将人脸作为一个一维向量输入，因此输入节点庞大， 其识别重要的一个目标就是降维处理。早期用于入脸识别的神经网络主要是 k o h o n e n 自联想映射神经网络，用于人脸的“回忆”。所谓“回忆”是指当输入图像 上的人脸受噪声污染严重或部分缺损时，能用k o h o n e n 网络恢复出原来完整的人 脸。c o t t r e l l 等人使用级联b p 神经网络进行人脸识别，对部分受损的人像、光照 有所变化的人像，个人识别能力较好。i n t r a t o r 等人用一个无监督监督( b c m b p ) 混合神经网络进行人脸识别。其输入是原始图像的梯度图像，以此可以去 除光照的变化。无监督学习的目的是寻找类的特征，有监督学习的目的是减少训 练样本被错分的比例。这种网络比用b p 网络提取的特征更明显，所以识别率更高， 如果用几个网络同时运算，求其平均，识别效果还会提高。l a w r a n c e 和g i l e 等人 用一个自组织特征映射( s o m ) 神经网络与卷积神经网络结合的系统对一个有4 0 0 幅人脸图像、人均1 0 幅的数据库进行了人脸识别研究。其中s o m 网络的作用是将 图像样本量化到降维的拓扑空间，它使原空间中相邻的输入点在输出空间中仍相 邻。卷积网络用以实现相邻像素之间的相关性知识，从而在一定程度上实现了图 像平移、旋转、尺度和局部变形的不变性。l i n 和k u n g 将神经网络方法和统计方 法结合在一起，提出了一种基于概率决策的神经网络( p r o b a b i l i s t i e d e c i s i o n - b a s e dn e u r a ln e t w o r k ，p d b n n ) 用于识别人脸。其主要思想是采用虚拟 样本( 正反例) 进行强化和反强化学习，从而得到较理想的概率估计结果，并采用 模块化的网络结构加快网络的学习。这种网络结构继承了决策神经网络( d b n n ) 的结构，并如入概率变化。每个子网对应一个人，这种结构不仅有利于 j l l 练和识 别，而且有利于做硬件“儿删。 用于人脸识别的其他神经网络还有：用h o p f i e l d 网络进行低分辨率人脸联想 和识别；将r b f 与树型分类器结合起来进行人脸识别的混合分类器模型；采用统 计学习理论中的支持向量机进行人脸识别。在人脸识别中用得较多的另一种神经 网络是时滞神经网络( t i m ed e l a yn e u r a ln e t w o r k s ，t d n n ) ，它是m l p 的一种变形。 此外，由于单个神经网络有一定的局限性，现在出现了多模态韵神经网络，如t d n n 十r b f 等，即由两种类型的神经网络共同来完成人脸识别任务。 由于入脸处于高维空间，神经网络方法计算的复杂度较大。神经网络方法除 天津大学硕士学位论文 第二章人脸识别的系统和算法介绍 了用于人脸识别外，还适用于表情识别、性别识别、种族识别等。 ( 3 ) 弹性图匹配方法 弹性图匹配方法是一种基于动态链接结构( d y n a m i cl i n ka