（模式识别与智能系统专业论文）动态图像序列中的人脸识别.pdf

摘要 摘要 人脸识别作为一个跨学科的新兴研究领域，解决的问题可简单描述为：基于预先存 储的模板数据库，对给定某场景的静态图像或动态视频序列，自动识别或验证其中所含人 脸目标的身份。传统的工作主要集中在识别静态图像中光照条件良好的诈面人脸，并取得 了非常理想的效果。而基丁序列图像的动态人脸识别是近年来才逐渐受到学术界关注的方 向，该领域巾还存在很多理论与技术问题需要解决。 本文针对序列图像中人脸识别问题本身的特点进行了深入的研究，涉及到了许多图像 处理、模式识别、机器学习的基本问题，包括人脸检测和分割、目标定位、人脸纹理特征 抽取、子空问线性判别分析、多源数据融合、非线性数据约简( 流形学习) 、贝叶斯推理 等等。在本文中，主要的工作和贡献育： 提出了基于静态关键帧融合的序列图像人脸识别框架，并在其中的图像质量评价， 特征提取，鉴别分析，分类器融合等方面提出了具有针对性的算法。首先根据子空 间距离度量选择序列图像q 1 的关键帧，然后提取多通道g a b o r 特征，采用基_ 丁零空 问的线性判别分析进一步降维，晟后基于两缴融合框架输出最终识别结果。 提出了一种基于贝叶斯推理模型的序列幽像人脸识别框架并在小样本库上取得了 较为满意的识别结果。根据人脸模式在视频序列中连续变化的特点，采用流形学习 算法l l e 降维，并在低维空间上聚类形成姿态于流形。通过训练样本序列学习各子 流形之间的转移规律，在贝叶斯推理模型下求得最大后验意义下的识别结果。 总的说来，本文针对当前人脸识别领域主流方向之一的动态图像序列人脸识别作了有 益的探索。 关键词：动态序列图像中的人脸识别，g a b o r 特征，零空间线性判别分析，流形学习，贝 叶斯推理模型 第i 页 英文摘要 f a c er e c o g n i t i o nf t o md y n a m i ch 1 1 a g es e q u e n c e s a u t h o r ：w e if a l l s u p e r v i s o r ：y b n h o n gw a n ga n dt i e n i ut 柚 a b s t r a c t a sam u l t i d i s c i d l i n a r yr e s e a r c ha r e a ，a u t o m a t i cf a c er e c o g n i t i o nt r i e st os o l v e t h ef o l l o w i n gp r o b l e m s ： g i v e ns t i l lo rv i d e oi m a g e so fas c e n e ，i d e n t i f yo rv e r i f y o n eo rm o r ep e r s o n si nl h es c e n eu s i n gas t o r e dd a t a b 拍eo ff a c e 8 t r a d i t i o n a l w o r kh a sf o c u s e do nr e c o g n i z i n gf r o n t a lf a c e su n d e rn o r m a li l l u m i n a l i o nc o n d i “o n s f r o mas t i nj m a g e ，a 丑dc a no b t a j na8 a t j s f a c t o r yr e 8 u 】tn o w a d a y s h o w e v e r ，f a c e r e c o g n i t i o nf r o mi m a g e8 e q u e n c e s ，a s 帆a c t i v et o p i ci nc o m p u t e rv 诘幻n ，沁s t i ui n i t 8i n f a n c y ，a n dn e e d sm o r ee x p l o r a t i o n i nt h i st h e s i 8 ，w es t u d yf a c er e c o g n i t i o nf r o mi m a g es e q u e n c e 8w h i c hi n v o l v e s al o to fb a s i cp r o b l e m si ni m a g ep r o c e s s i n g ，p a t t e r nr e c o g n i t i o na n dm a c h m e l e a r n i n g ，eg f a c ed e t e c t i o n ，s e g m e n t a t i o na n d1 0 c a t i o n ，i a c i a lf e a t u r ee x t r a c t i o n ， l i n e a rd i 8 c r i m i n a n ta n a l v s i si ns u b s p a c e s ，m u l t is o u r c ed a t af u s i o n ，n o n l i n e a rd i m e n s i o n a l i t vr e d u c t i o n ，b a y e s l a ni n f e r e n c em o d e l ，e t c t h em a i nc o n t r m u n o n so f t h i st h e s i 8i n c l u d ef o u o w i n gi s 8 u e s ： w ep r o p o s eas j m p l eb u tc o n v e n j e 且tm e t h o di b rf a c er e c o g n i t j o nb yi n t e g r a t i n gr e s u l t sf r o ms e v e r a lk e yf r a m e si nav i d e o k e yf r a m e sa r ef i r s td e t e c t e d v i ad i s t 8 n c ef r o mf e a t u r es p a c e ( d f f s ) m e a s u r e ab a n ko fw e l l 一c h o s e n g a b o rn i t e r si sa p p i i e do nt h ei m a g et oc o n s t r u c tag r o u po ff e a t u r ev e c t o r s ， a n dt h e nt h en u l ls p a c e _ b a s e dl d a ( n l d a ) i sp e r f o r m e ds i m u l t a n e o u s l y o ne a c ho r i e n t a t i o nc h a n n e la n dt h eo r 远i n a li m a g et og i v e5c o m p o n e n t c l a s s i 丘e ro u t p u t s ，w h i c ha r et h e nc o m b i n e dt oi n c r e a s et h e 丘n a lr e c o g n i t i o n r a t e o n eo ft h eh a r dp r o b l e m 8i ni m a g es e q u e n c eb a s e df a c er e c o g n i t i o ni sh o wt o e e c t i v e l yc o m b i n ct l l ef a c i a lc o n f i g u r a t i o na n dt e 1 p o r “d y n a m i c sf o rt h e r e c o g n i t i o nt a s kt h ep r o p o s e dm e t h o dt r e a t st h i sp r o b l e mi nt w os t e p s w b 6 r s tc o n s t r u c ts e v e r a lv i e ws p e c m ca p p e a r a n c es u b m a n i f 0 1 d sl e a r n e df r o m t h et r a i n i n gv j d e of a m e su s i n gl o c a l b ，l i n e a re m b e d d j n g ( l l e )ag e n e r a l b a v e s i a ni i l f c r c n c em o d e li st h e l l6 to nt l l er c c o g i l i t i o nt 嬲k ，t r a n s f o r m i n g t h ec o m p l i c a t e dm a x i m u ml i k e l i h o o de s t i m a t i o nt os o m ee l e g a n td i s t a n c e m e a s u r e si nt h el e a r n e ds u b m a n i f o l d s i naw o r d i nt h i sm e s i s ，w eh a v em a d ea1 0 to ff r u i t f u la t t e m p t sa n ds 培n 墒c a n t p r o g r e s s e so nf a c er e c o g n i t i o nf r o mi m a g es e q u e n c e s k e y 、v o r d s ：f a c er e c o g n i c i o nf r o mi m a g e8 e q u e n c e s ，g a b o rf e a t u r e ，n u l ls p a c e b a s e dl i n e a rd i s c r i m i n a n ta n a l y s i s ，m a n i f o l dk a r n i n g ，b 呵e s i a ni n f e r e n c em o d e l 第i i 页 插图目录 插图目录 l l 人种生物特征在旅行文件机读系统中的兼容性评测结果【3 2 1 一般的人脸识别算法框图 2 2 弹性图匹配算法t f f 的人脸模式描述 3 1 序列图像人脸识别系统框架( 阴影部分为奉文涉及的t 作) 3 2 人脸检测的一般过程 ， 3 3f a ) 在r 3 中的一个二维子空间，矢量u l ，“2 为正交归一的基本矢量； ( b ) 矢量z 在l 上的投影与垂直残差 ， 3 4 ( a ) 奇g a b o r 函数空间域响应；( b ) 偶g a b o t 函数空间域响应；( c ) 对应 于( a ) 的频域响应幅度谱；( d ) 对应于( b ) 的频域响应幅度谱，、 3 5 ( a ) 多通道g a b o r 滤波器的空间域响应( 偶部) ；( b ) 多通道g a b o r 滤波 器的频域覆盖 3 6 3 7 3 8 3 9 4 1 4 2 4 3 4 4 4 _ 5 ( a ) 一副人脸图像的多尺度g a b 。r 滤波图像；( b ) 多通道将采样模板 基于两级融合算法的框架结构 ， f e r e t 人脸图像示例 ， n l p r 序列人脸图像库示例 人脸动态信息一般分为三种情况：刚体的头部运动( 上) ，非刚体的面 部衷情变化( l ，) ，以及上述两者的结合( 下) l l e 算法对三维空间中二维流形的数据约简效果。( a ) 算法必须揭示 流形结果的内在全局坐标( 二维) ；( b ) 和( c ) 对应与某一数据点 的相同邻域在数据约简前后的分布。 ， l l e 降维后的入脸序列样本分布( 前三维) ，该序列对应于一个人在摄 像头前任意选择其头部约3 0 秒。 本实验中采用的视频序列。分别对应于两个人的训练( 左) 和测试 ( 右) 样本。 ， 后验概率p ( w l ，l ：) 随时间的变化曲线( 对应于图4 4r l t 的两个人) 。此 处只显示了7 个最可能的候选对象的曲线。从闰中非常明显的看出，真 实身份( 用红线表示) 总是能在最后超越其他候选身份凸现出来。 第v 页 4 6 4 8 5 1 5 2 0 0 n 拈烈 行 n 驼耵聃驵 表格目录 表格目录 1 1 人脸识别技术的些典型应用实例 1 2 一些商用人脸识别系统 2 1 人脸识别主要研究机构。览 2 2 一些主流的人脸数据库 3 1 一些常见的融合方法和具体公式 3 2 不同融合方法及单g a b o r 通道的识别率( 1 。 3 3 不同方法在f e r e t 库上的识别率比较。 4 1几种算法识别率的比较( ) ，用k = 9 个聚类。 第v i 页 0 0 加掩 鹊 独创性声明 本人声明所递交的论文是我个人在导师指导下进行的研 究i ：作及取得的研究成果。爆我所知，除了文中特别加以标 注干敛酣f l j 地办夕p ，论文l 一不包含其他人l 二经发表或撰丁j 过 的研究成果。b 我一同工作的i 刊志对本研究所做的任何贡献 均已在论文中作了明确地说明并表示了谢意。 签名：姒拯 日期： 1 加f r 、；o 关于论文使用授权的说明 木人完全，解巾旧科学院自动化研究所有关保留、使川 学位论文的规定，h 目：巾同科学院自动化研究所有权保留送 交论文的复印件，允许论文被查浏和借阅；可以公布论文的 全部或部分内容，可以采用影印、缩印或其他复制于段保存 论文。 签名：笾选导师签名：妞日期： 动态图像序列中的人脸识别 第一章引言 5 1 1 研究背景及意义 在过去的几十年间，人脸识别技术( f a c er e c o g n i t i o nt e c h n o l o g y ，f r t ) 作为图像分析、理解研究的成功应用之一，正逐渐引起计算机视觉领域科研人 员和信息安全产业界人士的极大关注。由于问题本身的特殊性和复杂性，人脸 识别已不再局限于计算机科学研究的单一范畴，越来越多的神经科学家、心理 学家也对该技术表现出了浓厚的兴趣。目前学术界普遍赞同的观点是，计算机 视觉在人脸识别技术上的突破会带给探索人脑认知机制的神经科学家、心理学 家某些新的启发，反之亦然。因此，当前人舱识别研究的不少最新进展已开始 涉足交叉领域相瓦借鉴的方法。一些神经科学、心理学在木领域的相关研究可 参阅文献 1 】 2 】。本文的重点将放在工程实现意义上的计算机自动人脸识别，简 称人脸识别。该技术要解决的问题可简单描述为：基于预先存储的模板数据 库，对给定菜场景的静止图像或动态视频序列，自动识别( i d e n t i f i c a t i o n ) 或 验证( v e r m c a t i o n ) 其中所含人脸目标的身份。 人脸识别的研究始于二十世纪六十年代中后期，随着信息技术的迅猛发展 和人们对社会安全的逐渐重视，近年来，得到了国内外各知名大学、研究机 构、l t 公司、乃至政府的大量项目支持。人脸识别研究的重要意义，突出表现 在其对学科发展的贡献和潜在的广阔应用前景两个方面。 5 1 1 1 人脸识别研究对相关学科的促进 人脸识别作为一个跨学科的新兴研究领域，为模式识别、图像处理、分析 与理解、计算机视觉、人工智能、机器学习、人机交互、计算机图形学、认知 科学、神经计算、生理学、心理学等多种学科提供了一个良好的具体问题，有 利于构建这些学科领域的基础实验平台，并以此之为基础尝试新方法，验证新 理论，解释新现象。因此，人脸识别问题的深入研究和最终解决，可以极大的 促进这些学科的发展和成熟。例如，作为一个典型的模式识别问题，它面临许 多板具挑战性的困难：模式种类数目庞大，类间差别非常微妙，类内差别极不 第1 页 第一章引言 稳定。这一点由于数据采集过程的噪声、成像设备的精度、外界条件的变化以 及数据缺损等原因而显得更加突出。再如，作为一个计算机视觉的应用问题， 如何融合人脸的一般性先验形状信息和实际观测到的图像数据来准确的恢复特 定人脸的三维结构，也是一个非常有价值的研究课题。从机器学习的角度出 发，如何将具有坚实理论基础的统计学习算法应用于真实物理世界中的具体问 题，提高系统的鲁棒性和推广能力，对于拉近基础研究与应用实践的距离具有 重要的指导意义。此外，人脸识别还将是下一代智能计算环境的重要组成部 分。它的最终解决可以极大的改善目前呆板、不方便的人机交互环境，代之以 自然、友好、舒适、智能的用户界面，从而在一定程度上改变人们的生活方 式。 1 1 2 人脸识别研究的广阔应用前景 人脸作为一种普遍的视觉模式，隶属于人体生物特征( b i o m e t r i c s ) 的范 畴。它在身份认证，信息安全，视觉监控等领域拥有j “阔的应用前景。从严格 控制采集条件下识别照片中的人脸身份，到复杂成像条件下实时追踪监控视频 中的嫌疑目标，不同应用的特殊限制和实际需求为人脸识别研究带来了不同的 技术挑战和表现形式。表1 1 列举了人脸识别技术的一些典型应用实例。一些商 用的人脸识别系统在表1 2 中列出。 表1 1 人脸识别技术的一些典型应用实例 身份鉴j j l j 驾驶执照、护照、身份证、智能卡中的身份认证；楼宇、机场、海关等 的进出安全控制；自动考勤系统；旅游景点数字门票系统等 信息安全 计算机登录控制；数据库安全访问：文件加密；应用程序安全使用；局 域网和j 域网的控制；电子商务安令性保护等 智能人机界面根据特定人脸像信息提供个性化操作环境；表情控制计算机工作等 法律与监控 商场、会议厅等场所的智能视觉监控：嫌疑犯追捕与调查：案情事后分 析等 诚然，凭借模式自身的稳定性和强鉴别能力，以指纹、虹膜、视网膜为代 第2 页 动态图像序列中的人脸识别 表1 2 一些商用人脸识别系统 f h c e i tf r o mv i s i o n i c s h t t p ：w w w f a c e i tc o m v i i s a g et e c h n 0 1 0 9 yh t t p ：w w wv i i s 8 9 ec o m r 粥e v a c sf r o mp l e t t a c h t t p ：w w wp l e t t a c _ e l e c t f o n i c s c o m f a c e k e yc o r ph t t p ：w w w f a c e k e 斗c o m c o g n i t e cs y s t e m sh t t p ：w w w c o g n | t e c _ 8 y s t e m sd e k e y w a r et e c h n 0 1 0 9 i e sh t t p ：w w wk e y w a f e u s a c o m p a s s f 矗c e sf r o mi d 一盯s h 肫p ：w w w i 小8 r s c o m i m 皑e w a r es o h a r eh t t p ：w w w i w s i n cc o m e y e m a t i ci n t e r f a c e si n ch t t p ：w w w 。y e m a t i c c o m b i o i ds e n s o tf l l s i o n h t t p ：w w wb i o i dc o m v i s i o n s p h e r et e c i l n 0 1 0 9 i e sh t t p ：w w wv i s i o n s p h e r e t e c hc o m m e n u h t m b i o m e t r i cs y s t e m s ，i n c h t t p ：w w w - b j o m e t r i c a c o i n f a c e s n a pr e c o d e rh t t p ：w w wf a c e s n a p d e h t d o c 昌e n g h s h i n d e x 2h t m l 表的一批生物特征已经或即将为各种应用提供成熟、可靠的解决方案。然而近 年米，用户需求的多元化和具体环境的差异性同样催生了许多基于人脸识别技 术的应用系统。与强鉴别能力的生物特征( 如：指纹、虹膜) 相比，人脸识别 的优势集中体现于其主动性、非侵犯性和友好的用户接口，因而在生物特征识 别领域直拥有不可替代的地位。例如 3 】，图1 1 中列举了六种生物特征( 人 脸、指纹、手形、卢纹、虹膜、笔迹) 针对旅行文件机读( m a c h i n er e a d a b l e n a v e ld o c u m e n t ) 系统的兼容性评测结果，人脸识别的性能表现非常突出。这 一评估基于六项原则：注册，更新，冗余度，用户感觉，存储需求 j 性能，对 机器辅助的认证( 识别) 需求。对于一个自动识别系统，我们希望它在用户不 配合的情况下仍然能成功捕获其鉴别信息，这也恰恰是人脸，步态等非接触性 生物特征的优势所在。 第3 页 第一章引言 图1 1 六种生物特征在旅行文件机读系统中的兼容性评测结果f 3 1 2 序列图像人脸识别的问题描述 在过之的5 到8 年间，基于序列图像的人脸识别问题引起了学术界的特别关 注4 。所谓序列图像人脸识别，也可称为动态人脸识别，从广义的角度讲， 它涵盖了一套全自动的人脸识别系统从检测、定位、跟踪到识别的整个过 程。与静态图像人脸识别相比，其最大的特点体现在测试数据并非单幅或多 幅孤立的静止图像，而是连续不断的相关视频帧。在此基础上，文献f 5 1 又根 据模板数据的类型将动态人脸识别分为两种常见情况：从静态到动态的人脸 识别( s t 非t o v i d e or e c o g n i t i o n ) ，从动态到动态的人脸识别( v i d e 0 - t o v i d e o r e c o g n i t i o n ) 。 静态图像中的人脸识别有其自身的优势与不足。在驾驶执照、通关护照检 查等应用场合，由于严格控制了成像环境，图像预处理中的人脸分割环节并不 困难。但是对于复杂场景( 如：机场大厅，会场入口等) ，如果仅仅提供一幅 静态图像用于系统分析，任何先进的人脸自动定位、分割算法都会面临巨大的 挑战。在这种情况下，若有一段视频序列可资利用，移动目标的分割复杂度就 会大为降低，因为图像帧之问的运动信息在这里扮演了极其重要的角色。当 然，序列图像中的人脸识别也存在图像分辨率低、成像模糊等难以避免的缺 第4 页 动态图像序列中的人脸识别 陷。关于学术界在动态人脸识别方面的最新算法与文献，第二章会作详细介 绍。 1 3 论文的定位和研究思路 基于上述分析，本文将研究定位于结合人脸模式自身的结构特点，寻找有 效利用序列图像中动态信息的途径，从而达到增强人脸识别的目的。_ 丰要原因 如下： a ) 人脸模式变形大而复杂，相比之下模式类间的差别却较小。作为一种普 遍的生物特征，不同人的面部图像在整体上拥有相似的基本布局。对于直立正 面人脸图像而言，从上至下一般都经过额头、眼睛、鼻子、嘴唇、下颌等部 位，每个部位内部和彼此之间都基本遵循一般的规则和结构。如果经过位置和 尺寸校准，则各部位在图像中所处位置和尺寸也大体相当，相差不大。因此， 只有准确提取反映不同人脸之间的内在鉴别信息，才能有效的区分不同个体的 固有差异。这种差异，不是来自于复杂多变的外界环境，如：光照、视点、表 情、成像设备等因素，而纯粹源于人脸模式本身。即便是在动态场景中，不断 变化姿态的人脸也会在某些特定时刻以最佳的角度提供自身的鉴别信息。然而 这种鉴别信息的提取是无法象早期人脸识别研究者想象的那样，仅靠预先定义 的有限几个面部特征点的几何关系所完全解决的。目前，学术界主流的研究思 路是依靠统计学习的方法，同时结合各种图像处理和滤波器设计技术，提取最 具区分能力的人脸特征。 b ) 动态人脸识别有其自身的特点。本文前面亦曾提到，视频带给我们的 是连续不断的图像序列，相对于单幅静态图像，其中包含的动态时间信息是有 助于提高最终识别率的。尽管人脸的运动模式本身并不能作为稳定的生物特征 ( 这一点不同于步态等其他行为特征) ，但运动过程中人脸姿态的连续变化可 以看作具有马尔可夫性的动态过程，该信息的有效利用可以从数据融合的角度 提升基于单帧图像的识别系统的综合性能。 综上所述，在本文的研究思想中，前端的重点在于抽取大量的、表达能力 强的、包含重要鉴别信息的人脸特征，中间的处理环节则在缓解“维数危机” 的同时，尽可能地保留有用信息( 即寻找最佳降维方法) ，去除噪声、干扰等 非相关凼素的影响，使信息能量表达更加集中；而后端的处理则兼顾序列图像 第5 页 第一章引言 中的时问信息，将动态人脸识别纳入统一的概率推理框架中。 1 4 论文的结构安排 在结构安排上，本文将遵循由简入繁的原则进行组织： 第二章主要介缁人脸识别综述及所引发的对论文工作的思考，期望通过对 这一领域的历史发展与已有算法的综合叙述，总结对人脸识别研究的基本观点 与基本研究思路，指导作者的论文工作。 第三章则从传统的静态人脸识别方法入手，提出并实现了基于关键帧融合 的序列图像人脸识别系统。在阐述它的整体结构的基础上，提出了人脸图像特 征g a b o r 的提取与选择，基于零空间线性判别的降维方法，以及多帧图像识别 结果的数据融合。从而为动态人脸识别的研究提出一种实用可靠的计算模型。 第四章讨论如何合理应用视频序列中的时间信息和人脸运动特性，提高视 频中人脸识别系统的性能和稳定性。本章在依次分析动态信息组成特点，人脸 样本在图像空间中轨迹分布的基础上，采用当前主流的非线性降维方法l l e 以 及传统的k 均值聚类针对视频序列人脸分布的特点建立不同姿态簇的近似线 性描述并结合贝叶斯概率推理模型实现了一个全新的动态人脸识别系统。该 算法鉴于人脸样本本身近似于流形分布的思想，同时注意到视频中人脸变化的 马尔可夫性，为动态人脸识别研究中时问信息的利用提出了一种值得尝试的方 案。 第五章将总结本文的研究成果与创新点，并展望未来工作。 第6 页 动态图像序列中的人脸识别 第二章人脸识别研究综述 本章将对计算机人脸识别技术在目前国际学术界的研究现状作一个概 述。先从传统的基于静态图像的人脸识别算法入手，初步探讨了自动人脸 识别的一般计算框架，并按照人脸识别算法的发展历程，对各个阶段的研 究特点以及代表性方法进行了较为详尽的介绍。然后，重点讨论与本文 研究密切相关的序列图像人脸识别技术的最新研究进展，包括从多个角 度灵活运用动念信息，强化识别性能的各种方法，其中大部分算法发表 于近五年来的主流学术期刊和国际会议( 如：i e e en a n s 8 c t i o n so np a t e r n a n a l y 8 i sa n dm a c h i n ei n t e l l i g e n c e p a m i ， i n t e r n a t i o n a lc 叽f e r e n c eo nc o m p u t e r v i s i o n i c c v ， i n t e r n a t i o n a lc o n f e r e n c ed nc o m p u t e rv i s i o na n dp a t t e r nr e c o 廿 n i t i o n c v p r ，e u r o p e a nc o f e r e n c eo nc o m p u t e rv i s i o n e c c v 等) 上。人脸 识别研究中尤为重要的数据库建立和性能评测标准将在第凹节专门介绍。最 后，本文总结了当前计算机自动人脸识别研究中的难点及问题所在，并提出本 文工作的思考。 2 1 人脸识别概述及其发展现状 2 1 。1 人脸识别概述 通常我们所说的人脸识别是基于光学人脸图像的身份识别与验证的简称。 光学人脸图像( 以下简称人脸图像) 是外界光源( 包括太阳光、室内人造光源 和其他物体表面反射而来的光线) 发出的光线照射在人脸上，经人脸表面反射 后传播到摄像机传感器的光线强度的度量。不难理解，这一成像过程实际上涉 及到人脸内部属性，外部成像条件，摄像机成像参数等三大类关键要素的综合 作用。而人脸识别技术就是指让计算机自动提取某种能描述每个人个性的特 征，然后用一种距离度量的方法或分类方法，识别或认证被测试人脸图像和数 据库存储的人脸图像之间的关系。作为一个典型的模式识别问题，它主要由在 线训练和离线测试两个过程组成( 参见图2 1 ) 。 在人脸识别中，特征的分类能力、算法复杂度和可实现性是确定特征提取 第7 页 第二章人脸识别研究综述 图2 1 一般的人脸识别算法框图 方法需要考虑的因素。所提取特征对最终分类结果有着决定性的影响。分类器 所能实现的识别率上限就是各个类的特征问最大可区分度。因此，人脸识别的 实现需要综合考虑特征选择、特征提取和分类器设计。 5 2 1 2 人脸识别的历史，发展及现状 人脸识别的研究历史是比较悠久的，g a l t o n 早在1 8 8 8 年和1 9 l o 年就分别 在n a t u r e 杂志发表了两篇关于利用人脸进行身份识别的文章，对人类自 身的人脸识别能力进行了分析，但当时还不可能涉及到人脸的自动识别问 题( a u t o m a c i cf a c er e c o g n i t i o l l ，a f r ) 。最早的a f r 的研究论文见于1 9 6 5 年c h a n 和b 1 e d s o e 在p a n o r a m i cr e s e a r c hi n c 发表的技术报告f 6 1 ，到现在己有三 十多年的历史。早期的人脸识别算法丰要基于几何特征或模板匹配f 7 ，8 1 。基于 几何特征的人脸识别方法利用面部特征点的大小、位置、距离、角度和形状等 几何参数作为特征进行人脸识别。模板匹配法利用相关匹配比较待识别图像和 标准模板从而识别人脸。 经过多年研究，目前学术界已形成了人脸识别的几个主流研究方 向 3 ，9 ，1 0 ，1 1 1 ：基于丰元分析的特征脸( e i g e n f a c e ) 方法 1 2 、基于f i s h e r 线 性判别分析的f i s h e r 脸( f i s h e r f a c e ) 方法1 3 1 、弹性图匹配法( e l a s t i cg r 印h m a t c h i “g ) 1 4 以及局部特征分析法( l o c a lf e a t u r ea n a l y s i s ，l f a ) 1 5 0 特征 脸方法作为一种比较成功的人脸识别技术掀起了人脸识别研究的第二次高 第8 页 动态图像序列中的人脸识别 潮3 ，9 1 。f i s h e r 脸方法在特征脸方法的基础上，引入类内共性和类问差昴的分类 信息，使得投影子空间适用于分类问题。弹性图匹配法是一种解决脸像多姿态 变化问题的基于局部信息的人脸识别方法。局部特征分析力法考虑了面部局部 特征的信息以及它们之间的拓扑关系。 9 0 年代期间，人们还提出了各种h m m f l 6 ，1 8 1 ( h i d d e nm a r k o vm o d e l ) 算 法和模型参数法。h m m 借自语音识别领域，它采用隐含马尔可夫模型描述人 脸图像，认为人脸图像各部分之间也存在隐性的状态转移。例如，一幅正面 直立人脸图像从上之下总是依次经历额头、眼睛、鼻部、嘴唇和下颌。这种 隐性的状态转移关系用h m m 模型参数描述，通过样本训练获得，最后依据最 大似然进行识别。模型参数法则采用一些模型的参数描述人脸，如a a m f l 9 2 5 i ( a c t i v ea p p e a r a n c em o d e l ) 、f a m 2 6 1( f l e x i b l ea p p e a r a n c em o d e l ) 等。与 前面各种方法显著不同的是，这里的模型参数法中的特征为模型参数，且一般 结合灰度与外形轮廓信息。 上述模板匹配、子空间分析、弹性图匹配、局部特征分析、h m m 以及模 型参数均为基于图像的方法，是自1 9 9 0 年至今的主流算法。除此之外，当人脸 识别发展至9 0 年代后期，逐渐出现基于3 d 的识别算法( 3 dp e r i o d ) 。一些算 法本身采用三维描述，如变形亮度曲面f 2 7 ，2 8 1 ( d e f o r m a b l ei n t e n s i t ys u r f a c e ) 采用水平位置、垂直位置、亮度所构成三维空问中的网格曲面( i d t e n s j w s u r f a c e ) 来描述人脸图像。另一些算法则通过二维图像建立三维模型，并 借助三维模型生成各种光照、姿态下的合成图像，应用合成图像增强识 别 2 9 ( a n a l y s i sb ys y n t h e s i s ) 。这类方法目前由于3 d 模型难以准确建立，尚 未进入实用阶段，但在理想条件下取得不错的实验结果，代表一个未来的新兴 研究方向。 过去的5 到8 年问，除了3 d 人脸识别技术异军突起之外，基于序列图像的人 脸识别问题引起了学术界的特别关注f 4 1 。与静态图像人脸识别相比，其最大的 特点体现在测试数据并非单幅或多幅孤立的静止图像，而是连续不断的相关视 频帧。从历史上看，早期的动态人脸识别算法1 2 ，3 0 ，3 1 1 的核心依然沿袭了经典 的单帧识别技术。也就说，系统自动从视频序列中检测并分离出人脸区域，然 后调用成熟的静态人脸图像分析算法输出最终的识别结果。最近几年，研究人 员开始关注如果在识别过程中有效引入时间信息，提出建立人脸的“联合时空 第9 页 第二章人脸识别研究综述 描述” ( aj o i n tt e m p o r “a n ds p a t i a ld e s c r i p t i o n ) 模型3 2 3 4 1 。 综上所述，人脸识别的发展历程从早期基于特征点的方法已发展为目前丰 流的基于图像的方法，并开始走向基于3 d 的算法。虽然二十多年前，人脸识 别曾经被认为是人工智能和计算机视觉中最困难的研究领域之一，但是，在过 去的十余年里，由于人们对模式识别原坪和图像生成过程有了更深的认识，以 及人脸本身所特有的特征与所表现的规则性在识别中的运用，再加上计算机硬 件、小波分析、神经网络、自适应技术的发展，人脸识别研究得到了诸多研究 人员的青睐，涌现出了诸多技术方法。尤其是1 9 9 0 年以来，人脸识别更得到了 长足的发展，关于人脸分析的学术交流也非常活跃。在一些重要的国际会议上 如：国际计算机视觉会议( i c c v ) 、计算机视觉与模式识别会议( c v p r ) 、 计算机图形学大会( s i g g r a p h ) 等都设有人脸分析的专题。还有专门的国际会 议，如：国际人脸与姿态识别会议( f g r ) 等。在国际权威杂志上诸如：国 际计算机视觉杂志( i j c v ) 、i e e e 模式分析与机器智能( p a m i ) 、模式识别 ( p r ) 等，每年都有许多关于人脸分析研究的最新成果的文章。 表2 1 人脸识别主要研究机构一览 m i tm e d i al a b h t t p ：w w wm e d i a m i te d u c a r n e g i em e l l o nu n i v h t t p ：h i d 订c m ue d u h t t p ：w w wc b c c m ue d u u n i vo fs o u t h e r nc a l i f o r n i a h t t p ：w w w c su s ce d u m a r y l a n du n i vc o m ph t p ：w w wc f a r u m de d u r o c k e f e l l e ru n i v h t t p ：v e n e z i a 皿c k e f e l l e re d u p u r d u eu n i v r o b o tv i s i o nl a b h t t p ：r v l w w we c p u r d u ee d u r v l c a m b r i d g eu n i vh t t p ：w w wu k r e s e a 托ha t t c o m u n i vo fs u r r e y h t t p ：w w w e e s u r r e h a cu k h e l s i n k iu n i v h t p ：w w w c i s h u t 右 g g em a s o nu n i v e r s i t yh t t p ：c sg m ue d u 第1 0 页 动态图像序列中的人脸识别 现在，几乎所有知名的理工科大学和i t 产业的主要公司都有研究组在从事 人脸识别的研究。表2 1 列出了目前国际上主要的人脸识别研究机构。除此之 外，九十年代中后期以来，在国家自然科学基金n s f c 、8 6 3 计划等资助下，国 内众多研究机构的研究组开始对人脸识别进行研究，主要研究组包括：清华大 学计算机系，电子系，自动化系，哈尔滨工业大学计算机系和中科院自动化 所，中科院计算所，北京交通大学，南京理工大学，中山大学，南京大学，北 京工业大学，上海交通大学，北京大学，浙江大学，西北工业大学，西安交通 大学，复旦大学，中国科技大学，中科院卢学所等单位。这些研究组都在人脸 检测、特征提取与识别方面进行了许多有意义的尝试，积累了宝贵的经验。 2 2 基于静态图像的人脸识别算法综述 从人脸识别领域的历史与发展可看出，人脸识别算法众多，且思路迥异， 各存优劣，前后涉及模式识别、图像处理、计算机视觉、人工智能、机器学 习、神经嘲络、小波分析、子空间理论、神经生理学等多门学科。我们按照特 征提取和选择方法的不同，以及出现的时间顺序，把它们分为三大类：1 ) 早期 的几何特征方法和模板匹配方法；2 ) 神经网络方法；3 ) 统计方法。其中的分 类只是相对的，有些方法可能也可以交叉存在，尤其是作为当前研究主流的统 计方法出现了很多复杂的分支。下面将着重介绍人脸识别中一些具有代表性的 典型方法：几何特征方法和模板匹配、子空间分析、弹性图匹配、局部特征分 析、h m m 模型、模型参数法。 2 2 1 几何特征和模板匹配方法 最早的人脸识别方法就是基于几何特征的方法3 5 】，它的基本思想是提取 人脸面部具有代表性的部位( 例如眉毛、眼睛、鼻子、嘴巴等) 的相对位置和 相对大小作为特征，再辅以人脸轮廓的形状信息，来对人脸进行分类和识别。 从物理意义上很容易理解，它的可靠性完全依赖于几何特征的提取。在实际应 用中，几何特征提取是个很难的问题，很容易受诸如：光照、遮挡等噪声的影 响。另外，这些几何特征本身也容易受姿态和表情变化的影响，所以它的准确 识别率不高。目前几乎已没有人单纯利用几何特征来研究人脸识别，有时可能 会用它来作为辅助性的特征。 第1 1 页 第二章人脸识别研究综述 模板匹配方法是模式识别中最简单的一种模式分类方法。在人脸识别中， 就是把数据库的人脸图像看成是已知的模板，然后根据计算待识别图像和已知 模板问的相关性大小来分类。b r u n e l “等3 6 1 详细比较了几何特征方法和模板匹 配方法，实验结果表明模板匹配方法优于基于几何特征方法。但是模板匹配方 法的计算量较大，另外除了光照、表情以外，图像的平移、旋转和放缩也会严 重影响模板匹配中互相关的计算。 2 2 2 子空间分析 子空间分析( s u b s p a c ea n a l y 8 i s ) 方法是统计方法中的一种。它的思想就 是把商维空间中松散分布的人脸图像，通过线性或非线性变换压缩到一个低 维的子空间中去，在低维的子空间中使人脸图像的分布更紧凑，更有利于分 类。另外，也使高维的计算减小为低维计算。主元分析是最早被引入到人脸 识别的子空间方法1 2 ，37 。在它的成功应用之后。子空问方法便成为了人脸识 别的主流方法之一。其中基于主元分析的特征脸1 2 和基于f i s h e r 线性判决分析 的f i s h e r 脸方法 3 8 4 0 在f e r e t 测试 4 1 中都取得了很高的评价。本文的大部分 内容也是以子空间方法为主线，所以在此不做进一步介绍，详细情况见本文后 面的章节。 2 2 3 弹性图匹配 弹性图匹配方法是基于神经网络的人脸识别方法之一，其基本思想体现在 所谓动态连接结构( d y n a m i cl i n ka r c h i