（通信与信息系统专业论文）基于尺度不变特征的人脸识别.pdf

关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论 文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采 用影印、缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解 密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 论文注释：本学位论文不属于保密范围，适用本授权书。 l j 、 j ， 【 6 ， 更有一些难点问题，如复杂光照及姿态下的人脸识别问题。而进行 这些研究都要基于合适的特征才能进行，因此，本文致力于寻找已 有特征如何在人脸识别中获得更好应用的途径以及发现新的可用 于人脸识别的特征。主要贡献如下： 1 可变光照下的人脸识别是一个难点问题，要在可变光照下进 行有效的识别，归一化图像是十分必要的，而这其中眼睛定位是核 心问题。本文提出了一种利用e i g e n f e a t u r e 和g a b o r 特征模板组来 进行人眼定位的方法。采用了分步定位的思想，先定位一些候选的 双眼位置，然后对候选位置进行筛选匹配，最终定位瞳孔的位置。 在不同定位阶段我们使用了不同的特征以发挥特征自身的优势来 协同完成复杂光照下的人眼定位这一问题。 2 g a b o r 特征是在人脸识别中十分有效的识别特征，其多分辨率 的特性使得对图像特征的表达能力很强，然而由于过高的特征维 数，使得这一优秀的特征在应用中受到了一定的限制。本文提出了 一种g a b o r 幅值点特征选择的方法，在g a b o r 特征提取的时候就对 其进行筛选，从而大大降低了特征的维数，使得g a b o r 特征的运算 摘要 和应用更加方便，并且这一选择算法很好的保持了g a b o r 特征的分 类性能。实验显示了它优于同类算法的性能。 3 本文将s u r f ( s p e e d - u pr o b u s tf e a t u r e s ) 特征引入到人脸识别 当中，s u r f 特征是由h e r b e r tb a y 提出的一种尺度旋转不变特征。 同经典的s i f t 特征相比，s u r f 的运算速度明显快于s i f t ，而其 性能也同s i f t 相当。由于s u r f 特征是由点的局部特征构成，那 么如何利用这些点的特征来进行人脸图像的识别是本文所研究的 问题。我们提出了利用点匹配结果以及与结果相关的辅助信息设计 相似度评价函数来进行人脸识别的方法，成功将这一特征引入到人 脸识别问题应用中，获得了与s i f t 特征基本相同的识别率和明显 更快的特征提取和匹配速度。 4 论文对于人脸识别中的一大难点，即多姿态条件下的人脸识别问 题进行了研究。提出了一种基于两个姿态样本建立的模型来实现多 姿态下人脸识别的方法。该方法将s i f t 这一在深度旋转上有一定 不变性的特征，通过特征池的概念转化成为相关特征向量来进行人 脸的分类识别，从而避免了多姿态人脸识别中常要面对的姿态估计 问题；同时为了解决少量样本建模产生的问题，利用人脸在旋转时 特征变化的共性规律，提出了个体分类器和整体分类器相互补充的 分类方法。实验表明，使用同一数据源( 采集条件相同) 图像进行 训练和测试时，对于多姿态人脸的识别，算法取得了相当不错的表 现；当使用不同数据源( 采集条件相差较大) 图像进行训练和测试 时，性能有所下降，但仍显示了一定的潜力。 u r f 摘要 l i l i n t e r n a t i o n a lf o c u si nr e c e n ty e a r s h o w e v e r , f a c er e c o g n i t i o nr e s e a r c h f a c e s m a n yp r o b l e m s ，s u c h a sf a c el o c a t i o ni n i m a g e ，f a c e n o r m a l i z a t i o n ，f e a t u r e se x t r a c t i o na n ds o m em o r ec h a l l e n g i n gp r o b l e m s u c ha sc o m p l e xi l l u m i n a t i o na n dp o s e w h i l ea l lt h e s er e s e a r c hw i l l b a s e do nf i tf e a t u r e s ，t h i sp a p e ri sc o m m i t t e do nf i n d i n gb e t t e rw a y s u s i n ge x i s t i n gf e a t u r e sa n de x p l o r i n gn e wf e a t u r e si nf a c er e c o g n i t i o n f i e l d n em a i nc o n t r i b u t i o ni sa sf o l l o w s ： 1 f a c er e c o g n i t i o nu n d e rv i s i b l el i g h ti sad i f f i c u l tp r o b l e m ，f a c e n o r m a l i z a t i o ni s n e c e s s a r yi fe f f e c t i v ef a c er e c o g n i t i o n i sa v a i l a b l e u n d e rv i s i b l el i g h t ，w h i l ee y el o c a t i o ni st h ek e yp r o b l e m t h i sp a p e r p r o p o s e san e we y el o c a t i o n m e t h o du s i n ge i g e n f e a t u r ea n dg a b o r f e a t u r et e m p l a t e b yi d e ao fs t e pl o c a t i o n ，c a n d i d a t ee y ep o s i t i o n sa r e l o c a t e df i r s t l y , t h e nt h e s ec a n d i d a t ep o s i t i o n sa r ef i l t e r e d ，f i n a l l yt h ee y e p o s i t i o ni sd e t e r m i n e d d i f f e r e n tf e a t u r e sa r eu s e di nd i f f e r e n tl o c a t i o n s t e pt op l a ya d v a n t a g eo ft h e i ro w nc h a r a c t e r i s t i c si nf i n i s h i n ge y e l o c a t i o np r o b l e mu n d e rc o m p l e xi l l u m i n a t i o nc o l l a b o r a t i v e l y a l g o r i t h m s 3 s p e e d - u pr o b u s tf e a t u r e s ( s u r f ) i sas c a l ea n di n - p l a n e r o t a t i o ni n v a r i a n tf e a n t u r ew i t hc o m p a r a b l eo re v e nb e t t e rp e r f o r m a n c e w i t hs i f t b e c a u s es u r ff e a t u r ei st h el o c a lf e a t u r eo ft h ei n t e r e s t p o i n t s ，h o wt ou s et h e s ef e a t u r ev e c t o r st or e c o g n i z ef a c ei st h eb a s i c p r o b l e m w ep r o p o s e das i m i l a r i t yf u n c t i o nt oe v a l u a t et h es i m i l a r i t yo f t w of a c ei m a g e su s i n gt h er e s u l ti n f o r m a t i o no ft h ep o i n tm a t c h t h i s m a d eu st o e x p l o i ts u r ff e a t u r e si nf a c er e c o g n i t i o ns u c c e s s f u l c o m p a r ew i t hs i f tf e a t u r e s ，s u r fh a v eo b v i o u s l yl o w e rt i m e c o n s u m p t i o na n ds i m i l a rr e c o g n i t i o np e r f o r m a n c e 4 m u l t i - p o s er e c o g n i t i o ni sac h a l l e n g ep r o b l e mi nf a c er e c o g n i t i o n w eh o p eu s ef e wt r a i n i n g s a m p l e st oa c h i e v eh i g h e rr e c o g n i t i o n p e r f o r m a n c e i nt h i st h e s i s ，t h es i f tf e a n t u r ei sc o m b i n ew i t ht h e r r e l a t e df e a t u r e s ，a n dc h a n g et h ep r o b l e m 。参， 一 a b s t r a ( ? r f r o mr e c o g n i t i o nd i f f e r e n tp o s ei m a g et oc l a s s i f i e rt h ec o r r e l a t e d f e a t u r e s t oc l a s s i f i e rt h ec o r r e l a t e dc o r r e c t l y , w ep r o p o s et h es v m c l a s s i f i e ro f s u b - s p a c ec l a s s i f i e r a n ds v mf u l l s p a c ec l a s s i f i e r a f e a t u r e ss e l e c tm e t h o di su s e dt ou n i f o n nt h ef e a t u r ed i m e n s i o no ft h e f e a t u r ep o o l ，s ot h a tt h es v m f u l l s p a c ec l a s s i f i e rc a l lb eu s e d k e yw o r d s ：f a c er e c o g n i t i o n ，s c a l ei n v a r i a n tf e a t u r e s ，g a b o r f e a t u m s ，s i f tf e a t u r e s ，s u r ff e a t u r e s 。 _ 目录 第一章绪论l 1 1 人脸识别研究的背景与意义。1 “ 1 2 人脸识别研究的发展与现状。2 1 3 人脸识别的难点1 0 1 4 人脸识别系统的基本组成。1 0 1 5 论文的主要贡献及章节安排1 2 1 5 1 论文的主要贡献。1 2 1 5 2 论文的章节安排。1 3 第二章复杂光照下的人眼定位 1 5 2 1 引言1 5 2 2 候选双眼位置定位1 7 2 2 1e i g e n f e a t u r e 简介1 8 2 2 2 候选双眼位置定位2 0 2 3 候选双眼位置选择与决策2 2 2 3 1g a b o r 小波简介。2 2 2 3 2 候选双眼位置的筛选算法2 3 2 4 精确瞳孔定位算法。2 4 目录 2 5 候选双眼定位速度优化算法2 5 2 6 实验结果2 7 2 6 1 数据库简介2 7 2 6 2 复杂光照条件下眼定位算法实验2 8 2 7 小结3 4 第三章人脸识别中g a b o r 小波特征选择3 5 3 1 引言。：3 5 3 2 优选g a b o r 特征采样3 7 3 3g a b o r 幅值点选择4 0 3 4l d a 变换与人脸识别应用4 2 3 4 1l d a 简介4 2 3 4 2 识别应用4 4 3 5 实验结果4 4 3 6 小结4 8 第四章s u r f 特征在人脸识别中的应用4 9 4 1 弓l 言4 9 4 2s u r f 特征。5 1 4 2 1 兴趣点检测子5 1 4 2 2 兴趣点描述子5 4 4 2 3 快速索引5 6 4 3s u r f 特征人脸识别算法j 5 7 i i 目录 4 3 1s u r f 特征的提取5 7 4 3 2s u r f 特征匹配。5 7 4 4 实验结果6 2 4 5 小结6 6 第五章多姿态人脸识别 6 7 5 1 引言6 7 5 2 基于局部点特征的多姿态人脸识别7 0 5 3s i f r 特征简介7 1 5 3 1s i f i 检测子7 2 5 3 2s i f t 描述子7 4 5 3 3s i f t 特征深度旋转不变性的分析7 6 5 4 基于s i f t 特征的多姿态人脸识别7 6 5 4 1 算法综述。7 6 二 5 4 2 特征选择及维数统一7 8 5 4 3 分类器设计8 0 5 5 实验结果。8 4 5 5 1 实验用数据库j 8 4 5 5 2 实验结果8 5 5 6 小结8 9 第六章总结与展望 9 0 6 1 总结9 0 i i i 目录 6 2 展望9 2 参考文献。 感谢 9 3 9 9 1 0 0攻读学位期间发表的学术论文目录 i v 第一章绪论 第一章绪论 1 1 人脸识别研究的背景与意义 人脸识别是生物特征识别技术的重要组成部分。生物特征识别是指利用人 体生物特征进行身份认证的技术。人类利用生物特征进行身份识别的历史可追 溯到古代埃及人通过测量人体各部位的尺寸来鉴别身份【1 】。现代生物识别技 术则始于6 0 年代中期，随着识别精度的逐渐提高，生物特征识别系统已广泛 应用于警用和民用的各种领域。 生物特征识别技术涉及到计算机视听觉、图象处理与模式识别、语音处理、 多传感器技术、虚拟现实、计算机图形学、可视化技术、智能机器人感知系统 等多个领域。目前已有的生物特征识别技术包括指纹识别、掌纹与掌形识别、 虹膜识别、人脸识别、手指静脉识别、声音识别、皮肤识别、步态识别，甚至 脑电波以及d n a 识别等。 生物特征识别是目前最为方便与安全的身份识别技术，与传统的身份认证 方法相比，它不需要记住复杂的密码，也不需随身携带钥匙、智能卡之类的东 西。由于每个人的生物特征具有与其他人不同的唯一性和在一定时期内不变的 稳定性，不易被伪造和假冒。此外，生物特征识别产品均借助于现代计算机技 术实现，很容易与安全、监控和管理系统进行整合，实现自动化管理。 人脸识别作为生物特征识别的一个分支，近几十年来在国际上成为一个非 常活跃的研究领域。它具有的广阔应用前景吸引着相关研究者的热切关注。同 其它的生物特征相比，人脸具有自己独特的优势： 1 人脸是人类用来进行身份确认最直接、最自然的方法，因此将其应用于 计算机身份认证或识别具有最好的可接受性。 2 同指纹、虹膜等大部分生物特征相比，人脸图像的采集可以在不要求被 识别对象主动参与和配合的情况下进行，因此人脸识别系统可以提供更 第一章绪论 友好和更隐蔽的操作，在不影响用户正常行为、甚至不为用户所知的情况 。 下对其进行身份认证。 由于人脸识别的这些特点，使其在商业应用上具有得天独厚的优势。随着 对其研究的深入和技术的不断进步，这一技术已经被广泛的应用于身份识别与 认证、信息安全、法律支持和监视、智能卡和访问控制等领域中。 1 2 人脸识别研究的发展与现状 人脸识别算法在近几十年的时间里有了极大的发展，各种识别算法层出不 穷，展示出了各自不同的优势。有关人脸识别的历史可以追溯到1 9 世纪末期 【2 】，而首个人脸识别系统则开始于上世纪6 0 年代晚期 3 1 1 4 1 。最早提出的人脸 识别算法【2 5 】主要是采用人脸器官( 如眼睛、鼻子、嘴以及脸部轮廓等特征) 的相对位置、大小、面积、距离和比率等几何特征来进行识别的。基于几何特 征的识别算法有很大的局限性，一是人脸部件的位置很难准确获取，使得提取 的几何特征难以保证其准确性；二是单纯的几何特征所能提供的信息较少，并 不能完全满足识别的要求。8 0 年代以后，人们逐渐将视线转到了基于灰度的纹 理分布和变换特征上来。这类算法早期的有基于离散余弦变换的识别方法 【6 】【7 】，后来又有g a b o r 小波1 8 9 1 1 0 和l b p 1 l 】( l o c a lb i n a r yp a t t e r n ) 等识 别方法成为人们的关注点，并且g a b o r 小波直到现在依然是人脸识别中使用的 重要特征之一。 随着9 0 年代初经典的特征脸 1 2 1 1 3 和f i s h e r 1 4 脸算法的出现，人脸识别 算法进入了高速发展的时期。特征脸和f i s h e r 脸的成功，也使得子空间变换这 类方法在人脸识别中占据了重要的地位。这类算法将人脸的灰度图像变换到新 的空间，在该空间中舍弃对识别帮助较小信息，得到一个人脸的低维子空间的 表达。基于子空间变换的识别算法还有很多，比如k e r n e l p c a 1 5 】、 k e r n e l l d a 1 6 、2 d p c a 1 7 、扩展的h s h e r 脸 1 8 1 增强h s h e r 脸【1 9 】等。这一 类算法在人脸识别其它算法中也常被用来作为降维和特征提取的方法。 另一类值得一提的算法是弹性图匹配【8 】【9 】【2 0 2 2 】。这一算法利用人脸网 格的顶点和边的拓扑结构的相似性进行人脸识别。文献【9 】提出的弹性串图匹配 2 第一章绪论 是对【8 1 的发展，使得这种拓扑结构的匹配可以容忍一定的变形，以适应由人脸 的位置、姿态等因素带来的形变。这一时期，常用的识别方法还有基于神经网 络的算法【2 3 】、h m m 模型【7 】等。 近年来，利用3 d 模型或深度信息来解决人脸识别问题成为新的研究热点， 例如文献【2 4 】提供了人脸3 d 模型的构建方法和应用于人脸识别的思路。而利 用3 d 模型乃至2 d 构建的类3 d 模型来解决多姿态、多光照条件下的人脸识别 问题也成为一种十分重要的方法【2 5 2 7 】。表1 1 对上述算法进行了简单的比 较说明。 表1 1 人脸识别算法比较 算法类型算法及文献算法优点算法缺点 基于几何几何特征人脸最早期的识别算法，几何特征准确获取困 特征的算 【2 5 】 开创了人脸计算机识别的难，特征本身的信息 法先河。量不足 黟 基于灰度基于离散余提供了比几何特征更加丰识别效果依然有待加 纹理和变弦变换特征富的信息，识别效果较几强，对人脸的区别能 化特征的 【6 1 7 何特征明显加强。力依然有限 算法g a b o r 小波特能够提供多尺度的特征表，多尺度多方向的描 征，u 诤纹理达。特征更加丰富，为准述通常需要大量的存 特征确表达人脸信息提供了有储空间和运算，实际 【8 1 1 】效手段。结合了弹性图匹应用中一般要结合有 配或子空间变换等方法效的降维或分类方法 后，人脸识别效果大大加 强。 子空间变特征脸将子空间变换的思想引入对于较大的人脸类内 换 【1 2 1 1 1 3 】。二 到人脸识别中，利用p c a差异，如表情或光照 变换提取入脸特征和识变化等情况相对敏 别，对人脸识别算法的进 感。 步起到了极大的推动作用 3 第一章绪论 续表1 1 人脸识别算法比较 算法类型算法及文献算法优点 算法缺点 子空间变 f i s h e r 脸 1 4 】f i s h e r 脸将i d a 引入人脸训练变换矩阵需要每 换识别。其子空间变换过程个对象( 人) 的样本 将人脸图像的类内类间差 大于两个。 距最大化，使分类相对更 容易。同时合理的选择训- 练图像能很好的对表情等 变化有良好的适应性。 扩展的f i s h e r对l d a 变换过程中可能 脸 1 8 】产生的矩阵运算问题进行 改进，使得f i s h e r 脸可以 避免运算过程中可能产生 的矩阵无法求逆的问题。 增强f i s h e r 脸对于f i s h e r 脸的p c a 降维 【1 9 】和f i s h e r 降维的维数选择 提供了具体方法，识别效 果较原始的f i s h e r 脸有明 显提高，也被广泛用于实 际的f i s h e r 变换中。 k e r n e l - p c a ,将非线性引入到子空间变算法与p c a 或l d a k e r n e l u d a 换中，由于人脸图像并不相比较为复杂，同时， 【1 5 1 6 】能用线性空间很好的表p c a 和l d a 结合了 - 达，因此引入非线性希望g a b o r 小波等特征之 弥补p c a 和l d a 的线性后，其优势并不明显。 变换的不足。 2 d p c a 1 7 考虑了图像2 维分布的特实际应用中，算法的 点，算法运算速度较快。识别效果提升不明 显。 4 第一章绪论 续表1 1 人脸识别算法比较 弹性图匹 【8 】【9 】提出了利用局部点和线进 对于光照等的变化相 配 【2 0 一2 2 】 行匹配的思想，考虑了人对较敏感，关键点的 脸局部变形的影响，不用选择也难尽如人意。 特别的人脸对齐。首次利 用了g a b o r 特征在人脸识 j 别中。 3 d 模型 【2 4 2 7 】 准确的模型对姿态或光照模型建立和匹配依然 变化的稳定性很好，可以 复杂耗时。 很好的提升多姿态或多光 照人脸识别的效果。 h m m ，神 【7 2 3 】 提出了新的人脸识别的思因为计算或效果的原 经网络路和方法。因，这类算法没有得 到进一步的发展。 为了对人脸识别系统的性能进行科学的评价，美国国家标准与技术中心 ( n i s t ) 联合多家机构建立了人脸识别技术测试体系( n w t ) ，f r v t 的前身 是美国国防部高级研究项目署( d a r a p ) 和美国陆军研究实验室( a r m y r e s e a r c hl a b o r a t o r y ) 成立的f e r e t ( f a c er e c o g n i t i o nt e c h n o l o g y ) 项目组。 早期的f e r e t 评测共进行了3 次，之后的f r v t 评测从2 0 0 0 年开始也进行了 3 次，分别为f r v t 2 0 0 0 1 2 8 1 、f r v t 2 0 0 2 1 2 9 和f r v t 2 0 0 6 3 0 。这些评测结果 均反映了当时人脸识别技术的进展情况。 f r v t 2 0 0 0 评价了压缩、距离、表情、光照、媒体、姿态、分辨率和时间 等因素对人脸识别的影响。测试用数据库包括1 4 6 3 人，共1 3 8 7 2 幅图像。其 中的识别( i d e n t i f i c a t i o n ) 测试结果如表1 2 所示。c 0 - - c 4 为压缩变化子集； d 1 一d 7 为距离变化子集；e 1 与e 2 是表情子集，分别对应正常无表情人脸和 表情变化的人脸；1 1 一1 3 是光照变化子集，分别对应头顶光源( o v e r h e a d l i g h t i n g ) 、证件照光源( b a d g el i g h t i n gs y s t e m ) 以及室外光源( o u t d o o r l i g h t i n g ) 成像的图像；m 1 - - m 2 是媒体变化子集，分别对应数字c c d 采集与 5 第一章绪论 3 5 m m 胶片。姿态变化测试包括p 1 一p 5 ，p 1 一p 4 分别对应1 5 、2 5 、4 0 、6 0 度 姿态的室内光源图像，而p 5 则对应4 5 度室外光源图像。姿态测试中，比对图 像都是采用的0 度。分辨率子集r 1 一r 4 分别对应不同瞳距的人脸图像子集。 时间间隔子集t 1 、他分别对应时间跨度在1 年以内以及超过1 年的测试集， 而1 3 一t 5 则对应时间跨度在1 1 1 3 个月且成像光照发生变化的情况。 从表1 2 可以看出，大的光照、姿态和时间的跨度对识别系统的性能有 明显的影响。压缩和距离变化虽然对识别影响也较大，但因在实际应用中并不 常见，所以在后续的测试中并未对其进行继续评测。 表1 2 f r v t 2 0 0 0 测试结果( i d e n t i f i e a t i o n ) 测试项目首选最好的识别率 c o m p r e s s i o n ( 压, 缩变化) c o6 3 ，c 16 5 ，c 26 6 ，c 36 3 ，c 45 6 d i s t a n c e ( 距离变化) d 13 3 ，d 21 5 ，d 39 ，d 44 3 ，d 52 2 d 6 3 0 ，d 71 0 e x p r e s s ( 表情变化) e 19 6 ，e 2 9 3 i l l u m i n a t i o n ( 光照变化) l 19 1 ，l 29 7 ，l 39 5 m e d i a ( 媒体变化)m 19 9 ，m 2 9 7 p o s e ( 姿态变化) p 19 8 ，p 2 9 4 ，p 36 8 ，p 4 3 0 ，p 52 4 r e s o l u t i o n ( 分辨率变化)r 19 4 ，r 2 9 4 ，r 39 4 ，r 49 2 t e m p o r a l ( 时间变化) t 16 3 ，t 26 4 ，t 35 5 ，t 4 5 5 ，t 53 5 f r v t 2 0 0 2 的一个测试目标是考察大规模数据库下的人脸识别系统的性能 表现，以及时间跨度、年龄等对识别系统性能的影响。测试数据库包括了 1 2 1 ，5 8 9 幅图像，3 7 4 3 7 个对象，每个对象至少有3 幅图像。表1 3 显示了相 关的测试结果。从表中可以看出，识别率呈现出随着数据库的增大而不断降低 的趋势。 f r v t 2 0 0 2 的另一个测试内容是考察姿态等因素对人脸识别的影响，以及 新技术( 如3 d 模型) 对识别问题的推动和促进。其测试集包括了静止图像( 室 外、室内图像) 和面部语音视频序列。表1 4 显示了相关的测试结果。 6 第章绪论 f r v t 2 0 0 2 的测试报告最后给出总结：好的人脸识别算法对于室内的光照 变化已经不敏感，而室外光照下的人脸识别算法仍然有待提高；3 d 模型对于 姿态识别的性能有显著的提升作用；时间跨度和数据库的增大，都使识别性能 下降。 f r v t 2 0 0 6 是距今最近的一次人脸识别算法性能测试，其评测主要集中于 人脸图像分辨率变化和光照变化在不同数据集上的表现。表1 5 显示了 h r 2 0 0 6 的测试结果。 f r v t 2 0 0 6 的测试报告显示，室内非控制光源的变化对识别性能的影响已 经在可以接受的范围之内；同时超高分辨率的图像对于认证的性能有明显的提 升作用。 从f r v t 的三次测试报告我们可以看出，对于室内的正面图像，以及光照、 姿态变化不大的情况下，好的算法具有相当的稳定性，已经进入实际的应用阶 段。然而人脸超过3 0 度的旋转、室外光照、室内大角度变化的光源以及超过p 年以上的时间跨度条件下的入脸识别，仍然是极具挑战性的问题。 7 第一章绪论 表1 3 f r v t 2 0 0 2h c i n t 识别测试结果( i d e n t i f i c a t i o n ) 测试内容 首选识别率识( ) 说明 时间影响 8 20 5 9 天 8 06 0 1 2 0 天 7 51 8 0 - - 2 3 9 天 7 23 0 0 3 6 0 天 6 87 8 0 8 9 9 天 6 01 0 8 0 1 1 4 0 天 年龄影响 6 41 8 2 2 岁 6 72 3 2 7 岁 7 22 8 3 2 岁 7 63 3 3 7 岁 8 04 8 5 2 岁 8 75 8 6 2 岁 9 07 3 7 8 性别影响男比女高6 9 数据库数目 9 22 5 对象 9 11 0 0 对象 8 51 0 0 0 对象 7 81 0 0 0 0 对象 7 23 7 4 3 7 对象 8 第一章绪论 表1 4 f r v t 2 0 0 2m c i n t 识别测试结果( i d e n t i f i c a t i o n ) 测试内容首选识别率( )说明 正面人脸 9 5室内同一天 9 4室内同一天顶光 9 0室内不同天 5 3室外同一天 4 6室外不同天 姿态识别 4 5 l4 04 5 度水平左 4 5 l + m o r p h y 7 94 5 度水平左加3 d 4 5 r5 44 5 度水平右 4 5 r + m o r p h y 8 54 5 度水平右加3 d 3 0 u4 63 0 度上 3 0 u + m o r p h y 8 13 0 度上加3 d 3 0 d5 53 0 度下 3 0 d + m o r p h y 8 13 0 度下加3 d 9 第一章绪论 表1 5 f r v t 2 0 0 6 测试结果 测试内容首选认证率( ) f a r 说明 分辨率及光照变 9 9 2 50 0 1控制光源，超高分辨率 化( 室内) 9 7 8o 0 1控制光源，高分辨率 9 9 50 0 0 1 控制光源，超高分辨率 9 80 0 0 1控制光源，高分辨率 o 9 50 0 1非控制光源，超高分辨率 0 9 2 50 0 1 非控制光源，高分辨率 0 8 8 50 0 0 1非控制光源，超高分辨率 0 8 70 0 0 1非控制光源，高分辨率 1 3 人脸识别的难点 人脸识别是模式识别中的一类问题。在一般的模式识别问题中，常常假设 模式的类内差异小于类间的差异。但是对于人脸识别而言，这个假设在许多情 况下难以成立，因为所有的人脸都具有大致相同的器官( 眼、鼻、口) 分布， 而光照、姿态、头部装饰等因素却能在很大程度上改变人脸所呈现出的图像， 这就使得类内差异可能大于类间差异，从而造成了人脸识别中的种种困难。当 前这些困难，仍如2 0 0 6 年f r v t 的测试报告所述，集中体现在大角度的姿态 变化、室外光照、大角度光源变化、长时间跨度等方面。 1 4 人脸识别系统的基本组成 一个人脸自动识别系统，如图l 一1 所示，由人脸图像的预处理、人脸图 1 0 图1 1 人脸自动识别系统 人脸图像的预处理通常包括三个部分，一是人脸图像的定位、分割，二是 对光照、姿态和表情等因素的影响进行一定的校正，三是图像的正规化或称归 一化，即将校正后的人脸图像的大小、角度进行调整和对齐，得到标准化的人 脸图像。人脸图像的分割、定位通常可以借助人脸检测算法来完成，其后一般 需要准确地定位出眼睛、甚至鼻子和嘴的位置，为后续的处理提供基准。人脸 图像经归一化后，可以对其进行光照或者姿态等变化的补偿，比如使用光照模 型恢复正面角度光照的人脸图像 2 7 1 ，或者使用三维模型恢复正面姿态人脸的 第一章绪论 图像 2 4 1 等。预处理算法的好坏，对于识别性能至关重要，好的预处理可以提 高系统性能及鲁棒性。 人脸特征的提取是人脸识别算法的核心，匹配算法的设计必须与提取的特 征相配合。好的特征需要在各种因素的影响下具有稳定性。虽然已经有许多的 特征被提出，但是目前仍然没有哪一个特征能够对所有的变化都有很好的稳定 性。如何提取具有不变性的特征一直是人们致力研究的重点问题之一。 人脸图像的匹配算法通常和特征提取算法相对应，不同的特征提取算法可 以有相同或者不同的匹配算法。对于同样的特征，采用不同的匹配方法可能会 适应于不同的应用环境。 对于实际的人脸识别系统而言，除了上述三个基本部分外，还需要有采集 和输入图像的手段，比如使用摄像头、照相机等采集设备进行图像采集，然后 将采集到的图像送入预处理模块对原始图像进行加工处理。 在一些人脸识别系统中，常常需要对人脸建立各种模型以利于特征提取或 识别，而模型的建立或模型参数的估计则通常是通过对训练样本图像的学习而 实现的。因此在这些系统中，“训练 也是系统不可或缺的一部分。 1 5 论文的主要贡献及章节安排 1 5 1 论文的主要贡献 本论文中，我们首先讨论了如何在复杂光照的条件下进行人眼定位的方 法。可变光照下的人脸识别是一个难点问题，要在可变光照下进行有效的识别， 归一化图像是十分必要的，而这其中眼睛定位是核心问题。本文提出了一种利 用e i g e n f e a t u r e 和g a b o r 特征模板组来进行人眼定位的方法。首先，利用运算 速度较快的e i g e n f e a t u r e 模板定位一些候选的双眼位置；然后利用对纹理描述 能力更强的g a b o r 特征来进行候选双眼图像的验证和瞳孔定位。实验表明，当 光照角度在7 5 度- - 7 5 度( 包括左右和上下的角度) 的范围内变化时，该算法 对于人眼的定位表现出良好的性能；在超出上述范围的极端光照条件下，定位 在一定误差范围内也能有较好的表现。 第一章绪论 其次，我们对于g a b o r 特征的选择进行了研究。g a b o r 特征是在人脸识别 中十分有效的特征，其多分辨率的特性使得它对图像的描述能力很强，然而由 于过高的特征维数，使得它在应用中受到了一定的限制。本文针对这一问题， 提出了一种g a b o r 幅值点的筛选方法。利用g a b o r 小波幅值响应的大小反应了 特征的显著程度这一特点，结合p c a 算法成功提炼出了简洁的g a b o r 特征选 择和提取算法。该算法在g a b o r 特征提取阶段就对其进行筛选，只对指定位置 点进行g a b o r 特征提取，从而大大降低了特征的维数和提取时间，同时保持了 g a b o r 特征的分类能力。实验表明，这一算法提取的特征在识别时有良好的性 能。 第三，本文首次将s u r f ( s p e e d - u pr o b u s tf e a t u r e s ) 3 1 特征引入到人脸识 别当中。s u r f 是一种尺度旋转不变特征，同经典的尺度旋转不变特征s i f t 3 2 1 相比，s u r f 的运算速度明显要快，而其性能与s i f t 相当。我们提出了利用 匹配点数、点的平均匹配可靠度和平均匹配相似度为衡量依据的s u r f 特征点答。 集匹配相似度度量方法，获得了与使用s i f t 特征基本相同的识别率和显著提 高的特征提取和匹配速度。 第四，论文对于人脸识别中的一大难点，即多姿态条件下的人脸识别问题 进行了研究。提出了一种基于两个姿态样本建立的模型来实现多姿态下人脸识 别的方法。该方法将s i f t 这一在深度旋转上有一定不变性的特征，通过特征 池的概念转化成为相关特征向量来进行人脸的分类识别，从而避免了多姿态人 脸识别中常要面对的姿态估计问题；同时为了解决少量样本建模产生的问题， 利用人脸在旋转时特征变化的共性规律，提出了个体分类器和整体分类器相互 补充的分类方法。实验表明，使用同一数据源( 采集条件相同) 图像进行训练 和测试时，对于多姿态人脸的识别，算法取得了相当不错的表现；当使用不同 数据源( 采集条件相差较大) 图像进行训练和测试时，性能有所下降，但仍显 示了一定的潜力。 、 1 5 2 论文的章节安排 本论文的章节安排如下： 第1 章绪论，对人脸识别的意义、面临的问题和我们感兴趣的研究点等 1 3 第一章绪论 进行了阐述。这一章的意义在于指明本论文所主要研究的方向和问题，以及主 要贡献。 第2 章介绍了复杂光照条件下的人眼定位算法，提出了基于e i g e n f e a t u r e 和g a b o r 特征模板组的人眼定位算法。 第3 章讨论对于g a b o r 特征的选择算法。所提出的算法通过g a b o r 幅值点 的相关运算，寻找g a b o r 特征中对分类最有效的点，并记录这些点的位置；在 后续的特征提取时，只对记录的关键点位置提取特征，从而大大减少了g a b o r 特征的提取时间和维数，并且没有丢失人脸的特征信息。 第4 章将s u r f 这一尺度旋转不变特征引入人脸识别中，利用s u r f 兴趣 点特征向量相关匹配的信息设计相似度函数，来对整幅人脸的匹配程度进行评 价，从而使对这些局部特征点匹配情况的评价能转化为对整体相似度的评价， 从而实现人脸的识别。 第5 章利用s i f t 和s u r f 的旋转不变性，我们将其应用于人脸的多姿态 识别之中。首先通过特征池的概念将s i f t 和s u r f 的点匹配问题转化为特征 池的相关特征的分类问题，然后利用人脸旋转时特征变化的共性规律，设计了 个体分类器和整体分类器结合的方法，来进行人脸多姿态的识别。 第6 章结束语，对本章内容进行总结，并展望未来的研究工作。 1 4 第二章复杂光照下的人眼定位算法 2 1 引言 第二章复杂光照下的人眼定位 人眼定位是人脸图像正规化中的一个重要的步骤，关系到人脸图像正规化 是否足够准确的问题。大多数的人脸正规化程序，无论是位置对齐、形状归一 化抑或光照归一化等，眼睛位置都是最重要的参考位置之一。而准确的正规化 可以有效的提高人脸识别算法的性能，尤其对人脸图像的大小、位置、光照等 变化敏感的算法，例如特征脸、f i