（信号与信息处理专业论文）特征子空间法人脸识别研究.pdf

摘要 人脸识别因其在安全验证系统、信用卡验证、医学、档案管理、视频会议、 人机交互、系统公安( 罪犯识别等) 等方面的巨大应用前景而越来越成为当前模 式识别和人工智能领域的一个研究热点。虽然人类能毫不费力地识别出人脸及其 表情，但人脸的自动机器识别却是一个难度很大的课题。它涉及到模式识别、图 像处理及生理、心理学等方面的诸多知识。 本文以模式识别的特征子空间思想为主要研究方法，以人脸识别的关键步骤 为主要内容，系统地研究了人脸识别技术。在预处理环节中，将基于像素平均的 降维处理、基于能量的光照归一和基于f o u r i e r 交换的脸像平移效应消除三种简 单易行的算法相结合；在特征提取环节，为避免“小样本问题”，采用基于主元 分析( p c a ) 的特征子空间方法提取本征脸( e i g e n f 犯e ) 或本征谱( e i g e n s p e c t r a ) ，提出 了局部本征谱( l o c a le i g e n s p e c v a ) 的脸像特征提取算法，以突出人脸的局部特征； 在分类器设计环节，重点讨论了非线性p a r z e n 分类器中核函数的参数估计算法。 对o r l 脸像数据库的实验结果表明：在预处理中增加能量归一化和f o u r i e r 变换提取幅度谱，可以消除脸像的平移影响，明显地提高正确识别率；基于局部 本征谱的特征提取手段相较传统的特征子空间提取手段有较高的识别率；相较常 用的欧式距离分类准则而言，将p a r z e n 分类器应用于人脸识别有助于提高识别 性能。 关键词人脸识别特征子空间本征脸脸像本征谱局部本征谱 p a r z e n 分类器 a b s t r a c t f a c er e c o g n i t i o ni sac o m p l e xa n dd i f f i c u l t p r o b l e mw h i c hi si m p o r t a n tf o r s u r v e i l l a n c ea n ds e c u r i t y , t e l e c o m m u n i c a t i o n ，d i g i t a ll i b r a r i e s ，v i d e o m e e t i n g ，a n d h u m a n c o m p u t e ri n t e l l i g e n ti n t e r a c t i o n d e s p i t e t h ef a c t t h a th u m a nf a c e sa l e e s s e n t i a l l ys i m i l a r , w ea r ev e r ys k i l l e da tr e c o g n i z i n gt h ei d e n t i t i e so fp e o p l ef r o m t h e i rf a c e s w ec a n p e r f o r m t h i st a s kv e r ye a s i l ya n di ti sab a s i ca n di m p o r t a n ts o c i a l a c ta l t h o u g hw ea r es t i l lp u z z l e dw i t ht h ep s y c h o l o g i c a la n dp h y s i o l o g i c a ln a t u r eo f t h e p r o c e s s t h i st h e s i ss t u d i e st h et h e o r i e sa n dm e t h o d so f f r ( f a c er e c o g n i t i o n ) s y s t e m a t i c a l l y , f o c u s i n go ns u b s p a c ep a t t e mr e c o g n i t i o n i nt h ep r e p r o c e s s i n gs t a g e ， w ep r o p o s et oc o m b i n ep i x e l a v e r a g i n g ，e n e r g y - n o r m a l i z a t i o n ，a n d t h ef o u r i e r t r a n s f o r mt oo b t a i nav e c t o rw h i c hh a sr e l a t i v e l yl o wd i m e n s i o n ，l o ws e n s i t i v i t yt o b r i g h t n e s sv a r i a t i o na n dt of a c es h i f t i n gi nt h ei m a g ep l a n e i nt h ef o l l o w i n gf e a t u r e e x t r a c t i o n w ea d o p tt h ep c ao rk - lt r a n s f o r m - b a s e ds u b s p a c em e t h o dt oa v o i dt h e s m a l ls a m p l es i z ep r o b l e m ，ag e n e r a lp r o b l e mi naf a c er e c o g n i t i o ns y s t e m ，t h e e x t r a c t e de i g e nf e a t u r e sa l ec a l l e de i g e n s p e c t r ao re i g e n f a c e ，d e p e n d i n go nw h e t h e r t h ef o u r i e rt r a n s f o r mi s p e r f o r m e do rn o t a tt h ep r e p r o c e s s i n gs t a g e b a s i n go n e i g e n s p e c t r a ，al o c a le i g e n s p e c t r a - b a s e ds c h e m ef o rf a c er e c o g n i t i o ni sa d d r e s s e di n t h i ss t a g e t h ec l a s s i f i c a t i o ns t a g ef o c u s e s0 i ie s t i m a t i n gt h ep a r a m e t e ro ft h eg a u s s k e r n e lf o rt h en o n l i n e a rp a r z e nc l a s s i f i e r e x p e r i m e n t a lr e s u l t so nt h eo l i v e t t ir e s e a r c hl a b o r a t o r y ( o r l ) f a c ed a t a b a s e s h o wt h a t p e r f o r m i n ge n e r g y - n o r m a l i z a t i o n a n dt h ef o u r i e rt r a n s f o r mi n p r e p r o c e s s i n gs t a g ei sf e a s i b l e ；b e t t e rt h a n t h et r a d i t i o n a le i g e n s p a c em e t h o d ，t h el o c a l e i g e n s p e c t r a b a s e ds c h e m eg e t sh i g h e rr e c o g n i t i o nr a t e ；c o m p a r i n g w i t ht h ee u c l i d e a n d i s t a n c er u l e ，t h ep a l z e nc l a s s i f i e ri sm o r e p o w e r f u l f o rf a c er e c o g n i t i o n k e y w o r d s ：f a c er e c o g n i t i o n ；s u b s p a c e ；e i g e n f a c e ；e i g e n s p e c t r ao faf a c ei m a g e ； l o c a le i g e n s p e c t r a ；p a l z e nc l a s s i f i e r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：五k 鑫日期：面年月日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：盐垒 导师签名：型匕釜叠乡7 e t 期：绷i 砗f 月，日 电子科技大学硕士学位论文：特征子空间法人脸识别研究 第一章绪论 1 1 人脸识别的研究背景及应用价值 随着计算机及网络技术的高速发展，将身份数字化、隐性化，并准确鉴定身 份、保证信息安全显示出前所未有的重要性，成为许多信息系统要首先考虑的问 题。目前广泛采用的身份验证形式主要有标识号码、磁卡、i c 卡等，这些方式 的优点是技术已经比较成熟，并可以采用各种加密手段加以保护，但从根本上讲 这些验证手段依赖的都是后天赋予人的信息，容易丢失、被盗窃、被伪造，更为 严重的是无法区分真正的用户和取得用户标识的冒名顶替者。 生物识别技术是通过计算机利用人类自身的生物特征进行身份认证，具有不 易被修改、被盗或被人冒用，而且随时随地都可以使用等特点。因而，基于面像 、语音、指纹、虹膜等人的内在属性的生物识别技术以其稳定性和可靠性引起 了广泛关注“。1 。相较指纹、基因、虹膜等其他生物特征的鉴别方法，人脸识别 具有更直接、友好、方便等特点，并以其非侵犯性更易为用户所接受，通过人脸 的表情姿态分析，还能获得其他识别系统难以得到的一些信息。 人脸识别早在二十世纪六七十年代计算机视觉研究的早期就引起了研究者 的兴趣。进入九十年代，由于生产、生活等各方面对人脸识别系统的迫切需求以 及计算机技术、图像处理、模式识别技术的发展日益成熟，人脸识别的课题研究 迅速兴起“1 1 。国外如美国麻省理工学院媒体实验室( m i t ) 、南加州大学( u s c ) 、 马里兰大学( u m d ) 等，国内如清华大学、南京理工大学、中科院计算所等， 都有专门机构对人脸识别进行研究。每年国际国内的期刊都有大量的文献提出各 种识别方案，同时还出现了专门的国际学术会议和竞赛，如国际模式识别会议组 织的人脸认证竞赛等。美国遭遇恐怖袭击后，作为最容易隐蔽使用的识别技术， 人脸识别技术的应用引起各国广泛关注，美国警方率先在冰岛国际机场、波士顿 机场、亚特兰大机场等都开始应用这一先进技术，借助电视监控系统监控扫描人 群，自动搜寻警方所需要的恐怖分子；国内由中科院计算所自主研制的“面像检 测与识别核心技术”应用在党的“十六大”中，获得了与国外前沿产品不相上 下的识别率。人脸识别技术在公安、司法认证、民航、海关、银行等的安检系统， 在各种身份证卡的验证以及汽车防盗、智能宠物玩具等领域都有极为广泛的应用 前景。 电子科技大学硕士学位论文：特征子空间法人脸识别研究 此外，人脸识别的研究还具有重要的理论研究价值。由于人脸模式的特殊性， 人脸识别的研究涉及图像处理、模式识别、计算机视觉、认知科学、生理学、心 理学等多个学科领域，更是模式识别、人工智能、和计算机视觉的典型案例之一。 研究和解决这一问题，有助于分析和解决其他模式识别问题，推动相关学科的理 论与应用发展。 1 2 人脸识别的研究内容 1 2 1 广义的人脸识别 人脸识别就是分析待识别的人脸图像，从中提取出有效信息，并与数据库中 的已知人脸信息进行比较，从而得出决策或认证信息的一种技术。从广义上讲， 其研究内容包括以下五个方面”1 人脸检测：从各种不同的背景中检测是否存在人脸，并确定其位置、大小、 形状、姿态等信息的过程。它关系到后续识别工作能否正确进行，并保障 最终识别结果的可靠性。 人脸表征：确定表示检测出的人脸和数据库中的已知人脸的描述方式。通 常的表示方法包括几何特征( 如：欧式距离，曲率，角度等) ，代数特征 ( 如矩阵特征矢量) ，固定特征模板等。 - 人脸鉴别：就是通常所说的人脸识别，将待识别的人脸与数据库中的已知 人脸进行比较，得出相关信息。这一过程的核心是选择适当的人脸表示方 式和匹配策略，系统地构造与人脸的表征方式密切相关。 - 表情姿态分析：即对待识别人脸的表情或姿态信息进行分析，并对其加以 归类。 一生理分类：对待识别人脸的物理特征进行分类，得出其年龄、性别、种族 等相关信息，或从几幅相关的图像推导出希望得到的人脸图像，如从父母 的脸像推导出孩子的脸像等。 1 2 2 人脸识别研究的发展现状及问题分析 一般意义下的“人脸识别”即是指将待识别的人脸与数据库中的已知人脸之 间进行匹配的过程，它的研究大致可分为三个发展阶段：第一阶段以b e r t i l l o n 、 a l l e n 和p a r k e 为代表，主要研究人脸识别所需要的面部特征，采用语句描述方 电子科技大学硕士学位论文：特征子空间法人脸识别研究 法对人脸分类，特点是识别过程全部依赖于操作员，显然不是一种可以完成自动 识别的系统“。1 ；第二阶段是g o l d s t i o n 、h a r m o n 和l e s k 用几何特征参数来表征 人脸的人机交互识别阶段1 ，此类方法仍需利用操作员的某些先验知识，摆脱不 了人的干预：第三阶段是真正的机器自动识别阶段“，一个自动的人脸识别系 统的主要技术环节如图l 一1 所示。 人 输 脸脸 脸 入 检像 像 识 图 卜 测预 特 分 别 像 与处 征 卜类 输 定理 提 器 出 位 取 图l 一1 自动人脸识别系统的构成 1 )人脸检测与定位 主要依靠人类对人脸认识的规则性表述或是通过人脸样本的统计学习方法 来处理“，具体可分为以下三类： 基于知识的方法即利用人脸的特征以及特征间的简单关系对待测人脸 进行提取并验证，其中肤色特征被证明是十分有效的人脸特征。1 ”3 ，常 被用作初检或辅助检测手段。 模板匹配法即手工或使用参数可调的函数定义一个标准脸模板，将模 板与输入图像有规律地匹配并计算匹配值，从而确定人脸位置“。 基于机器学习的统计分析方法通过学习大量的人脸样本，利用统计分 析和机器学习技术来找到脸和非脸的特征差异“。 2 )脸像预处理 对人脸图像进行定位后，为了使图像便于识别，首先要对脸像进行预处理。 图像预处理方法有很多，如对比度增强、光滑、锐化等，其中不少是从图像的描 述和表示角度出发的，使处理后的图像更符合人的主观感受，人脸识别的预处理 则从增强图像的分类信息角度出发，力求达到位置校准和灰度归一的目的，具体 包括图像的灰度处理、二值化、直方图修正等。 3 )脸像特征提取 电子科技大学硕士学位论文：特征子空间法人脸识别研究 原始的人脸图像数据量非常庞大，直接用于识别效率不高，因此必须从原始 图像中提取出有用的特征，作为进一步识别和分类的依据。目前广泛应用的特征 提取方法可以分为基于几何特征、基于统计特征、基于神经网络、基于小波变换 等“。基于几何特征的方法提取的是人脸器官形状和特定两点间的几何关系( 欧 式距离、曲率、角度等) “8 。州；基于统计特征的方法，对人脸图像进行一定的代 数变换。”1 ，如做矩阵分解，利用投影技术如：主成分分析( p c a ) 或线性判别分 析( l d a ) ，获得一个低维的子空间，提取反应人脸图像内在属性的特征；神经网 络的方法通常把未经处理的人脸图像作为输入，利用网络隐层神经元的作用实现 特征提取”“2 ；基于小波变换的方法则是利用小波变换的时频特性和多分辨特 性，在小波变换域上提取人脸特征0 6 - 2 。 4 )分类器设计 分类器设计是在已有数据的基础上训练一个分类函数或构造出一个分类模 型，以确定遇到的待测数据属于哪一类。现有分类器设计方法如：欧氏距离法、 最近邻法、马氏距离法、b a y c s 分类器、p a r z e n 分类器，各种神经网络分类器如 径向基函数( r b f ：r a d i a l b a s i sf u i l c t i o n ) 神经网络、支撑向量学习机( s v m ：s u p p o r t v e c t o rm a c h i n e ) 等。”“，可分为线性和非线性两大类。对于线性可分的特征，可 通过线性分类方法来确定分类器；当特征线性不可分时，仍采用线性分类法将产 生不可接受的分类误差率，恰当的非线性方法则能得到较为理想的分类效果。 到目前为止，自动人脸识别系统已经研究了二十多年，但仍面临着种种困难， 主要体现在人脸的相似性和非刚体性。所有人脸都具有相似的结构，在纹理上也 比较接近，因此构成一种在空间上极接近的类别，识别系统只能利用人脸之间的 细微差别来实现正确识别任务；人脸的非刚体性致使人脸图像受到多种因素的影 响，包括人脸的遮挡( 如头发、眼镜、胡须、饰物等) 、人脸的表情( 如喜怒哀 乐等) 、图像的质量、人脸的姿态( 如正面旋转、侧面旋转、抬低头等) 。如何消 除这些不利因素的影响成为人脸识别问题的关键。针对这一富于挑战性的难题， 许多研究者在自动识别的各环节提出了许多相关算法，却未能建立一种通用的成 功解决问题的新方法，因此，用于人脸检测、预处理、特征提取和分类等目的的 不同方法的综合应用研究成为该领域的一个主流。 1 3 本文的主要内容及创新之处 考虑到检测与后续环节的相对独立性很强，可以将其与其他识别环节分离开 4 电子科技人学硕士学位论文：特征子空间法人脸识别研究 来，分别加以研究。本文在假定人脸检测与定位工作已经完成的基础上，针对预 处理、特征提取和分类器设计，研究一种人脸识别的新方法。论文主要内容及安 排如下： 第二章详细讨论常用的预处理方法，并在此基础上研究像素平均、能量归一 化和快速f o u r i e r 变换( f f t ) 对人脸识别准确性的影响。 第三章重点讨论基于整体的人脸识别的四种特征提取方法：基于 k a r h u n e n l o e v e 展开或主元分析( p c a ：p r i n c i p a lc o m p o n e n ta n a l y s i s ) ( 即特征子 空f 刮法) 、基于f i s h e r 准则的线性鉴别分析( l d a ：l i n e a r d i s c r i m i n a n t a n a l y s i s ) ( 即 丁e 则子空间法) 、基于核的非线性特征提取方法以及基于小波分析的特征提取方 法，并提出一种基于局部本征谱的脸像特征提取方法。 第四章介绍常用的线性和非线性分类方法，重点讨论p a r z e n 分类器中核函 数的参数估计。 第五章以o r l ( o l i v e t t ir e s e a r c hl a b o r a t o r y ) 数据库为基础，针对预处理、特 征提取、分类器各环节对人脸识别性能的影响进行相关的实验验证。 综上所述，本文的创新之处主要在于； 1 ) 在脸像预处理环节提出了基于像素平均、能量归一和快速f o u r i e r 变换 ( f f t ) 的脸像预处理方法。这些方法简单易行，对比实验结果验证了其有效 性。 2 ) 在脸像特征提取环节提出一种基于局部本征谱的特征提取方法。将人脸作 为一个整体对象进行特征提取，必然牺牲有利于分类的局部信息，实验证明， 将一幅脸像按不同方位适当划分为大小相同的数个子块，针对各子块提取脸 像的局部本征谱是一种有效可行的特征提取方法。 3 ) 在脸像特征分类环节针对非线性核分类器p a r z e n 分类器，讨论了一种快 速粗略估计核参数的方法。 电子科技大学硕士学位论文：特征子空间法人脸识别研究 第二章人脸图像预处理 实际的图像采集系统本身固有的特性总会或多或少地引入干扰和噪声，此 外，图像的质量、背景、光照以及图像中人脸的平移和旋转等都会影响人脸识别 的准确性。为确保后续处理的有效性，并将脸像转化为更合适计算机处理的格式， 在特征提取前有必要对图像进行预处理。本章主要介绍目前常用的脸像预处理方 法，在此基础上重点研究基于像素平均、能量归一化和f f t 的预处理方法。 2 1 常用的脸像预处理 2 1 1 脸像的灰度化 脸像一般可分为彩色图像和灰度图像。彩色图像的像素点是由r ( 红色) 、g ( 绿色) 、b ( 蓝色) 三元色混合而成，不同含量的r 、g 、b 组成不同的颜色。灰 度图像则是只含亮度信息，不含色彩信息的图像，其亮度是连续变化的，要表示 灰度图像就需要把亮度值进行量化。通常划分为0 2 5 5 共2 5 6 个等级，0 最暗 ( 全黑) ，2 5 5 最亮( 全白) 。 利用彩色图像的颜色信息进行识别往往受到复杂背景( 特别是肤色背景) 的 影响，存在很多缺陷；灰度图像则易于处理且大多数经典的图像处理方法都基于 灰度图像，因而人脸识别的研究一般以灰度图像为研究对象。对于彩色的脸像， 可对其首先进行灰度化处理，具体过程如图2 一l 所示 读取图 像数据 得到红绿蓝 三色分量 计算像素 点灰度值 像素点颜色分 量重新赋值 图2 1 图像的灰度化算法 得到灰 度图像 彩色图中像素点的r 、g 、b 分量是不相等的，而灰度像素点的r 、g 、b 分量 是相等的。灰度化就是使彩色各分量相等的过程。彩色图像与灰度图像间的r 、 g 、b 分量之间对应关系如式( 2 1 ) 所示，据此公式我们就可以将一幅彩色图像转 化为灰度图像。 0 5 8 70 1 1 41 f r 0 5 8 7 o 1 1 4 | | g1 ( 2 1 ) o 5 8 7o 1 1 4j l b j 彩色 6 9 9 9 9 9 9 2 2 2 o o o l i j 度扳 _j_1_-j_l r g b p。l 电子科技人学硕士学位论文：特征子空间法人脸识别研究 2 1 2 几何校正 对于各种人脸识别的方法，人脸图像的标准化都是非常重要的，对于最终的 识别结果也有看直接影响。所谓标准化主要是指在各幅脸像中，使人脸的关键部 位在图像中的相对位置都一样。对于利用整幅图像信息进行识别的算法而言，原 始脸像人脸部位在图像中的位置的偏移会影响人脸的正确识别，因而要对输入的 人脸进行校正，以使不同输入情况下的人脸图像最后都统一到同样的大小，并使 人脸的关键部位也尽量保持一致。几何校正主要包括：大小校正、平移、旋转、 翻转等。 1 ) 大小校正：就是把原始图像中包含的人脸校正到统一的大小，主要依据是人 眼的坐标。人眼是人面部很重要的一个部位，通过这一处理，能保证两眼间 距离相等，从而其他部位如嘴、鼻、脸颊等的位置也保持在相对标准的位置。 2 ) 平移：就是将图像中的所有点都按照指定的平移量水平、垂直移动，通过平 移可以消除人脸左右偏移对后续识别环节的影响。 3 ) 旋转：就是把原始图像中人脸图像进行平面内的旋转处理，主要是使两眼的 连线保持在水平位置。 4 ) 翻转：考虑到某些脸像可能存在上下颠倒的问题，通过翻转可以使目标图像 中的人脸保持正面。 对图像进行几何校正，首先需要一个算法来定义变换，描述每个点是如何从 初始点移动到终止位置，即每个像素的运动。同时还需要一个用于灰度插值的算 法，以计算在图像进行变换时可能产生的一些原图中非整数位置的点的像素值。 常用的插值算法有最近邻插值、双线性插值、高阶插值等”“。 2 1 3 脸像的二值化 图像二值化是图像处理中的一项基本技术，也是很多图像处理技术的预处理 过程，它以区分图像中的目标区域和背景区域为目的，关键在于选择一个合理的 阈值将灰度图像变成黑白二值图像。在人脸识别中二值化用以把人的头发、眼睛、 脸的轮廓及背景与人脸的亮域分开。 由于图像二值化过程将会损失原图像的许多有用信息，因此在进行二值化预 处理过程中，能否保留原图的主要特征非常关键。在不同的应用中，正确选择 灰度阈值起着至关重要的作用。图像二值化的阈值选取有很多方法，主要分为3 类”“： 电子科技大学硕士学位论文：特征子空间法人脸识别研究 1 ) 整体闽值法：是指在二值化过程中只使用个全局闽值t 的方法。它将图像 的每个像素的灰度值与，进行比较，若大于，则取为目标色( 白色) ；否则， 取为背景色( 黑色) ； 设图像g 。( ”。，m 。) ，其灰度范围是k ，k ，】，在k ，和k 。，之间选择一个合适的灰 度闽值f ，二值化后的图像g ( ，聊。) 可表示为 n o ，m 0 ) 锻，黧黩譬 z ， 2 )局部阈值法：由当前像素灰度值与该像素周围点局部灰度特征来确定像素的 阈值。例如可以将原图像划分为一些不相交的小块，将各块图像的灰度均值 作为该部块图像的阈值，在局部上采用上面的整体阈值法； 3 ) 动态阀值法：它的阂值选择不仅取决于该像素及向围像素的灰度值，而且还 与该像素的坐标位置有关。例如在局部上统计该区域灰度值分布特征，根据 统计结果来确定不同的局部闽值。 一般来说，整体阈值法对质量较好的图像有效( 这些图像的直方图一般有两 个峰值) ，而局部阈值法则能适应较为复杂的情况。但它们往往忽略了图像的边 缘特征，使得原图像中的一些不同区域在二值化后变成了一块大区域，它们之间 的分界结消失了。对人脸图像而言通常采用动态闽值法对图像进行二值化。 2 1 4 脸像的滤波 在人脸图像采集过程中，不可避免地受到噪声的干扰，在获得的图像中留下 痕迹。为了改善图像质量，避免噪声对抽取图像特征的影响，需要消除图像的噪 声。滤波可以在空域进行，也可以在频域进行。目前滤除噪声的方法通常分为两 类：一类是全局处理，包括w i e n e r 滤波、k a l m a n 滤波等方法，他们都需要知道 信号和噪声的统计模型；另一类则使用局部算子，如中值滤波，梯度倒数加权滤 波等经典算法，人脸图像预处理中通常使用此类滤波方法。由于一幅图像不同区 域的局部方差( 包括信号方差和噪声方差) 不同，上述方法的滤波结果会使得图 像细节很难保持，可能丢失利于分类的有效信息。 2 1 5 直方图修正 图像的灰度直方图是图像各像素灰度值的一种统计度量，其横坐标表示像素 的灰度级别，纵坐标是该灰度出现的频率( 像素个数) 。运用直方图能够反映图 像的概貌，如图像中有几类目标、目标和背景的分布如何，通过直方图可以计算 电子科技大学硕士学位论文：特征子空间法人脸识别研究 图像中的最大亮度、最小亮度、平均亮度、对比度、及中间亮度等。 直方图修f ( 也称直方图均衡) 基本思想是使各灰度级分量尽量平均布满空 间，在直方图上表现为由密集的狄度分布变为均匀的分布。此外，直方图修正还 可以减少光线对图像的干扰，使得特征提取变得更加容易。 令a 是图像的面积，h ( x ) 为直方图，定义归一化直方图为尸( x ) = n ( x ) a 。 设转换前图像的归一化直方图为( 6 ) ，转换后的图像归一化直方图为只( 口) ，转 换函数口= 厂( 6 ) 。由概率论知识可知 只0 ) = 只( 6 ) 半 ( 2 3 ) 如果要使转换后的图像的归一化直方图为1 ，即直方图为平的，则需满足 最0 ) = o a o b 。该等式两边对b 积分，可得 盘= o ) = r 只b 切= 去r h g p ” ( 2 4 ) 该转换公式被称为图像的累积分布函数。 令k 是有效灰度级的个数，对于一个完全平坦的直方图来说，应该在每个灰 度级上a x 个像素。设向是原来的灰度级，吃是变换后的灰度级。在实际应用中， 有两种情况需要考虑： 1 ) 多对一的变换：若有连续竹个灰度级的频数之和级等于州k ，则必然导致它 们合并成一个灰度级。 2 ) 多对一的变换：若某个灰度级的频数是a x 的m 倍，则必然将其分为m 个 不同的灰度级，每一个上都是a x 。 情况1 ) 导致的灰度级合并是简单的，情况2 ) 引起的分解因难以确定h 在 图像的位置，相对复杂。 2 2 本文中的预处理 2 2 1 像素平均法 通常可以将一幅原始人脸图像看作是其像素所在高维空间里的一点，但是这 样的高维空间在计算上的复杂度非常大，对于快速而且鲁棒的识别方法也是不可 行的，降维成为处理实际问题的关键。对此，我们采用像素平均法在预处理阶段 对原始图像进行欠采，达到一定的降维和减轻运算量的目的。 像素平均是一种局部的空间处理算法，其基本思想是用选定邻域内像素的灰 9 电子科技大学硕士学位论文：特征子空间法人脸识别研究 度均值来代替每个像素的灰度。假定给出一幅n o m 。像素的原始图像 ( 一。，m 。) ，经像素平均后得到的则是一幅m 的图像g ( ”，m ) 1 甙砌= 去垂k 力，1 聍m 1 珊m ( 2 5 ) 1 j “，n s 其中，s 是所选区域中像素点的集合，d 则是这一集合中像素点的总数。如图2 2 所示选定邻域s ，采用像素平均法可将一副图像的分辨率降低为原来1 1 6 。 00000000000o 0 00 0000o000 00 000000000000 0o0000 000000 oooo o0000000 00o0 00000000 u 0 0 0 0u 00 0 ：0 00 0 。0 。0 。00 。0 00 0 堡耋兰塑 ： ：- oooo0000 0000 00000000 0000 o0oo0000 000o oooooo o0 0000 ooooo 0oooooo 0oooooooo ooo 000000 000000 n0 0o0o ooooo0oo 图2 21 6 点邻域的像素平均 0 o o 实际上像素平均法也可看作一种空域的低通滤波，可以在一定程度上滤除高 频噪声。针对人脸图像的实验研究表明，1 6 点邻域的像素平均基本不影响识别 性能。 2 2 2能量归一化 能量归一化的目的是保证每个模式样本的能量统一到单位能量上，以利于不 同模式样本的统一分析。除此之外，能量归一化在一定程度上能够减小光照的影 响。 在实际的人脸识别问题中，光照变化在很大程度上影响了人脸识别的性能 “，光照条件具体可分为图2 3 所示的四类：( 1 ) 标准光照，( 2 ) 具有线性光强度 的均匀光照，( 3 ) 非线性光强度的均匀光照，( 4 ) 非均匀光照( 光源来自不同方向) 。 能量归一化可以减轻第二种光照条件对识别性能的影响。 电子科技大学硕士学位论文：特征子空间法人脸识别研究 其中 图2 3 光照条件分类 对于图像g ( 一，嘲，能量归一化过程如下： i ( 玎，m ) = 萨 l 【g ( 行，m ( n ，m ( 4 ) ( 2 6 ) 叫i = ( 凳，鬟，g2 (n,mgg ，厂 亿， ( n ，引0 = i ) i ( 2 7 ) h2lm ；l 对o r l 人脸数据库中的一幅脸像能量归一化前后的对比如图2 4 所示。 原始图像能量分布自自蠹归一化后能量分布 d2 0 0 4 0 0 口8 3 0 图2 4 能量归一化图示 “ 印 加 叩 町 加 孤 电子科技大学硕士学位论文：特征子空间法人脸识别研究 2 2 3 快速f o u r i e r 变换( f f t l 脸像在平面内的移动对识别的准确性造成很大的影响，为了减小这一影响， 提取平移不变的特征，本文采用f o u r i e r 变换的平移不变性来达到此目的。 事实上，对一维信号x ( n ) ，若其f o u r i e r 变换为x ( e 一) ，则平移信号x ( n 一，) 的f o u r i e r 变换如下 f x ( n 一，) ) = e - j u x ( e j 。) ( 2 8 ) 上式表明，信号平移后其f o u r i e r 变换在其频域中产生了附加相移，而幅度 谱则保持不变；离散f o u r i e r 变换( d f t ) 也具有相同的特点，即序列周期移位的 d f t 的幅度谱保持不变。我们将这一特性运用到脸像的预处理过程，力求后续 识别过程不受脸像在像平面内平移的影响。 除此之外，实信号的d f t 运算具有一些内在对称规律，利用该特点可以使 模式向量的维数减半。实际应用中，d f t 的快速算法f f t 已经非常成熟，易于 工程实现。考虑到上述三个特点，本文在欠采和能量归一化后采用基于f i 玎的 脸像预处理方法，消除脸像在像平面内的平移带来的影响。具体过程如下： 将经过上述处理后的二维图像l ( n ，删) 按行进行连接，可得到n m 维空间中 的一个向量z ，通过傅氏变换可以获得其频域表达2 ： 犯) = 芸：d 一，焉 ( 2 。) j ( i ) = = ( 门) 刮一筹l ( 2 9 ) u1 其中z ( ) 是z 的第( 肿1 ) 个元素，2 忙) 则是其傅氏变换序列的第( 抖1 ) 个元素，k = 0 ， 1 ，( n m - 1 ) 。至此，我们可以得到一幅图像的频域振幅信息如下： v = 0 j ( o ) i 阳) | 一i ( 三) i j l ( 2 1 0 ) 则v 将保留2 的全部幅度信息。上式中t 代表向量或矩阵的转置，三取决于n m 的奇偶性： ，f n m 2 , 若提偶数。 扣1 m 2 + o 5 狲唬奇数 ( 2 1 1 ) v 即是原始人脸图像9 0 ( r i o ，m 。) 经过预处理处理后的表现形式。至此完成对一幅脸 像的预处理过程。 2 3 本章小结 电子科技大学硕士学位论文：特征子空间法人脸识别研究 本章主要介绍常用脸像预处理方法，重点讨论像素平均法( 降维去噪) 、能 量归一化( 能量统一，减少光照敏感) 以及f f t ( 消除脸像平移效应) 对人脸识 别的作用。后续实验中针对整幅脸像的预处理过程包括上述三个步骤的，称为预 处理方案l 。考虑到采用像素平均法主要目的是对整幅高维图像进行初步降维， 对于较低维的图像数据将不再采用这一步骤，只进行能量归一化和f f t ，称为预 处理方案2 。 通常状况下，一幅人脸图像维数非常高，经预处理后维数虽有一定的降低， 但是图像分布仍然很不紧凑，不利于分类，如何在保证足够的特征表达能力或鉴 别能力的条件下，大幅度降低数据向量v 的维数，得到紧凑的特征向量，就是下 一章特征提取所要解决问题。 电子科技大学硕士学位论文：特征子空间法人脸识别研究 第三章人脸图像的特征提取 由于人脸图像的数据量相当大，为了有效地进行分类识别，就要对原始图像 进行压缩，并得到最能反应分类本质的特征，这就是特征提取过程。考虑到人脸 非常相似的特性，寻找稳定和有效的识别特征成为解决人脸识别问题的关键。在 模式识别理论中，特征提取的一般原则是所抽取的特征之间相关性越小越好，最 好是提取不相关的特征。 早期的特征提取主要是基于几何特征，其基本思想就是利用人脸的一些特征 点( 如眼、嘴、鼻等) 的相对位置和相对距离，再辅以人脸轮廓的形状信息“”1 。 其缺点在于这些几何特征对光照、表情、姿态等变化非常敏感，因而稳定性不高， 识别率较低。近年来提出的方法大多数是基于整体统计特征的，整体特征提取是 指提取的特征与整幅人脸甚至整个样本群相关，这种特征未必有明确的含义，但 在某种意义上是易于分类的特征。通过对整幅人脸的统计特征、频域特征等的分 析，可以提取出准优甚至是最优的特征。基于k l 变换或主元分析( p c a ) 年i ：i 线 性鉴别分析( l d a ) ，是这一研究热点中两种最基本的线性特征提取手段”3 ，并 在此基础上发展出基于核的非线性特征提取手段。+ 。随着小波理论大发展，目 前已有研究者把小波变换应用到人脸识别中。7 83 ”。本章将对上述方法进行具体 介绍，并以特征予空间法为基础提出基于局部本征谱的特征提取方法。 3 1 基于统计的线性特征提取方法 基于统计的人脸识别起源于图像表征任务研究，利用统计策略直接从整个训 练图像集合提取统计特征，并不要求单独抽取眼睛、鼻子、嘴巴等面部特征，是 比较经典而且常见的方法。k i r b y 和s i r o v i c h 最早提出把人脸图像看作一个高维 向量，每一个像素都是该高维向量的一个组成成分，然后利用k l 变换投影得 到相应的表征人脸图像特征的特征空间。“。尽管k i r b y 和s i r o v i c h 没有把这种方 法用到人脸识别，但他们已经提出将人脸图像用特征向量的线性组合来描述的思 想。t u r k 和p e n d l a n d 正式把该方法用于人脸识别”“。利用这种图像表征的方法， 很多研究小组把l d a 也用到人脸识别上来。 3 1 1相关理论基础 1 k l 变换 电子科技大学硕士学位论文：特征子空间法人脸识别研究 假设一个非周期性随机过程y ( r ) 在五 t 疋区问均匀采样，则可用向量 j ，= 陟( ) y 0 ：) y 也) 】7 表示，对应的相关函数是一个七阶矩阵，它只有k 个 线性独立的本征向量，以此构成h i l b e r t 空间( 简称空间) 中的一组基矢量， 则j ，可以用k 个基矢量的加权和表示，即 y = 8 ，矿， ( 3 1 ) ，= l 用展开式中的有限项来估计j j ，即第p 项以后被截断时，可得 = 吐，p ， ( 3 2 ) ，= 1 当且仅当展开系数a ，= ( j ，纯) ( i = l ，2 ，p ) 时( ( ，) 为上的内积) ，y 是y 在这 组基构成的子空间中的正交投影。由此引起得均方误差为 以( 3 1 ) 和( 3 2 ) 式代入， 等价于 ( 3 3 ) ，p ) ，及协，吼) = 6 ( i 一，) ，上式 e ：窆p j e b 7 k ， i = p + l 令q = e ( y y 7 ) ，为使s = m i n ，即在均方误差最小准则下 p r1p 疗e b 7 k = 一如= m a x 由于q 是对称正定矩阵，所以上式等价于 ( 3 4 ) ( 3 5 ) 妒j q 妒，= 丑0 ，i = 1 ，2 ，p( 3 6 ) 不难看出，最小均方误差准则等价于求相关矩阵的p 个大的特征值所对应的单位 特征矢量，这就是k l 变换。 k l 变换是图像压缩中的一种最优正交变换。人们将它用于统计特征提取， 从而形成了子空间法模式识别的基础”。若将k l 变换用于人脸识别，需假设 人脸处于低维线性空间，且不同的人脸具有可分型。由于高维图像空间k l 变 换后可得到一组新的正交基，因此可以通过保留部分正交基，以生成低维人脸空 间。而低维人脸空间的基则是通过分析人脸训练样本集的总体散布矩阵，也可以 是训练样本集的类间散布矩阵，即可采用同一人的数张图像的平均在进行训练， 这样可以在一定程度上消除光线等的干扰，大幅度降低计算量，且识别率不会下 卫 ， 4 一 o v，、， l 二u 妒 e = i i o 到意注 电子科技大学硕士学位论文：特征子空间法人脸识别研究 降。 2 主元分析( p c a ) 与k l 变换不同，主元分析是依照系数方差最大准则确定( 3 2 ) 式中的的p 个最佳标准矢量，即 m a x e ，纯) 一e 【( b 仍娜2j f = 1 ，2 ，p ( 3 7 ) 约束条件为 e b ，纯渺，竹) j = o ，f ( 3 8 ) 显然，式( 3 7 ) 等价于 e i 锄，一e 【) ，矿j = 妒f r g i = m a x ，f = 1 ，2 ，一，p ( 3 9 ) 其中r = e ( j ，一e b 船一e o ) ) t 】为y 的协方差矩阵。所以只需找到与协方差矩阵 的p 个大的特征值所对应的单位特征向量，就可以确定式( 3 2 ) 中所有p 个标准 向量组中最佳的一组，这就是主元分析。 比较q 和r 的表达式可知，对于零均值随机模式向量，主元分析与k l 变 换等价。 3 特征子空间 主元分析和k l 变换都是通过对矩阵作特征分解后，选取p 个大的特征值所 对应的特征向量来张成子空间，所确定的子空间称为特征子空间。设上维模式空 间的p 维普通子空间由p 个向量张成为 rp s = s p a n ( q a 。，仍，作) = j ，i y = d ，竹 ( 3 1 0 ) l j = 1 j 其中n ，n ：，( p 上) 为常数。当p 维子空间s 的p 个正交基向量通过对训练 模式向量的协方差矩阵进行特征分解求得时，该子空问即特征子空间。模式识别 中特征子空间法能有效提取模式的主