（计算机软件与理论专业论文）基于成分分析增量学习算法的人脸识别研究.pdf

摘，要 人脸识别是当前一个热点研究领域，它作为一种身份验证的技 术在信息安全、出入控制等领域有着广泛的应用前景，但同时人脸 识别作为一个经典的高维小样本问题，对模式识别算法的性能有着 苛刻的要求。目前人脸识别特征提取算法中普遍存在着准确率低、 算法复杂度高、鲁棒性差、实时性差、训练速度低等技术瓶颈问题。 本文主要针对人脸识别特征提取算法中存在的算法复杂度高、实时 性差、识别率低等技术瓶颈问题，提出了基于成分分析( c o m p o n e n t a n a l y s i s ) 增量学习算法，并针对该问题进行了深入的研究与探讨。， ，主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 是模式识别 领域一种重要的方法，现在已被广泛应用于人脸识别算法中，但基 ， 。： 于主成分分析的人脸识别系统在应用中面临着一个重要的瓶颈问 题：成分分析增量算法的效能问题o 本文针对此问题，提出了一种 适用于成批增量数据的主成分分析增量学习算法，该算法在传统 p c a 分解的基础上进行了改进，利用空间投影变换，可以在一个低 维空间求解整体p c a ，从而降低了求解的复杂度。下一步，对提出 的主成分分析增量学习算法进行核化，提出了一种核主成分分析增 量学习算法，并在实验中将主成分分析增量学习算法与传统的主成 分分析批处理算法、核主成分分析增量学习算法与核主成分分析算 法分别进行了性能比较与分析，并在j d l a 人脸数据库上验证了算 法的有效性。 独立成分分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 也是模式 识别领域一种重要的方法，也可应用于人脸识别算法当中，用于抽 取人脸图像的独立成分特征。本文针对在对系统识别率要求较高， 但可以牺牲一定的计算复杂度的应用领域，提出了一种基于独立成 分分析的增量学习算法，该算法增量计算一个图像序列向量的主成 分，而无需计算协方差矩阵。同时，将得到的主成分转化为最大化 信源非高斯性的独立成分。该算法将主成分分析增量学习算法与独 立成分分析算法相结合，以实时的方式获得描述一个人脸数据库最 主要的独立成分。 通过在o r l 人脸数据库与u m i s t 人脸数据库上的模拟仿真实 验结果表明，与传统的主成分分析与独立成分分析相结合的批处理 算法、主成分分析算法及其f i s h e r f a c e 算法相比较，本算法具有更好 的实时性与更高的识别率。 关键词：人脸识别，主成分分析，独立成分分析，增量学习算法， 核方法 a b s t r a c t f a c er e c o g n i t i o ni sa na c t i v er e s e a r c ha r e ai nr e c e n ty e a r s i th a s b e e na d o p t e da sa ni d e n t i t yv a l i d a t i o nt e c h n o l o g yi nm a n ya p p l i c a t i o n s ， s u c ha si n f o r m a t i o ns e c u f i t y ，e n t r a n c eg u a r dc o n t r o l l i n gs y s t e m s a tt h e s a m et i m e ，f a c er e c o g n i t i o ni sac l a s s i ch i g hd i m e n s i o n a ld a t aa n ds m a l l s a m p l e s i z e p r o b l e m t h e t a s k so ff a c e r e c o g n i t i o n r a i s es t r i c t r e q u i r e m e n t so rt h ep e r f o r m a n c eo fa l g o r i t h m s a tp r e s e n t ，t h e r ea r e b o t t l e n e c kp r o b l e m si nf e a t u r ee x t r a c t i o nm e t h o do ff a c er e c o g n i t i o n ， s u c ha sl o wa c c u r a c y , h i g hc o m p l e x i t y , b a dr o b u s t n e s s ，w o r s er e a l - t i m e ， l o w r e c o g n i t i o n r a t e t h i st h e s i s p r o p o s e s i n c r e m e n t a l l e a r n i n g a l g o r i t h mb a s e do nc o m p o n e n ta n a l y s i st os o l v et h ea b o v ep r o b l e m s w e m a d et h o r o u g hs r u v e ya n ds t u d yo nd i s c u s s i n gt h i sp r o b l e m p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) h a sp r o v e nt ob ea ne f f i c i e n t m e t h o di n p a t t e r nr e c o g n i t i o n r e c e n t l y , p c ah a sb e e ne x t e n s i v e l y e m p l o y e df o rf a c er e c o g n i t i o na l g o r i t h m s h o w e r v e ，p c a b a s e df a c e r e c o g n i t i o ns y s t e m s f a c ea n i m p o r t a n t b o t t l e n e c k p r o b l e m ：t h e e f f e c t i v e n e s so fi n c r e m e n t a ll e a r n i n ga l g o r i t h m so fc o m p o n e n ta n a l y s i s t h i st h e s i sp r o p o s e san e wi n c r e m e n t a l l e a r n i n ga l g o r i t h mb a s e do n c o m p o n e n ta n a l y s i sf o rb a t c h i n c r e m e n t a ld a t at os o l v et h ea b o v e p r o b l e m s w ea p p l yt h es p a c ep r o j e c t i o nt r a n s f o r m a t i o nb a s e do nt h e o r i g i n a lp c a ，a n dt h e nc o m p u t et h eu n i t a r yp c ai nal o w e rt r a n s f o r m e d s p a c e s ot h ec o m p u t a t i o nc o m p l e x i t yc a nb er e d u c e d a n dt h e nw ep u t i l l f o r w a r dt h ek e r n e lf o r mo ft h ei n c r e m e n t a lm e t h o d w ec o m p a r et h e i p c aa l g o r i t h mw i t ht h et r a d i t i o n a lp c a , t h ei k p c aw i t ht h ek p c a a l g o r i t h m ，r e s p e c t i v e l y t h ee x p e r i m e n t a l r e s u l t so nj d l - af a c e d a t a b a s ed e m o n s t r a t et h ee f f e c t i v e n e s so ft h ep r o p o s e da l g o r i t h m i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) h a sb e e np r o v e dt ob ea s i g n i f i c a n tm e t h o di np a t t e r nr e c o g n i t i o n i ta l s oc a nb eu s e di nh u m a n f a c er e c o g n i t i o n a l g o r i t h mt o e s t i m a t et h e i n d e p e n d e n tc o m p o n e n t f e a t u r e so fh u m a nf a c ei m a g e s i nt h i st h e s i s ，a ni n c r e m e n t a ll e a r n i n g a l g o r i t h mb a s e do ni c a i si n t r o d u c e dt of i tt h ea p p l i c a t i o nd o m a i nt h a t h a s ah i g hr e q u i r e m e n tf o rr e c o g n i t i o nr a t eo ft h es y s t e ma tt h ec o s to f a l g o r i t h m i cc o m p l e x i t y t h i sa l g o r i t h mc a l c u l a t e st h e p r i n c i p a l c o m p o n e n t so f as e q u e n c eo fi m a g ev e c t o r s i n c r e m e n t a l l y w i t h o u t c a l c u l a t i n g t h ec o v a r i a n c em a t r i x a tt h es a m et i m e ，t h ep r i n c i p a l c o m p o n e n t s a r et r a n s f o r m e dt ot h e i n d e p e n d e n tc o m p o n e n t s t h a t m a x i m i z e dt h en o n - g a u s s i a no ft h es o u r c e t h i sa l g o r i t h mi sf u l f i l l e db y m e r g i n gt h et w oa l g o r i t h m s ，i p c aa n di c t oo b t a i nt h em o s te f f i c i e n t a n di n d e p e n d e n tc o m p o n e n t st h a td e s c r i b eaw h o l es e to fh u m a nf a c e d a t a b a s ei nar e a l t i m ef a s h i o n s i m u l a t i o nr e s u l t so no r la n du m i s td a t a b a s e ss h o wt h a tt h e a l g o r i t h mm e n t i o n e di n t h i s t h e s i sh a sb e t t e rr e a lt i m ea n dh i g h e r r e c o g n i t i o nr a t ec o m p a r e dt ob a t c hp c a i c a ，p c a a n df i s h e r f a c e k e yw o r d s ：f a c e r e c o g n i t i o n ，k e r n e lm e t h o d ，i n c r e m e n t a ll e a r n i n g i v a l g o r i t h m ，p r i n c i p a lc o m p o n e n ta n a l y s i s ，i n d e p e n d e n tc o m p o n e n t a n a l y s i s v 浙江师范大学学位论文诚信承诺书 我承诺自觉遵守浙江师范大学研究生学术道德规范管理条 例。我的学位论文中凡引用他人已经发表或未发表的成果、数据、 观点等，均已明确注明并详细列出有关文献的名称、作者、年份、 刊物名称和出版文献的出版机构、出版地和版次等内容。论文中 未注明的内容为本人的研究成果。 如有违反，本人接受处罚并承担切责任。 承诺人( 研究 指导教 学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。论文中除了特别加以标注和致谢的地方外，不包含其他人或其他机 构已经发表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献均已在 论文中作了明确的声明并表示了谢意。 碱警匆。 学位论文使用授权声明 日期- 细了胁矽 本人完全了解浙江师范大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件和电子文档，允许论文被查阅和借阅，可以采用影印、缩 ，印或扫描等手段保存、汇编学位论文。同意浙江师范大学可以用不同方式在不同 媒体上发表、传播论文的全部或部分内容。保密的学位论文在解密后遵守此协议。 研究生签名导师签 哆沙7 - i 誓 | 第一章绪论 1 1 背景 人脸识别技术就是利用计算机分析人脸图像，从人脸图像中提取有效的分 类特征，从而对待识别人脸图像进行分类，最终来达到对个人身份进行鉴别的 目的。人脸识别具有广阔的应用前景，可以应用在公安、安全验证系统、信用 卡验证、医学、档案管理、视频会议、人机交互系统等方面。其次，生物特征 因为自身的稳定性和差异性，已经成为身份验证的主要手段；人脸作为一种自 然形体，具有很强的共性，与其它生物特征识别技术如视网膜识别( 无法确保对 人体的安全性) 、指纹识别( 涉及个人隐私) 等相比，人脸具有直观、友好、方 便等特点，因此人脸识别技术正得到越来越广泛的应用。 人脸识别技术是一门涵盖多门学科的应用技术，它涉及信号处理、数字图 像处理、计算机视觉、模式识别、人工智能等多门学科，由于人脸识别技术的 核心是由已知人脸确定未知人脸的归属，因此它一般被认为属于模式识别的范 畴。人脸识别采用机器对人脸图像进行分析，进而提取有效的识别信息从而达 到身份辨认的目的。其研究范围就广义上来说大致可包括人脸检测( f a c e d e t e c t i o n ) 、入脸预处理( f a c ep r e p r o c e s s ) 、人脸表征( f a e er e p r e s e n t a t i o n ) ( 也就是 特征提取的过程) 和人脸识另j ( v a c er e c o g n i t i o n ) l 四部分。一般人脸自动识别的过 程如图1 - 1 所示： 图1 1 人脸自动识别流程图 f i g l 一1f l o wo ff a c er e c o g n i t i o n 人脸识别发展近半个世纪以来，新算法和技术层出不穷，发展非常迅猛。 早期的人脸识别方法多采用人脸的几何形状作为特征，例如利用人脸器官的位 置，尺度和彼此间的比率等，但是这些特征易受人脸表情变化的影响，因而识 别效果差。鉴于这种情况，在以后的人脸识别研究中，出现了模板匹配方法， 即根据图像库中的人脸模板与待识别人脸模板在灰度上的相似程度来实现人脸 识别，用模板描述人脸，可以避免基于局部器官特征人脸识别方法所要求的精 确定位的问题，而且保留了更多的识别信息。这之后，基于几何特征的方法就 渐渐的被基于模板匹配方法所取代，它为人脸识别的发展提供了宝贵的经验和 后面的新方法起到了推动和借鉴作用。基于统计学习的人脸识别方法是研究最 深入，最广泛，也是目前最有效和比较成熟的人脸识别算法，包括基于子空间 分析的人脸识别、基于隐马尔可夫模型的人脸识别和最新的基于流形学习的人 浙江师范大学硕士学位论文 脸识别，还有神经网、s v m 等统计模式识别方法的人脸识别。当前，人脸识别 方法向着整体识别与局部分析相结合的趋势发展，研究人员开始注意到人脸识 别技术必须充分利用人脸的各种特征信息，包括全局的和局部的，出现的新技 术往往是将原先单一的技术结合起来，共同完成人脸的识别。同时随着计算机 技术的发展，三维空间的人脸识别技术也已经出现，由于人脸本身就是一个三 维的模式，所以三维人脸识别技术是一种更加自然的方法，有着很好的研究前 景。 尽管目前国内的许多大学和科研单位在人脸识别方面进行了卓有成效的研 究，取得了很多成果。但是因为人脸识别的性能受很多因素影响，特别是在非 约束条件下，如表情、姿态、光照、图像分辨率、遮挡等，都会使人脸识别方 法的鲁棒性受到很大影响。同时在实际应用中，人脸识别算法的识别率、计算 复杂度、时间复杂度、实时性、训练速度等都是影响人脸识别算法的重要性能 瓶颈问题，综合各个方面，计算机识别人脸的自动识别算法和技术仍然面临很 大的挑战，尤其是在实际应用中仍然还有很多问题亟待解决。 本课题正是以解决人脸识别算法中存在的准确率低、算法复杂度高、鲁棒 性差、实时性差、训练速度低等问题为目的而提出的。 1 2 人脸识别常用方法 1 2 1 基于几何特征方法的人脸识别 基于几何特征方法的人脸识别是将人脸用一组几何特征矢量表示，识别归 结为特征矢量之间的匹配，基于欧式距离的判决是最常用的识别方法。最常用 的几何特征有人脸的五官，如眼睛、鼻子、嘴巴等局部特征，脸形特征及五官 在脸上分布的几何特征。侧影识别是最早提出的基于几何特征的人脸识别方法， 基于欧氏距离的判决是最常用的识别方法。b l c d s o e 1 j 是最早用手工方法确定人 脸特征点位置，以人脸特征点的间距、比率等参数为特征，建成了一个半自动 的人脸识别系统。k e l l y 2 】在b l e d s o e 的工作的框架上，用机器自动测量了头部 的宽度、眼睛之间的距离、头顶到眼睛的距离、眼睛到鼻子的距离以及眼睛到 嘴巴的距离等作为特征进行分类。b r u n c u i 和p o g g i o t 3 l 利用改进的积分投影法提 取出用欧氏距离表征的3 5 维人脸特征矢量，包括眉毛厚度、眉毛与眼睛中心之 间的垂直距离、眉毛弧度的1 1 个描述参数、嘴宽、上下嘴唇厚度及嘴的垂直位 置、下巴形状的1 1 个描述参数、鼻孔位置的脸宽、鼻孔与眼睛中间位置的脸宽 等。r o c d c r 等【4 】则全面的对基于特征的人脸识别方法的准确性进行了研究。他 们指出，基于特征的人脸识别的准确率依赖于脸部特征识别的准确性。然而， 这种依赖性的程度和细节还不知道。他们对眼睛、而颊、嘴巴、下巴等定义了 1 2 个测量量，每一幅人脸图像为一个样本，采用最小平方和准则进行聚类，识 2 第一章绪论 别时采用最近邻准则。通过实验来发现测量的准确率对识别的影响。同时，他 们提出的框架对于后来者发展基于特征的识别方法具有重要的意义。 基于几何特征的人脸识别方法主要是通过精确地测量人脸各个部分之间的 距离，并且将这些距离作为特征来进行人脸识别的。它具有特征信息存储量小、 对光照的影响不敏感、特征匹配迅速等优点。但在实际应用中，特别是需要自 动计算距离时，这些方法遇到了极大的困难，这些困难集中地表现在无法稳健 地提取特征点，而这些特征点是计算距离所必须的。并且对强烈表情变化和姿 态变化鲁棒性较差，当人脸存在不同角度的偏移时，这些方法的成功率会大大 降低。 1 2 2 弹性图匹配人脸识别 弹性图匹配f 5 l 入脸识别方法通过小波变换特征来描述人脸的局部信息，并利 用人脸网格的不断变形，在图像上搜索特征点。它采用在图像上建立网格的方 法，在网格的每一节点提取图像的特征数据，一般采用小波变换进行特征提取 【6 】，进行匹配时要考虑两个因素，一个是两个图像在节点的特征数据的匹配， 另一个是两个对应节点的几何位置的匹配，表示为一最优化问题为： 峄似) 。；湍以抄嘲p ( f 2 ) ) - ( q ( 舻) 1 1 2 其中c ，x ，分别为待匹配图像与样本图像在节点上的特征数据，p ( i ) ，q ( j ) 分 别为待匹配图像与样本图像的节点位置，第一项表示样本图像与待匹配图像在。 网格节点的特征数据的匹配情况，当两者特征接近时该项为1 ，第二项表示样 本图像与待匹配图像对应网格节点几何位置的匹配情况，当保留局部距离与匹 配顺序时该项为0 。由于允许网格随图像的变化进行适当的变形，弹性图匹配 对人脸视角，表情变化有很好的鲁棒性n 在f e r e t 组织的测试中取得了良好 的成绩i 引。弹性匹配图也出现了一些改进方法，例如采用分级结构【9 】与3 d 网格 1 1 0 】 o 弹性图匹配方法是一种基于小波局部统计特征的方法，该特征类似于人眼 视网膜对图像的响应，在一定程度上容忍光线等干扰，对细微表情也小敏感， 而且弹性匹配中的人脸模型还考虑了局部人脸细节，并保留了人脸的空间分布 信息，且它的可变形匹配方式一定程度上能够容忍人脸从三维到一维投影所引 起的变形。这众多的优点使得弹性匹配方法在上世纪末成为最为有效的方法之 一，但其计算复杂、耗时长、难达到实时处理等缺点阻碍了其进一步的发展。 1 2 3 基于子空间学习的方法 子空间方法的基本出发点是根据一定的性能目标来寻找一线性或非线性的 3 浙江师范大学硕士学位论文 空间变换，把原始信号数据压缩到一个低维的子空间中，使数据在该子空间的 分布更加紧凑，为数据的描述提供了更好的手段，另外，其计算复杂度也大为 降低。特征脸方法就是典型的一种线性子空间方法。子空间分析方法除了有线 性和非线性之分以外，根据不同的性能目标要求，得到的子空间也是不一样的。 目前在人脸识别中得到成功应用的子空间分析方法，包括主成分分析( p c a ) 、奇 异值分解( s v d ) 、线性判别分析“l q 、独立分量分析“i c a ) 和非负矩阵因子 ( n m f ) 等。基于核方法的非线性子空间方法主要有核主成分分析( g p c a ) 、核 f i s h e r 判别分析( k f d a ) 等。常见的子空间与对应的变换可见下表： 子空间变换方法( 缩写) 本征子空间 主成分分析 p r i n c i p a lc o m p o n e n ta n l y s i s ( p c a ) 区别子空间线性判别分析 l i n e a rd i s c r i m i n a n ta n a l y s i s ( l d a ) 独立分量子空间 独立分量分析 i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) 表1 1 子空间与变换方法的对应关系 t a b l e1 - 1 r e l a t i o nb e t w e e ns u b s p a c ea n dt r a n s f o r m a t i o n t u r k 和p e n t l a n d1 1 1 】于1 9 9 1 年提出了著名的特征脸( e i g e n f a c e s ) 方法，所谓 特征脸就是对应于人脸( 模式) 协方差矩阵的那些较大特征值的特征向量。由 特征脸所张成的子空间在维数上比原模式空间大大减少，人脸检测和识别工作 就在该子空间上进行。从压缩能量的角度来说，p c a 变换是最优的，不仅使得 降维前后的均方差最小，而且变换后的低维空间有很好的人脸表达能力。特征 脸方法是最早出现的人脸识别子空间法之一，由于p c a 本身所存在的缺陷，特 别是本征脸对光线和表情的变化极为敏感，之后又出现了一些p c a 的变形形式， 其中包括l i u 等1 1 2 j 提出了单个人的主空间法( i n c a ，i n d i v i d u a lp r i n c i p a l c 0 m p o n e n la n l y s j s ) 与v a s w a n i 等【1 3 】提出了主成分零空间分析( p c n s a ，p r i n c i p a l c o m p o n e n tn u l ls p a c ea n a l y s i s ) 。尽管e i g e n f a c e s 具有很好的人脸表达能力，但 并不是说就具有了很好的人脸鉴别能力。而l d a 就是以寻找最具鉴别能力的子 空间为目标，它使得每类的类内离散度最小而类间离散度最大。因此从理论上 来说，基于u ) a 的f i s h e 血c e s l l 4 】较e i g e n f a c e s 更适合于人脸识别问题。为了保留 类问散布矩阵的零空间，c h e n 1 5 _ 与y a n g l l 6 j 分别提出了直接线性判别分析 ( d l d a ，d i r e c tl i n e a rd i s c r i m i n a n ta n a l y s i s ) ，d l d a 的实验结果要好于 f i s h e r f a c e s 法，为了解决l d a 的判别向量与两类间的矢量方向相重合的问题， l o t l i k a r 等1 1 7 j 提出3 f - l d a ( f r a c t i o n a l s t e pl i n e a rd i s c r i m i n a n ta n a l y s i s ) ，其后为 了克服某个异常类对l d a 的不良影响，h o g 等f 1 8 】提出了一个对各类间的距离进 行加权的l d a 改进方案，l u l l 9 1 将以上三种方法融合在一起，形成了f d l d a 。 b a r t l e t t 等1 2 0 1 首先将i c a 应用于人脸识别中，把人脸图像看成多个独立的 4 第一章绪论 基图像的线性叠加，获得了更好的识别效果。这是因为p c a 和l d a 都是基于训 练样本的二阶统计信息，而忽略了高阶统计信息，实际上高阶统计信息有时对 识别来说也是非常有用的。由于i c a 基于所有阶的统计信息，因而其求解较p c a 和l d a 更复杂。 基于核方法的子空间人脸识别也有了长足的发展核方法的思想就是利用 一非线性映射，把原空间的数据映射到一隐特征空间，然后在这一隐特征空间 中对数据进行分析，而在计算上并不需要明确计算这个非线性变换。该方法是 基于人脸是位于一非线性空间假设之上，并且核函数是对该非线性空间的数学 函数表示，或空间基拟和。借鉴s v m 的k e r n e l 方法，p c a 、l d a 和i c a 等 都被扩展到k e r n e lp c a 2 1 1 ，k e r n e ll d a 【2 玉2 3 l 和k e r n e li c a l 2 4 。与线性子空间方法 相比，基于k e r n e l 的方法获得了更好的识别效果，然而计算量较大。总体说来， 基于子空间学习的方法具有计算代价小、描述能力强、可分性好等特点，现已 经成为人脸识别的主流方法之一。 1 2 4 基于隐马尔可夫模型的人脸识g l j ( h m m ) 隐马尔可夫模型方法在语音识别领域取得了极大的成功，之后被n e f i a n 和 h y a e s 2 5 】i 捌1 2 7 1 引入到人脸识别领域。它是用于描述信号统计特性的一组统计模 型。采用h m m 对人脸进行识别的基本思想就在于可以把同一个人图像的各种 j 变化看成是同一状态产生的一系列实现，不同的人可用不同的h m m 模型来表。 示。因为正面人脸图像包含额头、眼睛、鼻子、嘴巴和下巴等5 个显著的特征 区域，即使头部有一定的偏转或倾斜，它们的上下次序不变，因此这5 个区域 隐含着5 个状态，人脸可以由一个5 个状态的自左向右的h m m 模型来表达。 n e f i a n 采用了二维离散余弦变换对采样窗进行特征提取，大大降低了计算的复 杂性以及对图像噪声、光照变化以及图像旋转等的敏感性。n e f i a n 迸一步把一 维的左右h m m 拓展为嵌入的伪二维h m m ( e h m m ) 来更好的描述人脸的二维 结构，在o r l 入脸数据上库取得了9 7 5 的好结果。o t h m a n z 8 j 等人进一步把 e h m m 拓展为2 d h m m 应用于人脸识别，虽然取得了与e h m m 相当或略好的 结果，但复杂度大大提高了。 总体说来，h m m 具有严密和丰富的体系结构，能很好的描述人脸的局部 结构和全局结构，以两层结构从粗到细的表达人脸结构，因而具有很好的发展 前景，但这种方法的有效性仍然依赖于所提取的采样窗口的特征，即这种方法 并没有解决特征提取的问题。 1 2 5 上述方法评析 基于几何特征的方法是最早被用于人脸识别的。该方法简单、直观。但容 易受到表情、光照、噪音因素的影响。弹性匹配方法采用人脸的小波特征，在 5 浙江师范大学硕士学位论文 一定程度上容忍光线、表情变化等的干扰，并且还还考虑tn 局部的人脸细节， 保留了人脸的空间分布信息。众多优点使得它在人脸识别方法中占据着重要的 地位。然而，弹性匹配所采用的小波特征提取实质上是将几个小同频段的信息 捆绑成一个单一的向量，而许多特征仅在某个频率范围内才易于区分，这使得 人们很难提取人脸的显著特征，并且计算复杂度较高。基于h m m 的人脸识别方 法虽具有严密和丰富的体系结构，但它的有效性仍然依赖于所提取的采样窗口 的特征，即这种方法并没有很好的解决特征提取问题。与前而的方法相比，子 空间分析的方法具有计算代价小、描述能力强、可分性好等特点，现已经成为 人脸识别的主流方法。在众多国际著名人脸识别竞赛中，基于子空间学习的方 法获得了最好的识别结果。而且子空间分析在其他研究领域诸如数据挖掘、信 号处理与分析等均有广泛的应用前景。 1 2 6 存在的问题 1 ) 非约束条件下的人脸识别。当前所采用的各种方法与技术，在严格的约 束条件下都能取得较好的效果，但在非约束条件下的效果往往差强人意，然而 在实际应用中所处的环境又经常是非约束的，要受到光线、遮挡、复杂背景等 各种外界因素的影响，所以使人脸识别技术具有一定程度的抗干扰性是非常重 要的。 2 ) 多特征融合与多分类器融合。经过多年的研究，人脸识别领域已经积累 下了大量方法与成果，然而任何一种方法都有其局限性，不能适用于所有情况， 因此有必要将各种方法与技术融合起来，发挥自己的长处，同时利用所融合的 其他技术克服自己的弱点，例如人脸的局部和整体信息的相互结合能更有效地 描述人脸的特征，如何更好地提取和组合局部与整体的特征便值得深入研究。 3 ) 三维人脸识别。人脸识别技术发展到今天，许多成果仍然是在二维人脸 信息基础上取得的，然而人脸本身是处于三维空间，因而人脸的三维信息比二维 的人脸图像能捕获更多的信息，也是一种更为自然的方法，如何有效地利用人 脸的三维信息进行识别，将是一个具有挑战性的研究课题。 4 ) 大多数自动人脸识别技术具有实时要求。因此，新的算法要快速、有效 且易于实现。 1 3 本文研究工作概述 本文主要研究工作在成分分析增量学习算法方面。首先提出了基于成批增 量数据的主成分分析增量学习算法，并将该算法进行核化得n t 相应的核主成 分分析增量学习算法。同时在无需计算协方差矩阵与提前未知数据的情况下， 随着数据维度逐步增加，提出了一种基于i p c a 的独立成分分析增量学习算法， 该算法能高效的计算出描述人脸图像的主非高斯向量。 6 第一章绪论 具体而言，主要研究工作有： 1 ) 对主成分分析增量学习算法在人脸识别中的应用进行了研究与分析，在 此基础上提出了一种基于主成分分析增量学习算法，该算法是针对批量数据的 增量学习算法，接着在此算法的基础上实现了其核化形式。通过在j d l - a 人脸 数据库上的实验表明，本文所提出的主成分分析增量学习算法的实验精度非常 接近于传统的主成分分析批处理算法，本文中提出的核主成分分析增量学习算 法的实验精度非常接近于传统的核主成分分析算法。而本文中提出的两种算法 的算法复杂度都较传统的批处理算法要低，突出的显示了算法的性能效率优势， 表明本文提出的算法是高效和实用的。 劲对传统的主成分分析与独立成分分析相结合的增量学习算法在入脸识 别中的应用进行了研究与分析，在此基础上提出了一种基于i p c a 的独立成分 分析增量学习算法。通过在o r l 与u m i s t 人脸数据库上的实验表明，本文提 出的独立成分分析增量学习算法相对于传统的主成分分析与独立成分分析相结 合的批处理算法具有更高的效率，能够更好的满足实际应用中实时性的要求， 同时具有更高的识别率。相对于主成分分析与f i s h e r f a c e 人脸识别特征提取算 法来说，耗时较少，同时具有更高的识别率。在主成分分析算法当中，如果要 得到有效向量，则只有在计算出所有向量的基础上才能得出，从而花费了大量 的时间来计算不必要的向量，而本文中提出的基于i p c a 的独立成分分析增量 学习算法通过减少独立非高斯向量的个数同样能够达到较高的识别效率。突出 的显示了算法的性能效率优势，表明本文所提出的算法是高效和实用的。 1 。4 本文的内容安排 第一章，绪论，主要介绍一下人脸识别的研究背景和意义、当前人脸识别 研究使用的主要方法以及当前人脸识别研究的主要进展与发展现状，并讨论了 人脸识别研究中存在的瓶颈问题与技术难点。 第二章，主成分分析增量学习算法，该部分将具体介绍本文提出的主成分 分析增量学习算法在人脸识别中的研究工作，主要包括：主成分分析，主成分 分析增量学习算法。 第三章，核主成分分析增量学习算法，该部分将具体介绍本文提出的核主 成分分析增量学习算法在人脸识别中的研究工作，主要包括：核方法，核主成 分分析与核主成分分析增量学习算法。 第四章，独立成分分析增量学习算法，该部分将具体介绍本文提出的独立 成分分析增量学习算法在人脸识别中的研究工作。主要包括：独立成分分析与 独立成分分析增量学习算法。 第五章，总结与展望，对全文进行概括性总结，并探讨了进一步研究思路。 7 第二章主成分分析增量学习算法 人脸识别在过去的二十年中已经成为一个研究领域，由于入脸图像一般维 数较高，所以在进行识别前都会采用一个维数约减步骤，而主成分分析( p c a ) 是人脸识别领域最具代表性的维数约减方法，已经广泛的应用于各种人脸识别 技术中，例如e i g e n f a c e l 2 9 j f i s h e r f a c c f 3 0 l 。一般主成分分析采用批处理方式，但 这就意味着只有准备好全部样本训练才能开始，在样本处理完之后训练也随之 停止。另一方面意味着如果有新的样本或者样本集加进来，那么训练就要重新 开始，代价巨大。尤其是第二个方面对在实际环境中工作的系统影响巨大。因 此我们有必要对主成分分析增量学习算法进行深入的研究，因为实际中人脸数 据库是经常更新的，常见的情况是新加入某个人的样本集，这就意味着每加入 一个人都要进行耗时的学习训练，所以采用耗时小的增量学习算法显然是必不 可少的。 2 1 主成分分析 主成分分析寻找一个使特定特征空间中的方差最大化的方向，首先介绍一 种矩阵运算一缩并，矩阵的特征分解可以写作如下形式： i a 一 m 一 ( 2 1 ) 7 = t 其中凡与m 为对应的特征值与特征向量，为非零特征值的个数。缩并运 算就是上式的逆运算，即： 二b a 一 m 叫( 2 2 ) 其中口为矩阵a 缩并运算的结果。 这里数据集将直接用一种映射关系来表示，即设数据集 xt 伽“) ，妒“) ) ，若只考虑输入空间时，只需令妒 ) ；z 。假定样本在特征 空间中已经被中心化，那么我们可以计算归一化方向w 上的投影方差： 善i ( 只 ) ) ) 2 一三【w r 矽 ) f w l = 矿三渺 ) r 】w ( 2 - 3 ) 。w r x x r w 矿c w z 其中言表示经验均值，c 表示协方差矩阵，寻找最大化方差的方向可以简 化为下面的最优化问题： m a x ww r c w 曼六2 1 8 ( 2 4 ) 第二章土成分分析增量学习算法 这个最优化问题可以用瑞利( r a l e i g h ) 商来表示，即最大化： p ( 叻：w f r c w w w ( 2 5 ) 这个最优解由对应于最大特征值的特征向量给出，p ( w ) 的值由特征值给 出，通过寻找对矩阵c 关于w 做缩并后得到的矩阵中的最大的特征向量，可以 在这个正交子空间中寻找第二个最大方差方向，重复这一步骤表明，这些相互 j 下交的最大方差方向由c 的特征向量给出，而按大小顺序递减的方差值由c 的 特征值给出。 因此，如果投影到多个正交方向上，它们方差和等于对应的特征值之和，。 这使得我们可以说出已捕获百分之多少总方差，其中总方差由全部特征值的和 给出，它等于数据范数平方和或者核矩阵的迹。如果第k 个特征值之后的那些 特征值都很小，那么就可以把数据看成近似七维，这样数据就会落在一个低维 的子空间，而同时尽可能地保留了数据的方差，于是可以把识别出能捕获大部 分的方差的低维子空间看作在训练数据中识别出来的模式。 也可以对未中心化的数据运用主成分分析，如果定义： c ： 肼7 ( 2 - 6 ) ， 其中x 没有中心化，那么同样的结论对上式也成立。把数据中心化具有减 少特征值的总和这二有利条件，从而能够削除因质心移动而产生的不相关的方 差，但中心化并不是主成分分析的必要条件。 那么这个由主成分分析得到的能够捕获大部分发差的子空间意义何在，可 以看下面一个命题【圳。 。命题：给定一个协方差矩阵为c 的训练集s ，c 的前k 个特征向量张成一 个子空间巩，到子空间上的正交投影p u k ( ( x ) ) 是尼维j 下交投影，且这个正交 投影把每个训练集和它的映像之间的平均平方距离最小化，换句话说，仉解决 了如下的优化问题： m i n 。上( u ) = 忖( 痧( 葺) ) j j ： s 8 i mu = 尼 而j 上( u ) 在最优点的值由： ( 2 7 ) 上( ) = 乃 ( 2 8 ) 。 信k + 1 给出，其中a ，h 是按递减顺序排列的矩阵，c 的特征值。 浙江师范人学硕十学位论文 从上面的命题可以看出，这个由主成分分析得到的k 维子空间与其他同维 子空间相比，从数据压缩或者从数据恢复的角度来讲是最优的。但同时要指出 的是主成分分析从分类角度来讲却不一定是最优的，很可能具有分类信息的方 向却不具有很大的方差，因而被主成分分析排除在外，所以在理论上主成分分 析用于模式识别问题有一定缺陷。t u r k 1j 首先将p c a 用于人脸识别的特征提取， 他称这种技术为本征脸( e i g e n f a c e s ) ，这也是最早出现的人脸识别子空间法之 一，由于p c a 本身所存在的缺陷，特别是本征脸对光线和表情的变化极为敏感， 近来又出现了一些p c a 的变形形式，包括前面提到的i p c a t 3 】与p c a n u l l s p a c e 5 1 ，还包括下一章将要介绍的核主成分分析【1 3 】。 2 2 主成分分析增量学习算法 主成分分析增量学习算法( i p c a 学习算法) 已经被研究了很多年，相继出 现了很多p c a 学习算法，这些增量学习算法大体上可以被分为两类，第一类 是不需要计算协方差矩阵的增量学 - j 算法，最近w e n g i 3 2 】提出了一种被称为 c a n d i dc o v a r i a n c e f r e ei p c a ( c c i p c a ) 的增量学习算法，采用了相类似的策略。“ 第二类是由新增样本重构最为重要p c s 3 3 3 们。下面本文就这两类主成份分析增 量学习算法进行介绍。 2 2 1 无需计算协方差矩阵的p c a 增量算法 最近美国密歇根大学的w e n g 3 zj 等针对大多数的i p c a 学习算法虽然在计算 主成分时无需计算协方差矩阵，但是会出现高维图像向量的收敛问题，提出了 一种c c i p c a ( c a n d i dc o v a r i a n c e f r e ei n c r e m e n t a lp r i n c i p a lc o m p o n e n ta n a l y s i s ) 算法，该算法在增量计算高维数据流的主要特征值与特征向量过程中的不需要 计算相应的协方差矩阵，而且不需事先知道数据，具有快速的收敛速度和低的 计算复杂度