（控制科学与工程专业论文）面向人脸识别的子空间分析和分类方法研究.pdf

摘要 人脸识别作为生物特征识别中最自然最直接的手段，受到越来越多的 研究和产业关注如何有效的从人脸图像中提取鉴别特征是人脸识别需要 解决的关键问题。在众多特征提取技术中，子空间分析方法因其实施性好、 有效性高等特点，成为人脸图像特征提取和识别的主流方法之一本文针 对子空间方法在人脸识别应用中的高维计算代价问题、约束问题、单样本 问题和分类机制设计问题等，进行了若干具体子空问方法分支的理论和应 用研究，主要完成以下工作： 提出了主成分分析变换空间上的鉴别共同向量算法( p c a + d c v ) 该方法通过在主成分分析变换空问上实施两次g r a m s c h m i d t 正交化过程 进行最优求解。在保留原算法数值稳定性高的优点的同时，利用主成分分 析变换空间的低维特性降低了算法复杂度，提高了求解速度，更适合高维 人脸样本分析计算应用。 基于本文p c a + d c v 算法中的主成分分析过程，进一步提出了依据主 成分对应特征值进行权重处理的鉴别共同向量识别算法( w p c a + d c v ) 该算法把对样本主成分的权重预处理工作融合在最优投影矩阵的求解工 作中，弱化了受光照等条件影响严重的主成分的判决作用实验结果证明 该方法提升了基于鉴别共同向量实现的人脸辨识的效果。 提出了一种在非负矩阵分解框架下传统子空间方法的统一形式和收 敛算法在该统一形式下，进行了主成分分析、f i s h e r 线性判别和局部邻 域保持投影方法思想的非负约束实现，完成了“非减性、加合性”的基学习， 跳出了一般子空间基线性组合时常见的正负抵消的产生模式的局限。该方 法可为多种子空间学习算法提供更好的视觉和心理解释性，反映人类思维 中“局部构成整体”的概念 面向单样本人脸识别任务，提出了基于光流检测权重的模块二维主 成分分析方法针对一般子空问方法面对单样本情况性能退化明显的问 题，本文利用模块二维主成分分析的特性，在实现保留样本局部信息、更 稳定估计数据协方差矩阵的基础上，提出了利用光流度量人脸图像之间的 i l l 直观区域差别，并通过权重方法将其作为先验知识定量地引入子空间鉴别 过程的思想方法实验结果验证了该方法在解决单样本问题时，相对于一 般子空间方法在识别正确率及稳定性方面具有显著提升 建立了一个基于单个二次规划问题进行各类样本整体优化的多类支 持向量分类器算法该算法具有优化问题规模不随目标分类类别数增长的 特性，解决了现有基于整体优化的多类分类支持向量机在大规模样本学 - - j 中的算法复杂度限制问题相比最近邻分类方法，该方法可为样本特征在 子空间中提供更好的分类超平面决策，丰富了子空问方法在人脸识另4 应用 中的分类决策设计手段 关键词：人脸识别，子空间方法，鉴别共同向量，非负矩阵分解，小 样本问题，多类支持向量分类器 i v a b s t r a c t f a c er e c o g n i t i o n ，a st h em o s tn a t u r a la n de x p l i c i ta p p r o a c ho fb i o l o g i c a l f e a t u r er e c o g n i t i o n ，h a sa t t r a c t e dm o r ea c a d e m i ca n di n d u s t r i a lc o n c e n t r a t i o n i nr e c e n td e c a d e s ac e n t r a li s s u et oas u c c e s s f u la p p r o a c hf o rf a c er e c o g n i t i o n i sh o wt oe x t r a c td i s c r i m i n a t i v ef e a t u r ef r o mt h ef a c i a li m a g e s m a n yf e a t u r e e x t r a c t i o nm e t h o d sh a v eb e e np r o p o s e da n da m o n gt h e mt h es u b s p a c ea n a l y s i s h a sr e c e i v e de x t e n s i v ea t t e n t i o no w i n gt oi t s a p p e a l i n gp r o p e r t i e s o f e f f i c i e n c y t h i s d i s s e r t a t i o nf o c u s e so nt h e s u b s p a c ea n a l y s i s a n d c l a s s i f i c a t i o nm e t h o d si nc a s eo ff a c er e c o g n i t i o n t h em a i nc o n t r i b u t i o n so f t h ed i s s e r t a t i o nc a nb en o t e da sf o l l o w i n g ： a na l g o r i t h mn a m e dd i s c r i m i n a t i v ec o m m o nv e c t o r si n t h ep c a t r a n s f o r m e ds p a c e ( p c a + d c v ) w a sp r o p o s e d b a s e do nt h ea n a l y s i st h a tt h e o p t i m a lp r o je c t i o n s o fd c vc a nb es e a r c h e dw i t h i nt h em o r ec o m p a c t s u b s p a c e ，p c a + d c vp e r f o r m s t w og r a m s c h m i d t o r t h o g o n a l i z a t i o n p r o c e d u r e s i nt h ep c at r a n s f o r m e ds p a c et oo b t a i nt h es a m eo p t i m a l p r o j e c t i o nm a t r i xa so r i g i n a ld c va l g o r i t h m p c a + d c vi saf a s ta l g o r i t h m c a l c u l a t i n gt h ed i s c r i m i n a t i v ec o m m o nv e c t o r s ，w h i c hm a k e st h ed c v m e t h o d m o r ef e a s i b l et ot h eh i g l ld i m e n s i o n a lp a t t e r nc l a s s i f i c a t i o ns u c ha sf a c e r e c o g n i t i o n ) f u r t h e r m o r e ，w i t ht h ef a c i l i t yo f f e r e db yp c aa n a l y s i sp r o c e d u r ei n p c a + d c v ，w eg a v eaw e i g h t e dp c a + d c va l g o r i t h m t h ea l g o r i t h ms u b t l y w e i g h t st h e f a c i a lc o m p o n e n t si np c as p a c ew h i l ec a l c u l a t i n go p t i m a l p r o j e c t i o nm a t r i x ，w h i c hi sp o t e n t i a lt oe n r i c ht h er e p r e s e n t a t i v ei n f o r m a t i o n a n dt h u si m p r o v e sd c v sr e c o g n i t i o np e r f o r m a n c e t h ed i s s e r t a t i o ne s t a b l i s h e da nu n i f i e df r a m e w o r ka n dc o r r e s p o n d i n g c o n v e r g i n gi t e r a t i v eu p d a t ea l g o r i t h mf o rn o n n e g a t i v em a t r i xf a c t o r i z a t i o n s u b s p a c ea n a l y s i s u n d e rt h i sf r a m e w o r k ，t h eb a s i cp r i n c i p l e o fm a j o r s u b s p a c ea n a l y s i ss u c ha sp c a ，f i s h e rl d a ，l o c a lp r e s e r v i n gp r o j e c t i o nc a n b ea p p l i e ds u b j e c t i n gt on o n - n e g a t i v i t yc o n s t r a i n t si nl e a r n i n gb a s i s t h i s e n s u r e st h a tt h e c o m p o n e n t s a r ec o m b i n e dt of o r maw h o l ei nt h e n o n s u b t r a c t i v ew a y f o rt h i sr e a s o n ，t h en m fu n i f i e df r a m e w o r ky i e l d sa s e r i e so fs u b s p a c ea n a l y s i sl e a r n i n gap a r t s b a s e dr e p r e s e n t a t i o n ，w h i c hm a y b e v b e t t e rc o n s i s t e n tw i t ht h eh u m a nb e i n gi n t u i t i v em e a n i n go fa d d i n gp a r t st o f o r maw h o l e ( 至) a i m i n g t of a c er e c o g n i t i o no n es a m p l ep r o b l e m ，t h ed i s s e r t a t i o n p r o p o s e d t h e w e i g h t e d m o d u l a r 2 d p c a ( t w o d i m e n s i o n a lp r i n c i p a l c o m p o n e n ta n a l y s i s ) m e t h o d d u et ot h ef a c tt h a tt h ep c a sp e r f o r m a n c ec a n b ec o n s i d e r e da sa nu p p e rl i m i tf o rm o s to fid i m a g ev e c t o rb a s e ds u b s p a c e m e t h o d si no n es a m p l ep r o b l e m ，t h en e wm e t h o df i r s t l yp e r f o r m s2 d p c a f e a t u r ee x t r a c t i o nf o rs u b - i m a g e b l o c k s i nt h i sw a y ，t h es c a t t e rm a t r i xo fd a t a c a nb ee s t i m a t e dm o r es t a b l yt h a np c a ，a sw e l la sl o c a li n f o r m a t i o nw a s r e t a i n e d t h e no p t i c a lf l o wm e t h o dw a su s e dt oq u a n t i t a t i v e l ye s t i m a t et h e d i f f e r e n c eo fb l o c k sb e t w e e nf a c ei m a g e s ，w h i c hi si n t r o d u c e da sp r i o r k n o w l e d g ef o re n f o r c i n gal o c a l - d e p e n d e dc l a s s i f i c a t i o n t h ee x p e r i m e n t r e s u l t si n d i c a t et h a t ，i no n es a m p l ep r o b l e m ，t h ew e i g h t e dm o d u l a r2 d p c a m e t h o di ss u p e r i o rt oc o n v e n t i o n a l1d - d a t a - - b a s e ds u b s p a c ea n a l y s i sm e t h o di n t e r m so fr e c o g n i t i o na c c u r a c ya n dr o b u s t n e s s t h ed i s s e r t a t i o nd e v e l o p e dan o v e lm u l t i - c l a s ss u p p o r tv e c t o rc l a s s i f i e r ( s v c ) c a l l e dm l m c ，w h i c hc o n s i d e r sa l lc l a s s e sd a t ai no n eq po p t i m i z a t i o n f o r m u l a t i o nw i t h o u ti n c r e a s i n gt h es i z eo ft h ep r o b l e mp r o p o r t i o n a lt ot h e n u m b e ro fc l a s s e s m l m co v e r c o m e st h ec o m p u t a t i o n a le f f i c i e n c yl i m i t a t i o n f o rm u l t i c l a s ss v c so fo n eq pp r o b l e mi nc a s eo fl a r g es c a l es a m p l e s l e a r n i n g c o m p a r e dw i t ht h en e a r e s tn e i g h b o rc l a s s i f i e r ( n n c ) w h i c hi s w i d e l ya d o p t e db ys u b s p a c em e t h o df o rc l a s s i f i c a t i o na f t e rf e a t u r ee x t r a c t i o n ， m l m cc o u l dg i v eb e t t e rd e c i s i o nh y p e r p l a n e si nt h ef e a t u r es p a c e ，t h u so f f e r s an e wa l t e r n a t i v ed e c i s i o nm e c h a n i s mf o rt h el a r g es c a l ef a c er e c o g n i t i o n a p p l i c a t i o n k e y w o r d s ：f a c er e c o g n i t i o n ，s u b s p a c em e t h o d s ，d i s c r i m i n a t i v ec o m m o n v e c t o r s ，n o n n e g a t i v em a t r i xf a e t o r i z a t i o n ，s m a l ls a m p l es i z e ，m u l t i c l a s s s u p p o r tv e c t o rc l a s s i f i e r v i 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝鎏盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：唐 甏签字日期2 了年7 月肜r 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝江盘堂 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 唐亮 导师签名 勿尸b 签字日期：2 口呷年7 月办日 签字日期：矽厂年尹月日 致谢 我的浙大十年，六年是在浙江大学智能系统与控制研究所机器人实验 室度过的这是我人生过程中一段充实、快乐而富有收获的时光，让我 觉得是一种人生的幸运在这里，强调创新及学科交叉的理论研究和实践 工作，让我发现了自我对该领域内学习和工作的自然而持久的兴趣；浓厚 踏实的学术氛围、和谐广泛的团队合作，也成为个人成长与成绩坚实的基 础和有力的支持 导师褚健教授对学科方向的准确把握，高屋建瓴的发展思路和为研究 工作创造的良好条件，使得学生们能够在所从事的科研领域中提高自我、 实现自我，也由此形成了一个敢于在学科前沿领域争先的团队特别感谢 合作导师熊蓉副教授，是她的教导，帮助与鼓励，让我克服了科研道路上 遇到的困难与生活中遇到的困惑熊老师热情忘我的工作态度、精益求精 的治学精神对我产生的积极影响也一定惠及我今后的人生之路 感谢朋友和同学们在各个方面给予了我热情和真诚的帮助和宣琦博 士的讨论曾让我茅塞顿开，和刘勇博士的交流也总是让我受益匪浅。多年 来，与王立，汤卿、王文斐、杜鑫峰、章逸丰、杨志鹏、孙逸超等同门在 一起交流与互助举不胜举再感谢我的室友程路博士、宣琦博士，让我明 白友情也是一个男人的财富 感谢每一个给我授课的老师，感谢每一位我所阅读的优秀文献的作者 感谢南京航空航天大学的陈松灿教授，刘俊博士提供的实验数据 感谢我的家人总在想报答他们为我付出的那么多的无以回报，但到 现在也尽是从他们那里的予取予求。 致谢写到这里，其余的先留在心里。 唐亮 2 0 0 9 年9 月 于浙江大学智能系统与控制研究所 绪论 1 绪论 1 1 入脸识别研究背景 随着社会的发展，来自安防、安检等各个方面对快速有效的自动身份 验证技术的需求日益扩大甚至迫切起来。生物特征作为人的内在属性，由 于具有强的自身稳定性和个体差异性，因此成为身份验证的主要依据，也 是无需附加条件的自然的身份验证技术的理想依据。目前人们研究和使用 的生物特征识别技术主要有人脸图像识别、虹膜识别、指纹识别、掌纹识 别、声音识别等其中，利用人脸特征进行身份验证是最自然与最直接的 手段相比基于其他人体生物特征实现的识别技术，基于人脸识别的实现 具有直接、友好、方便等特点，易于被用户接受【1 1 同时，在档案管理、 司法取证、视频会议、视频监控、多媒体管理等应用中，包含人脸的照片 或采集的视频等视觉形式信息可能是识别系统唯一可利用的判决信息，因 此发展基于人脸图像身份识别的技术是来自众多社会经济生活领域的必 然要求全球的生物认证技术市场已经具有很大的规模，据专门提供生物 识别产业相关咨询服务的美国公司i n t e r n a t i o n a lb i o m e t r i eg r o u p 近期出版 的一本关于生物识别市场及产业趋势的调查分析报告书“b i o m e t r i c s m a r k e ta n di n d u s t r yr e p o r t2 0 0 7 2 0 1 2 ”显示，2 0 0 7 年全球生物识别市场收 入超过3 0 亿美元，并且今后5 年内将以超过每年8 亿美元的幅度递增，至 2 0 1 2 年将达到7 4 亿美元而截止2 0 0 7 年，人脸识别的市场份额由原来的微 不足道，迅速上升到1 2 9 ，市场份额仅小于指纹识别，并且比重还在不 断增加，打破了国际生物识别市场上“指纹”一统天下的局面【2 】【3 1 随着人 脸识别技术的进一步发展和成熟，其作为生物认证技术中重要的一支，必 将具有更大的市场和应用前景 人脸识别技术研究涉及到计算机视觉、图像处理、模式识别、机器学 习、心理认知等众多学科以人脸识别为目标，也将推动这些基础研究的 发展、融合和应用 浙江人学博t ：学位论文 入脸生物特征认证系统通过视频或图像来自动辨识人脸，确认身份 如图1 1 所示，一个完整的辨识系统一般包括四个处理部分【4 1 ：人脸检测 跟踪、人脸对齐、特征提取和人脸分类人脸检测的目标是定位每张被侦 测的人脸在图像场景中的位置和大小；对视频流，能够跟踪目标人脸人 脸对齐的任务是较准确地定位和标准化人脸的各个分量，如眼、鼻、嘴和 脸部轮廓，从而保证在几何学和光度学意义下，不同的人脸图像能在一致 的环境下处理。特征提取步骤需要从标准化的脸中提取有利于区分不同人 脸的特征或分量。人脸分类的目标是基于提取的特征向量，将输入人脸与 数据库中的已知类别的人脸进行匹配，并输出相应的认证辨识结果有效 的人脸生物特征认证系统应该可以处理由视角、光照、表情、遮挡等变化 形成的人脸图像。本文人脸识别技术研究主要指人脸特征提取和分类方法 的研究，属于人脸生物特征认证系统的后端技术部分 删视咽懒圈舻圈懒母枞。 图1 1 人脸生物特征认证系统结构示意 瓜闲 i 注册信息l i 一 构造有效的人脸识别技术需要解决两个关键问题：描述一张人脸需 要哪些特征；怎样基于选择的特征来分类一张新的人脸图像人脸图像 的特征抽取可分为基于几何特征和基于统计特征两大类早期的方法主要 基于几何特征抽取，其基本思想是几何定位面部特征( 如眼睛、鼻子、嘴 和下巴等) 【5 】【6 】【7 1 。这些特征和特征之间的相互联系被用于构造人脸识别 的描述子，例如直接计算这些特征点的相对位置和距离作为人脸特征的度 量基于这种方法，k a n a d e 建立了第一个人脸识别系统【3 】基于几何特征 方法的优点是，数据被有效地压缩，形成了规则化的描述几何方法的不 2 绪论 足是，图像几何特征提取技术对光照和视角带来的图像变化往往敏感，几 何特征提取不稳定。迄今为止，仍没有形成十分可靠的人脸特征侦测和度 量技术【9 】同时，仅依靠几何信息来实现人脸识另4 是并不充分的由于入 脸表观的复杂性，显式的描述人脸特征较为困难，几何特征的描述可能不 准确、有歧义、或区分度不够 近年来，人脸识别的另一种主要的特征提取方法基于统计特征或 称为基于表观( a p p e a r a n c e ) 的方法取得了较大的进展。这类方法的特点是不 需采用过于具体的几何特征来描述面部信息，而是直接在图像的像素级上 实现相关任务，提取基于统计特性的图像特征弹性图匹配方法【1 0 1 ，基于 隐马尔可夫模型的方法【1 1 l ，基于形状及表面纹理特征的方法【1 2 l 等都是基于 统计特征的代表性方法 基于统计特征的方法中，最典型和常用的是基于线性或非线性变换的 特征抽取方法此类方法一般通过最优化某一准则函数得到一个变换投影 关系，通过这一投影关系将原始高维人脸图像样本降至低维子空间，因此 被统一称为子空间方法在低维子空间中人脸特征往往更加紧凑，具有更 好的可分性，分类学习结果具有更好的推广性。同时，子空间方法具有简 单高效、易用实施的特点大量的模式分类器都会采用子空间方法作为样 本特征提取，维数约简的预处理工具大多数人脸识别的成功例子都是基 于对脸部表观子空间的建模和统计学习的。但由于人脸具有因表情、光照 等带来的巨大表观变化，以及人脸图像本质的非线性流形结构、小样本， 维数灾问题的存在，子空间方法也面临着一系列实施和优化的理论及应用 问题。因为其方法本身的适用性和深入研究的挑战性，子空间方法得到了 广泛和持久的关注，2 0 多年来发展成为人脸识别研究中最为广大和基础性 的一支本文也将面向人脸识别应用，进行若干子空间方法的扩展性研究 浙江大学博士学位论文 1 2 人脸识别中的子空同方法 子空间分析方法目的在于研究存在于高维空问的模式的低维结构人 们感兴趣的具体模式一般不需要用原始输入空间的高维数据进行完全的 刻画，其本质可能是嵌入在高维空间中的一个子流形结构考虑一个n m 的人脸二维图像，每个像素的取值在 o ，1 ，2 5 5 中，那么对于这样的一个 数据就有2 5 6 胍个可能状态这样的图像空间可以包含非常大量的视觉模 式或类别。然而，对于一个具体的模式，比如人脸图像，可容许出现的状 态只是巨大可能状态中很小的一部分。换句话说，向量化的人脸图像本质 维数应该小于n x m 这也是基于表观的人脸识别方法一般将图像向量降 维投影到某个人脸子空间，再进行分析和处理的依据。 对模式的一个观测结果可以认为是少量本质或潜在变量的线性或非 线性组合子空间分析方法就是寻找对这种组合的表现方式，期望从高维 输入数据集中发现内在低维的特征集它与所有模式识别中试图发现高维 模式的本质低维结构的特征提取思想是一致的子空间方法的重要性主要 体现在两方面：( 1 ) 实现维数约简；( 2 ) 实现对研究模式的有效描述和高效 分类人脸图像由低维的特征点来表示，不仅在计算上更高效，同时子空 间特征对于人脸识别任务更明显，特征点分布更合理，利于分类学习的推 广与泛化。 子空间方法可以按照线性子空间和非线性子空间方法分为两类其中， 线性子空间方法假定数据集具有内在低维结构，观测空间的数据集与相应 的低维结构之间形成的映射投影关系可以通过基函数的线性组合来表示， 所求取的基图像可以张成一个人脸子空间，公式化为f ：尺”专r ”，m m - c 类 问离散度矩阵、类内离散度矩阵和总离散度矩阵分别为 s 口= m ( 一一) ( 鸬一) t ， ( 2 3 ) c j r , _ 品= ( 一一) ( 一一) 1 = 剧t ， ( 2 4 ) cn l- 品= 艺( 毛一) ( 一声) 1 = & + 品， ( 2 5 ) 其中，声是所有样本的均值，鸬是第f 类样本的均值， 浙江大学博上学位论文 爿= 爿一声。，矗- 4 。，砰一心，一心 ， ( 2 6 ) 爿为dx m 矩阵 一般的，需要寻找一组张成品零空间的正交向量，构成投影到品零 空间的最优投影矩阵由于零空间可能非常大，直接的计算几乎是不 可行。但是利用较小的mx m 矩阵a t a ，可以便捷地求取一组张成品零空 间的补空间( 也就是昂的秩空间) 的正交向量组 设较小的mx m 阵a t a 的非零特征值五对应的特征向量为v k ，品的非 零特征值对应的特征向量吼可由较小矩阵a t a 的非零特征值对应的特征 向量咋，通过下式( 2 7 ) 得到 铲赤a v k 司2 ，r ( 2 7 ) d c v 算法就是利用这样一组正交向量，计算样本到s 零空间的投影结果 r d 代表样本空间，用y 表示s w 的秩空问，v 上表示& 的零空间，有 v = s p a n a ts w a o ，k = l ，厂，吒er d ， ( 2 8 ) 和 y 上= 露煅，l 疆。is q = o ，k = r + l ，d ，口l 尺4 ) ， ( 2 9 ) 其中r = r a n k ( s w ) ，由于存在小样本问题，d ，； q _ ：，) 是一组正交 基， a l , 口：，q 张成s w 的秩空间考虑矩阵q - e c l l ，口：。，q 和 q = e l z r + l ，q + 2 ， ，p = q q t 和乒= 耍互t ，因r d = 矿。y 上，故有 厶= 一蹦= 双，m = l ，m ，i = 1 ，c ( 2 1 0 ) 通过这样的方式，得到了对一个类别中所有样本均相同的唯一向量， 也就是说，式( 2 1 0 ) 右边部分与具体的样本在类中序号m 无关称艺啊为第 f 类的共同向量 1 6 主成分分析变换窄问上的鉴另i j 共同向量人脸识别方法 d c v 力- 法最优投影向量即是最大化共同向量总体散度的向量，即 - ，( ) 2 鹕i 鼢= o i w t 墨 鹕i 鼢= 。妒s t 矽l - 嘤咿i w t 形i ，( 2 11 ) 其中 ：艺( 厶一) ( 一) t ：包，扣1 ，2 ， c ， ( 2 1 2 ) 厶厶一，一 ， ( 2 1 3 ) 2 土c i = i 厶， ( 2 1 4 ) 的列向量峨是最优的正交投影向量，为瓯。的对应非零特征值的特征 向量事实上，的特征值问题可以通过较小的c x c 矩阵以。实现 人脸样本一般均满足相互独立的条件，由定义知的秩小于等于 c i ，因此最多可得到c 1 个特征向量，k = l ，2 ，c - i ，其构成最佳变 换阵= 【嵋，w c 一。】。由和第f 类的任意样本得到第f 类的表征 向量砬 2 = 吆，m = l ，2 ，m ，i = l ，2 ，c ( 2 15 ) 岷属于的零空间，向量2 的第尼个元素为在岷上的投影由于 在零空间的投影独立于第i 类中样本的选取，因此i 类的的特征向量砬同 样独立于第f 类的样本，为各类惟一 将待识别样本投影到鉴别向量m ( k = l ，2 ，c 一1 ) 得到待识别样 本的表征向量 = 吃( 2 1 6 ) 在识别分类阶段，将待识别样本归为瓯与砬距离最小的对应类别 c 中 c = a r g r n i n l | 虬一驯i = i ，2 ，c ( 2 1 7 ) 1 7 浙江大学博士学位论文 总结d c v 算法1 的计算，分类过程如下： 通过矩阵a t a 的特征值问题得到的非零特征值对应的特征向量 构成的矩阵q = 【q ，投：，晖】，= r a n k ( s 矽) ； 每类任选一个样本，通过 = - q o t 毫，胁= l ，鸩，i lo * 9 c( 2 1 8 ) 将其投影到的零空问得到该类的鉴别共同向量x i 。o 啊； 通过矩阵以。九。的特征值问题得到的非零特征值对应的特征向 量岷，由其构成最佳变换阵= 【m ，w c 一】； 通过计算第f 类的表征向量q 和待识别样本的表征向量， 用最小距离分类方法分类 2 2 2d c v 算法2 t 4 2 】【4 3 】 d c v 算法1 在两个阶段均需要求解特征方程( 第l 步和第3 步) ，计算量 大，且数值稳定性较差。实际操作中，由于数值计算的原因，该算法常会 出现用同一类的不同样本计算得到的共同向量不相等的情况，难以获得较 好的识别结果【4 3 1 。根据文献 5 3 】的结论，由样本估计的协方差矩阵的秩空 间可由样本张成，因此求解一组张成协方差矩阵秩空间的标准正交基矢 量，可直接对样本进行g r a m s c h m i d t i e 交化得到，而无需对协方差矩阵进 行特征值分解这样，就可以将d c v 算法1 中两次求解特征方程得到秩空 间基向量的过程，转化为进行两次g r a m s c h m i d t 正交化的过程，由此得到 d c v 算法2 ： 求取类内散度矩阵品的秩空间，等价于求取矩阵日，的列空间。日w 定义为 巩= 【6 j ，酰，砰，b 叩c 。】 ( 2 1 9 ) 主成分分析变换宅问上的鉴别共同向量人脸识别方法 其中噬= 一矗，k = 1 , - - - , m - 1 ，i = l ，2 ，c 。对日w 应用g r a m s c h m i d t j e 交化 过程，得到 h 。= u w k( 2 2 0 ) 为标准正交矩阵，其列向量张成了类内散度矩阵品的秩空间。 从每类中任意选取一个样本( 不失一般性，通常可取盛：) ，利用下式 ( 2 2 1 ) 将其投影到类内散度矩阵s 的零空间，得到与选取样本序号m 无关 的各类的共同向量屹i 。： = 一砩- - x ，l 吒一砩矗，m = l ，2 ，m ，i = 1 ，2 ，c ( 2 2 1 ) 取 b k c o t n = 。一，k = l ，2 ，c - 1 ( 2 2 2 ) 作为列向量，构成矩阵 b c 。= 如，蚓 ( 2 2 3 ) 对应用g r a m s c h m i d t j e 交化过程，得到 b o o = c r 屹( 2 2 4 ) c y 即为d c v 算法2 求取的最优投影矩阵，且c y 为标准正交矩阵， 其列向量张成了关于共同向量厶的散度矩阵瓯。的秩空间。 相应的分类方法为：在类i 中任选一个样本，利用最优投影矩阵得 到与m 无关的惟一的第i 类表征向量 砬= w ；t y ， ( 2 2 5 ) 对于待识别样本计算其表征向量 瓯= 咳y x t e s t ， ( 2 2 6 ) 采用最小距离分类，将待识别样本x t e s t 归为类别c 中 c = a r g m i n l l 一圳i = l ，2 ，c ( 2 2 7 ) 1 9 浙江大学博上学位论文 2 3 主成分分析变换空阃上的鉴别共同向量算法( p c a + d c v ) 本节中将提出在主成分变换空间上实行的鉴别共同向量算法，称之为 p c a + d c v 算法基于g r a m s c h m i d t 正交化实现的p c a + d c v 算法将会得到 与d c v 算法完全相同的最优投影矩阵，保留所有d c v 方法下的鉴别信息 相对原有d c v 算法却可以大大降低算法复杂度，提高学习训练的速度与效 率，使其更加适合于高维样本的人脸识别任务 2 3 1p c a + d c v 方法思想 观察d c v 方法所基于的式( 2 2 ) 陈述的修改f l d a 标准： ，( ) = a r g j 。m a 叫x l o i w t & ，l _ a r 9 1 w 邺$ w i m o iw t s r wl 该标准要求在iw t s w wl = o 的条件下最大化lw t s 川，显然最大化目标函 数j ( w ) 的向量w 不会出现在总离散度矩阵的s t 的零空问中。 指出如下定理2 1 ： 定理2 1 n u l l ( s 7 ) = n u l l ( s n +n u l l ( s n ) n n u l l ( s w ) 证明：设向量a n u l l ( s r ) ，则有a r s a = 口t ( 岛+ s w ) a = o ，因此得 口t s b a + a t 品口= o( 2 2 8 ) & 和品均为半正定矩阵，对任意向量x ，有x t x - 0 和x t s w x o ， 因此根据式( 2 2 8 ) 得到a t s n a = o 和a t s w a = o 由半正定矩阵的性质，其等 价于s b a = 0s w a = 0 。也就是说明, n u l i ( s n ) i i n u l l ( s ) 反之，若4 m 朋( 咒) nm 刀( 品) ，易得a n u l l ( s r ) ，因此m 刀( 品) 和 n u l l ( s n ) n n u l l ( s w ) 为同一空间定理2 1 得证 d c v 算法在搜索最大化i 矿s r wi 的向量w 时，搜索目标空间是完整的 品的零空间，定理2 1 说明其中包含了完整的墨的零空问然而，在母的 主成分分析变换空间上的鉴别共同向量人脸识别方法 零空问中的优化搜索工作是无效的，即d c v 算法的操作空问维度实际上是 过大了于是，可以在去除了墨的零空间的的零空阅上，即子空间 m ( ) - n u h ( s r ) 上完成d c v 目标函数的工作而在这样一个相对低的 维度空间上进行优化和变换，可以降低运算工作量，得到更高的执行效率 再来观察子空间m 口( ) - n u l l ( s r ) ，有如下关系： n u l l ( s w ) - n u l l ( s r ) = n u l l ( s w ) n r ( s r )( 2 2 9 ) 可见，定义的寻优子空间也可以视为是昂的零空间和墨的秩空间的 交，即在母的秩空间上再去基于式( 2 2 ) 陈述的修改f l d a 标准实现d c v 方法，将使优化计算过程在一个“最精简”的空间上进行同时，关于样本 的一系列投影变换计算也在一个相对低维的降维数据集上进行，也简化了 算法复杂度在面向人脸识别中的小样本问题时，写的秩空间维度一般可 以认为是m 一1 ，在这样一个低维空间上进行运算，效率的优势将更加明显 样本主成分分析( p c a ) 中，m 个最优主成分方向通过对总离散度矩 阵母的对应m 个最大特征值的特征向量的求取来确定【5 4 1 墨全体非零特 征值对应的特征向量张成了研的秩空间，即主成分分析中的全体主成分成 分构成了定义的高效算法的执行空间在本文中，把爵全体非零特征值对 应的特征向量构成的空间称为“主成分分析变换空间”，将所提出的高效方 法称为“主成分分析变换空间上的鉴别共同矢量”算法，简称p c a + d c v 算 法。 2 3 2p c a + d c v 算法及证明 在本章2 2 2 节论述中提到，d c v 算法is 两个阶段均需要求解特征方程 ( 第1 步和第3 步) ，计算量大，且数值稳定性较差，而基于两次两次 g r a m s c h m i d t j e 交化的d c v 算法2 则具有较好的数值稳定性和相对低的计 算量因此，本节将基于d c v 算法2 发展p c a + d c v 算法 2 1 浙江人学博：l 学位论文 作为p c a + d c v 算法的证明基础，先引用如下定理2 2 ： 定理2 2通过d c v 算法2 求取最优投影矩阵的过程相当于求解一个窄 q r ( t h i nq r ) 分解问题【5 5 1 定义 巩= 6 l ，b 2 ，一i 】，( 2 3 0 ) 其中 色= 矗一，i = 1 ，2 ，c 一1 ， ( 2 3 1 ) 对 日。吼】进行q r 分解，得到 c 日。h a = t q 幺， 0 乏 ， c 2 3 2 ， q l 、q 2 为正交矩阵，墨、是为上三角阵，o 为零矩阵，三为分解算法所 得的某一特定矩阵。则有d c v 最优投影矩阵 = q 2 ，( 2 3 3 ) 证明：考察式( 2 3 2 ) 定义的窄q r 分解，可以得到 h 。= q l 墨( 2 3 4 ) 风= q l 三+ 皱恐( 2 3 5 ) l = q 1 1 风 ( 2 3 6 ) 也一q lq i 。巩= q 2 垦( 2 3 7 ) 再综合式( 2 2 1 ) 一( 2 2 3 ) 及( 2 3 0 ) 一( 2 3 1 ) ，得到 b c o n l = h b u 咿u ；h bq 3 8 ) g r a m s c h m i d t 正交化过程就是一种实施窄q r 分解的方法【5 6 1 ，并且矩阵 为列满秩时，q r 分解的结果是唯一的当训练样本线性无关时( 人脸识 别一般情况满足这一条件) ，h w 、和【巩巩】皆为列满秩则从式 ( 2 2 0 ) 和式( 2 3 4 ) 得到 主成分分析变换窄间j ：的鉴别共同向量人脸识别方法 k = 置 = q l 同理，综合式( 2 2 4 ) 和式( 2 3 7 ) 一( 2 3 8 ) ，得到 ( 2 3 9 ) ( 2 4