（应用数学专业论文）一种改进的核fisher鉴别分析算法在人脸识别中的应用.pdf

ad is s e r t a t i o ns u b m i t t e dt og u a n g d o n gu n i v e r s i t yo f t e c h n o l o g yf o rt h e d e g r e eo f m a s t e ro fs c i e n c e a n i m p r o v e d k e m e lf i s h e rd i s c r i m i n a n ta n a l y s i sa l g o r i t h m a p p l i e di nf a c er e c o g n i t i o n m s c a n d i d a t e ：l i ux i a o l i a n g s u p e r v i s o r ：p r o f w a n gf u l o n g m a y 2 0 1 0 f a c u l t yo fa p p l i e dm a t h e m a t i c s g u a n g d o n gu n i v e r s i t yo ft e c h n o l o g y g u a n g z h o u ，g u a n g d o n g 。p r c h i n a ，5 10 0 0 6 5哪76叭5m 4叭， 1y 摘要 摘要 人脸识别过程包括人脸检测、特征提取以及人脸分类三个部分，特征提取是其中 最关键的环节。人脸特征提取又称为人脸表述，在低维空间内对原高维空间的人脸模 式进行描述以提取有利于分类的低维特征。本文的主要工作体现在特征提取方面。目 前特征提取过程中主要存在以下问题：由于人脸图像的训练样本总数过大而导致类内 散度矩阵奇异的问题( 又称小样本问题) ；在投影过程中边缘类起到了主导作用的投 影重叠问题；最后一个问题是虽然通过实验证明零空间方法求得的最优鉴别矢量效果 确实不错，但是它忽略了非零空间也可能存在最优鉴别矢量的可能性，所以零空间所 取的鉴别矢量不一定是最优的。在非线性空间中采用加权的最大散度差鉴别准则，该 方法不仅有效地抽取了人脸图像的非线性特征，解决了小样本问题，而且在特征空间 内，使用权函数重新估计了类间散度矩阵和类内散矩阵之间的关系，从而优化了核的 最大散度差准则函数，一定程度上抑制了投影重叠问题。由于改进后的散度差准则包 括了零空间方法，或者说零空间方法是本文方法的特殊情况，这样就使得本文方法可 以既能得到零空间和又能得到非零空间中的最优鉴别矢量，解决了零空间方法的片面 性。考虑到该方法对光照变化有一定的敏感性，本文引入了指数衰减的预处理策略， 使得识别率得到进一步提高。最后在o r l 和y a l e 人脸数据库上的实验结果验证了本文 方法的有效性。 关键词：人脸识别；f i s h e r 非线性鉴别分析；最大散度差鉴别准则；指数衰减 广东x - ：l k 大学硕士学位论文 a b s t r a c t t h ep r o c e s so ff a c er e c o g n i t i o ni n c l u d e sf a c ed e t e c t i o n , f e a t u r ee x t r a c t i o na n d f a c ec l a s s i f i c a t i o n f e a t u r ee x t r a c t i o na l s or e f e r r e dt oa sf a c er e p r e s e n t a t i o n ，i sac r i t i c a l s t e pf o rf a c er e c o g n i t i o n 1 1 豫g o a li st or e p r e s e n th i g hd i m e n s i o nf a c ep a t t e r n si nl o w d i m e n s i o nf e a t u r es p a c es o 舔t oe x t r a c tf a c ef e a t u r ew h i c hi sh e l p f u lf o rc l a s s i f i c a t i o n t h i sp a p e ri sm a i n l yr e f l e c t e di nt h e f e a t u r ee x t r a c t i o n p r e s e n t l yf e a t u r ee x t r a c t i o n p r o c e s sc o n t a i n sf o l l o w i n gp r o b l e m s ：t h ef a c ei m a g eo ft o t a l n u m b e ro ft r a i n i n g s a m p l e si st o ol a g e r , w h i c hl e a d st os i n g u l a rp r o b l e m so fw i t h i n - c l a s ss c a t t e rm a t r i x ( t h es m a l ls a m p l es i z ep r o b l e m ) ；s o m ec l a s s e sh a v i n gl a r g e rd i s t a n c ef r o mc e n t e rp l a y l e a d i n gr o l e sw h i c hn o to n l yc a n n o ts e p a r a t eo t h e rc l a s s e sb e s i d e sm a r g i nb u tr e s u l ti n o v e r l a p p i n go fn e i g h b o r i n gc l a s s e si nf e a t u r es p a c e ；z e r o k f d am e t h o dt h r o u g ht h e e x p e r i m e n th a sp r o v e dt oh er e a l l yg o o d ，b u ti ti g n o r e st h a tt h en o n z e r os p a c em a y a l s oh a v et h eo p t i m a ld i s c r i m i n a n tv e c t o r s aw e i g h t e dk e r n e lm a x i m u ms c a r e r d i f f e r e n c ed i s c r i m i n a t ec r i t e r i o ni sd e v e l o p e df o re x t r a c t i o no fn o n l i n e a rf e a t u r e t h e p r o p o s e dm e t h o dn o to i l l ye x t r a c t sn o n l i n e a r 佗咖r ef o rf a c e se f f e c t i v e l yw h i c hc a l l s o l v et h es m a l ls a m p l es i z ep r o b l e m ，b u ta l s or e c o n s t r u c t st h er e l a t i o n sb e t w e e n - c l a s s s c a t t e rm a t r i xa n dw i t h i n - c l a s ss c a t t e rm a t r i xb yw e i g h t e ds c h e m e st ow e a k e n o v e r l a p p i n go fn e i g h b o r i n gc l a s s e s s oi tc a nm o d i f yt h ek e r n e lm a x i m u ms c a t t e r d i f f e r e n c ed i s c r i m i n a t ec r i t e r i o n b e c a u s et h em o d i f i e ds c a t t e rd i f f e r e n c ec r i t e r i o n i n c l u d e st h ec a s eo f z e r o - k f d a , i no t h e rw o r d s , z e r o - k f d ai sas p e c i a lc a s eo f t h a t ， i tc a na c h i e v et h eo p t i m a ld i s c r i m i n a n tv e c t o r sf r o mb o t hz e r os p a c ea n dn o n - z e r o s p a c e s oi ts o l v e so n e - s i d e d n e s so fz e r o k f d a c o n s i d e r i n gt h i sm e t h o ds e n s i t i v et o t h ec h a n g eo fi l l u m i n a t i o n , ap r e t r e a t m e n ts t r a t e g yn a m e de x p o n e n t i a ld e c a yt h a tc a r l r e d u c ei m a g eg r a d a t i o ni su s e d f i n a l l ye x p e r i m e n t sp e r f o r m e do no r la n dy a l ef a c e d a t a b a s ev e r i f yt h ee f f e c t i v e n e s so f t h ep r o p o s e dm e t h o d k e yw or ds ：f a c er e c o g n i t i o n ；k f d a ；m a x i m u ms c a t t e r d i f f e r e n c ec r i t e r i o n ； e x p o n e n t i a ld e c a y ；z e r o k f d a 目录 目录 摘要i a b s t r a c t i i 目录i i i c o n t e n t s v 第一章绪论l 1 1 论文研究的背景1 12 人脸识别技术的研究现状2 1 2 1 基于几何特征的人脸识别方法3 1 2 2 基于模板匹配的人脸识别方法3 1 2 3 基于神经网络的人脸识别方法4 1 2 4 基于统计特征的人脸识别方法5 1 3 论文各部分主要内容一6 第二章传统的线性鉴别分析。8 2 1 引言8 2 2p c a 线性鉴别分析8 2 3i c a 线性鉴别分析9 2 4f i s h e r 线性鉴别分析及几种改进的方法1 0 2 4 1f i s h e r 线性鉴别分析1 0 2 4 2 零空间方法1 1 2 4 3 散度差方法11 2 5 小结12 第三章一种改进的核f i s h e r 非线性鉴别分析1 3 3 1 引言1 3 3 2 核f i s h e r 鉴别分析1 3 3 2 1 核函数的基本概念1 3 i i l 广东工业大学硕士学位论文 3 2 2k f d a 所存在的问题1 4 3 3 改进的核最大散度差鉴别分析( i v i s d a ) 1 6 3 4 指数衰减( e d ) 的预处理方法一1 9 3 5 人脸识别系统1 9 3 6 小结2 l 第四章人脸识别系统的实现及结果分析2 2 4 1 引言2 2 4 2 人脸库的介绍2 2 4 3 最近邻分类器2 4 4 4 小波变换理论2 5 4 5 比较试验结果及分析2 8 4 6 小结3 3 结论3 4 参考文献3 6 攻读硕士学位期间发表的学术论文。4 0 独创性声明 4 1 致谢4 2 c o n 删t s a b s t r a c t i nc h i n e s e 。一i a b s t r a c ti ne n g l i s h t c o n t e n t si nc h i n e s e 。 i i i l l c o n t e n t si ne n g l i s h 。”一v c h a p t e r 1i n t r o d u c t i o n 一“”一一一一一一0 0 o o o o o o o 一“i i it h eb a c k g r o u n do f t h ep a p e r 1 1 2s t a t u so f f a c er e c o g n i t i o nr e s e a r c h i n g 2 1 2 1f a c er e c o g n i t i o nb a s e do ng e o m e t r i cf e a t u r e s 3 1 2 2f a c er e c o g n i t i o nb a s e do nt e m p l a t em a t c h i n g 3 1 2 3f a c er e c o g n i t i o nb a s e do i ln e u r a ln e t w o r k 4 1 2 4f a c er e c o g n i t i o nb a s e do ns t a t i s t i c a lf e a t u r e s 5 1 3t h em a i nc o n t e n t so f t h ev a r i o u sp a r t s 6 c h a p t e r 2t r a d i t i o n a ll i n e a rd i s c r i m i n a ta n a l y s i s 8 2 1i n t r o d u c t i o n 8 2 2p c al i n e a rd i s c r i m i n a ta n a l y s i s 8 2 3i c al i n e a rd i s c r i m i n a ta n a l y s i s 9 2 4f i s h e rl i n e a rd i s c r i m i n a ta n a l y s i sa n dt w oi n p r o v e dm e t h o d s 1 0 2 4 1f i s h e rl i n e a rd i s c r i m i n a ta n a l y s i s 1 0 2 4 2z e r os p a c em e t h o d 11 2 4 3s c a t t e rd i f f e r e n c em e t h o d 1 1 2 5s u m m a r y 1 2 c h a p i t e r3 a ni m p r o v e dk e r n e lf i s h e rl i n e a rd i s e r i m i n a n ta n a l y s i s $ q b i o o u13 3 1i m r o d u c t i o i l 1 3 3 2k 曲l e lf i s h e rl i n e a rd i s c r i m i n a ta n a l y s i s 1 3 3 2 1t h eb a s i cc o n c e p to f k e r n e lf u n c t i o n 1 3 v 广东工业大学硕士学位论文 3 2 2s o m ep r o b l e m so f k f d a 1 4 3 3i m p r o v e dk e r n e ls c a t t e rd i f f e r e n c ed i s c r i m i n a ta n a l y s i s 16 3 4p r e t r e a t m e n ts t r a t e g yb ye x p o n e n t i a ld e c a y ( e d ) 19 3 5f a c er e c o g n i t i o ns y s t e m 1 9 3 6s u m m a r y 2 1 c h a p t e r4f a c er e c o g n i t i o ns y s t e mr e a l i z i n ga n dr e s u l t sa n a l y s i s 2 2 4 1i n t r o d u c t i o i l 2 2 4 2i n t r o d u c t i o no f f a c ed a t a b a s e 2 2 4 3n e w e s tn e i g h b o r h o o dc l a s s i f i e r 2 4 4 4w a v e l e tt r a n s f o r mt h e o r y 2 5 4 5c o m p a r i s o na n da n a l y s i so f e x p e r i m e n t a lr e s u l t s 2 8 4 6s u n u r m r y 3 3 c o n c l u t i o n 3 4 r e f e r e n c e s ：；6 t h e p u b l i s h e dp a p e rd u d n g m a s t e r ss t u d i e s 4 0 o r i g i n a la n n o u n c e 4 1 a c k n o w l e d g e m e n t 4 2 v i 第一章绪论 1 1 论文研究的背景 第一章绪论 生物特征识别技术在近几十年中发展迅速。当前身份识别方法有：人脸识别， 指纹识别，掌纹识别，视网膜识别，虹膜识别，红外温谱，静脉识别。随着社会 的发展以及技术的改进，这些方法将会越来越成熟。与其它生物特征识别方法相 比，人脸识别方法应用范围更为广泛。所谓人脸识别：是指对输入的人脸图像或者 视频判断其中是否存在人脸如果存在人脸，则进一步给出每张人脸的位置、大小 和各个主要面部器官的位置信息，并且依据这些信息进一步将其与已知人脸库中 的人脸( 提取每张人脸蕴含的身份特征) 进行对比，从而识别出每张人脸的身份。 人脸识别的一般过程可以分为以下三个部分：人脸检测、特征抽取及人脸分类。 人脸检测概述：人脸检测是指在输入图像中判断是否存在人脸，若果存在， 确定所有人脸的位置、大小等过程。人脸检测是人脸识别中的一项关键技术，是人 脸识别的前提和基础，近年来模式识别与计算机视觉的研究者对此非常重视。人 脸检测问题虽然最初来源于人脸识别，但现在其应用背景已经超出了人脸识别系 统的范畴，在基于内容的检索、数字视频处理、视觉检测等方面有着重要的应用 价值。人脸检测从处理的图像的来源上分为两类：静态检测和动态视频检测。静 态检测指任意给定一幅静态图像，确定这幅图像中是否存在人脸，如果存在，就 返回每一个人脸的位置和范围。动态图像指视频序列，如监控录像、影视资料等。 动态检测即从动态图像中检测人脸、分割人脸。 人脸识别的特征提取：利用人脸定位和检测方法将人脸从具有一定背景的图 像中分割出来后，有效地抽取人脸识别特征成为了人脸识别的关键。人脸图像的 维数一般很高，不便于直接的分类，如何有效地抽取特征是人脸识别研究的一个 主要问题。一般图像特征可以分为四类：直观性特征、灰度统计特征、变换系数 特征与代数特征。变换系数特征指先对图像进行f o u r i e r 变换、小波变换等，得 到的系数后作为特征进行识别。小波变换在人脸识别中常常作为一个图像的压缩 工具使用，对图像降维后再抽取其它的代数特征和统计特征进行识别。 广东工业大学硕士学位论文 分类器设计是人脸识别的另一重要环节。在人脸识别中，使用最多的是最近 邻分类器和支持向量机，其它的还有贝叶斯分类器和神经网络分类器。 当前的人脸识别技术主要被应用到了以下几个方面： ( 1 ) 门禁控制。在这个世界上，只要有门的地方几乎都带有一把锁。当然，在 许多安全级别要求较高的区域，例如金融机构、海关、机关办公大楼、监狱、别 墅、花园小区、运动场馆、甚至重要设施的工地，都需要对大量的人员进行基于 身份认证的门禁管理。人脸识别门禁系统，为这些场所提供了更加安全、更加便 利的门禁权限管理。 ( 2 ) 考勤管理。大多数企业都需要进行考勤管理，人脸识别考勤相较于其它考 勤方式，有众多优势，例如：相比于指纹识别考勤，识别速度更快，精确度更高， 非接触识别更加卫生；相比于打卡考勤，无需带卡更加便利，同时可以杜绝打卡 考勤中的“代打卡 现象。人脸识别考勤，以其不可比拟的优点，必将为企业、 事业单位、工矿企业等提供更加便捷、更加高效的考勤管理。 ( 3 ) 身份认证。人脸识别可广泛的用于需要身份认证的领域，例如保险柜控制、 医疗卫生、社保、e r p 、银行内部信息管理等各种管理系统的身份认证，网络系统 安全认证，手机、笔记本电脑、相机等个人电子产品开机和使用过程中用到的身 份认证等等。 1 2 人脸识别技术的研究现状 当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家。著名的 研究机构有美国m i t 的m e d i al a b ，a il a b ，c m u 的h u m a n - c o m p u t e ri n t e r f a c e i n s t i t u t e ，m i c r o s o f tr e s e a r c h ，英国的d e p a r t m e n to fe n g i n e e r i n gi n u n i v e r s i t yo fc a m b r i d g e 等。综合有关文献，目前国内外人脸识别的方法主要 集中在以下几个方面：基于几何特征、模板匹配、神经网络及统计特征的人脸识 别方法。 1 - 2 1 基于几何特征的人脸识别方法 人脸由眼睛、鼻子、嘴、下巴等部件构成，对这些部件和结构关系的几何描 述，可作为识别人脸的一些重要特征。所选的几何特征应该满足如下要求：特 2 第一章绪论 征的估计应尽可能简单；特征对光照的依赖性应尽可能小；特征对人脸的表 情变化应不太敏感；特征信息应足够用来识别人脸。在这种基于几何特征的识 别算法中，识别过程归结为特征向量之间的匹配。传统的特征点提取系统在实际 应用背景中都有很大的局限性，因为在实际环境中得到的人脸图像通常是具有一 定倾斜角度的。在证件类型的照片中也不能保证绝对的正面像。如果一个数据库 中包含有每个人不同姿势的照片需要识别时，几何特征的角度不变性就显得越发 重要了。k a n a d e 1 】用几何量作为人脸的特征，这些几何量包括眼角、嘴角、鼻孔、 下巴这些点之间的距离以及所成的角；b u h r 2 1 用图表示法和描述树法给出了人脸 的3 个主要特征与1 2 个次要特征，其主要特征包括了2 4 个基于眼睛、人脸中心、嘴 的量测；y u i u e 3 】提出了包括头发、鼻子、嘴并用弹簧连接边缘的全局人脸模板以 抽取出眼睛与嘴；c r a 4 提出了更复杂的人脸模板，包含了头发线条、眼睛、眉 毛、鼻子、嘴和面颊：l e e t s l 等抽取人脸的5 个距离量度作为人脸识别特征。人脸 的几何特征比较稳定，受人脸的姿态变化与光照条件等因素的影响小，但弱点是 不容易抽取，而且量测精度不高。 1 2 2 基于模板匹配的人脸识别方法 主要有两种方法，固定模板和变形模板。固定模板的方法是首先设计一个或 几个参考模板，然后计算测试样本与参考模板之间的某种度量，以是否大于阈值 来判断测试样本是否人脸。这种方法比较简单，在早期的系统中采用得比较多。 但是由于人脸特征的变化很大，很难得到有效的模板来表示人脸的共性。变形模 板在原理上与固定模板相同，但其中包含一些非固定的元素，一种方法是手工构 造参数化的曲线和曲面以表征人脸中的某些非固定特征，如眼睛，鼻子和嘴唇等。 另一种方法是系统自动生成自适应的曲线或曲面，以构成变形人脸模板。检测方 法是：将模板与测试图像进行弹性匹配，并加入惩罚机制，利用某种能量函数表 示匹配程度。b u h m a n n ，l a d e s 睁7 1 等针对畸变不变性的物体识别提出了动态连接结 构模型( d y n a m i c l i n ka r c h i t e c t u r e ，d l a ) ，将物体的图像用稀疏网格图形来表达， 通过局部能量谱的多分辨率描述来标注图形上的一些端点，用几何距离向量来标 注连线。目标识别就是测试样本与训练样本的弹性匹配的过程，即通过匹配代价 函数的随机优化来完成。d l a 方法对于8 7 个人的样本集，获得了9 0 以上的识别率， 广东工业大学硕士学位论文 这些样本包含多种变形，如表情变化、旋转等：w i s k o t t 掣8 】将人脸特征上的一些 点作为基准点，强调了人脸特征处的重要性，这个结构称为弹性图。他们采用每 个基准点存储一串具有代表性的特征向量，大大减少了系统的存储量；w u r t z 等【9 】 只使用人脸面部的特征，进一步消除了结构中的冗余信息和背景信息，并使用一 个多层的分级结构；g r u d i n 等【1 0 】也采用分级结构的弹性图，通过去除一些冗余节 点形成稀疏的人脸描述结构；另一种方法是n a s t a r 等【i l 】提出将人脸图像i ( x ，y ) 表示为可变形的3 d 网格表面( x ，y ，i ( x ，y ) ) ，将人脸匹配问题转换为曲面匹配问 题，利用有限元分析的方法进行曲面变形，根据两幅图像之间变形匹配的程度识 别人脸。虽然d l a 方法具有较好的识别效果，但是代价函数最优化的计算量较大。 1 2 3 基于神经网络的人脸识别方法 从本质上讲，神经网络也是一种基于样本的学习方法。将神经网络用于人脸 检测取得了很大的进展。m i t 的学者首先对人脸样本集和非人脸样本集聚类，以 测试样本与人脸样本集和非人脸样本集的子类之间的距离作为分类的度量，利用 多层感知器( m l p ) 网络作为分类器。c m u 的研究人员直接以图像作为神经网络 的输入，设计了一个具有独特结构的适用于人脸特征的神经网络分类器，并通过 前馈神经网络对检测结果优化。神经网络方法最初是k o h o n e n 1 2 】利用简单的 h b b i a n 储存和重建人脸图像。r a p h a e lf e r a u d 等利用多个神经网络：多层感知器 ( m l p ) 和约束产生式模型( c g m ，c o n s t r a i n e dg e n e r a t i v em o d e l ) ，实现了一 个可应用于w e b 中人脸图像检索的快速而准确的人脸检测方法。d e m e r s 等【l3 】提出 采用p c a 方法提取人脸图像特征，用自相关神经网络进一步压缩特征，最后采用 一个m l p 来实现人脸识别；l a w r e n c e 等【1 4 】通过一个多级的s o m ，实现样本的聚类， 将卷积神经网络c n n 用于人脸识别。c n n 利用了每个像素及其相邻像素之间的相 关性，对图像的平移旋转和变形具有一定的鲁棒性；r a n g a n a t h 和a r u i l 1 5 】提出了用 于人脸识别的径向基函数网络( r b n r ) s h a n g h u n gl i n 等【1 6 1 5 ) 1 1 练了三个基于概率决 策的神经网络( p d b n n ，p r o b a b i l i s t i cd e c i s i o nb a s e dn e u r a ln e t w o r k ) ，用于人脸 检测，眼睛定位和人脸识别，实现了一个完整的人脸识别系统。l e e 掣5 i 提出了用 于人脸识别的模糊b p 网络；g u t t a 等 1 7 1 提出了将r b f 与树分类器结合起来进行人脸 识别的混合分类器结构。后来，他们对基于r b f 神经网络进行了针对部分人脸的 4 第一章绪论 识别研究，表明利用部分人脸也可以有效地识别人脸。 1 2 4 基于统计特征的人脸识别方法 马尔可夫模型是个离散时序有限状态自动机，隐马尔可夫模型( 删) 1 1 8 】 是指这一马尔可夫模型的内部状态外界不可见，外界只能看到各个时刻的输出值。 对于人脸模式来说，我们可以把它分成前额，眼睛，鼻子，嘴巴和下巴这样一个 序列。人脸模式就可以通过对这些区域的有序的识别来检测，这正好是隐马尔可 夫模型容易做到的。隐马尔可夫模型在人脸识别中的应用从2 0 世纪9 0 年代中后期 开始，如同在文字识别中一样，最初也是从一维的人脸隐马尔可夫模型开始，到 后来出现伪二维模型。不同的是，由于人脸图像更为复杂，在人脸识别领域还未 出现真二维的模型，即两阶或更高阶马氏链模型。 主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 1 1 9 2 ，以k _ l 变换【1 9 】 为基础的p c a 方法，从数学统计学角度看是最优的，因为该方法使得压缩前后均方 误差最小，且变换后在低维空间中有很好的分辨能力。但p c a 方法存在一定的缺陷， 它只是强调整体方差最小，而忽略了类别之间的关系。p c a 利用二阶统计特性实现 去相关，并且在满足最小均方误差的条件下压缩数据。因此，p c a 只对图像数据中 的二阶统计信息敏感，而并未能利用高阶的统计信息。 f i s h e r 线性鉴别分析【2 0 2 2 1 是在p c a 方法基础上的改进，此方法的基本思想是 在该准则下，先求解最佳鉴别矢量，然后将高维的样本投影到最佳鉴别矢量张成 的空间，使投影后的样本在低维空白j 有最大类间散度和最小类内散度，这样在低 维空间中样本将有最佳的可分性，更重要的是它强调了类与类之间的信息。但是 f i s h e r 线性鉴别分析方法也存在一定的问题：首先，f i s h e r 鉴别分析是通过对样 本进行线性变换，得到的是线性鉴别特征，但这种线性变换的本质却限制了抽取 样本更具鉴别力的非线性特征；其次，由于训练样本过大，往往造成类内散度矩 阵不可逆即小样本问题f 1 9 2 5 3 0 3 。最后，在投影过程中边缘类起到了主导作用的 投影重叠问题【2 3 3 2 梆】。第一个问题可以通过支持向量机中的核技巧1 2 4 - 2 9 】来解决， 主要是通过核函数将原始输入空间的训练样本通过非线性映射矽映射到某一高维 ( 甚至是无穷维) 特征空间肿，然后在该空间中应用经典的f i s h e r 鉴别准则获得 一组最优鉴别矢量，再在输入空间中用于特征抽取。而第二个问题已有了一些解 广东工业大学硕士学位论文 决方法：如m i k a 等人【3 3 3 4 】就建议在类内散度矩阵( w i t h i n - c l a s ss c a t t e rm a t r i x ) 加上一个扰动矩阵的方法以使原来奇异的矩阵成为非奇异的矩阵，此种方法没有 一个统一的标准用来确定一个最佳的规整化常数，通常是用实验的方法来确定； 其次是规整化后的矩阵已发生变化，这样求出的鉴别矢量本质上已不是原问题所 要求解的最佳鉴别矢量。而b a u d a t 与a n o u a r 【冽则通过对类内散度矩阵进行q r 分 解并摒弃0 特征值的方法来避免矩阵的奇异性。g d a 方法【2 5 】虽然可用于多类的分类 问题，但准则函数是用总散度矩阵取代类内散度矩阵，这样就丢失了类内散度矩 阵的零空间，对于小样本人脸图像识别问题来说，由于零空间包含了最具鉴别力 的鉴别矢量，因此q r 分解并摒弃0 特征值的方法及g d a 方法得到的特征从本质上说 都不是最优的。除此之外，研究者们还着力于寻找更有效的判别子空间来代替原 来的空间。一个很有意义的发现就是，类内散度矩阵的零空间中存在非常重要的 判别信息。c h e n 等【2 0 】通过求解零空间中最优鉴别矢量，这样在一定意义上满足 f i s h e r 准则的意义的条件下，不仅能够解决小样本问题，而且获得的最有鉴别矢 量的实验效果是很不错的。但是此种方法只考虑零空间的信息，而忽略了非零空 间的信息，所以也不是最优的。文献【2 2 】中提出了散度差方法。虽然该方法能够一 定程度上解决上述问题，但是仍需解决第三个问题投影重叠，本文将针对这个方 面做重点的研究。 1 3 论文各部分主要内容 本文方法着重研究f i s h e r 方法中的“小样本”问题和投影重叠问题及抑制光 照的影响，通过选用核的散度差鉴别式，从而解决了识别的小样本问题。通过给 类间散度矩阵和类内散度矩阵加权，重新估计了类间散度矩阵和类内散度矩阵， 一定程度上解决了相邻类别的投影重叠问题。考虑到零空间方法是本文方法的一 种特殊情况，所以本文抽取的特征矢量包括零空间和非零空间的鉴别特征。另外 由于人脸识别过程中，人脸受光照影响特别大，本文引用了指数衰减方法【3 5 1 ，从 而有效地抑制了人脸受光照的影响。本文的具体内容安排如下： 第一章介绍了课题的研究背景和意义；当前人脸识别方法研究现状，包括人 脸识别的技术的方法和缺陷；以及本文的研究内容。 第二章详细介绍了现有的几种优秀的线性鉴别分析方法。包括p c a ，i c a 和 6 f i s h e r 对其存 第 f i s h e r 同时本章指出了k f d a 方法存在的问题，提出了一种加权的核最大散度差准则鉴别 分析方法。最后利用预处理策略指数衰减方法，使得鉴别效果更加显著。 第四章主要是人脸库、最近邻分类器及小波变换理论的介绍，最后列举本文 方法在o r l 和y a l e 人脸库中几组实验。 7 广东工业大学硕士学位论丈 2 1 引言 第二章传统的线性鉴别分析 在现有的人脸识别方法中，主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ) i f 9 l 和f i s h e r 线性鉴别分析( f l d a ) 瑚】是两种最流行的人脸特征提取方法。p c a 的基 本思想来源于离散k - l l 博】变换，目的是从训练样本图像中，通过主元分析得到一组 特征脸图像，即对应的主元，那么任意给定的人脸图像都可以近似为这组特征脸 图像的线性组合，而组合的系数即作为人脸的特征向量。f l d a 方法是找出一组最 优鉴别矢量使得训练样本在该投影轴上投影后，类间散度最大的同时，类内散度 最小。考虑到训练样本总数过多时，f i s h e r 准则求解会遇到小样本问题【1 9 ，2 5 3 0 3 ， 导致无法解出最优鉴别矢量，z e r o - f l d a l 2 0 】和散度差【2 1 1 是两种能够较好的解决该 类问题的方法。另外，基于最小化基向量之间统计独立性的独立分量分析 ( i c a ) 3 6 3 7 】方法目前也被应用到人脸识别中。 2 2p c a 鉴别分析 p c a 方法也被称为特征脸方法，是一种基于整幅人脸图像的识别算法，被广泛 用于降维，在人脸识别领域也表现突出。图片映射到这个巨大的空间后，由于人 脸的构造相对来说比较接近，因此，可以用一个相应的低维子空间来表示。我们 把这个子空间叫做“脸空间 。p c a 的主要思想就是找到能够最好地说明人脸图片 在脸空间中的分布情况的那些向量。 假设人脸中共有幅图像，用列向量表示为，厶，那么整个人脸空间 可以表示为x = 【，厶，l u 】，由此平均人脸图像可以表示为： 卫 k = ( 2 1 ) 进而得到每张人脸图像相对于平均人脸的均差： a = l i l 撇 8 ( 2 2 ) 第二章传统的线性鉴别分析 这样训练集图像可以表示为：a = 【4 ，4 ，a 】。 构造其协方差矩阵为：c 2 专善4 ，即c = 亩州r 令s 7 = 州7 ，其中腥d x d 维的，根据k l 变换原理，我们所求的新坐标系即由 矩阵州1 的非零特征值所对应的特征向量组成。由于直接求解计算量很大根据 奇异值分解原理( s i n g u l a rv a l u ed e c o m p o s i t i o n ，s v d ) ，通过求解a 。a 的特征值 和特征向量来获得朋。的特征值和特征向量。 令五( f = 1 , 2 ，) 为矩阵a7 a 的，个非零特征值，珥为么7 么对应于 的特征向 量，则么的正交归一特征向量e 为： 1 哆= 音a u f ，( 扛l ，2 ，) ( 2 3 ) 、，以 这就是朋7 的特征向量。将其特征值按大小排列： 也乏，4 0 ，其 对应的特征向量为v f 这样，每一幅人脸图像都可以投影到由m ，屹，张成的 子空间中。为了减少维数，可以仅选取前面r 个特征