（计算机应用技术专业论文）有监督流形学习在人脸识别中的应用研究.pdf

s 8 ! 一j ) ? i 气j 毒置 ： 芸 ijf f illiiil 曩； d l i 【 j z 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特另j i d n 以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得东北师范大学或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示谢意。 学位论文作者签名：互炒日期：二乡哆。务0 7 学位论文版权使用授权书 本学位论文作者完全了解东：i l i j l 范大学有关保留、使用学位论文的规定，即：东 北师范大学有权保留并向国家有关部门或机构送交学位论文的复印件和磁盘，允许论 文被查阅和借阅。本人授权东：l k n 范大学可以将学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或其它复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 日期： 学位论文作者毕业后去向： 工作单位： 通讯地址： 导教师签名： 期： 电话： 邮编： 0一上 1 i 、 i f , j 、 i 小 4 工。，枷o i f 一 一 盂， j 名 摘要 当今，随着信息化社会的高度发展，信息安全显示出前所未有的重要性。生物特征 识别技术是近年来在全球范围内迅速发展起来的计算机安全技术，它主要利用人体固有 的生物特征来进行个人身份识别，具有高可靠性、高稳定性，应用领域十分广泛。 作为一种非常重要的生物特征识别技术人脸识别，具有方便友好、易于接受、 不易伪造等优点，因此具有相当高的研究价值与广泛的应用前景。由于人脸特征的可靠 性受表情、动作、光照、背景等细微变化的影响，为此，人脸识别技术的研究更多的集 中在特征提取算法的研究上，希望在降低人脸图像维数的同时提取稳健可靠的特征，使 识别处理更加有效。 本文对国内外现有的人脸识别方法进行了深入的研究与比较，在此基础上提出了新 的基于有监督流形学习的人脸识别方法。具体来说，本文主要做了以下工作：首先，提 出了一种基于全局的人脸识别方法。本方法将类别信息引入到流形学习中，在利用判别 分析方法提取特征的过程中，一方面保持了人脸流形的局部几何结构，另一方面加大了 嵌入空间的类间间隔，因此有效促进了后续分类。此外，文中给出了一种有效计算投影 空间的方法，省去了图像预处理中的缩小图像分辨率和主成分分析预投影过程，避免了 图像信息的丢失。其次，提出了一种新的基于分块的人脸识别方法。这是首次将有监督 流形学习方法应用到基于分块的人脸识别技术当中，相比已有方法取得了较好的识别效 果。以上本文提出的两种人脸识别方法均通过大量实验验证了其可行性和有效性。 关键词：人脸识别；流形学习：判别分析；主成分分析 工0山o a b s t r a c t t o d a y , w i t ht h er a p i dd e v e l o p m e n to fi n f o r m a t i o nb a s e ds o c i e t y i n f o r m a t i o ns e c u r i t y b e c o m e se x t r a o r d i n a r i l yi m p o r t a n t t h eb i o l o g i c a lf e a t u r ei d e n t i f i c a t i o nt e c h n o l o g yi st h e c o m p u t e rs e c u r i t yt e c h n o l o g yw h i c hr a p i d l ye x p a n d i n ga l lo v e rt h ew o r l dr e c e n t l y , i tm a k e s f u l lu s eo fi n h e r e n t l yb i o l o g i c a lf e a t u r eo fh u m a nb o d yt oi d e n t i f yp e o p l e ，嘶t l lf e a t u r e so f h i g hr e l i a b i l i t ya n ds t a b i l i t y , a n dh a sw i d e l ya p p l i e da r e a s a sa “i l do f v e r yi m p o r t a n tb i o l o g i c a lf e a t u r ei d e n t i f i c a t i o nt e c h n o l o g y , f a c er e c o g n i t i o n h a sh i i g hv a l u e so fs t u d ya n dw i d ep r o s p e c to f a p p l i c a t i o nf r o ms u c hf e a t u r eo f u s e rf r i e n d l y , e a s yo fa c c e s s ，n o te a s yt of o r g ea n ds oo n h o w e v e r , d u et ot h er e l i a b i l i t yo fh u m a nf a c i a l f e a t u r e sa r ei n f l u e n c e db ys m a l lc h a n g e so fe x p r e s s i o n , a c t i o n ，i l l u m i n a t i o n ，b a c k g r o u n da n d s oo n ，t h er e s e a r c h e so ff a c er e c o g n i t i o nt e c h n o l o g ym a i n l ys t a yo nd e v e l o p i n gt h ea l g o r i t h m o ff e a t u r ee x t r a c t i n g ，、) ，i 也t h eh o p eo fe x t r a c t i n gs o u n df e a t u r e sa n dm e a n w h i l er e d u c i n gt h e d i m e n s i o no ff a c ei m a g e s ，w h i c hw i l lm a k er e c o g n i t i o nr e s u l t sm o r ea c c u r a t e b a s eo nt h e t h o r o u g hr e s e a r c ha n dc o m p a r i s o no ft h ee x i s t i n gf a c er e c o g n i t i o n t e c h n o l o g ya th o m ea n db r o a d ，w eh a v ep r o p o s e dn e wf a c er e c o g n i t i o nm e t h o d sb a s e do n s u p e r v i s e dm a n i f o l dl e a r n i n g t ob ec o n c r e t e ，t h em a i nc o n t r i b u t i o n so ft h i sp a p e rc o n c l u d e ： f i r s t , w eg i v ean o v e lg l o b a lb a s e df a c er e c o g n i t i o na l g o r i t h m o u rm e t h o dc o m b i n e s m a n i f o l dl e a r n i n gb a s e da l g o r i t h m s 、矶t l lk n o w nc l a s si n f o r m a t i o n , f o rp r e s e r v i n gt h e n e i g h b o r h o o ds t r u c t u r eo ff a c i a lm a n i f o l da n dm e a n w h i l em a x i m i z i n gt h em a r g i nb e t w e e n c l a s s e si nt h ep r o c e s so ff m d i n gf e a t u r es p a c et h r o u g hd i s c r i m i n a n ta n a l y s i sb a s e dm e t h o d ， w h i c hi se f f e c t i v ef o rc l a s s i f i c a t i o n w ea l s og i v ea ne f f e c t i v es o l u t i o nt ot h ee i g e n v a l u e p r o b l e m o u rm e t h o dc a l la v o i dt h ep r e p r o e e s s i n gs t a g eo fr e s i z i n gt h eo r i g i n a li m a g e r e s o l u t i o na n dp r i n c i p l ec o m p o n e n ta n a l y s i s ( p c a ) p r o j e c t i o n ，s ot h e r ei sn oi n f o r m a t i o n l o s t s e c o n d ，w eg i v ean o v e ll o c a lm a t c h i n gb a s e df a c er e c o g n i t i o na l g o r i t h m t ot h eb e s to f 0 1 1 1 7k n o w l e d g e ，t h i si st h ef i r s tm e t h o dw h i c hi n c o r p o r a t e st h es u p e r v i s e dm a n i f o l dl e a r n i n g b a s e dm e t h o di n t ol o c a lm a t c h i n gf a c er e c o g n i t i o nt e c h n i q u ea n dp r o d u c eb e t t e rr e c o g n i t i o n r e s u l t sc o m p a r et oo t h e rm e t h o d s i naw o r d , t h ep r o p o s e df a c er e c o g n i t i o nm e t h o d si nt h i s p a p e rd e m o n s t r a t et h ef e a s i b i l i t ya n de f f i c i e n c yb ye x p e r i m e n t s k e yw o r d s ：f a c er e c o g n i t i o n ；m a n i f o l dl e a r n i n g ；d i s c r i m i n a n ta n a l y s i s ；p c a u p 尽 0 工o。小o pi f ，b s z j 目录 摘要i a bs t r a c t i i 目录i i i 第一章引言1 1 1 课题背景l 1 2 人脸识别技术的发展历史1 1 3 人脸识别技术的应用2 1 4 本文的主要工作2 1 5 论文结构3 第二章人脸识别技术方法概述4 2 1 图像预处理4 2 2 人脸识别中的子空间法5 2 2 1 线性子空间法6 2 2 2 非线性子空间法7 2 3 分类9 第三章流形学习1 1 3 1 流形学习发展概况11 3 2 流形学习的定义1 1 3 3 经典算法介绍13 3 3 1 局部线性嵌入l l e 1 3 3 3 2 等距映射i s o m a p 1 4 3 3 3 拉普拉斯特征映射l a p l a c i a ne i g e n m a p 1 4 3 4 流形学习在人脸识别的应用一1 5 第四章基于全局的人脸识别1 7 4 1 图像预处理17 4 2 提取人脸子空间17 4 2 1 构建类内散度矩阵1 8 4 2 2 构建类间散度矩阵：1 8 4 2 3 投影19 4 3 分类。2 0 4 4 实验结果及分析2 1 4 4 10 r l 人脸数据库。2 l 4 4 2 参数选取2 1 4 4 3 识别结果2 l 第五章基于分块的人脸识别2 4 5 1 图像分块2 5 5 2 提取特征2 6 5 3 分类2 7 5 4 实验结果及分析2 7 5 4 1y a l e 数据库2 7 5 4 2y a l e b 数据库2 9 l 5 4 3p i e 人脸数据库3 0 i i 第六章总结和展望3lj 6 1 总结3l 6 2 展望31 参考文献3 3 、 致谢3 6 在学期间公开发表论文情况3 7 i v 7 一 一 蠢 l f f e j 东北师范大学硕士学位论文 第一章引言 1 1 课题背景 人体生物特征识别是指通过计算机、各种传感器和生物统计学原理技术等密切结 合，利用人体固有的生物特征来进行个人身份识别。它是近年来在全球范围内迅速发展 起来的计算机安全技术。随着社会信息化进程的发展，生物特征识别技术得到了越来越 广泛的应用，如国防部门、金融、商业等领域。生物特征识别技术主要包括指纹识别、 虹膜识别、人脸识别、声音识别等。 指纹识别中处理的指纹图像所含信息量小，系统成本低，执行速度快，因此广泛应 用于企事业单位等领域。但是构建指纹库需要事先采集图像，因此人们常产生抵触情绪， 用户可接受性差，影响了指纹识别技术的进一步发展。 虹膜识别采用无接触式地采集虹膜图像，避免了疾病传播的危险。但是，虹膜识别 系统的成本相对比较昂贵，影响了其在各个领域的应用推广。 人脸识别【2 】是通过图像或者视频来自动识别人脸，它在身份识别、电视会议、视频 监测及视频资料检索等方面有着广泛的应用。与虹膜识别、指纹识别等人体生物特征识 别技术相比，人脸识别具有方便友好、易于接受、不易伪造、系统成本低等优点，是当 前计算机视觉、模式识别和人工智能领域的一个研究热点。人脸识别是一项极具有发展 潜力的生物特征识别技术，研究人脸识别技术具有十分重要的理论和应用价值。 1 2 人脸识别技术的发展历史 人脸识别作为一个非常活跃的研究方向，涉及计算机视觉、图像处理、模式识别、 认知科学和信息安全等多门学科，对人脸识别技术的研究具有巨大的意义，它的研究成 果在一定程度上又促进了这些学科的发展。 人脸自动识别系统的研究开发始于2 0 世纪6 0 年代，早期的人脸识别系统主要是在 传统的计算机视觉框架下实现的【l - 2 。1 9 7 3 年，k a n a d e 提出了第一个人脸识别系统【l 】。 2 0 世纪9 0 年代后期人脸识别技术从实验室开发逐渐走向了商业领域应用。如1 9 9 8 年德 国西门子公司成功研发v a c s 识别系统；2 0 0 1 年日本东芝下属的e s o l u t i o n 公司推出 f a c ep a s s 系统，此外美国研发的人脸识别系统都纷纷走进商业市场。 我国从1 9 9 4 年开始研究人脸识别技术。2 0 0 0 年中国科学院计算机研究所与银晨网 讯科技有限公司联合组建了人脸识别研究课题组。经过研究合作，课题组攻克了数十项 技术难关，开发出了具有完全自主知识产权的产品，促进了人脸识别技术跨越式的发展； 2 0 0 5 年，清华大学电子系苏光大教授担任国家“十五 攻关项目人脸识别系统的负 责人，由他主持研发的该系统通过了公安部的安全专家鉴定，已达到了国际领先水平。 ih；。 ，抄 东北师范大学硕士学位论文 近几年。随着现代社会信息化程度的不断提高，社会方方面面应用也对人脸识别技 术提出了新的要求，国内外学者纷纷投入到人脸识别的研究当中，提出了大量的优秀算 法，促进了人脸识别技术的迅速发展。 1 3 人脸识别技术的应用 人体包含有许多种特征，但不是每一种特征都可以用于认证识别。可用于认证识别 的人体特征必须满足唯一性、稳定性、可采集性、可接受性等要求。也就是说，用于身 份识别的人体生物特征必须具备每人都有、彼此不同、长期稳定等特点。人脸做为人体 生物特征的一种，满足上述多个要求。首先世界上没有任何两个人长相完全相同：其次 人的长相在一定时期范围内具有稳定性；再次，人脸图像在采集的过程中方便快捷，采 集系统不需要与人进行密切接触，在人行走的过程中就可以完成人脸图像的采集过程， 因此可接受性好。因此人脸识别成为当今社会的研究热点之一。 人脸识别技术主要有两方面应用：身份认证和身份识别。身份认证是指判断视频或 图像中的人脸图像是否为当前对象所称的身份，是一对一的匹配过程。通常，人脸数据 库中存储当前对象所宣称身份的人脸模板，通过匹配过程，系统判断的结果只有两种答 案，是或否。身份识别所处理的是模式识别中的分类问题，因此要比身份认证相对复杂， 它对于当前视频或图像中的人脸，系统首先判断其是否属于数据库中的已知对象，如果 是则继续识别属于哪类已知对象。这个识别过程是一对多的匹配过程。由于人脸数据库 随着时间的推移而动态增长，因此身份识别技术对算法的要求更高。好的人脸识别算法 应保证达到一定识别率的同时尽可能的缩短系统处理时间，即较高的识别率和较低的计 算复杂度。 人脸识别作为最简单方便使用的计算机安全技术已成为当今国际反恐、刑事侦查以 及安全防范等最重要的手段。目前我国人脸识别技术也开始走进日常生活应用当中。 2 0 0 5 年尼康首先推出搭载了脸部优先技术的三款数码相机，该产品受到了广大消费者的 欢迎；中国第二代身份证上也采用了可机读的人脸图像信息，为辨别真伪证件提供了很 大帮助；北京奥运会期间人脸识别系统被安保部门全面应用。 1 4 本文的主要工作 本文深入的研究了国内外现有的人脸识别方法，并对这些方法进行了介绍和讨论， 在此基础上提出了新的基于有监督流形学习的人脸识别方法。具体来说，本文主要做了 以下几方面的工作：首先，将流形学习方法与判别分析方法相结合，通过有效利用类别 信息，提出了一种基于全局的人脸识别方法。其次，首次将流形学习方法应用到人脸分 块技术当中，提出了一种新的基于分块的人脸识别方法。文中通过大量实验验证了上述 两种方法的有效性。 2 7 、1 _ 、 黾 t一；。 o 。 工 ， 口 f ， j 东北师范大学硕士学位论文 1 5 论文结构 针对研究内容，本文的具体章节安排如下： 第一章为引言，介绍了人脸识别技术的研究背景、发展状况及应用。 第二章为人脸识别方法概述，简要介绍了人脸识别技术的方法分类，并对具体方法 进行了阐述。 第三章为流形学习概述，主要介绍了流形学习的定义及应用。 第四章提出了一种基于全局的人脸识别方法，文中给出一种有效计算特征空间的算 法，做了大量实验，并对实验结果进行了分析。 第五章提出了一种基于分块的人脸识别方法。文中通过大量实验验证了方法的有效 性，并给出了结果分析。 第六章为对本文工作进行了总结并对以后的工作提出展望。 东北师范大学硕士学位论文 第二章人脸识别技术方法概述 目前人脸识别技术的研究方法【27 】主要分为基于全局的人脸识别和基于局部特征的 人脸识别两个研究方向，基于全局的人脸识别方法是作用在整幅人脸图像上，将图像看 作是二维矩阵，然后利用不同的降维和特征提取方法获得低维有效特征，最终进行识别 分类；基于局部特征的人脸识别方法是利用最易于区分不同人的脸部特征，如眼睛、鼻 子、嘴和轮廓等的位置、大小、形状的不同来进行局部特征提取，然后通过某种方式融 合局部特征以输出最终识别结果。这种基于局部特征的识别主要是通过提取出局部特征 来设计识别算法，这样不仅可以使人脸局部的变化控制在局部的范围即对全局影响较 小，由此达到鲁棒的识别，而且可以在某种程度上降低了计算复杂度。而基于全局的人 脸识别方法不仅保留了各局部本身的特征信息，而且保持了人脸局部之间的相对关系。 无论采用何种方法，一个典型的人脸识别系统主要有三部分过程构成：即图像预处 理、人脸特征提取和分类器设计。图2 1 给出了人脸识别的流程。 训练阶段 测试阶段 图像获取图像获取 1 l上 图像预处理图像预处理 1 l上 特征提取与选择特征提取与选择 上土 l一】 识别分类 人脸模板库 图2 1 人脸识别流程 2 1 图像预处理 人脸图像数据源包括静止图像和运动图像( 如视频) ，主要通过数码相机、摄像头 等数字设备获取。针对运动图像，通常将视频中的每一帧看作一幅图像，逐帧保存。图 像获取的目的是分析输入的图像，判断其中是否有人脸，如果有则定位图像或视频中出 现的人脸的位置和大小，并将人脸图像从背景图像中分割出来。 4 9 、 - 一f i 己 j 东：j l i j i l i 范大学硕士学位论文 在人脸识别中，图像预处理【5 1 1 的作用是对人脸的各个局部特征，如眼睛、鼻子、嘴 和轮廓等进行定位和标准化( 如将两眼位置对齐于一条直线上) ，从而保证在几何学和 光学意义下，不同的人脸图像可以在尽可能相同的环境中进行处理，以方便后续操作。 通常这部分主要是完成对人脸图像的尺度归一化、灰度归一化、降噪、白平衡等。 2 2 人脸识别中的子空间法 随着信息化社会的到来，为了能更加精确完整地描述对象，人们总是尽可能地多采 集数据。在人脸识别中，经常要将图像表示成向量的形式，随着图像大小及分辨率的增 大，向量维数也增高，这就造成了所谓的“维数灾难 【2 9 恫题。另一方面，伴随着维数 增大的同时，各个自变量之间的相关性也更高，导致了分类处理时计算复杂度相当大， 甚至不能直接进行分类。因此，在处理这类复杂的高维模式识别问题时，有效的特征选 取和降维是必不可少的一个处理步骤。 人脸图像集通常由复杂的细节所构成，一般所提取的特征稳定性差，往往受到表情、 动作、光照、拍摄角度等细微变化的影响，消除这些影响成为人脸识别问题的关键。此 外，人脸图像维数通常较高，为此研究者提出了许多维数约简算法，希望在降低图像维 数的同时提取出有利于分类的有效特征。 人脸图像特征提取是指在低维空间内对原始高维空间的人脸图像集进行描述建模， 以提取出有利于分类的低维特征。特征提取是人脸识别中的重要步骤，有效的特征提取 方法会影响到分类器的设计及其性能，是完成识别分类的关键。 早期的人脸识别系统是基于几何方法提取特征，如眼睛、鼻子、嘴等面部特征 ( k a n a d e1 9 7 3 ) 。这种基于特征的几何方法的优点是数据集可以进行有效的压缩，而且对 光照和角度等变化的影响不敏感。缺点是到目前为止，还没有形成十分可靠的人脸特征 侦测和度量技术，而且只依赖几何信息来完成人脸识别并不具有充分的说服力。 近1 5 年来，基于模板匹配或基于人脸表观( a p p e a r a n c e ) 的方法在人脸识别领域得到了 重大的发展【3 j 。这类方法的主要特点是直接在图像的像素级上实现有效的特征提取和识 别过程，而不需要采用抽象的特征来对脸部进行描述。这类算法主要利用将人脸图像向 量集投影到某个人脸子空间1 5 2 1 的方法对人脸图像提取特征的同时进行降维。例如一幅尺 寸为6 4 x 6 4 大小的人脸图像而言，它的维数为4 0 9 6 。在高维空间中，同一个人的人脸图 像分布可能是不紧凑的，因而不利于分类，并且计算复杂度也非常大。为了解决以上问 题，m k i r b y 和m t u r k 等人1 3 1 首先把主成分分析的子空间思想引入到人脸识别中，他们 将人脸图像均看成是高维空间中分布的点集，那么相对于这样一个足够大的空间而言， 人脸只占据很小的一部分且位于某个低维子空间中，这一子空间的维数远远低于观测空 间的维数，将图像投影到这样一个子空间中即达到了降维的目的。这种方法获得了较大 成功，随后子空间分析方法就引起了人们的广泛注意，成为当前人脸识别的主流方法之 一。子空间分析的思想就是根据一定的性能目标来寻找一个线性或非线性的空间变换， 把原始信息数据压缩到一个低维子空间，发现内在的本质低维特征，为更好的描述数据 5 l l _ 口协 ， 东北师范大学硕士学位论文 集提供了手段，计算复杂度也得到了大大降低。 目前，运用在人脸识别领域的子空间技术主要分为线性和非线性两类【4 】。下面我们 分别介绍。 2 2 1 线性子空间法 线性子空间方法是人脸识别方法中比较常用的维数约简方法之一。线性子空间方法 假定数据集具有内在低维结构，高维观测空间的数据集与相应的低维表示之间的映射关 系可以通过基函数的线性组合表示。一般可以公式化为： ，一，肌嘲 对于人脸数据来说，令x 代表人脸向量，p 为投影矩阵，其降维后的低维表示为： h = p x ，x ：1 1 ，p ：m , ，h ：m 1 下面我们介绍三种经典的线性子空间算法，即主成分分析( p r i n c i p a lc o m p o n e n t a n a l y s i s ，p c a ) 、线性判别分析( l i n e a rd i s c r i m i n a n ta n a l y s i s ，l d a ) 、独立成份分析 ( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 。三种方法都是首先把二维图像转换成一维向 量，在求得最优子空间之后，将高维图像投影到该低维特征空间中，使用投影系数作为 每幅图像的特征表达。人脸识别时，比较测试图像与训练图像的系数向量之间的相似性， 最相近的训练图像所属的类别就是测试图像的类别。口 1 ) 主成分分析p c a 在统计模式识别中，主成分分析是一种被广泛应用于数据降维和特征提取的技术。 主成分分析也称为k a r h u n e n - l o e v e 变换，是一种能有效表示高维数据样本的方法，它通 过把样本点投影到主轴上来达到降维的目的，从而寻找在最小均方误差的条件下最能够 代表原始数据的投影方法。主成分分析通过对样本的散布矩阵进行特征值分解，所求子 空间为通过样本均值，最大特征值所对应的特征向量为方向的子空间。目标函数如下： + s = 百l ng ，一；k ，一；) ( 2 1 ) v i = l 旯a = 5 w ( 2 2 ) 其中代表样本总数，x 是所有样本的均值，彳是所求的投影子空间。 基于主成分分析的思想而提出的e i g e n f a c e 5 j 方法是目前人脸识别领域最著名的算 法之一。在特征脸方法中，p c a 主要被用来从训练集协方差矩阵中找到对应于个最 大非零特征值的特征向量。由于主成分分析方法简单易行，非迭代且没有局部极小，因 此成为人脸识别中广泛采用的子空间学习方法之一。 2 ) 线性判别分析l d a 线性判别分析法以样本的可分性为目标寻找一组线性变换，使样本类内散度最小， 同时使类间离散度最大，也称为f i s h e r 线性判别分析( f d a ) 。l d a 的求解是通过推导把 原问题转化为关于样本集类间散布矩阵和类内散布矩阵的广义特征值问题。代价函数如 6 _ t - 0 舢 ， 东北师范大学硕士学位论文 下： ) = a r g m 爿a x 筹 3 ， c r s 曰= ，( ，一) ( ，一) ( 2 4 ) 而= ( 巧一心) ( 杉一鸬) r ( 2 5 ) 其中岛和s w 分别是类间散布矩阵和类内散布矩阵，c 是样本类别数，m 和，分别代表 第f 类样本总数和样本均值，通过最大化公式( 2 3 ) 可求得投影子空间彳。 l d a 考虑了训练样本的类别信息，因此是一种有监督的维数约简方法。由于p c a 是一种完全无监督的数据降维方法，因此，在处理人脸识别问题的时候，并没有考虑到 样本的类别信息。为了克服p c a 的这一缺点，b e l h u m e u r l 6 1 等人将f i s h e r 线性判别分析 引入到人脸识别领域( 即f i s h e r f a c e s 方法) 。在l d a 子空间中，相对于p c a ，同类数 据间更加紧密而不同类数据间更加分离，因此更有利于识别。 3 ) 独立成分分析i c a p c a 子空间方法的另一个缺点是它只考虑到了样本间的二阶统计信息。近年来，有 研究者认为有利于识别的信息往往存在于样本间的更高阶统计信息中，因此，提出了基 于独立成份分析的人脸识别算法【7 1 0i c a 是p c a 的推广方法之一，是一种从输入数据集 中分离高阶统计量的方法。i c a 的目标是要搜索一组线性非正交的变换，这组变换可以 将一组随机变量表示成统计无关的随机变量的线性组合。最近，i c a 子空间方法被广泛 应用于人脸识别中，从相关文献报道的试验结果上看，其性能一般优于p c a 子空间方 法。 2 2 2 非线性子空间法 现实中的高维数据大多是非线性的，如人脸图像由于光照、+ 表情、姿势等的变化， 其所形成的人脸图像空间是高度非线性的1 8 1 ，这时传统的线性方法很难发掘高维数据的 结构和相关性，揭示其非线性分布。已有研究表明，人脸子空间可能是一种嵌入流形结 构，即嵌入在高维欧式空间的低维流形1 9 d o 】。因此，为了更好的刻画人脸数据特征，非 线性子空间方法成为近年来的研究热点。非线性子空间法可分为两类：基于核函数的方 法和流形学习方法。 1 ) 基于核函数的方法 基于核函数的方法主要通过核技巧( k e r n e lt r i c k ) 将观测到的原始数据映射到更高维 的核空间，并期望通过该映射，可以使在原始空间呈非线性结构的数据可以在核空间达 到线性可分，并可以利用线性方法对它们进行分析。 为了解决高维非线性数据的问题，使问题处理简单化，核函数的提出者不是像往常 7 1 - j 恤 ， 东北师范大学硕士学位论文 一样约简维数，而是将一个非线性分布的数据集投影到更高维甚至无穷维的空间中去即 升维。对于一个高维向量兄我们通过映射函数删射到一个高维空间中去，此空间又 被称为特征空间。我们需要做的不是显式的构造映射函数，而是通过核技巧，只需要知 道在特征空间的内积k 即可，这里的鼢就是核函数。 基于核函数的子空间方法主要有k p c a ( k e m e lp c a ) 1 2 i 和k l d a ( k e m e ll d a ) t 1 3 】。这 两种方法可以看成是传统的线性p c a 和l d a 算法的核扩展，并且通过相关文献的实验证 明，它们在一些实际的人脸识别问题上取得了比较好的识别效果。然而，基于核函数的 子空间方法虽然可以增强数据的线性可分性，但这是需要以增加数据的维数和算法的计 算复杂度为代价的。此外该类方法需要人工选择一个合适的核函数和相关参数，并不是 每个核函数对于每一种数据集都适用，在实际的应用中往往是凭个人的经验选择，因此 使得核函数方法在实际应用中受到一定限制。 2 1 流形学习方法 针对线性子空间算法在非线性分布数据集上遇到的困难，目前研究者认为降维算法 的研究应该从子空间的研究转移到流形学习的研究上来。流形学习【1 4 d 5 】的目的就是解决 如何有效地描述高维空间中数据集的分布结构及发现数据集的内在本质规律，以提取出 有效的低维特征。流形学习假设数据集在未知但存在的低维变量的控制下会张成嵌入到 高维空间中的低维流形，即所有的数据点都位于这个流形上。这一问题具有一定的普遍 性，研究表明，在人们日常接触到的人脸图像、语音、文本数据中，都存在这一现象。 图2 2 给出了人脸图像在高维空间中的分布情况【9 】。每一幅人脸图像可以看作是高维空 间中的一个点，这些点位于一个低维流形上，即高维空间中的人脸图像分布是嵌入到一 个低维流形上。通过流形学习方法，我们可以有效得到人脸图像的低维表示，从而达到 降维的目的。 图2 2 上图显示了同一个人在不同角度下的图像； 下图示意这些图像在高维空间构成一个低维流形 有关流形学习的定义及它在人脸识别中应用的优缺点将在第三章详细阐述，这里我 们不再介绍。 8 东北师范大学硕士学位论文 2 3 分类 分类器是指通过给定的训练样本学习分类模型，测试样本通过该分类模型进行分 类。也就是说根据给定的训练样本求出某系统输入与输出之间依赖关系的估计，使得它 能够对未知分类作出尽可能准确的预测。在人脸识别中，系统的输入是指对测试人脸图 像提取的低维特征，输出是指测试样本所属的类别。分类作为人脸识别的最后一个步骤， 分类器的选择对识别的效果有直接的影响。这里我们介绍两种常用的分类器：支持向量 机s v m 和k 近邻分类器。 支持向量机是上世纪9 0 年代中期由v a p m k 博士【1 6 】在统计学习理论基础上提出的。它 以训练误差作为优化问题的约束条件，以置信范围值最小化为优化目标，即s v m 是一种 基于结构风险最小化准则的学习方法，其推广能力明显优于一些传统的学习方法。s v m 的求解最后转化成二次规划问题的求解，因此保证了算法的全局最优性和解的唯一性。 s v m 的主要思想可以概括为两点：( 1 ) 它是针对线性可分的情况进行研究分析，对 于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本投影 到高维特征空间中，使其达到线性可分。从而可以在高维特征空间采用线性算法对非线 性分布的样本进行线性分析；( 2 ) s v m 学习的结果是最优超平面p ，该平面不仅能将两类 训练样本正确分开，而且要保证使分类间隔最大。在两类样本中，离最优超平面最近的 样本就是所谓的支持向量( s u p p o r tv e c t o r ) 。图2 - 3 中位于虚线上的样本即支持向量，正 是它们确定了最优分类超平面。 支持向最 图2 3s v m 最优分类超平面 s v m 在解决小样本、非线性以及高维模式识别问题中表现出许多特有的优势，并能 够推广应用到函数拟合、信息检索等其他机器学习问题中，具有广泛的发展前景。 k 近邻分类器【1 7 】是指给定一个测试样本，学习模型在训练样本中找到与其最相近的 k 个样本，然后将测试样本分类为与它最接近的k 个近邻中出现最多的那个类别。一般 来说，k 取奇数，跟投票表决一样，避免因两种票数相等而难以决策。如图2 4 所示为k = 5 时的两类分类情况，测试样本点x 被归类为三角所代表的类别。 9 东北师范大学硕士学位论文 图2 4x 代表待分样本，三角和圆形分别代表两类训练样本 在设计k 近邻分类器时，需要一个衡量样本之间距离的度量函数。距离度量的方式 有很多种，如欧氏距离、明可斯基距离( m i n k o w s k i ) 、切空间距离等，常用的是欧式距离。 最近邻分类器是目前在模式识别领域常用的一种分类器，它是k 近邻分类器的一种 特殊情况，即k = i 。对于一个测试样本点，最近邻规则的分类方法就是把测试样本分为 离它最近的训练样本所属的类别。这种分类器本身简单易用，识别性能较好，因此目前 大多数的人脸识别文章都采用这种分类器。 1 0 东北9 币范大学硕士学位论文 第三章流形学习弟二早况彤= 子= 刊 3 1 流形学习发展概况 随着科学技术的发展，人们可以通过各种渠道方便快捷的获得大量信息，这就导致 人们需要处理的数据量显著增加，其中尤为突出的是高维数据分析问题，而这已成为机 器学习、模式识别及其它相关领域关注的热点问题之一。寻找高维数据中的内在本质规 律，进而提取出低维特征，这一任务既是挑战，也是机遇。 以往的降维方法常常基于线性方法( 如主成分分析) ，本质上是把高维数据投影到线 性子空间，通过特征的线性组合来降维，这种方法简单易算。但现实中的有用特征往往 不是所有特征的线性组合，线性方法无法有效地处理高维数据的非线性分布结构。因此 迫切需要发展出一套新的，适合高维数据分析的理论。 早在1 9 9 5 年，n a y a r 1 0 】提出了高维图像具有低的内在本质维数的现象；2 0 0 0 年s e u n g 9 】 从神经心理学的角度提出了感知是以流形的形式存在，从而从认知学的角度支持了图像 空间是高维空间中的流形这一观点；同年，r o w e i s s a u l 1 9 j 和t e n e n b a u m 博j 在s c i e n c e 杂志 上发表了两篇关于流形学习的文章，文章强调高维数据的学习实质上可以理解为对嵌入 在高维空间的低维流形的学习。相关试验证明，高维数据是由少数隐含变量所决定，而 这些隐含变量是以嵌入在高维空间中的非线性流形形式存在的。 目前人们重新开始审视流形学习的重要性，并期望从流形的角度孕育出大量的相关 理论和算法，也希望能将这一概念所形成的算法应用到各个领域。因此利用流形的特性 进行维数约简的研究成为一个热门的研究话题。 3 2 流形学习的定义 首先给出流形的定义。我们把流形定义成一个拓扑空间m 并满足以下性质： 如果点p e m ，则存在尸的邻域u 以及整数聆0 ，使得u 同胚于欧氏空间。 则称m 为1 1 维拓扑流形，简称为n 维流形。在拓扑学中，如果可以通过弯曲、延展、 剪切( 只要最终完全沿着当初剪开的缝隙再重新粘贴起来) 等操作能把其中一个流形变为 另一个，则认为这两个流形是同胚的。 根据以上定义，可以用通常的欧式距离定义开球，而任意开球和欧式空间本身是同 胚的，因此本身是一个流形。目前机器学习领域研究的大多数模型都是基于欧式空 间建立的，因此可以视为流形学习的特例。 图3 1 给出了一些流形的示例，其中( a ) 和( b ) 都为二维流形。 东北师范大学硕士学位论文 ( a )( b ) 图3 1 流形示例( a ) $ t u l w e ( b ) s w i s s r o l l 下面给出流形学习的定义： 令y cr d 代表一个低维流形，厂：y r d 代表高维数据的光滑嵌入，其中d d 。 数据集协 是随机生成的，并且经过厂映射，得到高维空间中的数据z 严懒) ) 。 流形学习过程就是指在给定高维原始样本集协) 的条件下重构厂和舭) 。 流形学习【1 4 d5 】就是使用嵌入到高维空间的一个低维流形上所得到的样本，重构出一 个该流形在低维空间的嵌入。所获得的低维嵌入能够保持这些信。g ，如：保持胚形的不 变，保