（应用数学专业论文）一种加权核主成分分析及其相关参数的选取.pdf

中文摘要 摘要 随着社会的发展，各个方面对快速有效的自动身份验证的要求日益迫切。由 于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此它已经 成为身份验证的理想依据。这其中，利用人脸特征又是最自然直接的手段，相比 其他生物特征，它具有直接、友好、方便的特点，易于为用户接受。 人脸识别是一个涉及面广且又很有挑战性的研究课题，近年来关于人脸识别 的研究取得了较大的进展。而特征提取是人脸识别过程的关键。主成分分析方法 是公认的特征提取的经典工具之一，核主成分分析方法作为主成分分析方法的非 线性拓展，近些年也被广泛应用于人脸识别中。可是主成分分析和核主成分分析 在进行特征提取时将人脸图像的各维特征平等对待，而实际上，人脸的不同特征 在识别过程中所起的作用是不相同的，比如眼睛、鼻子、嘴巴这些含有丰富纹理 和结构的特征在识别中会比相对平滑和缺少灰度变化的脸颊、额头等部分起的作 用要大，因此对每个特征赋予相应的权重，然后再通过主成分分析或核主成分分 析方法进行特征提取，将会明显提高人脸识别的效果。本文提出了一种新的加权 核主成分分析方法，该方法采用一种高斯分布函数作为加权函数，突出对识别起 关键作用的特征，然后与核主成分分析方法相结合来进行人脸识别。我们在标准 的o r l 人脸图像数据库上对提出的方法进行了实验，结果表明该方法的有效性。 在人脸识别方法中，涉及核函数的选择、核函数参数的选择、训练样本的选 择、分类器的选择等诸多关键环节。虽然许多学者对这些问题进行了探讨，但是 至今没有一种好的方法能够有效的指导如何选择最优的参数，目前大多是在特定 的应用领域内，通过实验来指定相应的参数。因此本文通过改变加权函数参数以 及核函数参数，得到相关参数的最佳范围，使识别率达到最好。 关键词：加权核主成分分析；核主成分分析；人脸识别；核函数；余弦分类器 a b s t r a c t a st h ed e v e l o p m e n to ft h es o c i e t y , t h e r ea r ei n c r e a s i n gd e m a n d si na u t o m a t i c i d e n t i t yc h e c k s i n c es o m eb i o l o g i c a lc h a r a c t e r i s t i c sa r ei n t r i n s i ca n ds t a b l e t op e o p l e a n ds t r o n 西yd i f f e r e n tf r o mo n et ot h eo t h e r s ，t h e yc a nb eu s e d a sf e a t u r e sf o ri d e n t i t y c h e c k a m o n ga l lt h ec h a r a c t e r i s t i c so f h u m a n ，t h ec h a r a c t e r i s t i c so f f a c ea r et h em o s t d i r e c tt 0 0 1 sw h i c ha r ef r i e n d l ya n dc o n v e n i e n ta n dc a ne a s i l yb ea c c e p t e db y t h e c a s t o m e r s f a c er e c o g n i t i o ni sa l le x t e n s i v ea n dc h a l l e n g i n gr e s e a r c ht o p i c r e c e n t l y s i g n i f i c a n tp r e g r e s s e sh a v eb e e nm a d ei nt h et e c h n o l o g yo f t h ef a c er e c o g n i t i o n a n d f 宅a 1 = l i r ee ) 琏r a c t i o ni st h ec r i t i c a ls t a g e s i nt h ef a c er e c o g n i t i o n p r i n c i p a lc o m p o n e n t a n a l y s i si sa c k n o w l e d g e do n eo f t h em o s tp o w e r f u lt e c h n i q u e sf o rf e a t u r ee x t r a c t i o n a san o n l i n e a rf o r mo fp r i n c i p a lc o m p o n e n ta n a l y s i s ，k e r n e lp r i n c i p a lc o m p o n e n t a n a l y s i sh a sb e e nb r o a da p p l i e dt of a c er e c o g n i t i o ni r i r e c e n ty e a r s h o w e v e r , e a c n d i m e n s i o nf e a t u r eo ff a c ei m a g e si st r e a t e de q u a l l yb yt h ep r i n c i p a lc o m p o n e n ta n a l y s i s a n dk e m e ld r i n c i p a lc o m p o n e n ta n a l y s i si nf e a t u r ee x t r a c t i o n b u ti nf a c t ，d i f f e r e n t f e a t u r e sp l a yd i f f e r e n tr o l e si nf a c er e c o g n i t i o n f o re x a m p l e ，t h ee y e sa n d m o u t hp l a y f a rg r e a t e ri m p o r t a n c er o l et h a nc h e e k s ，t h ef o r m e rp a r to ff a c ei sg r e a t e ri m p o r t a n c e t h a nt h el o w e rp a r to ff a c e ，w i t hs p e c i a lf e a t u r e so f f a c es u c ha sm o u t ha s k e w ，c r o s s 。e y e ， a n ds oo n t ob ei d e n t i f i e dm o r ee a s i l y i nt h i sp a p e r , w e a d o p tg a u s s i a nd i s t r i b u t i o n f u n c t i o na saw e i g h t e df u n c t i o n ，w h i c hc a ng i v ep r o m i n e n c et ot h ek e yf e a t u r e si nf a c e r e c o g n i t i o n t h ep r o p o s e dm e t h o di sc o m b i n e dw i t ht h ek e r n e lp r i n c i p a lc o m p o n e n t a n a l y s i st oc a l c u l a t et h ew e i g h t e ds u b s p a c e e x p e r i m e n t a lr e s u l t so nt h en o r m a lo r l f a c ed a t a b a s es h o wt h ep r o p o s e dm e t h o di se f f e c t i v e f a c er e c o g n i t i o nr e l a t e st ot h e s ec r i t i c a ls t e p st h a ta r eo p t i o n so f k e r n e lf u n c t i o n ， p a r a m e t e ro fk e r n e lf u n c t i o n ，t r a i ns a m p l ea n dc l a s s i f i e r m a n yr e s e a r c h e r sp r o b e t o t h e s ep r o b l e m s b u tn ob e t t e rm e t h o d sc a ni n s t r u c th o wc h o o s eo p t i m i z a t i o np a r a m e t e r a tp r e s e n t ，m a n ym e t h o d sc o n f i n eg i v e na p p l i e df i e l dv i ae x p e r i m e n ts p e c i f i e sr e l e v a n t p a r a m e t e r s ot h i sa r t i c l er e c e i v e st h eb e s tr a n g eo fr e l a t i v ep a r a m e t e r sv i ac h a n g i n g 英文摘要 p a r a m e t e r so fw e i g h t e dk e r n e lf u n c t i o na n dk e r n e lf u n c t i o n a n do b t a i n i n gt h eb e s tr a t e o fi d e n t i f i c a t i o ni si t so b j e c t k e yw o r d s ：w e i g h t e dk e r n e lp r i n c i p a lc o m p o n e n ta n a l y s i sl k e r n e lp r i n c i p a l c o m p o n e n ta n a l y s i s ( k p c a ) ； f a c er e c o g n i t i o n ；k e r n e lf u n c t i o n ：c o s i n e d i s t a n e ec l a s s i f i e r 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成博硕士学位论文= = = 整加拯攘圭盛盆盆扳厘墓担差叁数数选驱= = 。除 论文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已 在文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已 经公开发表或未公开发表的成果。本声明的法律责任由本人承担。 学位论文作者签名：刍叁萤 学位论文版权使用授权书 本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学 位论文的规定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论 文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。同意将本学位论文收录到中国优秀博硕士 学位论文全文数据库( 中国学术期刊( 光盘版) 电子杂志社) 、中国学位论 文全文数据库( 中国科学技术信息研究所) 等数据库中，并以电子出版物形式 出版发行和提供信息服务。保密的论文在解密后遵守此规定。 本学位论文属于：保密口在年解密后适用本授权书。 不保密( 请在以上方框内打“ ) 论文作者签名：乃叉茼导师签名：穸修查 日期：哆年莎月乡。e l 一种加权核主成分分析及其相关参数的选取 引言 随着社会的不断发展以及各领域对于快速有效的自动身份验证的迫切要求， 生物特征识别技术在近几十年中得到了讯速的发展。生物特征识别技术，是利用 生物体( 一般指人) 本身的生物特征来区分生物体个体。人的生物特征具有唯一 性、终生不变性、且不会被遗忘和丢失、不易伪造或被盗、随身“携带”以及随 时随地可用等优点【1 1 。生物特征识别技术主要包括人脸识别、指纹识别、掌纹识别、 虹膜识别、视网膜识别、语音识别、体形识别、键盘敲击识别、签字识别等等。 而其中的人脸识别由于其自然性、直观性、非接触性、采集方便等特点被广泛应 用于身份认证领域。 从应用范畴来看，人脸识别主要应用到五大领域：( 1 ) 智能部门的高科技智能 化管理：驾驶执照管理、国民身份证管理、护照管理、选民登记系统：( 2 ) 各领域 信息安全：计算机的登录系统、数据库登录系统、文件加密技术、局域网管理、 医疗记录、安全交易终端；( 3 ) 国家安全、军事安全和公共安全：智能门禁、智能 视频监控、公安布控、海关身份验证：( 4 ) 民事和经济领域：各类银行卡、金融卡、 信用卡、储蓄卡的持卡人的身份验证；( 5 ) 个人娱乐等领域：能够识别主人身份的 智能玩具、家政机器人，具有真实面像的虚拟游戏等等。 1 9 世纪末，g a l t o n 发表在n a t u r e 上的两篇论文【2 3 】开创了人脸识别这一新的研 究领域，从此这一课题的研究逐渐形成热潮。尤其在美国“9 1 1 ”恐怖袭击、英国 伦敦地铁爆炸案之后，人脸识别技术更被广泛应用于政府机要部门、军队机要部 门、展览中心、重要会议中心等展现现代化高科技技术的前沿阵地，它的实际应用 价值得到充分显现。 人脸识别的方法有许多，近些年人们提出的主要识别方法有【”1 ：基于几何 特征的方法【8 ，9 】；基于特征脸的方澍1 0 ，1 1 】；基于弹性模型的方法【1 2 ，1 3 】；神 经网络的方法【l l ，1 4 , 15 】；基于隐马尔可夫模型的方法【6 1 7 1 ，等等。传统的主成分 分析( 也叫k - l 变换，简称p c a ) 1 8 - 2 0 】和f i s h e r 线性判别分析( 简称l d a ) 2 1 , 2 2 1 在数 据降维和特征提取上是两个有效地工具。可是，在图像识别问题中，图像数据表 引言 现了非常强的非线性关系，而p c a 和l d a 处理的是线性关系，这时，可以利用 某种非线性变换，将输入数据映射到某一高维甚至是无穷维的特征空间再利用 p c a 或l d a 的方法，而这种映射也不需要显式进行，只需用核函数隐式进行就可 以，这就得到了核化的p c a 和l d a ，即b s c h o l k o p f 等所提出的核主成分分析( 简 称k p c a ) 2 3 , 2 4 ，s m i k a 等提出的k l d a 2 s 】，这些方法在人脸识别中都取得了很 好的效果 2 6 0 1 1 。但需要注意的是：一方面，不论是传统的p c a 和l d a 还是k p c a 和k l d a ，在进行特征提取时，都是将人脸图像的各维特征平等对待，并未考虑 人脸各部件的差异。另一方面，人脸的各部件对识别的贡献是大不相同的，如眼 睛和嘴巴的重要程度远远大于脸颊；人脸上半部分的重要程度大于人脸下半部分； 具有歪嘴、斜眼等特殊特征的人脸更容易被识别，相反，没有个性的人脸相对就 需要更长的时间来辨认【3 2 】。因此，如果可以加强某些对识别起关键作用的特征， 识别率将会明显提高。 基于上述加权的思想，一些学者设计了加权主成分分析的人脸识别算法，并 获得了比较理想的结果1 3 3 - 4 0 。近两年也有学者开始考虑加权核主成分分析人脸识 别算法【4 1 , 4 2 ，比如文献 4 2 】先将图像数据进行分类，然后通过加权函数突出类内和 类间的关系，最后再结合l d a 的思想进行人脸识别，也得到了理想的识别效果。 但是，在加权核主成分分析人脸识别算法中，由于选择的加权函数不同以及加权 的方式不同，会导致不同的识别效果，因而文献【4 2 】在选取最优加权函数时又利用 了遗传算法，但这又导致算法复杂化，识别时间过长等问题。本文将一种加权函 数【3 6 】与核主成分分析相结合，对不同的人脸部位赋予了不同的权重，以突出对识 别起关键作用的特征，并在n o r m o r l 人脸库上对提出的方法进行了实验，获得 了较好的识别效果，而且算法简便，便于实现。 在基于k p c a 的人脸识别方法中，涉及核函数的选择、核函数参数的选择、 训练样本的选择、分类器的选择等诸多关键环节。虽然许多学者对这些问题进行 了探讨，但是至今没有一种好的方法能够有效的指导如何选择最优的参数，目前 大多是在特定的应用领域内，通过实验来指定相应的参数。所以，在基于k p c a 的人脸识别方法中，有关参数的选择仍然是一个具有挑战性的问题【4 3 1 。为此，本 2 一种加权核主成分分析及其相关参数的选取 文还通过改变加权函数参数以及核函数参数的方式进行了大量的实验，得到了使 识别率达到最好的相关参数的最佳选择范围。 第1 章人脸识别问题综述 第1 章人脸识别问题综述 举世瞩目的北京第2 9 届奥运会上，当千千万万名观众拥入国家体育场鸟巢观 看期待已久的开幕式时，殊不知他们已经进入一个由高科技武装起来的世界，他 们的脸正在被悄悄地“比对”，观众进入场馆内的第一道安检是观众身份验证通 道，除了查验入场券，还有一项更为先进的技术，就是通过摄像机现场采集人的 面部信息进行比对，并在一秒钟内迅速确认对方的身份，这就是在北京奥运会上 得到首次应用的人脸识别技术。 1 1 课题研究背景 随着社会的不断发展，生物特征识别技术在近几十年中活跃于自动身份验证 这一领域。生物特征识别技术，是利用生物体( 一般指人) 本身的生物特征来区 分生物体个体。人的生物特征具有唯一性、不变性、且不会被遗忘和丢失、不易 伪造或被盗、随身“携带”以及随时随地可用等优点【1 】o 生物特征识别技术主要包 括人脸识别、指纹识别、掌纹识别、虹膜识别、视网膜识别、语音识别、体形识 别、键盘敲击识别和签字识别等等。而其中的人脸识别由于其自然性、直观性、 非接触性和采集方便等特点被广泛应用于身份认证领域。当前的人脸识别技术主 要被应用到了以下几个方面 4 4 1 ( 1 ) 公安刑侦破案：公安部门在刑侦破案时，在档案系统里存储有嫌疑犯的照 片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后， 可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。如利用人 脸识别系统和网络，在全国范围内搜捕逃犯等。 ( 2 ) 证件验证：在许多场合( 如海关，机场，机要部门等) 证件验证是检验某 人身份的一种常用手段，而身份证和驾驶证等很多其他证件上都有照片，使用人 脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。电子 护照及身份证，或许是未来规模最大的应用，中国的电子护照计划公安部一所正 在加紧规划和实施。此外，国际民航组织( i c a o ) 已经确定，从2 0 1 0 年4 月1 日起，其1 1 8 个成员国家和地区，必须使用机读护照，人脸识别技术是首推识别 4 一种加权核主成分分析及其相关参数的选取 模式，该规定已经成为国际标准。 ( 3 ) 企业、住宅安全和管理：如人脸识另) j f - j 禁考勤系统、人脸识别防盗门等。 在许多银行、公司和公共场所等处都设有2 4 小时的视频监控。当有异常情况或有 陌生人闯入时，需要实时跟踪、监控、识别和报警等。这需要对采集到的图像进 行具体分析，且要用到人脸的检测、跟踪和识别技术。 ( 4 ) 门禁系统：入口控制的范围很广，既包括了在楼字和住宅等入口处的安全 检查，也包括了在进入计算机系统或情报系统前的身份验证。 ( 5 ) 自助服务以及信息安全：如银行的自动提款系统，在使用户卡片和密码的 同时，再辅之人脸识别，就会避免被他人冒取现金的情况发生。再如在电子商务 中，交易全部在网上完成，电子政务中的很多审批流程也都搬到了网上。而当前， 交易或者审批的授权都是靠密码来实现。如果密码被盗，就无法保证安全。如果 使用生物特征，就可以做到当事人在网上的数字身份和真实身份统一，从而大大 增加电子商务和电子政务系统的可靠性。 此外，人脸识别技术还在医学、档案管理、人脸动画、人脸建模和视频会议 等方面也有着巨大的应用前景。 一个完整的人脸识别系统通常要包括人脸检测与跟踪、特征提取与选择和分 类判别三个步骤。其中最关键的是特征提取，也就是采用什么样的特征描述人脸 的问题。 1 2 人脸识别的理论背景和研究现状 1 9 世纪末，g a l t o n 发表在n a t u r e 上的两篇论文1 2 , 3 】开创了人脸识别这一新的研 究领域，从此这一课题的研究逐渐形成热潮。尤其在美国“9 1 1 ”恐怖袭击、英国 伦敦地铁爆炸案之后，人脸识别技术更被广泛应用于政府机要部门、军队机要部 门、展览中心、重要会议中，t l , 等展现现代化高科技技术的前沿阵地。它的实际应 用价值得到充分显现。 早期人脸识别研究主要有两个方向：基于特征和基于模板的两类。 第1 章人脸识别问题综述 1 2 1 基于特征的人脸识别方法 基于人脸特征的方法，是在提取脸部图像上显著特征的相对位置及其参数的 基础上进行识别。研究人脸识别方法的先驱者之一的b l e d s 0 1 4 5 】通过人工的方法确 定人脸几何特征的位置，并将其输入计算机中，在给定待识别人脸的特征点距离 后，利用最近邻分类方法进行人脸识别试验。由于是手工抽取的特征点，因此系 统允许较大范围的头部转动、倾斜以及图像的质量和对比度变化。在b l e d s o 的工 作的基础上，k e l l y 4 6 】进行了进一步的工作，主要是利用了人的身体和头部图像的 距离关系。其中脸部的测量包括头部的宽度、眼睛间的距离、头顶到眼睛的距离、 眼睛到鼻子的距离以及眼睛到嘴巴的距离。之后也同样采用了最近邻分类法进行 人脸识别。这一方法最明显的进步是不需要人的干预。后来y k a r a 和k k o b a y a s h i 4 7 1 ，i c r a w 等t 4 8 1 ，t p o g g i o ，f g i r o s i t 4 9 】和r b r u n e l l i 8 】等诸多学者对 这一方法进行了改进。而对于基于特征的人脸识别方法的准确性的最全面的研究 要数n i c h o l a sr o e d e r 和x i a o b ol i t 5 0 1 。他们指出，基于特征的人脸识别方法的准确 率依赖于脸部特征识别的准确性。然而，这种依赖性的程度和细节还不知道。总 之，该识别方法从图像中抽取特征比较困难，对强烈的表情变化或姿态变化鲁棒 性较差，更适合于做粗分类。 m a t u r k 和a p e n t l a n d t 2 0 】提出了特征脸的方法，他们是利用k l 变换抽取 人脸图像的主成分并以此作为人脸的特征向量，根据一组人脸训练图像构造主成 分子空间，由于主成分具有脸的形状，也称为特征脸。识别时将测试图像投影到 主成分的子空间上，得到一组投影系数，和各个已知人的人脸图像比较进行识别。 特征脸方法的优点是算法稳健，但它也有一个缺点，就是每增加一个对象，就要 将所有数据重新进行计算，当数据库很大时，这种计算的代价非常大。基于特征 的人脸识别方法包括代数特征和几何特征识别方法，现在最常见的是基于几何特 征的人脸识别方法。 1 2 2 基于模板匹配的人脸识别方法 模板匹配的方法主要是利用计算机模板和图像灰度的自相关性来实现识别功 能。将每个人作为数据库中的一个条目是最简单的模板匹配方法，由于它的字段 6 种加权核主成分分析及其相关参数的选取 包含一个从其正面人脸图像抽取的二维点阵，所以图像必须经过归一化。识别时， 未分类的图像和数据库中的所有图像数据进行比较。这一方法的较早研究可参见 b a r o n 的文章1 5 l 】。 y u i l l e 、c o h n 和h a l l i n e n 5 2 】利用模板平移、旋转和变形以便能够最佳地表示它 们在图像中的形状，这种方法称为可变形模板抽取面部特征。该方法首先需要对 图像进行预处理，而且需要定义各种能量函数。在实验中他们发现，模板的起始 位置对于确定眼睛的准确位置至关重要。比如当模板从眉毛上开始时，算法不能 够区分眼睛和眉毛。这就导致算法非常复杂。但是基于模板的方法是一个理性的 途径，问题的关键是如何描述模板。当对图像进行近似分析时，系统应能够容忍 模板和实际图像之间的差别，而这种容忍度往往忽略人脸之间的差别。 人脸识别和其它的3 d 目标识别一样，当投影不同或形状发生改变时，视觉 的拓扑结构就会发生改变。l a d e s 等人提出了一种可变形的拓扑图匹配方法，即动 态连接结构法或d l a ( d y n a m i cl i n ka r c h i t e c t u r e ) 5 3 】方法，该方法能够保持视觉 的拓扑结构。在这种方法中，人脸首先被表示为一个模板网格。网格的每个结点 对应一个重要的人脸局部点，该位置所包含的人脸局部信息( 如该处空间频率的 范围、方向) 用g a b o r 小波来提取。模板网格建立的工作仅需少量人工参与即可 完成，完成后原始人脸图像即可丢弃。在识别阶段，测试人脸图像与每个模板网 格进行匹配，最相似者的类标号即为识别结果。 b r u n c l l i 和p o g g i o 【8 】专门比较了基于特征的人脸识别方法和基于模板匹配的 人脸识别方法，并得出结论：基于几何特征的人脸识别方法具有识别速度快和内 存要求小的优点，但在识别率上模板匹配要优于基于特征的识别方法。 1 3 人脸识别的基本方法 人脸识别的方法很多，以下介绍一些主要的人脸识别方法。 1 3 1 基于几何特征的人脸识别方法 基于几何特征的人脸识别方法将人脸用一个几何特征向量表示，所采用的几 何特征是以人脸器官的形状和几何关系为基础的特征矢量，如人脸特定两点( 眼、 7 第1 章人脸识别问题综述 鼻、嘴等) 间的欧式距离、曲率和角度。这类算法识别速度快，需要的内存小， 但识别率较低。用于人脸侧面轮廓的描述与识别是最早的基于几何特征的人脸识 别方法，它通过从人脸侧面图中提取前侧轮廓线上的一些特征点构建特征向量来 识别人脸。但侧面轮廓线极易受到姿态表情的影响，且包含的判别信息少，故相 关的研究较少。 采用几何特征进行正面人脸识别一般是通过提取人的眼、口、鼻等重要特征 点的位置作为分类特征【5 4 1 ，但r o d e r 对几何特征提取的精确性进行了实验性的研 究，结果不容乐观【9 l 。 可变形模板法【5 5 ，5 6 】对几何特征方法进行了改进，它利用模板平移、旋转和变 形以便能够最佳地表示它们在图像中形状。可变形模板法主要是设计一个参数可 调的器官模型( 即可变形模板，如图1 1 所示) ，定义一个能量函数，通过调整模型 参数使能量函数最小化，把此时的模型参数作为该器官的几何特征。 丰凇 i 捅i l i i t 。 ， 图1 1 可变形模板法的眼模型和嘴模型 f i g 1 1d i s t o r t e dm o d e l so ft h ee y ea n dt h em o u t h 这种方法的思想虽然很好，但是也存在两个问题。第一：模板的起始位置对 于确定器官的准确位置至关重要，所以如何描述模板成了关键性问题；第二：算 法相当复杂。 基于几何特征的识别方法比较简单、容易理解，但没有形成统一的特征提取 标准，从图像中抽取稳定的特征较困难，特别是特征受到遮挡时，对较大的表情 变化或姿态变化的鲁棒性较差。 8 一种加权核主成分分析及其相关参数的选取 1 32 基于特征脸的人脸识别方法 根据人脸图像的统计特性，利用主成分分析方法( p r i n c i p a lc o m p o n e n t a n a l y - s i s ，简称p c a ) 对其进行正交变换( i ，f _ 1 , 2 ，n 表示与之对 应的特征向量。将观测样本x j 在m 个最大特征值对应的特征向量上做投影即可获 得前聊个主分量，记为： z = e x , ( 2 3 ) 圪是以前r n 个最大特征值对应的特征向量依次为行组成的矩阵，m 的选取一般遵 循如下的原则： 9 ( d = j 卜0 8 5 ( 根据需要选取) ( 2 4 ) 五 矽( z ) 一般称为方差贡献率，当其足够大时，即可将前个特征向量h ，屹， 构成的空间作为低维投影空间( m ) ，从而可以完成降维处理。 由上述过程可以看出，主成分分析的实施过程本质上是通过线性变换将高维 数据向低维空间投影，以达到数据维数约简的目的。这样，p c a 方法给出的各个 主成分反映的只是数据集中变量之间的线性相关性，当数据集的变量之间存在非 线性关系时，主成分分析的效果就会大打折扣。但是，许多数据集，特别是人脸 图像构成的数据集，其变量之间存在的关系往往是非线性的，如果单以p c a 算法 来提取特征，可能会造成图像数据中非常重要的非线性高维特征信息的丢失。因 而人们引入了另一种性能更为优越的核主成分分析方法。 2 3 核主成分分析的理论简介 核主成分分析的方法是最近几年新提出的一种特征提取方法。它主要是通过 非线性映射，将原始数据从数据空间转变到特征空间，然后在特征空间中利用主 成分分析方法求出最佳投影空间，从而获得非线性特征。但是在实际应用中，一 1 6 一种加权核主成分分析及其相关参数的选取 般是借助核函数来实现映射和内积运算的。所以在介绍核主成分分析方法前，先 简单介绍一下核方法。 2 3 1 核方法 核方法在数学中是个古老的命题。它的主要思想是通过一个特征映射将输入 空间( 低维的) 中的线性不可分数据映射成高维特征空间( 再生核h i l b e r t 空间) 中的 线性可分数据。核方法是目前模式识别领域研究的一个焦点，是一系列先进非线 性数据处理技术的总称，其共同特征是这些数据处理方法都应用了核映射。从具 体操作过程上看，核方法首先采用非线性映射将原始数据由数据空间映射到特征 空间，进而在特征空间进行对应的线性操作。由于运用了非线性映射，且这种非 线性映射往往是非常复杂的，从而大大增强了对非线性数据处理的能力。 对于映射矽：r “一f ，如果有k ( x ，y ) = ，则定义七似力是对应映射 的核函数。f 代表特征空间，可以是数空间，也可以是函数空间； 代表 内积运算。事实上，具体处理过程中不需要知道映射，利用核函数就可以实现在 特征空间上的内积运算。此外，虽然k ( x ，y ) - ，但k ( x ，y ) 的计算相对 于 来说要简单得多，这也正是核方法最为巧妙之处。 2 3 2m e r c e r 核函数 m e r c e r 核函数的原理是将输入样本数据空间通过非线性映射映射到新的特征 空间日【4 9 】： 多：尺”争h ，x 争矽( x ) ( 2 5 ) 样本数据空间的欧氏距离在新的特征空间日里可以表示为： d h ( ) = 咖( z ) 一矿( 州= 沥万不f 汲雨万再丽 ( 2 6 ) 根据m e r c e r 核映射矽的性质，输入空间的点积在新的特征空间日中可以用m e r c e r 核函数来表示： k ( x ，y ) = ( 庐( 功( ) ，) )( 2 7 ) 其中，m e r c e r 核函数满足下面的条件( 2 8 ) ：对任何平方可积函数稍有： 1 7 第2 章核主成分分析 j k ( x ，y ) g ( x ) g ( y ) d x d y _ o ( 2 8 ) 由式( 2 6 ) 和式( 2 7 ) 可以表示为： 办( 毛y ) = 4 k ( x , x ) - 2 k ( x , y ) + r ( y , y ) ( 2 9 ) 显然，如果给出( 2 9 ) 式的核函数，就可以通过核函数将数据隐式地映射到一个高 维的特征空间，使得数据在高维特征空间中线性可分，而特征空间中的内积由核 函数给出，从而使内积计算摆脱了特征空间维数的束缚，极大地降低了问题的计 算复杂度。 核函数在核方法中起着至关重要的作用。只要选定了核函数，就意味着选定 了某种映射。尤其在实际应用中，根本不需要知道具体的映射是什么，只要选定 核函数k ( ，) 就可以了。 常用的m e r c e r 核函数有如下几种： ( 1 ) 线性核函数： k ( x ，) = x 7 x j ，i = 1 ，2 ，n ；j = 1 ，2 ，n ( 2 1 0 ) ( 2 ) 多项式核函数： k ( 毛y ) = ( ( x 力+ 6 ) d( 2 1 1 ) ( 3 ) 高斯径向基核函数( g r b f ) ： 咖净x p ( - 嗲， ( 4 ) s i g m o i d 核函数：其中b ，c 为自定义参数 k ( x ，y ) = t a n h ( a ( x y ) - b ) ( 2 1 3 ) 2 3 3 核主成分分析方法的具体实现 主成分分析p c a 是一个很好的特征提取技术，但是其只能提取图像的各个像 素间的线性关系，而通常图像像素间都是非线性关系，利用p c a 方法无法提取。 而k p c a 在p c a 基础上，通过引入核函数把数据非线性映射到高维的特征空间， 在特征空间上利用传统的p c a 进行特征提取。所以核主成分分析k p c a 是对传统 一种加权核主成分分析及其相关参数的选取 p c a 算法的非线性拓展。 k p c a 的思想是首先通过一个非线性函数矽把观测数据映射到高维的特征空 间f ，然后在空间f 中进行传统的线性p c a 。虽然空间f 的维数可能非常高，但 是p c a 可以用点积o tp r o d u c t ) 形式表示，通过利用m e r c e r 核函数，空间f 中的 点积可以直接在输入数据空间中计算而不需要明确地计算出。通过定义核矩阵， 可以把k p c a 归结为矩阵特征分解问题。 令向量矽( x ，) 表示输入向量x ，在非线性映射矽：r 帕- y r 竹定义的特征空间中 导出的像，其中是输入空间的维数，m 是特征空间的维数。给定一组样本 ) 二， 必有一组相应的特征向量 痧( 为) ) 芒。因此我们可以在特征空间中定义由尺表示的 m tx m 。相关矩阵如下： - 1 贴专善地) f ( 2 1 4 ) 如同普通的主成分分析，我们首先要做的就是确保特征向量形( 五) 墨。的集合具有零 均值： 亩善地) = 0 5 ) 在特征空间上满足这个条件比在输入空间上更加困难，因此我们采用另一种方法 来求解。首先令k 表示核矩阵k 的第驴个元素： 写= 一专鼽删( 咿专耖( 洲( 咿斋薹塾( 叫( ) 假设特征向量己经聚集于中心，则可以在目前情况下形成下面的式子： 葡= l q( 2 1 6 ) 其中瓦为页的特征值，；为对应的特征向量。注意到对页o 且满足式( 2 1 6 ) 的所 有特征向量，均落在特征向量( ( _ ) ) 二。集生成的空间中，因此存在一组相应的系 数 q ) 名。，使得： 1 9 第2 章核主成分分析 石= 矿( _ ) ( 2 1 7 ) l i 由此，将式( 2 1 4 ) 和式( 2 1 7 ) 代入式( 2 1 6 ) 得到： 童妻q ( 而) k ( 为，_ ) ：一兰( 薯) ( 2 1 8 ) 1 = 1j = l j = l 其中k ( x t ，x ，) 是内积核，通过特征向量由下式定义： k ( 为，x j ) = r ( 薯) ( ) ( 2 1 9 ) 我们需要进一步计算式( 2 1 8 ) 使得完全用内积核来表示此关系。在式( 2 1 8 ) 等号 的两边左乘以转置向量矿( 磁) 得： 羔兰a j k ( 稚，葺) k ( 为，_ ) ：n 一2 _ , a j k ( x k , x 1 ) ( 2 2 0 ) t = l i = 1 j = t 其中k ( 以，薯) ，k ( x k ，x ，) 由式( 2 1 9 ) 定义a 一般地，n xn 矩阵k ，称为核矩阵，它的第 个元素为内积核k ( x ，x ，) ；n x l 向量口的第j 个元素为参数口，。于是式( 2 2 0 ) 的矩阵形式为： k2班：-泌口(221) 其中矩阵的平方k 2 表示k 自身相乘。因为式( 2 。2 1 ) 两端均有k ，于是特征值问 题的全部解可用更为简单的特征值问题表示： 融：n 劢( 2 2 2 ) 其中系数向量口起到核矩阵k 的特征值五的对应特征向量的作用。系数向量口是 归一化的，因为要求将相关矩阵页的特征向量石归一化为单位长度，即： - r 五= l ，七= 1 ，2 ，p ( 2 2 3 ) 此处假设特征值为降序排列，丸为核矩阵k 的特征值的最小非零值。利用式( 2 2 0 ) 和式( 2 2 2 ) 我们可以得到与式( 2 2 3 ) 等价的归一化条件： 甜t i 倪= 丁1 ，k = l ，2 ，p ( 2 2 4 ) 7 为了提取主成分，需要计算特征 f i - j - 量q 。在特征空间上的投影： 一种加权核主成分分析及其相关参数的选取 z 痧( z ) ：羔，妒r ( _ ) 妒( 功：兰。，k ( _ ，功，七：1 ，2 ，p ( 2 2 5 ) l i 、j i 、 其中向量x 是“测试”点，吼，是矩阵k 的第七个特征值对应的特征向量的的第 ，个系数。式( 2 2 5 ) 的投影定义了嘲维特征空间中的非线性主成分( n o n l i n e a r p r i n c i p a lc o m p o n e n t ) 。 图2 2 说明了k p c a 的基本思想，其中特征空间经过变换矽( x ) 和输入空间是 非线性相关的。图中的( a ) 和( b ) 部分分别称为输入空间和特征空间。 输入空阃 _ _ _ _ _ - - - _ _ _ _ - 卜 矽 特征空间 ( b ) 图2 2 核p c a 图例 f i g 2 2s y m b o l so fk e m e l 按照m e r c e r 定理定义的内积核，我们在m ，维特征空间上实施普通的p c a ，维 数m 。是设计的参数。前面描述的普通的p c a 的所有性质对核p c a 均适用，特别 地，核p c a 在特征空间上是线性的，但在输入空间上是非线性的。于是，核主成 分分析算法的基本步骤可归纳如下： ( 1 ) 选择合适的核函数及参数，如高斯径向基核函数( g r b f ) ： 啦一x p ( _ 譬 ( 2 ) 给定训练样本 薯) 芒l ，计算核矩阵k = k ( 毛，_ ) ) ，其中： k ( ，_ ) = 7 ( 乇) 矽( _ ) ( 3 ) 求解特征值问题： 2 1 第2 章核主成分分析 其中彳为k 的特征值，口为相对应的特征向量； ( 4 ) 归一化所计算的特征值，即 1 t = ，k = l ，2 ，p 飞 其中五。是矩阵k 最小的非零特征值，假设特征值是按降序排列的； ( 5 ) 提取测试点x 的主成分，即计算投影： = 弓：矽( x ) = 羔k ( _ ，x ) ，k = l ，2 ，p 写l 其中，是特征向量吼的第j 个元素。 本章介绍了传统的主成分分析的特征提取方法以及核方法的基本思想，而后 详细介绍了核主成分分析方法。核主成分分析方法基于输入数据的高阶统计信息， 描述多个像素间的相关性，同时把输入空间不可线性分类的问题转化到特征空间 来实现线性划分，简化了分类器的设计。正是核主成分分析的这种特性，为此后 的人脸识别奠定了基础。 一种加权核主成分分析及其相关参数的选取 第3 章基于k p c a 的人脸特征提取 第二章所介绍的主成分分析方法和核主成分分析方法，是进行数据降维和变 量综合的两个典型方法，将它们应用于人脸识别领域，可以有效地提取人脸的特 征。这一章首先简要介绍基于主成分分析的人脸识别方法，然后对核主成分分析 在人脸图像特征提取方面的应用进行比较系统的描述。 3 1 基于p c a 的人脸识别原理 基于主成分分析的人脸识别方法即是传统的特征脸法，特征向量是主成分向 量，特征向量的维数按式( 2 4 ) 选定，测试图像的主成分通过将而= 代入式 ( 2 3 ) 求得。 具体方法如下： 假设人脸库中有m 幅人脸图像，将训练图像表示成长度为的向量 r 。，r ：，r m ，人脸的平均脸图像为甲= 击姜l ，则每幅人脸图像相对于均值图 像的差是，- - f ，一、王，( i - - 1 ，2 。，m ) 。令矩阵彳= 【。，：，m 】，则协方差矩阵z 可以表示为： 趾兰壶善r ? 从中可以求出的特征值以和相应的特征向量。由于是对应原始人脸图像的 协方差矩阵的特征值，而且看起来象一张人脸，因此常称作特征脸向量 2 8 1 。由 于是n x n 的矩阵，而且的值较大，一般远大于训练样本的个数m ，因此为 了降低计算量，通常不直接求z 的特征向量，而是先计算大小为m x m 的矩阵 a