（信号与信息处理专业论文）基于张量子空间分析的多姿态人脸识别.pdf

摘要 摘要 近年来，随着生物鉴别、人工智能以及新一代人机交互等技术的迅猛发展， 自动人脸识别因其方便性、友好性和可靠性成为研究的热点。研究表明，人脸姿 态的变化导致识别性能的显著下降。因此，研究多姿态人脸识别问题具有重要的 现实意义。本文主要对基于张量子空间分析的多姿态人脸识别算法进行研究，主 要的创新性成果如下： 研究了一种基于g a b o r 特征和张量姿态流形建模的多姿态人脸识别算法。首 先，该算法引入多个尺度和方向的g a b o r 滤波器组提取人脸局部g a b o r 特征；然 后，采用主成分分析法进行特征降维；最后，利用张量子空间分析分离出人脸图 像的姿态信息并对其进行建模，实现人脸姿态估计，进而实现多姿态人脸识别。 实验结果表明，该算法有效地提取了多姿态人脸图像的纹理结构信息，更加精确 地描述了非线性姿态流形，从而提高了识别精度。 为了充分地保留人脸姿态的非线性结构信息，本文研究了一种基于张量子空 间分析和局部保持投影的多姿态人脸识别算法。该算法首先利用张量子空间分析 分离人脸图像中的身份信息，并重构人脸图像；然后，引入局部保持投影将重构 图像映射到低维空间；最后，采用k 近邻方法进行人脸姿态估计，进而实现人脸 识别。实验分析表明，本算法不但在低维空间上充分保持了人脸姿态的结构信息， 而且对姿态的估计有较好的鲁棒性。 关键词：多姿态人脸识别张量子空间分析g a b o r 特征主成分分析局部保持投影 a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，w i t ht h er a p i dd e v e l o p m e n to fb i o m e t r i ci d e n t i f i c a t i o r t , a r t i f i c i a l i n t e l l i g e n c e a n dt h en e wg e n e r a t i o no fh u m a n - c o m p u t e ri n t e r a c t i o n t e c h n i q u e ， a u t o m a t i cf a c er e c o g n i t i o nh a sb e c o m et h er e s e a r c hh o t s p o tb e c a u s eo fi t sc o n v e n i e n c e ， f r i e n d l i n e s sa n dr e l i a b i l i t y s t u d i e sh a v es h o w nt h a tn o n l i n e a rv i e wv a r i a t i o n sl e a dt oa c o n s i d e r a b l ed e c l i n eo fr e c o g n i t i o np e r f o r m a n c e t h e r e f o r e ，t h er e s e a r c ho nm u l t i - v i e w f a c er e c o g n i t i o ni so fs i g n i f i c a n ti m p o r t a n c ei np r a c t i c e i nt h i sp a p e r , t e n s o rs u b s p a c e a n a l y s i s ( t s a ) b a s e dm u l t i v i e wf a c er e c o g n i t i o na l g o r i t h m sa r es t u d i e d n em a i n ， 。 c o n t r i b u t i o n so ft h i sp a p e ra r es u m m a r i z e da sf o l l o w s ： am u l t i v i e wf a c er e c o g n i t i o na l g o r i t h mb a s e do ng a b o rf e a t u r e sa n dt s a - v i e w m a n i f o l dm o d e l i n gi ss t u d i e d f i r s t l y ，m u l t i s c a l ea n dm u l t i d i r e c t i o ng a b o rf i l t e r sa r e i n t r o d u c e dt oe x t r a c tf a c i a lf e a t u r e s s u b s e q u e n t l y , p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) i su s e df o rd i m e n s i o n a l i t yr e d u c t i o n f i n a l l y , v i e wi n f o r m a t i o no ff a c ei m a g e si s e x t r a c t e da n dm o d e l e db yt s af o r t h ep u r p o s eo fv i e we s t i m a t i o n ，w h i c hi sf o l l o w e db y t h em u l t i - v i e wf a c er e c o g n i t i o n e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o di s e f f e c t i v et oe x t r a c tt h et e x t u r es t r u c t u r eo f m u l t i - v i e wf a c ei m a g e sa n dm o r ea c c u r a t et o d e s c r i b en o n l i n e a rv i e wm a n i f o l d ，w h i c hl e a d st ot h ei m p r o v e dr e c o g n i t i o na c c u r a c y i no r d e rt op r e s e r v ea sm u c ha sp o s s i b l et h en o n l i n e a rs t r u c t u r eo fm u l t i v i e w f a c e s ，am u l t i - v i e wf a c er e c o g n i t i o na l g o r i t h mb a s e do nt s aa n dl o c a l i t yp r e s e r v i n g p r o j e c t i o n s ( l p p ) i ss t u d i e d f i r s t l y , t s ai su t i l i z e dt or e m o v et h ei d e n t i t yi n f o r m a t i o n o ff a c ei m a g e sa n dr e c o n s t r u c tt h ef a c e i m a g es e t s n e x t ，l p pi s i n t r o d u c e df o r p r o j e c t i n gt h er e c o n s t r u c t e di m a g e st oal o wd i m e n s i o n a ls u b s p a c e f i n a l l y , t h ev i e w e s t i m a t i o no ft h et e s ti m a g ec a nb e a c h i e v e db yt h ekn e a r e s tn e i g h b o r ( k n n ) c l a s s i f i c a t i o nm e t h o d ，w h i c hi sf o l l o w e d b y t h em u l t i v i e wf a c e r e c o g n i t i o n e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tt h ep r e s e n t e da l g o r i t h mn o to n l ym a i n t a i n st h e n o n l i n e a rs t r u c t u r eo ft h ef a c ei m a g e s ，b u ta l s op o s s e s s e sg o o dr o b u s t n e s sf o rt h e e v a l u a t i o no ft h ef a c ev i e w k e y w o r d s ：m u l t i - v i e w f a c er e c o g n i t i o nt e n s o rs u b s p a c ea n a l y s i s g a b o r f e a t u r e s p r i n c i p a lc o m p o n e n ta n a l y s i sl o c a l i t yp r e s e r v i n g p r o j e c t i o n s 西安电子科技大学 独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 日期：土啦u 二一三l 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布的全部或 部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在解 密后遵守此规定) 本人签名： 导师签名：日期：塑! ! ：! ：! ! 第一章绪论 第一章绪论帚一早殖t 匕 随着2 0 世纪4 0 年代计算机的出现以及2 0 世纪5 0 年代人工智能的兴起，人 们希望用计算机来模拟人脑的部分功能。近年来，生物鉴别、人工智能、新一代 人机交互等技术迅猛发展。模式识别作为人类的一项基本技能，具有信息感知和 智能理解的优势。在人类的模式识别技能中，生物特征识别是模式识别理论的一 个重要应用领域。 1 1 人脸识别的研究背景及意义 现代研究表明，人的指纹、眼虹膜、掌形、脸相和d n a 等与生俱来的生理特 征，以及步态、笔迹、语音等后天形成的行为特征均可用于身份鉴定。与传统的 身份鉴定手段相比，生物特征识别技术具有唯一性和可靠性，方便性和不易盗取 等优点。与基于其它人体生物特征的识别技术( 或系统) 相比，人脸识别系统具有识 别精度高、方便、操作隐蔽、非侵犯性、可交互性强等优点。所以人脸识别是易 于被人们接受的精度较高的身份识别方法1 1 】。近年来，随着计算机科学飞速发展， 图像采集系统成本愈加低廉，使得自动人脸识别技术得到了迅猛地发展1 2 j 。 人脸识别技术是一个复杂的机器学习和模式识别问题，它和人脑的认知程度 紧密相关，并推动了图像处理、模式识别、人工智能、计算机视觉、计算机图形 学、神经网络、认知科学、生理学、心理学等诸多学科的发展1 3 j 。虽然计算机人脸 识别已经取得了众多的科研成果，但是由于人脸成像过程易受光照、姿态、表情 等各种因素影响，所获得的人脸图像在场景结构和人物等方面具有多样性和复杂 性【4 】。人脸识别技术目前还存在着很多的缺陷，至今未得到很好的解决。主要表现 在：人脸的表情丰富，年龄的增长，化妆等原因使得人脸面部特征稳定性较差： 获取图像时光照的影响以及成像的角度会影响到人脸识别的效果等。这诸多的因 素使得鲁棒的人脸识别成为一项极富挑战性的课题。 鲁棒的人脸识别技术不仅具有重要的理论研究价值，还在视觉监控及安防、 人机交互、身份鉴定、虚拟现实等众多领域有着十分广泛的应用前景：人脸识别 技术可以应用于对罪犯追踪识别、智能门禁、摄像监视系统、电脑网络安全、海 关身份验证等；计算机可以通过人脸识别确定使用者，并对不同的使用者提供不 同的服务；公众安全方面，各类银行卡持卡人的身份验证及各种身份验证等具有 重要的应用价值，例如利用人脸识别辅助信用卡支付；通过人脸识别，能够实现 识别主人身份的智能终端等。人脸识别的流程如图1 1 所示，本文的研究重点在特 征提取与人脸识别部分。 2基于张量子空间分析的多姿态人脸识别 输入的 人脸图像 图1 1 人脸识别系统 1 2 人脸识别的研究进展及现状 识别结果 描述 人脸识别是计算机视觉、模式识别和人工智能领域的研究热点，它是一个典 型的图像模式分析、理解与分类计算问题。近年来，国内外对其开展了大量的研 究，取得了很多研究成果。目前常见的人脸识别算法主要包括以下几类：基于几 何特征的人脸识别算法，基于特征子空间分析的人脸识别算法，基于模板的人脸 识别算法，基于神经网络的人脸识别算法等。 1 2 1 基于几何特征的人脸识别算法 人脸由眼睛、鼻子、嘴、下巴等部位组成，面部器官的形状和它们之间结构 的几何描述可以作为识别人脸的重要特征。基于几何特征的方法是最早的自动人 脸识别方法，也是最直观的人脸识别方法。它的基本思想是提取人脸器官的形状 和几何关系作为基础的特征矢量，利用模式识别中的聚类思想设计分类器，通过 比较待识别人脸的特征向量和训练集中的特征向量实现识别任务。 b l e d s o e t 5 】最早研究了人脸识别技术并建立了一个人脸识别系统。他手工标定 人脸特征点的位置并将其作为先验知识，以人脸特征点的间距、比率等参数为特 征，用模式识别的分类方法来识别人脸。k e l l y l 6 】在b l e d s o e 工作的基础上，用机器 测量图像中人体头部的宽度、眼睛之间的距离，头顶到眼睛的距离，眼睛到鼻子 的距离，以及眼睛到嘴巴的距离，并采用了最近邻分类法对这些距离特征进行分 类。该方法的优点是在识别中不需要对人脸特征点进行手工标定。k a n a d e l 7 1 利用人 脸各部位间的距离及其所形成的夹角作为人脸特征，在单幅人脸图像上运用积分 投影的方法计算出面部特征参数，完成人脸匹配；而b a r o n l 8 l 则采用人眼、鼻子、 嘴及眉毛以下的4 个掩模表示整个人脸。g o l d s t e i n 9 j 等人采用2 l 维特征矢量作为 几何特征参数表示人脸面部特征；b n m e l l i 和p o g g i o i l o 】利用欧氏距离表征的3 5 维 人脸特征矢量提取个人脸特征。 基于几何特征的人脸识别方法主要是通过准确地提取有效的几何特征来进行 人脸识别。该方法速度较快，易于理解，信息存储量小，对光照变化不太敏感。 但人脸是一种非刚体，其形状和位置是随表情的变化而变化的，还有噪声及头发、 眼镜等遮挡物的影响，因此，在实际应用中，该方法很难稳健地提取特征点，鲁 第一章绪论 棒性较差。 1 2 2 基于特征子空间分析的人脸识别算法 研究表明，人脸图像位于一个高维线性空间当中，其分布却是非常稀疏的。 直接对图像进行处理往往会遇到“维数灾难”的问题，加大了计算的复杂度。为 此，人们引入了子空间的概念，将人脸图像投影到低维子空间上进行处理。即寻 找一种线性或非线性的空间变换，将原始的人脸图像映射到一个低维子空间中， 使人脸信息在该子空间中的分布更加紧凑。 子空间的方法有线性和非线性之分，基于线性特征子空间分析的方法主要有 主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 、线性判别分析( l i n e a rd i s c r i m i n a n t a n a l y s i s ，l d a ) 等，基于非线性特征子空间的方法主要有流形学习、核方法等。 线性特征子空间分析方法 p c a 和l d a 是人脸识别中广泛使用的技术。p c a 方法是一种基于统计学的降 维方法，它将人脸图像看成随机向量，利用一个正交变换将相关的随机向量转化 成新的不相关的随机向量，并通过保留部分主成分的方法，寻求一个能最大限度 地保留原始数据变化信息的子空间，得到低维的人脸向量。其计算公式如下： 一 m a x 一卜妄 i 崔叫k 、 八；、 j j i k 。 第三章基于g a b o r 特征和t s a 姿态流形建模的多姿态人脸识别 3 l 3 4 3 局部g a b o r 滤波器组的性能比较 虽然g t s a c v m 有效地提高了多姿态人脸的识别率，但它也导致了计算量的 增大。为了在保持较高识别率的同时降低计算量，本实验采用图3 7 所示的局部 g a b o r 滤波器组提取人脸特征，并比较其识别性能。同时，为了验证算法的效率， 本实验比较了不同的滤波器组提取人脸g a b o r 特征所耗费的时间。实验环境为c p u 为i m e l ( r ) c o r e ( t m ) 21 8 6 g h z 、内存为2 0 g b 的d d r 2 型。实验结果如表3 2 所 示。 表格3 2 滤波器组性能比较 结果表明：全局滤波器组g ( 4 x 8 ) 的识别率最高，这主要是由于全局滤波器组 可以获得最大的信息量，即分类器可以获得最多的分类信息，但其提取特征的时 间最长。随着滤波器的减少，g ( 3 x 8 ) 的识别率略有降低，但是与g ( 4 8 ) 的识别率差 别不大，且其提取特征的时间缩短。局部g a b o r 滤波器组的识别率相对全局滤波器 组有所降低，但是随着滤波器个数的进一步减少，它们的计算量也大幅减少。因 此，局部g a b o r 滤波器组在实际应用中有着广阔的前景。 3 5 小结 本章阐述了g a b o r 小波特征在多姿态人脸识别中的应用，并研究了一种基于 t s a 姿态流形建模的多姿态人脸识别算法。该算法利用局部g a b o r 滤波器组对人 脸图像做纹理特征提取；然后，采用p c a 的方法对提取到的纹理特征进行降维； 最后，引入了一种t s a 姿态流形建模方法实现人脸姿态估计，进而完成多姿态人 脸识别。本章就提出的方法与基于张量分解的人脸识别算法和基于t s a 一姿态流形 建模的多姿态人脸识别算法做了比较。实验结果表明该算法取得了较好的识别效 果，这样的处理方法既保留了人脸姿态详细的纹理信息，又能将影响人脸图像生 成的多种因素分离开来，而且很好的保留了人脸姿态信息的非线性结构。 第四章基于t s a 和局部保持投影的多姿态人脸识别 3 3 第四章基于t s a 和局部保持投影的多姿态人脸识别 4 1 引言 在人脸识别的实际应用中，往往因为人脸图像向量化后维数太高而面临“维 数灾难问题，使得人脸识别不能快速准确的实现。因此，寻求准确有效的数据 降维方法提取高维数据的特征变得尤为重要。近年来，基于子空间学习的降维方 法在机器学习和模式识别研究中受到了广泛的关注。 子空间学习的方法本质上是一种特征提取的降维算法。它的基本思想是通过 某种变换将高维数据映射到一个低维子空间当中，在保持原始数据中类别信息不 变的前提下，实现数据的压缩和去噪。目前，基于子空间的数据降维方法主要可 以分为两大类，线性子空间降维方法和非线性子空间降维方法。经典的线性子空 间降维方法有如p c a l l l 】、l d a l l 2 】等。p c a 的目标是寻找一组最优的单位正交向量 基的线性组合来重建原图像，并使两者的误差最小；l d a 的目标是寻找一组基向 量，在这些基向量组成的子空间中，能实现训练样本类间散度最大的同时类内散 度最小。在只有单一因素变化下的人脸图像集中，应用线性子空间降维方法取得 了很好的效果。但是大量研究表明，人脸图像数据的获取由于受到表情、姿态、 光照等因素影响，极有可能分布在一个嵌入到高维空间的低维非线性流形上。纯 粹的线性变换会丢失数据的非线性信息，影响识别效果。因此，一些非线性的子 空间降维方法被提出，比较有代表性的有i s o m a p ! 】，局部线性嵌入l l e p 4 j ，和 l e i 幅l 【懈l 等。这些非线性子空间降维方法可以在降维的同时最大限度的保留数据的 局部结构，但是它们却不能获取新样本点在低维空间上的投影，而且计算复杂度 较高。为了在不丢失人脸数据局部结构信息的基础上快速有效地实现人脸识别， h e 1 6 】等人提出了局部保持投影( l o c a l i t yp r e s e r v i n gp r o j e c t i o n ，l p p ) 的方法。 l p p 的基本思想是寻求一个将高维数据投影到低维子空间上的转换矩阵，使 得在高维空间当中邻近的两点投影到低维空间后仍能够保持邻近关系。这种方法 不但能够很好地保持人脸图像数据的局部结构，减少非线性信息的丢失，而且计 算简单快速，对图像数据的描述也比较直观。 本章将l p p 的方法应用到多姿态人脸识别中，并将其与张量子空间分析方法 相结合。本章主要包含了两个大部分：第一部分主要是对l p p 理论知识的阐述， 并介绍了l p p 在人脸识别中的应用；第二部分主要描述了基于张量子空间分析和 l p p 的多姿态人脸识别算法。 基于张量子空间分析的多姿态人脸识别 4 2 局部保持投影理论基础 从上述分析可知，p c a 和l d a 的目的都是为了保持数据的全局结构。但是， 在很多实际应用当中，数据的局部结构则更为重要。l p p 的方法能够通过构造保 持图像空间局部结构的最近邻图来建立流形结构模型。在本节中，将详细介绍l p p 算法的理论知识及其在人脸识别中的应用。 4 2 1 局部保持投影算法理论分析 l p p 算法是对非线性拉普拉斯映射i 5 4 】算法的一种线性近似，它的目的是保留 原始数据的内蕴几何结构。 假设存在这样一个包含刀个d 维样本的样本集，样本集中的样本用 x 1 , x ：，x 。来表示，均值为0 。算法的目的是寻找一个由这个d - 维空间到一个低 维空间的线性映射。高维空间当中的一点x ，其对应的点在低维空间当中用m 表 示，线性变换向量为w ，则实现这种映射的目标函数为： 乃= w7 1 x f ( 4 1 ) 在l p p 算法中，线性变换向量w 的目标函数可以通过最小化式( 4 2 ) 中的目标 函数得到： m ，i ，n ( ) ，一乃) 2 s ( 4 - 2 ) 其中，只是x ，的一维描述，矩阵s 是一个相似矩阵。矩阵s 的定义如下：若x ，是x 的七个最近邻之一，或x ，是x ，的后个最近邻之一 岛=eip(一ox，。xij)，否ix：贝-4x0 。8 2 0 。这里s 定义的是最近邻的范围，即局 部。f 是一个大于0 的常量，其大小由实验验证得出。从对权值矩阵s 的定义可以 看到，由于西= ，所以权值矩阵s 是一个对称矩阵。另外，若高维空间中的两 点是互相临近的，即悻- x 的值越小，则s 的值越大，则映射到特征空间中的两 点也是越近的；反之，若高维空间中的两点距离越远，则映射到特征空间中的两 第四章基于t s a 和局部保持投影的多姿态人脸识别 3 5 点距禹变得更远。 通过对目标函数做一些简单的代数变换，可以看到： 去( 只一乃) 2 毛 f = 去( w r x ，- - w7 x 毛 - = w7 x ，s v x t w - - w7 x ，毛x j w ” = w7 x ，口，x j w - - w7 x s x 7 w ( 4 - 5 ) = w7 x d x7 1 w w7 x s x 7 w = w 7 x ( d s ) x 7 w = w r x l x r w 其中x = i x 。，x ：，x 。】，d 是一个对角矩阵，它的对角元素是对称矩阵s 的每行或 者每列之和，即见= s ，= d - s 是拉普拉斯矩阵【5 3 1 ，拉普拉斯矩阵模板见 图4 1 。矩阵d 提供了上个对数据点的自然度量。矩阵p ，中元素的值越大，其对应 的只就越重要。 图4 1 拉晋拉斯矩阵模板 因此，使目标函数最小的线性变换向量w 的求解问题就转化为广义特征值求 解问题： x l x 7 w = a x d x 7 w ( 4 - 6 ) 其中，w = 【w 。w 2 w ，】，w 中的元素即为求解该广义特征值问题得到的最小的，个 特征值所对应的特征向量。 4 2 2 局部保持投影与主成分分析的联系 我们首先来介绍一下l p p 与p c a 的联系。当s 中的近邻参数s 或是七趋于无 穷大时，即不考虑样本之间的类别信息和近邻关系，则对于原始数据中的每一个 样本点，所有其它的样本点均为它的最近邻。令近邻图所有边上的权重都相等， 即& = i n 2 ，其中疗为样本点的数目，则： 见= 岛= 1 刀 ( 4 7 ) j 基于张量子空间分析的多姿态人脸识别 因此，拉普拉斯矩阵： 三：三，一三e e r( 4 8 ) 刀 r 具甲，是早位陴，e 是一个1 7 x l 阴坌一夕l j 同量，用m 采衣不样本的均值，即： m = 吾；x ， ( 4 - 9 ) 则： x l x r ：! x ( ，一l e e r ) x 7 ：三麟r 一- 兰( x o ( x e ) r = 丢；x 一( 叫( 7 ( 4 - 1 0 ) = 吉军c x ，一m ，c x td m ，7 + 吉莩x ，m7 + 吉军m x j 一言军m m 7 一m m 7 = e f ( x m ) ( x m l r l 其中，e 【( x m ) ( x m ) 7 】即为样本集协方差矩阵。 以上分析表明，权值矩阵s 在l p p 算法中起着关键的作用。当算法的目的是 保持数据集的全局结构时，令s 中的近邻参数或是k 趋于无穷大，则选择矩阵 x l x 7 的最大特征值对应的特征向量作为投影轴，数据点投影到了能保持最大方差 的方向，这一点与p c a 一致。当算法的目的是保持数据集的局部结构时，令s 中 的近邻参数s 或是k 趋于足够小，则选择矩阵朋7 的最小特征值对应的特征向量 作为投影轴，数据点投影到了能保持局部结构的方向。 4 2 3 局部保持投影与线性判别分析的联系 线性判别分析算法寻求的是最具判别力的方向。 义特征值问题来实现的： s , w = a 品，w 这种映射是通过求解一个广 ( 4 - 1 1 ) 假设样本集中共包含，个类别，第f 类中包含的样本点个数为，用i n 表示 第f 类的均值向量，x 0 ) 表示第，类中的任意一个向量，x 7 表示第f 类中的第个样 本。类内散度矩阵可以改写为： 第四章基丁t s a 和局部保持投影的多姿态人脸识别3 7 品，= ( ( x y 一m “) ( x ? 一m ) 7 ) ，= l j = l = ( ( x ? a - ，0 ) ，一m ( x ? ) 7 - x ? ( m ) ，+ m ( m ) ，) ) = ( 置f 一( x 卜+ x 取x ：，) + + x y )( 4 1 2 ) i ln = z ( x , x 7 一- 。- ix , ( e , e j ) f ) i = l，1 = xl l l x ： 其中x 厶f 是第，类的协方差矩阵，z = x ：+ + x ? 】是一个d x l l , 维的矩阵， 厶= ，一( e ，e f ) n ，是一个珥珥的矩阵，是一个单位阵，e ，= ( 1 ，1 ，1 ) 7 是一个吩维 的向量。为了更进一步的简化上述等式，假定： x = ( x i ，x 2 ，x 。) 权值矩阵： ：j 寺，若x ，和x ，均属于第七类； 【0 ，否则。 拉普拉斯矩阵： l = i 一缈 因此可以得到： = x l x 7 同样的，可以将& 矩阵改写为： ( 4 1 3 ) ( 4 1 4 ) ( 4 1 5 ) ( 4 1 6 ) & = _ ( m n m ) ( m 一m ) 7 = ( 毒一m ( m ) r ) 一m ( 圭_ ( m ) ，) 一( i m ) m ，+ ( 圭) 咖， = ( x 抛) 一2 ”m m 7 1 + r a m 7 ( 4 1 7 ) ，掌i ，i t = i ，l o = y ( 矿一i + j 一三e e r ) x r 刀 ：一x f 。x t + c 其中e = ( 1 ，1 ，1 ) r 是一个刀维的单位向量，c = x ( ，一e e r , o x7 是数据的协方差矩 阵。因此，l d a 的广义特征值问题可以改写为： 基丁张量子空间分析的多姿态人脸识别 s 嚣w = z s , w ( c x r ) w = a x r w( 4 1 8 ) j 删7 w ：l c w l + 允 这样l d a 的映射可以通过解决下面的广义特征值问题来实现： x l x r w = 兄c w ( 4 1 9 ) 取其最小的特征值对应的特征向量作为投影轴。如果假设数据集的样本均值为0 ， 则协方差矩阵被简写为剃7 ，则根据式( 4 1 4 ) 的定义，膨7 就是l p p 中x d x r 。 据上述分析，l d a 的目的是保留数据的判别信息和全局几何结构，l d a 可以被包 括在l p p 的框架之中。但是，l d a 是一种有监督的学习方法，l p p 根据其权值矩 阵的构成既可以是有监督的也可以是无监督的。 由以上的分析【l6 j 可知，l p p 即保持了近邻关系，又能很好的保持局部信息。 l p p 比p c a 更具判别力，比l d a 更稳定。 4 3 基于t s a 和局部保持投影的多姿态人脸识别 由于人脸姿态的变化等因素存在很强的非线性，基于张量子空间分析的人脸 识别方法并很难对姿态信息做出精确的定位，因此该算法对多姿态人脸的识别率 并不高。由上述对l p p 方法的理论分析可知，它能够保留人脸姿态因素的非线性 信息。因此，本文将l p p 的方法引入到多姿态人脸识别中，研究了一种基于张量 子空间分析和l p p 相结合的多姿态人脸识别方法。 4 3 1 人脸图像集的张量子空间分析 本节中选用东方人脸数据库为例来描述人脸图像集的张量表示方法，数据库 中包括7 4 个人的5 种姿态共3 7 0 张人脸图像，图像示例如图4 2 所示，所有的图 像都通过标定人眼位置的方法进行了对齐，对齐后每章人脸图片的像素大小为 5 0 x5 0 。 将第p 个人在姿态，下的人脸图像( d d ) p ，组成的图像集作为训练集，其中 p = l ，p ，且1 ，= l ，v 。利用张量子空间分析理论，对训练集中的人脸图像进 行张量分解1 1 4 5 1 。张量分解的具体步骤为： 1 将训练图像集中的人脸图像沿身份、姿态和像素变化的方向排列成张量 d ； 2 在张量d 上做h o s v d 以获得身份系数矩阵u 础，姿态系数矩阵u 嗍和 本征图像集合u 砒； 3 利用z = d x lu k 2u 乙3u 乙，得到核张量z ； 第四章基于偈a 和局部保持投影的多姿态人脸识剐 经过对训练集的张量分解，我们得到了身份系数矩阵u 。，础- 姿态系数矩阵 u 一，本征图像集台，胛m 及核张量z t 并有d = z 、u 刚：u 一，t u 脚。 筝 r 隧 隧馨 隧 - k 7 | 各“ 熟 巧一 图 t l j 蓄訾 蹬 l _ 幽4 2 身份不同姿态不同的人脸图像示倒 4 3 2 人脸图像集的重构 本节利用基于张量子空间分析的图像重构方法，来去除人脸图像中身份因素 对人脸图像的影响。 由上一小节中对人脸图像集的张量分解，可以得到： d = z l u p 帅弋虬。，、u 州h ( 4 2 0 ) 由第二章的分析可知，模矩阵u 。扩展为身份参数空问，其列与列是正交的，即 互不相关，并且每一列代表一个身份特征向量，每一行代表一个人的身份信息； 模矩阵k 。扩展为人脸姿态参数空问其列与列是亦互不相关，并且每一列代表 一个姿态特征向量，每一行代表一种人脸姿态信息：模矩阵u 。，正交的扩展为像 素的基空间，这里u 里的每个基向量对应着一张本征脸。 选取模矩阵的第一列，即模矩阵u 脚。的最大的特征值对应的特征向量 来重构图像集记作u ，即关于身份的平均脸。本章用平均脸来重构人脸图 像集，消除身份因索对人脸图像集的影响则新的核张量瓦可以计算如下： z 黼= d x l u 二州l l 2 u 二，b u k ( 4 - 2 1 ) 则利用五，重建的张量见，： 虬= x l u 脚k t ”x 2 虬。，、u 删， ( 4 2 2 ) 重建以后图像集的效果如图43 所示。将其与图42 对比可知，重建以后的图像集中 基丁张挝子空间分析的多姿态人脸识别 人脸图像的身份信息基本被去除。 图4 3 身份不同姿态不同的人脸重构图像示例 4 3 3 人脸重构图像的l p p 映射 将重构以后的人脸图像利用l p p 向低维予空间映射，映射的具体步骤 5 4 1 为： l 建立最近邻图：假设g 为一个无向图，含有h 个节点，第i 节点对应着一 张人脸重构图像x ，。如果另一张人脸重构图像x ，与x ，是临近的，则连接节点i 和， 根据42l 所述的临近的定义： ( a ) k 近邻：如果节点f 足节点，的k 个近邻之一，或者节点，是节点i 的k 个近 邻之一，则连接节点i 和j ： ( b ) 6 近郐：如果节点i 与节点在人脸重构图像空间当中的欧式距离小于s ， 即悻一x s ，则连接节点j 和，。 2 选择权值：如果节点i 和，被连接，则在连接的边上加一个相似性权毛， 否则令s = 0 。相似性权s 可以写为： ( 旬简单形式：如果节点i 和，被连接，令r = 1 ； ( b ) 热核函数的形式：如果节点f 和，被连接，令： 蒯 = e ，r( 4 - 2 3 ) 3 计算广义特征值对应的特征向量问题： x l x w = ) x d x 7 w( 4 2 4 ) 如42 1 所述，d 是一个对角矩阵，珥= z s j ，- = d s 是拉普拉斯矩阵 w = w ，w2 c w ，】，w 中的元素即为求解该广义特征值问题得到的最小的，个特征 第四章基 t s a 和局部保持投影的多姿态人腌识别 值所对应的特征向量，即所要求的投影矩阵。本文取l p p 空间的前三维来描述重构 人脸图像s l p p 映射结果，如图44 所示。 4 34 k 近邻分类 图4 4 重构图像的l p p 映射结果 k 近邻法f k n e w e s t n e i g h b o r s ) 虽初由c o v e r 和h a r t 于1 9 6 7 年提出的，是一种 在特征空间当中根据最近邻样本进行分类的方法l ”1 。k n n 是模式识别中最简单的 算法之一，但直至现在仍然是非参数法中蛙重要的方法之一。在分类时，分类器 会在训练样本中找出k 个与待分类数据最“相近”的样本点而分类结果便是这 k 个样本中出现最频繁的类标。其中，k 由用户指定而“相近”则取决于选用 的距离函数。当k = i 时，即最近邻算法也就是将测试样本判给离它最近的那个 样本所膳的类。欧氏距离是一个最常用的距离定义，它是在上维空间中两个点4 和 a 之间的真实距离，两个向量之间的欧氏距离计算公式如下： n 一r 。一 n ，o j ) = 、( 吼q ) 2 = ( q q ) 沁一a ) ( 4 - 2 5 ) l 将4 33 中得到的l p p 映射结果作为训练样本，根据k 近邻分类器实现人脸 姿态分类。假设l p p 的投影矩阵为w = w w ，w 小利用其将一幅测试圈像x ，映 射到l p p 空问当中： m = w 。x ，( 4 - 2 6 ) 随后l p p 空间中的数据点卫及其类标被保存在k 近邻分类器中，确定赦i 试图像 的姿态信息。最终，根据431 中建立的张量模型实现人脸识别。 瞳 基于张量子空间分析的多姿态人脸识别 4 4 实验结果与分析 为了验证基于张量子空间分析和l p p 的多姿态人脸识别算法( t s a l p p ) 的有 效性，本节选用w e i , n n a r m 数据库1 5 ”和东方人脸数据库h i 进行了实验，并与基于 张量分解的人腧识别算法( t e n s o f f a c e ) l ，t j 识别性能做出了比较。 4 4 1 实验数据 实验中采用的w e i z m a n n 数据库包含2 8 个人的5 种姿态共1 4 0 张人脸图像。 人脸姿态在偏转范围 3 矿，3 4 0 1 之间以1 7 。为问隔采样。所有的图像都通过标定人 限位置的方法进行了对齐，对齐后每张人脸图像的像素为6 4 x 5 0 ，如图4 5 所示。 ( a ) w e i n n a n n 数据库多个人的0 正面) 人脸图像示倒 ( b 1 w e i z m m m 数据库身份相同的 5 种姿态的人脸酗像示例 圈4 5w e i z m a n n 数据库图像示例 实验中选用的东方人脸数据库包含7 4 个人的5 种姿态共3 7 0 张人脸图片。人 脸姿态在偏转范围【一6 0 i6 0 1 之间近似以3 0 0 为间隔采样。所有的图片都通过标定 人眼位置的方法进行对齐，对齐后每张人脸图片的像素为5 0 x 5 0 ，如图4 6 所示。 f a ) 尔方人脸数据库多个人的0 1 正面1 人脸隧像示例 ( b ) 尔方人脸数据库身份相同的人5 种姿态的人脸圈像示例 图4 6 糸方人脸数据库翻像示例 第四章基于t s a 和局部保持投影的多姿态人脸识别 4 4 2 重建图像集的l p p 映射 根据张量子空间分析理论，本节采用去除人脸图像身份因素影响的方式重构 图像集，重构后的人脸图像集的效果如图47 中所示。对比重构前后的人脸图像集 我们发现，重构后的人脸图像其身份信息基本被去除。 ( a ) w e i z m a n n 人脸库留像重构前( b ) w e i 2 1 n a n n 人脸库瞄像重构后 啦) 东方人脸库图像重构前f d ) 东方人脸库图像重构后 图47 人脸图像集古障身份影响后的重构结果 在l p p 中，热核函数参数，的选择对l p p 映射有着重要的影响。本实验中 基于张揖于空间分析的多姿态人脸识别 取热核函数的参数f _ 1 0 0 0 0 ，利用l p p 对重构图像集进行映射。为了更直观地分 析l p p 的映射效果，本文以东方人脸数据库为例，将其在t s a 姿态系数空间上的 系数分布与其重构图像在l p p 空间上的映射结果做一个对比，这里仅示出t s a 姿 态系数空白j 、l p p 空间的前三维。结果如图48 ( a ) ，48 ( b ) 所示。 圃匿 0 ) t s a 姿态系数空间姿态系数分布( ”l p p 空间重构图像的映射结果 凹4 8t s a 姿态系数空间与l p p 空间效果比较 通过图48 可以看出，l p p 空间上各姿态类间的距离要远远大于t s a 姿态系数空 间上姿态系数问的距离，这主要是由于l p p 能使在高维空间当中临近的两点距离更 近，距离较远的点变得更远，有效地保留了人脸姿态的非线性信息。因此，l p p 的方法洚低了姿态系数的敏感性，使姿态的估计更加准确。 4 4 3 人脸识别的结果及分析 通常情况下，身份相同姿态不同的两张人脸图像之删的距离大于姿态相同身 份不同的两张人脸图片之间的距离。也就是说，经过张量子空自j 分析后的人脸图 像，其身份参数比姿态参数要更加敏感。 图像映射到4 42 中介绍的l p p 空问当中 因此，本节通过l p p 的投影矩阵将测试 通过分类的方法实现人脸识别。 本节采用基于欧式距离的k 近邻分类法( k - 1 ) 对测试图像进行分类，进而实现 人脸识别。为了验证本章研究的算法在多姿态人脸识别中的性能我们分别在 w e i z m a n n 数据库和东方人脸数据库上进行试验，并将本章提出的算法与基于张量 分解的人脸识别算法做了比较。 实验一、基于w e i z m a n n 数据库的识别结果 在本实验中，每次选取2 8 个人的同一种姿态的人脸图片作为测试集，余下的 4 种姿态的共11 2 张人脸图片作为训练集进行人脸识别。并将t s a o l p p 的实验结 果与基于张量分解的人脸识别算法的识别结果进行比较。识别结果如表41 所示。 第四章基于t s a 和局部保持投影的多姿态人脸识别 4 5 表格4 1 基于w e i z m a n n 数据库识别率的比较 通过表格4 1 可以看出，t s a l p p 对各种姿态人脸的识别率普遍高于 t e n s o r f a c e 。如在姿态4 和姿态5 上的识别率均较t