（计算机软件与理论专业论文）基于改进的无关多重线性判别分析的人脸识别.pdfVIP

中山大学硕士论文基于改进的无关多重线性判别分析的人脸识别 论文题目： 专业： 硕士生： 指导教师： 基于改进的无关多重线性判别分析的人脸识别 计算机软件与理论 黄正国 李才伟副教授 摘要 在生物识别技术中，所识别的对象数据往往是张量的形式，而以p c a ，l d a 为代表的经典的线性子空间分析方法在处理张量问题时，都需要将张量数据向量 化。近几年出现了直接对张量数据进行处理的多重线性子空间分析方法。u m l d a 是一种新型的多重线性子空间特征抽取算法。而u m l d a 在求解问题时采用的是一 种迭代算法，这使得其结果受到初始化方法，n - m o d e 子问题求解顺序和终止条 件的影响。 为了缓解在迭代过程中不同的子问题求解顺序对结果的影响，本文对原始的 张量数据增加了基于m p c a 的全映射。由于这样的全映射的各阶分量是相互独立 的，与其它阶分量无关。因此全映射的求解过程中，不受各子问题求解顺序的影 响。其次，经过全映射变换后的子空间数据，由于其数据信息在各个阶上都是按 重要性依次排列，因此也可以缓解后续处理环节中不同求解顺序对结果的影响。 在人脸数据库f e r e t 上的实验评估显示，改进的算法在低特征数的情况下识别率 有所提升。 关键词：多重线性映射特征抽取人脸识别 中山大学硕士论文 基于改进的无关多重线性判别分析的人脸识别 t i t l e ：f a c er e c o g n i t i o nb a s e do na ni m p r o v e du n c o r r e l a t e d m a j o r ： n a m e ： m u l t i l i n e a rd i s c r i m i n a n ta n a l y s i s c o m p u t e rs o f t w a r ea n dt h e o r y h u a n gz h e n g g u o s u p e r v i s o r ：a s s o c i a t ep r o f e s s o rl ic a i w e i a b s t r a c t i nt h eb i o m e t r i ct e c h n o l o g ya r e a , t h ef o r mo ft h ed a t ao b j e c t , w ef r e q u e n t l y e n c o u n t e r a r et e n s o r t h et r a d i t i o n a ll i n e a rs u b s p a c ea n a l y s i sm e t h o d s ，l i k ep r i n c i p l e c o m p o n e n ta n a l y s i sa n dl i n e a rd i s c r i m i n a n ta n a l y s i s ，n e e dt r a n s f o r mt h eo r i g i n a l t e n s o rd a t at ot h ef o r mo fv e c t o r i nt h er e c e n ty e a r s ，s o m em u l t i l i n e a rs u b s p a c e a n a l y s i sm e t h o d sa p p e a r , w h i c ho p e r a t ed i r e c t l yo nt h eo r i g i n a lt e n s o rd a t a t h e u n c o r r e l a t e dm u l t i l i n e a rd i s c r i m i n a n ta n a l y s i s ( u m l d a ) i so n eo ft h e s en e w m u l t i l i n e a rs u b s p a c ef e a t u r ee x t r a c t i o na l g o r i t h m s i nu m l d a ，i ta d o p t sa ni t e r a t i v e p r o c e d u r ew h i c hm a ya f f e c tb yt h e i n i t i a l i z a t i o nm e t h o d ，t h eo r d e ro fn - m o d e s u b - p r o b l e m sa n d t h et e r m i n a t i o nc o n d i t i o n s i no r d e rt or e d u c et h ea f f e c t sc a u s e db yt h eo r d e ro fn - m o d es u b p r o b l e m sd u r i n g t h ei t e r a t i v ep r o c e d u r e ，t h i sp a p e rp r o p o s e sam e t h o dt ot r a n s f o r mt h eo r i g i n a lt e n s o r d a t at h r o u g haf u l lp r o j e c t i o n t h ef u l lp r o j e c t i o ni sas p e c i a lt t pw i t h o u ta n y d i m e n s i o nr e d u c t i o n , a n dt h es o l u t i o no ft h ef u l lp r o j e c t i o ni sn o ta f f e c t e db yt h eo r d e r o fs u b - p r o b l e m s a n da f t e rt h ef u l lp r o je c t i o n , t h et e n s o rd a t ai nt h et r a n s f o r m e d s u b s p a c ei si no r d e ri na l lm o d e sw h i c hw i l lr e d u c et h ea f f e c t i o nb yt h eo r d e ro f s u b - p r o b l e m so fu m l d a f i n a l l y , t h r o u g ht h ee x p e r i m e n to nt h ef e r e td a t a b a s e ，i t s h o w st h a tt h er e c o g n i t i o nr a t eo ft h ei m p r o v e du m l d ai sb e a e rt h a nt h eo r i g i n a l u m l d aw h e nt h en u m b e ro ff e a t u r e su s e di ss m a l l k e y w o r d s ：m u l t i l i n e a rp r o j e c t i o n , f e a t u r ee x t r a c t i o n , f a c er e c o g n i t i o n i i 论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文 的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：蔓星i 至1 日期：盈哔业 学位论文使用授权声明 言芸翠嚣拶蒜热垆v 日期：碡珀谢日日期：口体幽嵋目 中n j 大学硕士论文基予改进的无关多重线性判别分析的入脸识别 第1 章引言 本章主要介绍了人脸识别领域的现状，以及特征抽取作为人脸识别的一个重 要的环节，圈前国内外的研究情况。最后在第3 小节阐述了本文的主要创新点， 在第4 小节对本文的行文结构进行了介绍。 1 1 研究背景与现状 身份鉴定一直以来都是一个重要的研究和应用领域。传统的身份识别是通过 各种证件，诸如身份证，学生证，工作涯，以及月户名，密码等来标识身份。但 是这些都是生物个体本身之外被赋予的信息，这样使得身份鉴定潜存着一些安全 性阂题，比如各种证件遗失，密码的遗忘等。 生物识别技术与传统的身份鉴定相比，更安全和更方便。且随时可用，不会 丢失或者遗意。因为豫所采用生物本身具有的特征来标识该生物个体。常见的生 物标识分为生理特征和行为特征。其中生理特征是生物的固有特征，如人脸，指 纹，掌纹，虹膜等。两行失特征包括笔迹，步态和声音等。 图1 1 人脸识别的一般过程 人脸识别是生物识别中的一个研究热点。从广义上讲，人脸识别是指包括 实现入脸识别系统的一系列相关技术，主要包括人脸图像检测与定位、人 脸识别预处理、特征抽取、人脸识别等；图1 1 描述了入脸识别的一般过程。 人脸的检测与定位，就是分析图像中是否存在人脸图像，并对其进行定位，然后 从原图像背景中提取出来的过程。人脸图像预处理主要是将提取出来的图像进行 相关的处理以满足特征抽取的需要，常见的预处理包括几何归化，灰度归一化 等。特征提取就是提取出能反应人脸的主要信息，并用该信息来表示人脸。常见 中山大学硕士论文基予改进的无关多重线性判别分析的入脸识别 的特征有几何特征，特征脸等。识别环节就是指对于给定的测试图像，将其与系 统数据库中的图像比较得出其标识，并与该测试图像的实际标识作对比。在识别 环节，常见的分类器包括n n c ，s v m 等。本文静主要工作重点是在人脸特征抽 取这一环节，该环节与人脸识别环节是人脸识别技术最重要的两个部分。 特征抽取的目的是从原始数据中找出能反应其主要特征的有用信息，以降低 识别过程中的数据冗余和计算复杂度。人脸特征的抽取大致分为局部特征抽取和 整脸特征抽取。基予局部的特征抽取，早裁是提取一些几何特征，如人舱图像中 的关键点，如眼，鼻等，以及其相对位置信息。这种特征由于受到表情，光照等 条件的限铡因而识别效率较低，且不稳定。后来出现的局部统计特征抽取，其识 别率比单纯的几何特征抽取要稳定一些。 基于整脸的特征抽取比较经典的算法以子空闻分析为代表，般叉分为线性 子空间分析和非线性子空间分析。本文主要介绍的是线性子空间分析的两个主要 分析方法p c a 算法和l d a 算法，以及其在多重线性空间的扩展算法( 第3 章) 。 由于l d a 算法考虑了原始训练集中存在的分类信息，因此其分类效果一般优于 p c a 算法。与p c a 相比，l d a 算法也存在着很多问题，如当训练样本数小于输 入图像的维度时，判别准则的分母项将奇异，这就是著名的小样本问题( s s s ) 。 小样本问题是线性子空间分析领域的一个研究热点，比较经典的解决算法包括 p c a + l d a ，以及n l d a 等。l d a 算法另一个缺陷就是无法处理一个类中只包 含一个样本的情况。 无论是p c a 还是l d a 及其衍生算法，都有一个共同点，即将每幅图像看作 是n 维空间中的一个点。而将图像数据向量化的过程除了使得图像空间的维度 高，运算量大以外，更重要的是破坏了图像的空间结构信息，影响了识别的效果。 2 d p c a 1 以及2 d l d a 【2 】【3 】【4 】的识别效果让越来越多的研究者相信原始的图像 样本信息中存在着重要的特征信息。于是不经过向量化，丽是直接在原始图像上 进行特征抽取成为一个新的研究热点。 2 d l d a 的算法在处理矩阵时，只是在矩阵的行向或者列向进行降维， b 2 l d a 5 贝u 是在行向和列向两个方向上同时降维，这可以看作是在2 d l d a 上 的扩展。而更一般的扩展是针对张量特征抽取的多重线性子空间特征抽取算法。 多重线性映射特征抽取算法是近几年出现的新算法。这一类算法的应用目标 2 中山大学硕士论文 基于改进的无关多重线性判别分析的人脸识别 是张量，根据应用目标的不同可以有不同的阶。比如向量是1 阶张量，矩阵是2 阶张量，立方体，动态图像( 视频) 是3 阶张量等。由于这类算法将识别对象看作 是张量，直接对张量进行特征抽取，因而避免了将张量向量化带来的信息损失。 另一方面由于多重线性映射的n m o d e 子问题的数据维度远小于经典的线性子空 间算法的数据维度，因此在特征值求解过程中的时间复杂度也较低。 g p c a 6 算法从方差最大的角度对p c a 进行了扩展，之后m p c a 7 又将 g p c a 扩展到了多重线性空间。虽然在p c a 算法中特征之间的无关性需要各映 射基向量标准正交，但是这在多重线性映射条件下不再是必需条件。基于这点考 虑， 8 】在多重线性映射t v p 9 的基础上，对特征引入了无关性约束。 虽然p c a 算法在训练集小的情况下优于l d a 算法，且其应用于不同数据集 时相对稳定 1 0 】，然而引入了分类信息的l d a 算法总体上优于p c a 算法，因此 l d a 算法在多重线性空间的扩展也是一个热点。 最先对2 d l d a 进行扩展的多重线性算法是m d a 1 l 】，以适用于对输入训练 集是张量的情况。【1 1 】采用类问散度与类内散度的比作为判别准则。与 1 1 1 不同 的是，【1 2 】给出的判别准则是类间散度与类内散度的差。这类算法的一个共同特 征是被抽取的特征的结构依旧是张量。而另一类算法则是通过r o p 1 3 1 4 将张 量映射成一个实数。通过获取一组r o p 即可以将张量映射成向量。 多重线性子空间算法的研究热点主要是针对判别准则的选取以及线性空间 与多重线性空间算法存在的差异之间的改进研究。已有的基于多重线性空间的 l d a 衍生算法【11 】 1 2 】【1 3 】 1 6 】大多关注于判别准则的选择，【9 】在已有的基础上引 入特征约束的同时，也对实际应用中的小样本问题( s s s ) 进行了考虑。u m l d a 9 】 中给出了一种小样本的解决方案，不过其主要目的还是在于引入特征无关性约束 条件，以保证特征的无关性和信息冗余。 1 2 本文的研究问题与意义 人脸识别技术在实际应用中已经越来越广泛，在各类视频监控的领域，都会 从录像中提取人脸进行分析，以更好的打击犯罪，维护社会安全。 人脸特征抽取是人脸识别过程的一个重要环节。经典的线性子空间分析方法 3 中l i j 大学硕士论文 基于改进的无关多重线性判别分析的入脸识别 已发展很多年，并取得良好的效果，逐步应用餐种应用系统中。然而经典的线性 子空间特征抽取算法的局限性表现在其处理的对象是向量，这就需要将不同形式 的原始数据通过一定的预处理，变成向量的形式( 向量纯) 。这种徽法一方面使得 数据的维度通常相当高( 即一副图像的所含的像素数) ，计算复杂度大。另一方面 也破坏了原始数据中的结构信息，一定程度上影响了识别效果。 基于多重线性代数的子空间特征抽取算法是近几年兴起的一个新的研究领 域。这类算法也根据是否引入分类信息，大致分为m p c a 类算法和m l d a 类 算法。而根据具体多重线性映射的种类不同，可以分为基于t v p 1 5 和基于 t t p 1 5 i 两类。 由于这类算法在求解n - m o d e 子问题时，数据维度通常小于训练集的大小， 因此可以在一定程度上缓和s s s 闯题对算法求解的影响，同时也降低了计算复 杂度。 与传统线性子空间分析相比，鉴于多重线性子空间分析所体现出来的优势， 对该领域的研究必将成为未来的一大热点。根据所采用的映射类型不同，多重线 性子空间特征抽取算法分为基于t v p 和t t p 两大类。其中，丌p 保留了不改变原 始数据的结构信息这一特点，而t v p 由于要通过e m p 将向量先映射成实数，因 此其打破了原始数据的结构信息。但是由于多重线性子映射算法的识别效率和计 算代价低的特点，基于t v p 的多重线性映射算法也是一个正被研究的领域。 1 3 本文的主要工作和创新 在经典的线性子空间分析方法中，小样本问题的解决一直是一个研究热点， 比较经典的解决方案包括n l d a 1 7 ，p c a + l d a 1 8 ，d l d a 1 9 等。 虽然p c a + l d a 算法采用的是降维至一个子空间来避免计算中出现小样本问 题，僵是冀识别率在多数情况下比囿类型的直接解决s s s 问题的算法n l d a ， d l d a 要高，因此在子空间应该存在比原始空间更有利于分类的因素。 【8 9 1 分别是p c a 和l d a 在多重线性条件下的两种新型的衍生算法，其一大 特点就是将u l d a 算法思想中的特征无关性约束引入到多重线性条件下，并给 4 中山大学硕士论文 基于改进的无关多重线性判别分析的人脸识别 出了模型和求解算法。 然而由于【9 】的所解决问题的目标限制，其在提出r = u m l d a 模型时存在两个 方面的问题。 a 即将原问题分解成n 个n - m o d e 子问题求解时，不考虑n - m o d e 求解的先 后顺序。 b 在进行迭代求解时给出的初始解对算法识别率的影响。 原作者对b 问题采用了一种将多个r - u m l d a 算法进行聚合的方式来解决初 始解对识别效率的影响，并收到了良好的效果。 本文主要是针对问题a ，即n - m o d e 子问题的求解顺序。由于n m o d e 子问题 的求解顺序会对实验结果产生一定的影响，因此本文采用一种基于1 r p 的全映 射方式将原始数据映射到一个与原始张量空间维度一致的特征张量空间，在特征 空间，各个轴的信息都是按照重要性依次排列，基于这种对称性来缓解n - m o d e 的先后顺序对识别效率的影响。 时下对多重线性子空间分析方法的研究多停留在采用何种判别准则以及如 何改进现有判别准则等方面。本文正是基于在子空间中存在有利于分类因素，以 及对问题b 的考虑，对u m l d a 算法流程进行了改进。这样就可以首先在原样 本空间上进行基于t t p 映射的全映射，使得后续的特征抽取是在样本子空间上 进行。 本文将改进的基于多重线性映射的特征抽取算法i - u m l d a 在f e r e t 人脸 数据库上进行了实验评估，与同类型算法进行对比后证实其性能在低特征数时稍 稍优于同类型的u m l d a 算法。 本文的创新点在于改进了u m l d a 算法，形成一种新的多重线性子空间特征 抽取算法。在本文的第4 章给出了该算法的详细的算法框架和步骤。 本文的主要工作包括： 提出了u m l d a 算法中存在的问题a 的改进方案。 给出了实现改进算法的具体流程和框架。 对经典的l d a 算法，基于多重线性空间u m p c a ，u m l d a 算法及提出 的新算法i - u m l d a 在m a t l a b 下进行了实现，并在f e r e t 人脸数据 库上进行了测试。对各种算法进行了对比分析。 中山大学硕士论文基予改进的无关多重线性判别分析的入脸识别 1 4 本文的组织结构 本论文共分6 章，第l 章介绍了课题的研究背景以及多重线性子空间特征抽 取这一领域的发展状况，包括国内外最新的研究进展。并对本文的所做的工作做 了相应的介绍。 第2 章主要对经典的线性子空间特征抽取算法如p c a ，l d a ，2 d p c a ，2 d l d a 进行了简单的介绍。 第3 章主要介绍了多重线性子空间分析方法中，几种不同类型的最新特征抽 取算法。包括基于t t p 映射的m p c a ，m d a 算法和基于t v p 映射的u m p c a ， u m l d a 算法。有关算法的详细介绍，m p a 参见【7 】；m d a 参见 1 1 1 ；u m p c a 参见【8 】；u m l d a 参见 9 】。 第4 章是本论文的核心内容，主要介绍了一种新的多重线性子空间特征抽取 算法，即i - u m l d a 算法，该算法借鉴p c a + l d a 中的在子空间做线性判别分析 的愚想缓解u m l d a 迭代求解过程中子闻题求解顺序对算法的影响。算法共分 为两大步骤，其中通过基于t 噜的全映射将原始数据映射至一个同构空间，同 构空闻的特征抽取基于w p 映射。 第5 章通过将论文提出的新算法应用到人脸识别图像库来验证算法的性能。 重点将i - u m l d a 与l d a ，u m p c a ，u m l d a 等算法进行了对比分析。 第6 章对本篇论文进行了总结，同时也对论文的不足和未来的工作进行了展 望。 6 中山大学硕士论文基于改进的无关多重线性判别分析的人脸识别 第2 章经典的线性子空间特征抽取算法 传统的线性子空间特征抽取算法需要将张量向量化，子空间的线性变换过程 是一种从向量到向量的映射( v v p ) 过程。 在所有的分析方法中，不进行特征抽取，而直接将原始图像看作向量的话， 那么一副训练图像对应的是n 维空间的一个点，这样测试图像的识别过程就是在 训练图像集中找到那个与该测试图像最近的点。例如，一副3 0 像素* 3 0 像素的人 脸图像经过向量化，变成3 9 0 0 1 的向量。这样原始的图像空间是9 0 0 维空间，每 幅图像就对应着9 0 0 维空间的一个点。 这种未经特征抽取的而直接进行识别的方式有以下几个缺陷： 1 ) 如果训练图像和测试图像是在光照强大差异很大的环境下采集的，那么具 有相同标识的图像，由于光照强度的差异，不会聚成簇，因而达不到理想的识别 效果。 2 ) 由于原始图像空间维度等于原始图像的像素数，一般会很大，因此需要进 行高维度的矩阵运算，计算复杂度大。 3 ) 需要的存储空间也很大。 线性子空间分析方法实际上是一种由原始图像空间到目标特征空间的线性 变换，这种变换本身没有改变图像的维度，只是在特征空间，信息按照重要性排 列，因此可以选取目标特征空间的子空间作为特征空间。因此特征抽取的过程也 通常叫做降维。 2 1 主成分分析法p o a 【2 0 】最先利用主成分分析：j i 去- p c a 表示人脸，并进行特征分析。【2 1 2 2 利用 p c a 提出了一种经典的人脸特征抽取算法，常常被称作“特征脸 。 主成分分析法的核心思想是将图像空间的数据通过线性变换至一个特征空 间，在这个特征空间的数据不但维持了原始数据之间的分布状态，而且由于标准 正交，描述数据的变量往往是相互独立，不相关的。在所有不相关的变量中选取 7 中山大学硕士论文 基予改进的无关多重线性判别分析的人脸识别 一个包含了源始数据中大部分信息的子集来表示覆始数据，于是达到了降低数据 维度和简化计算的目的。 一般地，假设n 维空闻的训练集包含c 个类 五，五，萎 ，共有n 个向量 样本图像 墨，恐e e ee e h ，麓r 蚪，通过线性变换将训练数据降维到d 维空间， 其中d 共n 个样本如，x 29 ee ee ee x n ) ， 五r “胁，表示第i 个样本图像，大小为n 。m 像素。与公式( 2 - 2 ) 类似，定义全局散 9 中山大学硕士论文 基予改进的无关多重线性判别分析的入脸识别 度矩阵如下： n & = ( 蕞一) ( 麓一沁r j = l ( 2 - 1 0 ) 其与p c a q h 的全局散度矩阵具有相同彤式，其中，p 是样本均值图像。同p c a 一 样，提取s t 的最大d 个特征值对应的特征向量作为投影轴，得到： 则样本映射到特征空间为： 枷= 【磁啦魂】 显然特征空间的样本大小为d 。m 。 2 。4 二维线性判别分析2 d l d a i = 1 ，2 ，, - - - - - n 在2 d p c a 的基础上，定义类内散度矩阵勘和类闻散度矩阵& 分别为： g 一1 1 ) ( 2 - 1 2 ) 与l d a 相比，由于勘非奇舜，故可以直接求取勘。岛的最大的d 个特征值对应 的特征向量。即： 2 5 本章小结 酩鼬= 【m 】 本节主要讲述了经典的p c a ，l d a 及其二维扩展算法2 d p c a ，2 d l d a 。p c a 及英衍生算法是无监督学习方式，丽l d a 及其衍生算法引入了训练集的分类信 息，是一种监督学习方式。 1 0 f 一 巧 一 毫 蚋 c甜 = r 、歹 一 箨，k、 一 p，tm c耐 = & 中山大学硕士论文基于改进的无关多重线性判别分析的人脸识别 2 d p c a 和2 d 幽d a 算法虽然是可以处理矩阵数据输入的扩展算法。然而在对 矩阵进行处理时，其降维过程都是在行向或者是列向( 其中一边) 进行的，在 2 d p c a 和2 d l d a 之后，b 2 d l d a 算法证明了同时对行向和列向( 两边) 进行 ， 降维可以一定程度上提高特征抽取的效率。正是因为相信原始的图像矩阵中存在 重要的有利于分类的结构信息，因此基于张量输入的多重线性子空间特征抽取算 法成为一个新的研究热点。 中山大学硕士论文 基于改进的无关多重线性判潮分析的人黢识别 第3 章多重线性子空间特征抽取算法 传统的线性子空间特征抽取算法实际上是一个从1 1 维向量到m 维线性的线性 变换，其中掰 ，通过多重线性 映射 醵裳厶螺| n - i ，2 ，3 ，将张量空闻r q 舭p 霆氛映射到其特征子 空间r j , p 足以p r j n 。这样训练集在特征予空间的特征集为 渺朋l r 吐”x j n ，棚= 1 ，2 ，3 ，m ，其中1 | c ，。是训练张量x 。经过多重线性映射 1 3 中山大学硕士论文 基乎改进的无关多重线性判另u 分析的人脸识别 “r 以。l 玎- - i ，2 ，3 ， ，在特征予空间的特征： 矿辨= 瓮辫二 乜in = 1 , 2 ，3 ，册，m = l ，2 ，3 ，一- , m 0 - 2 ) 同p c a 等算法类似，分别定义训练集的全局张量散度最和特征集的全局张量散 度& 为： 鞋1 戮 2 薹| | ? c 耐一夏蓐其中夏2 玄善艽辫( 3 - 3 ) m 。 m i t e a 2 蚤| | 妒辨一矿瞎其中扩2 石萎矽肿( 3 - 4 ) m p c a 算法的昏标是要寻求使得特征集的全属张量散度& 取最大值的多重线性 映射 致r 厶。ln 端l ，2 ，3 ，n ： r “in = 1 ，2 ，3 ，) = a r g 呱m a x w ( 3 - 5 ) 一般来讲，五在算法中是律为己知量处理的。 m p c a 算法利用迭代思想给出了解决这个优化问题的近似解。即将问题分解 成了一系列多重映射子问题。假设映射矩阵q ，巩小钉，。为己知，则只 需要求解映射矩阵瓯。根据翻中新阐述的，致是矩阵多”最大的五个特征值对 应的特征向量构成的矩阵。 矿2 著睁纷。( x 二一( 3 - 6 ) 其中：= ( 移辨1 u 舯2 圆u u 1 o 秽2o o u 舻) ，蛾是张量x 朋在第n 阶的展开矩阵。秽是训练集 笼掰l x 掰撼融。岛”，m = l ，2 ，3 ，材 在第1 1 阶展开矩 阵的均值。假设 ，如，是矩阵妒”的特征值的降序排列，以对应的特征向量 为心，则： 磁= mw 2 】 ( 3 7 ) m p c a 算法的一般求解步骤如图3 1 所示： 1 4 中山大学硕士论文基于改进的无关多重线性判别分析的人脸识别 图3 - 1m p c a 特征求解框架 1 5 中山大学硕士论文基于改进的无关多重线性判别分析的人脸识别 3 1 2 多重线性判爨分析m d a 前面介绍的m p c a 算法与p c a 算法一样，都是无监督学习方式，下面介绍 的m d a 算法与l d a 算法一样，为监督学习方式。m d a 给出了相应的张量判定 准则。在m p c a 算法解决的闯题的基础之上，假设其训练集分为c 个类，其类 标识为： 镌| 主= l ，2 ，q 对于多重线性映射 乩r 厶x 厶l 力= l ，2 ，3 ，- ) ，训练样本在特征子空间的类 内散度品，类间散度& 为： e & = 兢| | 霞一矿眩 ( 3 8 ) c = 1 材 勖= | l l f ，辨呒眭 m = l ( 3 一 其中，犯是第e 个类中含有的张量样本数量；死是第e 类中张量在特征予空阆 的均值；矿是全部样本在特征子空间的均值；妒辩是第1 t 个样本的特征；呒是 第m 个样本所属类的样本特征均值。根据y 卅= ) c 。丝。 虬i 甩= 1 ，2 ，3 ，) ，类内 散度品的求解公式( 3 一，类闻散度岛的求解公式( 3 - 8 ) 可以改写为： c & = 憋l 甏二 玩| 箨= l ，2 ，3 ，奶一- - 。n 叠 瓯in = l ，2 ，3 ，“- , n i t ；o l o ) c 赫l 材 品= l | 笼。量眠in = l ，2 3 “，奶一焉双ln = l ，2 3 ”，奶睡3 - 1 1 ) 卅赫i 其中，夏是第c 类中的张量的均值；夏是全部样本的均值；笼掰是第m 个样本；鼍 是第m 个样本所属类的样本均值。 张量判定准则的隧标是求解在类闻数度最大的同时类内教度最小的多重线 性变换 以r 以垴ih 燃1 ，2 ，3 ，) 。即： 1 6 中山大学硕士论文基于改进的无关多重线性判别分析的人脸识别 戤一碣旧1 ，2 ，3 ，册= 鹕爱妾 m l i 夏。丝。戤i n = l ，2 ，3 ，册一死丝。戤i n = l ，2 3 一，奶眩 = a r gm a x 二= 三一一 p q 玩肌ml lx 。丝。 i 刀：1 ，2 ，3 ，卜夏c _ 篓。 in = l ，2 ，3 ，) 幢 与m p c a 算法类似，该问题也可以分解为n 个子问题。同样的假定 u ，虬小虬小，则对u 的求解实际是是第n 阶的优化过程。定义 y 。= z 胛笔 j 甩= 1 ，n 一1 ，n + l ，) ，m = l ，2 ，m ，于是张量判定准则在第n 阶的形式为： c 札i | t 以- y 。乩眩 驴a r g m 觚畜i i i 瓦 1 1 】将该问题变形为： 玑= a r g m a x 嬲 n m lc 九= 以，以1 = c ( 霹j - y 也) ( 霹- y 儿) r ( 3 1 2 ) 其中，霹是第c 个类的y 。的均值在第n 阶的展开矩阵的第i 列向量；孓w 是y 。 的均值在第n 阶的展开矩阵的第i 列向量；是y 。在第n 阶的展开矩阵的第i 列向量；霹是y 坍所属类的均值在第n 阶的展开矩阵的第i 列向量。 m d a 算法的求解步骤如图3 2 所示： 1 7 y 霹 一 嘭叹 一鼍 一 嘭 m 脯 i i 佛影 0 凡斌 = 咖 中山大学硕士论文 基予改进的无关多重线性判别分析的入脸识别 输入：训练张凝集 x 卅i x 肌r 。- 。如”。，m = 1 ，2 ，3 ，m ，其类标识为 qi i = l ，2 ，c ) 特征子空间为：r s , 圆灭五o 固r 靠。 输遗：调练张曩在羝维特铥子空闻的特征和拼l y ，r 如嚷”螈，m = l ，2 ，3 ，艇 算法： 步骤1 ( 初始化) ； 醒= t ，n = l ，2 ，3 ，册 步骤2 ( 局部优化) ； of o r k = l ；k 嬲基我上限为k f o r l l = 1 ：n y 燃= 笺。：l 镰| 嚣= l ，n - 1 ，娃，m = l ，2 ，m 将 y 。，m = l ，2 ，- , m ) 按第n 阶展开成 瑶，脚= 1 ，2 ，m ) n ，。0c 黑珐，以= c ( 霹。一妒j ) ( 霹。一孓n ) r 王重，。材 兢瑞嘶，妨= ( 磁”一霹) ( ”一q n 。) r 九畦= 嘞嘭九，特征值分解九筇1 ，取最大以个特征值对应的 特鬣囱量终鸯嘭。 e n d 如果露 2 且| | 域一瞬t 盼毛五艿，n = l ，, 3 , - - - , n ，迭代缝素， e n d 步骤3 ( 计算特征) 跳转至步骤3 。 船。兰x 辫。a r l l 阼= l ，2 ，3 ， ，m = l ，2 ，3 ，m ) 图3 - 2m d a 特征求鳃框架 1 8 中山大学硕士论文基于改进的无关多重线性判别分析的人脸识别 3 2 张量到向量映射及相关算法 与张量到张量映射( t t p ) 不同，张量到向量的映射( t v p ) 是一种新的从张量空 间到向量空间的多重线性映射。t v p 映射是基于张量到标量的映射，它是张量 到张量映射在 以= li 刀= 1 ，2 ，3 ，n ) 时的特例。对于n 阶张量x r 。如”，当 以= li 以= 1 ，2 ，3 ，n ) 时 ， r 厶。厶i 刀= l ，2 ，3 ， 退 化成 u 。r k 厶jn = 1 ，2 ，3 ， 。假设一阶向量为列向量，故该映射可以表示为 ，甜2 t ，“； 。设其将n 阶张量) c r i t 。，2 ”“。如映射成标量y ： y = z x 删n “：i 玎= l ，2 ，3 ，) 映射 0 ，“：t ，“石) 被称为基本多重线性映射( e m p ) 。 张量) c r 。，2 ”“如到向量】，r p 的映射包含p 个e m p - u l p t , 蟛r ，p t ) ，p = 1 ，2 ，3 ，p 为了表达的简洁，一般将其缩写为： u p tn = l ，2 ，3 ，) ；l ，则从茏r 。驰“h 到 y r p 的t v p 为： 】，= ) c 丝。 i 以= 1 ，2 ，3 ，) ：l ( 3 1 3 ) 在 1 3 1 1 6 2 3 1 文献中，t v p 映射又被称作是r o p 。 3 2 1u m p c a 算法 u m p c a 算法正是基于上述的t v p 多重线性映射。它通过引入零相关性约束 条件，来降低各个子映射之间存在的冗余问题。通过引入一种新的目标函数来确 保特征之间的独立性。 对于给定的训练集 x 肼l x 埘r 6 x h x - x 1 v , m = 1 ，2 ，3 ，肘 ，所求的t v p 映射 u p tn = l ，2 ，3 ，) ；：。将其映射为： 匕= ) c 。x 删n jn = l ，2 ，3 ，册：ll 聊= 1 ，2 ，m ) 1 9 中山大学硕士论文基于改进的无关多重线性判别分析的人脸识别 特征向量匕有p 个元素构成：匕= 】；= 【。】，其中，表示张量) c 肼 通过t v p 映射的第p 个e m p u ( r , 矽，p t ) 所得到的标量。 定义第p 个e m p 映射下的特征的全局散度为： 其中乃= 万i 荟m 。 麓= ( 虼，一咒) 2 m = l ( 3 1 4 ) 定义向量g p 为 x 。i ) c 肌e r l l x 2 x x l n , m = l ，2 ，3 ，m ) 在第p 个 e m p u ( r , 甜：p t ，p t ) 映射时的特征分量。g p 的第m 个元素满足g p ( 垅) = 虼，即： g p = 恐l - - y l ，奶，】，g ，r m 为了使不同的e i v i p 抽取出来的特征无关，即使得 g p r mp = 1 ，2 ，3 ，p ) 2 _ f 日q 无关。这样u m p c a 的目标就是求 群r ，n = l ，2 ，3 ，) ：。使得特征方差最大，且 特征分量直接无关。即： ( 3 1 5 ) f p r p = 1 1 高= 仍g = 1 2 3 ，p 1 6 其中是克罗内克函数【2 4 】。即： = 霭p 2 ，尸 u m p c a 对该问题的求解是采用逐步求取这p 个e m p 的策略。而对第p 个 e m p ，采用与前述m p c a 等算法相同的假设，即假设 “f ，to 蚝p _ l ，t p + l ，t ，p t ) 已 知的情况下利用迭代算法求取p r 。 定义= ) c 。删n 簖7 i n = l ，刀一1 ，n + l ，) ，m = l ，2 ，m ，则相应的全局散 2 0 中山大学硕士论文 基于改进的无关多重线性判别分析的人脸识别 度矩阵公式( 3 1 4 ) 改写为： m 甓= ( 一霹) ( 磁一零) r m = l 其中刁= 万1 善m 磁。定义_ - 【磁麓。= 【磁鼍况】。 ( 3 - 1 7 ) 当p = l 时， “，n = l ，2 ，3 ， 州中蚝1 的求解可以看作是无约束的求解，参 照经典的p c a 算法，以是s n 。的最大的特征值对应的特征向量。 当p 1 时， 簖r ，n = l ，2 ，3 ， 中砰的求解对应于如下优化问题： 约束条件为： “：= a r g m a x t s t n p h n p f妒砰= l k p 7 w 岛= oq = l ，2 州3 一，p 一1 【8 】给出了该问题的解，即是甲：鬈的最大特征值对应的特征向量。 甲：= i 厶一w q 一。蚱1 嚷。嘭r 耷p = q 0 、：g p 4 q l = 蜀9 2 g p - i 】r 胁川 其中i 厶是大小为厶厶的单位矩阵。 u m p c a 的求解一般步骤如图3 3 所示： 2 1 中山大学硕士论文基于改进的无关多重线性判别分析的入腧识别 3 2 2u m l d a 算法 图3 01 5 m p c a 特征求解框架 u m l d a 算法与u m p c a 算法都利用了实现张量到向量的映射( t v p ) 来进行 特征抽取。所不同的是u m l d a 引入了训练集中存在的分类信息，是一种监督 学习方式。u m l d a 除了继承了经典l d a 的判别准则以外，与u m p c a 一样， 中山大学硕士论文基于改进的无关多重线性判别分析的人脸识别 也对各个e m p 方向提取的特征引入约束，使各e m p 方向的特征拥有最小冗余 以及良好的识别效果。 设训练集 x 。i 茏肘r 。j 2 ”“，n = 1 ，2 ，3 ，m ) 具有类标识 qli = l ，2 ，c 。求 取一个t v p 映射 砰r ，拧= l ，2 ，3 ， ：使得在第p 个e m p 方向上的类内散度 与类间散度麓的比率c 最大。 麓= c ( 一只) 2 ( 3 - 1 8 ) 屯= ) - 2 ( y m , 一死，) 2 ( 3 - 1 9 ) c = 妻 p 2 。， 其中，c 是第c 个类中含有的张量样本数量；此。是第c 个类在第p 个e m p 映 射下的均值；兄是全体样本在第p 个e m p 映射下的均值；y m , 是第m 个样本c ， 在第p 个e m p 映射下的值( 标量) ；咒，是z ，所属类c 在第p 个e m p 映射下的 均值。 不同的e m p 方向抽取1 t i 来的特征需要满足无关约束： 赢嘞办例，2 ，3 ， 其中g p 和的定义与u m p c a 的定义相同。即： g p = 虼，】挺l - 乃，儿，】，g p r m = 霭p , q = 1 , 2 , 3 , - - , p 与u m p c a 一样，u m l d a 也是逐步求解这p 个e m p 。对于第p 个e m p ，假设 砰r ，“p t ，p + l ，t ，p t 已知，定义： 磁= ) c 。墨l 妒l 疗= l ，n 一1 ，n + l ，) ，m = l ，2 ，m 则类内散度公式( 3 - 1 9 ) ，类间散度墨公式( 3 - 1 8 ) 改写为： 中山大学硕士论文 基于改进的无关多重线性判别分析的人脸识另l j 墨。善c ( 鬈一霹) ( 鬈一露) 7 ( 3 - 2 1 ) 镌2 磊( 磁一乏) ( 一乏厂( 3 - 2 2 ) 由于u m l d a 算法中，也会出现当比率c 趋于极大的过程中，类内散度会趋于零， 即小样本问题( s s s ) 。u m l d a 算法采纳了【2 5 】中解决该奇异问题的方法。于是类 内散度踺公式( 3 - 2 2 ) 修正为： 疃= ( 鼍一乏) ( 磁一乏) ，+ ，九戤( 昂) i l ( 3 2 3 ) 其中，y 0 是调整参数，对于基本f l o j u m l d a 算法，y 通常设置为零；i ，是大小 为厶厶的单位矩阵；k ( 昂) 是昂的最大特征值。昂是全部样本在第n