（计算机软件与理论专业论文）拉普拉斯脸的贝叶斯优化算法及其n维空间扩展.pdf

拉普拉斯脸的贝叶斯优化算法及其n 维空间扩展 论文题目：拉普拉斯脸的贝叶斯优化算法及其n 维空间扩展 专业：计算机软件与理论 硕士生：杨文新 指导教师：印鉴教授 摘要 线性辨别分析算法在目标识别、图像降维和特征抽取上已经得到了广泛的应 用。近些年来，国内外的许多学者将特征抽取和模式识别的研究重点放在了流形 学习领域，希望通过在目标空间中保留更多的关于原始空间的局部流形信息来实 现特征抽取和降维的目的。拉普拉斯脸算法是其中一种比较典型的流形学习算 法，它通过引入拉普拉斯算子来保留原始空间上的局部流形信息，并通过离散截 断的算法进行求解。最近，很多学者试图将局部流形学习算法与传统的线性辨别 分析算法相结合，提出了拉普拉斯主成份分析算法和拉普拉斯线性辨别分析算 法。 然而，拉普拉斯脸算法本身具有一定的局限性。首先，它是一种对于局部流 形信息的近似算法，加权方差累加的过程在一定程度上默认了局部信息的线性特 性。其次，拉普拉斯脸算法所引入的拉普拉斯算子需要在运算的时候做一个非连 续的截断，经验性的截断判别准则势必对算法的整体效果产生负面影响。基于以 上两点考虑，本文提出了一种拉普拉斯脸算法的贝叶斯优化方法，它并不是通过 线性累加来计算加权因子对流形特征的影响的，而是通过引入积累分布函数来精 确地求得拉普拉斯脸算法的一维贝叶斯最优解，之后，通过对空空间的映射将这 一维最优解扩展到n 维空间上。实验结果表明，贝叶斯优化的拉普拉斯脸算法较 之经典的拉普拉斯算法具有更高的识别效率。 关键词：模式识别、特征抽取、拉普拉斯脸、贝叶斯优化、空空间 5 拉普拉斯脸的贝卧斯优化算法及其n 维空闻扩展 t i t l e ： o n ed i m e n s i o n a l b a y e s s o l u t i o n f o r l a p l a c i a n f a c e s a n di t s n d i m e n s i o n a le x p a n s i o n m a j o r ：c o m p u t e rs o f t w a r ea n dt h e o r y n a m e ：w e n x i ny a n g s u p e r v i s o r ：p r o f j i a ny m a b s t r a c t l i n e a rd i s c r i m i n a n ta n a l y s i si sw i d e l ya c c e p t e di nd e a l i n gw i t ht h ei s s u e so f p a t t e r nr e c o g n i t i o n , f e a t u r ee x t r a c t i o na n dd i m e n s i o nr e d u c t i o n r e c e n t l y , m o s to ft h e r e s e a r c h e r st o o ke m p h a s i so nt h ea r e ao fm a n i f o l dl e a r n i n gw h e np e r f o r m i n gf e a t u r e e x t r a c t i o n l a p l a c i a n f a c e si sa nt y p i c a lm a n i f o l dl e a r n i n ga l g o r i t h m ，w h i c hp r e s e r v e s m o r em a n i f o l di n f o r m a t i o nb ye m p l o y i n gt h el a p l a c i a no p e r a t o r ，f u r t h e r m o r e ，a l i n e a rt r u n c a t i o ni si n t r o d u c e df o ra na p p r o p r i a t es o l u t i o n n o w a d a y s ，s o m et r i e st o c o m b i n et h em a n i f o l dl e a r n i n ga l g o r i t h ma n dt h ec l a s s i c a ll i n e a rd i s c r i m i n a n tm e t h o d ， w h i c ha r en a m e dl a p l a c i a np c aa n d l a p l a c i a nl d a h o w e v e r , l a p l a c i a n f a c e s a l s oh a ss o m e d i s a d v a n t a g e s f i r s t l y , i t s a n a p p r o x i m a t i o no ft h el o c a lm a n i f o l dm e t h o d ，l i n e a ra c c u m u l a t i o no ft h ew e i g h t e d v a r i a n c ei n g r e d i e n t sm a k e sa l lu n d e r l y i n gp r e c o n d i t i o nt h a tt h el o c a li n f o r m a t i o ni s l i n e a r l y s e c o n d l y , ad i s c o n t i n u o u st r u n c a t i o ni se m p l o y e db yt h el a p l a c i a no p e r a t o r , t h e r e f o r e ，e x p e r i e n t i a lc r i t e r i o nw i l lc o u n t e r a c tt h ee f f e c t i v e n e s so ft h ea l g o r i t h m b y t h ec o n s i d e r a t i o n sa b o v e ，ab a y e ss o l u t i o nf o rl a p l a c i a n f a c e si sp r o p o s e d ，w h i c h i n t r o d u c e st h ec u m u l a t i v ed i s t r i b u t i o nf u n c t i o nt os o l v et h eo p t i m a lo n e - d i m e n s i o n a l d i s c r i m i n a t i v es o l u t i o n ，r a t h e rt h a nt h ee i g e n d e c o m p o s i t i o ns c h e m e s u c c e s s i v e l y , t h eo n e d i m e n s i o n a ls o l u t i o ni se x p a n d e dt on b yt h en u l ls p a c e o f p r e v i o u sf e a t u r e s t h ee x p e r i m e n t a lr e s u l t ss h o wt h ea d v a n t a g eo f t h e p r o p o s e dm e t h o d k e yw o r d s ：p a t t e r nr e c o g n i t i o n , f e a t u r ee x t r a c t i o n ，l a p l a c i a n f a c e s ，b a y e so p t i m a l i t y , n u l ls p a c e 7 拉普拉斯脸的贝叶斯优化算法及其n 维空间扩展 论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：_ = 奎垄扯 日期： 拉普拉斯脸的贝时斯优化算法及其n 维空阊扩展 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版，有权将学位论文用于非赢利目的的少量复制并允许论 文进入学校图书馆、院系资料室被查阅，有权将学位论文的内容编入 有关数据库进行检索，可以采用复印、缩印或其他方法保存学位论文。 翩躲彬 日期：年月日 硝 叟 3 矽日名月 签 储年 ，l 文论 ： 位期 学日 拉普拉斯脸的贝叶斯优化算法及其n 维空间扩展 第1 章简介 计算机人脸识别技术是利用计算机分析人脸图像，从中提取出有效的识别信 息，用来“辨认 身份的一门技术。人脸识别技术应用背景广泛，可用于公安系 统的罪犯身份识别、驾驶执照及护照等与实际持证人的核对、银行及海关的监控 系统及自动门卫系统等。虽然人类的人脸识别能力很强，能够记住并辨别上千个 不同的人脸，可是计算机则困难多了。其表现在：人脸表情丰富，人脸随年龄增 长而变化，人脸所成图像受光照、成像角度及成像距离等影响，而且从二维图象 重建三维人脸是病态过程，目前尚没有很好的描述人脸的三维模型。另外，人脸 识别还涉及到图象处理、计算机视觉、模式识别以及神经网络等学科，也和人脑 的认识程度紧密相关。这诸多因素使得人脸识别成为一项极富挑战性的课题。 通常，人类进行人脸识别依靠的感觉器官包括视觉，听觉，嗅觉，触觉等， 一般人脸的识别可以用单个感官完成，也可以是多感官相配合来存储和检索人 脸，而计算机的人脸识别所利用的则主要是视觉数据。另外，计算机人脸识别发 展还受限于对人类本身识别系统的认识程度。研究表明，人类视觉数据的处理是 一个分等级的过程，其中最底层的视觉过程( 视网膜功能) 起信息存储的作用， 即将人眼接收的大量图像数据变换为一个比较规则的紧凑表达形式。生理学的研 究表明，人眼视网膜上存在着低层次和高层次的细胞。其中，低层次的细胞对空 间的响应和小波变换的结果相似；而高层次的细胞则依据一群低层次细胞的响 应，而做出具体的线、面乃至物体模式的响应。以此为依据，在计算机人脸识别 中，可以将那些通过大量图像数据简单处理后获得的特征定义为低层次特征，而 将线、面、模式等描述特征定义为高层次特征。由此，图像k l 变换后的系数特 征、小波变换特征及一些统计特征均属低层次特征的范畴，而人脸部件形状分析 的结果则为高层次特征。由于视觉数据经传输后的重建，需依赖于人脑中早期形 成的先验知识，因此在人的识别系统中，人脸的检测是一个整体识别和特征识别 共同作用的结果；具体说来，远处辨认人，主要是整体识别，而在近距离的人脸 识别中，特征部件的识别则更重要。另外，人脸的各件对识别的贡献也不相同， 如眼睛和嘴巴的重要程度大于人的鼻子，人脸上半部分重要性大于人脸下半部分， 拉普拉斯脸的贝叶斯优化算法及其n 维空间扩展 其中特别的人脸更容易被识别记住，比如说歪嘴，或是独眼龙等人脸就更容易为 人记起，没有个性的人脸相对就需要更长的时间来辨认。根据对人脑的研究表明， 人脸的表情识别和人脸识别虽然存在联系，但总体说是分开的、并行的处理过程。 这些结论对于设计有效的识别方法起到了一定启发作用。 对于人脸识别这项工作而言，国内外学者已经提出了很多方法。其中，1 9 9 1 年t u r ka n dp e n t l a n d 提出的主成分分析法( p r i n c i p l ec o m p o n e n ta n a l y s i s ) 【1 】是一 项经常使用的人脸识别算法，它通过最大化数据方差来得到一个重建的低维空 间，从而在低维空间保证了数据集整体方差的最大化，将不同的人脸数据样本分 割开来。19 9 7 年p e t e rnb e l h u m e u r ，j o a oph e s p a r t h a , d a v i djk r i e n g m a n 在主成分 分析的方法上又提出了“f i s h e r f a c e ”的方法 2 】，它在最大化训练数据集类间方差 的同时最小化类内方差，并且，通过将训练样本首先映射到主成分空间的方法来 解决了 f i s h e r f a c e ”中类内方差不满秩的问题，在实际应用中得到了很好的效果。 然而，对于“f i s h e r f a c e ”的方法，由于实际中本文碰到的人脸数据集都是高维数据， 并且训练样本极其有限，因此为了解决小样本空间问题而不得不用“p c a ”方法 将训练样本降到低维空间，这个过程会导致大量的辨别信息的丢失，对后面的降 维和分类过程都有很大的影响。随后，y b i n g 提出了基于零空间的线性分类方法 【3 】，它的基本思想是，利用训练数据集训练样本少的特性，从类内方差不满秩 的部分提取出一组标准正交基，成为训练样本点的零空间，在这个空间内，同一 类训练样本投影后都会汇聚为一点，换句话说，在样本的重建空间中类内方差为 零，因而只需要计算类间方差，并将其最大化就可以了。h a k a nc e v i k a l p 对零空 间方法进行了进一步的分析并通过转秩方法减小了计算复杂度 4 】。零空间的方 法利用了样本空间小的特性，在一定程度上提高了识别效率。然而，由于零空间 是通过少量训练样本训练得到的，这就使得当样本数增多时原有的零空间失效； 而且由于零空间本身的维度十分可观，而算法又不能使用一种有效的方法对零空 间的标准正交基进行筛选( 因为所有基所对应的特征值都为o ) ，因此，零空间 的方法在实际中的应用十分有限。 上述算法都是建立在训练数据集满足单高斯模型分布的前提下( 由于l d a 要 1 2 拉普拉斯脸的贝叶斯优化算法及其n 维空间扩展 求训练样本集满足单一高斯分布，而且所有的训练集需要拥有不同的均值和同一 方差) ，但是，实际中的训练数据并不满足这一条件，因此，并不能解决非线性 数据集的分类问题。许多学者针对如何把非线性的入脸和相关高维数据集转换成 线性的复合单一高斯模型分布的数据集做了很多相关的研究工作。最近，很多新 的基于自适应聚类的算法 5 】【6 】被提出来，最具有代表性的就是m a n l i z h u 等人 所提出来的( s u b c l a s s e sd i s c r i m i n a n ta n a l y s i s ) ) 【7 】。m a n l i z h u 在她的文章中提到 了用聚类的方法来解决这个问题，即对于一个特定的人的训练样本集，由于它可 能由多个单一的高斯模型混合叠加组成，因此，可以先通过训练样本自身聚类， 将一个复合类自动聚类成一个个子类，这样，每个子类就更能够满足单一高斯模 型分布的假设，进而在每个子类的范畴上进行l d a 的线性分类能够得到很好的效 果。可见，很多基于l d a 等线性分类方法的算法都是通过一系列的预处理过程改 变数据集的分布，从而使它们更加能够满足单一高斯分布的假设，但是，如果数 据样本集满足单一高斯模型分布的条件，l d a 一定能够正确地对数据样本集进行 分类吗? 答案是否定的。 a l e i xm m a r t i n e z 在( ( w h e r ea r et h el i n e a rm e t h o d sa p p l i c a b l e ? 【8 】一文中指 出，即使是对于有些满足单一高斯模型并具有相同方差的数据集，这些线性方法 仍然会失效。他们证明了使用这些线性方法进行分类的结果决定于类间方差s 8 和集内方差昂各自的特征向量角度之间的关系。数学表示为：缈= ，w q ) ， a = ，a ) 是的特征值和特征向量，u = ”，p 和人= 允胪，九脚 分 别为勘的特征向量和特征值，其中q 和p 分别表示& 和曲的秩，其中 z w , a 屹 a ，。 九 扎，定义k = ( c o s o ，j ) 2 = ( 一w f ) 2 ， i = 1j = li = l j = l 其中厂g ，日“表示嵋和之间的角度，如果足 0 ，那么l d a 方法将不能够最 小化相应数据集的贝叶斯误差。最近，他们还利用这种性质来选择p c a 中的特征 向量 9 】。 关于上述观点，图l 给出了l d a 作用于两类数据集的结果。图1 ( a ) 中每一 拉普拉斯脸的贝叶斯优化算法及其n 维空间扩展 类数据的最大方差方向为垂直方向，因而妨的最大特征值所对应的特征向量方 向为垂直方向，而s 开的最大特征值对应的特征向量方向为水平方向，因此，l d a 可以取得很好的降维分类效果。然而，图1 c o ) 展示了一个l d a 所不能够处理的 情况，在这副图中，品的最大特征值所对应的特征向量位于水平方向，而s 日的 最大特征值对应的特征向量方向也为水平方向，因为l d a 最终的判别方向要满 足最大化类间方差，最小化类内方差的条件，而这副图中上述两个方向属于一种 相互垂直的关系，因此，算法很难能够直接判断出最优判别方向，而且，一旦类 内方差的能量大于类间方差的判别能量，最后的判别方向将处于垂直方向，导致 分类结果的严重错误。 1 l i ： 耋 喜 量 l萎 鬯 ； 睾 。 1 一- 禽嘲西嘞寸一确一# 瞎 os o1 0 0i s 0枷瑚05 0 1 0 01 5 0 2 0 02 图l ( a )图1 ( b ) 图1 l d a 作用于三类数据集的结果 上图中，红色虚线表示使类内方差最大的方向，蓝色虚线表示使类间方差最大的方向， 蓝色实线表示l d a 的最终判别方向。图l ( a ) 中，数据集类间方差最大的方向和类内方差最 大的方向垂直，因此l d a 可以找到一个最优的低维辨别方向如图中蓝色实线所示。图l 中，数据集的类间方差最大方向和类内方差最大方向平行，都处于水平方向，所以l d a 的 最终判别方向由类间方差和类内方差的最大特征值决定。此例中为垂直方向，不能很好地 将它们分开。 经过仔细研究和分析本文发现，a l e i xm m a r t i n e z 等人的结论仍然存在着一 些问题。对于有些线性可分的数据集，即使当数据的最大类内方差的方向与最大 类间方差的方向垂直，l d a 仍然不能得到很好的分类效果。图2 给出了一个虚 拟数据集的例子，从图2 中可以看到，图中四个数据集的最大方差方向都位于垂 1 4 拉普拉斯脸的贝叶斯优化算法及其n 维空间扩展 直方向，因此他们的类内方差s w 的最大特征值所对应的特征向量的方向也为垂 直方向，而使它们的类间方差s 8 最大的方向近似为水平方向，二者方向垂直， 因此，按照a l e i xm m a r t i n e z 的理论分析，l d a 能够对此数据集分类得到很好 的效果。然而，l d a 的最终分类结果如图中的红线所示，在此方向上，黄色和 红色的两类数据将会映射到同一个区域，并不能有效地将它们分割开来。因此， 传统的l d a 分类器即使是对于同一方差不同均值的单一高斯分布数据集分类的 时候仍然不能得到令人满意的效果。针对这个问题，杨文新等人引入了通过累积 类对之间的辨别能量来重新定义类间分类散度，经过一系列迭代算法实现了解决 上述四类问题的分类器 1 0 】。 除此之外，o c h a m s i c i 提出了一种基于贝叶斯优化的分类算法 1 l 】，能够很 好的解决以往分类器散度矩阵定义不确切的问题，恰当地解决线性分类算法的分 类误区。这种算法首先对于各个类进行白化处理，当每个子类都变成一个方差为 1 的单高斯模型的时候，这种算法并不像以往一样，通过线性的累加欧式距离的 相关信息来形成散度矩阵，从而通过特征分解的方式进行求解，而是通过引入积 累分布函数来定义一个非线性的散度矩阵，而通过贝叶斯误差来描述两个类之间 的位置关系，具体的思想如图3 所示。 i l l l 詹 i 霉 雩d 。鬻 一 吾 i 髫 肇 05 01 0 01 5 02 0 02 5 0 图2 四类虚拟数据集的例子 1 5 加 卸 俩 俩 f i i o 拉普拉斯脸的贝时斯优化算法及其n 维空间扩展 上图中，数据集的类间方差最大方向如图中蓝色虚线所示，为水平方向。类内方差最 大方向如图中红色虚线所示，为垂直方向，可见此四类虚拟数据集满足a l e i xm m a r t i n e z 等人的条件，但是l d a 还是不能够找到一条合理的分割方向将这几类数据集分割出来，如 图中l d a 的最优判别方向为图中蓝色实线所示。 2 o - 2 - s s 图3 六类虚拟数据集的例子 上图中，左图的六类数据在单一最优维度上的概率分布函数如右图所示，所谓的贝叶 斯最优化问题，即求得一个一维的最优辨别空间使得六类数据集在此空间上彼此之间概率 分布密度函数的重叠区域最小。 不同于上述线性分类算法，有一部分学者把研究的重点放在如何能够在重构 空间依然保持数据集的结构信息上，他们认为通过保持目标空间和原有空间上数 据点之间的结构关系可以达到最大化保留数据的类别信息的目的。这种不同于以 往分类算法的研究方向被大多数人成为流形学习，即m a n i f o l dl e a r n i n g ，顾名思 义，能够保留原有数据集的细微变化的结构信息成为这种方法的首要目的。 t k k i m 等人提出了一种局部线性辨别分析的方法 1 2 1 ，这种方法通过引入局部 线性辨别分析算子来表达局部的流形信息，之后通过引入核空间映射来实现降维 的目的。由于对每个局部线性辨别分析算子进行处理会耗费大量的运算时间，作 者还给出了一种线性近似的算法。 2 0 0 5 年，x f h e 等人提出了一种拉普拉斯脸的流形学习算法 1 3 1 。这种算法 从局部信息变动出发，推导出一个基于拉普拉斯算子的局部流形表征算子，并用 一个线性的方式选择离每个点最近的5 个点作为局部特征范围，以此来建立一个 散度矩阵。这个局部特征散度矩阵的最小的特征值所对应的特征向量能够在目标 1 6 o o o o o o o 拉普拉斯脸的贝卧斯优化算法及其n 维空阊扩展 空间上使得重构的数据依然保持结构特性。其中【1 4 】和【1 5 】两篇文章对于拉普拉 斯脸的许多细节算法进行了阐述。2 0 0 7 年，微软亚洲研究院的d l z h a o 等人提 出了一种最大化类间方差同时保存数据的局部流形信息的方法，称作l a p l a c i a n p c a 1 6 。很可惜的是，这种结合性的方法并不能够平衡两种算法意图上相抵触 的地方，因为保留局部流形信息的同时是不能够在线性空间上最大化类间方差 的；另一方面，该算法并没有很好的理论模型来解决算法有效性和可行性的问题， 单纯的线性特征空间提取的算法虽然能够得到适合的解空间，但是从实验结果上 来看，相比于拉普拉斯脸算法和单纯的p c a 算法，这种l a p l a c i a np c a 方法并不 能给出令人满意的解决方案。 不同于x f h e 的算法，本文重新审视了拉普拉斯脸算法的理论模型，并没 有通过简单的线性模型对拉普拉斯脸目标函数进行近似，而是采用了类似【1 1 】的 贝叶斯算法优化了拉普拉斯脸的目标函数，从而通过迭代求解得到了一维拉普拉 斯脸最优辨别空间。接着，利用空空间映射的方法，通过已知的一维空间循环求 解出n 维解空间。实验结果表明，这种利用贝叶斯优化的拉普拉斯脸算法能够 更大限度地保留局部流形信息，从而使解空间蕴含更多的辨别信息，实现最优的 分类效果，与之前的拉普拉斯脸算法相比，本文所提出的新算法更适用于广义的 流形学习模型。 在接下来的凡个章节中，本文从线性瓣别分析的基础出发，首先，在第二章 中，回顾了以往的几种线性分类方法，包括线性辨别分析，主成份分析，空空间 方法等等，不仅描述了算法的流程，还给出了直观的几何表述来更直观的进行描 述。接下来，在第三章中，本文系统的阐述了流形学习领域的研究重点和类别， 并且提到了最近流形学习领域所涉及到的一些算法，如局部线性辨别分析，拉普 拉斯脸算法等等，通过和第二章基础线性算法的比较能够很清晰地了解该领域的 研究重点；其次在本章中，重新演绎了拉普拉斯脸的贝叶斯优化目标函数，并系 统分析了和以往的拉普拉斯脸算法相比较的异同之处。紧接着，在第四章中本文 引入了一个定理，解决了在一维空间数据集量化信息有序的前提下，此目标函数 解的存在性问题，并且给出了一个梯度下降算法来求得一维目标解空间，并且通 1 7 拉普拉斯脸的贝肿斯优化算法及其n 维空间扩展 过空空间映射的方式将它映射到n 维空间中去。最后，第五章通过在人脸的实 际数据集和一些虚拟数据集上的实验来验证了算法的有效性。 1 8 拉普拉斯脸的贝时斯优化算法及其n 维空间扩展 第2 章线性分类算法 2 1 主成分分析法( p c a ) p r i n c i p l ec o m p o n e n t a n a l y s i s ，也称为主成分分析法，是t u r ka n dp e n t l a n d 在 1 9 9 1 年提出的一种基本的线性分类方法，它假定数据集服从统一的高斯分布， 这样，可以通过最大化所有数据集的类内方差来达到分类的目的。 通常，对于一系列不同的数据点_ ，x 2 ，oo h ，其中誓吼d ，v i ，那么它们的方 差& 可以表示为： s = ( 而一) ( 薯一p ) 7 1 其中表示训练样本的数量，j “表示所有数据样本点的均值，p c a 试图通过 寻找到一组线性变换的标准正交基形吼加，使得所有数据点在低维空间的方差 形7 品形达到最大值，即 = a r g 。m a x i w r s ，i 。 其中形- w , ，w 2 ，) 就是所求的变换向量。 主成份分析法是变换空间整体度量的一种特征抽取算法，它求解得到整体方 法最大化的方向，如图4 所示。它是一种正交变换求解的方法，在训练数据集较 少的时候能够获得很好的效果，在实际的操作中，也通常被用到其他方法中来解 决由于训练样本不足而导致的空空间问题。 1 9 拉普拉斯脸的贝时斯优化算法及其n 维空间扩展 d 霭髓喜 图4 主成份分析法 2 2f i s h e rf a c e s ( l d a ) p c a 只在一个整体范畴上进行考虑，通过线性变换增大各个数据点在低维空 间相互之间的距离，这就导致了在处理一些训练样本较多维度较高的实际数据集 的时候，p c a 不能够取得很好的效果。1 9 9 7 年p e t e rnb e l h u m e u r ，j o a op h e s p a n h a , d a v i djk r i e n g m a n 等人在p c a 的基础上又提出了f i s h e rf a c e s 的人脸 识别方法，它试图最大化类间方差的同时最小化类内方差，不仅使每一类数据点 在低维空间中相互间的距离增大，而且使得同类数据之间的分布更加紧密，从而 在实际应用中取得了很好的效果。 在l d a 方法中，类间方差通常被定义为 拉普拉颠脸的贝叶斯优化算法及其n 维空间扩展 c & = 啊( “一j l l ) ( 肛一p ) r 1 = 1 其中c 表示训练样本的类别数，表示第f 类样本所包含的训练样本个数，“和 p 分别表示第i 类样本的均值和总均值。而类内方差通常定义为 其中# 表示第i 类的第歹个样本，并且# 吼d 。l d a 试图找到一组线性变换形满 足下式条件 = 弼尹a x l 器l 上式可以通过特征分解的方式求解出最优变换向量，如下 s 口= a s w i 其中w = w l ，w 2 ，) 是( 勘) 1 & 进行特征分解后最大的刀个特征值所对应的特 征向量。 线性辨别分析方法通过类内方差和类间方差的共同作用来寻找一个平衡，使 得目标空间上真正实现了数据集的分散。但是，在实际应用中，通常由于训练样 本点不足而导致空空间的问题，这时可以采用d l d a 的方法或者p c a + l d a 的 方法来获得满秩的变换矩阵。 2 1 f 以 一 斟， 一反2 ，；玩c 啦耵2 一一i ) 妇q 】 5 选择v o ，保证v 七，( 1 ，o ) 7 尥( ：，f ) 0 6 计算g ( v ) 对于 ，“的梯度( 1 ，) 哪州莩去唧c 掣慨俐 7 选择适当的步长奄，通过下式不断调整特征商量y 的取值 v 附1 = v 即+ v v g ( v ) 8 ，对特征向量y 舯归化 12 南 9 将特征向量矿“代入目标函数得到g ( v ) ”1 ，与g 和) 4 比较看是否收敛 如果不收敛重复步骤6 。 1 0 如果g ( y ) 收敛，结束迭代，得到k = v 肿1 对于上述算法中，从步骤3 可以看到，k = 1t o ( c 一1 ) ! 2 直接决定着目标解 空间的范围，倘若k 的取值过大，则需要进行梯度求解的空间范围就会过于庞大。 导致算法的效率难以忍受。不过好在通过将数据点影射为均值点能够有效地降低 目标解空间的范围，并且，并不是所有的目标序列都存在能够满足 v k ，( v o ) r 帆( ：，f ) 0 的一维子空间，所以，算法的运行速度还是可以保障的。 另外，在算法的步骤7 中需要选择合适的步长进行迭代梯度求解，由于在固 定排列顺序的目标空间上，解的唯一性已经证明，因此，步长的选取并不是一件 棘手的问题，通常在实验中取o 0 1 就能得到很好的收敛效果，过大或者过小有 时会导致收敛过慢或者不断震荡的情况。这时候只需要适当调整步长就可以解决 问题。 4 2 拉普拉斯脸的贝卧斯优化算法及其n 维空闻扩展 4 3 基于空空间的多维度求解算法 在上一小节中，本文给出了拉普拉斯脸算法的一维贝叶斯最优解的求解方 法，在这节中，将给出一个从一维空间扩展到n 维空间的扩展算法。这样可以将 一维的线性子空间