半监督判别分析

半监督判别分析摘要线性判别分析（LDA）已经成为特征提取的常用方法，此方法可保存类可分性。通常投影向量通过最大化类间协方差，同时最大限度地减少类内协方差的方式获得的。在实践中，当没有足够的训练样本，每个类的协方差矩阵的估计可能不准确。在本文中，我们提出了一种新的方法，称为半监督判别分析（SDA）,这种方法既使用的标记样本有使用未标记的样本。标记的数据点是用来最大化不同类别之间的可分性，而未标记的数据点用来估计数据的内在的几何结构。具体来说,我们的目标是学习的一个判别函数，使其尽可能平稳地表示数据流形。单训练图像的人脸识别和相关反馈图像检索的实验结果可以证明我们算法的有效性。介绍在许多可视化分析应用中，如图像检索、人脸识别等，它们都会遭遇高维数据的问题。然而，有理由怀疑，自然产生的高维数据可能驻留在一个低维流形。这导致我们去考虑降维方法，这种方法允许高维数据代表一个较低维空间中的数据。要达到此目的，有两个最流行的方法，分别是是主成分分析（PCA）和线性判别分析（LDA）。主成分分析法是一种无监督的方法。该方法是通过将原来的N维数据投影到高维的线性子空间的方式来实现降维，而线性子空间通过数据的协方差矩阵的主要特征向量来跨越。它的目标是找到一组相互正交的基函数，用于捕获数据中最大方差的方向，因此，成对的欧氏距离可以最好地保存。如果数据被嵌入在一个线性子空间，主成分分析可以保证挖掘出子空间的维数，并产生一个简洁的表示。LDA是一种有监督的方法。它搜索项目轴，在该轴上，不同类别的数据点相距很远，同时要求同一类的数据点彼此接近。当标签信息可获得时，例如，用于分类任务,LDA可以实现的性能优于PCA。然而，当相对于维度数量没有足够的训练样本的时，每个类的协方差矩阵的估计可能不准确。在这种情况下，测试样品的泛化能力不能得到保证。一个可行的解决方案可以应对培训（标记）样本不足的情况，该方法既学习标记得数据又未标记的数据（半监督和直推式学习）。这种方法既时自然的也是合理的，因为在现实中，我们通常只有一部分的输入数据被标记，以及大量的未标记的数据。在过去的几十年中，半监督学习（或直推式学习）吸引了越来越多的关注。两个众所周知的算法分别是直推式支持向量机（TSVM）和协同训练。最近，基于半监督学习算法的图像分析有相当大的兴趣和成功，这种方法考虑将所有的样本的图形作为前提来指导决策。所有这些算法考虑的都是分类问题，要么直推法，要么归纳法。在本文中，我们的目标是在半监督的情况下的降维。我们提出了一种半监督降维算法，称为半监督判别分析（SDA）。SDA的目的是找到一个投影，这个投影代表从标记的数据点中推断出的判别结构，以及代表从标记和未标记的数据点中推断出的固有的几何结构。具体而言，这些结合未标记的数据点标记的数据点，被用于建立一个包含数据集邻域信息的图。该图提供了一个相对于数据流形局部几何的离散的近似值。利用拉普拉斯图的概念，图上的一个平滑可以纳入目标函数。这样，我们的SDA算法可以优化保留流形结构。本文的其余部分组织如下。在第2节中，我们提供LDA简要回顾。在第三部分中，我们介绍我们的半监督判别分析（SDA）的降维算法。在第4节，称述实验结果。最后在第5节，我们总结本文，并为今后的工作提供建议。LDA的图视角线性判别分析（LDA）寻求某种方向，再次方向上的不同类别的数据点相距很远，同时要求同一类的数据点彼此接近。假设我们有一组L样本XXXRn，属于C类。LDA的目标1,2,l

函数如下：函数如下：aTSaa二argmaxb-optaaTSaW，(1)，（2）S=才lC(k)_卩人^)一，（2）k=1=1l任C)-4)X(k)-4))iiTOC\o"1-5"\h\zk=1Ji=1丿,(3)卩l卩«）x（）ki其中，是总样本的均值向量，是k类样本数，是第k个类的平均向量，是SS在第k个类的第i个样本。我们称w为类内散布矩阵，称b为类间散布矩阵。S=21（X-卩）（-卩》S=S+S确定的总散射矩阵ti=1ii,我们有twb，那么公式（1）中的线性判别分析的目标函数就等于，（4）aTSaa=argmaxioptaaTSa，（4）t最佳的a是与本征问题的非零特征值对应的特征向量:Sa二九Sabt，（5）Sb由于的阶是由CT限制，所以最多的有CT个非零特征值对应的特征向量。卩=01无一般性损失，我们假设。我们有bkkbkk=1=21=211丄ILx(k)k(iik=1ki=1k=1让数据矩阵X=LG,...,X（）］并且定义一个1x1的矩阵J为其中，W财是一个i让数据矩阵X=LG,...,X（）］并且定义一个1x1的矩阵J为_W(1)0...0"w=lxl0w(2)...0(6)_00...W(c)_我们有s=£xawa)Q=xwxt(7)blxlk=1因此，在方程式(4)中线性判别分析的目标函数可以改写为aTSaaTxwxTaa=argmaxi=argmax阳(8)optaaTSaaaTxxTatLDA目标函数的公式将对发展我们的算法是非常有帮助的。他第一次被介绍在14半监督判别分析LDA考虑者正寻求完全基于训练集的最优预测。在现实中，获得一个大规模未标记的数据集是有可能的。在这部分中，我们试图扩展LDA模型去涵盖由未标记的数据表示的流形结构。3.1.目标函数LDA的目的是找到一个投影向量a，以至于aTSa和aTSa之间的比例最大化。当没有足够bt的训练样本时，过拟合将发生。一个防止过拟合的E典型方法来是加强规范化。LDA的规范化版本的优化问题可以写成如下：maxaamaxaaTSa

aTS+aJ(a)t9)其中，J(a)控制假设群的学习复杂度，而系数a控制模型复杂度与实验误差之间的平衡。一个最流行的正则化是Tiknonov正则化［21］J(a)=|^|2带有Tikhonov正则化的LDA模型通常被称为正则化判别分析(RDA)［8］。正则化项J(a)为我们提供了一定的灵活性，帮助我们吸收特定应用的先验知识。当可获得一组未标记样本时，我们的目标是建立一个结合的流形结构的JC)。半监督学习算法的关键是一致性的先验假设。对于分类，它意味着附近的点有可能有相同的标签［26］。对于降维，它可以解释为附近的点将有类似的嵌入(低维表示)。给出一组例子＜h，我们可以ii=1用一个p最邻近的图G模拟附近的数据点之间的关系。具体来说，如果xi和xj是“关闭”我们在节点i和j之间设置一个界限，换言之，xi和xj是近邻之间的相互。让相应的权重矩阵为S,定义为「1,ifxeN(xIrxeN(x)S=<iPjjPi(10)ij10,otherwise其中，N(x)表示P最近邻的集合。在一般情况下，映射函数在图上应该是尽可能光滑的。pi具体来说，如果两个数据点是由一个边缘连接的，它们很可能是在同一个类中的。此外，那些与子图紧密联系的子图可能有相同的(标签。因此，)一个自然的正交化矩阵可以定义如下J0=1(itx-aTx)S(11)ijijij这一公式由光谱数据降维［2，13］引出，它也在谱聚类算法［17］和多种的基于半监督学习算法［3，6，20］图表中起着关键的作用。让X=lx,xx］，我们有12J(a)=Z(aTx-aTx)2Sijij=2工aTxDxTa-aTxSxTaiiiiiijj=2aTX(D-S)XTa=2aTXLXTa其中，D是一个对角矩阵；其条目是S的列(或行，因为S是对称的)的总和，D=工S，iijijL=D-S是拉普拉斯矩阵［7］这个数据依赖于的正规化矩阵，我们得到半监督判别分析的目标函数aTSamax一(b)(12)aaT^S+aXlXt丿at最大化目标函数的的投影向量a由解决广义特征值问题的最大特征值求得:Sa=X+aXLXt丿a（13）bt3.2算法给定一个属于c类的标记集€y力和一个为标记集(x}m。第k类有1个样品,i,ii=1ii=l+1k工cl二l。不失一般性，我们假设在・…,x^中的数据点根据自己的标签来排序。k=1ki,1半监督判别分析的算法程序如下：1•构造邻接图：构建P的近邻图矩阵S,正如公式(10)所示，计算该图的拉普拉斯矩阵L=DS.2•构建标记图：为标记图构建权重矩阵X-E，如下:W1x100其中，性1W辰m矩阵就是在公式6中所定义的，即定义

其中，丨是大小为lXl的恒等矩阵3.本征问题：计算广义特征向量问题的特征向量以及对应的非零特征值。（〜\XWXTa=XX+aLXtq,（14）k1丿其中，X二Lxx...x]1,l,l+1,m检查W是否是C级是很简单的，我们将将计算C的特征向量以及相对应的非零特征值］。我们用a...a来表示。1,c4.SDA的嵌入：让A二Laa1A是一个nxc的变换矩阵。通过XtZ二ATX,1,2,c样品可以嵌入到C维子空间。让X=Lx〕表示标记数据矩阵。易得，XWXt二XWXt二S以及1,lllxllbX〜Xt=XXt=SIllt因此，公式14中的特征问题和公式13中的特征问题一样。（〜）为了得到一个稳定解决公式14中的本征问题的方案、矩阵X/+aLIXt必须是非奇异的,当特征数大于样本数时，该矩阵不正确。在次问题中，我们可以应用吉洪诺夫正则化思想作为正则化判别分析的方法。因此，我们的广义特征问题出现了：XWXta二XWXta二九（（~）x+alTXt+pIa（15）kkI丿丿（对于B>0,矩阵X_+alXt+pI肯定是非奇异。我们也可以使用光谱谱回归技术来kI丿丿解决这个奇异性问题，请参阅［5］。3.3核心半监督判别分析算法上面描述的算法是一个线性方法。当数据流形具有高度非线性时，它可能无法发现内在的几何结构。在这一部分，我们将讨论如何用（RKHS）执行SDA算法，该算法对SDA有很大的提升。这里所使用的方法基本上与13相似。我们认为，功能空间F中的问题是由一些非线性映射引起。选择合适的内积0，它可以在F上定义，F创造一个所谓的再生核