KL变换与主成分分析

主成分分析是多元统计分析中用来分析数据的一种方法。这是一种通过用少量特征描述样本来降低特征空间维数的方法。它的本质实际上是K-L变换。主成分分析法最著名的应用应该是人脸识别中的特征提取和数据维。我们知道，如果我们输入一幅200*200的人脸图像，只提取其灰度值作为原始特征，原始特征将达到40000维，这将给后面的分类器带来很大的困难。众所周知的特征脸算法使用主成分分析算法在低维子空间中描述人脸图像，同时保存识别所需的信息。下面，首先介绍下主元分析算法的基本K- L变换。1.最佳正交变换一种常见的特征提取方法：最小均方误差意义下的最佳正交变换：它在消除模式特征之间的相关性和突出差异方面具有最好的效果。离散K-L变换：矢量x(可以想象为m维=宽*高的人脸图像的原始特征)用确定的完全正交归一化矢量系统uj扩展：我认为这个公式的起源应该是任何n维欧洲空间V都有正交基，它可以由施密特正交化过程来构造。现在我们要用d有限项来估计向量x，公式如下：估计的均方误差计算如下：为了最小化均方误差，我们使用Langrange乘数法来求解：因此，当满足上述公式时，获取最小值。也就是说，当相关矩阵R的D特征向量(对应于D特征值从大到小的排列)被用作扩展向量X的基向量时，其均方误差最小，即：因此，K-L变换的定义是，当矩阵R的D个最大特征值对应的特征向量展开X时，截断均方误差最小。由这些特征向量组成的正交坐标系称为X所在的D-D空间的D-D K-L变换坐标系，X在K-L坐标系上的展开系数向量Y称为X的K-L变换总之，K-L变换的方法是将相关矩阵R的特征值从大到小排队。那么具有最小均方误差的x大约是：矩阵形式：上述公式的两边乘以u的换位得到向量Y是变换(降维)后的系数向量。在特征脸算法中，用系数向量Y代替原始特征向量X进行人脸识别。接下来，让我们看看相关矩阵R是什么样子的。因此，我们可以看到相关矩阵R是一个实对称矩阵(或严格地称为正规矩阵)。正规矩阵的特征是什么？研究过矩阵分析的朋友应该知道：如果矩阵R是实对称矩阵，那么一定有一个正交矩阵U，使R类似于对角矩阵，即：因此，我们可以得出这样一个结论：降维系数向量y的相关矩阵是对角矩阵，即通过K-L变换消除原始向量x的分量之间的相关性，从而可以去除那些具有较少信息的分量，以达到降维特征的目的。2.主成分分析主成分分析(PCA)的原理是通过一个特殊的特征向量矩阵U将一个高维向量X投影到一个低维向量空间，特征向量矩阵U被表征为一个低维向量Y，只丢失一些次要信息。换句话说，原始的高维向量基本上可以通过低维表示向量和特征向量矩阵来重建。在人脸识别中，特征向量矩阵U被称为特征人脸空间，因此在特征向量ui被量化之后可以看到人脸轮廓，这可以在下面的实验中看到。以人脸识别为例，说明了主成分分析的应用。有n个人脸训练样本，每个样本由它的像素灰度值构成一个向量xi，那么样本图像的像素个数就是xi维数，M=宽*高，向量构成的训练样本集是。该样本集的平均向量为：平均向量也称为平均脸。样本集的协方差矩阵为：cova的特征向量ui由这些特征向量组成的矩阵U是人脸空间的正交基。利用它们的线性组合，可以重建样本中的任何人脸图像。(如果有些朋友不太明白这句话的意思，请参阅下面的总结2。)并且图像信息集中在具有大特征值的特征向量中，即使丢弃具有小特征值的向量，图像质量也不会受到影响。协方差矩阵的特征值从大到小排序：大于这对应的特征向量构成主成分，由主成分构成的变换矩阵为：这样，每个人脸图像都可以投影到在特征脸子空间中，u的维数是多维的。通过这样的降维子空间，任何人脸图像都可以投影到它上面。即获得一组坐标系数，即低维向量Y和维数d1，它们被称为KL分解系数。这组系数表示图像在子空间中的位置，可以用作人脸识别的基础。一些朋友可能不太理解它。在第一部分，当我们讨论K-L变换时，我们寻求相关矩阵。如何在这里找到协方差矩阵？事实上，协方差矩阵也是：如你所见，事实上相关矩阵R通过替换X来获得，这相当于从原始样本向量中减去平均向量，并且基本上是相同的。协方差矩阵也是一个实对称矩阵。总之：1.在人脸识别过程中，计算输入测试样本X与平均人脸的偏差那么特征面部空间U中的投影可以表示为系数向量Y:u的维数是Md，的维数是M1，Y的维数是d1。如果m是200*200=40000维和200