PCA算法详解.docx

主成分分析法主成分分析（Principal Component Analysis，简称PCA）方法是目前应用很广泛的一种代数特征提取方法，可以说是常用的一种基于变量协方差矩阵对样本中的信息进行处理、压缩和抽提的有效方法，主要通过K-L（Karhunen-Loeve）变换展开式从人脸数据库中提取人脸的主要特征 DDD，构成特征脸空间，在识别时将待测试的人脸图像投影到特征脸空间，得到一组投影系数，与数据库中各个人脸图像进行比对识别。这种方法保留了原向量在与其协方差矩阵最大特征值相对应的特征向量方向上的投影，即主分量(Principal Components)，因此被称为主成分分析。由于PCA方法在进行降维处理和人脸特征提取方面的有效性，在人脸识别领域得到了广泛的应用。它的核心思想是：利用较少数据的特征对样本进行描述以达到降低特征空间维数的目的，根据样本点在多维空间的位置分布，以样本点在空间中变化最大方向，即方差最大方向，作为差别矢量来实现数据的特征提取。利用K-L变换抽取人脸的主要成分，利用特征脸法进行人脸识别的过程由训练阶段和识别阶段两个阶段组成。3.1.1 K-L变换概述 K-L变换是Karhunen-Loeve变换的简称，是一种特殊的正交变换。它是建立在统计特性基础上的一种变换，它的突出优点是它能去相关性，而且是均方误差(Mean Square Error，MSE)意义下的最佳变换。K-L变换的基本思想是在一个新的特征空间中将样本数据沿其特征矢量用对齐的方式进行旋转变换。这个变换有效地克服了样本数据向量间的相关性，从而去除那些只带有较少信息的数据以达到降低特征空间维数的目的。经过以上K-L变换得到的特征是原图像向量的正交分解，其图像信息的总能量不变，不损失任何信息。在这个互相正交、可测量的特征空间中进行图像的特征提取可以有效地利用图像之间的差异，提取有效信息。K-L特征空间中，较大特征值所对应的特征向量体现原图像的总体趋势以及低频分量，较小特征值所对应特征向量体现原图像的细节变化以及高频分量所以人们用PCA法提取图像总体特征，其目的是用较少数量的特征对样本进行描述，同时又能保留所需要的识别信息。在人脸图像上的表现就是人脸的外形轮廓和灰度变化，以此作为人脸特征。对于随机向量X，它的均值向量及协方差矩阵定义为： (3-1)X是n维的向量， 是nn阶矩阵。的元素是总体向量中X向量的第i个分量的方差，的元素是向量元素和的协方差。并且矩阵是实对称的。如果元素和无关，则它们的协方差为零，则有=0。对于从随机总体中取样的k个向量，均值向量可以通过样本估计： (3-2)协方差矩阵可通过样本进行估计，如式(3-3)所示：= （3.1-3）K-L变换定义了一正交变换A，将X的向量映射到用Y代表的向量，并且使Y向量中各分量间不相关： （3-4）则随机向量Y协方差矩阵应为对角矩阵： = （3-5）其中，为向量Y的均值向量。因有，这相当于对对角化，K-L变换将A的每一行取为的特征向量，并且将这些特征向量按对应的特征值大小进行降序排序，使最大特征值对应的特征向量在A的第一行，而最小特征值对应的特征向量在A的最后一行。并且因为实对称的，因此总能找到n个标准正交特征向量组成A。经过A变换后，因Y各分量不相关，相当于对X去相关操作。并且根据矩阵理论，对角线处，也正是的特征值，同样也是的特征值，也就是说与有相同特征值，并且它们的特征向量也相同。K-L变换不仅能去相关，而且能简单的由Y恢复X。因为A的各行是正交向量，则有=，任何向量X能够通过相应的Y利用下式恢复： （3-6）若选择的最大K个特征值对应的K个特征向量，组成kn的转换矩阵,则变换后Y降为K维的，则由Y对X的恢复公式如下： （3-7）X与间的均方误差可以由下式表示：=-= （3-8）如果k=n(即所有特征向量用于变换)，则误差为零。因为递减，并且式(3-8) 也表明可以通过选择k个具有最大特征值的特征向量来降低误差。因此，从可以将向量X和它的近似值之间的均方误差降至最小这方面来说，K-L变换是最佳变换。并且由于使用最大特征值对应的特征向量，所以又称为主成分分析(PCA)。3.1.2 主成分分析(PCA)特征提取方法在二十世纪九十年代初，Kirby和Sirovich开始讨论利用PCA技术进行人脸图像的最优表示问题。并且由MTurk和APentland将此技术用于人脸识别中，并称为特征脸方法。MTurk和APentland将mn的人脸图像，重新排列为m维的列向量。则所有的训练图像经此变换后得到一组列向量：，i=1,，N，其中N代表训练样本集中图像的个数。将图像看成一随机列向量，并通过训练样本对其均值向量和协方差矩阵进行估计。均值向量通过下式估计： （3-9）协方差矩阵通过下式估计：（3-10）则将投影变换矩阵A取为的前k个最大特征值对应的特征向量。利用以下变换式对原图像进行去相关并降维： （3-11）因是通过N个训练样本计算出的，虽然是维的矩阵，但是其秩最大为N-1，即只有N-1个非零特征值。按照K-L变换中，在均方误差意义下，去掉零特征值对应的特征向量不会影响对向量x的重构。所以A最大只需取前N一1个非零特征值对应的特征向量，即k最大只需为N-1，就能通过y在均方意义下对x完全重构。MTurk和APentland将通过对的特征向量进行还原为图像矩阵后，发现竟然是一张标准化的人脸。因此指出进行PCA的本质就是将每幅人脸通过标准人脸的线性叠加来近似。并将这些线性表示系数作为人脸的特征，利用这些特征对其进行分类。MTurk和APentland将这些对应于每个特征向量的标准人脸称为特征脸(Eigenface)，并将这种利用PCA技术进行人脸分类的方法称为特征脸法。PCA算法具体步骤如下：1将mn的训练图像重新排列为mn维的列向量，如图像矩阵为 ，则排列后的列向量为。计算均值向量，并利用均值向量将所有样本中心化。2利用中心化后的样本向量，根据式(3-10)计算其协方差矩阵；对其特征值分解，并将特征向量按其对应的特征值大小进行降序排列。3选取第2步所得的kN-1个最大特征值对应的特征向量组成投影矩阵A，将每幅已中心化的训练图像(，)向矩阵A投影，得到每幅训练图像的降维表示(,)。4对测试图像中心化，并投影到矩阵A，得到测试图像的降维表示。5选择合适的分类器，对测试图像进行分类。在人脸识别中，将图像重排为列向量，维数较高。例如若处理的图像数据为11292，变为列向量则为11992=10304维，则为1030410304矩阵。往往难于直接计算协方差矩阵的特征值及特征向量。下面介绍间接求解方法：因 (X=()，