主成分分析PCA原理及应用

且％T且％TU,XPCA原理及应用1PCA原理已知n维空间的随机向量用。（伊ER"）:表示，将夕.进行零均值处理，X=KP）,则E（x）=0。如果对x用一组完备正交基"f2,…，，展开，可得：x=Va.(1.1)J」(1.1)/=1假设只用前k项进行重构，则Jt(1.2)X*=£印多(1.2)B—1其均方误差为因为S=8[(X—X「ec)T(X-%)](1.3)其均方误差为因为(1.4)=iu=iuicwj(1-5)&=ExxTufj=k+l其中C=E\xxf\=e［（伊-£［。］）（。-E［q］）t是乂和伊的总体协方差矩阵。为了使重构的均方误差最小，并满足正交条件（（1.4）式的约束，采用拉格朗日乘子法，将函数

JI ■J（"j）=XU!Cuj~£“j（H："jT）J” 尸E （1.6对"j（，=A+1,…，刀）求导，得（C一4，）结二0,户杜1,…，n（1.7）令k=i,此时U]7 *,•，uw为总体协方差矩阵C的本征向量，兀久….人分别是它们对应的本征值，这些本征向量经过正如处理域张成的空间称为本征空间。将本征向量以1， 射2, J'， //口按照它们的本征值进行降序排列人2&2…竖2，则得到结论："对于任一随机变量x，如果采用总体协方差矩阵C的前k个最大非0本征值所对应的本征向量作为坐标轴展开，可在相等截断长度下获得所有正交展开中最小的截断均方误差rrf-=?ATnunJ♦j」=A+1 E）上述变换称为KL展开，可用于任意随机变量。2PCA应用于人脸识别的原理假设训练图像按行排成长度为N的向量1M"3切「]T「2， 「M，其均值向量1M"3切则每个图像相对于均值图像的差为0>i=I"一中0=1,2,…，的。令矩阵 ①2，…，①m]，则散布矩阵K可以表示为:1MZ-A41三…京闽

归余 （1.9）求出己的本征值了Ik和本征向量“k。由于"k看起来象一张人脸，因此"k常称作本征图2.1ORL人脸库中的本征脸图像由于、是NXN大小的矩阵，而且n的值较大，一般远大于训练样本的个数m，因此为了降低计算量，通常不直接求£的本征向量"k，而是先计算大小为MXM的矩阵：A^A的本征向量，根据代数理论，有1』uk^—r^AvkJ片 （1」0）对于这些相互正交的本征向量，根据其对应的本征值的大小按照从大到小的顺序进

行排列，取前面个本征向量作为基向量建立本征脸空间S,用公式(1.11)计算出所有训练图像在本征脸空间S的投影系数Qi=(51，02，…，G]j),7=1,2,…，M：叫L中…MS1,2,…,J)(1.11)其中“<>”表示内积。对于任一待识别的图像，用同样的方法求出其投影系数Q=(系数Q=(3】，^2,7f),臼2,…，W)，则满足下列条件的第个训练图像即为识别结果。=argmin(1.12)j=1,2/,5/(1.12)2.1PCA方法的性能评价PCA具有如下优点：最小均方误差一可以证明，PcA是在均方误差最小意义下的最优正交分解方法，因此用PcA进行信号压缩能够得到最大的信噪比。降维一由于基函数的个数往往远小于信号的维数，因此PCA变换能够大大降低数据的表示维数。这对模式识别中的特征提取非常有利。消除冗余一在基函数上的投影系数彼此之间是不相关的，(1.13)即:曷((x—m)W)((x—m》％)}(1.13)(4)分解函数/合成函数相同一分解函数(AnalysisFunction)作用于输入信号，得到信号的编码;合成函数((SynthesisFunction)作用于信号的编码，得到原始信号。如果图像的分解和合成采用线性模型，则分解函数仍i和合成函数。•是和输入信号具有相同维数的向量，它们可以表示为： 1(1.14)PCA方法实现简单，它将N维空间的图像数据变成了(1.14)PCA方法实现简单，它将N维空间的图像数据变成了J维的投影系数，由*»J因此，PCA方法有很强的数据压缩能力，而且、这种压缩是最优的，因为它不仅使得从N维空间降到J维空间后的均方误差最小，而且在变换后的低维空间有很好的人脸表达能力。2.2PCA系数获取2.2.1数据归一化在进行PCA处理之前，对小波变换后的数据进行了归一化，使其均值为0,而方差为1。采用的归一化公式为：n—P PmeanAt_(1.15)Pmean是久d(1.15)Pmean是其中P是输入的RXQ矩阵，Pn是归一化后的RXQ矩阵，RX］的均值向量，Z^std是RX1的方差向量。2.2.2PCA系数获取根据主成分分析方法，计算训练样本的协方差矩阵S的特征值：（如如…,品），其中花鬲’伊U,2假设期望模型包含的能量为伐，则取前t个特征值，满足Z儿 （3.16）由于与较大特征值-i对应的特征向量Ui集中了较多的能量，表达了较重要的形状模式的变化因此取与（Ap T，&）相对应的特征向量并将其正定化，记U=（M1，"2，叫），ut），从而张成了整个样本空间。对ORL人脸数据库中的第3个人选5幅图像根据公式（1.16）进行计算，得到本征值能量比例曲线如图2.2所示。TOC\o"1-5"\h\zEnergyRatioCurveofEigenvalues0-7 j— 1 I | \ I i0.6-I -05- -04- -03- -0.2&- -□2- -D16- toi-y -005-||jIII__I1% 10 20图2.2本征值的能量曲线 70 ' '其中横轴坐标是本征值的序号，纵坐标为相应本征值在总能量中所占的比例，可以看出，总体能量集中在前面较少的维数中，信息能量集中紧凑，因此，选择前25个PCA系数作为特征向量进行识别。利用PCA方法得到ORL人脸库中第三人的重构图像如图1.3所示。用较大的25个向量完全可以把图像重新构建出来，这表明用25个向量可以表示一幅图像。图2.3PCA重构图像直接利用本征脸方法在ORL人脸库上进行识别，用每人5幅图像（共40X5=200幅）做训练集，5幅图像（共40X5=200幅）做测试集，采用欧氏距离分类器进行判别，正确识别129幅，识别错误71幅，识别率为64.5%。用PCA方法采用和本征脸相同的方法正确识别171幅，错误识别29幅，得到85.5%的正确识别率。用PCA方法提取特征，利用BP神经元网络作为分类器进行识别，正确识别183幅图像，错误识别27幅图像，得到90.S%的正确识别率。识别结果如表1