KL变换与主成分分析报告

1、主成分分析（PCA是多元统计分析中用来分析数据的一种方法，它是用一种较少数 量的特征对样本进行描述以达到降低特征空间维数的 方法，它的本质实际上是 K-L变换。PCA方法最著名的应用应该是在人 脸识别中特征提取及数据维，我们知 道输入200*200大小的人脸图像， 单单提取它的灰度值作为原始特征，则这个原始特征将达到40000维,这给后面分类器的处理将带来极大的难度。著名的人脸识别Eigenface 算法就是采用PCA算法，用一个低维子空间描述人脸图像，同时用保存了识别所需要的信息。下面先介绍下PCA算法的本质K- L变换。1、K-L变换（卡洛南-洛伊（Karhunen-Loeve）变换）：最

2、优正交变换? 一种常用的特征提取方法；?最小均方误差意义下的最优正交变换；?在消除模式特征之间的相关性、突出差异性方面有最优的效果。离散K-L变换：对向量x （可以想象成 M维二width*height的人脸图像原始特征）用确定的完备正交归一向量系Uj展开：尸i这个公式由来我想应该是任一 n维欧式空间V均存在正交基，利用施密特正交化过程即可构建这个正交基。现在我们希望用d个有限项来估计向量x,公式如下：计算该估计的均方误差如下:aV 严#41/ I f=d+ljanE Zj；-d+l令） 0=£WRUj要使用均方误差最小，我们采用 Langrange乘子法进行求解:x(uJ = &#

3、163;叫 Ru訂-(ng - ) 卄 Lif+对11厂丿=d + h气g求导数，得因此，当满足上式时，工叮叫勺J+I取得最小值。即相关矩阵R的d个特征向量（对应d个特征值从大到小排列）为基向 量来展开向量x时，其均方误差最小，为:00"+ 因此，K-L变换定义：当取矩阵R的d个最大特征值对应的特征向量来 展开x时，其截断均方误差最小。这d个特征向量组成的正交坐标系称 作x所在的D维空间的d维K-L变换坐标系，x在K-L坐标系上的展 开系数向量y称作x的K-L变换。总结下，K-L变换的方法：对相关矩阵R的特征值由大到小进行排队,恥松2恥仏山则均方误差最小 的x近似于：T-x = 叫J

4、=l矩阵形式：x = Uyf'U =（坷心*"）.“是矩阵x *x'Jd个最大特征位对丿上式两边乘以U的转置，得y = uK丄变换向量y就是变换（降维）后的系数向量，在人脸识别Eigenface算法中就是用系数向量y代替原始特征向量x进行识别。F面，我们来看看相关矩阵 R到底是什么样子E（西对E（旺£）Ex2 fEx? £）t * 9E（兀诂）E（兀F）因此，我们可以看出相关矩阵R是一个实对称矩阵（或者严谨的讲叫正规矩阵），正规矩阵有什么特点呢？学过矩阵分析的朋友应该知道：若矩阵R是一个实对称矩阵，则必定存在正交矩阵 U,使得R相似于对角形矩阵，即

5、：广儿0'IP RU二: :,其|= （%吩川）宀，"是单位向耳无丿并且知皿是J? = E（玉巧的特征向量.入,乙是7? = E（x*x7）因此，我们可以得出这样一个结论：E yy，=云 U xx7 /= UfRU = A降维后的系数向量y的相关矩阵是对角矩阵，即通过K-L变换消除原 有向量x的各分量间的相关性，从而有可能去掉那些带有较少信息的分 量以达到降低特征维数的目的。2、主成分分析（PCA）主成分分析（PCA的原理就是将一个高维向量 X,通过一个特殊的特征 向量矩阵U投影到一个低维的向量空间中，表征为一个低维向量 y， 并且仅仅损失了一些次要信息。 也就是说，通过低维

6、表征的向量和特征 向量矩阵，可以基本重构出所对应的原始高维向量。在人脸识别中，特征向量矩阵 U称为特征脸（eigenface ）空间，因此 其中的特征向量Ui进行量化后可以看出人脸轮廓，在下面的实验中可以 看出。以人脸识别为例，说明下 PCA的应用。设有N个人脸训练样本，每个样本由其像素灰度值组成一个向量Xi，则样本图像的像素点数即为Xi的维数，M二width*height ，由向量构成的训练样本集为该样本集的平均向量为:- I &x => x.平均向量又叫平均脸。样本集的协方差矩阵为:求出协方差矩阵的特征向量 Ui和对应的特征值，这些特征向量组成的矩阵 U就是人脸空间的正交基底

7、，用它们的线性 组合可以重构出样本中任意的人脸图像，（如果有朋友不太理解这句话的意思，请看下面的总结2。）并且图像信息集中在特征值大的特征向 量中，即使丢弃特征值小的向量也不会影响图像质量。将协方差矩阵的特征值按大到小排序：。由大于的对应的特征向量构成主成分，主成分构成的变换矩阵为：U =（绚r就防J乞）这样每一幅人脸图像都可以投影到U = （i/j, - -,）构成的特征脸子空间中，U的维数为Mkd有了这样一个降维的子空间， 任何一幅人脸图像都可以向其作投影y = I/1 x，即并获得一组坐标系数，即低维向量 y，维数dXl,为称为KL分解系 数。这组系数表明了图像在子空间的位置， 从而可以作为人脸识别的依 据。有朋友可能不太理解，第一部分讲K-L变换的时候，求的是相关矩阵RE (x *x1 )的特征向量和特征值，这里怎么求的是协方差矩阵工=+丈(叫-匚)仪-“其实协方差矩阵也是:，可以看出其实用代替x就成了相关矩阵R,相当于原始样本向量都减去个平均向量, 实质上还是一样的，协方差矩阵也是实对称矩阵。总结下：1、在人脸识别过程中，对输入的一个测试样本x，求出它与平均脸的偏 差X K，则在特征脸空间U的投影，可以表示为系数向量y:U的维数为Mkd,的维数为MK1, y的维数dXl。若M为