主成分分析-从一维到多维课件

1、报告人： 赵才荣博士后 主成分分析（PCA） 从一维到多维引言提纲主成分分析（PCA）二维主成分分析（2DPCA）总结多维主成分分析（MPCA）基因数据引言：高维数据人脸图像数据数字手写体数据其他数据降维从3维到2维?高维数据的降维技术如何挖掘高维数据中隐藏的知识高维数据内蕴知识线性鉴别分析（LDA）流形学习（ML）主成分分析（PCA）主成分分析（PCA）1 L. Sirovich and M. Kirby, “Low-Dimensional Procedure for Characterization of Human Faces,” J. Optical Soc. Am., vol. 4,

2、 pp. 519-524, 1987.2 M. Kirby and L. Sirovich, “Application of the KL Procedure for the Characterization of Human Faces,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 12, no. 1, pp. 103-108, Jan. 1990.3 M. Turk and A. Pentland, “Eigenfaces for Recognition,” J. Cognitive Neuroscience,

3、vol. 3, no. 1, pp. 71-86, 1991.参考文献 均值 方差标准差假设有n个D维的样本： ，则： 基本数学概念协方差矩阵/散布矩阵 协方差矩阵的主对角线上的元素是各个维度上的方差(即能量)，其他元素是两两维度间的协方差(即相关性)。主成分分析目标:寻找最能够代表原始数据分布特性的投影方向。散布矩阵：PCA目标函数：To find that maximizes subject toLet be a Lagrange multiplieris an eigenvector of Scorresponding to the largest eigenvaluetherefore

4、主成分分析计算机理To find the next coefficient vector maximizing then let and be Lagrange multipliers, and maximizesubject toand toFirst note that uncorrelated主成分分析计算机理We find that is also an eigenvector of S whose eigenvalue is the second largest. In general The kth largest eigenvalue of S is the variance o

5、f the kth PC.主成分分析计算机理 重构误差:结论1、求重构误差最小的投影方向等价于求散度最大的投影方向主成分分析:寻找在最小均方误差意义下最能够代表原始数据的投影方向。结论2、主成分分析的本质就是对角化协方差矩阵最大散度：1、降噪，消除维度间的相关性，恢复主要维度应有能量2、去冗余，即去掉多余维度，压缩数据中包含的信息。主成分分析的物理意义PCA主成分分析的几何解释：平移、旋转坐标轴平移、旋转坐标轴的目的是使样本数据在主轴方向的离散程度最大，且不同轴之间具有不相关性。 x y示例%matlab codeD=load(pca.txt);var_x=sum(D(:,1)-mean(D(

6、:,1).2)/(length(D(:,1)-1);var_y=sum(D(:,2)-mean(D(:,2).2)/(length(D(:,2)-1);cov_xy=sum(D(:,2)-mean(D(:,2).*(D(:,1)-mean(D(:,1)/(length(D(:,2)-1);%the above three lines equal to: cov(D)示例d=1d=2d=4d=8d=16d=32d=64d=100原始图像具体应用:图像压缩+ c2* + + cd* c1*+ (I)具体应用:人脸识别主成分分析提取判别信息 1、引入各个分量的分类性能J(xj)2、将J(xj)重新排

7、队 确定由前d个特征分量来表征对象的显著性 二维主成分分析（2DPCA）2022年9月17日29 1 Yang J, Zhang D, Frangi A F, et al. Two-dimensional PCA: a new approach to appearance-based face representation and recognitionJ. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2004, 26(1): 131-137. 2 Yang J, Yang J.Y., “From Image

8、 Vector to Matrix: A Straightforward Image Projection TechniqueIMPCA vs. PCA,” Pattern Recognition, vol. 35, no. 9, pp. 1997-1999, 2002.参考文献X是n 维列向量，A是mxn的图像矩阵，Y是线性变换后的m维投影向量。定义Y的协方差矩阵 的迹为总散度：最大化该准则，就找到了最优的投影方向X使得投影后的向量Y分得最开。2022年9月17日30二维主成分分析（2DPCA） 表示为：记2022年9月17日31 称作图像协方差（散度）矩阵。从定义可以看出它是非负定的nn维

9、矩阵。假设有M张训练图像，第j张图像表示为 ，所有训练图像的均值记作 准则化为2022年9月17日32最大化上式的X称作最优投影轴。最优投影轴是 的最大特征值对应的特征向量。通常一个最优投影轴是不够的，因此选对应特征值最大的取前d个相互正交的单位特征向量作为最优投影轴。2022年9月17日332022年9月17日34特征提取2DPCA的最优投影向量 用来做特征提取。对于给定的样本图像A，有得到的投影特征向量 称 作样本图像A的主成分（向量）。主成分向量形成md的矩阵 称作样本图像A的特征矩阵或特征图像。 2022年9月17日35分类方法采用最近邻分类。任意两个图像的特征矩阵 和 之间的距离定义

10、为：给定测试样本B，如果 ，并且 ，则分类结果是 。2022年9月17日36基于2DPCA的图像重构主成分向量是 ， 令 ，那么由于 是正交的，所以图像A的重构图像为：令 ， 它的大小和图像A一致，称作图像A的重构子图。当dn时，是完全重构；当dn时，是近似重构。2022年9月17日 37实验 人脸库人数图像数训练集测试集图像大小主要变化ORL40104020020092112PoseAR6555120132Varied5040Over TimeFacial ExpressionsLighting ConditionsYale151115Leave-one-out10080Facial Exp

11、ressionsLighting Conditions2022年9月17日38 2022年9月17日39ORL 2022年9月17日40 2022年9月17日41 2022年9月17日42 2022年9月17日43 2022年9月17日44AR 2022年9月17日45 2022年9月17日46 2022年9月17日47 2022年9月17日48 2022年9月17日49Yale 2022年9月17日50Sample images for one object of the Yale dataset 结论：2DPCA是将一幅图像的每一行当成一个样本，进行PCA的运算。2022年9月17日522

12、DPCA 与PCA的关系2DPCA与PCA（Eigenfaces）比较优点：提取特征的方法简单、直接实验对比中显示识别率高提取特征的计算效率高缺点：表示图像时需要的系数多，因此需要更多的存储空间分类所需的计算时间稍多 2022年9月17日53为什么2DPCA的性能优于PCA对于小样本数据（比如人脸识别）来说， 2DPCA更加稳定。因为它的图像协方差矩阵比较小。 2DPCA比PCA能更加精确的刻画图像的协方差矩阵 2022年9月17日54多维主成分分析（MPCA）2022年9月17日552022年9月17日561 Lu H, Plataniotis K N, Venetsanopoulos A

13、N. MPCA: Multilinear principal component analysis of tensor objectsJ. Neural Networks, IEEE Transactions on, 2008, 19(1): 18-39.2 Lu H, Plataniotis K N, Venetsanopoulos A N. Gait Recognition through MPCA plus LDA, in Proc. Biometrics Symposium 2006 (BSYM 2006), Baltimore, US, September 2006.参考文献1-mo

14、de unfoldingMultilinear projection张量散度矩阵优化函数 This is no known optimal solution which allows for the simultaneous optimization of N projection matrices !Since the projection to an Nth-order tensor subspace consists of N projections to N vector subspaces, N optimization sub-problems can be solved by maximizing the scatter in the n-mode vector subspace.算法实现实验USF HumanID “Gait challenge” data sets 64Identification performanceProbePI (%) at Rank 1PI (%) at Rank 5Bas