《wk主成分分析》PPT课件.ppt

数学方法在信息处理中的应用,史振威北京航空航天大学宇航学院图像中心shizhenwei,第二章主成分分析(第一部分),Slide2,纲要,引言基本数学工具主成分分析（PrincipalComponentAnalysis，PCA）流程,Slide3,引言,主成分分析（PrincipalComponentAnalysis，PCA）作为十分有用的技术，已经在信息处理的很多应用领域中得到了广泛的应用，现在可以看作是标准的统计方法。经常用在高维数据的降维处理中，如数据可视化。其它应用如人脸识别、数据压缩等领域。,Slide4,引言,参考文献：1、LindsayISmith，AtutorialonPrincipalComponentsAnalysis，20022、JonShlens，ATUTORIALONPRINCIPALCOMPONENTANALYSIS-Derivation,DiscussionandSingularValueDecomposition，2003,Slide5,基本数学工具,1、概率统计基础：概率统计的所针对的对象是数据，研究数据所具有的统计性质。以选举作为例子，所有人民是一个集合整体，一部分有代表性的人所组成的集合为一个子集，子集中的元素，如一个人，相当于一个样本。其它例子：灯泡、火柴等。,Slide6,基本数学工具,1、概率统计基础：样例：对于这样的数据，我们可以计算它的一些统计量来分析它的统计性质。如：样本均值可以告诉我们数据的平均情况。,Slide7,基本数学工具,1、概率统计基础：但样本均值不能告诉我们更多。如：这两个数据集有什么不同？数据的“延展性不同”，可用统计量样本的标准方差来度量：,Slide8,Slide9,基本数学工具,1、概率统计基础：第一个样本集的标准方差来得大，因为样本更远离样本均值。考虑如下数据集（均值也为10）：其标准方差为0。,Slide10,基本数学工具,1、概率统计基础：标准方差的平方称为方差，度量数据与均值的偏移。思考：方差和标准方差有什么异同？,Slide11,基本数学工具,1、概率统计基础：以上统计量相当于一维统计量，只描述了数据统计特征的一个方面。如：大家的身高可以作为一个统计特征（可以计算均值和方差）；学习成绩可以作为一个统计特征（可以计算均值和方差），那么这两个特征之间有没有联系，如何联系？即，身高和学习成绩之间有没有统计关系？,Slide12,基本数学工具,协方差是这样的一个统计量，可以度量不同特征之间的关系。协方差是度量两个特征之间的关系的统计量。公式与方差非常相似（下面公式中X和Y是不同的特征）。方差：协方差：,Slide13,基本数学工具,举一个例子，同学们选学这门课，用了多少时间最后得到了多少成绩？这相当于一个二维数据。第一维是时间，用H表示；第二维是成绩，用M表示。,Slide14,基本数学工具,计算时间和分数之间的协方差计算结果说明了什么？相关性：正相关、负相关正负相关往往比具体的数值更能说明问题。,Slide15,基本数学工具,Slide16,基本数学工具,特征多于二维怎么办？,Slide17,基本数学工具,协方差矩阵：如果特征是n维，协方差矩阵将是一个n行n列的矩阵（对称矩阵）。如三维数据集x,y,z,Slide18,基本数学工具,2、矩阵代数：特征值和特征向量（哪个是？）：,Slide19,基本数学工具,2、矩阵代数：特征值和特征向量：x是特征向量；是特征值。集合意义：坐标轴变换。特征向量之间是正交的（垂直的）。,Slide20,基本数学工具,2、矩阵与向量计算（基本）：,Slide21,基本数学工具,2、矩阵与向量计算（基本）：,Slide22,基本数学工具,2、矩阵与向量计算（微分）：,Slide23,基本数学工具,2、矩阵与向量计算（行列式微分）：,Slide24,基本数学工具,2、矩阵与向量计算（逆矩阵微分）：,Slide25,基本数学工具,2、矩阵与向量计算（微分）：,Slide26,基本数学工具,2、矩阵与向量计算（微分）：,Slide27,基本数学工具,2、矩阵与向量计算（微分）：假设W是对称矩阵：,Slide28,基本数学工具,3、最优化方法：无约束最优化问题：minf(x)平稳点满足：,Slide29,基本数学工具,3、最优化方法：约束最优化问题：minf(x)s.t.b(x)=0转化为无约束问题：min是拉格朗日乘子。平稳点满足：,Slide30,主成分分析（PCA）过程,PrincipalComponentAnalysis主要优点：1、由高维数可以降到低维数，即降维，便于数据可视化。2、可进行数据压缩。下面，主要叙述PCA的计算过程，使大家有一个直观印象。具体算法得到过程后面再讲。,Slide31,主成分分析（PCA）过程,第一步：获得数据。所要处理的数据如下：,Slide32,主成分分析（PCA）过程,第二步：减去均值，使数据的均值为零。每一维数据都要减去每一维的均值。原始数据变为右侧零均值化的数据。,Slide33,主成分分析（PCA）过程,第三步：计算协方差矩阵。既然原始数据是二维的，协方差矩阵是矩阵。x和y是正相关的。,Slide34,主成分分析（PCA）过程,第四步：计算协方差矩阵的特征值和特征向量。特征值和特征向量代表了数据的有用信息。注意特征向量都是单位化，即长度为1，且相互正交。,Slide35,主成分分析（PCA）过程,特征向量的几何性质：由图示，说明了什么？,Slide36,主成分分析（PCA）过程,第五步：选择成分和特征向量。数据压缩和降维来自于此。原始数据的两个特征值大小是不同的；选择大特征值所对应的特征向量，代表了数据的主要方向。一般的，一旦算出特征值，就按照从大到小方向排序，这给出主成分的重要性大小。如你所愿，可以抛弃一些不重要的成分。如果特征值较小，损失的信息不多。,Slide37,主成分分析（PCA）过程,第五步：选择成分和特征向量。如果抛掉一些小的特征值，数据的维数将减少。如果数据是n维，则特征值和特征向量的个数也均是n，如果选择前p个特征向量，那么最后的数据也是p维。特征向量（列向量）组成矩阵：,Slide38,主成分分析（PCA）过程,第五步：选择成分和特征向量。针对原数据，有两个选择全选：或留下一个大特征值所对应的特征向量：,Slide39,主成分分析（PCA）过程,第六步：得到新数据集。作变换：如果特征向量全选，那相当于变换到一个正交空间（坐标轴相互垂直）中；如果只选部分，相当于数据降维到一个低维子空间中。,Slide40,主成分分析（PCA）过程,特征向量全选，数据变换