精密仪器设计-主成分分析课件

1、光学工程与精 密 仪 器主成分分析自动化工程学院在日常的数据中，有很多是相关的。人们希望能够找出它们的少数“代表”来对它们进行描述。需要把这种有很多变量的数据进行高度概括，用少数几个指标简单明了地把情况说清楚。主成分变换将三维空间的样本显示在二维空间主成分分析（ Principal Components Analysis ）就是把变量维数降低以便于描述、理解和分析的方法。主成分分析也称为主分量分析，是一种通过降维来简化数据结构的方法：如何把多个变量化为少数几个综合变量（综合指标） ，而这几个综合变量可以反映原来多个变量的大部分信息，所含的信息又互不重叠，即它们之间要相互独立，互不相关。这些综合

2、变量就叫主成分，它是不可观测的，即它不是具体的变量，只是几个指标的综合。什么是主成分分析法？成绩数据53个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。 （一）主成分分析的几何解释例中数据点是六维的；即每个观测值是6维空间中的一个点。希望把6维空间用低维空间表示。先假定只有二维，即只有两个变量，语文成绩（x1）和数学成绩（x2），分别由横坐标和纵坐标所代表；每个学生都是二维坐标系中的一个点。空间的点如果这些数据形成一个椭圆形状的点阵（这在二维正态的假定下是可能的）该椭圆有一个长轴和一个短轴。在短轴方向上数据变化很少；那么随机向量的方差协方差矩阵为可以看出，在变量标准化的情况下的

3、方差协方差矩阵与其相关矩阵相等。由求矩阵特征值和特征向量的方法：令可以求出：对应的特征向量分别为：显然，这两个特征向量是相互正交的单位向量。而且它们与原来的坐标轴 X1 和 X2 的夹角都分别等于45 。如果将坐标轴 X1 和 X2 旋转45 ，那么点在新坐标系中的坐标（Y1,Y2）与原坐标（X1,X2）有如下的关系： Y1和Y2均是X1 和 X2的线性组合系数代表什么？在新坐标系中，可以发现：虽然散点图的形状没有改变，但新的随机变量 Y1 和 Y2 已经不再相关。而且大部分点沿 Y1 轴散开，在 Y1 轴方向的变异较大（即 Y1的方差较大） ，相对来说，在 Y2轴方向的变异较小（即 Y2 的

4、方差较小） 。在上面的例子中 Y1 和 Y2 就是原变量 X1和 X2的第一主成分和第二主成分。实际上第一主成分 Y1 就基本上反映了 X1 和X2 的主要信息，因为图中的各点在新坐标系中的 Y1 坐标基本上就代表了这些点的分布情况，因此可以选 Y1 为一个新的综合变量。当然如果再选 Y2也作为综合变量，那么 Y1 和 Y2 则反映了 X1 和 X2的全部信息。 从几何上看，找主成分的问题就是找出p维空间中椭球体的主轴问题，就是要在x1xp的相关矩阵中m个较大特征值所对应的特征向量。 究竟提取几个主成分，一般有两种方法：特征值1累计贡献率0.8那么如何提取主成分呢？ （二）主成分分析的基本思想

5、 定义：记x1，x2，xP为原变量指标，z1， z2，zm（mp）为新变量指标 可以看出，新指标对原指标有多个线性组合，新指标对哪个原指标反映的多，哪个少，取决于它的系数。系数lij的确定原则： zi与zk（ik；i，k=1，2，m; j= 1，2，p ）相互无关； z1是x1，x2，xP的一切线性组合中方差最大者(最能解释它们之间的变化），z2是与z1不相关的x1，x2，xP的所有线性组合中方差最大者; zm是与z1，z2，zm1都不相关的x1，x2，xP， 的所有线性组合中方差最大者。 从以上的分析可以看出，主成分分析的实质就是确定原来变量xj（j=1，2 ， p）在诸主成分zi（i=1，

6、2，m）上的荷载 lij（ i=1，2，m； j=1，2 ，p）。 从数学上可以证明，它们分别是相关矩阵（也就是x1，x2，xP 的相关系数矩阵）m个较大的特征值所对应的特征向量。 （一）计算相关系数矩阵 rij（i，j=1，2，p）为原变量xi与xj标准化后的相关系数， rij=rji，其计算公式为主成分分析的计算步骤 （二）计算特征值与特征向量 1、解特征方程，求出特征值，并使其按大小顺序排列 ； 2、分别求出对应于特征值 的特征向量 ，要求 =1，即，其中表示向量 的第j个分量,也就是说 为单位向量。3、计算主成分贡献率及累计贡献率 贡献率累计贡献率 一般取累计贡献率达85%95%的特征

7、值所对应的第1、第2、第m（mp）个主成分。 每个地区的综合评价值为：对各个主成分进行加权求和。权重为每个主成分方差的贡献率。 （一）下面，我们根据下表给出的数据，对某农业生态经济系统做主成分分析。 某农业生态经济系统各区域单元的有关数据 步骤如下： （1）将上表中的数据作标准差标准化处理，然后计算相关系数矩阵。相关系数矩阵 特征值及主成分贡献率 =4.661/8.9988 （2）由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率。由表可知，第1，第2，第3主成分的累计贡献率已高达86.596%（大于85%），故只需要求出第1、第2、第3主成分z1，z2，z3即可。 （3）对于特征值

8、 分别 =4.661 0、=2.089 0、=1.0430，分别求出其特征向量e1，e2，e3，再计算各变量x1，x2，x9在主成分z1，z2，z3上的载荷。 主成分载荷 (1)从上表可以看出，第1主成分z1与x1，x5，x6，x7呈现出较强的正相关，与x3呈现出较强的负相关，而这几个变量则综合反映了生态经济结构状况，因此可以认为第1主成分z1是生态经济结构的代表。 (2)第2主成分z2与x2，x4，x5呈现出较强的正相关，与x1呈现出较强的负相关，其中，除了x1为人口总数外，x2，x4，x5都反映了人均占有资源量的情况，因此可以认为第2主成分z2代表了人均资源量。 分析：主成分载荷是主成分与

9、变量之间的相关系数。 显然，用3个主成分z1、z2、z3代替原来8个变量（x1，x2，x8）描述农业生态经济系统，可以使问题更进一步简化、明了。 (3)第3主成分z3与x8呈现出的正相关程度最高，其次是x6，而与x7呈负相关，因此可以认为第3主成分在一定程度上代表了农业经济结构。 (4)另外，表3中最后一列（占方差的百分数），在一定程度上反映了3个主成分z1、z2、z3包含原变量（x1，x2，x9）的信息量多少。 接着还可以计算每个主成分的得分，组成一个新的数据集，作为进一步应用系统聚类分析方法进行区划、分类的新的出发点。也可以用来综合评价。进行区域差异分析35 人脸识别就是将已检测到的待识别

10、人脸与数据库中的已知人脸进行比较匹配，得出相关信息，来鉴别该人是谁。这一过程的核心是选择恰当的人脸表征方式与匹配策略，即选择合适的人脸模式的特征，根据所提取的特征进行匹配。人脸识别36人脸识别基于PCA构建特征脸空间是对图像进行变换，以去除样本间的相关性，然后根据特征值的大小选择特征向量。这种方法首先将人脸图像映射为高维空间的向量，然后应用基于统计的离散变换方法，构造一个各分量互不相关的特征空间，即特征脸空间，再将人脸图像在高维空间中的向量映射到特征脸空间，得到特征系数。PCA构建特征脸空间 ORL标准人脸库由40人，每人10幅11292图像组成。这些图像是拍摄于不同时期的；人的脸部表情和脸部

11、细节有着不同程度的变化，比如，笑或不笑，眼睛或睁或闭，戴或不戴眼镜；人脸姿态也有相当程度的变化，深度旋转和平面旋转可达20度；人脸的尺度也有多达10的变化。ORL人脸库(英国剑桥大学) 特征值与特征图像 特征值ORL 20人 10幅 特征脸空间人脸识别人脸识别人脸识别电涡流热成像无损检测技术综合利用了涡流现象和焦耳热现象。不均匀分布的涡流场局部电磁特性变化残余应力、缺陷电涡流激励局部焦耳热红外相机表面温度发生变化评估残余应力，缺陷的位置、形状、大小数据分离原始数据试样加热方式加热结束时的热图像电涡流脉冲热响应主成分分析的处理结果原始热响应曲线 根据主成分分析的定义及性质，我们已大体上能看出主成

12、分分析的一些应用。概括起来说，主成分分析主要有以下几方面的应用。 1主成分分析能降低所研究的数据空间的维数。即用研究m维的Y空间代替p维的X空间(mp)，而低维的Y空间代替 高维的x空间所损失的信息很少。即使只有一个主成分Yl(即 m1)时，这个Yl仍是使用全部X变量(p个)得到的。例如要计算Yl的均值也得使用全部x的均值。在所选的前m个主成分中，如果某个Xi的系数全部近似于零的话，就可以把这个Xi删除，这也是一种删除多余变量的方法。主成分分析的应用 2有时可通过因子负荷aij的结构，弄清X变量间的某些关系。 3. 多维数据的一种图形表示方法。我们知道当维数大于3时便不能画出几何图形，多元统计研究的问题大都多于3个变量。要把研究的问题用图形表示出来是不可能的。然而，经过主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出n个样品在二维平面上的分布状况，由图形可直观地看出