主成分分析课件

1、主成分分析Principal Components Analysis,PCA主成分的概念 在实证数据分析研究中，人们为了尽可能完整地搜集信息，对于每个样本往往要观测它的很多项指标，少者四、五项，多则几十项，这些指标之间通常不是相互独立而是相关的。因此，从统计分析或推断的角度来说，人们总是希望能把大量的原始指标组合成较少的几个综合指标，从而使分析简化。 例如，一个人的身材需要用好多项指标才能完整地描述，诸如身高、臂长、腿长、肩宽、胸围、腰围、臀围等，但人们购买衣服时一般只用长度和肥瘦两个指标就够了，这里长度和肥瘦就是描述人体形状的多项指标组合而成的两个综合指标。假设观测指标共有p个，分别用x1,

2、 x2,xp,表示，将这些指标综合为一个指标的方法显然有很多，但最简单的方法是将这些指标用线性组合的方法将它们组合起来。因此，可设定其综合指标的形式为这些指标的线性组合，即我们希望构造少数几个这样的综合指标，并且这几个综合指标之间是不相关的。 其中反映原始观测指标的变动程度最大的综合指标最重要，我们称其为原始观测指标的第一主成分；而反映原始观测指标变动程度次大的综合指标，称为原始观测指标的第二主成分；反映原始观测指标变动程度第三大的综合指标，称为第三主成分；， 主成分分析（ Principal Components Analysis ）和因子分析（Factor Analysis）就是把变量维数

3、降低以便于描述、理解和分析的方法。 主成分分析也称为主分量分析，是一种通过降维来简化数据结构的方法：如何把多个变量化为少数几个综合变量（综合指标） ，而这几个综合变量可以反映原来多个变量的大部分信息，所含的信息又互不重叠，即它们之间要相互独立，互不相关。这些综合变量就叫因子或主成分，它是不可观测的，即它不是具体的变量（这与聚类分析不同），只是几个指标的综合。在引入主成分分析之前，先看下面的例子。成绩数据53个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。 主成分分析的数学模型及几何意义例中数据点是六维的；即每个观测值是6维空间中的一个点。希望把6维空间用低维空间表示。先假定只有

4、二维，即只有两个变量，语文成绩（x1）和数学成绩（x2），分别由横坐标和纵坐标所代表；每个学生都是二维坐标系中的一个点。假定语文成绩 （X1） 和数学成绩 （X2） 的相关系数= 0.6 。设 X1 和 X2 分别为标准化后的分数，右图为其散点图。椭圆的长短轴 当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平行。因此，需要寻找椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。椭圆的长短轴 如果长轴变量代表了数据包含的大部分信息，就用该变量代替原先的两个变量（舍去次要的一维），降维就完成了。

5、 椭圆的长短轴相差得越大，降维也越有道理。 主成分的方差贡献率 主成分分析把P个原始变量X1，X2， XP的总方差分解成P个不相关的变量Y1，Y2， YP的方差之和 。主成分分析的目的是减少变量的个数，所以一般不会使用所有P个主成分，忽略一些带有较小方差的主成分将不会给总方差带来太大的影响。 称： 为主成分YK的贡献率；第一主成分的贡献率最大，这表明Y1综合原始变量的能力最强，而Y2，Y3， YP等的综合能力依次递减。若只取 个主成分，则称： 为主成分Y1，Y2， Ym的累积贡献率，累积贡献率表明Y1，Y2， Ym综合X1，X2， XP的能力。通常取m使得累积贡献率达到一个较高的百分数（85%

6、或75%以上） 计算主成分贡献率及累计贡献率 贡献率累计贡献率 一般取累计贡献率达85%95%的特征值所对应的第1、第2、第m（mp）个主成分。 根据主成分分析的定义及性质，我们已大体上能看出主成分分析的一些应用。概括起来说，主成分分析主要有以下几方面的应用。 主成分分析能降低所研究的数据空间的维数。即用研究m维的Y空间代替p维的X空间(mp)，而低维的Y空间代替 高维的x空间所损失的信息很少。即使只有一个主成分Yl(即 m1)时，这个Yl仍是使用全部X变量(p个)得到的。例如要计算Yl的均值也得使用全部x的均值。在所选的前m个主成分中，如果某个Xi的系数全部近似于零的话，就可以把这个Xi删除

7、，这也是一种删除多余变量的方法。多维数据的一种图形表示方法。我们知道当维数大于3时便不能画出几何图形，多元统计研究的问题大都多于3个变量。要把研究的问题用图形表示出来是不可能的。然而，经过主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出n个样品在二维平面上的分布状况，由图形可直观地看出各样品在主分量中的地位。 在经济问题中往往涉及众多变量，他们之间既然有一定的相关性，就必然存在起支配作用的共同点，通过对原始变量相关矩阵内部结构的分析，找出影响某一经济过程的几个综合指标（综合指标就是原来指标的线性组合）。综合指标不仅保留了原始变量的主要信息，彼此之间又不相关，又比

8、原来变量具有某些更优越的性质，使得我们在研究复杂的经济问题时容易抓住主要矛盾，能够对复杂现象进行综合评价，这就是主成分分析在工商管理与经济分析中的应用。 下面，我们根据表给出的数据，对某农业生态经济系统做主成分分析。 表1 某农业生态经济系统各区域单元的有关数据 步骤如下： （1）将表1中的数据作标准差标准化处理，然后将它们代入公式 计算相关系数矩阵（表2）。表2相关系数矩阵 表3特征值及主成分贡献率 =4.661/8.9988贡献率主成分分析的SPSS实现过程结果解释KMO值大于0.5，Bartletts Test的Sig. 大于0.05表明可用因子分析结果解释说明提取的几个因子包含每个原变

9、量的程度公因子方差结果解释这里的Initial Eigenvalues就是特征值（数据相关阵的特征值）。头三个成分特征值累积占了总方差的86.596%。后面的特征值的贡献越来越少。 特征值的贡献还可以从SPSS的所谓碎石图看出怎么解释这三个主成分。前面说过主成分是原始九个变量的线性组合。是怎么样的组合呢？SPSS可以输出下面的表。 这里每一列代表一个主成分作为原来变量线性组合的系数（比例）。比如第一主成分写成九个原先变量的线性组合，系数（比例）为0.739, 0.123, -0.964, 0.042, 0.813, 0.819，0.933，0.197，0.964。 如用x1x9分别表示原先的九个变量，而用y1,y2,y3, 表示新的主成分，那么，原先九个变量x1,x2,x3,x4,x5,x6与第一和第二第三主成分y1,y2，y3的关系为：y1=0.739x1+0.123x2-0.964x3+0.042x4+ 0.813x5