主成分分析与因子分析法

1、主成分分析法与因子分析法主成分分析法与因子分析法 主要内容 主成分分析法主成分分析法 因子分析法因子分析法 附：主成分分析法与因子分析法的区别附：主成分分析法与因子分析法的区别 主成分分析法主成分分析法 （Principal Components Analysis,PCA） 主成分分析法概述主成分分析法概述 主成分分析的基本原理主成分分析的基本原理 主成分分析的计算步骤主成分分析的计算步骤 一、主成分分析概述 假定你是一个公司的财务经理，掌握了公假定你是一个公司的财务经理，掌握了公 司的所有数据，这包括司的所有数据，这包括众多的变量众多的变量，比如，比如 固定资产、流动资金、每一笔借贷的数额固

2、定资产、流动资金、每一笔借贷的数额 和期限、各种税费、工资支出、原料消耗、和期限、各种税费、工资支出、原料消耗、 产值、利润、折旧、职工人数、职工的分产值、利润、折旧、职工人数、职工的分 工和教育程度等等工和教育程度等等。 如果让你向上级或有关方面介绍公司状况，如果让你向上级或有关方面介绍公司状况， 你能够把这些指标和数字都你能够把这些指标和数字都原封不动地摆原封不动地摆 出去吗出去吗？ 引子 当然不能。当然不能。汇报什么？汇报什么？ 发现在如此多的变量之中，有很多是发现在如此多的变量之中，有很多是 相关的。人们希望能够找出它们的相关的。人们希望能够找出它们的少少 数数“代表代表”来对它们进行

3、描述。来对它们进行描述。 需要把这种有需要把这种有很多变量很多变量的数据进行高的数据进行高 度概括，度概括，用少数几个指标简单明了地用少数几个指标简单明了地 把情况说清楚。把情况说清楚。 主成分分析主成分分析法法（ Principal Components Analysis ） 和因子分析和因子分析法法（Factor Analysis）就就是把变量维数是把变量维数 降低以便于描述、理解和分析的方法。降低以便于描述、理解和分析的方法。 主成分分析也称为主分量分析，是一种通过降维来主成分分析也称为主分量分析，是一种通过降维来 简化数据结构的方法：如何把多个变量化为少数几简化数据结构的方法：如何把多

4、个变量化为少数几 个综合变量（综合指标）个综合变量（综合指标） ，而这几个综合变量可以，而这几个综合变量可以 反映原来多个变量的大部分信息，所含的信息又互反映原来多个变量的大部分信息，所含的信息又互 不重叠，即它们之间要相互独立，互不相关。不重叠，即它们之间要相互独立，互不相关。 这些综合变量就叫因子或主成分，它是不可观测的，这些综合变量就叫因子或主成分，它是不可观测的， 即即它不是具体的变量它不是具体的变量, ,只是几个指标的综合只是几个指标的综合。 在引入主成分分析之前，先看下面的例子。在引入主成分分析之前，先看下面的例子。 什么是主成分分析法？什么是主成分分析法？ 成绩数据 5353个学

5、生的数学、物理、化学、语文、历个学生的数学、物理、化学、语文、历 史、英语的成绩如下表（部分）。史、英语的成绩如下表（部分）。 从本例可能提出的问题 能不能把这个数据表中的能不能把这个数据表中的6 6个变量用一个变量用一 两个综合变量来表示呢？两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信这一两个综合变量包含有多少原来的信 息呢？息呢？ 事实上，以上问题在事实上，以上问题在平时的平时的研究中，也会经研究中，也会经 常遇到。它常遇到。它所涉及的问题可以推广到对企业、所涉及的问题可以推广到对企业、 对学校、对区域进行对学校、对区域进行分析、评价、排序和分分析、评价、排序和分 类类等。等

6、。 比如对比如对n n个个样本样本进行综合评价，可选的描述进行综合评价，可选的描述样样 本本特征的指标很多，而这些指标往往存在特征的指标很多，而这些指标往往存在一一 定的相关性定的相关性（既不完全独立，又不完全相（既不完全独立，又不完全相 关），这就给研究带来很大不便。关），这就给研究带来很大不便。若选指标若选指标 太多，会增加分析问题的难度与复杂性，选太多，会增加分析问题的难度与复杂性，选 指标太少，有可能会漏掉对指标太少，有可能会漏掉对样本样本影响较大的影响较大的 指标，影响结果的可靠性。指标，影响结果的可靠性。 这就需要我们在相关分析的基础上，采这就需要我们在相关分析的基础上，采 用主成

7、分分析法找到几个用主成分分析法找到几个新的相互独立新的相互独立 的综合指标的综合指标，达到既减少指标数量、又，达到既减少指标数量、又 能区分样本间差异的目的。能区分样本间差异的目的。 二、主成分分析的基本原二、主成分分析的基本原 理理 （一）（一）主成分分析的几何解释主成分分析的几何解释 （一）主成分分析的几何解释（一）主成分分析的几何解释 例中数据点是六维的；即每个观测值是例中数据点是六维的；即每个观测值是6 6维空维空 间中的一个点。希望把间中的一个点。希望把6 6维空间用低维空间表维空间用低维空间表 示。示。 先假定只有二维，即只有两个变量，语文成先假定只有二维，即只有两个变量，语文成

8、绩（绩（x x1 1）和数学成绩（）和数学成绩（x x2 2），分别由横坐标），分别由横坐标 和纵坐标所代表；和纵坐标所代表； 每个学生都是二维坐标系中的一个点。每个学生都是二维坐标系中的一个点。 因为在实际应用中，往往存在指标的量纲因为在实际应用中，往往存在指标的量纲 不同，所以在计算之前须先消除量纲的影不同，所以在计算之前须先消除量纲的影 响，而将原始数据标准化。为了实现样本响，而将原始数据标准化。为了实现样本 数据的标准化，应求样本数据的平均和方数据的标准化，应求样本数据的平均和方 差。对数据矩阵差。对数据矩阵Y Y作标准化处理，即对每一作标准化处理，即对每一 个指标分量作标准化变换，变

9、换公式为：个指标分量作标准化变换，变换公式为： pj ni S YY X j jij ij , 2 , 1 , 2 , 1 其中，其中， 样本均值：样本均值： 样本标准差：样本标准差： n k kii Y n Y 1 1 n k ikii YY n S 1 2 1 1 原始变量原始变量 经规格化后变为新变经规格化后变为新变 量量 ，其均值为零，方差为，其均值为零，方差为1 1。 对二维空间来讲对二维空间来讲n n个标准化后的样本在二个标准化后的样本在二 维空间的分布大体为一椭圆形，维空间的分布大体为一椭圆形，该椭圆该椭圆 有一个长轴和一个短轴。在短轴方向上有一个长轴和一个短轴。在短轴方向上 数

10、据变化很少数据变化很少，极端的情况极端的情况下下，短轴如，短轴如 退化成一点，长轴的方向可以完全解释退化成一点，长轴的方向可以完全解释 这些点的变化，由二维到一维的降维就这些点的变化，由二维到一维的降维就 自然完成了。自然完成了。 ijY ijX 2 x 1 x 假定语文成绩假定语文成绩 （X1） 和数学成和数学成 绩绩 （X2）分别为）分别为 标准化后的分数，标准化后的分数， 右图为其散点图，右图为其散点图， 椭圆倾斜为椭圆倾斜为45度。度。 如果将坐标轴如果将坐标轴 X1 和和 X2 旋转旋转45 ，那么点在新坐标，那么点在新坐标 系中的坐标（系中的坐标（Y1,Y2）与原坐标（）与原坐标（

11、X1,X2）有如下的）有如下的 关系：关系： Y1和和Y2均是均是X1 和和 X2 的线性组合的线性组合 2 x 1 x 在新坐标系中，在新坐标系中， 可以发现：虽然可以发现：虽然 散点图的形状没散点图的形状没 有改变，但新的有改变，但新的 随机变量随机变量 Y1 和和 Y2 已经不再相已经不再相 关。而且大部分关。而且大部分 点沿点沿 Y1 轴散开，轴散开， 在在 Y1 轴方向的轴方向的 变异较大（即变异较大（即 Y1的方差较的方差较 大）大） ，相对来说，相对来说， 在在 Y2轴方向的轴方向的 变异较小（即变异较小（即 Y2 的方差较的方差较 小）小） 。 在上面的例子中在上面的例子中 Y

12、1 和和 Y2 就是原变量就是原变量 X1和和 X2 的第一主成分和第二主成分。实际上第一主成的第一主成分和第二主成分。实际上第一主成 分分 Y1 就基本上反映了就基本上反映了 X1 和和X2 的主要信息，因的主要信息，因 为图中的各点在新坐标系中的为图中的各点在新坐标系中的 Y1 坐标基本上就坐标基本上就 代表了这些点的分布情况，因此可以选代表了这些点的分布情况，因此可以选 Y1 为一为一 个新的综合变量。当然如果再选个新的综合变量。当然如果再选 Y2也作为综合也作为综合 变量，那么变量，那么 Y1 和和 Y2 则反映了则反映了 X1 和和 X2的全部的全部 信息。信息。 22 假如对某一问

13、题的研究涉及假如对某一问题的研究涉及 p p 个指标，记为个指标，记为X X1 1，X X2 2, , , , X Xp p，由这，由这 p p 个随机变量构成的随机向量为个随机变量构成的随机向量为X X=(=(X X1 1, , X X2 2, , , , X Xp p) ) ，设，设 X X 的均值向量为的均值向量为 ，协方差矩阵为，协方差矩阵为 。设。设Y Y=(=(Y Y1 1, , Y Y2 2 , , , , Y Yp p) ) 为对为对 X X 进行线性变换得到的合成随机向量，即进行线性变换得到的合成随机向量，即 (1) 设设 i i=(=( i i1 1, , i i2 2 ,

14、 , , , ip ip) ) , , A A=(=( 1 1 , , 2 2 , , p p) ) ，则有，则有 ppppp p p p X X X Y Y Y 2 1 21 22221 11211 2 1 AXY pi,2,1 (2) 23 且且 （3） 由是式由是式(1)(2)(1)(2)能够看出，可以对原始变量进行任意能够看出，可以对原始变量进行任意 的线性变换，不同线性变换得到的合成变量的线性变换，不同线性变换得到的合成变量Y Y的统计特征显的统计特征显 然是不一样的。每个然是不一样的。每个Y Yi i 应尽可能多地反映 应尽可能多地反映 p p 个原始变量的个原始变量的 信息，通常

15、用方差来度量信息，通常用方差来度量“信息信息”，Y Yi i 的方差越大表示它 的方差越大表示它 所包含的信息越多。由式（所包含的信息越多。由式（3 3）可以看出将系数向量）可以看出将系数向量 i i 扩大 扩大 任意倍数会使任意倍数会使Y Yi i 的方差无限增大，为了消除这种不确定性， 的方差无限增大，为了消除这种不确定性， 增加约束条件：增加约束条件： pjiYY piY jiji ii ,2,1,),cov( ,2,1)var( i 1 i aa i 24 为了有效地反映原始变量的信息，为了有效地反映原始变量的信息，Y Y的不同分量包含的的不同分量包含的 信息不应重叠。综上所述，式（信

16、息不应重叠。综上所述，式（1 1）的线性变换需要满足下）的线性变换需要满足下 面的约束：面的约束： (1) (1) 即即 ，i i =1, 2, , =1, 2, , p p。 (2) (2) Y Y1 1在满足约束在满足约束 (1) (1) 即的情况下，方差最大；即的情况下，方差最大；Y Y2 2是在满足是在满足 约束约束(1) (1) ，且与，且与Y Y1 1不相关的条件下，其方差达到大；不相关的条件下，其方差达到大； Y Yp p是在满足约束是在满足约束(1) (1) ，且与，且与Y Y1 1，Y Y2 2，Y Y p- p-1 1不相关的条件下， 不相关的条件下， 在各种线性组合中方差

17、达到最大者。在各种线性组合中方差达到最大者。 满足上述约束得到的合成变量满足上述约束得到的合成变量Y Y1 1, , Y Y2 2, , , , Y Yp p分别称为分别称为 原始变量的第一主成分、第二主成分、原始变量的第一主成分、第二主成分、第、第 p p 主成分，主成分， 而且各成分方差在总方差中占的比重依次递减。在实际研究而且各成分方差在总方差中占的比重依次递减。在实际研究 工作中，仅挑选前几个方差较大的主成分，以达到简化系统工作中，仅挑选前几个方差较大的主成分，以达到简化系统 结构的目的。结构的目的。 1 22 2 2 1 ipii aaa 1 i aai 三、主成分分析的计算步骤 (

18、 (一一) )计算相关系数矩阵计算相关系数矩阵 ( (二二) )计算特征值与特征向量计算特征值与特征向量 ( (三三) )计算主成分贡献率及累计贡献率计算主成分贡献率及累计贡献率 ( (四四) )计算主成分载荷计算主成分载荷 （一）计算相关系数矩阵一）计算相关系数矩阵 rij（i，j=1，2，p）为原变量）为原变量xi与与xj标准化后的标准化后的 相关系数，相关系数， rij=rji， ，其计算公式为 其计算公式为 pppp p p rrr rrr rrr R 21 22221 11211 （3.5.3） n k n k jkjiki n k jkjiki ij xxxx xxxx r 11

19、22 1 )()( )( （3.5.4） （二）计算特征值与特征向量（二）计算特征值与特征向量 1、解特征方程，求出特征值，并使、解特征方程，求出特征值，并使 其按大小顺序排列其按大小顺序排列 0RI 0 21 p 2、分别求出对应于特征值、分别求出对应于特征值 的特征向量的特征向量 ，要求，要求 =1，即，即， 其中表示向量其中表示向量 的第的第j个分量个分量,也就是说也就是说 为单位向量。为单位向量。 i ), 2 , 1(piei i e 1 1 2 p j ij e ij e i e i e 29 （三）计算主成分贡献率及累计贡献率（三）计算主成分贡献率及累计贡献率 主成分分析是把主成

20、分分析是把 p p 个随机变量的总方差分解为个随机变量的总方差分解为 p p 个不相个不相 关随机变量的方差之和关随机变量的方差之和 1 1 2 2 P P，则总方差中属于，则总方差中属于 第第 i i 个主成分（被第个主成分（被第 i i 个主成分所解释）的比例为个主成分所解释）的比例为 称为第称为第 i i 个主成分的贡献率。定义个主成分的贡献率。定义 称为前称为前 m m 个主成分的累积贡献率，衡量了前个主成分的累积贡献率，衡量了前 m m 个主成份对个主成份对 原始变量的解释程度。原始变量的解释程度。 p i 21 pm p i i m j j 11 （四）计算主成分载荷计算主成分载荷

21、 在主成分之间不相关时，在主成分之间不相关时，主成分载荷就是主主成分载荷就是主 成成 分分z zi i与变量与变量x xj j之间的相关系数之间的相关系数 ), 2 , 1,(),(pjiexzpl ijijiij 因子分析法因子分析法 （Factor Analysis，FA） 因子分析法概述因子分析法概述 因子分析法的模型因子分析法的模型 附：主成分分析与因子分析的区别附：主成分分析与因子分析的区别 （一）因子分析法概述 因子分析法与主成分分析法都基于统计分因子分析法与主成分分析法都基于统计分 析法，但两者有较大的区别。析法，但两者有较大的区别。主成分分析主成分分析 是通过坐标变换提取主成分，