探索性因素分析

1、探索性因素分析中国人民大学中国人民大学 心理学系心理学系董妍董妍 副教授副教授一、因素分析的概念一、因素分析的概念因素分析是多元统计分析技术的一个分支。因素分析是多元统计分析技术的一个分支。主要目的：浓缩数据主要目的：浓缩数据通过研究众多变量之间的内部依赖关系，探求观测通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个假想变量来表示数据中的基本结构，并用少数几个假想变量来表示基本的数据结构。这些假想变量能够反映原来众多基本的数据结构。这些假想变量能够反映原来众多的观测变量所代表的主要信息，并解释这些观测变的观测变量所代表的主要信息，并解释这些观测变量之间的相互依存关系。

2、量之间的相互依存关系。这些假想变量称为基础变量，即因子（这些假想变量称为基础变量，即因子（Factors）。）。因素分析就是研究如何以最少的信息丢失把众多的因素分析就是研究如何以最少的信息丢失把众多的观测变量浓缩为少数几个因子。观测变量浓缩为少数几个因子。一、因素分析的概念一、因素分析的概念因素分析主要有两种基本形式：探索性因因素分析主要有两种基本形式：探索性因素分析（素分析（Exploratory Factor Analysis）和验证性因素分析（和验证性因素分析（Confirmatory Factor Analysis）。）。探索性因素分析（探索性因素分析（EFA）致力于找出事物内在）致力

3、于找出事物内在的本质结构；的本质结构；验证性因素分析（验证性因素分析（CFA）是用来检验已知的特）是用来检验已知的特定结构是否按照预期的方式产生作用。定结构是否按照预期的方式产生作用。一、因素分析的概念一、因素分析的概念因素分析的历史因素分析的历史1904年斯皮尔曼（年斯皮尔曼（Charles Spearman）应用领域应用领域心理学、社会学、经济学、医学、地质学、气心理学、社会学、经济学、医学、地质学、气象学和市场营销等象学和市场营销等一、因素分析的概念一、因素分析的概念作用作用寻求基本结构（寻求基本结构（Summarization） 高度相关的变量高度相关的变量化简数据（化简数据（Data

4、 reduction） 用因子代替原来的观测变量进行其他统计分析用因子代替原来的观测变量进行其他统计分析 利用因子值对样本进行分类和综合评价利用因子值对样本进行分类和综合评价二、探索性因素分析的原理二、探索性因素分析的原理将彼此高度相关而又与别的变量相对独立将彼此高度相关而又与别的变量相对独立的一组变量聚合成群，称之为的一组变量聚合成群，称之为“因素因素”（又称潜变量）。（又称潜变量）。基本思想是，根据相关性大小把变量分组，基本思想是，根据相关性大小把变量分组，使得同组内的变量间相关较高，不同组变使得同组内的变量间相关较高，不同组变量间的相关较低；每组变量代表一个基本量间的相关较低；每组变量代

5、表一个基本结构，即因素。结构，即因素。其目的是识别少数几个因子，以之表示并其目的是识别少数几个因子，以之表示并解释多个相关变量之间的关系，从而减少解释多个相关变量之间的关系，从而减少变量数目，简化复杂的数据结构。变量数目，简化复杂的数据结构。二、探索性因素分析的原理二、探索性因素分析的原理 1、因素分析模型、因素分析模型 K个观测变量，分别为个观测变量，分别为x1,x2,xk, xi为具有零均值，为具有零均值，单位方差的标准化变量。单位方差的标准化变量。 因子模型的一般表达式为：因子模型的一般表达式为： 1221.(1, 2,.,)iiiim mixafafafuik12,.,mfff公因子（

6、common factors）特殊因子（Ufacotor）因子负载（Factor loadings）二、探索性因素分析的原理二、探索性因素分析的原理1.因素分析模型因素分析模型公因子：各个观测变量所共有的因子，解释了公因子：各个观测变量所共有的因子，解释了变量之间的相关变量之间的相关特殊因子：每个观测变量所特有的因子，相当特殊因子：每个观测变量所特有的因子，相当于多元回归中的残差项，表示该变量不能被公于多元回归中的残差项，表示该变量不能被公因子所解释的部分。因子所解释的部分。因子负载：第因子负载：第i个变量在第个变量在第j个公因子上的负载，个公因子上的负载，相当于多元回归分析中的标准化回归系数

7、。相当于多元回归分析中的标准化回归系数。1,.,;1,.,ikjm因子之间彼此独立因子之间彼此独立特殊因子和公因子之间彼此独立特殊因子和公因子之间彼此独立二、探索性因素分析的原理二、探索性因素分析的原理 f1 11 fm 11 f2 11 . . 11 x1 11 x2 11 xk 11 u2 11 uk 11 . . 11 a21 . 11 ak1 . 11 a12 . 11 a22 . 11 ak2 . 11 a1m . 11 a2m . 11 akm . u1 11 a11.二、探索性因素分析的原理二、探索性因素分析的原理2、因素分析中的有关概念、因素分析中的有关概念（1）因子负载（）因

8、子负载（loading）：当公因子之）：当公因子之间完全不相关时，间完全不相关时，aij等于第等于第i个变量和第个变量和第j个个因子之间的相关系数。因子之间的相关系数。反映了因子和变量之间的相关程度反映了因子和变量之间的相关程度大多数情况下，人们往往假设公因子之间大多数情况下，人们往往假设公因子之间时彼此正交的（时彼此正交的（Orthogonal），即不相关。），即不相关。二、探索性因素分析的原理二、探索性因素分析的原理1212223234245250.9562 1 0.20120.21260.8735 1 0.28960.39130.1744 1 0.89720.40570.5675 1 0

9、.75860.32020.8562 1 0.33150.3962xffuxffuxffuxffuxffu两个观测变量之间的相关ri j= a11a21+a21a22+.aimajm二、探索性因素分析的原理二、探索性因素分析的原理由因子模型导出的变量之间的相关系数可由因子模型导出的变量之间的相关系数可以用来判断因子解是否合适，如果从观测以用来判断因子解是否合适，如果从观测数据计算出的相关系数和从模型导出的变数据计算出的相关系数和从模型导出的变量的相关系数差别很小，那么我们可以说量的相关系数差别很小，那么我们可以说模型很好地拟合了观测数据，因子解是合模型很好地拟合了观测数据，因子解是合适的。适的。

10、二、探索性因素分析的原理二、探索性因素分析的原理（2）公因子方差）公因子方差（Communality）也叫共同度，又称公共方也叫共同度，又称公共方差，指观测变量方差中由差，指观测变量方差中由公因子决定的比例，公因子决定的比例，Hi2。当公因子之间正交时，公当公因子之间正交时，公因子方差等于和该变量有因子方差等于和该变量有关的因子负载的平方和。关的因子负载的平方和。公因子方差表示了变量方公因子方差表示了变量方差中能被公因子所解释的差中能被公因子所解释的部分。部分。1212223234245250.95621 0.20120.21260.87351 0.28960.39130.17441 0.89

11、720.40570.56751 0.75860.32020.85621 0.33150.3962xffuxffuxffuxffuxffu二、探索性因素分析的原理二、探索性因素分析的原理（3）因子的贡献）因子的贡献每个公因子对数据的解每个公因子对数据的解释能力，可以用该因子释能力，可以用该因子所解释的总方差来衡量，所解释的总方差来衡量，通常称为该因子的贡献通常称为该因子的贡献（Contributions），记），记为为Vp。它等于和该因子。它等于和该因子有关的因子负载的平方有关的因子负载的平方和。公因子的总贡献等和。公因子的总贡献等于各个因子贡献的和。于各个因子贡献的和。121222323424

12、5250.9562 1 0.20120.21260.8735 1 0.28960.39130.1744 1 0.89720.40570.5675 1 0.75860.32020.8562 1 0.33150.3962xffuxffuxffuxffuxffu相对指标：每个因子所相对指标：每个因子所解释的方差占所有变量解释的方差占所有变量总方差的比例。总方差的比例。三、探索性因素分析的步骤三、探索性因素分析的步骤、收集观测变量。由于总体的复杂性和统计基、收集观测变量。由于总体的复杂性和统计基本原理的保证，为了达到研究目的，我们通常采本原理的保证，为了达到研究目的，我们通常采用抽样的方法收集数据。所

13、以我们必须按照实际用抽样的方法收集数据。所以我们必须按照实际情况收集观测变量，并对其进行观测，获得观测情况收集观测变量，并对其进行观测，获得观测值。值。、获得协方差阵（或相关系数矩阵）。我们所、获得协方差阵（或相关系数矩阵）。我们所有的分析都是从原始数据的协方差阵（或相关系有的分析都是从原始数据的协方差阵（或相关系数矩阵）出发的，这样使我们分析得到的数据具数矩阵）出发的，这样使我们分析得到的数据具有可比性，所以首先要根据资料数据获得变量协有可比性，所以首先要根据资料数据获得变量协方差阵（或相关系数矩阵）。方差阵（或相关系数矩阵）。三、探索性因素分析的步骤三、探索性因素分析的步骤、确定因子个数。

14、、确定因子个数。有具体的假设，它决定了因子的个数；有具体的假设，它决定了因子的个数；没有假设，仅仅希望最后的到的模型能用尽可能没有假设，仅仅希望最后的到的模型能用尽可能少的因子解释尽可能多的方差。少的因子解释尽可能多的方差。如果有如果有k个变量，最多只能提取个变量，最多只能提取k个因子。通过检个因子。通过检验数据来确定最优因子个数的方法有很多。验数据来确定最优因子个数的方法有很多。Kaiser准则要求因子个数与相关系数矩阵的特征准则要求因子个数与相关系数矩阵的特征根个数相等；而根个数相等；而Screen检验要求把相关系数矩阵检验要求把相关系数矩阵的的特征根按从小到大的顺序排列，绘制成图，的的特

15、征根按从小到大的顺序排列，绘制成图，然后来确定因子的个数。然后来确定因子的个数。究竟采用哪种方法来确定因子个数，具体操作时究竟采用哪种方法来确定因子个数，具体操作时可以视情况而定。可以视情况而定。三、探索性因素分析的步骤三、探索性因素分析的步骤、提取因子。、提取因子。因子的提取方法也有多种，主要有主成分因子的提取方法也有多种，主要有主成分方法、不加权最小平方法、极大似然法等，方法、不加权最小平方法、极大似然法等，我们可以根据需要选择合适的因子提取方我们可以根据需要选择合适的因子提取方法。其中主成分方法一种比较常用的提取法。其中主成分方法一种比较常用的提取因子的方法。因子的方法。三、探索性因素分

16、析的步骤三、探索性因素分析的步骤、因子旋转。由于因子载荷阵的不唯一、因子旋转。由于因子载荷阵的不唯一性，可以对因子进行旋转，而正是由于这性，可以对因子进行旋转，而正是由于这一特征，使得因子结构可以朝我们可以合一特征，使得因子结构可以朝我们可以合理解释的方向趋近。我们用一个正交阵右理解释的方向趋近。我们用一个正交阵右乘已经得到的因子载荷阵（由线性代数可乘已经得到的因子载荷阵（由线性代数可知，一次正交变化对应坐标系的一次旋知，一次正交变化对应坐标系的一次旋转），使旋转后的因子载荷阵结构简化。转），使旋转后的因子载荷阵结构简化。旋转的方法也有多种，如正交旋转、斜交旋转的方法也有多种，如正交旋转、斜交

17、旋转等，最常用的是方差最大化正交旋转。旋转等，最常用的是方差最大化正交旋转。三、探索性因素分析的步骤三、探索性因素分析的步骤、解释因子结构、解释因子结构我们最后得到的简化的因子结构是使每个我们最后得到的简化的因子结构是使每个变量仅在一个公共因子上有较大载荷，而变量仅在一个公共因子上有较大载荷，而在其余公共因子上的载荷比较小，至多是在其余公共因子上的载荷比较小，至多是中等大小。这样我们就能知道所研究的这中等大小。这样我们就能知道所研究的这些变量到底是由哪些潜在因素（也就是公些变量到底是由哪些潜在因素（也就是公共因子）影响的，哪些因素是起主要作用共因子）影响的，哪些因素是起主要作用的，而哪些因素的

18、作用较小，甚至可以不的，而哪些因素的作用较小，甚至可以不用考虑。用考虑。三、探索性因素分析的步骤三、探索性因素分析的步骤、因子得分。因素分析的数学模型是将、因子得分。因素分析的数学模型是将变量表示为公共因子的线性组合，由于公变量表示为公共因子的线性组合，由于公共因子能反映原始变量的相关关系，用公共因子能反映原始变量的相关关系，用公共因子代表原始变量时，有时更利于描述共因子代表原始变量时，有时更利于描述研究对象的特征，因而往往需要反过来将研究对象的特征，因而往往需要反过来将公共因子表示为变量的线性组合，即因子公共因子表示为变量的线性组合，即因子得分。得分。三、探索性因素分析的步骤三、探索性因素分

19、析的步骤如果变量之间的相关程度很小，即大部分如果变量之间的相关程度很小，即大部分相关系数都小于相关系数都小于0.3，则不适合做因素分析。，则不适合做因素分析。判断是否适合做因素分析的方法：判断是否适合做因素分析的方法：（1）反映象相关矩阵（）反映象相关矩阵（Antiimage correlation matrix）。其元素等于负的偏）。其元素等于负的偏相关系数相关系数很多元素的值比较大，考虑不适合做因素很多元素的值比较大，考虑不适合做因素分析分析三、探索性因素分析的步骤三、探索性因素分析的步骤判断是否适合做因素分析的方法：判断是否适合做因素分析的方法：（2）巴特利特球体检验（）巴特利特球体检验（Bartlett test of sphericity）差异显著差异显著适合做因素分析适合做因素分析三、探索性因素分析的步骤三、探索性因素分析的步骤（3）KMO（KaiserMeyerOlkin Measure of Sampling Adequacy）测度）测度比较观测变量之间的简单相关系数和偏相比较观测变量之间的简单相关系数和偏相关系数的相对大小出发，其值的变化范围关系数的相对大小出发，其值的变化范围从从0到到1KMO0.5，Bartletts test of sphericity差异显著差异显著 Extraction: Method: Principal compo