（哈工大版）多元分析第四章 因子分析.doc

第四章 因子分析4.1 概 述1 因子分析概念因子分析（Factor Analysis）是多元统计分析技术的一个分支，其主要目的是浓缩数据。它通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个假想变量来表示基本的数据结构。这些假想变量能够反映原来众多的观测变量所代表的主要信息，并解释这些观测变量之间的相互依存关系，我们把这些假想变量称之为基础变量，即因子（Factors）。因子分析：就是研究如何以最少的信息丢失把众多的观测变量浓缩为少数几个因子的多元分析方法。 2、因子分析的应用例，某快餐店为了解其市场竞争能力进行消费者调查，通过定性研究设计了30个有关快餐店及其产品和服务的调查项目。（1）寻求基本结构这30个项目可能反映了快餐的质量、价格、就餐环境和服务四个基本方面，通过因子分析我们能找出反映数据本质特征的这四个因子并分析原来30个观测变量和它们之间的关系。（2）数据化简（Data reduction）通过因子分析把一组观测变量化为少数的几个因子后，可以进一步将原始观测变量的信息转换成这些因子的因子值，然后，用这些因子代替原来的观测变量进行其他的统计分析，如回归分析、路径分析、判别分析和聚类分析等，利用因子值也可以直接对样本进行分类和综合评价。(3) 解决共线性问题3因子分析分类：探测性（Exploratory）因子分析 探索基础变量的维数证实性（Confirmatory）因子分析 检验理论或先验知识假设4.2 因子分析原理一、 因子分析模型1、模型 因子分析模型在形式上和多元回归模型相似，每个观测变量由一组因子的线性组合来表示。设有k个观测变量，分别为， 则因子模型的一般表达形式为：. . 写成矩阵形式：其中：为具有零均值、单位方差的标准化变量。2、模型假设设该模型m个特殊因子之间是彼此独立的，特殊因子和公因子之间也是彼此独立的。经过变换（为的均值，为的标准差）成为标准化变量。经标准化变换不改变变量之间的相关系数。3、基本概念（1）叫做公因子（Common factors），它们是各个观测变量所共有的因子，解释了变量之间的关系。（2）ui称为特殊因子（Unique factor），它是每个观测变量所特有的因子，相当于多元回归中的残差项，表示该变量不能被公因子所解释的部分。（3）aij称为因子负载（Factor loadings），它是第i个变量在第j个公因子上的负载，相当于多元回归分析中的标准回归系数（）.因子分析模型也可以用路径分析图表示如图41。a2ma11a21ak1a12a22ak2a1makm f1 u1 f2 u2 fm xk uk图41 因子分析路径图因子分析模型说明：1每一个观测变量x由m个公因子f和一个特殊因子u的线性组合来表示；2公因子f的个数最多可以等于观测变量数k, 即：mk3如果把特殊因子作为残差项看待，因子分析模型和多元线性回归方程在形式上很相近；4回归模型中的自变量是可观测的，而因子分析模型中的因子是假想变量，是不可观测的。二、因子分析中的有关指标1、因子负载 aij等于第i个变量和第j个因子之间的相关系数。，aij的绝对值越大，表示公因子fj与变量xi关系越密切。大多数情况下，人们往往假设公因子之间是彼此正交的（Orthogonal），即不相关的。例： 下面五个观测变量、两个公因子的模型：x1=0.9562f1+0.2012f2+0.2126u1x2=0.8735f1+0.2896f2+0.3913u2x3=0.1744f1+0.8972f2+0.4057u3x4=0.5675f1+0.7586f2+0.3202u4x5=0.8562f1+0.3315f2+0.3962u5 很容易看出，公因子f1与变量x1,x2,x5关系密切，它主要代表了这些变量的信息，公因子f2与变量x3，x4关系密切，它主要代表了这两个变量的信息。 因子负载还可以用来估计观测变量之间的相关系数，例xi和xj之间的相关系数为：即任何两个观测变量之间的相关系数等于对应的因子负载乘积之和。这表明因子分析模型假设观测变量之间的潜在联系通过公因子描述。如果我们把变量xi和因子之间的负载理解为相关系数，变量xi和因子之间的负载理解为通径系数，则变量xi和变量xj之间的关系可通过图42直观地表示出来。f1aj1ai1ai2aj2aimajmfmxiXjf2 图42 变量xi和xj的关系示意图由因子模型导出的变量之间的相关系数可以用来判断因子解是否合适。如果从观测数据计算出的相关系数和从模型导出的变量的相关系数差别很小，那么我们可以说模型很好地拟合了观测数据，因子解是合适的。2、公因子方差 因为： 记 即 则有 变量的方差由两部分组成，一部分由公因子决定，一部分由特殊因子决定。：公因子方差（Communality）也叫共同度，又称公共方差，指观测变量方差中由公因子决定的比例。公因子方差表示了变量方差中能被公因子所解释的部分，公因子方差越大，变量能被因子说明的程度越高。对于上面所举的五个观测变量、两个公因子的例子，计算出每个变量的因子方差见表41。，表明f1和f2两个因子解释了x1变量信息量的95.48%。公因子方差这个指标以观测变量为中心，它的意义在于说明如果用公因子替代观测变量后，原来每个变量的信息被保留的程度。表41 因子负载与公因子方差观测变量f1f2x1x2x3x4x50.95620.87350.17440.56750.85620.20120.28960.89720.75860.33150.95480.84690.83540.89750.84303、因子的贡献每个公因子对数据的解释能力，可以用该因子所解释的总方差来衡量，通常称为该因子的贡献（Contributions），记为。它表示所有因子对每个变量Xi的影响（Extraction）。即：所有公因子的总贡献为：在实际中更常用相对指数，即每个因子所解释的方差占有所变量总方差的比例。设k表示观测总变数， 表示了第j个因子所解释的方差的比例。（% of Variance） 表示所有公因子累积解释的方差比例。(它可以用来作为因子分析结束的判断指标。)三、因子分析的步骤 因子分析通常包括以下四个主要步骤：1计算所有变量的相关矩阵。 计算出相关矩阵后，对相关矩阵进行检验，如果相关矩阵中的大部分相关系数都小于0.3，则不适合做因子分析。SPSS软件提供了三个统计量帮助判断观测数据是否适合做因子分析。 （1）反映象相关矩阵（Anti-image correlation matrix）。其元素等于负的偏相关关系数。如果数据中确实存在公因子，变量之间的偏相关系数应该很小，因为它与其他变量重叠的解释影响被扣除掉了。所以如果反映象相关矩阵中很多元素的值比较大的话，应该考虑该观测数据可能不适合做因子分析。 （2）巴特利特球体检验（Bartlett test of sphericity）。该统计量从检验整个相关矩阵出发，其零假设为相关矩阵是单位阵，如果不能拒绝该假设的话，应该重新考虑因子分析的使用。（3） KMO测度（Kaiser-Meyer-Olkin Measure of Sampling Adequacy）。该测度从比较观测变量之间的简单相关系数和偏相关系数的相对大小出发，其值的变化范围从0到1。KMO值较小时，表明观测变量不适合做因子分析。按以下标准解释KMO的大小：0.9以上， 非常好；0.80.9， 好；KMO= 0.70.8， 一般；0.60.7， 差；0.50.6， 很差；0.5以下， 不能接受。2提取因子。在这一步要确定因子的个数和求因子解的方法。3进行因子旋转。通过坐标变换使因子解的实际意义更容易解释。4计算因子值。因子值是各个因子在每个案例上的得分值.例生育率的影响因素分析生育率受社会、经济、文化、计划生育政策等很多因素影响，但是这些因素对生育率的影响并不是完全独立的，而是交织在一起的，如果直接用选定的变量对生育率进行多元回归分析，最终结果往往只能保留二三个变量，其他变量的信息就丢失了。因此，我们首先对自变量进行因子分析，找出基本的数据结构，用新生成的因子再对生育率进行分析。这样，一方面克服了自变量之间高度相关的缺陷，另一方面，又保留了这些变量的信息。 选择的变量有：人均国民收入、城镇人口比例、初中以上文化程度的人口比例、多孩率、综合节育率。注：原数据中第三个案例的多孩子率和第五个案例中的综合节能育率为缺失值，用样本平均值代替。表43 相关系数矩阵x1x2x3x4x5x1x2x3x4x51.00000. 76096. 54179. 45283. 453411.00000.29294.25283.244711.00000.77123.848831.00000.877721.00000 KaiserMeyerOlkin Measure of Sampling Adequacy=.71321 Bartlett Test of Sphericity =106.77649, Significance =.000004.3求解初始因子在探测性因子分析中，求解初始因子这一步的主要目的是确定能够解释观测变量之间相关关系的最少因子个数。根据所依据的准则不同，有很多种因子解的方法，主要可以分为两类：一类是基于主成分分析模型的主成分分析法；另一类是公因子分析法，包括主轴因子法、极大似然法、最小二乘法、alpha法等等。一、主成分分析法 主成分（Principal components）分析是一种数学变换的方法，它把给定的一组（比如k个）相关变量过线性变换转换成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。（在数学变换中保持变量的方差不变，使第一个变量具有最大的方差，称为第一主成分，第二个变量的方差次大，并且和第一个变量不相关，称为第二主成分，依次类推，k个变量就有k个主成分，最后一个主成分具有方差最小，并且和前面的主成分都不相关。）1、主成分的几何意义 下面在二维空间中来解释一下主成分的几何意义。 假设在二维空间中一些样本点的分布近似一个椭圆（见图43）。如果我们要用一维，即一个轴来表示这些点的相对位置，则这个轴应该选在椭圆的长轴上。因为从总体来看，样本点离这条线最近，在该方向上样本点最分散，该轴就是第一主成分，它能解释最大方差，所包含的信息是最多的。两个变量只可能有两个主成分，第一个主成分确定后，第二个也就确定了，为椭圆的短轴。x2x1f1f2图43 主成分的几何意义2、主成分的求解求解主成分的主要数学工具是特征方程。通过求解观测变量相关矩阵的特征方程，得到k个特征值和对应的k个单位特征向量，把k个特征值按从大到小的顺序排列，它们分别代表k个主成分解释的观测变量的方差，主成分是观测变量的线性组合，线性组合的权数即为相应的单位特征向量中的元素。这样求得的主成分具有下面的性质：1）主成分，之间是不相关的，且的方差等于。2），即特征值的和等于变量数。因为假设变量经过标准化处理，方差等于1，所以k个变量的方差之和等于表示了第j个主成分所解释的方差的比例。3）变量xi与主成分之间的相关系数，即因子负载为:4）每个主成分所解释的方差等于所有变量在该主成分上负载的平方和（Initial Eigenvalues）。 设R为观测变量的相关矩阵，对于矩阵R，存在实数、非零的向量V，使下式成立： 称为矩阵R的特征值，V称为矩阵相应于的特征向量。通过求解特征方程 得到R的k个特征值，把它们从大到小排列为： （k为变量个数） 因为相关矩阵为实对称矩阵，它的特征根都是实数，并且有k个线性无关的特征向量，所以，我们可以求出R的一组正交的单位特征向量，. 为对应于的单位特征向量，满足 则为正交阵，满足 令则有RV=VQ R=VQV 令 则 f的协方差阵 第p个主成分3、因子个数的确定目前还没有精确的定量方法来确定因子个数，实际应用中人们借助一些准则来确定因子的个数，常用的有以下两个：1）特征值准则。即取特征值大于等于l的主成分作为初始因子，放弃特征值小于1的主成分。因为每个变量的方差为1，该准则认为每个保留下来的因子至少应该能解释一个变量的方差，否则达不到精简的目的。特征值准则是实际中应用最普遍的确定因子个数的方法。2）碎石检验准则（SCREE TEST CRITERION）。按照因子被提取的顺序，画出因子的特征值随因子个数变化的散点图，根据图的形状来判断因子的个数（见图44）。该图的形状像一个山峰，从第一个因子开始，曲线迅速下降，然后下降变得平缓，最后变成近似一条直线，曲线变平开始的前一个点认为是提取最大因子数。表44 各因子的特征值及百分比Total Variance ExplainedComponentInitial EigenvaluesExtraction Sums of Squared LoadingsTotal% of VarianceCumulative %Total% of VarianceCumulative %13.25065.00365.0033.25065.00365.00321.22024.39889.4021.22024.39889.4023.2504.99294.394 4.1813.62098.015 5.0991.985100.000 Extraction Method: Principal Component Analysis. 图44 碎石图 因子模型为：x1= 0.76164f1+0.55428f2x2= 0.56836f1+0.76841f2x3= 0.89183f1+0.25499f2x4= 0.87039f1+0.34663f2x5= 0.89118f1+0.37005f2实际中，不能仅仅依赖某一准则来确定因子个数，而是结合几个准则进行判断。保留的因子是否有意义，是否能被解释，也是在确定因子时应该考虑的一个重要方面。保留的因子太多，解释因子时可能会比较困难。二、公因子分析法公因子分析法和主成分分析法不同。主成分分析从解释变量的方差出发，假设变量的方差能完全被主成分所解释；而公因子模型是从解释变量之间的相关关系出发的，假设观测变量之间的相关能完全被公因子解释，变量的方差不一定能完全被公因子解释，这样每个变量被公因子所解释的方差不再是1，而是公因子方差。所以公因子模型在求因子解时，只考虑公因子方差。1、公因子方差的估计在求因子解之前，需要对公因子方差进行估计。有很多种公因子方差的估计方法，常用的有以下几种：1）用主成分分析的结果作为公因子方差的初始估计值。即取特征值大于1的主成分，得到每个变量的公因子方差，把得到的变量的公因子方差作为公因子方差的初始估计值。2）取每个变量和其余变量的相关系数中绝对值最大的，作为该变量的公因子方差的初始估计值。3）用每个变量和剩下的其他变量的复相关系数的平方，即R2作为该变量的公因子方差的初始估计值。采用不同的公因子方差的估计方法，会使因子分析的结果有差异，变量数越少，这种差异越明显，随着变量个数的增加，相关矩阵主对角线上元素值的相对影响减小，采用哪种方法估计公因子方差也就不那么重要了。2、主轴因子法（Principal axis factoring）主轴因子法采用了类似求主成分的方法求因子解，所不同的是用公因子方差来代替相关矩阵主对角线上的元素1，这个新的矩阵称为调整相关矩阵（Adjusted correlation matrix），通过解调整相关矩阵的特征方程得到因子解。3、最小二乘法（Least squares）普通最小二乘法是通过使根据因子模型计算出的相关系数和观测到的相关系数之间的离差平方和达到最小来求得因子解。广义最小二乘法采用同样的原则，所不同的是在迭代过程中每次用特殊因子方差的倒数调整相关矩阵，给特殊因子方差大的变量的相关系数更大的权数。4、最大似然法（Maximum likelihood）最大似然法求因子解的方法和最小二乘法类似，希望因子解能最好地拟合观测变量之间的相关关系。假设样本来源于多维正态总体，通过构造样本的似然函数，其中因子负载为未知参数，使似然函数达到极大，求得因子解，求解过程中相关系数也是用特殊因子方差的倒数加权。最大似然估计的原理很简单，但实际求解非常复杂。5、a因子提取法（Alpha factoring）前面所述方法都假设观测变量是固定的条件下，样本来自某个总体，a因子提取法有所不同，它认为因子分析中包括的变量是来自潜在变量空间中的一个样本，这些变量是通过给定的总体观测到的，因子解应该使提取的公因子和假设存在的公因子有最大的相关。6、映象分析法（Image analysis）映象分析法把一个变量分解为两部分，一部分为变量的公共部分，可以由除该变量之外的其他观测变量的线性组合预测，称为该变量的映象（Image），另一部分为该变量的特有部分，不能被其他变量的线性组合预测，称为变量的反象（Antiimage）。映象分析法同时考虑样本空间和变三空间，映象的平方相当于公因子方差，反象的平方相当于特殊因子方差，最终采用和主成分分析类似的过程求得因子解。三、因子求解方法对结果的影响一般来说，各种求初始因子解的方法所产生的变量的公因子方差差别不大，表46给出了提取两个因子时，各种方法求得的因子分析结果。当公因子方差为1时，主成分法和公因子法的实质是一样的；当公因子方差较低时，主成分解和公因子解的差别就明显了。如果提取相同数目的因子，主成分法比公因子法能够解释更多的方差。当变量数较少时主成分法和公因子法的结果会有差异，当变量数较多时主成分法和公因子解的差异不大。只有当样本量很大时最大似然解比其他解的精度有明显提高。决定选择用哪一种方法时，有两点应该考虑：一是进行因子分析的目的；二是对变量方差的了解程度。如果因子分析的目的是用最少的因子最大程度地解释原始数据中的方差，或者知道特殊因子和误差带来的方差很小，则适合用主成分分析法；如果因子分析的主要目的是确定数据结构但并不了解变量方差的情况，则适合用公因子分析法。大多数情况下，两种方法得到的解很接近。在对因子解有疑问时，应该选择几组公因子方差做因子分析（见表4一6）。表46 公因子方差和两个因子累积解释方差的比例主成分法主轴因子法普通二乘法广义二乘法最大似然法a因子法映象法x1x2x3x4x50.887320.913490.860360.877730.931140.923410.656480.766260.791860.967090.999000.590340.763720.791870.970570.999000.606810.775600.793840.973060.999000.593780.768190.794440.972050.934890.649000.765380.790520.967260.634950.533970.730520.749310.81403因子累积解释方差比例89.482.182.482.682.582.169.34.4 解释因子研究人员往往很关心每个因子的实际意义是什么，否则就很难理解和把握因子分析的结果。因子旋转是寻求这一实际意义的有效工具，因子旋转的目的是通过改变坐标轴的位置，重新分配各个因子所解释的方差的比例，使因子结构更简单，更易于解释。因子旋转不改变模型对数据的拟合程度，不改变每个变量的公因子方差。简单的因子结构指每个变量在尽可能少的因子上有比较高的负载。以因子为轴，因子负载为坐标而做图，则每个变量是该空间中的一个点，该图称为因子负载图。图45画出了两个假想因子的因子负载图，显然，简单结构的位置应该在、处，、的位置使因子的意义相对更明确。因子旋转方式分为两种，一种叫正交旋转，另一种叫斜交旋转。正交旋转是使因子轴之间仍然保持90度角，即因子之间是不相关的，斜交旋转中，因子之间的夹角可以是任意的，即因子之间不一定是正交的。下面分别介绍正交旋转和斜交旋转中常用的几种方法。x6x5x1f1f1f2f2x2x3x4图45 简单结构示意图1正交旋转方法 各种因子旋转方法的目标都是简化因子负载矩阵的行和列，使因子负载向0和1两极分化，由于简化准则不同，产生了各种旋转方法，有三种主要的正交旋转方法（Orthogonal rotation ），四次方最大法、方差最大法和等量最大法。（1）四次方最大法 四次方最大法（QUARTIMAX）是从简化因子负载矩阵的行出发，通过旋转初始因子，使得每个变量只在一个因子上有非零的负载，这时变量的因子解释是最简单的。四次方最大法通过使因子负载矩阵中每一行因子负载平方的方差达到最大，求得因子解。最终的简化准则为： 四次方最大旋转使因子负载按行向0，1两极分化。缺点：是它产生的最后解中往往有一个综合因子，大部分变量在该因子上都有较高的负载，该方法强调了对变量解释的简洁性，牺牲了对因子解释的简洁性。 对于表45的初始因子结果，经过QUARTIMAX的旋转后，x1，x2只在第二因子上有较高的负载，x3，x4，x5只在第一个因子上有较高的负载，x3，x4，x5都是反映社会经济发展水平的指标，因此，第一个因子可以解释为社会经济发展水平因子，x1，x2是和计划生育有关的指标，第二个因子可以解释为计划生育因子（见表47）。表47 QUARTIMAX旋转结果F1F2x1x2x3x4x5.41308.14199.90734.93134.96068.84657.64516.19269.10168.09073（2）方差最大法（） 方差最大法（VARIMAX）和四次方最大法类似，所不同的是它从简化因子负载矩阵的每一列出发，使与每个因子有关的负载平方的方差最大。当只有少数几个变量在某个因子上有较高的负载时，对因子的解释是最简单的，与某个因子有关的负载平方的方差最大时，因子具有最大的可解释性。 方差最大法通过使下式达到最大求得因子解。 方差最大法的直观意义是希望通过因子旋转后，使每个因子上的负载尽可能地拉开距离，一部分变量的负载趋于1，另一部分的负载趋于0，解释因子时，这些小的负载一般可以略去不计。对于表45的初始因子解经VARIMAX旋转后的结果见表48。表48 VARIMAX旋转结果F1F2x1x2x3x4x5.35360.07635.89186.92209.95212.87309.95271.25491.16578.15689（3）等量最大法 (平均正交旋转) 等量最大法（EQUAMAX）把四次方最大法和方差最大法结合起来，取V和Q的加权平均作为简化准则，通过使下式达到最大求得最后因子解。 权数等于m/2，和因子数有关，当因子数为2时，EQUAMAX旋转结果等于VARIMAX的结果。2斜交旋转方法 斜交旋转（Oblique rotation）比正交旋转更具有一般性，它没有因子之间是不相关的这个限制。很明显，要求正交的条件，牺牲了部分因子结构的简洁性，因为斜交旋转中，因子之间的夹角可以是任意的，所以用斜交因子描述变量会使因子结构更为简洁。（1）因子模式和因子结构因子分析中因子负载矩阵也称为因子模式（Factor pattern）矩阵。因子结构（Factor structure）是指因子和变量之间的相关关系。在正交因子解中，因子负载既是模型中的线性权数，同时也表示了变量和因子之间的相关关系，因子结构和因子模式是等同的，所以我们没有区分这二者。在斜交旋转中，因子负载不再等于因子和变量之间的相关系数，因子结构和因子模式之间是有区别的。 则因子结构和因子模式之间有下面的关系：S=BW 表示因子结构矩阵，B 表示旋转后的因子负载矩阵， W表示斜交因子之间的相关系数矩阵。（2）斜交因子解的方法称为OBLIMIN，斜交旋转类似正交旋转，所不同的是因子之间是不独立的。该方法用斜交参考轴求解，所谓斜交参考轴是斜主因子轴的垂直线，斜交因子解应该使变量尽量落在主轴附近，变量落在主轴附近和变量在参考轴上的投影近似为零这两个条件是等同的。OBLIMIN方法首先求出斜交参考矩阵，斜交因子负载阵等于斜交参考阵的逆矩阵再按行进行规范化处理，使矩阵中每一行元素的平方和为1。参数控制因子斜交的程度，的取值一般小于等于零，等于零时，因子之间的斜交程度最大，小于零时，因子之间的斜交程度减小。 表49给出的是表45的数据经OBLIMIN斜交旋转后的因子负载，和正交因子旋转结果相比，x1，x2更靠近因子轴f2，x3，x4，x5更靠近因子轴f1。表410给出的是因子和变量之间的相关系数，两个斜交因子之间的相关程度较低（见表411）。表49 因子模式矩阵F1F2x1x2x3x4x5.19773.11253.89426.94443.97809.84932.99258.08028.02053.03633表410 因子结构矩阵f1f2x1x2x3x4x5.51857.26243.92459.93668.96437.92401.95007.41810.33624.33315表411 因子相关矩阵f1f2f1f21.000000.377761.000003旋转方法的选择大部分的统计软件都提供多种旋转方法供使用者选择，但是目前还没有一个准则能帮助使用者选定一种特定的旋转技术，没有可以令人信服的理由能够说某种旋转方法优于其他的方法。因此，选择旋转方法主要是根据研究问题的需要。如果因子分析的目标只是要进行数据化简，把很多变量浓缩为少数几个因子，而因子的确切含义是什么并不重要，应该选用正交旋转。如果研究的目标是要得到几个理论上有意义的因子，应该选用斜交因子。因为现实中很少有完全不相关的变量，所以，理论上斜交旋转优于正交旋转。但是斜交旋转中因子之间的斜交程度受使用者定义的参数的影响，而且斜交旋转中所允许的因子之间的相关程度是很小的，因为没有人会接受两个高度相关的公因子，如果两个因子确实高度相关，大多数研究者都会选取更少的因子重新进行分析。由于以上原因，斜交旋转的优越性被大大削弱了，正交旋转应用更广泛。如果研究者不知道应该选用哪种旋转方法的话，可以不必选，直接用软件中指定的缺省方法，大多数统计软件中的缺省方法都是VARIMAX。4解释因子实际中，一般认为绝对值大于0.3的因子负载就是显著的。对于0.3的负载而言，变量的方差能被该因子解释的部分不足10%，所以，实际中小于0.3的负载一般可以不解释。因子负载的显著性和样本规模、观测变量数及公因子的序次有关。样本规模增大或观测变量数增多，便因子负载的