多元统计分析 喀什师范学院笔记 第八章 因子分析

1、第五章因子分析，教学目的通过本章，学生应了解因子分析模型、因子负荷矩阵的统计意义、方差旋转的作用，并掌握用因子分析模型分析和研究实际问题的能力。【教学重点】本章着重让学生了解因子模型和因子负荷矩阵的统计意义，掌握因子分析的方法。因子分析是主成分分析的延伸和发展，也是一种多元统计分析方法，它从研究相关矩阵的内在相关性出发，将一些关系复杂的变量简化为几个综合因子。它是多元分析中降维和简化数据结构的一种方法。因子分析的基本思想是根据变量之间的相关性对变量进行分组，使同一组中的变量之间相关性强，而不同组中的变量之间相关性低。每组变量代表一个基本结构，这就是所谓的共同因素。所谓的公共因子和特殊因子之和的

2、最小不可测线性函数可以用来描述观察到的每个变量。因子分析的前提是观察变量之间有很强的相关性。因子分析的数学模型，q因子分析(样本的因子分析)x1=a11 f1 a12 F2 a1 mfm 1 x2=a21 f1 a22 F2 mfm 2.xn=an1f1an2f2anmfmnx1，x2.xn代表n个样本；r型因素分析(变量的因素分析)x1=a11 f1 a12 F2 a1 mfm 1 x2=a21 f1 a22 F2 mfm 2.XP=ap1 f1 AP2 apmpx 1，x2.XP代表p索引。因子模型的假设，1mp；2.模型是线性的；3.特殊因素是相互独立的。4.共同因素和特殊因素是相互独立

3、的；5所有常见因素均为独立正态随机变量，均值为0，方差为1。它的协方差矩阵是单位矩阵。因子模型中各统计量的含义，因子的含义因子分析法中提到了两个因子：共同因子和特殊因子。这两个因素都指一个(或一组)假设的抽象变量。共同因素，共同因素F1，F2。指一组假设的抽象潜在变量。所有原始观测变量表达式中共同出现的因子是独立的、不可观测的理论变量，可以理解为高维空间中相互垂直的m个坐标轴。特殊因素，特殊因素，是指一个假设的抽象变量，它只能用来解释一个原始变量，与其他变量无关，所有的特殊因素和特殊因素以及所有的共同因素都是相互独立的。它代表变量x中不能用普通因素解释的部分。因子负荷，模型中每个共同因子的系数

4、称为因子负荷，它是观察变量和共同因子之间的联系。其统计显著性是ith变量和jth公共因子之间的相关系数，这意味着变量xi取决于公共因子Fj的分量，反映了ith变量对jth公共因子的相对重要性。|联合执行活动|1、联合执行活动的绝对值越大，xi和Fj之间的依赖程度就越大。变量的公因式，即因子负荷矩阵中第一行元素的平方和，称为变量的公因式xi。它反映了所有共同因素对变量xi的影响，是所有共同因素对变量xi方差的贡献。该值越接近1，表示变量的几乎所有原始信息都是由选定的公共因子解释的。该值接近0，表明普通因素对xi影响不大，主要由特殊因素描述。该指标以被观察变量为中心，其意义在于解释如果原始变量被公

5、共因子所取代，每个变量的原始信息保留的程度。例如，该值等于0.9548，表明公共因子提取了原始变量95.48%的信息。公共因子对原始变量的贡献和因子负荷矩阵中元素的平方和称为公共因子对X的贡献，它反映了每个公共因子解释数据的能力，是衡量公共因子相对重要性的指标。该值越大，公共因子Fj对x的影响和作用就越大，模型的特点，1模型不受维度的影响；双因素载荷不是唯一的，这在表面上是不利的。然而，通过要素的转换(即要素轴的旋转)，新要素可以具有更加鲜明的现实意义。要求解因子负荷矩阵，建立因子模型的关键是求因子负荷矩阵。因子负荷矩阵的估计方法有多种，包括主成分法和最大似然法，其中主成分法应用广泛。因子负荷

6、矩阵可以从样本的协方差矩阵或样本的相关矩阵中计算出来。当共有因子和变量一样多，且特殊因子的方差为0时，因子负荷矩阵的jth列应该是ej和相应特征值的平方根的乘积，ej只是jth主成分的系数，因此称为主成分法。因子模型的旋转，在因子分析模型中，共同因子和因子负荷矩阵的解是不唯一的。因子分析的目的不仅仅是找出主要因子，还要知道每个主要因子的含义，从而命名和解释共同因子的结果。如果每个共同因素的含义不明确，并且难以找到合理的解释，可以旋转因素负载矩阵，这样每个变量只对一个共同因素有较大的负载，而对其他共同因素有较小的负载。在获得初始因子模型后，一般来说，负荷矩阵的结构是复杂的，如果能够进一步简化，用

7、共同因子来线性表示标准化指标时就更容易做出有意义的解释，即使矩阵每一列中的元素极化为0和1，但同一行中每个元素的平方和(每个指标的共同因子方差)保持不变，实现这一目标的变换方法称为旋转因子轴。经常使用方差最大的正交旋转，这使得命名和解释共同因素变得容易。目前，没有标准来帮助用户选择特定的旋转技术，也没有令人信服的理由来说某个旋转方法优于其他方法。因此，旋转方法的选择主要是基于研究问题的需要。理论上，斜旋转优于正交旋转，因为在现实中几乎没有完全不相关的变量。但是，斜交旋转中因素之间的斜交程度受到用户定义的参数的影响，并且斜交旋转中允许的因素之间的相关程度非常小，因为没有人会接受两个高度相关的公共

8、因素，这大大降低了斜交旋转的优势，并且使得正交旋转被更广泛地使用。最常用的是方差最大的正交旋转，这是系统的默认值。因子得分，无论是初始因子模型还是旋转因子模型，都是指标作为共同因子的线性组合。在因子分析中，共同因子也可以表示为指标的线性组合，称为因子得分函数，这样每个共同因子的值就可以从指标的观测值中估计出来，称为因子得分。由于因子得分函数中方程的数量少于变量的数量，因子得分无法准确计算，只能进行估计。估计方法有很多，如加权最小二乘法、回归法等。汤姆逊回归法是常用的方法。计算因子得分，该得分可用作其他分析的变量。因子得分也可以用来计算因子总分，因子总分F=Fj * Fj的方差贡献率可以根据因子

9、总分F对样本(变量)进行排序或分类，作为评价的依据。因子分析的任务，找出因子模型和因子得分函数中的所有系数，使用旋转因子模型并结合具体问题对常见因子给出适当的解释，并使用因子得分函数样本的因子得分对样本进行分类或排序。因子分析的计算步骤：1 .标准化原始数据；2.建立变量或样本的相关系数矩阵r(q)；3 .求出R(Q)的特征值和对应的单位特征向量，根据累计贡献率的要求取前m个特征值和对应的特征向量，写出因子负荷矩阵；4、对因子负荷矩阵进行方差最大的正交旋转；5计算因子得分，然后在各种fu中使用它们主成分分析与因子分析的关系，区别在于：主成分分析只是一种一般的变量变换，主成分是可观察的原始变量的

10、线性组合，其作用是简化原始变量组；因子分析构建了一个因子模型。普通因素不能表示为原始变量的线性组合，因素的作用是解释原始变量之间的关系或结构。主成分分析中各主成分的系数是唯一确定的。因子负荷矩阵在因子分析中不是唯一的。当因子分析数学模型中特殊因子的方差为0时，就形成了一种特殊的因子分析形式，即主成分分析。两种方法都可以在SPSS FOR WINDOWS的因子分析过程中实现，但当主成分分析通过因子过程实现时，主成分和原始变量的线性组合不能直接根据表中的数据来编写，每个主成分上的负荷值应该除以相应主成分特征值的平方根。因子分析的微机实现，因子分析在SPSS中的实现。因子分析可以通过选择SPSS主菜

11、单中的分析数据简化因子来实现。2主成分分析在SAS中的实现SAS/ASSIST模块中没有现成的菜单操作，所以因子分析必须通过编程来实现。SAS/STAT模块中的因子处理可以实现因子分析。在SPSS的因子分析过程中，因子分析的前提是观察变量之间应该有很强的相关性。如果变量之间的相关性很小，它们就不能共享公共因子，所以在计算相关矩阵后，可以先对它们进行测试。如果大多数相关系数小于0.3，则不适合进行因子分析。在SPSS软件中提供了三个统计数据来帮助判断数据是否适合进行因子分析：1 .反图像相关矩阵中的元素等于负偏相关系数。偏相关是一个自变量对因变量的唯一解释函数。如果有一个共同的因素，变量之间的偏

12、相关系数应该很小，因为与其他变量重叠的解释影响被扣除了。如果图像相关矩阵中许多元素的值相对较大(对角线元素除外)，则数据可能不适合进行因子分析。2 KMO度量包括整个样本和每个变量，这是与公共相关相关的部分相关程度小的概括。它从比较观测变量之间的简单相关系数和偏相关系数的相对大小开始，其值范围从0到1。当部分相关系数的平方和远小于简单相关系数的平方和时，KMO接近1；当KMO很小时，表明它不适合进行因子分析。KMO0.5，不可接受。巴特利特检验H0:相关矩阵是单位矩阵，适用于因子分析。确定因子个数的准则，即特征值准则以特征值大于或等于1的主成分作为初始因子，放弃特征值小于1的主成分。因为每个变量的方差为1，所以准则认为每个保留因子应该能够解释至少一个变量的方差，否则，不能达到简化的目的。砾石试验标准根据提取因子的顺序，绘制因子特征值随因子数量变化的散点图，根