第九章因子分析

1FactorAnalysis因子分析

andInferenceforStructuredCovarianceMatrices信息管理学院朱永军2HistoryEarly20th-centuryattempttodefineandmeasureintelligenceDevelopedprimarilybyscientistsinterestedinpsychometricsAdventofcomputersgeneratedarenewedinterestEachapplicationmustbeexaminedonitsownmerits2/2/2023中国人民大学六西格玛质量管理研究中心3

因子分分析

目录上页下页返回结束

因子分析（factoranalysis）模型是主成分分析的推广。它也是利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。相对于主成分分析，因子分析更倾向于描述原始变量之间的相关关系；因此，因子分析的出发点是原始变量的相关矩阵。因子分析的思想始于1904年CharlesSpearman对学生考试成绩的研究。近年来，随着电子计算机的高速发展，人们将因子分析的理论成功地应用于心理学、医学、气象、地质、经济学等各个领域，也使得因子分析的理论和方法更加丰富。本章主要介绍因子分析的基本理论及方法，运用因子分析方法分析实际问题的主要步骤及因子分析的上机实现等内容。

因子分析的基本思想是根据相关性大小把原始变量分组，使得同组内的变量之间相关性较高，而不同组的变量间的相关性则较低。每组变量代表一个基本结构，并用一个不可观测的综合变量表示，这个基本结构就称为公共因子。对于所研究的某一具体问题，原始变量就可以分解成两部分之和的形式，一部分是少数几个不可测的所谓公共因子的线性函数，另一部分是与公共因子无关的特殊因子。在经济统计中，描述一种经济现象的指标可以有很多，比如要反映物价的变动情况，对各种商品的价格做全面调查固然可以达到目的，但这样做显然耗时耗力，为实际工作者所不取。实际上，某一类商品中很多商品的价格之间存在明显的相关性或相互依赖性，只要选择几种主要商品的价格或进而对这几种主要商品的价格进行综合，得到某一种假想的“综合商品”的价格，就足以反映某一类物价的变动情况，这里，“综合商品”的价格就是提取出来的因子。2/2/2023中国人民大学六西格玛质量管理研究中心4

目录上页下页返回结束

因子分析的基本思想2/2/2023中国人民大学六西格玛质量管理研究中心5

目录上页下页返回结束

这样，对各类商品物价或仅对主要类别商品的物价进行类似分析然后加以综合，就可以反映出物价的整体变动情况。这一过程也就是从一些有错综复杂关系的经济现象中找出少数几个主要因子，每一个主要因子就代表经济变量间相互依赖的一种经济作用。抓住这些主要因子就可以帮助我们对复杂的经济问题进行分析和解释。因子分析还可用于对变量或样品的分类处理，我们在得出因子的表达式之后，就可以把原始变量的数据代入表达式得出因子得分值，根据因子得分在因子所构成的空间中把变量或样品点画出来，形象直观地达到分类的目的。

因子分析不仅仅可以用来研究变量之间的相关关系，还可以用来研究样品之间的相关关系，通常将前者称之为R型因子分析，后者称之为Q型因子分析。我们下面着重介绍型因子分析。2/2/2023中国人民大学六西格玛质量管理研究中心6

目录上页下页返回结束

CharlesSpearman提出因子分析时用到的例子为了对因子分析的基本理论有一个完整的认识，我们先给出CharlesSpearman1904年用到的例子。在该例中Spearman研究了33名学生在古典语（C）、法语（F）、英语（E）、数学（M）、判别（D）和音乐（Mu）六门考试成绩之间的相关性并得到如下相关阵：2/2/20237

目录上页下页返回结束

式中，为第门科目标准化后的考试成绩，均值为0，方差为1。为公共因子，对各科考试成绩均有影响，是均值为0，方差为1。为仅对第门科目考试成绩有影响的特殊因子，与相互独立。也就是说，每一门科目的考试成绩都可以看作是由一个公共因子（可以认为是一般智力）与一个特殊因子的和。

Spearman注意到上面相关阵中一个有趣的规律，这就是如果不考虑对角元素的话，任意两列的元素大致成比例，对C列和E列有：于是Spearman指出每一科目的考试成绩都遵从以下形式：（6.1）

2/2/2023中国人民大学六西格玛质量管理研究中心8

目录上页下页返回结束

(6.2)式与无关，也正与在相关矩阵中所观察到的比例关系相一致。在满足以上假定的条件下，就有：

于是，有

（6.2）除此之外，还可以得到如下有关方差的关系式：

2/2/2023中国人民大学六西格玛质量管理研究中心9

目录上页下页返回结束

因此，常数的意义就在于其平方表示了公共因子解释的方差的比例，因此被称之为因子载荷，而被称作共同度。对Spearman的例子进行推广，假定每一门科目的考试成绩都受到个公共因子的影响及一个特殊因子的影响，于是（6.1）就变成了如下因子分析模型的一般形式：(6.4)因为是一个常数，与相互独立且与的方差均被假定为1。于是有（6.3）2/2/2023中国人民大学六西格玛质量管理研究中心10

目录上页下页返回结束

式中，为标准化后的第门科目的考试成绩，均值为0，方差为1。是彼此独立的公共因子，都满足均值为0，方差为1。为特殊因子，与每一个公共因子均不相关且均值为0。则为对第门科目考试成绩的因子载荷。对该模型，有：（6.5）式中，表示公共因子解释方差的比例，称为的共同度，相对的可称为的特殊度或剩余方差，表示的方差中与公共因子无关的部分。因为共同度不会大于1，因此，。由模型(6.4)还可以很容易地得到如下与相关系数的关系式：

（6.6）所以当与在某一公共因子上的载荷均较大时，也就表明了与的相关性较强。11因子分析的本质用少数潜在的，不可观测的随机因素来描述多个变量之间的相关关系.数据应该是高度相关，但是使用相关性比较小的因素来表示12例题

9.8

ExaminationScores13正交因子模型14其中15正交因子模型假设16OrthogonalFactorModel1718Example9.1:Verification19例题

9.2:无解情况20当m>1时，L的不确定性2/2/2023中国人民大学六西格玛质量管理研究中心21

目录上页下页返回结束

主成分法用主成分法确定因子载荷是在进行因子分析之前先对数据进行一次主成分分析，然后把前面几个主成分作为未旋转的公因子。相对于其它确定因子载荷的方法而言，主成分法比较简单。但是由于用这种方法所得的特殊因子之间并不相互独立，因此，用主成分法确定因子载荷不完全符合因子模型的假设前提，也就是说所得的因子载荷并不完全正确。但是当共同度较大时，特殊因子所起的作用较小，因而特殊因子之间的相关性所带来的影响就几乎可以忽略。事实上，很多有经验的分析人员在进行因子分析时，总是先用主成分法进行分析，然后再尝试其他的方法。2/2/2023中国人民大学六西格玛质量管理研究中心22

目录上页下页返回结束

式中，为随机向量的相关矩阵的特征值所对应的特征向量的分量，因为特征向量之间彼此正交，从到的转换关系是可逆的，很容易得出由到的转换关系为：

用主成分法寻找公因子的方法如下：假定从相关阵出发求解主成分，设有个变量，则我们可以找出个主成分。将所得的个主成分按由大到小的顺序排列，记为，则主成分与原始变量之间存在如下关系式:（9.11）

2/2/2023中国人民大学六西格玛质量管理研究中心23

目录上页下页返回结束

(6.12)我们对上面每一等式只保留前个主成分而把后面的部分用代替，则（6.12）式变为：

(6.13)2/2/2023中国人民大学六西格玛质量管理研究中心24

目录上页下页返回结束

式（6.13）在形式上已经与因子模型(6.7)相一致，且（）之间相互独立，且与之间相互独立，为了把转化成合适的公因子，现在要做的工作只是把主成分变为方差为1的变量。为完成此变换，必须将除以其标准差，由上一章主成分分析的知识知其标准差即为特征根的平方根。于是，令，，则(6.13)式变为：这与因子模型（6.7）完全一致，这样，就得到了载荷矩阵和一组初始公因子（未旋转）。2/2/2023中国人民大学六西格玛质量管理研究中心25

目录上页下页返回结束

一般设为样本相关阵的特征根，为对应的标准正交化特征向量。设，则因子载荷矩阵的一个解为：(6.14)

共同度的估计为：(6.15)

那么如何确定公因子的数目呢？一般而言，这取决于问题的研究者本人，对于同一问题进行因子分析时，不同的研究者可能会给出不同的公因子数；当然，有时候由数据本身的特征可以很明确地确定出因子数目。当用主成分法进行因子分析时，也可以借鉴确定主成分个数的准则，如所选取的公因子的信息量的和达到总体信息量的一个合适比例为止。但对这些准则不应生搬硬套，应按具体问题具体分析，总之要使所选取的公因子能够合理地描述原始变量相关阵的结构，同时要有利于因子模型的解释。26PrincipalComponentSolution27PrincipalComponentSolution28残差矩阵29确定因子数目30例题

9.3

消费者偏好数据31Example9.3

确定公因子数

m32Example9.3

PrincipalComponentSolution33Example9.3

Factorization34例题

9.4

股票价格数据WeeklyratesofreturnforfivestocksX1:AlliedChemicalX2:duPontX3:UnionCarbideX4:ExxonX5:Texaco35Example9.4

StockPriceData36Example9.4

PrincipalComponentSolution37Example9.4

残差矩阵

m=2时38最大似然方法39结论

9.1相关系数矩阵的分解Example9.5:Factorizationof

StockPriceDataExample9.5

MLResidualMatrixExample9.6

OlympicDecathlonDataExample9.6

FactorizationExample9.6

PCResidualMatrixExample9.6

MLResidualMatrix大样本检验公因子数的大样本检验Example9.7

股票价格模型检验Example9.8

ExaminationScoresExample9.8

MaximumLikelihoodSolutionExample9.8

FactorRotationExample9.8

RotatedFactorLoading方差最大化Varimax准则Example9.9:Consumer-PreferenceFactorAnalysisExample9.9

FactorRotationExample9.10

股票价格因子分析Example9.11

奥运十项全能数据因子分析Example9.11

RotatedMLLoadings因子得分加权最小二乘方法主成分方法计算因子得分正交因子模型回归模型用回归方法计算因子得分Example9.12

StockPriceDataExample9.12

FactorScoresbyRegressionExample9.13:SimpleSummaryScoresforStockPriceData因子分析的步骤1.采用主成分方法进行因子分析LookforsuspiciousobservationsbyplottingthefactorscoresTryavarimaxrotation2.使用最大似然方法计算因子分析，包括采用方差最大方法进行旋转AStrategyforFactorAnalysis3.比较上述两种方法的结果Dotheloadingsgroupinthesamemanner?PlotfactorscoresobtainedforPCagainstscoresfromMLanalysis4.对其他的公因子重复第三步。5.对于大型数据，可以分成两半对每一部分进行因子分析.比较两类结果，及其同完全数据的结果。Example9.14

Chicken-BoneDataExample9.14:PrincipalComponentFactorAnalysisResultsExample9.14:MaximumLikelihoodFactorAnalysisResultsExample9.14

ResidualMatrixforMLEstimatesExample9.14

FactorScoresforFactors1&2Example9.14

PairsofFactorScores:Fac