因子分析实习

因子分析（Factoranalysis）实习实习目的1）熟悉因子分析中Q型和R型的区别，掌握SPSS软件中实现因子分析的过程和参数选择。2）掌握因子载荷、因子得分、方差贡献、变量共同度等含义3）结合专业背景知识解释因子分析的结果。实习原理1．因子分析是将多个实测变量转换为少数几个不相关的综合指标的多元统计方法。在进行地质数据处理中，往往涉及到众多的地质变量及地质观测数据，需要对这众多的变量收集的大量数据进行分析寻找规律。多变量大样本虽然会为我们的研究提供丰富的信息，但由于变量及数据太多，使得分析的复杂性增加；同时在实际工作中，变量间经常具备一定的相关性，使得观测数据所反映的信息有重叠，从而增加了问题分析的复杂性。故人们希望用较少的指标代替原来较多的指标，但依然能反映原有的全部信息，于是就产生了因子分析方法。因子分析就是将大量的彼此可能存在相关关系的变量转换成较少的，彼此不相关的综合因子的一种多元统计方法。这样既可实现变量降维，减少变量的数目，而且使各综合因子代表的信息不重叠。便于分析。因此，因子分析是帮助我们对大量地质观测资料进行分析和作出较为合理解释的一种多变量统计方法。它能够从大量的观测资料中，在关系复杂的情况下，寻找影响它们的共同因素和特征因素。并以原始数据间的相关关系为基础，通过数学方法将许多彼此间具有错综复杂关系(它往往指示出某种地质上的共生组合和成因联系)原始变量用综合因子代替，不仅对原始变量的相关信息损失无几，而且更能反映出地质现象的内在联系。2．如果对变量进行因子分析，称为R型因子分析，也称为主成份分析，R型因子分析研究变量之间的关系，在地质上表现为共生组合、成矿阶段划分等。如果对样品进行因子分析，称为Q型因子分析，也称为主因素分析，在地质上可表现为从大量样品中挑选关键性的典型标本，他们可以看着某种地质作用造成的典型产物，其它样品则可以看着不同地质作用下的混合影响的产物。3..因子分析是通过对地质数据的分析建立一个成因系统。在地质上的作用主要表现在：①通过因子分析可用最简练的形式描述地质对象，即对观测到的大量地质现象进行综合归纳，将原始地质观测中为数众多的变量减少为几个新变量，以再现他们的内在联系。②对因子进行解释可探索各种地质现象的成因联系。例如在研究成矿作用时，因子可能具有矿化阶段的含义。因子分析特点1、因子变量的数量远少于原有的指标变量的数量，对因子变量的分析能够减少分析中的计算工作量。因子变量不是原有变量的取舍，而是根据原始变量的信息进行重新组构，它能构反映原有变量大部分的信息。因子变量之间不存在线性相关关系，对变量分析比较方便。因子变量具有命名解释性，即该变量是对某些原始变量信息的综合和反映。因子分析中有关统计量的统计意义1、因子载荷的统计意义因子载荷aij表示第i变量和第j个公因子的相关系数。即xi在第j个公因子上的相对重要性。因此，aij绝对值越大，则公因子Fj和原变量xi关系越密切。2、因子载荷矩阵中各行元素的平方和—变量共同度(hi2）的统计意义公因子方差hi2＜1,意义在于提供转化为因子空间后，保留原来各变量的信息有多少。如公因子方差接近于1，则说明该变量的几乎全部原始信息都被所选取的因子说明了。3、因子载荷矩阵中各列元素的平方和（Sj）为公因子Fj的方差贡献它是衡量公因子相对重要性的指标，其值越高，说明因子重要程度越高。它等于公因子所对应的特征值。4、因子表达式得到的因子结构表达式，可以公因子表达为各变量的线性形式。公因子的表达式也称为因子得分函数系数。5、因子旋转由于主因子分析的目的不仅仅是找出几个主要公因子，更重要的是知道主因子反映的具体意义（就地质应用而言，就是要知道每个主因子所代表的地质意义）。因此得到的初始因子载荷矩阵有时并不满足“简单结构准则”，因为可能出现一些“中等载荷”。这时，各因子的“典型代表”不很突出，因而容易使因子的意义含糊不清，不利于对因子进行明确的解释。为克服这种缺点，必须对因子载荷进行旋转变换使其结构简化，即使每个因子载荷的平方按列向0，1两极分化，第j个主因子的代表性变量在Fj因子轴上的载荷系数等于1或趋于1，而其它因子轴上的系数等于或趋于0。这样就能使典型变量更加突出。因子旋转分正交旋转和斜交旋转两种。地质中常用的方法为方差最大正交旋转法（Varimaxmethod）—因子载荷矩阵中各因子载荷值的方差达到最大作为因子载荷矩阵简化的准则。因子分析的步骤因子分析的核心问题有两个：一是如何构造因子变量；二是如何对因子变量进行命名解释。因此，因子分析的基本步骤和解决思路就是围绕这两个核心问题展开的。因子分析常常有以下四个基本步骤：确认待分析的原变量是否适合作因子分析。构造因子变量。利用旋转方法使因子变量更具有可解释性。计算因子变量得分。确定待分析的原有若干变量是否适合于因子分析因子分析是从众多的原始变量中构造出少数几个具有代表性意义的因子变量，这里面有一个潜在的要求，即原有变量之间具有较强的相关性。如果原有变量之间不存在较强的相关关系，那么就无法从中综合出能反映某些变量共同特征的少数公共因子变量来。因此，在因子分析时，需要对原有变量做相关分析。最简单的方法是计算变量之间的相关系数矩阵。如果相关系数矩阵在进行统计检验中，大部分相关系数都小于0.3并且未通过统计检验，那么这些变量就不适合进行因子分析。SPSS在因子分析过程中还提供了几种检验方法来判断变量是否适合于做因子分析，主要的统计检验有以下几种：1、巴特利特球形检验(BartlettTestofSphericity)巴特利特球形检验是以变量的相关系数矩阵为出发点的。它的零假设相关系数矩阵是一个单位阵，即相关系数矩阵对角线上的所有元素都为1，所有非对角线上的元素都为零。巴特利特球形检验的统计量是根据相关系数矩阵的行列式得到的。如果该值较大，且其对应的相伴概率值小于用户设定的显著性水平，那么应该拒绝零假设，认为相关系数据不可能是单位阵，也即原始变量之间存在相关性，适合于作因子分析；相反，如果该统计量比较小，且其对应的相伴概率大于显著性水平，则不能拒绝零假设，认为相关系数矩阵可能是单位阵，不宜于作因子分析。2、反映像相关矩阵检验(Anti-imagecorrelationmatrix)反映像相关矩阵检验以变量的偏相关系数矩阵为出发点，将偏相关系数矩阵的每个元素取反，得到反映像相关矩阵。偏相关系数是在控制了其他变量对两变量影响的条件下计算出来的相关系数，如果变量之间存在较多的重叠影响，那么偏相关系数就会较小。因此，如果反映像相关矩阵中有些元素的绝对值比较大，那么说明这些变量不适合于作因子分析。3、KMO（Kaiser—Meyer—Olkin）检验KMO统计量用于比较变量间简单相关和偏相关系数，计算公式如下：其中：rij2是变量i和变量j之间的简单相关系数，pij2是变量i和变量j之间的偏关系数。KMO的取值范围在0和1之间。如KMO的值越接近于1，则所有变量之间的简单相关系数平方和远大于偏相关系数平方和，因此越适合于做因子分析。如果KMO越小，则越不适合于做因子分析。Kaiser给出了一个KMO标准：0.9＜KMO：非常适合0.8＜KMO＜0.9：适合0.7＜KMO＜0.8：一般0.6＜KMO＜0.7：不太适合KMO＜0.5：不适合构造因子变量因子分析中有多种确定因子变量的方法，如基于主成分模型的主成分分析法和基于因子分析模型的主轴因子法、极大似然法、最小二乘法等。其中基于主成分模型的主成分分析法是试用最多的因子分析方法之一。进行主成分分析主要步骤如下：1.

指标数据标准化；2.

指标之间的相关性判定；3.

确定主成分个数m；4.

主成分Fj表达式；5.

主成分Fj命名。利用旋转方法使因子变量更具有可解释性建立因子分析数学模型的目的不仅要找出公共因子并对变量进行分组，更重要的是要知道每个公共因子的意义（就地质应用而言，就是要知道每个主因子所代表的地质意义），以便对实际问题作出科学分析。如果求出主因子解后，各个主因子的典型代表变量不很突出，因而容易使因子的意义含糊不清，不利于对因子进行明确的解释。为克服这种缺点，必须对因子载荷进行旋转变换使其结构简化，这样就能使典型变量更加突出。旋转的方法有很多，正交旋转(orthogonalrotation)和斜交旋转(obliquerotation)是因子旋转的两类方法。最常用的方法是最大方差正交旋转法(Varimax)。进行因子旋转，就是要使因子载荷矩阵中因子载荷的平方值向0和1两个方向分化，使大的载荷更大，小的载荷更小。因子旋转过程中，如果因子对应轴相互正交，则称为正交旋转；如果因子对应轴相互间不是正交的，则称为斜交旋转。计算因子变量得分计算因子得分是因子分析的最后一步。因子变量确定以后，对每一样本数据我们希望得到它们在不同因子上的具体数值，这些数值就是因子得分。有了因子得分，我们就可以针对维数少的因子得分来进行研究。计算因子得分首先将因子变量表示为原有变量的线性组合：估计因子得分的方法有回归法、Bartlette法、Anderson-Rubin法等。实习内容基于SPSS的因子分析实现。实例及SPSS中有关参数的含义：【例】重庆是一个新兴直辖市，由于历史原因，重庆地方经济发展极不平衡，地区差异明显，是大城市带动大农村的格局，属于典型的二元经济结构。在重庆经济的发展战略中，怎样对自身的经济发展状况进行评价，协调内部的经济结构，找到拉动经济的“增长极”，则是实现重庆经济崛起，将重庆建设成为长江中上游中心城市战略目标的基础前提。在衡量一个地区的经济发展状况时，并不能仅仅简单比较一两项指标数据，而是应该从社会经济发展的各个方面综合考察，从而描述社会经济的现状，找出存在的问题及其影响因素，为地区经济发展提高制定依据。本例使用因子分析综合评价方法，对重庆市40个市区县的经济情况进行分析，并按经济综合实力评价各区市县的地位和发展状况。在分析过程中，选取了能够反映经济发展总体水平的9项指标（均以万元为单位），指标数据来源于重庆市统计年鉴2001年。主要指标为：X1：GDPX2：工业总产值X3:农业总产值X4:水陆货运总量X5:邮电通讯总量X6：固定资产投资X7:预算内财政收入X8:城乡居民储蓄余额X9:社会消费品零售额1、操作步骤：按Analyze(分析)->DataReduction(数据减缩)->FactorAnalysis(因子分析)的顺序。得如下“FactorAnalysis(因子分析)”对话框。将对话框中左侧的变量列表中变量x1～x9添加到Variables(变量)框中。点击Descriptives(描述)按钮，FactorAnalysis：Descriptives对话框。对其进行选择。(本例选择如下图所示)Statistics(统计)框用于选择输出哪些相关的统计量，其中：Univariatedescriptives(单因变量描述)：要求输出各变量的均数与标准差。Initialsolution(初始解)：表示输出初始分析结果。输出的是因子提取前分析变量的公因子方差，是一个中间结果。对主成分分析来说，这些值是要进行分析变量的相关或协方差矩阵的对角元素；对因子分析模型来说，输出的是每个变量用其他变量作预测因子的载荷平方和。CorrelationMatrix(相关矩阵)框中提供了几种检验变量是否适合作因子分析的检验方法，其中：Coefficients(系数)：要求计算相关系数矩阵。Significancelevels(显著性水平)：显著性水平。选择此项给出每个相关系数的单尾假设检验的水平。Determinant(行列式)：相关系数矩阵的行列式。Inverse(逆矩阵)：相关系数矩阵的逆矩阵。Reproduced(再生)：再生相关阵。选择此项给出因子分析后的相关阵，还给出残差，即原始相关与再生相关之间的差值。Anti-image(反映像)：反映像相关矩阵检验。反映像相关阵，包括偏相关系数的取反；反映像协方差阵，包括偏协方差的取反。一个好的因子中，除了对角线上系数较大外，其他元素应该比较小。KMOandBartlett‘stestofsphericity：KMO检验和巴特利特球形检验。KMO检验，检验变量间的偏相关是否很小；巴特利特球形检验，检验相关阵是否是单位阵。选择后单击Continue按钮返回FactorAnalysis对话框。单击Extraction(抽取)按钮，弹出FactorAnalysis：Extraction对话框。(本例选择如下图所示)选择因子提取方法，因子提取方法在Method下拉框中选取，SPSS共提供了7种方法:Principalcomponents：主成分分析法。该方法假定原变量是因子变量的线性组合。第一主成分有最大的方差，后续成分，其可解释的方差越来越少。这是使用最多的因子提取万法。Unweightedleastsquares：末加权最小平方法，该方法使得观测的和再生的相关矩阵之差的平方和最小，不记对角元素。GeneraIizedleastsquares：综合最小平方法，用变量的倒数值加权，使得测的和再生的相关矩阵之差的平方和最小。Maximumlikelihood：极大似然估计法，此方法不要求多元正态分布。Principalaxisfactoring：主轴因子法，使用多元相关的平方作为对公因子万差的初始估计。初始估计公因子方差时多元相关系数的平方置于对角线上。这些因子载荷用于估计新公因子方差，替换对角线上的前一次公因子方差估计。这样的迭代持续到，公因子方差的变化满足提取因子的收敛判据。Alphafactoring：α因子法。Imagefactoring：映像因子提取法，也称多元回归法。由Guttman提出，根据映像学原理提取公因子的方法。把一个变量看为其他各个变量的多元回归。Analyze(分析)框用于选择提取因子变量的依据，其中：Correlationmatrix(相关矩阵)：表示依据相关系数矩阵。Covariancematrix(协方差矩阵)：表示依据协方差矩阵。Extract(提取)框用于指定因子个数的标准，其中：Eigenvaluseover(特征值超过)：表示该选项后面可以输入一个特征值，SPSS将提取特征值大于该值的因子，SPSS默认为1。指定特征值提取因子个数是SPSS默认的方法。Numberoffactors(因子数目)：表示该选项后面可以输入要提取因子的个数。SPSS将提取指定个数的因子。理论上有多少个变量，就可以有多少个因子，因此输入的数值应该介于0和分析变量数之间的整数。Display(显示)框用于选择输出哪些与因子提取有关的信息，其中：Unrotatedfactorsolution(因子末旋转时的解)：输出末经过旋转的因子载荷矩阵。Screeplot(碎石图)：输出因子与其特征值的碎石图，按特征值大小排列，有助于确定保留多少个因子。MaximumiterationsforConvergence(收敛的最大迭代数)框用于指定因子分析收敛的最大迭代次数，系统默认的最大迭代次数为25。单击FactorAnalysis时对话框中的Rotation(旋转)按钮，弹出FactorAnalysis：Rotation对话框。(本例选择如下图所示)该对话框用于选择因子载荷矩阵的旋转方法。旋转的目的是为了简化结构，以帮助解释因子。SPSS默认不进行旋转(None)。Method(方法)框用于选择因子旋转方法，其中：None(无)：不作因子旋转。Varimax(方差最大)：方差极大法旋转，又称正交旋转。它使得每个因子上的具有最高载荷的变量数目最小，因此可以简化对因子的解释。DirectOblimin(直接斜交)：直接斜交旋转，指定该项，可以在下面的矩形框中输入Delta值，该值在0一1之间。0值产生最高的相关系数。Quartimax(四次最大正交)：四分最大正交旋转，对变量作旋转，该旋转方法使得每个变量中需要解释的因子数最少。Equamax(平均正交)：平均正交旋转，是Varimax方法和Quartimax方法的结合，对变量和因子均作旋转。Promax(斜交)：斜交旋转方法，允许因子间相关。它比直接斜交旋转更快，因此适用于大数据的因子分析。Display(显示)框用于选择输出哪些与因子旋转有关的信息，其中：Rotatedsolution(旋转结果)：输出旋转后的因子载荷矩阵，对于正交旋转方法，给出旋转以后的因子矩阵模式和因子转换矩阵；对于斜交旋转显示旋转以后的因子矩阵模式、因子结构矩阵和因子间的相关矩阵。Loadingplot(载入绘图)：输出载荷散点图。指定该项将给出两两因子为坐标的各个变量的载荷散点图。如果有两个因子，则给出各原始变量在因子1和因子2坐标系中的散点图。如果多于两个，则给出前3个因子的三维因子载荷散点图。如果只提取出了一个因子，则不会输出散点图。选择此项，给出旋转以后的因子载荷图。单击FactorAnalysis对话框中的Scores(得分)按钮，弹出FactorAnalysis:Scores对话框。(本例选择如下图所示)该对话框用以选择对因子得分进行设置，其中：Saveasvariables(另存为新变量)将因子得分作为新变量保存在数据文件中。程序运行结束后，在数据编辑窗口中将显示出新变量。系统提供3种估计因子得分系数的方法，可在Method(方法)框中进行选择：Regression：回归法。其因子得分均值为0，方差等于估计因子得分与实际因子得分之间的多元相关的平方。Bartlett：巴特立特法。因子得分均值为0，超出变量范围的各因子平方和被最小化。Anderson-Rubin：因子得分均值为0，标准差为1，彼此不相关。Displayfactorscorecoefficientmatrix(显示因子得分系数矩阵)：选择此项将在输出窗口中显示因子得分系数矩阵。单击FactorAnalysis对话框中的Options(选项)按钮，弹出FactorAnalysis：Options对话框。(本例选择如下图所示)该对话框可以指定输出其他因子分析的结果，并选择对缺失数据的处理万法。其中：MissingVaIues框用于选择缺失值处理方法：Excludecaseslistwise：去除所有含缺失值的个案后再进行分析。Excludecasespairwise：当分析计算涉及到含有缺失值的变量，则去掉在该变量上是缺失值的个案。Replacewithmean：当分析计算涉及到含有缺失值的变量时，用平均值代替缺失值。CoefficientDisplayFormat框用于选择载荷系数的显示格式：Sortedbysize：载荷系数按照数值的大小排列，并构成矩阵，使得在同一因子上具有较高载荷的变量排列在一起，便于得到结论。Suppressabsolutevalueslessthan：不显示那些绝对值小于指定值的载荷系数。选中此项，需要在后面的框中输入一个0—1之间的数，系统默认该值为0.1。选择该项可以突出载荷较大的变量。2、输出结果与分析：下表输出的是KMO检验和Bartlett球度检验结果。KMOandBartlett'sTestKaiser-Meyer-OlkinMeasureofSamplingAdequacy..766Bartlett'sTestofSphericityApprox.Chi-Square413.900Df36Sig..000KMO统计量为0.766>0.7，因子分析的效果一般。再由Bartlett球度检验，Sig<0.001，可知各变量的独立性假设不成立，即变量间有较强的相关性。故因子分析的适用性检验通过。下表输出的是因子分析后因子提取和因子旋转的结果。其中，InitialEigenvalues描述了因子分析初始解对原有变量总体描述情况。ExtractionSumsofSquaredLoadings是从初始解中按照一定标准(特征值>1)提取了3个公共因子后对原有变量总体的描述情况。RotationSumsofSquaredLoadings是旋转以后得到的因子对原有变量总体的刻画情况。由关系系数矩阵R计算得到的三个量：Total：因子变量的方差贡献(特征值)。%ofVariance：各因子变量的方差贡献率。Cumulative%：因子变量的累计方差贡献率。由上表可知，只有前三个因子的特征值大于1，因此SPSS只提取了前三个公因子。第一因子的方差占所有方差的65%左右，前三个因子的方差贡献率达到89.031%，因此选前三个因子已经足够描述经济发展的总体水平。下表输出的是提取出三个公因子后，各变量的共同度。变量共同度表示各变量中所含信息能被提取出的这三个公因子所表示的程度。表中第二列是根据因子分析初始解计算出的变量共同度。第三列是根据因子分析最终解计算出的变量共同度，由表可知除了水陆货物周转量的共同度为67.6%，城乡居民储蓄存款余额的共同度为78.3%，其余变量的共同度都在80%以上，因此这三个公因子对各经济指标的解释能力是比较强的。下图输出的是因子分析碎石图。碎石图用于显示各因子的重要程度，它的横坐标为公共因子序号，纵坐标是公共因子的特征值大小。它将因子按特征值从大到小依次排列，从中非常直观的可以了解到哪些是主要的因子。前面陡峭的对应较大的特征值，作用明显；后面平坦的对应较小的特征值，其影响不明显。由上图可见，前三个因子的散点位于陡坡上，特征值均大于1，而后六个因子散点形成了平缓的平台，且特征值均小于1，因此至多考虑三个公因子即可。下表是最终的因子载荷矩阵A它是各因子对各变量的影响程度。根据该表可以得到因子分析模型X=AF+Cε可见，原来用9个变量来表示经济发展水平，经过因子分析后，只需要三个因子就可以描述了。下表是按方差极大法对因子载荷矩阵旋转后的结果。从表中可见，第一公因子除了在工业总产值和农业总产值的其他变量上都有较大载荷，主要表现除了工农业外的各经济指标的综合影响，因此命名它为经济发展的综合实力因子。第二公因子在工业总产值上有很大载荷，表现工业在经济发展中的作用，命名为工业发展的影响因子。第三公因子只在农业总产值上有很大载荷，表现农业在经济发展中的作用，命名为农业发展的影响因子。这三个因子的性质及其顺序较好地体现了其代表的产业对社会经济发展的影响和地位，也完全符合社会经济发展的规律，即在整体经济中的地位逐渐降低，而第三产业的比重逐渐增大。下表输出的是因子转换矩阵。标明了因子提取的方法是主成分分析法，旋转的方法是方差极大法。下表是因子得分矩阵。根据该表，可得因子得分函数：F1=0.062*X1-0.293*X2-0.015*X3+0.065*X4+0.413*X5+0.029*X6+0.162*X7+0.219*X8+0.24*X9F2=0.183*X1+0.669*X2-0.047*X3+0.163*X4-0.395*X5+0.237*X6+0.037*X7-0.064*X8-0.071*X9F3=0.211*X1-0.133*X2+0.888*X3-0.079*X4-0.062*X5+0.113*X6+0.079*X7-0.052*X8-0.099*X9SPSS将根据这3个因子得分函数，自动计算3个因子得分，并将3个因子得分作为新变量，保存到SPSS数据编辑窗口中(分别为FAC1_1、FAC1_2、FAC1_3)。如下图：下表是因子变量的协方差矩阵。可以看出不同因子之间的数据为0，说明3个因子变量之间是不相关的。三个公因子分别从不同方面反映了重庆市各区市县的经济发展状况的总体水平，但单独使用某一公因子并不能对各区市县在全市中的地位作出综合评价，因此按各公因子对应的方差贡献率为权系数计算如下综合统计量：其中λ1，λ2，λ3为三个公因子的特征值。在SPSS用程序计算综合因子得分：最后各区市县因子得分区市县F1F2F3综合得分排名渝中区5.382-1.401-1.5513.531万州区1.5250.2371.0781.2852涪陵区0.8280.6020.9170.8073合川市0.7330.0031.6660.754江津市0.310.3993.080.6795江北区0.6941.693-1.6790.5296永川市0.3820.5791.020.4927沙坪坝0.3232.393-0.7660.4758渝北区0.2490.4630.7690.3479长寿县0.2150.4890.4860.28810九龙坡-0.2943.757-0.3120.27611南岸区0.1821.968-1.0690.27312开县0.076-0.3071.2740.17713北碚区0.1640.276-0.6020.08114巴南区-0.2740.5361.2490.03715铜梁县-0.106-0.2890.553-0.04716垫江县-0.085-0.304-0.095-0.11817綦江县-0.264-0.2190.745-0.12818梁平县-0.194-0.4420.032-