SAS讲义因子分析

1、第三十六课 因子分析因子分析（Factor Analysis）是主成分分析的推广，它也是从研究相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。具体地说，就是要找出某个问题中可直接测量的、具有一定相关性的诸指标，如何受少数几个在专业中有意义，又不可直接测量到，且相对对立的因子支配的规律，从而可用诸指标的测定来间接确定诸因子的状态。一、 何为因子分析因子分析的目的是用有限个不可观察的潜在变量来解释原变量间的相关性或协方差关系。在这里我们把不可观察的潜在变量称为公共因子（common factor）。在研究样品时，每个样品需要检测很多指标，假设

2、测得个指标，但是这个指标可能受到(<)个共同因素的影响，再加上其他对这些指标有影响的因素。写成数学的形式就是：(36.1)利用矩阵记号有(36.2)各个指标变量都受到的影响，因此称为公共因子，称为因子载荷矩阵，是单变量所特有的因子，称为的特殊因子（unique factor）。设，分别是均值为0，方差为1的随机变量，即；特殊因子，分别是均值为0，方差为，的随机变量，即；各特殊因子之间及特殊因子与公共因子之间都是相互独立的，即及。错误！未定义书签。是第个变量在第个公共因子上的负荷，从投影的角度看，就是在坐标轴上的投影。主成份分析的目标是降维，而因子分析的目标是找出公共因素及特有的因素，即公

3、共因子与特殊因子。在主成份分析中，残差通常是彼此相关的。在公因子分析中，特殊因子起到残差的作用，但被定义为彼此不相关且和公因子也不相关。而且每个公因子假定至少对两个变量有贡献，否则它将是一个特殊因子。在开始提取公因子时，为了简便还假定公因子彼此不相关且具有单位方差。在这种情况下，向量的协方差矩阵可以表为(36.3)这里D=diag()，diag表示对角矩阵。如果假定已将错误！未定义书签。标准化，也就是说错误！未定义书签。的每一个分量的均值都为0，方差都是1，即，那么(36.4)记，则有(36.5)错误！未定义书签。反映了公共因子f对的影响，称为公共因子f对的“贡献”。实际反映了变量对公共因子f

4、的依赖程度。另一方面，还可以考虑指定的一个公共因子对各个变量的影响。实际上，对各个变量的影响可由中第列的元素来描述，那么(36.6)称为公共因子对的“贡献”。显然越大，对的影响就越大，成为衡量因子重要性的一个尺度。实际上(36.7)那么矩阵的统计意义就非常清楚：l 错误！未定义书签。是和的相关系数；l 错误！未定义书签。是对公共因子的依赖程度；l 错误！未定义书签。是公共因子对的各个分量总的影响。下面我们来看怎样求解因子载荷矩阵。二、 因子载荷矩阵的求解如果已知协方差矩阵和，可以很容易地求出。根据(36.3)有(36.8)记，则是非负定矩阵。若记矩阵的p个特征值 > = = = 0，且m

5、个非零特征值所对应的特征向量分别为，则的谱分解式为(36.9)只要令(36.10)就可以求出因子载荷矩阵。但在实际问题中，我们并不知道、，即不知道，已知的只是个样品，每个样品测得个指标，共有个数据，样品数据见表6.1所示。为了建立公因子模型，首先要估计因子载荷错误！未定义书签。和特殊因子方差。常用的参数估计方法有以下三种：主成份法、主因子解法和极大似然法。1. 主成份法主成份法求因子载荷矩阵的具体求法如下：首先从资料矩阵出发求出样品的协方差矩阵，记之为，其特征值为，相应单位正交特征向量为，当最后个特征值较小时，则对进行谱分解可以近似为(36.11)其中 > 0是协方差矩阵相应的前个较大特

6、征值。先取，然后看是否接近对角阵。如果接近对角阵，说明公共因子只要取一个就行了，所有指标主要受到这一个公共因子的影响；如果不是近似对角阵，就取，然后看是否接近对角阵，如果接近对角阵，就取两个公共因子；否则再取，直到满足“要求”为止。这里的“要求”要视具体情况而定，一般而言，就象主成分分析一样，直接取前个特征值和特征向量，使得它们的特征值之和占全部特征值之和的85以上即可。此时，特殊因子方差。2. 主因子解法主因子解法是主成份法的一种修正，它是从资料矩阵出发求出样品的相关矩阵，设，则。如果我们已知特殊因子方差的初始估计，也就是已知了先验公因子方差的估计为，则约相关阵为(36.12)计算的特征值和

7、特征向量，取前个正特征值及相应特征向量为，则有近似分解式(36.13)其中，令，则和为因子模型的一个解，这个解就称为主因子解。上面的计算是我们假设已知特殊因子方差的初始估计，那么特殊因子方差的初始估计值如何得到呢？由于在实际中特殊因子方差（或公因子方差）是未知的。以上得到的解是近似解。为了得到近似程度更好的解，常常采用迭代主因子法。即利用上面得到的作为特殊方差的初始估计，重复上述步骤，直到解稳定为止。公因子方差（或称变量的共同度）常用的初始估计有下面三种方法：l 取为第个变量与其他所有变量的多重相关系数的平方（或者取，其中是相关矩阵的可逆矩阵的对角元素，则）；l 取为第个变量与其他所有变量相关

8、系数绝对值的最大值；l 取=1，它等价于主成份解。3. 极大似然法假定公共因子f和特殊因子服从正态分布，那么我们可得到因子载荷阵和特殊方差的极大似然估计。设维的个观察向量为来自正态总体的随机样本，则样本似然函数为和的函数。设，取，对于一组确定的随机样本，已经变成了确定已知的值，则似然函数可以转换为和的函数。接下来就可以求和取什么值，函数能达到最大。为了保证得到唯一解，可以附加唯一性条件对角阵，再用迭代方法可求得极大似然估计的和的值。三、 因子旋转因子模型被估计后，还必须对得到的公因子进行解释。进行解释通常意味着对每个公共因子给出一种意义明确的名称，它用来反映在预测每个可观察变量中这个公因子的重

9、要性，这个公因子的重要程度就是在因子模型矩阵中相应于这个因子的系数，显然这个因子的系数绝对值越大越重要，而接近0则表示对可观察变量没有什么影响。因子解释是一种主观的方法，有时侯，通过旋转公因子可以减少这种主观性，也就是要使用非奇异的线性变换。设维可观察变量满足因子模型。设错误！未定义书签。是任一正交阵，则因子模型可改写为(36.14)其中，。根据我们前面假定：每个公因子的均值为0，即，每个公因子的方差为1，即，各特殊因子之间及特殊因子与公共因子之间都是相互独立的，即及。可以证明(36.15)(36.16)(36.17)(36.18)因此，。这说明，若和是一个因子解，任给正交阵错误！未定义书签。

10、，和也是因子解。由于正交阵错误！未定义书签。是任给的，所以因子解不是唯一的。在实际工作中，为了使载荷矩阵有更好的实际意义，在求出因子载荷矩阵后，再右乘一个正交阵，这样就变换了因子载荷矩阵，这种方法称为因子轴的正交旋转。我们知道，一个所有系数接近0或±1的旋转模型矩阵比系数多数为0与±1之间的模型容易解释。因此，大多数旋转方法都是试图最优化模型矩阵的函数。在初始因子提取后，这些公因子是互不相关的。如果这些因子用正交变换（orthogonal transformation）进行旋转，旋转后的因子也是不相关的。如果因子用斜交变换（oblique transformation）进行

11、旋转，则旋转后的因子变为相关的。但斜交旋转常常产生比正交旋转更有用的模型。旋转一组因子并不能改变这些因子的统计解释能力。如果两种旋转模型导出不同的解释，这两种解释不能认为是矛盾的。倒不如说，是看待相同事物的两种不同方法。从统计观点看，不能说一些旋转比另一些旋转好。在统计意义上，所有旋转都是一样的。因此在不同的旋转之间进行选择必须根据非统计观点。在多数应用中，我们选择最容易解释的旋转模型。四、 应注意的几个问题l 因子分析是主成分分析的推广，它也是一种降维技术，其目的是用有限个不可观测的隐变量来解释原始变量之间的相关关系。l 因子模型在形式上与线性回归模型很相似，但两者有着本质的区别：回归模型中

12、的自变量是可观测到的，而因子模型中的各公因子是不可观测的隐变量。而且，两个模型的参数意义很不相同。l 因子载荷矩阵不是唯一的，利用这一点通过因子的旋转，可以使得旋转后的因子有更鲜明的实际意义。l 因子载荷矩阵的元素及一些元素组合有很明确的统计意义。l 因子模型中常用的参数估计方法主要有：主成分法，主因子法和极大似然法。l 在实际应用中，常从相关矩阵R出发进行因子模型分析。 常用的因子得分估计方法有：巴特莱特因子得分和汤姆森因子得分两种方法。五、 Factor因子分析过程因子分析用少数起根本作用、相互独立、易于解释通常又是不可观察的因子来概括和描述数据，表达一组相互关联的变量。通常情况下，这些相

13、关因素并不能直观观测，这类分析通常需用因子分析完成。 factor过程一般由下列语句控制：proc factor data=数据集 <选项列表> ;priors 公因子方差 ;var 变量表 ;partial 变量表 ;freq 变量 ;weight 变量 ;by 变量 ;run ;1. proc factor语句的<选项列表>。1) 有关输出数据集选项。l out= 输出数据集创建一个输出数据集，包括输入数据集中的全部数据和因子得分估计。l outstat= 输出数据集用于存储因子分析的结果。这个结果中的部分内容可作为进一步因子分析的读入数据集。2) 有关因子提取和公

14、因子方差选项。l method= 因子选择方法包括principal（主成份法），prinit（迭代主因子法），usl（没有加权的最小二乘因子法），alpha（因子法或称harris法），ml（极大似然法），image（映象协方差阵的主成份法），pattern（从type=选项的数据集中读入因子模型）、score（从type=选项的数据集中读入得分系数）。常用方法为principal（主成份法）、ml（极大似然法）和prinit（迭代主因子法）。l heywood公因子方差大于1时令其为1，并允许迭代继续执行下去。因为公因子方差是相关系数的平方，我们要求它总是在0和1之间。这是公因子模型的数学

15、性质决定的。尽管如此，但在最终的公因子方差的迭代估计时有可能超过1。如果公因子方差等于1，这种状况称为Heywood状况，如果公因子方差大于1，这种状况称为超-Heywood状况。在超-Heywood状况时，因子解是无效的。l priors =公因子方差的计算方法名规定计算先验公因子方差估计的方法，即给各变量的公因子方差赋初值，包括one（等于1.0），max (最大绝对相关系数 )，smc（多元相关系数的平方），asmc (与多元相关系数的平方成比例，但要适当调整使它们的和等于最大绝对相关)，input （从data=指定的数据集中，按type=指定类型读入第一个观察中的先验公因子

16、方差估计），random（0与1之间的随机数）。3) 有关规定因子个数及收敛准则的选项。l nfactors=n要求保留n个公因子，否则只保留特征值大于1的那些公因子。l mineigen=p规定被保留因子的最小特征值。l proportion=p使用先验公因子方差估计，对被保留的因子规定所占公共方差比例为这个p值。l converge=p当公因子方差的最大改变小于p时停止迭代。缺省值=0.001。l maxiter=n规定迭代的最大数。缺省值为30。4) 有关旋转方法的选项。l rotate因子转轴方式名给出旋转方法。包括none，varimax，quartimax，equamax，orth

17、omax，hk，promax，procrustes。常用的有varimax（正交的最大方差转轴法）、orthomax（由gamma=指定权数的正交方差最大转轴法）和promax（在正交最大方差转轴的基础上进行斜交旋转）。l normkaiser | raw | weight | cov | none为了对因子模型进行旋转，规定模型矩阵中行的正规化方法。例如，norm=kaiser表示使用Kaiser的正规化方法。norm=weight表示使用Cureton-Mulaik方法进行加权。norm=cov表示模型矩阵的这些行被重新标度为表示协方差而不是相关系数。norm=raw或none表示不进行正

18、规化。l gamma=p规定正交方差最大旋转的权数。l prerotate因子转轴方式名规定预先旋转的方法。除了promax和procrustes的旋转方法，任何其他的旋转方法都可使用。5) 有关控制打印输出的选项。l simple打印输出包括简单统计数。l corr打印输出相关阵和偏相关阵。l score打印因子得分模型中的系数。l scree打印特征值的屏幕图。l ev打印输出特征向量。l residuals打印残差相关阵和有关的偏相关阵。l nplot=n规定被作图的因子个数。l plot在旋转之后画因子模型图。l preplot在旋转之前画因子模型图。l msa打印被所有其余变量控制的

19、每对变量间的偏相关，并抽样适当的Kaiser度量。l reorder在打印输出时让各种因子矩阵的这些行重新排序。在第一个因子上具有最大绝对载荷的变量首先被输出，然后按最大载荷到最小输出，紧接着在第二个因子上输出具有最大绝对载荷的变量等等。2. priors语句。为var变量设定公因子方差，值在0.0和1.0之间。其值的设定应与var语句的变量相对应。例如：proc factor；priors 0.7 0.8 0.9； var x y z；其他语句的使用略。六、 Factor score因子得分过程无论是初始因子模型还是旋转后的因子模型，都是将指标表示为公因子的线性组合。在因子分析中，还可以将公

20、因子表示为指标的线性组合，这样就可以从指标的观测值估计各个公因子的值，这种值叫因子得分。它对样品的分类有实际意义。因子得分可由proc score过程完成。score过程一般由下列语句控制： proc score data=数据集 <选项列表> ;var 变量 ;run ;proc score语句选项包括out输出数据集，存储因子得分结果等。将factor和score两个过程书写在同一个程序中，可以提高分析的效率。七、 实例分析例36.1 下表36.1给出的数据是在洛杉矾十二个标准大都市居民统计地区中进行人口调查获得的。它有五个社会经济变量，它们分别是人口总数(pop) 、居民的教

21、育程度或中等教育的年数(school )、雇佣人总数(employ )、各种服务行业的人数(services )和中等的房价(house )，试作因子分析。表36.1 五个社会因素调查数据编号popschool employ services house 1570012.82500270250002100010.96001010000334008.810001090004380013.61700140250005400012.8160014025000682008.3260060120007120011.440010160008910011.5330060140009990012.534001

22、801800010960013.73600390250001196009.63300801200012940011.44000100130001. 建立数据文件。程序如下：data socecon;input pop school employ services house;title 'FIVE SOCIO-ECONOMIC VARIABLES'cards; 5700 12.8 2500 270 25000 1000 10.9 600 10 10000 9400 11.4 4000 100 13000;run;程序运行后，生成一个scoecon数据集。2. 调用因子分析fac

23、tor过程。菜单操作方法，在SAS系统的主菜上，选择Globals/SAS/Assist 进入Assist的主菜单，再选择data analysis/multivar/factor analysis(因子分析)。编程方法如下：proc factor data=socecon method=prin priors=one simple corr score;run;proc factor data=socecon method=prin priors=smc msa scree residual preplot rotate=promax reorder plot outstat=fact_al

24、l ;run;proc factor data=socecon method=ml heywood nfacotors=1;run;proc factor data=socecon method=ml heywood nfactors=2;run;proc factor data=socecon method=ml heywood nfactors=3;run;程序说明：共调用了5个factor因子分析过程。第1个过程为主成份因子分析，第2个过程为主因子分析，第3个过程为提取一个因子的最大似然分析，第4个过程为提取二个因子的最大似然分析，第5个过程为提取三个因子的最大似然分析。第1个facto

25、r因子分析过程，由于选项method=prin 和priors=one，提取因子的方法采用主成份分析，先验公因子方差估计被规定为1。选项simple和 corr要求输出描述统计量和相关阵。选项score要求输出因子得分系数。第2个factor因子分析过程， 由于不是priors=one选项，所以提取因子的方法采用主因子分析，选项method=prin不起作用。选项priors=smc表示先验公因子方差估计被规定为每个变量与其他变量的多重相关系数的平方。选项msa表示控制所有其余变量的偏相关。选项scree表示输出所有特征值按从大到小排列的斜坡图，用于选择因子个数。选项residual输出残差相

26、关阵和有关的偏相关阵，得到特殊因子方差的剩余相关。选项rotate=promax规定因子模型预先按正交最大方差的旋转，再在正交最大方差转轴的基础上进行斜交的promax旋转。选项preplot表示绘制因子模型旋转前的散点图。选项plot表示绘制因子模型旋转后的散点图。选项reorder表示按因子上具有的载荷大小排列。选项outstat=fact_all表示将因子分析的各种结果输出到fact_all数据集中。其他3个最大似然因子分析过程的说明，我们在这里省略。第1和第2个factor因子分析过程运行后，主要的结果见表36.2到表36.9。Means and Standard Deviations

27、 from 12 observations（每个变量的均值和标准差）POP SCHOOL EMPLOY SERVICES HOUSEMean 6241.66667 11.4416667 2333.33333 120.833333 17000Std Dev 3439.99427 1.78654483 1241.21153 114.927513 6367.53128Correlations（相关矩阵） POP SCHOOL EMPLOY SERVICES HOUSEPOP 1.00000 0.00975 0.97245 0.43887 0.02241SCHOOL 0.00975 1.00000 0

28、.15428 0.69141 0.86307EMPLOY 0.97245 0.15428 1.00000 0.51472 0.12193SERVICES 0.43887 0.69141 0.51472 1.00000 0.77765HOUSE 0.02241 0.86307 0.12193 0.77765 1.00000表 36.2 均值、标准差及相关矩阵表 36.3 主成份法的输出结果Initial Factor Method: Principal ComponentsPrior Communality Estimates: ONE（初始公因子方差估计值）Eigenvalues of the

29、 Correlation Matrix: Total = 5 Average = 1（相关矩阵的特征值） 1 2 3 4 5Eigenvalue 2.8733 1.7967 0.2148 0.0999 0.0153Difference 1.0767 1.5818 0.1149 0.0847Proportion 0.5747 0.3593 0.0430 0.0200 0.0031Cumulative 0.5747 0.9340 0.9770 0.9969 1.00002 factors will be retained by the MINEIGEN criterion.（确定的因子数目）Fac

30、tor Pattern（因子模型） FACTOR1 FACTOR2POP 0.58096 0.80642SCHOOL 0.76704 -0.54476EMPLOY 0.67243 0.72605SERVICES 0.93239 -0.10431HOUSE 0.79116 -0.55818Variance explained by each factor（每个因子解释的方差）FACTOR1 FACTOR22.873314 1.796660Final Communality Estimates: Total = 4.669974（最终公因子方差估计） POP SCHOOL EMPLOY SERVI

31、CES HOUSE0.987826 0.885106 0.979306 0.880236 0.937500 Scoring Coefficients Estimated by RegressionSquared Multiple Correlations of the Variables with each Factor FACTOR1 FACTOR2 1.000000 1.000000Standardized Scoring Coefficients(标准因子得分模型中的系数) FACTOR1 FACTOR2 POP 0.20219 0.44884 SCHOOL 0.26695 -0.303

32、20 EMPLOY 0.23403 0.40411 SERVICES 0.32450 -0.05806 HOUSE 0.27535 -0.31068Initial Factor Method: Principal FactorsPartial Correlations Controlling all other Variables（控制所有其余变量的偏相关） POP SCHOOL EMPLOY SERVICES HOUSEPOP 1.00000 -0.54465 0.97083 0.09612 0.15871SCHOOL -0.54465 1.00000 0.54373 0.04996 0.6

33、4717EMPLOY 0.97083 0.54373 1.00000 0.06689 -0.25572SERVICES 0.09612 0.04996 0.06689 1.00000 0.59415HOUSE 0.15871 0.64717 -0.25572 0.59415 1.00000Kaiser's Measure of Sampling Adequacy: Over-all MSA = 0.57536759（抽样适当的Kaiser量度，包括所有变量的和每个变量的）POP SCHOOL EMPLOY SERVICES HOUSE0.472079 0.551588 0.488511

34、 0.806644 0.612814Prior Communality Estimates: SMC POP SCHOOL EMPLOY SERVICES HOUSE0.968592 0.822285 0.969181 0.785724 0.847019Eigenvalues of the Reduced Correlation Matrix:（约化相关矩阵的特征值）Total = 4.39280116 Average = 0.87856023 1 2 3 4 5Eigenvalue 2.7343 1.7161 0.0396 -0.0245 -0.0726Difference 1.0182 1

35、.6765 0.0641 0.0481Proportion 0.6225 0.3907 0.0090 -0.0056 -0.0165Cumulative 0.6225 1.0131 1.0221 1.0165 1.00002 factors will be retained by the PROPORTION criterion.Factor Pattern FACTOR1 FACTOR2SERVICES 0.87899 -0.15847HOUSE 0.74215 -0.57806EMPLOY 0.71447 0.67936SCHOOL 0.71370 -0.55515POP 0.62533

36、0.76621Variance explained by each factorFACTOR1 FACTOR22.734301 1.716069Final Communality Estimates: Total = 4.450370 POP SCHOOL EMPLOY SERVICES HOUSE0.978113 0.817564 0.971999 0.797743 0.884950 Residual Correlations With Uniqueness on the Diagonal（在对角线上是特殊因子方差的剩余相关） POP SCHOOL EMPLOY SERVICES HOUSE

37、 POP 0.02189 -0.01118 0.00514 0.01063 0.00124 SCHOOL -0.01118 0.18244 0.02151 -0.02390 0.01248 EMPLOY 0.00514 0.02151 0.02800 -0.00565 -0.01561 SERVICES 0.01063 -0.02390 -0.00565 0.20226 0.03370 HOUSE 0.00124 0.01248 -0.01561 0.03370 0.11505 Root Mean Square Off-diagonal Residuals: Over-all = 0.0169

38、3282 POP SCHOOL EMPLOY SERVICES HOUSE 0.008153 0.018130 0.013828 0.021517 0.019602 Partial Correlations Controlling Factors（控制因子的偏相关） POP SCHOOL EMPLOY SERVICES HOUSE POP 1.00000 -0.17693 0.20752 0.15975 0.02471 SCHOOL -0.17693 1.00000 0.30097 -0.12443 0.08614 EMPLOY 0.20752 0.30097 1.00000 -0.07504

39、 -0.27509 SERVICES 0.15975 -0.12443 -0.07504 1.00000 0.22093 HOUSE 0.02471 0.08614 -0.27509 0.22093 1.00000 Root Mean Square Off-diagonal Partials: Over-all = 0.18550132（非对角偏相关的均方根，包括所有变量的和每个变量的） POP SCHOOL EMPLOY SERVICES HOUSE 0.158508 0.190259 0.231818 0.154470 0.182015表 36.4 主因子法的输出结果Prerotation

40、 Method: Varimax（预先旋转方法：正交最大方差旋转） Orthogonal Transformation Matrix（正交变换矩阵） 1 2 1 0.78895 0.61446 2 -0.61446 0.78895 Rotated Factor Pattern（旋转后的因子模型） FACTOR1 FACTOR2 HOUSE 0.94072 -0.00004 SCHOOL 0.90419 0.00055 SERVICES 0.79085 0.41509 POP 0.02255 0.98874 EMPLOY 0.14625 0.97499 Variance explained by

41、 each factor FACTOR1 FACTOR2 2.349857 2.100513 Final Communality Estimates: Total = 4.450370 POP SCHOOL EMPLOY SERVICES HOUSE 0.978113 0.817564 0.971999 0.797743 0.884950表 36.5 主因子法的正交最大方差预旋转结果Rotation Method: Promax(旋转方法:在正交最大方差旋转的基础上再斜交旋转) Target Matrix for Procrustean Transformation（用于Procrustean斜交变换的目标矩阵） FACTOR1 FACTOR2 HOUSE 1.00000 -0.00000 SCHOOL 1.00000 0.00000 SERVICES 0.69421 0.10045 POP 0.00001 1.00000 EMPLOY 0.00326 0.96793 Procrustean Transform