第7章-因子分析

1、11/29/2021主编：费宇主编：费宇1主编：费宇主编：费宇中国人民大学出版社中国人民大学出版社11/29/2021主编：费宇主编：费宇2第第7章章 因子分析因子分析 7.1 正交因子模型正交因子模型 7.2 因子模型的估计因子模型的估计 7.3 因子正交旋转因子正交旋转 7.4 因子得分因子得分11/29/2021主编：费宇主编：费宇37.1 正交因子模型正交因子模型 1.模型定义模型定义 设设p维随机向量维随机向量X=(x1,xp)的期望为的期望为=(1,p) , 方差方差-协方差矩阵为协方差矩阵为, 假定假定X线线性地依赖于少数几个不可观测的随机变量性地依赖于少数几个不可观测的随机变量

2、f1,fm(m1时，因子模型是不惟一的时，因子模型是不惟一的,设设T为为mm正交矩阵，即正交矩阵，即TTT =TTT=I，模型，模型(7.2)可改写为可改写为 式中，式中，A*=AT, F*=TTF11/29/2021主编：费宇主编：费宇10( .9),7TXAFATT FA F1. 模型定义模型定义 注意到注意到 即即F*也满足也满足(7.3)，显然因子，显然因子F与与F*有相同的统计性有相同的统计性质，但相应的载荷矩阵质，但相应的载荷矩阵A与与A*是不相同的，但它是不相同的，但它们产生相同的方差们产生相同的方差-协方差矩阵协方差矩阵 ，即，即11/29/2021主编：费宇主编：费宇11E(

3、)=T E( )0,Cov() T Cov( ),(7.10)Cov(,=E()=E()0).TTTTFFFF TT TIFFAF蝌,(7.11)TTAAA A 1. 模型定义模型定义 一方面，因为一方面，因为F*=TTF，即，即F*是由是由F经正交经正交变换得到变换得到,而而A*=AT ，即，即A*=(a*ij)是由是由A=(aij)经正交变换得到经正交变换得到,另一方面，由另一方面，由(7.11)易知，易知，变量变量xi的共同度为的共同度为 即正交变换不改变公因子的共同度即正交变换不改变公因子的共同度.11/29/2021主编：费宇主编：费宇1222211,(7.12)mmiijijjjh

4、aa7.2 因子模型的估计因子模型的估计 1. 主成份法主成份法 设设的特征值为的特征值为1, 2, p(12 p0)，e1, e2,ep为对应的标准正交化特征向量，那么为对应的标准正交化特征向量，那么可以可以写为写为 11/29/2021主编：费宇主编：费宇131 1 12 2 21 1221 122(,),(7.13)TTTPPPTTppTppeee ee eeeeeee 1. 主成份法主成份法 这个分解是公因子个数为这个分解是公因子个数为p，特殊因子方差为，特殊因子方差为0的的因子模型的方差因子模型的方差-协方差矩阵结构形式，即协方差矩阵结构形式，即 虽然上式给出的虽然上式给出的因子分析

5、表达式是精确的，但因子分析表达式是精确的，但实际应用中没有价值，因为因子分析的目的是要实际应用中没有价值，因为因子分析的目的是要寻找少数寻找少数m(mp)个公因子解释原来个公因子解释原来p个变量的方个变量的方差差-协方差结构，所以，采用主成分分析的思想，协方差结构，所以，采用主成分分析的思想，如果如果的最后的最后p-m个特征值很小，在个特征值很小，在(7.13)中略去中略去m+1em+1eTm+1+pepeTp对对的贡献，的贡献，11/29/2021主编：费宇主编：费宇140,(7.14)TTAAAA 1. 主成份法主成份法 于是得于是得 这里假定了这里假定了(7.2)中的特殊因子是可以在中的

6、特殊因子是可以在的分解的分解中忽略的，如果特殊因子不能忽略，那么它们的中忽略的，如果特殊因子不能忽略，那么它们的方差可以取方差可以取-AAT的对角元，的对角元，11/29/2021主编：费宇主编：费宇151 1221 122(,),(7.15)TTTmmTmmeeeeeAAe 1. 主成份法主成份法 此时有此时有 其中其中11/29/2021主编：费宇主编：费宇161 1221 122()(,),(7.16)TTTTmmTmmAAdiagAAeeeeee 211( ,),1,mpiiiijjdiaga ip ，1. 主成份法主成份法 实际应用中实际应用中是未知的，通常用它的估计，是未知的，通常

7、用它的估计，即样本方差即样本方差-协方差矩阵协方差矩阵S来代替，考虑到变来代替，考虑到变量的量纲差别，往往需要将数据标准化，量的量纲差别，往往需要将数据标准化，这样求得的样本方差这样求得的样本方差-协方差矩阵就是原来协方差矩阵就是原来数据的相关系数矩阵数据的相关系数矩阵R，所以可以从，所以可以从R出发出发来估计因子载荷矩阵和特殊因子的方差来估计因子载荷矩阵和特殊因子的方差.11/29/2021主编：费宇主编：费宇171. 主成份法主成份法 设设R的特征值为的特征值为 , 为对应的标准正交化特征向量，设为对应的标准正交化特征向量，设 m cor(X) # cor(X) #计算样本数据的相关系数矩

8、阵计算样本数据的相关系数矩阵 x1 x2 x3 x4 x5 x6 x1 x2 x3 x4 x5 x6x1 1.00 0.65 0.70 -0.56 -0.46 -0.44x1 1.00 0.65 0.70 -0.56 -0.46 -0.44x2 0.65 1.00 0.57 -0.50 -0.35 -0.46x2 0.65 1.00 0.57 -0.50 -0.35 -0.46x3 0.70 0.57 1.00 -0.38 -0.27 -0.24x3 0.70 0.57 1.00 -0.38 -0.27 -0.24x4 -0.56 -0.50 -0.38 1.00 0.81 0.83x4 -0

9、.56 -0.50 -0.38 1.00 0.81 0.83x5 -0.46 -0.35 -0.27 0.81 1.00 0.82x5 -0.46 -0.35 -0.27 0.81 1.00 0.82x6 -0.44 -0.46 -0.24 0.83 0.82 1.00 x6 -0.44 -0.46 -0.24 0.83 0.82 1.0011/29/2021主编：费宇主编：费宇30例例7.1 数据文件为数据文件为eg6.1 从样本数据各变量的相关系数上可以看出从样本数据各变量的相关系数上可以看出, x4、x5和和x6之间存在较强的相关性，为了消之间存在较强的相关性，为了消除各变量之间的相关性

10、，下面分别采用除各变量之间的相关性，下面分别采用R软软件中基于极大似然法的因子分析函数件中基于极大似然法的因子分析函数factanal( )和基于主成分法的因子分析函数和基于主成分法的因子分析函数factpc( )对数据进行因子分析提取因子对数据进行因子分析提取因子.11/29/2021主编：费宇主编：费宇31例例7.1 数据文件为数据文件为eg6.1# #极大似然法做因子分析极大似然法做因子分析 factanal(X,factors=2,rotation=none) factanal(X,factors=2,rotation=none)Call:Call:factanal(x = X, fa

11、ctors = 2, rotation = none)factanal(x = X, factors = 2, rotation = none)Uniquenesses:Uniquenesses: x1 x2 x3 x4 x5 x6 x1 x2 x3 x4 x5 x6 0.23 0.46 0.33 0.15 0.21 0.15 0.23 0.46 0.33 0.15 0.21 0.15 Loadings:Loadings: Factor1 Factor2 Factor1 Factor2x1 -0.68 0.56 x1 -0.68 0.56 x2 -0.60 0.43 x2 -0.60 0.43

12、 x3 -0.49 0.66 x3 -0.49 0.66 x4 0.92 0.10 x4 0.92 0.10 x5 0.86 0.24 x5 0.86 0.24 x6 0.88 0.27x6 0.88 0.2711/29/2021主编：费宇主编：费宇32例例7.1 数据文件为数据文件为eg6.1 Factor1 Factor2Factor1 Factor2SS loadings 3.40 1.07SS loadings 3.40 1.07Proportion Var 0.57 0.18Proportion Var 0.57 0.18Cumulative Var 0.57 0.74Cumulat

13、ive Var 0.57 0.74 Test of the hypothesis that 2 factors are sufficient.Test of the hypothesis that 2 factors are sufficient.The chi square statistic is 3.6 on 4 degrees of freedom.The chi square statistic is 3.6 on 4 degrees of freedom.The p-value is 0.46The p-value is 0.46# #主成分法做因子分析主成分法做因子分析 libr

14、ary(mvstats) # library(mvstats) #加载加载mvstatsmvstats包包 fac=factpc(X,2) fac=factpc(X,2) fac fac11/29/2021主编：费宇主编：费宇33例例7.1 数据文件为数据文件为eg6.1$Vars$Vars Vars Vars.Prop Vars.Cum Vars Vars.Prop Vars.CumFactor1 3.710 0.6183 61.83Factor1 3.710 0.6183 61.83Factor2 1.262 0.2104 82.87Factor2 1.262 0.2104 82.87$l

15、oadings$loadings Factor1 Factor2 Factor1 Factor2X1 -0.7937 0.4224X1 -0.7937 0.4224x2 -0.7342 0.4008x2 -0.7342 0.4008x3 -0.6397 0.6322x3 -0.6397 0.6322x4 0.8883 0.3129x4 0.8883 0.3129x5 0.8101 0.4661x5 0.8101 0.4661x6 0.8285 0.4567x6 0.8285 0.456711/29/2021主编：费宇主编：费宇34例例7.1 数据文件为数据文件为eg6.1 从上述极大似然法和主

16、成分法得出的因子分析结从上述极大似然法和主成分法得出的因子分析结果上可以看出，极大似然法前两个因子累计贡献果上可以看出，极大似然法前两个因子累计贡献率只有率只有74%，而主成分法累计贡献率达到了，而主成分法累计贡献率达到了82.87%，说明主成分法效果比极大似然分析法效，说明主成分法效果比极大似然分析法效果好，其原因在于，极大似然法做因子分析要求果好，其原因在于，极大似然法做因子分析要求数据样本要服从多元正态分布，但在实际中大多数据样本要服从多元正态分布，但在实际中大多数数据都很难满足多元正态要求。接下来为了更数数据都很难满足多元正态要求。接下来为了更好地解释因子的含义，我们基于主成分法采用方

17、好地解释因子的含义，我们基于主成分法采用方差最大化作因子正交旋转。差最大化作因子正交旋转。R程序及结果如下：程序及结果如下：11/29/2021主编：费宇主编：费宇35例例7.1 数据文件为数据文件为eg6.1 fac1=factpc(X,2,rotation=varimax) # fac1=factpc(X,2,rotation=varimax) #用主成分法采用方差最大化作因子正交旋转用主成分法采用方差最大化作因子正交旋转 Factor Analysis for Princomp in Varimax: Factor Analysis for Princomp in Varimax: fa

18、c1 fac1 $Vars$Vars Vars Vars.Prop Vars.Cum Vars Vars.Prop Vars.CumFactor1 2.661 44.34 44.34Factor1 2.661 44.34 44.34Factor2 2.312 38.53 82.87Factor2 2.312 38.53 82.87$loadings $loadings Factor1 Factor2 Factor1 Factor2x1 -0.3232 0.8390 x1 -0.3232 0.8390 x2 -0.2925 0.7837x2 -0.2925 0.7837x3 -0.0696 0.

19、8967x3 -0.0696 0.8967x4 0.8763 -0.3451x4 0.8763 -0.3451x5 0.9174 -0.1782x5 0.9174 -0.1782x6 0.9253 -0.1973x6 0.9253 -0.197311/29/2021主编：费宇主编：费宇36例例7.1 数据文件为数据文件为eg6.1 从上述因子正交旋转的结果可以看出，方差累计贡献率达从上述因子正交旋转的结果可以看出，方差累计贡献率达到了到了82.87%. 第一个因子主要和语文（第一个因子主要和语文（x4）、历史（）、历史（x5）和英语（和英语（x6）三科有很强的正相关，相关系数分别为）三科有很强

20、的正相关，相关系数分别为0.8763、0.9174和和0.9253；第二个因子主要和数学（；第二个因子主要和数学（x1）、）、物理（物理（x2）和化学（）和化学（x3）三科有很强的正相关，相关系数）三科有很强的正相关，相关系数分别为分别为0.8390、0.7837和和0.8967；所以第一个因子可称为；所以第一个因子可称为“文科因子文科因子”，第二个因子称为，第二个因子称为“理科因子理科因子”.可见，因可见，因子正交旋转后因子的含义更清楚子正交旋转后因子的含义更清楚. 在了解各个综合因子的具体含义后，可采用回归估计等估在了解各个综合因子的具体含义后，可采用回归估计等估计方法计算样本的因子得分计

21、方法计算样本的因子得分.R程序及结果如下：程序及结果如下：11/29/2021主编：费宇主编：费宇37例例7.1 数据文件为数据文件为eg6.1fac2=factpc(X,2,rotation=varimax,scores=regression) #fac2=factpc(X,2,rotation=varimax,scores=regression) #利用回归估利用回归估计计算因子得分计计算因子得分 fac2$scores # fac2$scores #输出因子得分情况输出因子得分情况 Factor1 Factor2 Factor1 Factor2 1, 0.66036 -0.68718 1

22、, 0.66036 -0.68718 2, -1.07568 -0.15572 2, -1.07568 -0.15572 3, -1.60123 -1.88323 3, -1.60123 -1.88323 4, -0.72216 0.15234 4, -0.72216 0.15234 5, -1.75198 -1.12791 5, -1.75198 -1.12791 49, 2.37146 -0.89236 49, 2.37146 -0.89236 50, 0.09089 -0.83832 50, 0.09089 -0.83832 51, 1.60313 0.27088 51, 1.60313 0.27088 52, 1.19589 -0.15308 52, 1.19589 -0.15308 11/29/2021主编：费宇主编：费宇38例