第7章 因子分析[沐风教学]

1、 第一节 因子分析方法 第二节 因子分析模型 第三节 因子分析模型的解 第四节 方差最大正交旋转 第五节 因子得分 推荐阅读第四章 因子分析1教育专类第一节 因子分析方法 因子分析因子分析概念起源于20世纪初Karl Pearson 和Charles Spearmen等人关于智力测验的统计分析。 因子分析是主成分分析的推广和发展，它是将具有错综复杂的关系变量（或样品）综合为较少几个因子，以再现原始变量与因子之间的相互关系，同时根据不同因子还可以对变量进行分类，它也是属于多元分析中处理降维的一种统计方法。 因子分析是通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个“抽象

2、”的变量来表示其基本结构。这几个抽象的变量被称为因子，它能反映原来众多变量的主要信息。 因子分析的研究内容十分丰富，常用的因子分析类型是R型因子分析（对变量作因子分析）和Q型因子分析（对样品作因子分析）。2教育专类 例如：某公司对100名招聘人员的知识和能力进行测评，主要测评六个方面的内容：语言表达能力、逻辑思维能力、判断事物的敏捷和果断程度、思想修养、兴趣爱好、生活常识等，我们将每一个方面称为因子，显然这里所说的因子不同于回归分析中的因素，因为前者是比较抽象的一种概念，而后者有着极为明确的实际意义。假设100人测试得分xi可以用上述六个因子表示成线性函数：.06100, 2 , 1 ,262

3、1621662211），（定称为特殊因子。通常假含的部分，识不能被前六个因子包个应试人员的能力和知是第的能力。个应试人员在六个方面载荷，它表示第称为因子，们的系数通常称为公共因子，它是共有因子，个因子，它对所有表示，其中iiiiiiiiiiiiNiiaaaXFFFiFaFaFaX3教育专类因子分析的基本思想是把每个研究变量分解为几个影响因素变量，将每个原始变量分解成两部分因素，一部分是由所有变量共同具有的少数几个公共因子组成的，另一部分是每个变量独自具有的因素，即特殊因子。Xi=aijFj+ei因子分析即是通过变量的相关系数矩阵内部结构的研究，找出能够控制所有变量的少数几个随机变量去描述多个变

4、量之间的相关关系，这里这少数几个随机变量是不可观测的，通常称为因子，然后根据相关性的大小把变量分组，使得同组内的变量之间相关性较高，不同组的变量相关性较低。R型从相关矩阵出发，Q型从相似系数矩阵出发。4教育专类第二节 因子分析模型 一、因子分析模型 X*:标准化后的数据，F：公共因子，e：特殊因子 x1*=a11F1+a12F2+a1mFm+e1 x2*=a21F1+a22F2+a2mFm+e2 xp*=ap1F1+ap2F2+apmFm+ep X*=AF+ e 或X*=FA+ e5教育专类 其中X*=(x1*,x2*,xp*), F=(F1,F2,Fm) e =(e1,e2,ep) a11

5、a12 a1m A= a21 a22 a2m ap1 ap2 apm (mp) A称为因子载荷矩阵或因子负荷矩阵， aij是第i个变量在第j个因子上的负荷。6教育专类 x*、F、 e满足下列性质： (1)E(x*)=0 E(x)=0 (2)E(F)=0, E(e)=0 (3) cov(F)=I, 即各个公共因子不相关且方差为1。 （4）cov(e)=2I，即各个特殊因子不相关，方差要求相等。 (5)cov(ei,F)=0 ，即公共因子与特殊因子是不相关的。7教育专类 因子分析的目的就是通过模型X*=AF+ e 以F代替X* ，由于mp,从而达到简化变量维数的目的。 因子分析和主成分分析有很多相

6、似之处，在求解过程中，二者都是从一个协方差阵（或相似系数阵）出发，但两种模型是有区别的，主成分分析的数学模型实质上是一种变换，将原来坐标变换到变异程度大的方向上去，相当于从空间上转换观看数据的角度，突出数据变异的方向，归纳重要的信息。在主成分分析中每个主成分相应的系数aij是唯一确定的。而因子分析模型是描述原指标x协方差阵结构的一种模型，是从显在变量去提炼潜在因子的过程，因子的个数m取多大是要通过一定的规则确定的。因此，在因子分析中因子载荷阵不是唯一的。一般来说，作为自变量的因子F1，F2, ,Fm是不可观测的。8教育专类 二、因子载荷量的统计意义与性质 1、因子载荷aij的统计意义 xi*=

7、ai1F1+ai2F2+aimFm+eiCov(xi*,Fj)=cov(aikFk+ei,Fj) =cov(aikFk,Fj)+cov(ei,Fj) =aij r=aijijjijiaFxFxr)var(*)var()*,cov( 第第i个变量与第个变量与第j个公共因子的相关系数个公共因子的相关系数即可以表示为即可以表示为xi*依赖依赖Fj的份量（比重）。的份量（比重）。9教育专类 在各公共因子不相关的前提下，aij是xi*与Fj的相关系数，表示xi*依赖于Fj的程度。反映了第i个原有变量在第j个公共因子上的相对重要性。因此， aij的绝对值越大，则公共因子Fj与原有变量Xi的关系越强。10教

8、育专类 2、变量共同度及其统计意义 因子载荷阵A中第 i行元素的平方和称为xi* 的共同度共同度。 h12=a112+a122+a1m2 h22=a212+a222+a2m2 。 hp2=ap12+ap22+apm211教育专类1)var()var()var()var(22221*iiiijijijimjjijihaeFaeFaX因为xi*已经标准化 这说明变量xi*的方差由两部分组成：第一部分为共同度hi2 ，它刻划了全部公共因子对变量xi*的总方差所作的贡献，反映了公共因子对变量xi*的影响程度。第二部分为特殊因子ei对变量xi*的方差所作的贡献。12教育专类hi2反映了全部公共因子对变量

9、Xi*的影响，是全部公共因子对变量方差所做出的贡献，或者说Xi*对公共因子的共同依赖程度，称为公共因子对变量Xi*的方差贡献。hi2接近于1，表明该变量的原始信息几乎都被选取的公共因子说明了。特殊因子的方差，反映了原有变量方差中无法被公共因子描述的比例。13教育专类 3、公共因子的方差贡献及其统计意义 因子载荷阵中第 j列元素的平方和称为公共因子Fj对xi* 的贡献。 g1=a112+a212+ap12 g2=a122+a222+ap22 gm=a1m2+a2m2+apm2 gj表示第j个公共因子Fj对于X*的每一分量Xi*所提供的方差贡献的总和。称第j个公共因子的方差贡献。14教育专类是衡量

10、某一公共因子相对重要性的指标，gi越大，表明公共因子Fj对X*的贡献越大，该因子的重要程度越高，或者说对X*的影响和作用越大。pgFjj的方差贡献率也是衡量公共因子相对重要性的另一指标。15教育专类4、正交因子载荷不具有唯一性AAeDAFADeEAFAEeEAFeEAFEeAFeAFEeAFEXEXEXEXDR)()()()()()(2)()2)()()()()(22222222*2*16教育专类 但此公式并非唯一公式： 其中： 因子载荷的不唯一性，从表面上看是不利的，但当因子载荷矩阵A的结构不够简化时，可以对A实行变换以达到简化的目的，使新的因子更具有鲜明的实际意义。)()(*AAAUAUA

11、UAUAARAUAIUU*,17教育专类两个变量xk*与xl*的相关系数和协方差等于因子载荷阵中第k行与第l列对应元素乘积之和。qilikilqkqlklklkaaaaaaaaXXr12211*.),(18教育专类例1某校对学生进行了测量语言能力和数学能力的六项考试。考试成绩都化为标准分。假定x1*,x2*,x3* 是语言能力的三项不同考试的标准分， x4*,x5*,x6*是数学能力的三项不同的标准分。通过部分学生这六项考试成绩，得到相关系数矩阵： 依此得出因子载荷矩阵：172. 075. 049. 042. 028. 0178. 042. 036. 024. 0135. 030. 020.

12、0142. 028. 0124. 01R172. 0843. 0031. 0848. 0179. 0926. 0513. 0477. 0439. 0409. 0293. 0272. 0A19教育专类据此可写出因子模型：621*6521*5421*4321*3221*2121*1172. 0843. 0031. 0848. 0179. 0926. 0513. 0477. 0439. 0409. 0293. 0272. 0effxeffxeffxeffxeffxeffx20教育专类 还可求出各变量的共同度，各变量对应的特殊因子方差，各公共因子方差贡献率以及两个公共因子的累计方差贡献。变量ai1ai

13、2共同度特殊因子方差X1*X2*X3*X4*X5*X6*0.2720.4090.4770.9260.8480.8430.2930.4390.513-0.1790.0310.1720.160.360.490.890.720.740.840.640.510.110.280.26方差贡献率45.9%10.1%56%44%累计方差贡献率45.9%56%21教育专类因子变量的特点 1、因子变量的数量远少于原有指标变量的数量。 2、因子变量是对原始变量的重新组构，能够反映原有众多指标的绝大部分信息。 3、因子变量之间没有线性相关关系，对因子变量的分析能够为研究工作提供较大的便利。 4、因子变量具有命名解释

14、性。22教育专类 要建立实际问题的因子分析的具体模型，关键是根据样本数据估计载荷矩阵A。对A的估计方法有很多，这里主要介绍主成分法、主因子法。第三节 因子分析模型的解的估计量。是样本。维是一组。对应的标准正交化向量为的特征向量，为，因此是标准化处理后的数据由于，的协方差阵为设随机向量SpxxxUUURXXXXXPppp),(,.),(*2*12121*21*23教育专类 一、主成分分析法 在不考虑特殊因子的情况下：。的标准化正交特征向量的属于特征值为矩阵的特征值，为矩阵iiipppppppRURAAUUUUUUUUUUUURUURURUUIR221122112221110)(24教育专类ppU

15、UUA0000002121即：25教育专类在考虑特殊因子的情况下：AAUUUUUUAARppppp22122112211当未知时，可用样本协方差阵S代替。26教育专类 具体计算时，一般取前k个特征值所对应的因子载荷矩阵A的前k个列向量组成的矩阵作为因子载荷矩阵，只要使累计贡献率达到85以上。 确定公共因子的个数有两种方法：一是根据具体问题的专业理论来确定，二是利用主成分分析中选取主成分个数的方法。27教育专类 二、主因子法二、主因子法 主因子法的基本思想是使用多元相关的平方作为对公因子方差的初始估计。初始估计公因子方差时多元相关系数的平方置于对角线上。这些因子载荷用于估计新公因子方差，替换对角

16、线上前一次的公因子方差估计。这样的迭代持续到，本次到下一次迭代结果公因子方差的变化满足提取因子的收敛判据。28教育专类 1、给出共同度hi2的初步估计值hi*2 以第i个变量xi*与其它所有变量x1*,x2*,xi-1*,xi+1*,xp*回归的复相关系数的平方作为初始估计值。 2、求出约化相关阵 计算i*=1-hi*2,再计算出R*=R- * 3、求出特征根和特征向量 由方程R*-I=0求出特征根，并利用特征根、特征向量求出因子载荷阵A1。29教育专类 4、求出的估计，用估计值代替第二步的* 的估计： *（1）=R-A1A1 5、继续第三步，直到A， 的估计达到稳定为止30教育专类 因子分析

17、的目标之一就是要对提取的抽象的实际含义进行合理的解释。有时直接根据特征根、特征向量求解的因子载荷难以看出公共因子的含义。例如可能有些变量在多个公共因子上都有较大的载荷，有些公共因子对许多许多变量的载荷也不小，说明它对多个变量都有较明显的影响作用。这种因子模型反而是不利于突出主要矛盾和矛盾的主要方面的，也难对因子的实际背景进行合理的解释。这就需要通过某种方法是每个变量仅在一个公共因子上有较大的载荷，而在其余的公共因子上的载荷比较小，至多达到中等大小。第四节 方差最大正交旋转31教育专类第四节 方差最大正交旋转因子旋转的目的： 使每个变量在尽可能少的因子上有比较高的载荷，让某个变量在某个因子上的载

18、荷趋于1，而在其他因子上的载荷趋于0。 要求每一列上的载荷大部分为很小的值，每一行中只有少量的最好只有一个较大的载荷值；每两列中大载荷与小载荷的排列模式应该不同。32教育专类因子旋转的方法：1.varimax:方差最大旋转。简化对因子的解释2.direct oblimin:直接斜交旋转。允许因子之间具有相关性。3.quartmax:四次最大正交旋转。简化对变量的解释4.equamax:平均正交旋转。5.promax:斜交旋转方法。我们这里只介绍方差最大正交旋转我们这里只介绍方差最大正交旋转。33教育专类两因子的方差最大正交旋转cossinsincos, 2 , 1,21222122211211

19、CAXpiahAaaaaaaAijijipp设正交矩阵除之。的元素用每行的共同度规范化处理。即每一行中的元素进行造成的不平衡，需对的共同度之间的差异所。考虑到各个变量按行计算的共同度对设因子载荷矩阵34教育专类211211212112111211cossinsincoscossinsincosppppppbbbbaaaaaaaaACB35教育专类 这样做的目的是使因子载荷矩阵A的结构简化。换句话说就是希望所得结果能使载荷矩阵的每一列元素尽可能向1和0两极分化，即原始变量中一部分主要与第一因子有关，另一部分主要与第二因子有关，也就是要求（b112,bp12），（b122,bp22）这两组的方差V

20、1，V2尽量大，为此正交旋转分角度必须满足旋转后所得到因子载荷阵的总方差达到最大。36教育专类 pjjjpjjjpjjpjjjjjjjjjjjpiijpiiijpiiijjvDvCvBAhaavhahapBACpABDtgGVVGxxnSVjhbphbpV11221122122212221212212221222 2/ )(/240max12 , 111计算得：方差就是一元统计分析中的这里37教育专类分子符号分母符号4 取值范围取值范围0/20/8/2 /8 /4- -/2-/4 -/8-/2 0-/8 0 根据公式的分子、分母的符号来确定角的取值范围。38教育专类多因子的方差最大正交旋转 如

21、果公共因子多于2个，可以每次取2个因子，全部配对旋转需要 次，全部旋转完毕算一次循环，并记第一轮旋转后的因子载荷矩阵记为A1。如果循环完毕得出的因子载荷阵还没达到目的，则可以继续进行第二轮配对旋转，新的因子载荷矩阵记为A2。 ，如此不断重复旋转循可得一系列因子载荷矩阵。 A1 ，A2， As 。 记V（s）为As各列元素平方的相对方差之和。则得到V值的一个升序列： V（1）V（2） V（3） V（s） 这是一个有界的单调数列，因此一定会收敛到每一个极限。实际应用中，经过若干次旋转之后，若相对方差改变不大，则停止旋转。2) 1(2mmcm39教育专类第五节 因子得分 因子分析的数学模型是将变量表

22、示为公共因子的线性组合： Xi=ai1F1+ai2F2+aimFm i=1,2,p 由于公共因子能反映原始变量的相关关系，用公共因子代表原始变量时有时更有利于描述研究对象的特征，因而往往需要反过来将公共因子表示为变量的线性组合:即 Fi=i1X1+ i2X2+ ipXp i=1,2,m 上式称为因子得分函数，用它来计算每个样本的公共因子得分。40教育专类 由于因子得分函数中方程的个数m小于变量的个数p，因此不能精确计算出因子得分，只能对因子得分进行估计。 估计因子得分的方法很多，如：巴特莱特因子得分、回归法等。41教育专类 一、巴特莱特因子得分 把一个个体的p个变量的取值X*当作因变量，把求因

23、子解中得到的A作为自变量数据阵，对于这个个体在公因子上的取值 F，当作未知参数，而特殊因子的取值看作误差 e，于是得到如下的线性回归模型： x*=AF+e，则称未知参数F为取值X*的因子得分。42教育专类该方法也称为加权最小二乘法。求得最小。加权平方和，使得的一组取值也就是寻求计。最小二乘估计法进行估对，因此可以采用加权个特殊方差可以不全相由于的近似解。到型相类似的方法求解得采用与求解线性回归模。我们其中由于ppiipiiiipppiiffffafafaxffffffpfffFpiDAFX,/)(,),(, 2 , 1,)(,*2112212211*212121243教育专类是无偏的。分最小二

24、乘估计的因子得从条件意义上来说加权）（）（的条件数学期望分因子得值已知的条件下，可得为相互独立，则在与若）（得：由微积分求极值的方法（可以用矩阵表示为：因此加权平方和由于FFAFDAADAFAFEDAADAFFEFFFXDAADAFFAXDFAXfafafaxAFXpiipiiii)/()/(*)/)(,*111111111112212211*44教育专类 二、回归法因子得分 将公共因子F用变量表示的线性组合为： 因为因子得分Fj的值是待估的，我们仅知道利用样本值可得因子矩阵A=(aij)pm。由载荷的意义知：*2211BXxbxbxbFpjpjjjipjpijpijpijpjpjjijiij

25、rbrbxxEbxxEbxbxbxbxEFxEa11112211*)*(*)*(*)*(*()*(45教育专类 B的最小二乘估计为： 因子得分的估计为：ARXf1*ARB1得ARB 这就是估计因子得分的计算公式。也称为汤姆森因子得分。46教育专类因子分析的基本步骤 1、将原始数据标准化。 2、建立变量的相关系数矩阵R=(rij)。nkkjkinkjkjnkikinkjkjikiijxxnxxxxxxxxr1121211)()()( 若作Q型因子分析，则建立样品的相似系数矩阵Q。47教育专类 3、求R的特征值及相应的单位特征向量。pppppppuuuuuuuuuUuuu21222211121121p21.,单位特征向量记为，特征值记为根据累计贡献率的要求，使累计贡献率达到85以上，取前m个特征值及相应