第十章 因子分析.ppt

1、第十章 因子分析,第一节 因子分析方法 第二节 因子分析模型 第三节 因子分析模型的解 第四节 方差最大正交旋转 第五节 因子得分,第一节 因子分析方法,因子分析概念起源于20世纪初Karl Pearson 和Charles Spearmen等人关于智力测验的统计分析 因子分析的基本思想是把每个研究变量分解为几个影响因素变量，将每个原始变量分解成两部分因素，一部分是由所有变量共同具有的少数几个公共因子组成的，另一部分是每个变量独自具有的因素，即特殊因子。 xi=aijfj+ei,第二节 因子分析模型,一、因子分析模型 X*:标准化后的数据，F：公共因子，E：特殊因子 假设x*、F、E满足这样一

2、些性质： (1)E(x*)=0 Var(x*)=1 (2)E(F)=0, cov(F)=I (3)E(E)=0, cov(E)=，cov(ei,F)=0 x1*=a11F1+a12F2+a1mFm+e1 x2*=a21F1+a22F2+a2mFm+e2 xp*=ap1F1+ap2F2+apmFm+ep X*=AF+E 或X*=FA+E,其中X*=(x1*,x2*,xp*), F=(F1,F2,Fm) E=(e1,e2,ep) a11 a12 a1p A= a21 a22 a2p ap1 ap2 app A称为因子载荷矩阵或因子负荷矩阵,二、因子载荷量的统计意义与性质 1、因子载荷aij的统计意

3、义 xi*=ai1F1+ai2F2+aimFm+ei Cov(xi*,Fj)=cov(aikFk+ei,Fj) =cov(aikFk,Fj)+cov(ei,Fj) =aij,在各公共因子不相关的前提下，aij是xi*与Fj的相关系数，表示xi*依赖于Fj的程度。反映了第i个原有变量在第j个公共因子上的相对重要性。因此， aij的绝对值越大，则公共因子Fj与原有变量Xi的关系越强。,2、变量共同度及其统计意义(行平方和) 因子载荷阵中第 i行元素的平方和称为xi* 的共同度。 h12=a112+a122+a1m2 h22=a212+a222+a2m2 。 hp2=ap12+ap22+apm2,h

4、i2反映了全部公共因子对变量Xi*的影响，是全部公共因子对变量方差所做出的贡献，或者说Xi*对公共因子的共同依赖程度，称为公共因子对变量Xi*的方差贡献。 Hi2接近于1，表明该变量的原始信息几乎都被选取的公共因子说明了。 特殊因子的方差，反映了原有变量方差中无法被公共因子描述的比例。,3、公共因子的方差贡献及其统计意义(列平方和) g1=a112+a212+ap12 g2=a122+a222+ap22 gm=a1m2+a2m2+apm2 表示第j个公共因子Fj对于X*的每一分量Xi*所提供的方差的总和。称第j个公共因子的方差贡献。 是衡量公共因子相对重要性的指标，gi越大，表明公共因子Fj对

5、X*的贡献越大，该因子的重要程度越高 也是衡量公共因子相对重要性的另一指标。,4、正交因子载荷不具有唯一性,但此公式并非唯一公式： 其中： 两个变量xk*与xl*的相关系数和协方差等于因子载荷阵中第k行与第l行对应元素乘积之和。,例1、某校对学生进行了测量语言能力和数学能力的六项考试。考试成绩都化为标准分。假定x1*,x2*,x3* 是语言能力的三项不同考试的标准分， x4*,x5*,x6*是数学能力的三项不同的标准分。通过部分学生这六项考试成绩，得到相关系数矩阵：依此得出因子载荷矩阵：,据此可写出因子模型：,还可求出各变量的共同度，各变量对应的特殊因子方差，各公共因子方差贡献率以及两个公共因

6、子的累计方差贡献。,因子变量的特点,1、因子变量的数量远少于原有指标变量的数量。 2、因子变量是对原始变量的重新组构，能够反映原有众多指标的绝大部分信息。 3、因子变量之间没有线性相关关系，对因子变量的分析能够为研究工作提供较大的便利。 4、因子变量具有命名解释性。,Principal components:主成分法 Unweighted least square:不加权最小平方法 Generalized least squares:普通最小平方法 Maximum likelihood:最大似然法 Principal axis factoring:主因子法 Alpha factoring:因子

7、提取法 Image factoring:映象因子提取法,第三节 因子分析模型的解,一、主因子法 主因子法的基本思想是使用多元相关的平方作为对公因子方差的初始估计。初始估计公因子方差时多元相关系数的平方置于对角线上。这些因子载荷用于估计新公因子方差，替换对角线上前一次的公因子方差估计。这样的迭代持续到，本次到下一次迭代结果公因子方差的变化满足提取因子的收敛判据。,1、给出共同度hi2的初步估计值hi*2 以第i个变量xi*与其它所有变量x1*,x2*,xi-1*,xi+1*,xp*回归的复相关系数的平方作为初始估计值 2、求出约化相关阵 计算i*=1-hi*2,再计算出R*=R- * 3、求出特

8、征根和特征向量 由方程R*-I=0求出，并利用特征根、特征向量求出因子载荷阵A1 4、求出的估计，用估计值代替第二步的* 的估计： *（1）=R-A1A1 5、继续第三步，直到A， 的估计达到稳定为止,二、主成分分析法,主成分解 确定公共因子的个数有两种方法：一是根据具体问题的专业理论来确定，二是利用主成分分析中选取主成分个数的方法,第四节 方差最大正交旋转,因子旋转的目的： 使每个变量在尽可能少的因子上有比较高的载荷，让某个变量在某个因子上的载荷趋于1，而在其他因子上的载荷趋于0。 要求每一列上的载荷大部分为很小的值，每一行中只有少量的最好只有一个较大的载荷值；每两列中大载荷与小载荷的排列模

9、式应该不同。,因子旋转的方法： 1.varimax:方差最大旋转。简化对因子的解释 2.direct oblimin:直接斜交旋转。允许因子之间具有相关性。 3.quartmax:四次最大正交旋转。简化对变量的解释 4.equamax:平均正交旋转。 5.promax:斜交旋转方法。,两因子的方差最大正交旋转,这样做的目的是希望所得结果能使载荷矩阵的每一列元素尽可能向1和0两极分化，即原始变量中一部分主要与第一因子有关，另一部分主要与第二因子有关，也就是要求（b112,bp12），（b122,bp22）这两组的方差尽量大。,多因子的方差最大正交旋转,如果公共因子多于2个，可以每次取2个因子，全

10、部配对旋转需要 次，全部旋转完毕算一次循环，如果循环完毕得出的因子载荷阵还没达到目的，则可以继续进行第二轮配对旋转，。，如此不断重复旋转循可得V值的一个升序列：V（1）V（2） V（3） 实际应用中，经过若干次旋转之后，若相对方差改变不大，则停止旋转。,第五节 因子得分,因子分析的数学模型是将变量表示为公共因子的线性组合，由于公共因子能反映原始变量的相关关系，用公共因子代表原始变量时有时更有利于描述研究对象的特征，因而往往需要反过来将公共因子表示为变量的线性组合，即因子得分函数，用它来计算每个样本的公共因子得分。,一、巴特莱特因子得分 把一个个体的p个变量的取值X*当作因变量，把求因子解中得到

11、的A作为自变量数据阵，对于这个个体在公因子上的取值 f，当作未知参数，而特殊因子的取值看作误差 e，于是得到如下的线性回归模型： x*=Af+e，则称未知参数f为取值为X*的因子得分,最小二乘法,二、汤姆生因子得分 将公共因子F用变量的线性组合来表示： B的最小二乘估计为： 因子得分的估计为：,因子分析的基本思路,1、确认待分析的原有若干变量是否适合作因子分析 2、构造因子变量 3、利用旋转方法使因子变量更具有可解释性 4、计算因子变量得分,如果相关系数矩阵中大部分相关系数都小于0.3且未通过统计检验，那么这些变量就不适合做因子分析。,Bartlett test of sphericity,H

12、0:相关系数矩阵是一个单位阵 如果统计量值比较大，且其相对应的p值小于用户指定的显著性水平，拒绝原假设，认为适合作因子分析。 反之，不拒绝原假设，不适合作因子分析。,反映象相关矩阵检验（Anti-image）,由于偏相关系数是在控制了其他变量对两变量影响的条件下，计算出来的净相关系数，如果变量之间确实存在较强的相互重叠传递影响，即如果变量中确实能够提取出公共因子，那么控制了这此影响后的偏相关系数必然很小，因此，如果反映象相关矩阵中的有关元素的绝对值比较大，则说明这些变量可能不适合作因子分析,KMO检验,KMO的取值在0和1之间，KMO越接近于1，则越适合作因子分析,SPSS实现(因子分析与主成分分析),选AnalyzeData ReductionFactor进入主对话框； 把指标变量选入Variables，然后点击Extraction， 在Method选择一个方法（如果是主成分分析，则选Principal Components）， 下面的选项可以随意，比如要画碎石图就选Scree plot，另外在Extract选项可以按照特征值的大小选主成分（或因子），也可以选定因子的数目； 之后回到主对话框（用Continue）。然后点击Rotation，再在该对话框中的Method选择一个旋转方法（如果是主成分分析就选N