应用多元统计分析因子分析

1、因子分析Factor Analysis研究相关阵或协方差阵的内部依赖关系, 将多个变量综合为少数几个因子,以再现原始变量与因子之间的关系,例： 心理学家Charles Spearman (100多 年前), 学习成绩是由一个智力因子g唯一决定的. 目前考试系统: 语言(verbal), 数学(mathematical), 逻辑(logical),例：100个学生的数学、物理、化学、语文、历史、英语的成绩。 智能因子，因子负荷,记：数学、物理、化学、语文、历史、英语成绩分别为：X1, X2, X3, X4, X5, X6 其中 F对所有Xi都起作用的公共因子 (智能因子)-不可观测; ai表示第

2、i个科目在智能高低因子上的 体现, 称为因子载荷; 是Xi特有的特殊因子,可以把模型推广到多个因子的情况，如含数学推导因子，记忆因子，计算因子等分别记为：F1, F2, , Fm 其中 F1, F2, , Fm又被称为潜在因子， 是相互不相关不可观测的， 是对所有Xi都起作用的公共因子 (作用可大可小); aij 称为因子载荷; 是Xi特有的特殊因子,因子分析的主要应用： 1. 寻求内部结构, 找出少数几个因子, 以再现它们与原始变量间的内在联系2. 用于分类, 对p个变量或n个样本分类R型因子分析：用变量之间的相关关系 对变量或样本分类Q型因子分析：用样本之间的相关关系 对变量或样本分类,1

3、. 不是研究自变量和因变量间关系，而是在探寻可能无法观察的自变量(因子)的过程中，研究因变量之间的关系. 回答：A. 找几个因子？ B. 因子的含义？C. 因子解释数据的程度？D. 随机成分解释数据程度 2. 启发式Heuristic：不是绝对的模型,正交因子模型,矩阵形式,其中: 可观测 公共因子 不可观测 特殊因子 与 F 互不相关 因子载荷阵,附页,由于有方程： 如用标准化的变量X，协方差阵被换成相关阵,附页,还有 如用标准化的变量X由于系数ai1, ai2, , aim 度量了Xi可由F1, F2, , Fm的线性组合表示的程度, 称作载荷（loading, 心理学). 即称 aij

4、为第i个变量在第j个因子上的载荷,附页,由于其中 是全部公共因子对变量Xi的总方差的贡 献, 称为共因子方差. 它反映了变量Xi对 公共因子F的依赖程度, 也称为变量Xi的 公共度(communalities) 是由与Xi有关的特定因子产生的方差， 称为剩余方差,附页,在因子载荷阵A中, 求A的各列的平方和 是第j个公共因子Fj对所有变量X的总影 响, 也称它为公共因子Fj的方差贡献. 的值越大, 表明Fj对X的贡献越大. 可以将它们排序，得到公共因子的贡献排序,附页,注1：因子模型作量纲变化X*=CX, 其中C为对角阵有即模型不受量纲影响,附页,注2：因子模型做变换 , 其中G为mm正交阵,

5、有如将 看成公共因子, 则 可看成因子载荷阵, 即公共因子和因子载荷阵不唯一.,附页,方差最大的正交旋转 (varimax)记 其中而 记 做旋转使p个数据 的方差最大,附页,几何解释：如果记其长度为1, 即夹角余弦它恰好等于变量 与 的相关系数？！,附页,公共因子不一定是正交的 -斜交因子模型把公共因子表示成变量的线性组合 -因子得分,附页,因子模型 1. 因子得分的加权最小二乘估计：2. 假设 可得到因子得分的最大似然估计（巴特来因子得分）3. 回归法权（汤普森因子得分）,附页,主成分分析与因子分析的公式上的区别,主成分分析,因子分析(mp) SPSS用主成分输出 Component ma

6、trix,因子得分 SPSS用主成分输出中的 Component score coefficient matrix (选 Display factor score coefficient matrix) prin1 和f1 的差别在于前者系数是单位向量,参数估计方法：1. 主成分法2. 主因子解3. 极大似然法,附页,主成分法设样本协方差阵S的特征向量为特征值为 则S有谱分解其中被看作 的主成分分解,附页,主因子解对相关阵R出发, 设 则有约相关阵： . 给定对角阵D作初始值可得 , 记其特征向量为特征值为 记用 作为新D，重复上面计算直到 收敛，称此分解为主因子解,附页,极大似然法在正交因子

7、模型中设共因子 和特殊因子 服从正态分布则 来自正态分布设 取 似然函数 中， A和D未知 上述等式满足似然方程式用迭代方法求极大似然解,附页,SPSS数据形式,SPSS-因子分析,打开studentscore.sav，选AnalyzeData ReductionFactor Analysis 进入主对话框； 把math、phys、chem、literat、history、english选入Variables， 点击Extraction A 在Method可选择 Principal Components B 在Analysis选Covariance matrix （X不做标准化）；选Corre

8、lation matrix （X标准化） C 在Display可选unrotated factor soluation和画碎石图就选Scree plot D 在Extract选项可以按照特征值的大小选主成分，也可选主成分的数目Number of factors (2) 之后选Continue。,点击Rotation A 在Method选一个旋转方法如varimax B 在Display选Rotated solution（以输出和旋转有关的结果）和Loading plot（以输出载荷图）；之后选Continue 点击Scores，再选择Save as variables（因子得分就会作为变量存在

9、数据中的附加列上）和计算因子得分的方法（比如Regression）；要想输出Component Score Coefficient Matrix表，就要选择Display factor score coefficient matrix；之后选Continue。这时点OK即可。,这里的Initial Eigenvalues就是这里的六个特征值（数据相关阵的特征值）。头两个成分特征值累积占了总方差的81.142%。后面的特征值的贡献越来越少。,特征值的贡献还可以从SPSS的所谓碎石图看出,原始六主成分,用x1, x2, x3, x4, x5, x6来表示math（数学）， phys（物理），che

10、m（化学），literat（语文），history（历史），english（英语）等变量。选两个因子f1和f2,如果选两个有,SPSS输出为, 0.8062+0.3532= 0.774245 0.6742+0.5312=0.736237 0.6752+0.5132=0.718794,与两个因子的关系,旋转后（varmax）,SPSS输出communalities 和varimax旋转前后component matrix 比较, 0.8062+0.3532= 0.774245 0.6742+0.5312=0.736237 0.6752+0.5132=0.718794, 0.3872+0.7902=0.773869 0.1722+0.8412=0.736865 0.1842+0.8272=0.717785 0.