管理研究方法论 第五节因子分析

第五节 因子分析 一 因子分析的基本原理 因子分析是用少数几个因子去研究多个原始指标之间关系的一种多元统计方法 它的 基本思想是找出决定原始指标的内在的主要的因素 以简化人们的认识 找出决定事物特 性的主要原因 对比较复杂的事物进行比较研究 1 因子模型 设有 p 个指标 x1 x2 xp 每个指标已经标准化 设每个指标可以表示为以下形 式 x1 a11F1 a12F2 a1mFm 1 x2 a21F1 a22F2 a2mFm 2 xp aP1F1 aP2F2 aPmFm P 式中的 Fj j 1 2 3 m 称为公共因子 每个变量都与它们有关 它们是不可 观测的 其意义要根据具体问题来解释 i 称为特殊因子 它们与公共因子彼此独立 aij是第 i 个指标在第 j 个公共因子上的系数 称为因子荷载 A aij p m称为荷载因子矩阵 因子分析的主要任务之一就是根据一组原始数据 确定变量的荷载矩阵 2 因子荷载矩阵 A 的统计意义 1 aij 是第 i 个指标 xi 与第 j 个公共因子 Fj 的相关系数 A 中第 i 行的各个元素 因子荷载 说明了第 i 个指标 xi 依赖于各个公共因子的 程度 第 j 列元素说明第 j 个公共因子 Fj 与各个指标的联系程度 因此常根据该列绝对值 较大的因子荷载所对应的指标来解释这个公因子的意义 即这个因子是决定哪个指标的 2 A 中第 i 行元素的平方和 称为指标 x 的共同度 由于各特殊因子与所有的公共因子之间是独立的 而且各个指标和公共因子均已经标 准化 所以有 即 该式说明 指标 xi 的方差由两部分组成 第一部分为共同度 hi2 它刻划全部公共因子 对指标 xI的总方差的贡献 它越大 说明该指标的全部原始信息被 m 个公共因子概括程度 越高 m 个公共因子对该指标的描述就越有效 第二部分是单个指标所特有的方差 3 A 中第 j 列元素的平方和 表示第 j 个公共因子 Fj 对原始指标所提供的方差贡献之和 它是衡量各个公共因子相 m j iji ah 1 22 m j ijiji Fax 1 2 var var var var 1 2 ii h p i ijj ag 1 2 对重要性的一个尺度 由于各个原始指标都已经标准化 所以原始指标提供的总方差 称 为第 j 个公共因子的方差贡献率 方差贡献率 j越大 说明第 j 个公共因子 Fj 越重要 若前 m 个公共因子的方差贡献率占到总方差的相当大的比例 如 80 以上 那末就可以 认为这 m 个公共因子较好的概括了原指标 即原指标的信息可用这 m 个因子的信息近似 代替 3 因子荷载矩阵 A 的估计 给定 p 个指标的 n 组观察值 X xij n p 如何从 X 出发 确定较少的 m 个公共因子 估计出因子荷载 建立因子模型是因子分 析首先要解决的问题 估计因子荷载的方法常用的有主成份分析法 主因子方法和最大似然函数法 根据主成份分析原理 根据 p 个指标的 n 组观察值可以通过转换变为 p 个主成份 Y U X U 为正交矩阵 y1 u11x1 u21x2 up1xp y2 u12x1 u22x2 up2xp y2 u1mx1 u2mx2 upmxp yp u1px1 u2px2 uppxp 取前面 m 个主成份 这 m 个主成分的方差贡献率占了很大比重 如 80 以上 由上式 X UY x1 u11y1 u12y2 u1pyp x2 u21y1 u22y2 u2pyp xm um1y1 um2y2 umpyp xp up1y1 up2y2 uppyp p i i px 1 var p i ij j j a pp g 1 2 1 2211 2 1 21 YUYU Y Y UUUYX 式中 U1 是与前 m 个主成份对应的 U 的那一部分 x1 u11y1 u12y2 u1mym u1m 1ym 1 u1pyp x2 u21y1 u22y2 u2mym u2m 1ym 1 u2pyp Xp up1y1 up2y2 upmym upm 1ym 1 uppyp 记上式右边的第二部分为 则上式就可以写成 X U1Y1 则上式已经符合因子分析模型的形式 即 Y y1 y2 ym 可以看作是 m 个公共因 子 但是 yi 没有标准化 其方差为 i 均值为 0 为使得 Y 标准化 作变换 iii Fy u1 u11 u21 up1 u2 u12 u22 up2 um u1m u2m upm 11 2u11 21 2u12 m1 2u1m 11 2u21 21 2u22 m1 2u2m A 11 2up1 21 2up2 m1 2upm 则有 X AF x1 11 2u11 F1 21 2u12 F2 m1 2u1mFm x2 11 2u21F1 21 2u22 F2 m1 2u2mFm i i i y F 2211mmu uuA xp 11 2up1F1 21 2up2F2 m1 2upmFm 满足因子分析模型的要求 确定公共因子的个数有两种方式 一是有前 m 个公共因子的累计方差贡献率不低于某 一阈值 如 85 来确定 或只取特征根大于或等于 1 的公共因子 4 因子旋转 符合因子模型要求的因子荷载矩阵 A 不是唯一的 公共因子也不是唯一的 事实上设 为任意一个正交矩阵 I 则 X A F A F 则 A 也满足因子荷载矩阵的要求 F 的各个份量也可以作为公共因子 利用这一特性 当公共因子和因子荷载矩阵不便于解决实际问题时 可以设法找一个 矩阵 使得变换后的荷载矩阵 A 与公共因子 F 有比较鲜明的意义 这种方法叫作 因子旋转 为了达到这个目的 一般要设法使得旋转变换后 因子荷载矩阵的元素的绝对 值向两极分化 行向和列向 这样便于解释因子的意义 常用的方法叫作 方差最大正交 旋转 如果正交旋转后公共因子的意义仍不明显 可以作斜交旋转 5 因子得分 由于公共因子能够充分反映原始指标内部的依赖关系 因子用公共因子代替原始指标 更能反映研究对象的性质 因此有时需要反过来将 m 个公共因子表示为原来的 p 个原始指 标的线性组合 即 来计算各个样本的公共因子得分 从而便于对各个样本进行综合评价 估计因子得分的方法常用的是 Thomson 因子得分 二 利用 SPSS 或 SAS 进行因子分析 1 用 SPSS 进行因子分析 多孩率 节育率 初中以上人口比率 人均国民收入 城镇人口比率 1 94 89 89 64 51 3577 73 08 2 2 58 92 32 55 41 2981 68 65 3 13 46 90 71 38 20 1148 19 08 4 12 46 90 04 45 12 1124 27 68 5 8 94 90 46 41 83 1080 36 12 6 2 80 90 17 50 64 2011 50 86 7 8 91 91 43 46 32 1383 42 65 8 8 82 90 78 47 33 1628 47 17 9 80 91 47 62 36 4822 66 23 10 5 94 90 31 40 85 1696 21 24 11 2 60 92 42 35 14 1717 32 81 12 7 07 87 97 29 51 933 17 90 13 14 44 88 71 29 04 1313 21 36 14 15 24 89 43 31 05 943 20 40 pjpjjj xxxF 2211 15 3 16 91 21 37 85 1372 27 34 16 9 04 88 76 39 71 880 15 52 17 12 02 87 28 38 76 1248 28 91 18 11 15 89 13 36 33 976 18 23 19 22 46 87 72 38 38 1845 36 77 20 24 34 84 86 31 07 798 15 10 21 33 21 83 79 39 44 1193 24 05 22 4 78 90 57 31 26 903 20 25 23 21 56 86 00 22 38 654 18 93 24 14 09 80 96 21 49 956 14 72 25 32 31 87 60 7 70 865 12 59 26 11 18 89 71 41 01 930 21 49 27 13 80 86 33 29 69 938 22 04 28 25 34 81 56 31 30 1100 27 35 29 20 84 81 45 34 59 1024 25 72 30 39 60 64 90 38 47 1374 31 91 FactorFactor AnalysisAnalysis initial initial 最初的最初的 extractionextraction 提取的 提取的 共同度表 给出了各个变量的共同度 C Co om mm mu un na al li it ti ie es s 1 000 887 1 000 913 1 000 860 1 000 878 1 000 931 multi parity contraception J school input id x1 x5 cards 1 94 89 89 64 51 3577 73 08 2 2 58 92 32 55 41 2981 68 65 3 13 46 90 71 38 20 1148 19 08 4 12 46 90 04 45 12 1124 27 68 5 8 94 90 46 41 83 1080 36 12 6 2 80 90 17 50 64 2011 50 86 7 8 91 91 43 46 32 1383 42 65 8 8 82 90 78 47 33 1628 47 17 9 80 91 47 62 36 4822 66 23 10 5 94 90 31 40 85 1696 21 24 11 2 60 92 42 35 14 1717 32 81 12 7 07 87 97 29 51 933 17 90 13 14 44 88 71 29 04 1313 21 36 14 15 24 89 43 31 05 943 20 40 15 3 16 91 21 37 85 1372 27 34 16 9 04 88 76 39 71 880 15 52 17 12 02 87 28 38 76 1248 28 91 18 11 15 89 13 36 33 976 18 23 19 22 46 87 72 38 38 1845 36 77 20 24 34 84 86 31 07 798 15 10 21 33 21 83 79 39 44 1193 24 05 22 4 78 90 57 31 26 903 20 25 23 21 56 86 00 22 38 654 18 93 24 14 09 80 96 21 49 956 14 72 25 32 31 87 60 7 70 865 12 59 26 11 18 89 71 41 01 930 21 49 27 13 80 86 33 29 69 938 22 04 28 25 34 81 56 31 30 1100 27 35 29 20 84 81 45 34 59 1024 25 72 30 39 60 64 90 38 47 1374 31 91 proc factor data d1 method prin priors one p 0 8 simple proc factor data d1 rotate v n 2 score out o1 var X1 x5 proc print data o1 var factor1 factor2 run 三 利用因子分析的输出进行主成份分析 根据主成份分析原理 根据 p 个指标的 n 组观察值可以通过转换变为 p 个主成份 Y U X U 为正交矩阵 y1 u11x1 u21x2 up1xp y2 u12x1 u22x2 up2xp y2 u1mx1 u2mx2 upmxp yp u1px1 u2px2 uppxp 取前面 m 个主成份 这 m 个主成分的方差贡献率占了很大比重 如 80 以上 由上式 X UY x1 u11y1 u12y2 u1pyp x2 u21y1 u22y2 u2pyp xm um1y1 um2y2 umpyp xp up1y1 up2y2 uppyp 如果取 P 个主成分 则上述式子就是主成分分析的 P 个主成分 剩下的问题是知道上述各个系数就可以了 因子分析输出的系数是此时 应设主成分的 个数是 P 11 2u11 21 2u12 p1 2u1p 11 2u21 21 2u22 p1 2u2p A 11 2up1 21 2up2 p1 2upp 所以上述系数除以相应的 i1 2 就可以得到各个uij y1 u11x1 u21x2 up1xp y2 u12x1 u22x2 up2xp y2 u1mx1 u2mx2 upmxp yp u1px1 u2px2 uppxp 注意下标 在由因子分析系数转变为主成分分析的系数时 因子分析的系数是 竖 着用的 Compone nt 1234 X1 935 304 127 130 X2 968 118 130 178 X3 905 4064 936E 02 119 X4 954 206 210 5 974E 02 实力 主成份分析中的学生数据 Total Variance Explained Initial Eigenvalu es Extraction Sums of Squared Loadings Compone nt Total of Variance Cumulativ e Total of Variance Cumulativ e 13 54188 52788 5273 54188 52788 527 2 3137 83596 362 3137 83596 362 37 941E 021 98598 3477 941E 021 98598 347 46 611E 021 653100 0006 611E 021 653100 000 Extraction Method Principal Component Analysis y1 u11x1 u21x2 up1xp y2 u12x1 u22x2 up2xp y2 u1mx1 u2mx2 upmxp yp u1px1 u2px2 uppxp 式中的u就是要求的主成份系数 Component Matrix Compone nt 1234 X1 935 304 127 130 X2 968 118 130 178 X3 905 4064 936E 02 119 X4 954 206 210 5 974E 02 Extraction Method Principal Component Analysis a 4 components extracted 表中给出的是因子分析法中的因子系数 11 2u11 21 2u12 m1 2u1m 11 2u21 21 2u22 m1 2u2m A 11 2um1 21 2um2 m1 2umm 将其中的第一列除以 11 2 第二列除以 21 2 就可以得到第一 第二主成份的系