回归分析与因子分析之比较

1、.回归分析与因子分析之比较刘婷玉数学与统计学院06 级【摘 要】回归分析与因子分析是数理统计中常用的两种数据处理方法，本文对他们进行比较，分析了两种方法的区别与联系，各自的使用和适用范围，对教学质量的提高及在实际中对于有效选择此两种统计方法提供了依据。【关键词】 回归分析因子分析比较一、问题提出回归分析和因子分析都是研究因变量与因子间关系的一种数据处理方法，在模型上看，只是因子结构不一样，他们之间到底有什么内在联系，值得我们研究并加以利用。二、 问题分析1、统计模型和类型多元线性回归模型表示方法为Y b0b1X1b2 X 2bk X k un个样本观测值 (Y , X, X, X)i 1,2,

2、 , ni1i2iki得： Ybb X1ib X2ib Xkiuii012k其解析表达式为 :.Y1b0b1 X11b2 X 21bk Xk1u1Y2b0b1 X12b2 X22bk X k 2u2Ynb0b1 X1nb2 X 2nbk X knun多元模型的矩阵表达式为Y11X 11XY21X 12XYn1X 1nXY XBU21222 nXXXk1b0u1bk 21u2b2knbkunY11X 11XYY2X1X 12XYn1X 1nXb0u1b1BUu2b2bkun21222 nXXXk 1 k 2kn一般地，设 X=(x1 ， x2， ，xp) 为可观测的随机变量，且有X iiai1

3、f1 ai 2 f 2aim f m ei 。在因子分析中， p 维的变量向量 x 被赋予一个随机结构， x = +Af+具体也可以写成以下形式：x1a11 f1 a12 f2 La1m fm1x2a21 f1 a22 f2 La2m fm2L Lxpap1 f1 ap2 f2 Lapm fmp(1)其中 是 p 维向量， A 是 pr 参数矩阵， f 是 r 维潜变量向量，称为.公共因子 (Common factors)，而是 p 维的变量向量，称为特殊因子(Specific factors)，满足下列假定：E() =0，cov() =(对角矩阵 )E(f) =0 ，cov (f，)=0，c

4、ov(f) =I(2)它把每个变量分解为两部分， 一部分是由这些变量内含的公共因子所构成的，即公共因子部分，另一部分是每个变量各自独有的因子，即所谓特殊因子部分。 应当注意，因子模型不具有唯一性， 设 T 是一个正交矩阵，由TT I 可知，因子模型x =+Af+ 与模型x =+(AT)(T f)+ 等价。后者载荷矩阵为 AT，新的公共因子 Tf 。正是由于因子模型的不唯一性， 所以当原模型不适合专业解释时， 则作一个正交变换 T，把原模型改变为新模型，在新模型中再去寻找因子的专业解释，这就为因子旋转提供了理论的基础。由两者的比较可知，两种模型都是用某几个因子来解释变量的，只是因子构成不一样，

5、回归分析的因子之间可能存在相关关系，但是后者却是独立的。 回归分析模型写成了原观测变量的线性组合，因子分析是描述原指标X 协方差阵结构的一种模型，对原观测变量分解成公共因子和特殊因子两部分，当公共因子的个数 m=原变量个数 p 时，就不能考虑特殊因子了， 此时因子分析也对应于一种线性组合了，饿而且因子模型的系数矩阵表明了原变量和公共因子的相关程度。2、目的和作用回归分析是为了分析一个变量如何依赖其它变量而提出的一种统计分析方法， 它的目的是要确定引起因变量变化的各个因素，多元线性回归是研究一个因变量（Y ）和多个自变量（ Xi ）之间数量上相.互依存的线性关系。 利用回归分析可以进行因素分析、

6、 调整混杂因素和统计预测。因子分析是用于研究个体测量指标的协方差 (或相关 )结构的探索性数据分析的多元技术。 它找出若干可以解释可观测指标之间的变差或者联系的潜变量从而简化高维数据， 并对相似指标进行分组及检测多重共线性，将高维数据在低维空间中图示以利于直观考察数据的分布情况及检测异常值。 目标是通过减少变量的个数来了解数据的结构，在某种意义上可以取代原始数据， 而且通过图示和多元推断技术更容易进行研究。它就是用少数几个有意义因子来描述多个指标或因素之间的联系， 与此同时，又能保存住原有数据结构所提供的大部分信息，这样就可以找出潜在的特征。其目的为化简数据、浓缩信息、探讨内在结构，也就是说将

7、分散在多个变量中的同类信息集中起来、提纯，从而便于分析、解释和利用。同样是因变量和因子之间的关系， 但是回归分析却能得出确切的数值关系，而且通常是定量的 （不过对定性因素可以采用虚拟变数的处理方法）。但因子分析一般适用于定性的，不可观测的数据。不过，回归分析的关系不精简明了， 而且确定的因子也是根据人为经验事先定好的，不如因子分析的全面， 可能还得做逐步回归等才能剔除或增加变量。3、适用原则首先，回归分析和因子分析使用的数据不一样。 回归分析同时需要因子和因变量的数据，数据结构为因变量和因子对应的顺序数据，.即 Yi , Xi i1,2,n 。而因子分析只需要在不同情况下对应的因变量的值，无需

8、知道X 的确切数值，只要根据调的数值就行了，也即这种方法可以揭示因子内部的关系。其次，样本容量的要求也不同。回归分析最小样本容量n ?1X Y，有 (XX)-1 存在 | XX | 0 XX为 k+1k+1。对 B( X X )阶的满秩阵， R(AB) min(R(A) ，R(B) ，R(X) k+1，因此，必须有 nk+1。根据经验，有 n 30 或者 n 3(k+1)才能满足模型估计的基本要求。 n 3(k+1) 时，t 分布才稳定，检验才较为有效。根据 Gromuch(1983)的观点，因子分析的样本量要求如下 :一般原则是要求样本数目至少是变量个数的五倍， 能有一比十的比例是较可被接受

9、的，有些研究建议观察值个数为变量个数的二十倍;总样本最好应有 100 个或以上的观察值，通常不要少于50 个观察值。最后，模型假设也有不同之处：在回归分析中，有如下假设： 解释变量 Xi 是确定性变量， 不是随机变量； 解释变量之间互不相关，即无多重共线性。 随机误差项具有0 均值和同方差。 随机误差项不存在序列相关关系。 随机误差项与解释变量之间不相关。 随机误差项服从0 均值、同方差的正态分布。在因子分析中，假定： 公共因子的均数为，方差为。.特殊因子的均数为，方差为i，且特殊因子互不相关。公共因子与特殊因子相互独立。由比较可知，两种分析方法在两类因子的相关性上有相似之处，差别主要在于回归

10、分析中的随机误差项要求服从0 均值、同方差的正态分布。4、模型的解Rij 回归分析应用最小二乘估计，其矩阵表示如下：?YXB UU N (0,2YXB)n2n2?iQeiii 1i 1y yE Y Y Y XBe e(Y?XB) (YXB)Q(Y?B X )(YXB)( Y Y?Y XBB X Y B X XB)为什么 Y XBB X Y？Y Y?2B X YB X XBQ0X Y?0?X XBBe e?12BX XX Y?n k 1它具有线性 （估计量都是被解释变量观测值的线性组合）无偏性（估计量的数学期望=被估计的真值）有效性（估计量的方差是所有线性无偏估计中最小的）而因子分析有若干种方法

11、 主成分法（ principal component factor）aijj l ji ,i1,2, p; j1,2, m每一个公共因子的载荷系数之平方和等于对应的特征根，即该.p2gi2公共因子的方差。jaij。i 1 主因子法（ principal factor ）设原变量的相关矩阵为R=( rij )，其逆矩阵为 R-1=( rij)。各变量特征方差的初始值取为逆相关矩阵对角线元素的倒数，i1/ rii 。m则共同度的初始值为 h12aij2 。j 1 极大似然法（ maximum likelihood factor ）假定原变量服从正态分布，公共因子和特殊因子也服从正态分布，构造因子负

12、荷和特殊方差的似然函数，求其极大，得到唯一解。由上可知，因子载荷的统计意义是第i 个变量与第 j 个公共因子的相关系数，表示 X i 依赖巧的份量 (比重 )。统计中应称为权。现称载荷，表示第 i 个变量在第 j 个因子上的负荷，反映了第 i 个变量在第 j 个因子上的相对重要性。 另外，回归的系数是唯一确定的，而因子模型的系数矩阵不唯一， 且该矩阵表明了原变量和公共因子的相关程度。差阵的特征值所对应的特征向量。 某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动。 另外，因子分析中的载荷矩阵是不可逆的， 只能通过可观测的

13、原变量去估计不可观测的公共因子， bij 是因子载荷矩阵中的元素，是第i 变量 Xi 与第 j 个公共因子 Z j 的相关系数，即表示 X i 依赖 Z j 的份量，是第 i 变量在第 j 个公共因子上的负荷，它反映了第 i 变量在第 j 个公共因子上的相对重.要性。j 是第j 个原观测变量的特殊因子，且此处的X i 与 Z j 的均值都为 0，方差都为 1。5、效果检验对多元线性回归可作如下平方和分解：(Yi Y )2(Yi Yi )2(Yi Y)2TSSRSSESS总离差平方和 回归平方和残差平方和自由度： n-1k-1n-k回归方程的总体检验： H0:12k0H 1 :并非所有的 都为零

14、据给定的F根据样本资料计算统 计量 F2MSRSSR kyykF =2MSESSE n1 ky yn1 k如果 F F则拒绝 H0, 否则接收 H0回归系数的检验：. H0 :k0H1 :k0据给定的F计算统计量FSSR X1 , X 2 ,X kSSRX 1 , X 2 ,X k 1/ 1F =SSEX 1 , X 2 ,X k/ n 1k如果 F F 则拒绝H 0 , 否则接收H 0而对于因子分析而言， 是没有统计检验的， 只是在模型中各个量的统计意义上有所表现：(1)特征根 (Eigenvalue)， (H.Kaiser)所谓特征值，是指每一行因子负荷量平方加总后之总和， 表示该因子能解

15、释全体变异的能力。 每一个公共因子的载荷系数之平方和等于对应的特征根， 即该公共因子的方差。它可以被看成是主成分影响度的指标，代表引入因子、主成分后可解释平均多少原始变量的信息。因每一变量之变异数均为 1，若所抽取的因子特征根小于 1，说明该主成分的解释力度还不如直接引入一个原变量的平均解释力度大。 因此一般可以用特征根大于 1 作为纳入标准。(2) 变 量 共 同 度 (Communalities) ， 也 称 为 公共 方 差 (commonvariance)，反映全部公共因子变量对原有变量X i 的总方差解释说明比例。原有变量 X i 的共同度为因子载荷矩阵A 中第 i 行元素的maij

16、2 , h12 越接近于 1(原有变量 X i平方和 h12标准化前提下，总j1方差为 1)，说明公共因子解释原有变量越多的信息。如果大部分变量.的共同度都高于0.8，则说明提取出的公共因子已经基本反映了各原始变量 80%以上的信息，仅有较少的信息丢失，因子分析效果较好。可以说，各个变量的共同度是衡量因子分析效果的一个指标公共因子Fj 的方差贡献定义为因子载荷矩阵A 中第 j 列各元素的平方和，方差贡献反映了该因子对所有原始变量总方差的解释能力，其值越高，说明因子重要程度越高。累积贡献率达到80% 85%就比较满意了。因子载荷（负荷） aij 是随机变量 X i 与公共因子 f j 的相关系数

17、。设称 g 2j 为公共因子 f j 对 X 的“贡献 ”，是衡量公共因子 f j 重要性的一个指标。6、步骤 回归分析A 、找出被选变量B、试建回归模型C、评核回归模型D、修改回归模型E、解释并应用回归模型 因子分析A、 输入原始数据 X n p ，计算样本均值和方差，进行标准化计算（处理）；B、求样本相关系数矩阵R= rij p p ；C、求相关系数矩阵的特征根i ( 1 , 2 ,po )和相应的标准正交的特征向量l i ；.D、确定公共因子数；2E、计算公共因子的共性方差hi ;F、对载荷矩阵进行旋转， 以求能更好地解释公共因子；G、对公共因子作出专业性的解释。三、结束语回归分析和因子

18、分析是两种常用的数据处理方法， 通过主成分分析和因子分析的对比， 我们可以很清楚的看出回归分析和因子分析有一定的关系，本文只给出一部分区别和联系。希望通过本文的分析，能给初学者有一定的帮助，在学习和研究中能提供信息。另外，由以上比较可知，在处理数据时，若数据包含因子的信息，则可以先进行回归分析，再用因子分析进行进一步验证和扩展，发现其内在规律，以尽量全面客观的解释客观事实。参考文献1 高惠璇 .应用多元统计分析 M. 北京大学出版社 ,2005,1.2 何晓群 ,刘义卿 . 应用回归分析 M. 中国人民大学出版社 .3 张尧庭 .多元统计分析选讲 . 北京 : 中国统计出版社出版， 20024 数学建模方法及其应用 韩中庚 北京：高等教育出版社， 20055 回归分析及其试验设计 茆诗松、丁元、周