因子分析专题

1、因子分析专题 8.1 引言因子分析是主成分分析的推广，它也是一种把多个变量化为少数几个综合变量的多元分析方法，其目的是用有限个不可观测的隐变量来解释原始变量之间的相关关系。例 8.1.1 linden 对二次大战以来奥林匹克十项全能比赛的得分做了分析研究，他收集了160 组数据， 这十个全能项目依次为： 100 米跑、跳远、 铅球、 跳高、 400 米跑、 110 米跨栏、铁饼、撑竿跳高、标枪、 1500 米跑。但是总的来说基本上可归结为他们的短跑速度、爆发性臂力、 爆发性腿力和耐力这四个方面，每一个方面都称为一个因子。用 x1 , x2 , x10 分别表示十个项目的得分，它们可以表示为含有

2、上述四个因子的线性模型：xiiai1 f 1ai 2 f 2ai 3 f 3ai 4 f 4i ， i1,2,10其中 f1 , f2 , f 3 , f 4 表示 4 个因子，称为公因子，aij 称为第 i 个变量在第j 个因子上的载荷。i 是总平均，i 是第 i 项得分不能被四个公因子解释的部分，称之为特殊因子。这个模型形式上与线性回归模型几乎一样，但是它们有着本质的区别：回归模型中自变量是可以被观测得到的，而上述因子模型中的f1 , f 2 , f3 , f4 是不可观测的隐变量，这使得该模型理解起来较为困难；再者，两个模型的参数意义也很不相同。例 8.1.2 为了评价高中学生将来进大学

3、时的学习能力，抽了 200 名高中生进行问卷调查，共 50 个问题。所有这些问题可简单地归结为阅读理解、数学水平和艺术修养这三个方面。这也是一个因子分析模型，每一方面就是一个因子。例 8.1.3 公司老板对 48 名申请工作的人进行面试， 并给出申请人在 15 个方面所得的分数，这 15 个方面是：（ 1）申请信的形式； （ 2）外貌；（ 3）专业能力；（ 4）讨人喜欢的能力；（ 5）自信心；（ 6）洞察力；（ 7）诚实；（ 8）推销能力；（ 9）经验；（ 10）驾驶汽车本领； （ 11）抱负；（ 12）理解能力；（ 13）潜力；（ 14）对工作要求强烈程度（ 15）适应性。这些问题可以归结为

4、如下的几个方面： 申请者外露的能力， 讨人喜欢的程度， 申请者的经验， 专业能力。每一方面都是因子模型中的一个因子。1 / 248.2 因子模型一、数学模型设 p 维可观测的随机向量x( x1 , x2 , x p ) 的均值为( 1 ,2 ,p ) ，协方差矩阵为(ij ) ，因子分析的一般模型为x11a11 f 1a12 f 2a1m f m1x22a21 f1a22 f 2a2m f m2（8.2.1）xppa p1 f1a p2 f 2a pm fmp其中 f1 , f2 , f m 为公因子， 1 ,2 ,p 为特殊因子，它们都是不可观测的随机变量。公因子 f1 , f2 , f m

5、 出现在每一个原始变量xi (i1,2, , p) 的表达式中， 可理解为原始变量共同具有的公共因素；每个公因子f j ( j1,2, m) 至少对两个原始变量有作用，否则它将归入特殊因子。每个特殊因子i (i1,2, , p) 仅仅出现在与之相应的第i 个原始变量 xi的表示式中，它只对这个原始变量有作用。（ 8.2.1）式可用矩阵表示为xaf（8.2.2）式中 f( f1 , f 2 , fm ) (mp) 为公因子向量，( 1 , 2 ,p ) 为特殊因子向量，a(aij ) : pm 称为因子载荷矩阵，并假设a 的秩为 m 。通常假定e( f )0m 1e( )0 p 1v ( f )

6、e fe( f ) fe( f )e ffi m m（8.2.3）v ( )ee( )e( )eddiag ( 12 , 22 , p2 )cov( f ,)e fe( f )e()e( f) 0m p同理易知 cov( , f ) ee( ) f e( f )e ( f ) 0 p m ，注意两个协方差矩阵阶2 / 24数不一样。由上述假定可以看出， 公因子彼此不相关且具有单位方差， 特殊因子彼此不相关且和公因子也不相关。因子分析与主成分分析是多元分析中两种重要的降维方法，但两者有很大的不同。主成分分析不能作为一个模型来描述， 它只能作为一般的变量变换， 主成分是可观测的原始变量的线性组合；

7、 而因子分析需要构造一个因子模型， 公因子一般不能表示为原始变量的线性组合。二、因子模型的性质1 x 的协方差矩阵的分解由（ 8.2.2）式知v (x) v (af)e(af)e(af)(af) e(af)e(af)(af)e ( af)( af)e ( af )( af )e ( af )e(af )ee aff ae afef aeae ffaaefefaeai m m a a 0m p0 p m a eaa v ( )aa d即aad（8.2.4）这就是的一个分解。如果x 为标准化了的随机向量，则就是相关矩阵r ( ij ) p p ，即有raad（8.2.5）2.模型不受单位的影响将

8、x 的单位作变化，就是作一变换x*x ，这里diag ( 1 ,2 ,p ) ，j0 ，(i1,2, , p)， 于 是x*x(af)af， 令*，*a ， f*f ，*，则有a3/ 24x*a* f *（仍然为因子分析模型）这个模型能满足完全类似于（8.2.3）式的假定，即e( f * )0m 1e(* )0 p 1v ( f * )i m mv (* )d *cov( f * ,* )e( f * *)0mp其中v (* )d *e*e( * )*e( * )e*e()()e( ,)ddiag ( 12 ,22 ,l,p2 )diag (1212 ,2222 ,l,p2p2 )diag (

9、1*2 ,2*2 ,l,*p2 )即 d*diag(*2*2,* 2) ，* 222， (i 1,2, , p) 。1,2,piii3因子载荷是不唯一的设 t 为任意 mm 正交矩阵，令a*at ， f *t f ，则模型（ 8.2.2 ）式能表示为xa* f *(8.2.6)因为e(f*e t f)t e(f) 0)(v ( f * )v (t f )t v ( f )tt ti m m4 / 24cov( f * , )e( f *)t e( f)0所以仍满足条件（8.2.3）式。从（ 8.2.4）式可以看出，也可分解为a* a*d（8.2.7）因此，因子载荷矩阵a 不是唯一的，在实际应用

10、中常常利用这一点，通过因子的变换，使得新的因子有更好的实际意义。三、因子载荷矩阵的统计意义1 a 的元素 aij 原始变量xi 与公因子f j 之间的协方差函数（ 8.2.1）式可以表示为xiiai1 f 1ai 2 f 2aim f mi ， (i1,2, p)（8.2.8）故cov( xi , f j )cov(iai1 f1ai 2 f 2aim f mi , f j )cov( aij f j , f j )cov( i , f j )aij cov( f j , f j )cov( i , f j )（8.2.9）aij v ( f j )aij即 aij 是 xi 与 f j 之间

11、的协方差函数。若x 为标准化了的随机向量，即v ( xi )1，则 xi 与 f j之间的相关系数cov( xi , f j )( xi , f j )cov( xi , f j )aij（8.2.10）v ( xi )v ( f j )此时 aij 表示 xi 与 f j 的相关系数。2 a 的行元素平方和 hi2maij 原始变量 xi 对公因子依赖的程度j 1对（ 8.2.8）式两边取方差5 / 24v (xi ) v ( iai1 f1ai 2f 2v ( i ) v ( ai1 f 1 ) v (ai 2ai21v ( f1 ) ai22v ( f2 )2222ai1ai 2aimi

12、aim fmi )f 2 )v ( aim f m )v ( i )22aimv ( f m )i(i1,2, p)（8.2.11）m令 hi2ai21ai22aim2aij2 ， (i1,2, p) ，于是j 122（ 8.2.12）iihii ， (i1,2, , p)hi2 反映了公因子对xi 的影响，可以看成是公因子对xi 的方差贡献， 称为共性方差 ；而i2 是特殊因子i 对 xi 的方差贡献，称为个性方差 。当 x 为标准化了的随机向量时，ii 1，此时有221 ， (i 1,2, , p)（8.2.13）hiip3 a 的列元素平方和 g 2jaij 公因子 f j 对 x 的贡

13、献i1由（ 8.2.11）式得ppv (xi )v ( iai 1 f1ai 2 f 2aim f mi )i 1i 1ppppv ( i )v (ai1 f1 )v (ai 2 f2 )v (aim f m )i 1i 1i 1i1ppppai21v ( f1 )ai22v ( f 2 )aim2v ( f m )i2i 1i 1i 1i 1ppppai21 v ( f 1 )ai22 v ( f 2 )aim2 v ( f m )i1i 1i 1i 1p2222g1 v ( f 1 ) g 2v ( f 2 )gmv ( f m )ii12222g1g 2g mipv ( i )i1（8.

14、2.14）2i其中6 / 24pg 2jaij2 ， ( j1,2,m)i1从（ 8.2.14）式可见，a的第 j 列元素的平方和 g 2j 是 v ( f j )的系数， g 2j 的值越大，反映了f j 对 x 的影响越大，g 2j是衡量公因子 f j 重要性的一个尺度，可视为公因子 f j 对 x 的贡献。8.3 参数估计设 x1 , x2 , xn 是一组 p 维样本，则和可分别估计为1n1nxxi 和 sn(xi x)( xi x)n i11 i 1为了建立因子模型，首先要估计因子载荷矩阵a(aij ) : pm 和个性方差矩阵d diag ( 12 , 22 , , 2p ) 。常

15、用的参数估计方法有如下三种：主成分法，主因子法和极大似然法。一、主成分法设样本协方差矩阵 s 的特征值依次为 12p 0 ，相应的正交单位特征向量为 t1 ,t 2 , ,t p 。选取相对较小的主成分个数m ，并使得累计贡献率mii 1 pii1达到一个较高的百分比，则s 可作如下的近似分解7 / 24s1t1t12t 2t 2mt mt mm 1t m 1t m 1p t p t p1 t112 t12m t1mm 1 t1,m 1m2 t1,m2p t1 p1 t 212 t 22m t2 mm 1 t 2,m 1m2 t 2,m2p t 2 p1 t p12 t p2m t pmm 1

16、 t p ,m 1m 2 t p ,m 2p t pp1 t111 t211 t p12 t122 t 222 t p 2m t1mm t 2mm t pmm 1 t1,m 1m 1 t2 ,m 1m 1 t p, m 1m2 t1,m 2m 2 t2 ,m 2m 2 t p, m2p t1 pp t 2 pp t pp1 t112 t12m t1m1 t111t 211 t p11 t 212 t 22m t2 m2 t122 t 222 t p 21 t p12 t p2m t pmm t1mm t 2mm t pmm 1 t1,m 1m 2 t12p t1pm 1 t1,m 1m 1 t

17、 2,m 1m 1 t p, m 1m 1 t2 ,m 1m 2 t22p t 2 pm 2 t12m 2 t22m 2 t p 2m 1 t p ,m 1m 2 t p 2p t ppp t1pp t 2 pp t pp1 t112 t12m t1m1 t111t 211 t p11 t 212 t 22m t2 m2 t122 t 222 t p 2?d1 t p12 t p2m t pmm t1mm t 2mm t pm1t1t12t 2t 2mt mt m?d? ?aad其中8 / 24?1 t1,2 t 2 , ,m t ma1 t112 t12m t1m1 t 212 t22m t

18、 2m1 t p 12 t p 2m t pma11a12a1ma21a22a2ma p1a p2a pm?222, ?2 , ?p )d diag ( ?1?12?22? 2pm易知，?2sii?2， i 1,2, , p 。证明如下。iaijj 1证明：因为 sa?a?d? ，即s1t1 t12t 2t 2m tm tmm 1tm 1t m 1p t p t p1t1 t12t 2t 2m tm tm?d1 t1 (1 t1 )2 t2 (2 t 2 )m t m (m t m )?d?aad又因为 a1 , a2a1a1a1a2 a2 ，即a29 / 24s11s12ls1ps21s22

19、ls2 pmmomsp1sp2lsppa11a12la1ma1,m 1a1,m2la1pa21a22l a2 ma2, m 1a2, m 2l a2 pmmommmomap1a p2lapmap ,m1ap ,m 2lappa11a21lap 1a12a22la p 2mmoma1ma2mlapma1,m1a2, m1lap,m1a1,m2a2, m2lap,m2mmoma1 pa2 plappa11a12la1ma11a21lap1a21a22la2 ma12a22lap2mmommmomap1a p2lapma1ma2 mlapma1,m 1a1,m2la1 pa1,m1a2,m1la2,

20、 m 1a2, m2la2 pa1,m2a2,m2lmmommmoa p, m 1a p ,m 2lappa1 pa2 pla11a12la1ma11a21lap1a21a22la2 ma12a22lap2mmommmomap1a p2lapma1ma2 mlapmmmma12ja1 j a2 jla1 j amjj 1j 1j 1?2mmma22 j1a2 j a1 jla2 j apjj1j 1j 1mmommmmapj a1 japj a2 jlapj2j1j1j1ap ,m 1ap ,m2mapp?12?22o?2p?22o?2p10 / 24m对比等式两边，即得?2sii?2，i1,

21、2, , p。iaijj 1证明完毕。?就是因子模型的一个解。因子载荷矩阵?的第 j 列与 s 的第 j 个主成分这里的 a和 da的系数向量仅相差一个倍数j （ j1,2, m ），因此这个解就称为主成分解 。若 p 个原始变量的单位不同，则我们首先对原始变量作标准化变换，此时的样本协方差矩阵即为原始变量的样本相关矩阵?代替（ 8.3.1）式中的 s ，可类似地求得主成r，用 r分的解。二、主因子法主因子法是因子分析中一种最简单、最有效的方法，它已经得到了最普遍的应用。我们这里假定原始变量 x 已作了标准化变换。如果随机向量 x 满足因子模型xaf则有， raad ，其中 r 为 x 的相关

22、矩阵，令r*r daa（8.3.2）12r12r1p1r1212r2 p即 r*2rp1rp 212p则称 r* 为 x 的约相关矩阵。易见，r* 中的对角元素是hi2，而不是1，非对角元素和r 中是完全一样的，并且r* 是一个非负定矩阵。我们首先在相关矩阵r 及个性方差矩阵diag ( 12 ,22 ,2p ) 已知的条件下，求出因子载荷矩阵a 。由上一节因子模型的性质3 知， a 的解是不唯一的，可以有许多。主因子法就是要求f1 对 x 的贡献 g12p21 达到最大， 第二个公因子得到的解能使第一个公因子aif 2 对 x 的贡i 111 / 24pp献 g 22ai22 次之，第m 个

23、公因子 f m 对 x 的 献 gm2aim2 最小。i 1i 1由于 rank (r* )rank ( aa )rank ( a)m ，所以 r* 有 m 个正特征 ，依次 *0 ，相 的正交 位特征向量 *,*12mt1, t 2, tm ，故 r 的 分解 r*1* t1* t1*2t 2*t 2*mtm* tm*1* t1*1* t1* ,*2 t2* , ,*m t m*2 t 2*（8.3.3）*m tm*aa其中， a*1 t1* ,*2 t 2* ,*m tm*（8.3.4）它就是我 所要求的主因子解。a 中的第 j 列元素的平方和 *j t *j*j t *j*j ，即p*j

24、 g 2jaij2（8.3.5）i 1在 用中，相关矩 r 和个性方差矩 d 一般都是未知的，它 可通 一 本x1 , x2 , , xn来 行估 。 了符号上的方便， 我 将 r（或*）的估 仍 （或r*）。rr估 个性方差i2 等价于估 共性方差hi2 ， 是因 由hi2i21， (i1,2, p) 式知22i1 hi ， (i 1,2, , p)222?2i（或 hi）的 好估 一般很 直接得到，通常是先 出它的一个初始估 ），?i （或 hi待 荷矩 a 估 好之后再作出i2 （或 hi2）的最 估 。12 / 24个性方差i2 （或共性方差hi2 ）的常用初始估计方法有如下几种：?2

25、取为原始变量xi 与其它原始变量 x1 , x2 , xi 1 , xi 1 , , x p 的复相关系数的平（ 1） hi21?2。方，则 ?ihi（ 2）取 ?i21，其中 r ii 是 r1 的对角元素。r ii?2max rij2?2（ 3）取 hi，则 ?i1 hi 。ji（ 4）取 ?21，则?20，得到的? 是一个主成分解。 （因为此时 d0 ，r*r）hiia因子的个数 m 应选取为多少呢？一般可采用主成分分析中确定主成分个数的原则，即寻求一个较小的自然数 m ，使得m*jj 1p*jj1达到一个较高的百分比（比如至少达到85）。需要指出的是， r* 的部分特征值可能是负的。*

26、0 及其相应的正交单位特征向量最后，取 r 的前 m 的正特征值12mt1* , t2* ,tm* ，可以得到近似分解式r*? ?aa其中?* * * *?a1 t1 ,2 t 2 , ,m tm(aij )i2 的最终估计为13 / 242?2m?21， (i 1,2, p)（8.3.7）?i1 hij 1aij我们称这样求得的?22, ,2a和 ddiag ( ?1, ?2?p ) 为因子模型的主因子解。如果我们希望求得近似程度更好的解，则可以采用迭代主因子法，即利用（ 8.3.7）式中的 ?i2 再作为个性方差的初始估计，重复上述步骤，直至解稳定为止。三、极大似然法设公因子f n m (

27、0, i ) ，特殊因子 n p (0, d ) ，且相互独立，则原始向量xaf n p (,) 。样本 x1 , x2 , xn 的似然函数为nl ( , )f (xi )i1n11( xi)1 ( x)e 2ipi1(2 )1221 n)1 ( xi)1( xie 2 i 1npn( 2)221( 2)npn221npn( 2) 221tr2e1tr2e1n( xi)( xi)i 11n( xix)( xix) n( x)( x)i 1容易知道，似然函数是,的函数。由于aad ，故似然函数可确切地表示为? ? ?l(, a, d ) 。记 (, a, d ) 的极大似然估计为(, a, d

28、 ) ，即有? ? ?l (, a, d )max l(, a, d )可以证明， ?满足以下方程组x ，而 a和 d14 / 24? ? 1 ? ? 1?daa( i m a da)?diag (? ?（8.3.8）daa )其中 ?1n(xi x)( xi x) ，由于 a 的解是不唯一的，为了得到唯一解，可附加计算上n i 1方便的唯一性条件：a d 1 a 是对角矩阵（8.3.9）?（8.3.8 ）式中的a 和 d 一般可用迭代方法解得。共性方差的极大似然估计为：m?22，hi?i 1,2, , paijj1pa?ij2第 j 个因子 f j 对总样本方差的贡献为i 1，其中 sii

29、为第 i 个变量的方差。psiii1极大似然法在正态性假定能较好地被满足或者在大样本的情况下，能给出比主因子法更好的估计，并且有令人满意的渐进性质。极大似然法的计算量大约是主因子法的100 倍，这是由于极大似然估计需要用迭代方法计算并且要试着提取不同个数的因子。实际应用中，在使用极大似然法之前，一般先使用主因子法进行分析，以便给出因子个数的初步估计。8.4 因子旋转因子模型的参数估计完成之后，还必须对模型中的公因子进行合理的解释。进行这种解释通常需要一定的专业知识和经验，要对每个公因子给出具有实际意义的一种名称，它可用来反映在预测每个可观测的原始变量时这个公因子的重要性，也就是相应于这个因子的

30、载荷。因子的解释带有一定的主观性，我们常常通过旋转公因子的方法来减少这种主观性。公因子是否易于解释，很大程度上取决于因子载荷矩阵a 的元素结构。假设a 是从相15 / 24m关矩 r 出 求得的， a 2h21 ，故有aij 1，即a的所有元素均在1和 1之ijij 1 。如果 荷矩 a 的所有元素都接近于0 或1 ， 模型的公因子就容易解 。 可将原始 量 x1 , x2 , x p 分成 m 个部分，第一部分 第一个公因子f 1 ，第二部分 第二个公因子 f 2 ，第 m 部分 第 m 个公因子 fm 。反之，如果 荷矩 a 的多数元素居中，不大不小， 模型的公因子将 以作出解 ，此 必

31、行因子旋 ，使得旋 之后的 荷矩 在每一列上元素的 尽量拉开大小距离， 也就是尽可能地使其中的一些元素接近于 0，另一些元素接近于 1 。因子旋 方法有正交旋 和斜交旋 两 ，本 中我 只 正交旋 。 公因子作正交旋 就是 荷矩 a 作一正交 ，右乘正交矩 t ，使 at 能有更 明 意 。旋 后的公因子向量 f *t f ，它的各分量f1* , f2* , f m* 也是互不相关的公因子。正交矩 t 的不同 取法构成了正交旋 的各种不同方法，在 些方法中使用最普遍的是最大方差旋 法（ varimax ），本 介 一种正交旋 法。*p令 a*at (aij* ) ， d ijaij1dij2

32、， a* 的第 j 列元素平方的相 方差， d jhip i 1可定 1 paij*21 p aij*22vjp i 1hi2p i 1 hi21 p(dij2d j ) 2(8.4.1)p i 1取 aij* 2是 了消除 aij*符号不同的影响，除以hi2 是 了消除各个原始 量 公共因子依 程度不同的影响。 注：a*的第 i 行平方和 hi* 2等于 a 的第 i 行平方和 hi2，因 a* a*at ( at)att aaa2两个矩 相等， 的 角 元素当然相等，即hi*hi2 。16 / 24备注完毕。所谓最大方差旋转法就是选择正交矩阵t ，使得矩阵 a* 所有 m 个列元素平方的相

33、对方差之和vv1v2vm（8.4.2）达到最大。当 m2 时，设已求出的因子载荷矩阵为a11a12a21a22aap1ap 2现选取正交变换矩阵t 进行因子旋转，t 可以表示为tcossinsincos这里 是坐标平面上因子轴按逆时针方向旋转的角度，只要求出，也就求出了 t 。a11 cosa12 sina11 sina12 cosa11*a12*a*ata21 cosa22 sina21 sina22 cosa21*a22*a p1 cosa p2 sina p1 sina p 2 cosa*p1a*p 2再由（ 8.4.1）式和（ 8.4.2）式即可求得a* 各列元素平方的相对方差之和v 。显然， v 是旋转角度的函数， 按照最大方差旋转法的原则，应求出 ，使 v 达到最大。由微积分中求极值的方法，将 v 对求导，并令其为零，可以推得满足d2abptg 4（8.4.3）( a2b2 )cp其中17 / 24ppppaui ， bvi ， c(ui2vi2 ) ， d 2 ui vii 1i 1i 1i 1而22uiai1ai 2, vi2 ai1 ai 2