多元统计分析第六章 因子分析

1、第6章 因子分析6.1 因子分析数学模型因子分析是很有用的统计分析工具，因子分析的实质就是找出少量不可观测的随机变量，用它们表示众多的可观测随机变量。以下例子能说明因子分析的意义。例6.1对一个班的学生，进行五门课程（力学、物理、代数、分析、统计）考试，其中力学和物理闭卷考试，代数、分析、统计开卷。这5门功课的成绩是可观测的随机向量。每个学生的成绩可以看成5维随机向量的一个观测,见表6-1。表 6-1 五门课程考试成绩 学生力学（闭卷）物理（闭卷）代数（开卷）分析（开卷）统计（开卷）19297828296278939585963908886819647087788583578788085786

2、687687798876682808083874858377719777573778510798775776011677975786912708274775913656579707814807873715215467075728816757971695517598468686818578476706019776176726020466477787721597667776122645676647923277376788224646864776225696471626826696861745927597170765128335965729629616780655030476064727931458

3、4656760326164687452335542697676344657636983355174666066367155716950376171726447386057707155395775696448405578686940413870746859426363646652435678646149446167685655经过一定计算（因子分析）后发现存在不可观测的随机变量：、，它们和间有关系 （6.1）其中、是不可观测的随机变量。我们认为它们分别表示学生的学习能力和适应开闭卷能力，所以可分别称为学习因子和适应开闭卷因子。（6.1）揭示了这两个因子如何影响5门功课的成绩，也揭示5门课成绩的实

4、质：每门课的成绩由学习因子和适应开闭卷因子的线性组合，加上常数，再加上随机变量而得。这是是很有意义的。象例6.1那样，找出少量不可观测因子（例如、），并给出它们影响可观测随机变量（例如）方式的统计分析，就是因子分析。因子分析与主成分分析不同：主成分分析是寻求若干个可观测随机变量的少量线性组合，说明其含义；因子分析主要的目的是找出不一定可观测的潜在变量作为公共因子，并解释公共因子的意义，及如何用不可观测随机变量，计算可观测随机变量。因子分析方法在心理学，经济，医学，生物学，教育学等方面有重要用途。例如为了测验应聘者的素质，出40道题，让应聘者回答，每道题有一得分， 40题得分被认为可以观测的随机

5、变量。我们希望找出有限个不可观测的潜在变量来解释这40个随机变量，这些不可观测的潜在变量不一定能表示为原来随机变量的线性组合，但却是有实际意义的，例如交际能力，应变能力，语言能力、推理能力、艺术修养、历史知识和生活常识等。又如分析生物生长状况时，从生物的实测指标（长、宽和体重等）可以分析出生长因子和控制因子，找出它们在不同时刻的作用。有关因子分析细节可参看方开泰（1989）、Richard(2003)和Gorsuch（1983）。因子分析模型包括正交和斜交因子模型，本书只介绍正交因子分析模型，表述如下： 定义6.1 设X为p维可观测随机向量，其均值向量为，协差阵为,若X能表为 (6.2)其中是

6、待定常数阵，f是k维随机变量（通常k小于p），u是p维随机向量，且 （6.3）则满足条件(6.3)的（6.2）式称为X有k个因子的因子分析模型。f称为公共因子，u称为特殊因子，叫做因子负荷矩阵，其元素称为第i个变量在第j个因子上的负荷。例6.1中， 由（6.2）式可见，因子负荷矩阵特别重要：第i个变量的值再加上常数项和特殊因子而成。的大小反映第j个因子对第i个变量的影响。令，则它反映了所有公共因子对X第i个变量的影响大小。定义6.2 称为共同度(communality)或共性方差(commonvariance)。例6.1中共性方差是表示这门课程成绩的分散性（它由测试题目的区分度决定）和测量误差

7、，因子分析中不讨论它们。因子分析的重点在寻求因子负荷阵和解释公共因子，一般不对特殊因子研究。通常，因子分析的计算由X的协方差阵的分解而完成： 由(6.2)和(6.3)可见 （6.4）由已知解（6.4），可得。其实只要解得即可，因为对角线上元素 i=1，p于是由。但是，（6.4）的解是否存在？如果无解，能否作因子分析？当k=p时，取就是（6.4）的解，因而（6.4）总有解。然而k=p不符合因子分析的目的：用少量不可观测的随机变量表示维数很高的随机向量 。不幸的是，当k0.8091185,因子1比因子2重要。 Final Communality Estimates: Total = 3.66560

8、5 ALLCHEMI DUPONT UNIONCAR EXXON TEXACO 0.660709 0.806483 0.685885 0.731155 0.781374上表是共性方差。 从因子负荷阵可见：可观测因子在第一公共因子上的负荷都是相差不多的正数，可见第一公共因子表示一般经济条件，可称为市场因子；前三个公司是化学加工公司，它们的股票回报率在第二个公共因子上的负荷都是负的，后两个公司是石油公司，它们的股票回报率在第二个公共因子上的负荷都是正的，可见第二个公共因子反映产业的不同，可称为产业因子。 由于数据集stock已建立，可直接调用。采用极大似然法的程序是proc factor data

9、=stock method=ml n=2; /*采用极大似然法，对数据集stock用相关阵计算因子分析，选取两个公共因子*/var AllChemi duPont UnionCar Exxon Texaco; /*可观测因子是AllChemi 、duPont 、UnionCar、 Exxon、Texaco */run;主要输出的表 Factor Pattern FACTOR1 FACTOR2 ALLCHEMI 0.68323 -0.19151 DUPONT 0.69240 -0.51867 UNIONCAR 0.68027 -0.25058 EXXON 0.62085 0.07033 TEXA

10、CO 0.79388 0.43971可见极大似然法所得因子负荷阵是 Variance explained by each factor FACTOR1 FACTOR2 Weighted 8.026412 2.379734 Unweighted 2.424712 0.566772上表第3列是每个因子负荷的平方和，反映因子的重要性：平方和越大，该因子越重要。本例中2.42471244 0.56677229,因子1比因子2重要。 Final Communality Estimates and Variable Weights Total Communality: Weighted = 10.4061

11、45 Unweighted = 2.991485 ALLCHEMI DUPONT UNIONCAR EXXON TEXACO Communality 0.503484 0.748441 0.525560 0.390406 0.823593 Weight 2.014042 3.975230 2.107740 1.640434 5.668700上表第2列是共性方差。 两个公共因子的含义和主成分法一样。采用主因子法（初始特殊因子的方差是0.3，0.2，0.3，0.3，0.2）的程序是proc factor data=stock method=p n=2; /*采用主因子法，对数据集stock用相关阵

12、计算因子分析，选取两个公共因子*/var AllChemi duPont UnionCar Exxon Texaco; /*可观测因子是AllChemi 、duPont 、UnionCar、 Exxon、Texaco */priors 0.3 0.2 0.3 0.3 0.2;/*规定特殊因子的方差为0.3 0.2 0.3 0.3 0.2*/run;执行后所得主要输出有 Factor Pattern FACTOR1 FACTOR2 ALLCHEMI 0.68468 -0.07101 DUPONT 0.64931 -0.10567 UNIONCAR 0.69450 -0.06773 EXXON 0

13、.62329 0.15067 TEXACO 0.59798 0.11765可见主因子法所得因子负荷阵是 Variance explained by each factor FACTOR1 FACTOR2 2.118782 0.057339上表第是每个因子负荷的平方和，反映因子的重要性：平方和越大，该因子越重要。本例中2.1187820 0.0.0573392,因子1比因子2重要。 Final Communality Estimates: Total = 2.176121 ALLCHEMI DUPONT UNIONCAR EXXON TEXACO 0.473823 0.432771 0.4869

14、11 0.411192 0.371424上表是共性方差。 采用迭代主因子法的程序是proc factor data=stock method=prinit n=2; /*采用迭代主因子法，对数据集stock用相关阵计算因子分析，选取两个公共因子*/var AllChemi duPont UnionCar Exxon Texaco; /*可观测因子是AllChemi 、duPont 、UnionCar、 Exxon、Texaco */run;执行后所得主要输出有 Factor Pattern FACTOR1 FACTOR2 ALLCHEMI 0.69710 -0.07560 DUPONT 0.77286 -0.42899 UNIONCAR 0.71576 -0.11929 EXXON 0.61011 0.19072 TEXACO 0.69767 0.50637可见迭代主因子法所得因子负荷阵是 Variance explained by each factor FACTOR1 FACTOR2 2.454553 0.496758上表最后一行是每个因子负荷的平方和，反映因子的重要性：平方和越大，该因子越重要。本例中2.1187820 0.0.0573392,因子1比因子2重要。 Final Communality Estimates: