主成分分析与因子分析的比较

主成分分析与因子分析的比较

一、主成分分析方法

1、主成分分析介绍

主成分分析是将多个变量通过线性变换以选出较少个数重要变量的一种多

元统计分析方法，又称主分量分析。在实际问题中，为了全面分析问题，往往提

出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题

的某些信息。但是，在用统计分析方法研究这个多变量的课题时，变量个数太多

就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多

情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可

以解释为这两个变量反映此课题的信息有一定的重叠C

主成分分析是对于原先提出的所有变量，建立尽可能少的新变量，使得这些

新变量是两两不相关的，而且这些新变量在反映问题的信息方面尽可能保持原有

的信息。信息的大小通常用离差平方和或方差来衡量。主成分分析的基础思想是

将数据原来的P个指标作线性组合，作为新的综合指标（后,尸2,尸3,耳）。其中F.

是“信息最多”的指标，即原指标所有线性组合中使以〃《*）最大的组合对应的

指标，称为第一主成分；尸2为除B外信息最多的指标，即。刖*,/2）=4必且

口7厂（尸2）最大，称为第二主成分；依次类推。易知”,尸2,产3,且互不相关且方

差递减。实际处理中一般只选取前几个最大的主成分（总贡献率达到85%）,达

到了降维的目的。

2、主成分确定的原则

假设某个总体共有n个样本，而每个样本测得p项指标：Xi,X2,X3……Xp,

得到原始数据

X二孙：22…f=(X1X2Xp)

••♦•

/n!&2…"

其中

X=21,z=1,2,3«-,po

将数据矩阵X的p个向量XiXZ-作线性组合

rI

F\=aiX=6711X14-«21X2+--apiXp,

Fi=a2X=anX1+«22X2+•­•apiXp,

Fp=ciX=ai,Xa2Px2+•appXp,

>•1+

简写成

Fi=6X=a"Xi+a』X2+…amXp,其中i=1,2,3・,、〃

设均值E(X)=〃，协方差阵。(X)=Z。

则有

Var^Fi)=a^ai,其中i=1,2,3,p

Cou(几万)=q必，其中i,/=l,2,3..，〃

主成分就是使方差尽可能大的线性无关的线性组合”,尸2Fp,。

第一主成分R就是使在qq=1的限制条件下达到最大的线性组合

《X；

第二主成分/2就是使％r（尸2）在廿2=1和。皿八,b2）=%M=。的限制

条件下达到最大的线性组合生X；

类似地，第i主成分B就是使W/r（F2）在=l和

=0,（14/vi）的限制条件下达到最大的线性组合qXo

3、主成分分析计算步骤

首先，计算相关系数矩阵

匕生…

R="2；弓了

/pl5…%.

在上式中，为•(7,)=/,2,…，为原变量的xi与灯之间的相关系数，其

计算公式为

〃

Z®.一耳)(4.一岁

rr______U__________________________

»j~Ifl

柩(4-针£(%-引2

Vjt=i*=i

解特征方程|勿-4=0,通常用雅可比法(Jacobi)求出特征值

4a=1,2,…,p),并使其按大小顺序排列，即424NO；然后分别求

出对应于特征值4的特征向量g(i=12…,p)。这里要求同=1,即其

;=|

中e--表示向量4的第J个分量。

计算主成分贡献率及累计贡献率主成分Z,的贡献率为

(i=l,2,.、p)

ZA

k=\

累计贡献率为

hl(i=12…,p)

p

Z4

一般取累计贡献率达85—95%的特征值4,4，…4所对应的第一、第二

第m（m<p）个主成分。

计算主成分载荷，其计算公式为

§="(Z,,当)=口与(i,j=1,2,…,p)

得到各主成分的载荷以后，得到各主成分的得分

勺"I

3、主成分分析实例

Xi表示年人均可支配收入（元/人）：衡量一个国家信息消费者实际支付能

力的一个重要指标。

X2表示每千人中大学毕业生比重：即拥有大专毕业文凭数/千人（总人口），

反映信息消费主体信息素质整体水平。

X3表示信息产业增加值占GDP比重：即信息产业增加值/GDP。信息产业增

加值包括信息产品制造业、信息产品俏售业和信息服务业三部分的增加值之和，

反映信息产业的地位和作用。

X4表示人均信息消费支出占消费总支出的比例（％）:人均信息消费支出占消

费总支出的比例二人均信息消费支出/人均消费总支出，其中信息消费额取自统计

年鉴消费支出中的通信和教育文化娱乐服务两项。

X5表示互联网宽带接入端口（万个）：用来测度互联网的使用情况，反映出互

联网的发展状况。

X6表示移动电话已末用户（万户）：目前，通信网络规模决定了话音业务规模,

用这个指标移动通信业务普及率。

以31个省市、自治区作为样本，以上六个指标作为变量的原始数据如下表。

2006年全国31省市、自治区信息消费力评价指标

地区人均可支每千人中大人均信息消信息产业增移动电话互联网宽

配收入学毕业生比费占总消费加值占GDP年末用户带接入端

（元/人）重比率（％）比重（%）（万户）口（万个）

北京19977.52282.775989923.310923610.457714058157133E.2

天津14283.09145.966577319,192362570.309051513601.2959

河北10304.5636.7491166117.016296070.1489631142251235.9

ih西10027.7062.5040087220.619751390.055332408989.6148

内蒙古10357.9961,6321009919,862755510.066320169874.1699

辽宁10369.6191.7896561416.541491760.1813810381611224.1

吉林9775.0766.9492532617.777696170.076397421137.8962

黑龙江91823158.4159531318.738083040.0799446131266.6174.6

上海20667.91211.558245122.82270()560.6344589971609.5421.3

江苏14084.2669.004231819.977276011.1822299222873547.3

浙江18265.1079.7618786121.050514250.5016669083012.3549.9

安徽9771.0543.9345991618.751070980.1163507581216.7134.3

福建13753.2854.5731243320.699837170.301155691538.9305.6

江西9551.1242.9009957819.648215190.069971691933.3122.1

ill东12192.2453,8666480519.764182140.6753797512916433.8

河南9810.2638.2083046620.190331450.187408422353.3230.8

湖北9802.6573.2052006819.463265070.1588696441683.3221.7

湖南10504.6747.2319074820.762978470.1464971511494.5207.9

广东16015.5853.7032919521.032044161.6327897547117.5725.9

广西9898.7542.0216573217.970391420.0646414171204.1161.6

海南9395.1350.1559251617.191775250.022682114239.9335

重庆11569.74423764660622.225969790.1297333471064.6II1.6

四川9350.1142.4375032819.595179150.1960535161976.8244.4

贵州9116.6124.9812496420.939958150.055626427648.8696

云南10069.8928.6273846117.628773640.0689710791068.9113.7

西藏8941.089.71250971313.881474090.00491295660.54.8

陕西9267.7070.7178804922.91600470.1510402131183.6134.8

甘肃8920.5930.9428014420.949612930.033271527545.962.2

青海9000.3555.06040818.506579520.007492733172.6154

宁夏9177.2666.799061218.002461980.012168577218.6186

新疆8871.2780.1884267418.436079590.054383961671.1731

资料来源：《中国统计年鉴2007》《中国信息年鉴2007》

首先有数据求得协方差阵如下表所示：

协方差阵

-0.43769-0.05686-0.655440.271702-0.318290.44774

0.1462960.1938760.5461890.379835-0.650540.274242

0.003677-0.052410.031019-0.8741-0.367910.311238

-0.00806-0.777320.3005250.1063960.2774010.465964

-0.481830.5314480.315123-0.064370.4538580.419492

0.7448460.264137-0.285480.0488780.2391520.484102

求得六个特征值如下所示：3.74209444256884、1.39353957366168、

0.586965921908592、0.131940677791105、0.102128415552744、

0.0433309685170391o

前三个特征向量的累积贡献率已达到95.3767%,故只需取3个主成分，对应

的标注化特征向量分别为：

21=(0.447740.2742420.3112380.4659640.4194920.484102)

22=(-0.31829-0.65054-0.367910.2774010.4538580.239152)

As=(0.2717020.379835-0.87410.1()6396一().06437().048878)

前三个主成分为：

V=0.44774xi+0.274242x2+0.311238x3+0.465964s+0.419492r5+0.484102A6

y2=-0.31829xi-0.65054x2-0.3679卜3+0.277401心+0.45385&r5+0.239152x6

户=0.271702n+0.379835r?-0.8741单+0.106396x4-0.06437心+0,048878x6

从上面三个主成分来看，p表示一个总体水平，即年人均可支配收入、每千

人中大学毕业生比重、信息产业增加值占GDP比重、人均信息消费支出占消费

总支出的比例、互联网宽带接入端口、示移动电话年末用户对信息消费力的总体

影响。户表示信息消费环境，即互联网宽带接入端口、示移动电话年末用户对

信息消费力的总体影响，但在这里X4的作业也比较大，所以）'2并不是完全表示

信息消费环境，而是大致表示。户表示信息消费主体和消费客体的共同作业，

可以理解为一个信息消费的市场供需关系。从上面分析可知，主成分分析中有些

成分的作业并不是很不明显，于是采用因子分析的方法。

二、因子分析

1、因子分析介绍

在对某个对象进行分析时，为了全面、系统地分析问题，我们必须考虑众多

影响因素，这些涉及的因素变量•般称为指标。多变量大样本无疑会为研究提供

丰富的信息，但也在一定程度上增加了数据采集的工作量和难度，更重要的是在

大多数情况下，许多变量之间可能存在相关性而增加了问题分析的复杂性，同时

对分析带来不便。如果分别分析每个指标，分析又可能是孤立的，而不是综合的。

盲目减少指标会损失很多信息，容易产生错误的结论。因此需要找到一个合理的

方法，减少分析指标的同时，尽量减少原指标包含信息的损失，对所收集的资料

作全面的分析。由于各变量间存在一定的相关关系，因此有可能用较少的综合指

标分别综合存在于各变量中的各类信息。因子分析是从研究相关矩阵内部的依赖

关系出发，杷一些具有错综复杂关系的变量归结为少数几个综合变量的一种降维

的统计分析方法。在研究中，往往收集到的数据是多指标的。而且各指标之间通

常不是独立的，或多或少存在着一定程度的关系。因子分析的目的是通过少数几

个变量去描述这众多变量间的协力差关系。这少数几个变量是潜在的，而且是难

以观察的。在众多的观察变量中，必定存在某些高相关的变量，把这些高相关的

变量综合成一组。这样同一组内变量之间是高相关的，而与其他各组的变量却只

有较小的相关或是不相关。这些组内高相关的变量可以设想是由一个共同的因子

在影响着它们而导致高相关。这个共同的因子称为公共因子。

因子分析是以相关为基础，从协方差或相关阵开始把每个测量变量的方差分

解成两个部分：一部分是由所有测量变量共同具有的少数几个因子引起的方差，

即公共因子的方差；另一部分是每个测量变量特有的特殊因子引起的方差。公共

因子和特殊因子之间是不相关的。若公共因子与特殊因子还存在相关，则说明特

殊因子中还可以抽取公共因子。

因子分析的基本过程通常可分为两个步骤：

第一步：主因子分析。是通过对原始变量的相关系数矩阵内部结构的研究，

导出能控制所有变量的少数几个综合变量，通过这少数几个综合变量去描述原始

的多个变量之间的相关关系。i般来说，这少数的几个综合变量是不可观测的，

故称其为因子，我们又称这种通过原始变量相关系数矩阵出发的因子分析为R

型因子分析。因子分析所获得的反映变量间本质联系、变量与公共因子的关系的

全部信息通过导出的因子负荷矩阵体现。

第二步：因子解释和命名。从因子分析导出的负荷矩阵的结构出发，把变量

按与公共因子相关性大小的程度分组，使同组内变量间的相关性较高，不同组的

变量的相关性较低，按公共因子包含变量的特点（即公因子内涵）对因子进行解

释和命名。

2、因子分析的数学模型

设m个可能存在相关关系的原始变量XjX2,…,含有P个独立的公共

因子小工，…,心（〃拈〃），原始变量X,含有特殊因子/（i=l…m）,各个之间

互不相关，且与%0=1…p）之间也互不相关，每人X,可由P个公共因子和自身

对应的徨因子%.线性表达:

X]=%|耳+%2g+.一+4/,与+与

X?=%26+%26+…+%£，+七

V

Xm=4川G+品2工+…+/pFp+4

用矩阵表示：

简记为

X=AF+£

(nixl)(nixp)(pxl)(iwxl)

且满足：

⑴、m>po

(2)、COV(F,£)=0(即F与£是不相关的)。

(3)、E(F)=OCOV(F)=C.•.),〃=/〃(即Fi...FP不相关，且方差皆为1,

均值皆为0)。

(4)、E(£)=0COV(£)=Im(即£],q，…,〃互不相关，且都是标准化的变

量，假定X1,X?,…,X”也是标准化的，但并不相互独立)。

式中：A称为因子负荷矩阵，其元素％.表示第，个变量(XJ在第/个公共因

子弓上的负荷，简称因子负荷，如果把X,看成P维因子空间的一个向量，则询

表示匕在坐标轴写上的投影。£称作误差或特殊因子。

因子分析的目的在于确定公共因子的个数p和各公共因素的系数与，并依

据这些系数来确定公共因素的内涵。

3、参数(因子负荷、方差贡献率和共同度)的统计意义

因子分析的最后结果通常以因子负荷矩阵的形式给出，这个矩阵的一般形式

如下表所示。

变量因子负荷量公共度(I?)

因子1因子2...因子p

1anai2...3)p优=力.

7.出侬a2P

**・...•

mamidm2…Hmp

m

特征值

S：&…5；=

r=li-l1-1r=l/=!rj

方差/),=Sj/w...smP=£s；/m

Pl=Pp=p/

八1

贡献率

因子负荷均是变量X,与因子号的相关系数，它反映了变量X,对因子尸,的

依赖程度。

在矩阵A中，第i行平方和为例=f^=l_q2,h2称为共同度。共同度是

k=\

公共因子所占的Xj的方差，共同度越大，说明公共因子包含的Xj的信息就越多。

在A=(%)中，第j列的平方和0=1,……,p)代表公共因子弓的特

&=i

征值，表示公共因子弓对所有原始变量X'X?,…,X,“提供的方差贡献总和°

/tr.§2

方差贡献率5；/yQ(XJ=。X100%表示F对所有原始变量的方差贡献

/r=im

率，方差贡献越大，与就越重要。方差贡献率是衡量公共因子相对重要性的指

标。一般选择几个公因子，就看所有公共因子的方差贡献率之和(称为累计方差

贡献率)达到我们预想的百分比有儿个公因子。

4、因子分析实例

根据收集到的实际数据，依据因子分析的原理、步骤，运用matlab编写软

件提取初始主因子。根据下表中列出的所有因子，按照特征根从大到小的次序排

列，前3个因子累计贡献率达到95.23254%,己符合因子提取准则，所以提取前

3个因子进行因子分析，能较全面地反映所有信息。

累计贡献率

特征根排名特征值CH比例值LH累计比例值

13.68823070.61470510.6147051

21.44136350.24022720.8549324

30.58435850.09739310.9523254

40.12807760.02134630.9736717

50.11465470.01910910.9927808

60.0433150.(X)721921

在初始的因子载荷矩阵中，各因子所代表的含义不明显，所以要进行因子旋

转。通过旋转后的因子载荷矩阵可以看出，第一主因子在信息产业增加值占GDP

比重(X4)、移动电话年末用户(X5)、互联网宽带接入端口(X6)这三个指标上的载

荷较大，集中反映了信息产业结构与基础设施建设这两方面，因此，第一主因子

可定义为环境因子；第二主因子在城镇居民平均每人可支配收入(XI)、每千人中

大学毕业生比重(X2)两个指标上的载荷较大，反映了信息消费主体需求水平，所

以可将第二主因子定义为主体因子；第三个主因子在人均信息消费占总消费比率

(X3)指标上具有较高的载荷，反映信息消费力质量水平，因此，可定义为质量因

子。

另外，根据因子分析中的共性方差表可以看出，经旋转提取公因子后，各变

量中信息分别被提取的比例，如：信息产业增加值占GDP比重的信息量被提取

了97.9654%、城镇居民平均每人可支配收入的信息量被提取了82.5328%等等。

说明城镇居民信息消费力评价指标大部分信息都被上面所定义的公共因子所解

释，损失的信息较少。

旋转后的因子载荷矩阵

指标主因子fl主因子f2主因子行

XI0.5068978-0.8253280.2487741

X2-0.009309-0.9791050.2031436

X30.1834419-0.2854430.9406761

X40.979654-0.1748980.0984317

X50.99171850.0118790.1278802

X60.9419765-0.28132OJ83138

根据因子得分系数和原始变量的标准化值，可以得出各省市、自治区三个因

子的得分数，对31省市、自治区信息消费力水平进行综合评价并排序。然后以

旋转后二个因子的方差贡献率为权数计算综合得分，最终可以得到所有省巾、自

治区综合得分排名，最终排名结果如下表。

31省市、自治区各因子得分及排名

地区主因子fl排名主因子配排名主因子f3排名综合得分综合排名

北京0.507713851.079276210.851404960.6542876

天津0.458163960.58597155-1.755742300.2514059

河北0.406423170.1864669230.1793822160.3120957

山西-0.56558230.769882530.77241479-0.0874914

内蒙古-0.604806250.3019329170.383979712-0.2618524

辽宁0.071477712-0.11991230-2.80879431-0.2584323

吉林-0.373913190.227008190.023938117-0.1729820

黑龙江-0.30322180.213999621-1.25565629-0.2572722

上海0.390393681.011256722.066460110.6841675

江苏2.072743820.350352413-0.323361221.3267972

浙江1.298004840.365152190.5769247100.9417983

安徽-0.247069170.339132714-0.05498118-0.0757613

福建0.2450887100.3587078120.3085784140.2668828

江西-0.47875210.3319194160.57289511-0.1587619

山东1.325675530.36706348-0.23384190.8803044

河南0.24827039-0.017476260.214545150.1693110

湖北-0.09047613-0.853119311.1534864-0.1482217

湖南-0.160597140.43241527-0.27728820-0.0218512

广东4.305870410.338591515-0.482699232.6811681

广西-0.22558315-0.05116429-0.81109727-0.2299521

海南-0.72707280.7314264-0.58304224-0.3280125

重庆-0.470124200.363252100.8059698-0.1232316

四川0.1560663110.196062822-0.665232250.078245II

心

贝-0.689476260.17668524-0.67444726-0.4470731

云南-0.241115160.360052111-0.27799721-0.088815

西藏-0.49816622-0.04754828-1.08655528-0.4234729

陕西-0.601029240.490200561.01627925-0.1527218

甘肃-0.787449290.2149591200.84913117-0.3497127

青海-0.90636131-0.014695251.70794532-0.3943328

宁夏-0.88036630-0.028331271.15464393-0.4355230

新疆-0.702986270.2726956180.355562913-0.3319926

结合各省市、自治区的因子得分与综合得分，对我国城镇居民信息消费力的

分析评价如下：

从因子得分方面来看，从第一主成分环境因子来看，广东、江苏、山东、浙

江、北京、天津、河北、上海排在在了前8位，这与这8个城市作为全国信息产

业实力最强的实体相符合，得分最高的广东比得分其次的江苏高出了2个得分；

京、天津、河北、上海排在了后四位，且得分低于1,说明其近年信息产业发展

速度减缓。在第二主成分主体因子中,北京、上海得分最高，说明这些地区信息

消费主体素质与水平远远领先于其他城市，但整体得分较低，反映了主体因素是

我国信息消费力进一步提高的瓶颈。从反映信息消费质量的第三主成分质量因子

来看，得分普遍不高，且负分居多，只有10个城市得分大于零，其余城市都小

于零，说明我国现阶段各地区信息消费比例较低。

从省市、自治区本身来看，信息消费力内部因素发展不协调。如：江苏虽然

在环境因子上得到了最高得分，但在主观因子与质量因子上得到了较低分；广东

环境因子和质量因子虽然排名第一，然而在主观因子上却排到了15位。在31

个省市、自治区中，只有六个省市的3个主因子得分全为正数，其余25个省市、

自治区的3个因子得分至少有1个主因子得分为负，进一步说明了信息消费力内

部因素发展的不协调，其中，西臧、广西这2个城市的3个主因子得分都为负分

数，应引起政府的高度重视。

从综合得分来看，我国各地区的得分水平差距不大，反映了整体信息消费力

较为协调。广东虽然综合排名第一，但在主观因子与盾量因子上得分排名均靠后，

这缩小了其他城市与它的整体信息消费力的差距，说明环境因子在我国城镇居民

信息消费力评价中起了决定作用。这些都说明综合得分从三个主因子方面较为全

面地反映了各地区的信息消费力水平，并说明我国城镇居民信息消费力已经有了

初步发展，其中以北京、上海、广东等发达城市更为明显。

三、主成分分析与因子分析的区别

1、目的不同。

因子分析把诸多变量看成由对每一个变量都有作用的一些公共因子和仅对

某一个变量有作用的特殊因子线性组合而成，因此就是要从数据中控查出对变量

起解释作用的公共因子和特殊因子以及其组合系数；主成分分析只是从空间生成

的角度寻找能解释诸多变量变异的绝大部分的几组彼此不相关的新变量（主成

分）。

2、线性表示方向不同。

因子分析是把变量表示成各公因子的线性组合；而主成分分析中则是把主成

分表示成各变量的线性组合。

3、假设条件不同。

主成分分析中不需要有假设；因子分析的假设包括：各个公共因子之间不相

关，特殊因子之间不相关，公共因子和特殊因子之间不相关。

4、提取主因子的方法不同。

因子分析抽取主因子不仅有主成分法，还有极大似然法，主轴因子法，基于

这些方法得到的结果也不同；主成分只能用主成分法抽取。

5、主成分与因子的变化。

当给定的协方差矩阵或者相关矩阵的特征值唯一时，主成分一般是固定的；

而因子分析中因子不是固定的，可以旋转得到不同的因子。

6、功能.

和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释

方面更加有优势；而如果想把现有的变量变成少数几个新的变量（新的变量几乎

带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，

这种情况也可以使用因子得分做到，所以这种区分不是绝对的。

附录：

1、主成分分析源程序

%Z为新的主分成值，m为主成分元素个数，lamda为与主成分对应的原方差的特征值,

U为主成分对应的原方差的特征向量

%X为输入数据，行为数据个数，列为因子个数；va山e为权值

formatlong;

X=[1.99780.02830.00230.00000.15710.0335

1.42830.01460.00190.00000.06010.0096

1.03050.00370.00170.00000.22510.0236

1.00280.0063().00210.00000.09900.0148

1.03580.00620.00200.00000.08740.0070

1.03700.00920.00170.00000.16110.0224

0.97750.00670.00180.00000.11380.0096

0.91820.00580.00190.00000.12670.0175

2.06680.02120.00230.00010.16100.0421

1.40840.00690.00200.00010.28730.0547

1.82650.00800.00210.00010.30120.0550

0.97710.0044O.(X)I9O.()(X)()0.12170.0134

1.37530.0055O.(X)210.00000.15390.0306

0.95510.00430.00200.00000.09330.0122

1.21920.00540.00200.00010.29160.0434

0.98100.00380.00200.00000.23530.0231

0.98030.00730.00190.00000.16830.0222

1.05050.00470.00210.00000.14950.0208

1.60160.0054O.(X)210.00020.71170.0726

0.98990.0042().(X)18().()()()()0.12040.0162

0.93950.00500.00170.00000.02400.0034

1.15700.00420.00220.00000.10650.0112

0.93500.00420.00200.00000.19770.0244

0.91170.00250.002