第8章 因子分析

.,第八章,因子分析,FactorAnalysis,.,8.1引言,1、什么是因子分析？因子分析是主成分分析的推广,也是利用降维的思想,由研究原始变量相关矩阵或协方差矩阵的内部依赖关系出发,把一些具有错综复杂关系的多个变量归结为少数几个综合因子,以再现原始变量与因子之间的相关关系的一种多元统计分析方法。,2、因子分析的基本思想：把每个研究变量分解为几个影响因素变量,将每个原始变量分解成两部分因素,一部分是由所有变量共同具有的少数几个公共因子组成的,另一部分是每个变量独自具有的因素,即特殊因子.,.,3、因子分析的目的：因子分析的目的之一,简化变量维数,即要使因素结构简单化,希望以最少的共同因素(公共因子),能对总变异量作最大的解释,因而抽取的因子愈少愈好,但抽取因子的累积解释的变异量愈大愈好.在因子分析的公共因子抽取中,应最先抽取特征值最大的公共因子,其次是次大者,最后抽取公共因子的特征值最小,通常会接近0.,.,实例1在企业形象或品牌形象的研究中,消费者可以通过一个有24个指标构成的评价体系,评价百货商场的24个方面的优劣.但消费者主要关心的是三个方面,即商店的环境、商店的服务和商品的价格.因子分析方法可以通过24个变量,找出反映商店环境、商店服务水平和商品价格的三个潜在的因子,对商店进行综合评价.而这三个公共因子可以表示为：称是不可观测的潜在因子,称为公共因子.24个变量共享这三个因子,但是每个变量又有自己的个性,不被包含的部分,称为特殊因子.这就是个因子分析模型.,(i=1,2,24),.,实例2调查青年对婚姻家庭的态度,抽取n个青年回答了p=50个问题的答卷,这些问题课归纳为如下几个方面:对相貌的重视、对孩子的观点、对老人的态度等等,这也是一个因子分析的模型,每一个方面就是一个因子.,.,实例3考察人体的五项生理指标:收缩压(X1)、舒张压(X2)、心跳间隔(X3)、呼吸间隔(X4)和舌下温度(X5).从生理学知识可知,这五项指标是受植物神经支配的,植物神经又分为交感神经和副交感神经,因此这五项指标至少受到两个公共因子的影响,也可用因子分析的模型去处理它.,.,因子分析的主要应用有两方面:一是寻求基本结构,简化观测系统,将具有错综复杂的对象(变量或样品)综合为少数几个因子(不可观测的随机变量),以再现因子与原始变量之间的内在联系;二是用于分类,对p个变量或n个样品进行分类.,因子分析,R型因子分析,Q型因子分析,.,4、主成分分析分析与因子分析的联系和差异：联系:(1)因子分析是主成分分析的推广,是主成分分析的逆问题.(2)二者都是以“降维”为目的,都是从协方差矩阵或相关系数矩阵出发.区别:(1)主成分分析模型是原始变量的线性组合,是将原始变量加以综合、归纳,仅仅是变量变换;而因子分析是将原始变量加以分解,描述原始变量协方差矩阵结构的模型;只有当提取的公因子个数等于原始变量个数时,因子分析才对应变量变换.(2)主成分分析,中每个主成分对应的系数是唯一确定的;因子分析中每个因子的相应系数即因子载荷不是唯一的.(3)因子分析中因子载荷的不唯一性有利于对公因子进行有效解释;而主成分分析对提取的主成分的解释能力有限.,.,8.2因子模型,一、正交因子模型,.,假定随机向量X满足以下的模型:,(8.2.1),则称模型(8.2.1)为正交因子模型.,.,(8.2.2),模型(8.2.1)用矩阵表示为,.,（1）（2）,三个关键的假设：,即互不相关,方差为1.,.,（3）,如果(2)不成立,即各公共因子之间不独立,则因子分析模型为斜交因子模型,在主成分分析中,回归模型(7.2.2)中的残差通常是彼此相关的.在因子分析中,特殊因子起着残差的作用,但被定义为彼此不相关且与公共因子也不相关;而且每个公共因子假定至少对两个变量有贡献,否则它将是一个特殊因子.,.,在正交因子模型中,假定公共因子彼此不相关且具有单位方差,即D(F)=Im.由,可知,正交因子模型意味着第j个变量和第k个变量的协方差jk由下式给出,(8.2.3),.,如果原始变量已被标准化,在(8.2.3)式中将用相关阵代替协方差阵.在此意义上,公共因子解释了观测变量间的相关性.用正交因子模型预测的相关与实际的相关之间的差异就是剩余相关.评估正交因子模型拟合优度的好方法就是考察剩余相关的大小.,.,(8.2.4),.,(8.2.3),(8.2.4),上述两个关系式称为正交因子模型的协方差结构.,.,因子分析案例,F1体现逻辑思维和运算能力,F2体现空间思维和推理能力,.,二、正交因子模型中各个量的统计意义,1.因子载荷的统计意义,因子负荷量(或称因子载荷)是指因子结构中原始变量与因子分析时抽取出的公共因子的相关程度.,由因子模型(8.2.1)及(8.2.4)可知,Xi与Fj的协方差,.,如果Xi是标准化变量(即E(Xi)=0,Var(Xi)=1),即Xi为,则,.,在各公共因子不相关的前提下,(载荷矩阵中第i行,第j列的元素)是随机变量Xi与公共因子Fj的相关系数,统计术语叫做“权重”,它表示Xi依赖Fj的分量(比重).由于历史的原因,在心理学中将模型(8.2.1)中的系数叫做“载荷”,即第i个变量在第j个因子上的载荷(或负荷),反映了第i个原始变量在第j个公共因子上的相对重要性.因此绝对值越大,则公共因子Fj与原始变量Xi的关系越强.,.,2.变量共同度的统计意义,共同度又称共性方差或公因子方差(community或commonvariance)就是变量与每个公共因子之负荷量的平方总和(一行中所有因素负荷量的平方和).变量的共同度是因子载荷矩阵A的各行的元素的平方和hi2.记为,从共同性的大小可以判断这个原始实测变量与公共因子之间的关系程度.如因子分析案例中:共同度h12=(0.896)2+(0.341)2=0.919,.,为了给出hi2的统计意义,下面来计算Xi的方差:,左式表明Xi的方差由两部分组成,第一部分hi2是全部公共因子对变量Xi的总方差所作出的贡献,称为公因子方差;第二部分i2是由特定因子i产生的方差,它仅与变量Xi有关,也称为剩余方差.,.,所有的公共因子和特殊因子对变量Xi的贡献为1,即hi2+i21.hi2反映了全部公共因子对变量Xi的影响,是全部公共因子对变量方差所做出的贡献,或者说Xi对公共因子的共同依赖程度,称为公共因子对变量Xi的方差贡献.hi2接近于1,表明该变量的原始信息几乎都被选取的公共因子说明了.hi2反映了变量Xi对公因子F依赖的程度,故也称公因子方差hi2为变量Xi的共同度.特殊因子的方差i2(剩余方差),反映了原始变量方差中无法被公共因子描述的比例,即各变量的特殊因素影响的大小,就是1减掉该变量共同度的值.如因子分析案例中:i2=1-0.919=0.081,.,3.公共因子Fj的方差贡献的统计意义,在因子载荷矩阵A中,求A的各列的平方和,记为qj2,即,qj2的统计意义与Xi的共同度hi2恰好相反,qj2表示第j个公共因子Fj对X的所有分量X1,Xp的总影响,称为第j个公因子Fj对X的贡献,它是衡量第j个公共因子相对重要性的指标.方差贡献qj2即每个变量与某一共同因素之因素负荷量的平方总和(因子载荷矩阵中某一公共因子列所有因子负荷量的平方和),又称为特征值.,如因子分析案例中:F1的方差贡献为=(0.896)2+(0.802)2+(0.516)2+(0.841)2+(0.833)2=3.113,.,qj2愈大,表明Fj对X的贡献愈大,该因子的重要程度越高.如果我们把载荷矩阵A的各列平方和都计算,使相应的贡献有顺序:q12qm2,我们就能够以此为依据,找出最有影响的公共因子.要解决此问题,关键是求载荷矩阵A的估计.,方差贡献率指公共因子对实测变量的贡献,又称变异量.方差贡献率=方差贡献qj2/实测变量数p，是衡量公共因子相对重要性的指标.qj2越大,表明公共因子Fj对X的贡献越大,该因子的重要程度越高.如因子分析案例中:F1的贡献率为3.113/5=62.26%,.,【注】,关于因子模型有下列两点需要指出(书P298)：,(1)模型不受量纲的影响.,(2)因子载荷矩阵A不是唯一的.,.,例8.2.1已知的协方差阵为,试求满足(8.2.3)式的因子载荷矩阵A和特殊因子协方差阵D,并计算X1的共同度.,.,解：容易验证,.,因而因子载荷矩阵A和特殊因子协方差阵D分别为,即X的协方差阵具有m=2的正交因子模型结构,且X1的共同度为,第一个特殊因子1的方差12=2,X1的方差可分解为,即方差共同度特殊方差,对Xi(i=2,3,4)也有类似地分解.,.,8.3参数估计方法,其中A=(aij)为pm的因子载荷矩阵;D=diag(12,p2)为p阶对角矩阵.也就是估计公共因子的个数m、因子载荷矩阵A及特殊因子方差i2(i=1,p),使得满足,.,由p个相关变量的观测数据计算样本协方差阵S,作为协方差阵的估计.为了建立公因子模型,首先要估计因子载荷aij和特殊因子方差i2.常用的参数估计方法有一下几种:主成分法,主因子解和极大似然法.,.,一、主成分法(基于主成分模型的主成分分析法Principalcomponents),设样本协方差阵S的特征值为12p0,相应单位正交特征向量为l1,l2,lp,则S有谱分解式:,.,当最后pm个特征值较小时,S可近似地分解为,(8.3.1),.,其中,def,(8.3.2),(8.3.2)式给出的A和D就是因子模型的一个解.载荷矩阵A中第j列(即第j个公共因子Fj在X上的载荷)和X的第j个主成分的系数相差一个倍数故(8.3.2)式给出的这个解常称为因子模型的主成分解.,.,当相关变量所取单位不同时,我们常常先对变量标准化.标准化变量的样本协方差阵就是原始变量的样本相关阵R,再用R代替S,与上类似,即可的主成分.,.,例:假定某地固定资产投资率，通货膨胀率，失业率，相关系数矩阵为试用主成分分析法求因子分析模型.,.,(1)求解特征根(2)求解单位特征向量：(3)因子载荷矩阵：,.,(4)因子分析模型：可取前两个因子F1和F2为公共因子,第一公因子F1物价就业因子,对X的贡献为1.55.第二公因子F2为投资因子,对X的贡献为0.85.共同度分别为0.987，0.706，0.706。,.,此方法是从R出发,是对主成分方法的一种修正.假定我们首先对变量进行标准化变换,则R=AA+DR*=AA=R-D称R*为约相关矩阵,R*对角线上的元素是,而不是1.,二、主因子解(基于因子分析模型的主轴因子法Principalaxisfactoring),这里,.,直接求R*的前p个特征根和对应的单位正交特征向量,得如下的矩阵：,.,当特殊因子的方差已知：,.,方差矩阵未知，估计的方法有如下几种：,1）取，在这个情况下主因子解与主成分解等价；2）取，为Xi与其他所有的原始变量Xj的复相关系数的平方，即Xi对其余的p-1个Xj的回归方程的判定系数，这是因为Xi与公共因子的关系是通过其余的p-1个Xj的线性组合联系起来的；3）取，这意味着取Xi与其余的Xj的简单相关系数的绝对值最大者;,4）取，其中要求该值为正数。5）取，其中是的对角元素。,.,例：假定某地固定资产投资率，通货膨胀率，失业率，相关系数矩阵为试用主因子分析法求因子分析模型.假定用代替初始的。,.,（1）求解特征根：（2）对应的非0特征向量：（3）因子载荷矩阵表：,.,（4）因子分析模型：（5）新的共同度：,.,三、主成分估计法的具体步骤,设样本数据阵为,.,应用主成分估计法求因子模型的具体步骤如下:,.,(2)求R的特征值和标准化特征向量.记12p0为R的特征值,其相应的单位正交特征向量为l1,l2,lp.,(3)求因子模型的因子载荷矩阵A:,确定公共因子的个数m.比如取m满足(1+2+m)/p0.80(或0.70或0.90)的最小正整数;,令则A=(a1,am)为因子载荷矩阵.,(4)求特殊因子方差Xi的共同度hi2为,(5)对m个公共因子(或称潜因子,主因子)作解释.,(1)由样本数据阵X计算样本均值、样本离差阵及样本相关阵.,.,因子旋转：为什么要旋转因子？建立了因子分析数学目的不仅仅要找出公共因子以及对变量进行分组，更重要的要知道每个公共因子的意义，以便进行进一步的分析，如果每个公共因子的含义不清，则不便于进行实际背景的解释。由于因子载荷阵是不惟一的，所以应该对因子载荷阵进行旋转。目的是使每个变量在尽可能少的因子上有比较高的载荷，让某个变量在某个因子上的载荷趋于1，而在其他因子上的载荷趋于0,即：使载荷矩阵每列或行的元素平方值向0和1两极分化。,.,奥运会十项全能运动项目得分数据的因子分析百米跑成绩跳远成绩铅球成绩跳高成绩400米跑成绩百米跨栏铁饼成绩撑杆跳远成绩标枪成绩1500米跑成绩,.,.,因子载荷矩阵可以看出，除第一因子在所有的变量在公共因子上有较大的正载荷，可以称为一般运动因子。其他的3个因子不太容易解释。似乎是跑和投掷的能力对比，似乎是长跑耐力和短跑速度的对比。于是考虑旋转因子，得下表,因子载荷矩阵,.,旋转变幻后因子载荷矩阵,.,通过旋转，因子有了较为明确的含义。百米跑，跳远和400米跑，需要爆发力的项目在有较大的载荷，可以称为短跑速度因子；铅球，铁饼和标枪在上有较大的载荷，可以称为爆发性臂力因子；百米跨栏，撑杆跳远，跳远和跳高在上有较大的载荷，爆发腿力因子；长跑耐力因子。,.,旋转的方法有：(1)正交旋转；(2)斜交旋转（1）正交旋转由初始载荷矩阵A左乘一正交矩阵得到；目的是新的载荷系数尽可能的接近于0或尽可能的远离0；只是在旋转后的新的公因子仍保持独立性。主要有以下方法：varimax:方差最大旋转。简化对因子的解释quartmax:四次最大正交旋转。简化对变量的解释equamax:等量正交旋转,.,A、方差最大法方差最大法从简化因子载荷矩阵的每一列出发，使和每个因子有关的载荷的平方的方差最大。当只有少数几个变量在某个因子上有较高的载荷时，对因子的解释最简单。方差最大的直观意义是希望通过因子旋转后，使每个因子上的载荷尽量拉开距离，一部分的载荷趋于1，另一部分趋于0。,.,B、四次方最大旋转四次方最大旋转是从简化载荷矩阵的行出发，通过旋转初始因子，使每个变量只在一个因子上有较高的载荷，而在其它的因子上尽可能低的载荷。如果每个变量只在一个因子上有非零的载荷，这时的因子解释是最简单的。四次方最大法通过使因子载荷矩阵中每一行的因子载荷平方的方差达到最大。,C、等量最大法等量最大法把四次方最大法和方差最大法结合起来求行和列因子载荷平方的方差的加权平均最大。,.,（2）斜交旋转目的是新的载荷系数尽可能的接近于0或尽可能的远离0；只是在旋转时，放弃了因子之间彼此独立的限制，旋转后的新公因子更容易解释。主要有以下的方法：directoblimin:直接斜交旋转。允许因子之间具有相关性；promax:斜交旋转方法。允许因子之间具有相关性；,.,因子得分因子得分的概念前面我们主要解决了用公共因子的线性组合来表示一组观测变量的有关问题。如果我们要使用这些因子做其他的研究，比如把得到的因子作为自变量来做回归分析，对样本进行分类或评价，这就需要我们对公共因子进行测度，即给出公共因子的值。所谓的因子得分,就是要求把公共因子表示成变量的线性组合,或反过来对每一个样品计算公共因子的估计值.,.,例：人均要素变量因子分析。对我国32个省市自治区的要素状况作因子分析。指标体系中有如下指标：X1：人口(万人)X2：面积(万平方公里)X3：GDP(亿元)X4：人均水资源(立方米/人)X5：人均生物量(吨/人)X6：万人拥有的大学生数(人)X7：万人拥有科学家、工程师数(人),RotatedFactorPattern(旋转后的因子结构)FACTOR1FACTOR2FACTOR3X1-0.21522-0.273970.89092X20.63973-0.28739-0.28755X3-0.157910.063340.94855X40.95898-0.01501-0.07556X50.97224-0.06778-0.17535X6-0.114160.98328-0.08300X7-0.110410.97851-0.07246,.,X1=-0.21522F1-0.27397F2+0.89092F3X2=0.63973F1-0.28739F2-0.28755F3X3=-0.15791F1+0.06334F2+0.94855F3X4=0.95898F1-0.01501F2-0.07556F3X5=0.97224F1-0.06778F2-0.17535F3X6=-0.11416F1+0.98328F2-0.08300F3X7=-0.11041F1+0.97851F2-0.07246F3,.,.,StandardizedScoringCoefficients(标准化得分系数)FACTOR1FACTOR2FACTOR3X10.05764-0.060980.50391X20.22724-0.09901-0.07713X30.146350.129570.59715X40.479200.112280.17062X50.455830.074190.10129X60.054160.486290.04099X70.057900.485620.04822,F1=0.05764X1+0.22724X2+0.14635X3+0.47920X4+0.45583X5+0.05416X6+0.05790X7F2=-0.06098X1-0.09901X2+0.12957X3+0.11228X4+0.07419X5+0.48629X6+0.48562X7F3=0.50391X1-0.07713X2+0.59715X3+0.17062X4+0.10129X5+0.04099X6+0.04822X7,.,前三个因子得分,.,因子分析的数学模型为：原变量被表示为公共因子的线性组合，当载荷矩阵旋转之后，公共因子可以做出解释，通常的情况下，我们还想反过来把公共因子表示为原变量的线性组合。因子得分函数：,.,可见，要求得每个因子的得分，必须求得分函数的系数，而由于pm，所以不能得到精确的得分，只能通过估计。因子得分的计算方法：（1）运用回归分析思想求解（2）Bartlett法(即:加权最小二乘法),.,（1）运用回归分析思想求解,.,则，我们有如下的方程组：,.,(j=1,2,m),.,注:共需要解m次才能解出所有的得分函数的系数.,.,（2）Bartlett法(即：加权最小二乘法）把一个个体的p个变量的取值X*当作因变量，把求因子解中得到的A作为自变量数据阵，对于这个个体在公因子上的取值f，当作未知参数，而特殊因子的取值看作误差e，于是得到如下的线性回归模型：X*=Af+e，则称未知参数f为取值为X*的因子得分。,最小二乘法,.,案例分析：,国民生活质量的因素分析国家发展的最终目标，是为了全面提高全体国民的生活质量，满足广大国民日益增长的物质和文化的合理需求。在可持续发展消费的统一理念下，增加社会财富，创造更多的物质文明和精神文明，保持人类的健康延续和生生不息，在人类与自然协同进化的基础上，维系人类与自然的平衡，达到完整的代际公平和区际公平(即时间过程的最大合理性与空间分布的最大合理化)。从1990年开始，联合国开发计划署(UYNP)首次采用“人文发展系数”指标对于国民生活质量进行测度。人文发展系数利用三类内涵丰富的指标组合，即人的健康状况(使用出生时的人均预期寿命表达)、人的智力程度(使用组合的教育成就表达)、人的福利水平(使用人均国民收入或人均GDP表达)，并且特别强调三类指标组合的整体表达内涵，去衡量一个国家或地区的社会发展总体状况以及国民生活质量的总水平。,.,在这个指标体系中有如下的指标：X1预期寿命X2成人识字率X3综合入学率X4人均GDP(美元)X5预期寿命指数X6教育成就指数X7人均GDP指数,.,旋转后的因子结构RotatedFactorPatternFACTOR1FACTOR2FACTOR3X10.381290.417650.81714X20.121660.848280.45981X30.648030.618220.22398X40.904100.205310.34100X50.388540.432950.80848X60.282070.853250.43289X70.900910.206120.35052FACTOR1为经济发展因子FACTOR2为教育成就因子FACTOR3为健康水平因子,.,StandardizedScoringCoefficients(标准化得分系数)FACTOR1FACTOR2FACTOR3X1-0.18875-0.343970.85077X2-0.241090.60335-0.10234X30.354620.50232-0.59895X40.53990-0.17336-0.10355X5-0.17918-0.316040.81490X6-0.092300.62258-0.24876,.,生育率的影响因素分析生育率受社会、经济、文化、计划生育政策等很多因素影响，但这些因素对生育率的影响并不是完全独立的，而是交织在一起，如果直接用选定的变量对生育率进行多元回归分析，最终结果往往只能保留两三个变量，其他变量的信息就损失了。因此，考虑用因子分析的方法，找出变量间的数据结构，在信息损失最少的情况下用新生成的因子对生育率进行分析。选择的变量有：多子率、综合节育率、初中以上文化程度比例、城镇人口比例、人均国民收入。下表是1990年中国30个省、自治区、直辖市的数据。,.,.,特征根与各因子的贡献,.,没有旋转的因子结构,.,.,在这个例子中我们得到了两个因子，第一个因子是社会经济发展水平因子，第二个是计划生育因子。有了因子得分值后，则可以利用因子得分为变量，进行其他的统计分析。,方差最大旋转后的因子结构,标准化得分函数,.,因子分析的SPSS上机操作过程,(1)选择分析变量选SPSSAnalyze菜单中的(DataReduction)(Factor),出现【FactorAnalysis】对话框；在【FactorAnalysis】对话框中左边的原始变量中，选择将进行因子分析的变量选入(Variables)栏。,.,.,(2)设置描述性统计量在【FactorAnalysis】框中选【Descriptives】按钮，出现【Descriptives】对话框；选择Initialsolution（未转轴的统计量）选项选择KMO选项点击（Contiue）按钮确定。,提供描述性统计量和与相关矩阵有关的统计量,.,显示各观测变量的均值和标准差,显示公因子方差、特征值、各因子解释的方差比例和累计比例,观测变量的相关系数矩阵,每个相关系数的显著水平,相关系数矩阵的行列式,相关系数矩阵的逆矩阵,由因子模型估计出的相关系数及残差,反应象相关系数,KMO测度和巴特利特球体检验,.,（3）设置对因子的抽取选项在【FactorAnalysis】框中点击【Extraction】按钮,出现【FactorAnalysis:Extraction】对话框；在Method栏中选择(Principalcomponents)选项；在Analyze栏中选择Correlationmatrix选项；在Display栏中选择Unrotatedfactorsolution选项；在Extract栏中选择Eigenvaluesover并填上1；点击(Contiue)按钮确定，回到【FactorAnalysis】对话框中。,.,提供和因子提取有关的选项,.,选择提取因子的方法,决定提取因子的个数,直接指定提取的因子的个数,指定与初始有关的输出项,显示未经旋转的因子解,显示碎石图,指定因子分析收敛的最大迭代次数.系统默认值是25.,.,其中选择的方法,从上到下依次是：主成分分析普通最小二乘法广义最小二乘法最大似然法主轴因子法主因子解法因子提取法映象分析法,.,(4)设置因子转轴在【FactorAnalysis】对话框中，点击【Rotation】按钮,出现【FactorAnalysis:Rotation】(因子分析:旋转)对话框。在Method栏中选择Varimax(最大变异法)在Display栏中选择Rotatedsolution(转轴后的解)点击(Contiue)按钮确定，回到【FactorAnalysis】对话框中。,提供和因子旋转有关的选项,.,显示旋转后的因子解,显示因子负载图,.,(5)设置因素分数在【FactorAnalysis】对话框中，点击【Scores】按钮,出现【FactorAnalysis:Scores】(因素分析:分数)对话框.一般取默认值.点击(Contiue)按钮确定,回到【FactorAnalysis】对话框.,提供和因子值有关的选项,.,显示因子值系数矩阵,.,（6）设置因子分析的