主成分分析(第5讲).ppt

1、主成分分析,上海*通信技术有限公司 Mr Jim() 201301,培训大纲,一、主成分分析(Princomp) 二、因子分析(Factor) 三、相关分析(Corr),主成分分析简介,一、什么是主成分分析？,主成分分析是将分析中的多个变量化为少数不相关综合变量的方法，一般来说，主成分将是原来大量变量的线性组合，并且要求各个主成分所包含的信息互不重复，即各主成分彼此之间不相关。明显地，利用主成分可以降低多元分析的维数，达到简化分析并充分利用不同角度信息的目的。 主成分分析体现了一种简化问题的思路，经常配合其他方法使用，以便解决分析中的问题。在主成分分析的思路基础上发展出了因子分析，并在各个领域

2、得到广泛的应用。,举例说明： 对20例肝病患者进行肝功能测试，即收集4个指标（转氨酶、肝大指数、硫酸锌浊度、胎甲球）的测定得分，来评价患者的肝功能。,如何利用这4个随机变量对患者的肝功能作出评价？ 如果仅选用其中一个变量来评价，尽管方便，却损失其它很多有用的信息，易产生片面的结论； 如果用各变量得分的合计来评价肝功能，虽然是综合考虑了所有变量，但各变量是同等地从不同侧面反映个体的性质。,事实上，各变量所包含的信息量多少不一，各变量间不是独立的，而是有交叉、有共性、相关的；变量间的共性一般以相关性表示，相关愈大，则共性愈多，反之亦然。 能否找到一种合理的方法，消除各分析指标之间的相关性，然后再进

3、行全面评价？ 措施： 我们可以根据这些随机变量，计算少数几个综 合指标，来反映多个原始变量所提供的信息，而且 各综合指标能够互相独立地代表某一方面的性质 。,根据这些相互之间存在相关性的随机变量，计算少数几个综合指标以取代原始变量，反映多个原始变量所提供的信息 这种多元分析方法即为主成分分析。,主成分分析的关键是：计算综合指标 主成分即综合指标，它在个体间的变异应该越大越好。,主成分分析的应用条件,要求变量间存在较大的相关性，当相关较小时，应用主成分分析是没有意义的。,主成分分析基本思想,（一）什么是合适的主成分,基于以上分析，主成分应该满足两个条件： 1、它应该是原变量的线性组合，以保证主成

4、分对原有变量的代表性，防止信息大量损失； 2、主成分之间应该是正交的，即保证主成分之间彼此不相关。 所以， 第一，主成分是原来所有变量的某种线性组合，是对原p个变量的综合，各主成分均为综合指标； 第二，各主成分包含信息不能重复，以便尽最大可能对原来变量进行简化,令主成分为F，对于一个P元总体X而言，若将其P个指标作不同的线性组合，可得到综合变量即主成分的表达式为： 各主成分包含的信息各不相同，其信息量也依次递减。,（二）如何选择合适的主成分？,按主成分包含信息的多少命名： 第一主成分F1，第二主成分F2，直到第P主成分，注意其信息含量是递减的。 根据各主成分信息含量大小选择主要的主成分： 如何

5、评价主成分信息含量的大小？,经典方法方差分析的思想,在总体一定的情况下，其总体方差确定，根据方差分析的思想，认为在既定总变异中，若该主成分的方差占较大比重，表明该主成分对总体有较强的解释能力，包含的信息量也较大。反之，包含的信息量较少，解释能力弱。 在方差分析的基础上，用含信息量大的综合指标去代替原来的变量就能使分析简化，并使信息损失尽量小。,（三）选择主成分的数理基础,从代数学的观点来看，主成分就是P个变量的一些特殊的线性组合，而在几何上这些线性组合正是把X1，X2Xp构成的坐标系旋转产生的新坐标系。新坐标轴使之通过样品变差最大的方向（或说具有最大样品方差）。 经过对主成分的几何意义的分析，

6、我们发现一般情况下，P个变量组成P维空间，n个样品就是p维空间的n个点，对P元正态分布变量来说，找主成分的问题就是找P维空间中椭球体的主轴问题。找到了主轴就能够找到决定该P维空间的主要问题和主要方向，就能够用主成分分析的思想进行简化分析。,主成分的推导：,主成分的求法,设p维随机向量X的均值E(X)=0,协方差阵D(X)=0.求第一主成分Z1=a1X的问题,即为求a1=(a11,a21,ap1),使得在a1a1=1下,Var(Z1)达到最大,这是条件极值问题,用拉格朗日乘子法求解,令 (a1)=Var(a1X) (a1a1-1)=a1a1- (a1a1-1) 考虑: 因a10,故| - I|=

7、0,求解方程组,其实就是求的特征根和特征向量问题,设= 1是的最大特征根值,则相应的单位特征向量a1即为所求。一般地，求X的第i主成分可通过求的第i大特征值所对应的单位特征向量得到。,主成分分析的步骤,1、将原始数据标准化，目的是为了消除量纲的影响并方便求解总体协差阵。 2、求总体协差阵。,如何选取具有足够解释能力的主成分？,( 三 )、特征向量及因子载荷 主成分的线性组合中各系数aij即为特征向量； 第i主成分Ci特征根的平方根与aij的乘积即为因子载荷qij，qij= sqrt(i) * aij 实际上，因子载荷是Ci与原始指标xj之间的相关系数，反映了两者之间联系的密切程度。,( 四 )

8、、主成分得分 根据线性组合中各特征向量和各原始指标标化值Zi的大小，可以求得各主成分得分大小，利用主成分得分大小可以对研究对象的个体进行推断和评价。 因子得分Ci/ sqrt（i ）。,主成分个数的确定 一般有两种策略。 1、均数法：计算特征根的均数 （因为全部m个特征根之和 = m，所以=1 ），则取大于1的主成分； 2、经验法：当前k个主成分的累积贡献率达到80%以上，则取前k个主成分进行分析。,主成分的应用,主成分评价 主成分回归 一、主成分评价 计算出的主成分（即综合指标）可以直接用来进行全面、客观的评价。 优点： 1、消除各指标不同量纲产生的影响； 2、对于相互之间有相关性的指标，不

9、存在信息的重叠。,以“肝病患者的4项肝功能指标”数据为例 评价方法： 1、用第一主成分C1进行评价：根据具体资料的不同特点，如：肝功能指标值越大，说明肝功能越差，则相应的C1值越大也说明肝功能越差。将每个个体的 C1值从小到大排列，就可以将20个肝病患者的肝功能水平从高到低进行评价。 2、采用前k个主成分(C1、C2、.、Ck) 加权均数Z进行评价： Z=（ C1 *1+ C2 *2 + . + Ck *k ）/ m 再将该Z值从小到大排列，从而评价肝功能从高到低的情况。,二、主成分回归将计算出的主成分作为新的自变量，与应变量做多元回归分析。优点：主要解决自变量间的共线性问题，避免回归系数的不

10、合理现象，揭示变量间的真实关系。共线性判断方法：1、相关分析；2、条件数法。条件数法：根据条件数k 的大小来判断变量间共线性的严重程度， k = max/ min 0k100，则认为无共线性； 100k1000，则认为存在中等共线性； k 1000，则认为存在较严重共线性（即特征根几乎等于0）。若有特征根0时，揭示变量间存在共线性。,样例:中学生四项身体指标的主成分分析,data d721; input number x1-x4 ; cards; 1 148 41 72 78 2 139 34 71 76 3 160 49 77 86 4 149 36 67 79 5 159 45 80 86

11、 6 142 31 66 76 7 153 43 76 83 8 150 43 77 79 9 151 42 77 80 10 139 31 68 74 11 140 29 64 74 12 161 47 78 84 13 158 49 78 83 14 140 33 67 77 15 137 31 66 73 16 152 35 73 79 17 149 47 82 79 18 145 35 70 77 19 160 47 74 87 20 156 44 78 85 21 151 42 73 82 22 147 38 73 78 23 157 39 68 80 24 147 30 65 75

12、 25 157 48 80 88 26 151 36 74 80 27 144 36 68 76 28 141 30 67 76 29 139 32 68 73 30 148 38 70 78 ;,输入资料:,注意输入数据使用了，这表示不同的样本点可以在同一行输入。,proc princomp data=d721 prefix=z out=o721 ; var x1-x4; run; options ps=32 ls=85; proc plot data=o721; plot z2*z1 $ number=*/href=-1 href=2 vref=0; run; proc sort data

13、=o721; by z1; run; proc print data=o721; var number z1 z2 x1-x4; run; quit;,主成分分析在SAS中用princomp过程：,Options ps=32 ls=85表示输出屏幕定义为一页32行，每行85字符,plot过程已经很熟悉了。 href=-1表示在横坐标z1=-1处画一条垂线，vref=0表示在纵坐标z2=0处画一条垂线。 $number=*表示每个点在图上用*表示，并且在*后显示该样本点的number变量的值。,主成分分析有一个princomp过程就足够了。prefix=z表示，在输出数据集中（o721中），主成

14、分变量是z1、z2、,sort和print过程也是很熟悉的过程了。,主成分分析princomp过程的结果：,散点图：,培训大纲,一、主成分分析(Princomp) 二、因子分析(FACTOR) 三、相关分析(Corr),简介,因子分析是用于寻找那些隐藏在可测变量中，无法直接观察到，却影响或支配可测变量的潜在因子，并估计潜在因子对可测变量的影响程度以及潜在因子之间的关联性的一种多元统计分析方法。 和主成分分析区别：在主成分的基础上构筑若干意义较为明确的公因子，以它们为框架分解原变量，从而洞察原变量间内在涵义的联系和区别。,分类,探索性因子分析(exploratory factor analysi

15、s) 找出主要的潜在因子 确定潜在因子对可测变量的影响程度 证实性因子分析(confirmatory factor analysis) 确定潜在因子对可测变量的影响程度 研究潜在因子之间的关联程度,探索性因子分析的应用,如果所进行的研究涉及很多可测变量，而且在研究之前，并不清楚有哪些可能的潜在因子会影响这些可测变量，这时就需要做探索性因子分析。 探索性因子分析要求寻找到的这些潜在因子是相互独立的，有实际意义的，而且这些独立的潜在因子要尽可能多的概括原可测变量的信息，因此，探索性因子分析被广泛的应用在数据分析的初期阶段。,证实性因子分析的结果,如果研究者根据以往的经验或根据探索性因子分析的结果对

16、所要研究的可测变量的内在结构已经清楚，即清楚哪些可测变量可能被哪一个潜在因子所影响，而只需要进一步确定每一个潜在因子对可测变量的影响程度，以及了解这些潜在因子之间的关联程度，这时可用证实性因子分析。 证实性因子分析不要求寻找到的这些因子是相互独立的，它的目的是研究潜在因子的关联性。,仅包含一个潜在因子的探索性因子分析路径图,潜在因子,其他 影响 因子,因子分析数学模型,可测变量（measured variable） 潜在因子（latent variable）,共性因子（common factor） 因子载荷（factor loading） 度量误差（measurement error）,特殊因

17、子（special factor）,探索性因子分析的假设条件,假设条件： 相互独立,共性方差和个性方差,共性方差(共同度)：反映Xi信息中被潜在因子解释的比例,共性方差和个性方差,X1方差中的80.5%被潜在因子f所解释； X2方差中的92%被潜在因子f所解释； X3方差中的64.5%被潜在因子f所解释。,因子贡献和因子贡献率,因子贡献：因子fj对所有原始指标的贡献 因子贡献率（ ）：因子fj对所有原始指标的方差贡献率,探索性因子分析的步骤,估计因子载荷 确定因子个数 解释潜在因子的实际意义 计算因子得分,估计因子载荷,因子载荷aij是随机变量Xi与公共因子fj的相关系数. 求原始变量相关矩阵

18、； 求相关矩阵的特征根(因子的贡献)，并排序 计算所有特征根对应的所有线形无关的特征向量； 特征向量转置，乘以特征根的平方根，即得到因子载荷。,确定因子个数,一般原则： 累积贡献率（累积方差）达到7085； 特征根1。,解释潜在因子的实际意义,解释潜在因子的实际意义，一般以因子载荷的大小为依据。因子载荷大的指标变量受潜在因子支配的作用大。 如何判别因子载荷的大小？ 当因子载荷大于或等于0.5时，可认为该因子f支配对应的指标X。,因子旋转,有时因子载荷比较均匀，不容易直接看出潜在因子对那个指标X的影响最大，因而不容易赋予潜在因子一个合理的变量名称，这时，则应当使用旋转的方法。 即使用某种线性变换

19、将初始潜在因子转换成一组新的潜在因子，使得新的潜在因子对每一个指标的因子载荷的绝对值向0和1两极分化，从而清晰看到每一个潜在因子对哪一个指标影响最大。 对于因子分析，一般采用正交变换，使得原变量之间的独立性保持不变。 不同的正交旋转产生不同的潜在因子意义的解释，不能说哪一种就更优，而是取决于潜在因子的实际意义。 注意： 斜交旋转可能结果的意义更明确，但它同时放弃因子相互独立的条件； 变异最大正交旋转后的因子保留主成分互不相关的特点，牺牲了主成分方差最大的特点，但意义更明确。,因子分析提取因子的方法,主成分法（principal component factor） 每一个公共因子的载荷系数之平方

20、和等于对应的特征根，即该公共因子的方差。,极大似然法（maximum likelihood factor） 假定原变量服从正态分布，公共因子和特殊因子也服从正态分布，构造因子负荷和特殊方差的似然函数，求其极大，得到唯一解。,主因子法（principal factor） 设原变量的相关矩阵为R=(rij)，其逆矩阵为R-1=(rij)。各变量特征方差的初始值取为逆相关矩阵对角线元素的倒数，i=1/rii。则共同度的初始值为(hi)2=1- i=1-1/rii。,以(hi)2代替相关矩阵中的对角线上的元素，得到约化相关矩阵。 (h1)2 r12 r1p r21 (h2)2 r2p R= . . .

21、 . . . rp1 rp2 (hp)2 R的前m个特征根及其对应的单位化特征向量就是主因子解。,因子旋转方法,方差最大旋转法varimax 正交最大方差旋转法orthomax 是一种正交旋转,它使得每个因子具有最高载荷的变量数最小. 均方最大旋转法equamax 是方差最大旋转与四次最大旋转的结合.可以使在一个因子上有较高载荷的变量数和变量中需要解释的因子数最少. 斜交旋转法promax 允许因子之间彼此相交,它比直接斜交旋转更快，因此适用于大数据集的因子分析.,因子得分,因子得分是模型中的潜在因子的取值，因为潜在因子不可能直接测量，所以它的取值只能通过可测量的指标来计算。 在多元回归中，因

22、子得分可代替原始变量进入分析；克服变量间多重共线性；减少变量个数；保留大部分信息。,SAS过程,PROC FACTOR n= out= method= rotate= VAR 变量； Run； n:确定潜在因子个数，缺省时按照特征值大于1的原则来确定。 Out：保存元变量和因子得分变量，必须使用指定n的个数后才能使用本语句。 Method：确定因子分析方法 主成分分析法prin 最大似然法ml 主因子分析法prinit 缺省时用prin Rotate：指定因子旋转方法， 方差最大旋转法varimax, 正交方差最大旋转法orthomax 均方最大旋转法equamax 斜交旋转法promax,实

23、例,某公司为了研究消费者对购买牙膏偏好的调查数据。通过市场的拦截访问，用7级量表询问受访者对以下陈述的认同程度（1表示非常不同意，7表示非常同意）。 V1：购买预防蛀牙的牙膏是重要的； V2：我喜欢使牙齿亮泽的牙膏； V3：牙膏应当保护牙龈； V4：我喜欢使口气清新的牙膏； V5：预防坏牙不是牙膏提供的一项重要利益； V6：购买牙膏时最重要的考虑是富有魅力的牙齿。,表 牙膏属性评分得分表,Data market; Input v1-v6; Cards; 7 3 6 4 2 4 1 3 2 4 5 4 6 2 7 4 1 3 4 5 4 6 2 5 1 2 2 3 6 2 6 3 6 4 2 4

24、 5 3 6 3 4 3 6 4 7 4 1 4 3 4 2 3 6 3 2 6 2 6 7 6 6 4 7 3 2 3 2 3 1 4 5 4 7 2 6 4 1 3,4 6 4 5 3 6 1 3 2 2 6 4 6 4 6 3 3 4 5 3 6 3 3 4 7 3 7 4 1 4 2 4 3 3 6 3 3 5 3 6 4 6 1 3 2 3 5 3 5 4 5 4 2 4 2 2 1 5 4 4 4 6 4 6 4 7 6 5 4 2 1 4 3 5 4 6 4 7 4 4 7 2 2 5 3 7 2 6 4 3 4 6 3 7 2 7 2 3 2 4 7 2 ; proc fact

25、or; var v1-v6; run;,初始模型分析,有两个大的特征值：2.73和2.22，它们一起解释了标准方差的82.49%（累积贡献率），根据特征值大于1的原则，选择两个公因子。,所有指标在每个因子上的因子载荷及每个因子解释的方差,第一公因子与V1（预防蛀牙），V3（保护牙龈），V5（预防坏牙）相关性强，其中V5的载荷是负数，是由于这个陈述是反向询问的。 第二公因子与V2（牙齿亮泽），V4（口气清新），V6（富有魅力）的相关系数相对较高。 因此，我们命名因子1为“护牙因子”，是人们对牙齿的保健态度；因子2是“美牙因子”，说明人们“通过牙膏美化牙齿影响社交活动”的重视。,总体和每一个指标的

26、共性方差,所有变量均能很好的被两个公因子所解释，由于每一个指标的共性方差均大于0.5，即每一个指标的大部分方差都能被这两个潜在因子解释，所以这6个指标的信息都可以保留下来。,练习1,现有12个地区的5个经济指标调查数据（总人口、学校校龄、总雇员、专业服务、中等房价），为对这12个地区进行综合评价，请确定出这12 个地区的综合评价指标。 1 5700.0 12.8 2500.0 270.0 25000.0 2 1000.0 10.9 600.0 10.0 10000.0 3 3400.0 8.8 1000.0 10.0 9000.0 4 3800.0 13.6 1700.0 140.0 2500

27、0.0 5 4000.0 12.8 1600.0 140.0 25000.0 6 8200.0 8.3 2600.0 60.0 12000.0 7 1200.0 11.4 400.0 10.0 16000.0 8 9100.0 11.5 3300.0 60.0 14000.0 9 9900.0 12.5 3400.0 180.0 18000.0 10 9600.0 13.7 3600.0 390.0 25000.0 11 9600.0 9.6 3300.0 80.0 12000.0 12 9400.0 11.4 4000.0 100.0 13000.0,练习1结果,提取2个公因子,累计贡献率为

28、93.4%,练习1结果,初始的因子模型不容易对因子的意义进行解释,考虑旋转.,练习1结果,尝试使用最大方差旋转法进行旋转: rotate=varimax,因子1和X2,X4,X5关系密切，可解释为基础设施条件；因子2和X1,X3关系密切，可解释为发展空间。,练习2,2002年16家上市公司4项指标的数据见表，请利用因子分析进行分析并利用因子的分进行综合评价。,data ds1; input v1-v4; cards; 43.317.398.7354.89 17.1112.1317.2944.25 21.116.03789.37 29.558.6210.1373 118.4111.8325.22

29、 17.6313.8615.4136.44 2.734.2217.169.96 29.115.446.0956.26 20.299.4812.9782.23 3.994.649.3513.04 22.6511.1314.350.51 4.437.314.3629.04 5.48.912.5365.5 7.062.795.2419.79 19.8210.5318.5542.04 7.262.996.9922.72 ; proc factor; var v1-v4; run;,练习2结果,提取两个公因子，累计贡献率达到86.17%。,练习2结果,初始因子模型的意义不容易解释，考虑因子旋转,尝试使用

30、最大方差旋转法进行旋转: proc factor rotate=varimax; var v1-v4; run;,因子1和X1,X4, 关系密切，可解释为反映销售净利率和销售毛利率的销售能力指标 ；因子2和X2,X3关系密切，可解释为反映资产净利率和净资产收益率的资产获利能力指标 。,练习2结果,利用SCORE选项 proc factor rotate=varimax score; var v1-v4; run; 求得各个因子的得分函数： F1= 0.506zx1+0.161zx2-0.183zx3+0.502zx4 F2= -0.045zx1+0.515zx2+0.581zx3-0.02zx

31、4 zxi表示标化的指标,碎石图SCREE PLOT,用于显示各因子的重要程度，其横轴为因子序号，纵轴表示特征根的大小，它将因子按特征根从大到小的顺序依次排列，可直观了解到哪些是最主要的因子。,注意事项,样本量须为变量数的5-10倍； 各变量间应该具有相关性，如果各变量彼此独立，则无法从中提取公因子，即用BARLETT球形检验来判断相关矩阵是否为单位阵，如为单位阵则不合适用因子分析；另外可以用KMO检验检查变量间的偏相关性，如果偏相关性越强，则因子分析效果越好，KMO0.7效果较好，KMO0.5不适宜用因子分析。,培训大纲,一、主成分分析(Princomp) 二、因子分析(Factor) 三、

32、相关分析(Corr),一、相关分析的功用 研究随机变量间的关系密切程度 二、相关分析的应用 已经广泛应用于各行各业 如：身高与体重的关系； 越冬温度与病虫害发生的关系； 农作物施肥与增产的关系等。,简单相关分析,相关系数是描述线性相关程度和方向的统计量,Pearson相关系数：,相关系数,简单相关系数,简单相关系数,相关系数的定义域：1，1,相关系数是相关性大小的度量，是没有单位的量,相关系数 为低度相关,相关系数 为中度相关,相关系数 为高度相关,简单相关系数性质,正相关：0 r 1 完全正相关： r = 1 负相关：-1 r 0 完全负相关： r = -1 不相关：r = 0,五、相关系数

33、显著性检验,第一步： 统计假设：H0：0，HA：0,1、用统计量t检验,当要使用一个样本的相关系数r对相应的总体相关系数 进行估计，可以由两种统计量 t 和 r 来实现总体相关系数是否为零的假设。,相关系数显著性检验,第二步：计算统计量t,df = n-2,抽样误差：,相关系数显著性检验,第三步：统计推断 1、|t|t0.05 推断相关不显著 2、t0.05|t|t0.01 推断相关达显著 3、|t| t0.01 推断相关达极显著,第四步：写出结论,相关系数显著性检验,示例计算：,t = r/sr = 0.9772/0.0751 = 13.01,查表：t0.05，82.306，t0.01，83

34、.356,t = 13.01 t0.01 3.356 推断变量x2和y2相关达极显著,计算,六、相关矩阵,多个变量间的简单相关，设有n个变量x1xn，其相关系数可以写成矩阵的形式：,偏（净）相关分析,一级偏相关 二级偏相关 最高级偏相关,偏相关：用数学方法固定其余的变量，消除其余变量的影响，只研究指定两个变量间的纯相关关系。 弥补了简单相关不能真实地反映两个变量间的相关关系。,一级偏相关,df = n-3,偏（净）相关分析,二级偏相关,df = n-4,偏（净）相关分析,最高级偏相关,df = n-m,将m个变量中的m-2个变量固定，只研究另外两个变量的相关,相关矩阵,偏（净）相关分析,第二步

35、：计算统计量,第一步：统计假设 H0：ij.0，HA：ij.0,n为观测数据组数，m为相关变量总个数,偏（净）相关分析,第三步：统计推断 1、|tr|t0.05 推断相关不显著 2、t0.05|tr|t0.01 推断相关达显著 3、|tr|t0.01 推断相关达极显著,偏（净）相关分析,对于定性数据，特别是等级数据或有次序的数据，就不能用简单相关来进行描述。 次序在数列中代表了某个具体变量值的位置、等级或秩，因此，这类相关分析通常被称为非参数相关分析、等级相关分析或秩相关分析，其计算的相关系数被称为非参数相关系数、等级相关系数或秩相关系数。 根据计算方法不同，非相关系数主要有Spearman、Kendall tau-b等级相关系数。,等级相关分析,其中，Rx和Ry分别表示x变量和y变量经过排序后的秩（次序）， 和 分别表示Rx和Ry的平均值。,等级相关分析,1、Spearman相关系数,其中，P和Q表示分别表示同序对子数和异序对子数，Tx为在x变量上是同序但在y变量上不是同序的对子数，Ty为在y变量上是同序但在x变量上不是同序的对子