主成分分析方法ppt课件

1、第五节 主成分分析方法 Principal Component Analysis (PCA)主成分分析的根本原理 主成分分析的计算步骤 主成分分析方法运用实例 多变量问题是经常会遇到的。变量太多，无疑会添加分析问题的难度与复杂性，而且在许多实践问题中，多个变量之间是具有一定的相关关系的。因此，人们会很自然地想到，能否在相关分析的根底上，用较少的新变量替代原来较多的旧变量，而且使这些较少的新变量尽能够多地保管原来变量所反映的信息？ 问题的提出：问题的提出：现实上，这种想法是可以实现的，主成分分析方法就是综合处置这种问题的一种强有力的工具。 主成分分析就是设法将原来目的重新组合成一组新的相互无关的

2、几个综合目的来替代原来目的。同时根据实践需求从中可取几个较少的综合目的尽能够多地反映原来的目的的信息。从数学角度来看，这是一种降维处置技术。 一、主成分分析的根本原理 n假定有n个样本，每个样本共有p个变量，构成一个np阶的数据矩阵npnnppxxxxxxxxxX2122221112113.5.1 n当当p p较大时，在较大时，在p p维空间中调查问维空间中调查问题比较费事。为了抑制这一困难，题比较费事。为了抑制这一困难，就需求进展降维处置，即用较少就需求进展降维处置，即用较少的几个综合目的替代原来较多的的几个综合目的替代原来较多的变量目的，而且使这些较少的综变量目的，而且使这些较少的综合目的

3、既能尽量多地反映原来较合目的既能尽量多地反映原来较多变量目的所反映的信息，同时多变量目的所反映的信息，同时它们之间又是彼此独立的。它们之间又是彼此独立的。定义：记x1，x2，xP为原变量目的，z1，z2，zmmp为新变量目的pmpmmmppppxlxlxlzxlxlxlzxlxlxlz22112222121212121111(3.5.2) n系数lij确实定原那么： n zi与zjij；i，j=1，2，m相互无关； z1是是x1，x2，xP的一切线性组合中的一切线性组合中方差最大者，方差最大者，z2是与是与z1不相关的不相关的x1，x2，xP的一切线性组合中方差最大者；的一切线性组合中方差最大

4、者； zm是与是与z1，z2，zm1都不相关的都不相关的x1，x2，xP， 的一切线性组合中方差的一切线性组合中方差最大者。最大者。 那么新变量目的那么新变量目的z1，z2，zm分别称为分别称为原变量目的原变量目的x1，x2，xP的第一，第的第一，第二，二，第，第m主成分。主成分。 n 从以上的分析可以看出，主成分分析的本质就是确定原来变量xjj=1，2 ， p在诸主成分zii=1，2，m上的荷载 lij i=1，2，m； j=1，2 ，p。n 从数学上可以证明，它们分别是的相关矩阵的m个较大的特征值所对应的特征向量。 二、计算步骤 一计算相关系数矩阵 riji，j=1，2，p为原变量xi与x

5、j的相关系数， rij=rji，其计算公式为：pppppprrrrrrrrrR2122221112113.5.3 nknkjkjikinkjkjikiijxxxxxxxxr11221)()()(3.5.4 二计算特征值与特征向量： 解特征方程，常用雅可比法Jacobi求出特征值，并使其按大小顺序陈列 ； 0RI0,21p 分别求出对应于特征值的特征向量 ，要求 =1即，其中表示向量 的第j个分量。i), 2 , 1(pieiie112pjijeijeie 计算主成分奉献率及累计奉献率计算主成分奉献率及累计奉献率 奉献率奉献率: :),2, 1(1pipkki累计奉献率: ),2, 1(11pi

6、pkkikk普通取累计奉献率达普通取累计奉献率达8595%8595%的特征值的特征值所对应的第一、第二、所对应的第一、第二、第、第m mmpmp个主成分。个主成分。 m,21六、主成分模型中各统计量的意义n、主成分的方差奉献率：n这个值越大，阐明第i主成分综合信息的才干越强。n2、主成分的累计奉献率n阐明取前几个主成分根本包含了全部丈量目的所具有信息的百分率。piii1ii七、主成分个数的选取n1.累积奉献率到达85%以上n 2.根据特征根的变化来确定n i111piip 计算主成分载荷 各主成分的得分： ), 2 , 1,(),(pjiexzplijijiij3.5.5 nmnnmmzzzz

7、zzzzzZ2122221112113.5.6 八、主成分分析的根本步骤及spss实现 1.将原始数据进展规范化处置 2.计算样本相关矩阵R 3.求相关矩阵R的特征值与特征向量,并计算奉献率 4.选择主成分 5.对所选主成分做经济解释Spss实现实现:n1.analyze-description statistic-description-save standardized as variablesn 2.analyze-data reduction-factorn 3.指定参与分析的变量n 4.运转factor 过程九、解析主成分的实践经济意义n从系数的大小、系数的符号上进展分析。n系数绝对

8、值较大，那么阐明该主成分主要综合了绝对值大的变量。n正号表示变量与主成分作用同方向，负号表示原变量与主成分作用反方向。n假设变量分组较有规那么，那么从特征向量各分量数值作出组内组间对比分析。三、 主成分分析方法运用实例 我们根据表3.4.5给出的数据，对某农业生态经济系统做主成分分析， 样本序号x1：人口密度(人/km2)x 2：人均耕地面积(ha)x 3：森林覆盖率(%)x 4：农民人均纯收入(元/人)x 5：人均粮食产量(kg/人)x 6：经济作物占农作物播面比例()x 7：耕地占土地面积比率()x 8：果园与林地面积之比()x 9：灌溉田占耕地面积之比()1363.9120.35216.

9、101192.11295.3426.72418.4922.23126.2622141.5031.68424.3011752.35452.2632.31414.4641.45527.0663100.6951.06765.6011181.54270.1218.2660.1627.47412.4894143.7391.33633.2051436.12354.2617.48611.8051.89217.5345131.4121.62316.6071405.09586.5940.68314.4010.30322.932表表3.4.5 3.4.5 某农业生态经济系统各区域单元的有关数据某农业生态经济系统各

10、区域单元的有关数据 668.3372.03276.2041540.29216.398.1284.0650.0114.861795.4160.80171.106926.35291.528.1354.0630.0124.862862.9011.65273.3071501.24225.2518.3522.6450.0343.201986.6240.84168.904897.36196.3716.8615.1760.0556.1671091.3940.81266.502911.24226.5118.2795.6430.0764.4771176.9120.85850.302103.52217.0919.

11、7934.8810.0016.1651251.2741.04164.609968.33181.384.0054.0660.0155.4021368.8310.83662.804957.14194.049.114.4840.0025.791477.3010.62360.102824.37188.0919.4095.7215.0558.4131576.9481.02268.0011255.42211.5511.1023.1330.013.4251699.2650.65460.7021251.03220.914.3834.6150.0115.59317118.5050.66163.3041246.4

12、7242.1610.7066.0530.1548.70118141.4730.73754.206814.21193.4611.4196.4420.01212.94519137.7610.59855.9011124.05228.449.5217.8810.06912.65420117.6121.24554.503805.67175.2318.1065.7890.0488.46121122.7810.73149.1021313.11236.2926.7247.1620.09210.078步骤如下：1将表3.4.5中的数据作规范差规范化处置，然后将它们代入公式3.5.4计算相关系数矩阵见表3.5.1

13、。x1x2x3x4x5x6x7x8x9x11-0.327 -0.714 -0.3360.3090.4080.790.1560.744x2-0.331-0.0350.6440.420.2550.009-0.0780.094x3-0.71-0.03510.07-0.74-0.755-0.93-0.109-0.924x4-0.340.6440.0710.3830.069-0.05-0.0310.073x50.3090.42-0.740.38310.7340.6720.0980.747x60.4080.255-0.7550.0690.73410.6580.2220.707x70.790.009-0.9

14、3-0.0460.6720.6581-0.030.89x80.156-0.078 -0.109 -0.0310.0980.222-0.0310.29x90.7440.094-0.9240.0730.7470.7070.890.291表表3.5.13.5.1相关系数矩阵相关系数矩阵 2由相关系数矩阵计算特征值，由相关系数矩阵计算特征值，以及各个主成分的奉献率与累计奉以及各个主成分的奉献率与累计奉献率见表献率见表3.5.2。由表由表3.5.2可知，第一，第二，第三可知，第一，第二，第三主成分的累计奉献率已高达主成分的累计奉献率已高达86.596%大于大于85%，故只需求，故只需求求出第一、第二、第

15、三主成分求出第一、第二、第三主成分z1，z2，z3即可。即可。 主成分特征值贡献率(%)累积贡献率(%)z14.66151.79151.791z22.08923.21675.007z31.04311.58986.596z40.5075.63892.234z50.3153.50295.736z60.1932.1497.876z70.1141.27199.147z80.04530.50499.65z90.03150.35100表表3.5.23.5.2特征值及主成分奉献率特征值及主成分奉献率 3 3对于特征值对于特征值=4.6610=4.6610，=2.0890=2.0890，=1.0430=1.0

16、430分别求出其分别求出其特征向量特征向量e1e1，e2e2，e3e3，再用公，再用公式式3.5.53.5.5计算各变量计算各变量x1x1，x2x2，x9x9在主成分在主成分z1z1，z2z2，z3z3上的载荷表上的载荷表3.5.33.5.3。 z1z2z3占方差的百分数（%）x10.739-0.532-0.006182.918x20.1230.887-0.002880.191x3-0.9640.00960.009592.948x40.00420.8680.003775.346x50.8130.444-0.001185.811x60.8190.1790.12571.843x70.933-0.1

17、33-0.25195.118x80.197-0.10.9798.971x90.964-0.00250.009292.939上述计算过程，可以借助于SPSS或MATLAB软件系统实现。表表3.5.3 3.5.3 主成分载荷主成分载荷 第一主成分z1与x1，x5，x6，x7，x9呈显出较强的正相关，与x3呈显出较强的负相关，而这几个变量那么综合反映了生态经济构造情况，因此可以以为第一主成分z1是生态经济构造的代表。 第二主成分z2与x2，x4，x5呈显出较强的正相关，与x1呈显出较强的负相关，其中，除了x1为人口总数外，x2，x4，x5都反映了人均占有资源量的情况，因此可以以为第二主成分z2代表了

18、人均资源量。 分析：分析：显然，用三个主成分z1、z2、z3替代原来9个变量x1，x2，x9，描画农业生态经济系统，可以使问题更进一步简化、明了。第三主成分第三主成分z3，与，与x8呈显出的正相关呈显出的正相关程度最高，其次是程度最高，其次是x6，而与，而与x7呈负相关，呈负相关，因此可以以为第三主成分在一定程度上因此可以以为第三主成分在一定程度上代表了农业经济构造。代表了农业经济构造。 另外，表另外，表3.5.3中最后一列占方差的中最后一列占方差的百分数，在一定程度反映了三个主成百分数，在一定程度反映了三个主成分分z1、z2、z3包含原变量包含原变量x1，x2，x9的信息量多少。的信息量多少。 第三节 主成分分析在经济目的综合评价中的运用n中心：经过主成分分析，选择m个主成分y1,y2,ym，以每个主成分yi的方差奉献率i作为权数，构造综合评价函数，n其中 为第i个主成分的得分求出主成分的表达式后，将规范化后的数据再代入yi中n当把m个主成分得分代入F函数后，即可得到每个样本的综合评价函数得分，以得分的大小排序，可陈列出每个样本的经济效益的名次。mmyyyF.2211iy n用主成分分析综合评价经济效益的优点:n 1.可比性:由于主成分分析过程中，对各个目的