K主成分分析DOC

1、第一章主成分分析第一节主成分分析及其基本思想地理系统是多要素的复杂系统，在地理学研究中，经常会遇到多变量问题。 变量太多，会增加分析问题的难度与复杂性，而在许多实际问题中，多个变量之 间是具有一定的相关关系的。能否在相关分析的基础上，通过某些线性组合使原 始变量减少为有代表意义的少数几个新的变量，而且这些较少的新变量尽可能多 地保留原来变量所反映的信息？解决这个问题的数学方法就是主成分分析。主成分分析的数学原理简单易懂，在地理学研究中应用较为广泛。主成分分析（Principal Components Analysis， PCA）也称为主分量分析，是一 种通过降维来简化数据结构的方法：如何把多个

2、变量（指标）化为少数几个综合 变量（综合指标），而这几个综合变量可以反映原来多个变量的大部分信息。为 了使这些综合变量所含的信息互不重叠，应要求它们之间互不相关。一、主成分分析的基本思想主成分分析在数学上就是将原来m个指标作线性组合，求得新的综合指 标，并选取几个具有代表性的综合指标（原指标的线性组合）。下面介绍这种选择 的方法原理和实现过程。如果将选取的第一个线性组合即第一个综合指标记为z1,自然希望z1尽可能多地反映原来的指标信息，这里的“信息”用什么来表示呢？最经典的方法就 是用z1的方差来表示，z1的方差越大，表示z1包含的信息越多。因此，在所有 的线性组合中，选取的z1应该是方差最大

3、的，称z1为第一主成分。如果z1没 有包含原来m个指标的绝大部分信息，则需要考虑选取第二个线性组合z2,且希望z1中已有的信息不出现在z2中，即z1与z2的协方差Cov（z1，z2） = 0。那 么z2就是第二主成分，依此可以建立第三、第四等主成分，要求这些主成分互 不相关，且方差依次减小。二、主成分分析的几何意义和数学模型为了方便，下面通过一个例子在二维空间中讨论主成分的几何意义。图17-115主成分的几何意义 设有n个样品，每个样品测量了两个变量 x1和x2，在由x1和x2确定的样品空 间中，n个样品点的分布如图所示。从图可以看到，变量x1和x2都有较大的波动（方差较大），而且二者具有明显

4、的 相关性。如果作一坐标旋转，取 z1和z2为新坐标轴。在新坐标系中，n个样品 点的新坐标的相关性很小，几乎为0; n个点的方差大部分归结为z1的方差，而 z2的方差很小，故用z1就可以反映变量的大部分信息；z1和z2与x1和x2之间的关系为：乙=1为 + l12x2-Z - 12必 * l22X2将以上结果推广到m维的情况，设有n个样品，每个样品有m个变量，经过适当的线性组合，可以得到 m个新变量：W = 11人 + Il2x2 + | H + l1mXmZ2 =必 + I22X2H + I2mXmZm=|m1x1|m2x1 mmxm系数hj由下列原则决定(1) Zi 与 Zj ( i =

5、j,i, j =1,2,川，m)互相无关；(2) z1是原始变量)X，X,J|,Xm的一切线性组合中方差最大的；z2与z1不相关且除 z1外在原始变量X,X2，川,Xm的一切线性组合中方差最大；;zm与 Z,zJII,Zm_i不相关且除z,zJH,zm外在原始变量X,X2,III,X的一切线性组合 中方差最大。这样确定的新变量Z,Zb川,zm称为原始变量的第一，第二，第 m主 成分，其中Z1在总的方差中占的比例最大，其余的ZbZ3,川,Zm的方差依次递减， 其重要性也依次减小，这样就可以取前面少数几个主成分对样本数据的主要性质 进行分析。第二节主成分分析的计算步骤找主成分就是确定原始变量X，X

6、2，川,Xm在诸主成分Z，Z2，Zn上的载荷lij 从数学上可以得到证明，它们分别是X1,屜，Xm的相关矩阵中较大特征值所对应 的特征向量。根据主成分分析的基本思想和基本原理， 可以把主成分分析的计算 步骤归纳如下：1、对地理数据进行标准化处理。由于变量的量纲的数值的差别，在做主成分 分析时，需要对变量进行标准化处理，常用的标准化处理方法是标准差标准化法。设原始数据为n个样品，每个样品p个观察值组成的矩阵。2、计算相关系数矩阵R3、计算特征值和特征向量4、计算贡献率和累计贡献率5、计算主成分载荷6、计算主成分得分第三节 主成分分析在 PASW Statistics中的实现表13- 1给出了某农

7、业生态经济系统各个区域单元的有关数据，下面我们对这个农业生态经济做主成分分析，得出维度较少的几个代表性因子。表13-1某农业生态经济系统各个区域单元的有关数据样本序号人口密度x. -2人 .km ）人均耕地面积2x 2/hm ）森林覆盖率X3/%农民人均纯收入x4/（元人-1）人均粮食产量-1 X5 （kg 人）经济作物 占农作物 播面比例X6/ %耕地占 土地面 积比率X7/ %果园与 林地面 积之比X8/ %灌溉田占耕地 面积之 比X9 %1363.9120.35216.101192.110295.34026.72418.4922.23126.2622141.5031.68424.3011

8、752.350452.26032.31414.4641.45527.0663100.6951.06765.6011181.540270.12018.2660.1627.47412.4894143.7391.33633.2051436.120354.26017.48611.8051.89217.5345131.4121.62316.6071405.090586.59040.68314.4010.30322.932668.3372.03276.2041540.290216.3908.1284.0650.0114.861795.4160.80171.106926.350291.5208.1354.0

9、630.0124.862862.9011.65273.3071501.240225.25018.3522.6450.0343.201986.6240.84168.904897.360196.37016.8615.1760.0556.1671091.3940.81266.502911.240226.51018.2795.6430.0764.4771176.9120.85850.302103.520217.09019.7934.8810.0016.1651251.2741.04164.609968.330181.3804.0054.0660.0155.4021368.8310.83662.8049

10、57.140194.0409.1104.4840.0025.7901477.3010.62360.102824.370188.09019.4095.7215.0558.4131576.9481.02268.0011255.420211.55011.1023.1330.0103.4251699.2650.65460.7021251.030220.9104.3834.6150.0115.59317118.5050.66163.3041246.470242.16010.7066.0530.1548.70118141.4730.73754.206814.210193.46011.4196.4420.0

11、1212.94519137.7610.59855.9011124.050228.4409.5217.8810.06912.65420117.6121.24554.503805.670175.23018.1065.7890.0488.46121122.7810.73149.1021313.110236.29026.7247.1620.09210.078注：数据来源于徐建华计量地理学（2006年第1版）PASW Statistics中的实现步骤：步骤1:在“分析”菜单的“降维”子菜单中选择“因子分析”命令，如图11-1所示。图11-1菜单中选择“因子分析”命令步骤2:在弹出的如图11-2所示的“因

12、子分析”对话框中，从左侧的变量列 表中选择这9个变量，添加到“变量”框中。步骤3:单击“描述”按钮，弹出“因子分析：描述统计”对话框，如图 13 3所示。曲因子分析：描述统廿(X图11-2 “因子分析”对话框相齐矩降陵I系数逆楫型四1讷显著性水平辆再性迟)行列式助Id厦映象迟1创KMO和Bartlett的球我度检验K)图11-3 “因子分析：描述统计”对话框“统计量”框用于选择输出哪些相关的统计量，选项如下。单变量描述性：要求输出各变量的平均数与标准差。原始分析结果：表示输出初始分析结果。输出的是因子提取前分析变量的公因子方 差，是一个中间结果。对主成分分析来说，这些值是要进行分析变量的相关或

13、协方差矩阵的 对角元素；对因子分析模型来说，输出的是每个变量是否合适作因子分析的检验方法。“相关矩阵”框中提供了以下几种变量是否适合作因子分析的方法。系数：要求计算相关系数矩阵显著性水平：选择此项给出每个相关系数的单尾假设检验的水平。行列式：相关系数矩阵的行列式。 逆模型：相关系数矩阵的逆矩阵再生：再生相关阵。选择此项给出因子分析后的相关阵，还给出残差，即原始相关 与再生相关之间的差值。反映像：反映像相关矩阵检验。反映像相关阵，包括偏相关系数的取反；反映像协 方差阵，偏协方差的取反。 KMO 和Bartlett的球形度检验：即 KMO检验和巴特利特球形检验。KMO检验,检验变量间的偏相关是否很

14、小；巴特利特球形检验，检验相关阵是否为单位阵。在本例中，选择该对话框中所有选项。单击“继续”，返回“因子分析”对话框。步骤4:单击“抽取”按钮，弹出“因子分析：抽取”对话框，选择因子提取方法。如图11-4所示。图11-4 “因子分析：抽取”对话框因子提取方法在“方法”下拉框中选取，PASW Statistics提供了 7种方法。主成份（主成分分析法）未加权最小平方法综合最小平方法最大似然（极大似然估计法） 主轴因子分解（主轴因子法） a因子分解（a因子法） 映像因子分解（映像因子提取法）“分析”框用于选择提取因子变量的依据，选项如下： 相关性矩阵：表示依据相关系数矩阵 协方差矩阵：表示依据协方

15、差矩阵“抽取”框用于指定因子个数的标准，选项如下。 基于特征值：表示该选项下面“特征值大于”后面文本框中可以输入一个特征值，PASW Statistics 将提取特征值大于该值的因子， PASW Statistics 默认为 1。指定特征值提取 因子个数是 PASW Statistics 默认的方法。 因子的固定数量：表示该选项下面“要提取的因子”后面文本框中可以输入要提取 因子的个数。 PASW Statistics 将提取指定个数的因子。“输出”框用于选择哪些与因子提取有关的信息，选项如下。 未旋转的因子解：输出未经旋转的因子载荷矩阵 碎石图：输出因子与其特征值的碎石图，按特征值大小排列。

16、“最大收敛性迭代次数”框用于指定因子分析收敛的最大迭代次数，系统默认的最大 迭代次数为 25。本例选用“主成份”方法，选择相关系数矩阵作为提取因子变量的依据。选中“未旋 转的因子解”和“碎石图”项，输出未经旋转的因子载荷矩阵和因子与其特征值的碎石图； 选择“基于特征值” 项，在该选项的后面输入 “1”，指定提出特征值大于 1的因子。 单击“继 续”按钮，返回“因子分析”对话框步骤 5：单击“因子分析”对话框中的 “旋转”按钮，弹出“因子分析：旋转”对话 框，如图 11-5 所示。该对话框用于选择因子载荷矩阵的旋转方法。旋转的目的是为了简单化结构，以帮助 我们解释因子。 PASW Statist

17、ics 默认不进行旋转（无） 。“方法”框用于选择因子旋转方法，选项出。 无：不作因子旋转 最大方差法：方差极大法旋转，又称正交旋转。 直接 Oblimin 方法：直接斜交旋转 最大四次方值法：四分最大正交旋转 最大平衡值法：平均正交旋转 Promax ：斜交旋转方法“输出”框用于选择输出哪些与因子旋转有关的信息，选项如下。 旋转解：输出旋转后的因子载荷矩阵 载荷图：输出载荷散点图本例选择方差极大法旋转“最大方差法” ，并选中“旋转解”和“载荷图”项，表示输 出旋转后的因子载荷矩阵和载荷散点图。单击“继续”按钮，返回“因子分析”对话框步骤 6：单击“因子分析”对话框中的“得分”按钮，弹出“因子

18、分析：因子得分”对 话框，如图 116 所示。图11-5 “因子分析：旋转”对话框图11-6 “因子分析：因子得分”对话框该对话框用于选择对因子得分进行设置，选项如下。保存为变量：将因子得分作为新变量保存在数据文件中。系统提供3种估计因子得分系数的方法，可以在方法框中进行以下选择：回归：即回归法。其因子得分均值为0，方差等于估计因子得分与实际因子得分之间的多元相关的平方。 Bartlett:巴特利特法。因子得分均值为0,超出变量范围的各因子平方和被最小化。 Andson-Rubin :因子得分均值为 0,标准差为1,彼此不相关。显示因子得分系数矩阵：选择此项将在输出窗口中显示因子得分系数矩阵。

19、并选中“显示因子得分系数矩阵”。单击“继续”按钮，返回“因本例选择“回归” 子分析”对话框。步骤7 :单击“因子分析”对话框中的“选项” 按钮，弹出“因子分析：选项”对话框，如图 所示。该对话框可以指定输出其他因子分析的结果， 并选择对缺失值数据的处理方法。其中选项如下。“缺失值”框用于选择以下缺失值处理方法。按列表排除个案：去除所有含缺失值的个案 后再进行分析。按对排除个案：当分析计算涉及到含有缺失 值的变量，由去掉在该变量是缺失值的个案。使用均值替换：当分析计算涉及到含有缺失 值的变量，用平均值代替该缺失值。“系数显示格式”框用于选择以下载荷系数的 显示格式。按大小排序：载荷系数按照数值的

20、大小排 列，并构成矩阵。使得在同一因子上具有较高载荷的 变量排列在一起，便于得到结论。图11-7 “因子分析：选项”对话框11-7取消小系数：不显示那些绝对值小于指定值的载荷系数。选中此项，需要在下面“绝对值如下”后面的框中输入一个 01之间的数，系统默认该值为0.1 o选择该项可以突出载 荷较大的变量。本例中选中“按列表排除个案”项。单击“继续”按钮，返回“因子分析”对话框， 完成设置。单击“确定”按钮，完成计算。三、PASW Statistics主成分分析的结果解释(1)PASW Statistics出的结果文件中的第一部分如下表所示。Descriptive StatisticsMeanS

21、td. DeviationAnalysis Nx11.13076E264.25653921x21.00981.43420921x35.50178E117.88164421x41.06700E3405.63331521x52.57298E299.47127121x61.66431E19.24955621x76.721104.45714721x8.905331.93671721x91.03561E17.30062921该表列出了 9个原始变量的统计描述结果。包括平均值、标准差和分析个案的个数。这是在步骤3中选中了 “单变量描述性”项的输出结果。(2)PASW Statistics输出的结果文件中的

22、第二部分如下表所示。x1x2x3x4x5x6x7x8x9x11.000-.327-.714-.336.309.408.790.156.744x2-.3271.000-.035.644.420.255.009-.078.094x3-.714-.0351.000.070-.740-.755-.930-.109-.924x4-.336.644.0701.000.383.069-.046-.031.073x5.309.420-.740.3831.000.734.672.098.747x6.408.255-.755.069.7341.000.658.222.707x7.790.009-.930-.046

23、.672.6581.000-.030.890x8.156-.078-.109-.031.098.222-.0301.000.290x9.744.094-.924.073.747.707.890.2901.000x1.074.000.068.087.033.000.250.000x2.074.440.001.029.132.485.369.342x3.000.440.382.000.000.000.318.000x4.068.001.382.044.383.421.447.377x5.087.029.000.044.000.000.336.000x6.033.132.000.383.000.00

24、1.167.000CorrelationSig. (1-tailed)aCorrelation Matrixx7.000.485.000.421.000.001.449.000x8.250.369.318.447.336.167.449.102x9.000.342.000.377.000.000.000.102a. Determinant = 5.11E-005该表格上半部分给出的是 9个原始变量的相关矩阵。下半部分则给出了每个相关系数的 单尾显著性水平(1-tailed)。表格下面给出了相关系数矩阵的行列式的值，Determ in a nt =5.11E-005(3)PASW Statist

25、ics输出的结果文件中的第三部分如下表所示。Inverse of Correlation Matrixx1x2x3x4x5x6x7x8x9x16.022.920-2.9681.2001.374.134-4.603-.192-4.366x2.9202.219-.835-.801-.340-.631.011.384-1.028x3-2.968-.83518.334-3.0011.8262.2947.638-1.0329.958x41.200-.801-3.0012.690-1.134.387-.827.244-2.546x51.374-.3401.826-1.1344.956-1.171-.319

26、.232-1.877x6.134-.6312.294.387-1.1713.251-.384-.7691.192x7-4.603.0117.638-.827-.319-.38415.7563.246-3.919x8-.192.384-1.032.244.232-.7693.2462.377-4.073x9-4.366-1.0289.958-2.546-1.8771.192-3.919-4.07318.959该表格是相关系数矩阵的逆矩阵。(4)PASW Statistics输出的结果文件中的第四部分如下表所示。KMO and Bartletts TestKaiser-Meyer-Olkin Me

27、asure of Sampling Adequacy.759Bartletts Test of SphericityApprox. Chi-Square159.767df36Sig.000该表格给出了 KMO检验和Bartlett球度检验结果。其中 KMO值为0.759，根据统计学家 Kaiser给出的标准，KMO取值大于0.6，比较适合作因子分析。Bartlett球度检验给出的相伴概率值为0.000，小于显著性水平0.05，因此拒绝Bartlett球度检验的零假设，认为适合作因子分析。(5)PASW Statistics输出的结果文件中的第五部分如下表所示。说明该表给出了反映像相关矩阵检验结

28、果。如果反映像相关矩阵中某些绝对值比较大，这些变量有可能不太适合作因子分析，需要对这些变量进行进一步的考虑。Anti-image Matricesx1x2x3x4x5x6x7x8x9Anti-imagex1.166.069-.027.074.046.007-.049-.013-.038Covariancex2.069.451-.021-.134-.031-.088.000.073-.024x3-.027-.021.055-.061.020.038.026-.024.029x4.074-.134-.061.372-.085.044-.020.038-.050x5.046-.031.020-.08

29、5.202-.073-.004.020-.020x6.007-.088.038.044-.073.308-.007-.100.019x7-.049.000.026-.020-.004-.007.063.087-.013x8-.013.073-.024.038.020-.100.087.421-.090x9-.038-.024.029-.050-.020.019-.013-.090.053Anti-imagex1.761 a.252-.283.298.251.030-.472-.051-.409Correlationx2.252.717a-.131-.328-.102-.235.002.167-

30、.159x3-.283-.131a.786-.427.192.297.449-.156.534x4.298-.328-.427.517a-.311.131-.127.096-.357x5.251-.102.192-.311.883 a-.292-.036.068-.194x6.030-.235.297.131-.292.869 a-.054-.277.152x7-.472.002.449-.127-.036-.054.803 a.530-.227x8-.051.167-.156.096.068-.277.530.190 a-.607x9-.409-.159.534-.357-.194.152-

31、.227-.607a.756a. Measures of Sampling Adequacy(MSA)(6)PASW Statistics输出的结果文件中的第六部分如下表所示。CommunalitiesInitialExtractionx11.000.832x21.000.803x31.000.947x41.000.757x51.000.858x61.000.718x71.000.952x8x91.0001.000.990.938Extraction Method: Principal Component Analysis.这是因子分析的初步结果。该表格的第一列列出了9个原始变量名。第二列是根

32、据因子分析初始解计算出的变量共同度。利用主成分分析方法得到9个特征值，它们是因子分析的初始解，可利用这9个初始解和对应的特征向量计算出因子载荷矩阵。由于每个原始变量的所有方差都能被因子变量解释掉，因此每个原始变量的共同度为1。第三列是根据因子分析最终解计算出的变量共同度。根据最终提取的m个特征值和对应的特征向量计算出因子载荷矩阵。这时由于因子变量少于原始变量的个数，因此每个变量的共同度必然小于 1。例如，第一行中0.832表示m个因子变量共解释掉原始变量“x1”方差的83.2%。从第三列可以看出，“x6 ”变量在因子分析后，能被m个因子变量解释的方差最少，只有71.8%。（7）PASW Sta

33、tistics输出的结果文件中的第七部分如下表所示。Total Variance ExplainedInitial EigenvaluesExtraction Sums of SquaredLoadingsRotation Sums of SquaredLoadingsComponentTotal% ofVariance CCumulative %Total% ofVariance (Cumulative %Total% ofVariance CCumulative %14.66151.79051.790，L66151.79051.7904.60551.17251.17222.08923.21

34、775.007!.08923.21775.0072.10023.32974.50031.04311.58986.596.04311.58986.5961.08912.09586.5964.5075.63892.2345.3153.50295.7366.1932.14097.8767.1141.27199.1478.045.50499.6509.031.350100.000Extraction Method: Principal Component Analysis.该表格是因子分析后因子提取和因子放置的结果。其中，Component列和InitialEigenvalues列（第一列和第四列）描

35、述了因子分析初始解对原始变量总体描述情况。第一列是因子分析的9个初始解序号。第二列是因子变量的方差（特征值），它是衡量因子重要程度的指标。例如，第一行中特征值为4.661，表示第一个因子描述了原始变量总方差9个中的4.661，后面因子描述的方差依次减少。第三列是因子变量的方差贡献率（ of Variance ），表示该因子描述的方差占原始变量总方差的比例。它的值是第二列的特征值除以总方差 9的结果。例如，第一行中的 51.790%是4.661除以9的结果。第四列是因子变量的累计方差贡献率，表示前m个因子描述的总方差占原始变量的总方差的比例。例如第三行的数字表示前三个因子描述的总方差占原始变量的

36、总方差的86.596%。第五列到第七列则是从初始解中按照一定标准(在前面的实现步骤中，设定了提取因子的标准是特征值大于1)提取了 3个公共因子后对原始变量总体的描述情况。各列数据的含义和前面第二列到第四列相同。 可见，提取了 3个公共因子后，它们反映了原始变量的大部 分信息。第八列到第十列是旋转以后得到的因子对原始变量总体的描述情况。各列的含义和第 五列到第七列是一样的。(8)PASW Statistics输出的结果文件中的第八部分如图11-8所示。图11-8所示的是公共因子碎石图。它的横坐标为公共因子数，纵坐标为公共因子的特 征值。可见前3到4个公共因子，特征值变化非常明显，和到第4个特征值

37、以后，特征值变化趋于平稳。因此说明提取到4个公共因子可以对原始变量的信息描述有显著作用。 从前面 的表格中也可以看出这样的结果。3-A n-leLla山1-o-1456Component Numb&r(9)PASW Statistics输出的结果文件中的第九部分如下表所示。Component MatrixComponent123x1.739-.532-.061x2.123.887-.028x3-.964.096.095x4.042.868.037x5.813.444-.011x6.819.179.125x7.933-.133-.251x8.197-.100.970x9.964-.025.092

38、Extraction Method: Principal Component Analysis.a. 3 components extracted.根据该表格是最终的因子载荷矩阵A，对应前一节中因子分析的数学模型部分 该表格可以得到如下因子分析模型：X = AF a ；即为=0.739R 0.532F2 0.06仆3x2 =0.123R +0.887F2 -0.028F3111K =0.964R -0.025F2 +0.092F3(10)PASW Statistics输出的结果文件中的第十部分如下表所示。Component123x1.773-.483.044x2.070.891-.054x3-

39、.972.034-.016x4-.017.870.003x5.780.496.059x6.787.238.206x7.962-.079-.141x8.093-.051.989x9.947.043.198Rotated Component MatrixaExtraction Method: Principal Component Analysis.Rotation Method: Varimax with Kaiser Normalization.Component123x1.773-.483.044x2.070.891-.054x3-.972.034-.016x4-.017.870.003x5

40、.780.496.059x6.787.238.206x7.962-.079-.141x8.093-.051.989x9.947.043.198aRotated Component MatrixExtraction Method: Principal Component Analysis.Rotation Method: Varimax with Kaiser Normalization.a. Rotation converged in 4 iterations.该表格是按照前面设定的方差极大法对因子载荷矩阵旋转后的结果。未经过旋转的载荷矩阵中，因子变量在许多变量上都有较高的载荷。例如第一个因子

41、变 量，除了“ x2”、“ x4”和“ x8”外，几乎在其它所有变量上都有较高的载荷。 那么它们的含义就会比较模糊。经过旋转以后，第一个因子变量含义略加清楚，基本上反映了 “x1”、“x3”、 “x5”、“ x6”、“ x7”、“ x9”等。第二个基本上反映了“ x2”、“ x4”、第三个基本上反映了“ x8”(11)PASW Statistics输出的结果文件中的第一部分如下表所示。Component Transformation MatrixCompo nent1231.992.067.1102-.062.997-.0443-.112.037.993Extraction Method: P

42、rincipal Component Analysis.Rotation Method: Varimax with Kaiser Normalization.该表输出的是因子转换矩阵，标明了因子提取的方法是主成分分析，旋转的方法是方差极大法。(12)PASW Statistics输出的结果文件中的第十二部分如下表所示。图11-是载荷散点图，这是 3个因子的三维因子载荷散点图，以3个因子为坐标，给出各原始变量在该坐标中的载荷散点图。该图是旋转后因子载荷矩阵的图形化表示方式。如果因子载荷矩阵比较复杂，则通过该图较容易理解。Component Pict in Rotated Spaceo O(13)PASW Statistics输出的结果文件中的第十三部分如下表所示。Component Score Coefficient MatrixC