数据分析的各种方法microsoft word 文档 (3).doc

35主成分分析方法主成分分析方法在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息一种方法。1主成分分析的基本原理主成分分析主成分分析把原来多个变量划为少数几个综合指标的一种统计分析方法，是一种降维处理技术。）记原来的变量指标为X1，X2，XP，它们的综合指标新变量指标为Z1，Z2，ZM（MP），则Z1，Z2，ZM分别称为原变量指标X1，X2，XP的第一，第二，第M主成分，在实际问题的分析中，常挑选前几个最大的主成分。系数LIJ的确定原则（单击展开显示）主成分分析的数学特征（单击展开显示）2主成分分析的计算步骤计算相关系数矩阵计算特征值与特征向量计算主成分贡献率及累计贡献率计算主成分载荷3主成分分析方法应用实例1实例1流域系统的主成分分析（张超，1984）表351（点击显示该表）给出了某流域系统57个流域盆地的9项变量指标。其中，X1代表流域盆地总高度（M），X2代表流域盆地山口的海拔高度（M），X3代表流域盆地周长（M），X4代表河道总长度（M），X5代表河道总数，X6代表平均分叉率，X7代表河谷最大坡度（度），X8代表河源数，X9代表流域盆地面积（KM2）。注表中数据详见书本87和88页。1分析过程将表351中的原始数据作标准化处理，然后将它们代入相关系数公式计算，得到相关系数矩阵（表352）。由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率（见表353）。由表353可知，第一，第二，第三主成分的累计贡献率已高达865，故只需求出第一、第二、第三主成分Z1，Z2，Z3即可。Z3上的载荷（表354）。2结果分析第一主成分Z1与X1，X3，X4，X5，X8，X9有较大的正相关，可以看作是流域盆地规模的代表；第二主成分Z2与X2有较大的正相关，与X7有较大的负相关，分可以看作是流域侵蚀状况的代表；第三主成分Z3与X6有较大的正相关，可以看作是河系形态的代表；根据主成分载荷，该流域系统的9项要素可以被归纳为三类，即流域盆地的规模，流域侵蚀状况和流域河系形态。如果选取其中相关系数绝对值最大者作为代表，则流域面积、流域盆地出口的海拔高度和分叉率可作为这三类要素的代表。2实例之二中国大陆31个省（市、区）第三产业综合发展水平的主成分分析与评估31相关分析方法地理要素之间相互关系密切程度的测定，主要是通过对相关系数的计算与检验来完成的。1两要素之间相关程度的测定1相关系数的计算与检验1相关系数的计算相关系数表示两要素之间的相关程度的统计指标。对于两个要素X与Y，如果它们的样本值分别为XI与YI（I1，2，N），它们之间的相关系数，RXY0，表示正相关，即同向相关；RXYR0010432，故RXY在001的置信水平上是显著的。2多要素间相关程度的测定1偏相关系数的计算与检验1偏相关系数的计算偏相关系数矩阵一级偏相关系数的计算二级偏相关系数的计算2偏相关系数的性质3偏相关系数的显著性检验偏相关系数的显著性检验，一般采用T检验法。计算公式为举例说明例3对于某四个地理要素X1，X2，X3，X4的23个样本数据，经过计算得到了如下的单相关系数矩阵试计算各个一级和二级偏相关系数并对其进行显著性检验。解1求一级偏相关系数；把数值代入一级偏相关系数公式计算得同理，依次可以计算出其它各一级偏相关系数，见表315。R123R132R142R143R23108210808064708950863R241R243R241R34209560945087503712求二级偏相关系数；求出一级偏相关系数后，可代入公式计算二级偏相关系数同理，依次可计算出其它各二级偏相关系数，见表316。R1234R1324R1423R2314R2413R34120170080206350187082103373显著性检验。对于R24130821,在自由度为233119时，查表得T00013883，TTA，这表明在置信度水平0001上，偏相关系数R2413是显著的。2复相关系数的计算与检验复相关分析法能够反映各要素的综合影响。几个要素与某一个要素之间的复相关程度，用复相关系数来测定。1复相关系数的计算复相关系数，可以利用单相关系数和偏相关系数求得。设Y为因变量，X1，X2，XK为自变量，则将Y与X1，X2，XK之间的复相关系数记为RY12K。则其计算公式如下。当有K个自变量时，2复相关系数的性质3复相关系数的显著性检验一般采用F检验法。计算公式N为样本数，K为自变量个数。查F检验的临界值表，可以得到不同显著性水平上的临界值F，若FF001，则表示复相关在置信度水平A001上显著，称为极显著；若，则表示复相关在置信度水平A005上显著；若，则表示复相关在置信度水平A010上显著；若FF0011,46722，所以回归方程（327）式在置信水平A001下是显著的。2多元线性回归模型在多要素的地理系统中，多个（多于两个）要素之间也存在着相关影响、相互关联的情况。因此，多元地理回归模型更带有普遍性的意义。1多元线性回归模型的建立1多元线性回归模型的结构形式假设某一因变量Y受K个自变量的影响，其N组观测值为。则多元线性回归模型的结构形式为待定参数，为随机变量。如果分别为的拟合值，则回归方程为B0为常数，称为偏回归系数。偏回归系数当其它自变量都固定时，自变量每变化一个单位而使因变量XI平均改变的数值。2求解偏回归系数,2多元线性回归模型的显著性检验用F检验法。F统计量当统计量F计算出来之后，就可以查F分布表对模型进行显著性检验。举例说明例2某地区各城市的公共交通营运总额（Y）与城市人口总数（X1）以及工农业总产值（X2）的年平均统计数据如表321（点击展开显示该表）所示。试建立Y与X1及X2之间的线性回归模型并对其进行显著性检验。城市序号公共交通营运额Y/103人公里人口数X1/103人工农业总产值X2/107元1682599129800437262512001198012864814192001247107227解1计算线性回归模型由表321中的数据，有计算可得故Y与X1及Y2之间的线性回归方程2显著性检验故在置信水平A001下查F分布表知F0012,11721。由于F38722F0012,11721，所以在置信水平A001下，回归方程式是显著的。3非线性回归模型的建立方法1非线性关系的线性化1非线性关系模型的线性化对于要素之间的非线性关系通过变量替换就可以将原来的非线性关系转化为新变量下的线性关系。几种非线性关系模型的线性化2建立非线性回归模型的一般方法通过适当的变量替换将非线性关系线性化；用线性回归分析方法建立新变量下的线性回归模型通过新变量之间的线性相关关系反映原来变量之间的非线性相关关系。3非线性回归模型建立的实例非线性回归模型建立的实例景观是地理学的重要研究内容之一。有关研究表明（LI，2000；徐建华等，2001），任何一种景观类型的斑块，其面积（AREA）与周长（PERIMETER）之间的数量关系可以用双对数曲线来描述，即例3表322给出了某地区林地景观斑块面积（AREA）与周长（PERIMETER）的数据。试建立林地景观斑块面积A与周长P之间的双对数相关关系模型。表322某地区各个林地景观斑块面积（M2）与周长（M）序号面积A周长P序号面积A周长P1104473706253924223284430042820432159747306122864340546602893074116086252258428256437080012212410注本表数据详见书本57和58页。解因为林地景观斑块面积（A）与周长（P）之间的数量关系是双对数曲线形式，即所以对表322中的原始数据进行对数变换，变换后得到的各新变量对应的观测数据如表323所示。33时间序列分析地理过程的时间序列分析，就是通过分析地理要素（变量）随时间变化的历史过程，揭示其发展变化规律，并对其未来状态进行预测。常用得时间序列分析方法有平滑法、趋势线法、季节性指数法、自回归法等。（单击定位于本页相关内容处）1平滑预测法时间序列分析的平滑法主要有以下三类。1移动平均法设某一时间序列为Y1，Y2，YT，则下一期（T1时刻）的预测值为T点的移动平均值，N为移动时距（点数）。2滑动平均法计算公式为T点的滑动平均值，为单侧平滑时距（点数）。举例说明3指数平滑法指数平滑法可以分为一次指数平滑和高次指数平滑。1一次指数平滑计算公式为平滑系数。平滑系数的确定若时间序列较平稳，数据波动较小，取值可小一些一般取（005,03）；若时间序列数据起伏波动比较大，应取较大的值一般取（07,095）；具体应用时可通过经验或试算，以误差尽可能的小为最好。2高次指数平滑法二次指数平滑法的预测公式T代表从基期T到预测期的期数。三次指数平滑公式举例说明2趋势线预测法三种最常用的趋势线直线型趋势线YTABT指数型趋势线YTABT抛物线型趋势线YTABTCT2这三种趋势线方程中系数的求解可以用回归分析方法的最小二乘法实现。3季节性预测法时间序列可分解为长期趋势（T）、季节变动（S）、循环变动（C）和不规则变动（I）四种。1时间序列分析的模型（单击展开显示该内容）假设四种因素相互独立的加法模型YTSCI；假定各因素之间存在交错互动影响的乘法模型YTSCI。在地理统计时序分析中，乘法模型更为常用。对乘法模型进行变换可以对长期趋势、季节变动、循环变动及不规则变动进行测定。2季节变动的预测方法的基本步骤（单击展开显示该内容）将原时间序列求移动平均，目的是消除季节变动和不规则变动，保留长期趋势；将原序列Y除以其对应的趋势方程值（或平滑值），目的是分离出季节变动（含不规则变动），即季节系数TSCI/趋势方程值（TC或平滑值）SI一般用序列中若干年的季节系数之平均值作为季节系数的改进值；将月度（或季度）的季节指标加总，以由计算误差导致的值去除理论加总值，得到一个校正系数，并以该校正系数乘以季节性指标从而获得调整后季节性指标；进行预测。如果欲求下一年度的预测值，简单地延长趋势线即可；若要求各月（季）的预测值，只需以趋势值乘以各月份（季度）的季节性指标即可求得未来各月（季）的预测值。求季节变动预测的数学模型（以直线为例）为YTL是由（T到L）预测值，AT、BT为方程系数（参数），T为T周期的季节系数。举例说明例3某市19951999年各季度客流量YI（104人次）如表333所示，试预测该市2000年各季的客流量。4自回归模型当一个要素（变量）按时间顺序排列的观察值之间具有依赖关系或自相关性时，就可以建立该要素（变量）的自回归模型，并由此对其发展变化趋势进行预测。自相关性是建立自回归模型的基础。1时间序列的自相关性判断时间序列的自相关序列前后期数值之间的相关关系，对这种相关关系程度的测定便是自相关系数。2自回归模型的建立如果判定一个时间序列具有显著的自相关性时，则可以用回归分析方法建立该时间序列的自回归模型。自回归预测模型也有线性和非线性之分，最常见的是线性自回归模型。一般地，P阶线性自回归模型举例说明34系统聚类分析方法聚类分析是研究多要素事物分类问题的数量方法。基本原理是根据样本自身的属性，用数学方法按照某种相似性或差异性指标，定量地确定样本之间的亲疏关系，并按这种亲疏关系程度对样本进行聚类。常见的聚类分析方法有系统聚类法、动态聚类法和模糊聚类法等。1聚类要素的数据处理假设有M个聚类的对象，每一个聚类对象都有个要素构成。它们所对应的要素数据可用表341给出。（点击显示该表）在聚类分析中，常用的聚类要素的数据处理方法有如下几种。总和标准化标准差标准化极大值标准化经过这种标准化所得的新数据，各要素的极大值为1，其余各数值小于1。极差的标准化经过这种标准化所得的新数据，各要素的极大值为1，极小值为0，其余的数值均在0与1之间。2距离的计算距离是事物之间差异性的测度，差异性越大，则相似性越小，所以距离是系统聚类分析的依据和基础。绝对值距离选择不同的距离，聚类结果会有所差异。在地理分区和分类研究中，往往采用几种距离进行计算、对比，选择一种较为合适的距离进行聚类。举例说明（点击打开显示该例）3直接聚类法直接聚类法是根据距离矩阵的结构一次并类得到结果。基本步骤把各个分类对象单独视为一类；根据距离最小的原则，依次选出一对分类对象，并成新类；如果其中一个分类对象已归于一类，则把另一个也归入该类；如果一对分类对象正好属于已归的两类，则把这两类并为一类；每一次归并，都划去该对象所在的列与列序相同的行；那么，经过M1次就可以把全部分类对象归为一类，这样就可以根据归并的先后顺序作出聚类谱系图。直接聚类法虽然简便，但在归并过程中是划去行和列的，因而难免有信息损失。因此，直接聚类法并不是最好的系统聚类方法。举例说明（点击打开新窗口，显示该内容）4最短距离聚类法最短距离聚类法是在原来的MM距离矩阵的非对角元素中找出，把分类对象GP和GQ归并为一新类GR，然后按计算公式计算原来各类与新类之间的距离，这样就得到一个新的（M1）阶的距离矩阵；再从新的距离矩阵中选出最小者DIJ，把GI和GJ归并成新类；再计算各类与新类的距离，这样一直下去，直至各分类对象被归为一类为止。举例说明（点击打开新窗口，显示该例）5最远距离聚类法最远距离聚类法与最短距离聚类法的区别在于计算原来的类与新类距离采用的公式不同。最远距离聚类法的计算公式举例说明（点击打开新窗口，显示该例）6系统聚类法计算类之间距离的统一公式最短距离聚类法具有空间压缩性，而最远距离聚类法具有空间扩张性（图344）。最短距离为DABDA1B1，最远距离为DABDAP2。最短距离聚类法和最远距离聚类法关于类之间的距离计算可以用统一的式子表示当1/2时，就是最短距离聚类法计算类间距离的公式；当1/2时，就是最远距离聚类法计算类间距离的公式。系统聚类的方法还有表示了八种不同系统聚类方法计算类间距离的统一表达式（见表334）。7系统聚类分析实例作为系统聚类分析方法的应用实例，下面对中国大陆31个省级区域第三产业综合发展水平进行类型划分及差异性程度分析。1聚类指标选择选取如下7项指标作为对中国第三产业综合发展水平进行聚类分析的基础指标Y1人均GDP，反映经济社会发展的总体状况和一般水平；Y2人均第三产业增加值，反映人均服务产品占有量或服务密度；Y3第二产业增加值比重，反映工业化水平和产业结构现代化程度；Y4第三产业增加值比重，反映第三产业的发展程度及其对国民经济的贡献；Y5第三产业从业人员比重，反映第三产业对劳动力的吸纳能力；Y6第三产业固定资产投资比重，反映第三产业的资金投入程度；Y7城市化水平，反映农村人口转化为城市人口的程度及对服务的需求量。2聚类计算以1999年国家统计局出版的中国统计年鉴（1998年度的数据）为数据来源，运用上述7项指标表345（点击显示该表），借助于统计分析软件包SPSS100进行聚类分析计算，计算过程如下用标准差标准化方法对7项指标的原始数据进行处理。采用欧氏距离测度31个省（市、区）之间的样本间距离。选用组平均法计算类间的距离，并对样本进行归类。经过上述聚类计算步骤，得到的聚类结果见图345。（点击在新窗口中显示该图）36马尔可夫预测方法马尔可夫（MARKOV）预测法，是一种预测事件发生的概率的方法。基于马尔可夫链，根据事件的目前状况预测其将来各个时刻（或时期）变动状况。1几个基本概念状态状态某一事件在某个时刻（或时期）出现的某种结果。随着研究的事件及其预测的目标不同，状态有不同的划分方式。状态转移过程状态转移过程事件的发展，从一种状态转变为另一种状态，即为状态转移。马尔可夫过程马尔可夫过程在事件的发展过程中，若每次状态的转移都只仅与前一时刻的状态有关，而与过去的状态无关，这样的状态转移过程就称为马尔可夫过程。1状态转移概率和状态转移概率矩阵状态转移概率在事件的其发展变化过程中，从某一种状态出发，下一时刻转移到其它状态的可能性，称为状态转移概率。状态转移概率矩阵假定某一个事件的发展过程有N个可能的状态，即E1，E2，EN。记为从状态转变为状态的状态转移概率，则矩阵即为状态转移概率矩阵。状态转移概率矩阵的计算计算状态转移概率矩阵P，就是求从每个状态转移到其它任何一个状态的状态转移概率。为了求出每一个PIJ，一般采用频率近似概率的思想进行计算。2马尔可夫预测法状态概率（单击打开新窗口，显示定义）1第K个时刻（时期）的状态概率预测若已知，利用状态概率的递推公式，可求在第K个时刻（时期）处于各种可能的状态的概率，从而得该事件在第K个时刻（时期）的状态概率预测。2终极状态概率预测马尔可夫预测法的基本要求状态转移概率矩阵必须具有一定的稳定性。因此，必须具有足够的统计数据，才能保证预测的精度与准确性。举例说明（单击展开窗口，显示本例）37趋势面分析方法趋势面分析通过回归分析原理，运用最小二乘法拟合一个二维非线性函数，利用数学曲面模拟地理要素在空间上的分布及变化趋势。1趋势面分析的一