数据挖掘与分析作业章晶晶51092907020

1、数据挖掘与分析作业中国交通运输与经济发展联系社会学研究生 章晶晶（51092907020）前言选择此份数据是因为：1、文件夹中的部分数据没有题项名称，解释困难；2、有的数据已经有同学选择；3、本份数据主要是连续变量，有利于用多种分析方法解释之。声明本人在制作本作业之前曾参考同学已完成作业之样式，特别鸣谢吴志恒等同学。一、数据概况本份数据主要包括1980-2002年交通运输长度，货运运输量和客运运输量三个数据文件。经过合并，形成交通与经济发展数据主要包含了16个变量，包括年份、铁路（长度、客运、货运）公路（长度、客运、货运）、水运（长度、客运、货运）、民航（长度、货运）以及交通投入、当年GDP总

2、量、货运、客运总计（皆为连续变量）。在挖掘、分析数据之前，首先要确立需要思考的问题：1、 历年来交通事业发展的概况；2、 交通投入与GDP增长之间的关系；原假设：无显著相关3、 对GDP增长而言，哪几类交通发展与之相关性较大； 在数据中，我们遇到的第一个问题就是“缺失值”的情况。因为各种原因，本数据的部分年数情况不明。对于数据，为分析需要，首先处理中间的缺失值，对末尾的缺失值不做处理。变量缺失年份替换方法交通投入1991临近点的中位数公路货运1989临近点的中位数民航货运1989临近点的中位数水运货运1989临近点的中位数二、交通事业发展的各阶段聚类的方法 根据交通长度、货运、客运三方面的数据

3、，采用系统聚类分析。 步骤（分析分类系统聚类，勾选树状图）如下： 按“确定”后，得到以下图形： 注：由于数据缺失，只是归类到1999年 按照解释需要，我们将其归类为三个类别，第一类别为19811983年；第二类别为19841992年；第三类别为19931999年。这反映了交通发展的三个阶段。 通过excel制图得到图一，观测数据。 图1：19812002国民生产总值增长的三阶段通过交通事业发展的三阶段和GDP增长的三阶段，我们试图发展交通发展与国民经济发展之间的关联程度。三、交通事业发展指标与国民经济的发展关系初探多重线性回归交通事业发展衡量的数据有很多，我们选择交通投入、货运总量和客运总量三

4、项指标来讨论与当年GDP之间的关系。 在此之前，先讨论几个变量之间的相关性：步骤（图形旧对话框散点图矩阵分布） 得到散点图：由上图可以看出，当年GDP总量与交通投入、货运总量和客运总量有较强的关系。拟合多重线性回归模型。步骤（分析回归线性）ANOVAbModelSum of SquaresdfMean SquareFSig.1Regression2.048E1036.827E9693.754.000aResidual1.673E8179840793.091Total2.065E1020a. Predictors: (Constant), 客运总计, 货运总计, MEDIAN(交通投入,2)b.

5、 Dependent Variable: gdp 可以从上表看出：F=693.754；sig<0.001<0.05，说明至少一个自变量的回归系数不为0，所建立的回归模型是具有统计学意义的。 在修正客运总计（sig=0.661>0.05）的相关性之后得到下表：CoefficientsaModelUnstandardized CoefficientsStandardized CoefficientstSig.BStd. ErrorBeta1(Constant)-8397.0315789.996-1.450.163MEDIAN(交通投入,2)16.0301.131.87014.16

6、9.000货运总计.016.007.1362.214.039a. Dependent Variable: gdp 因此，我们将模型公式写作：Y=-8397.031+16.03*交通投入+0.016*货运总计附：交通事业发展指标与国民经济的发展关系进一步假设本文讨论，在多重线性回归之后，我们是否可以尝试进一步深入建立模型，是否可以按照前年交通指标来预测经济发展速度？可惜笔者尝试logistic回归以及多重线性回归未曾成功做得。只能将前期数据转换交代如下：首先处理数据本身。第一步是计算出GDP年增长率。1、步骤（转换计算变量）得到新变量“增长率”检验其分布是否为正态分布（用QQ图初步观测）通过非参数检验中的k-s分布检验，得到下图One-Sample Kolmogorov-Smirnov TestGDP增长率N21Normal Parametersa,bMean.1580Std. Deviation.08807Most Extreme DifferencesAbsolute.137Positive.137Negative-.086Kolmogorov-Smirnov Z.627Asymp. Sig. (2-tailed).826a. Test distribution