多元线性回归分析.doc

实验报告7：多元线性回归分析一元线性回归模型研究的是某一个因变量和一个自变量之间的关系问题，但在实际中，经验和常识告诉我们，因变量的变化常常受到不止一个自变量的影响，可能同时有两个或两个以上的自变量对因变量的变化产生影响。这种研究某一个因变量和多个自变量之间的相互关系的理论和方法就是多元线性回归分析方法，它是一元线性模型的拓展，线性回归分析类似。设随机变量与个一般变量，的线性回归模型可表示为： （*）称为回归常数， 称为偏回归系数，他们决定了因变量与自变量，的线性关系的具体形式；是随机误差，满足。如果获得组观测数据，其中。则（*）式可表示为，其中上式写成方程组形式为记 ，则回归模型成为在元正态线性回归模型下，有（1）；（2）；（3）;（4）与相互独立，与相互独立，其中.回归方程的整体显著性检验步骤为：（1）提出原假设与备择假设 （线性关系不显著）不全为0 （线性关系显著）（2）构造检验统计量 在原假设成立的条件下，统计量服从自由度为的分布。（3）给定显著性水平，查分布表，得到临界值。（4）将样本观测值代入到（2）中的式子，计算统计量值，其计算过程一般通过方差分析表得到。（5）将得到的值与临界值比较，当时，拒绝原假设，认为在显著性水平下，因变量和所有自变量，之间有显著的线性关系，也即回归方程整体是显著的；若时，则接受原假设，认为在显著性水平下，因变量和所有自变量，之间没有显著的线性关系，也即回归方程整体是不显著的。回归系数的显著性检验步骤为：（1）提出原假设与备择假设 （2）构造检验统计量在原假设成立的条件下，检验统计量，其中。（3）给定显著性水平，查分布表，得到临界值。（4）计算统计量值，比较得到的值与临界值，当时，拒绝原假设，认为在其他自变量不变的情况下，对因变量有显著影响，若时，则认为在其他自变量不变的情况下，对因变量无显著影响。逐步回归分析的基本思想：自变量在回归方程建立过程中有进有出。具体操作就是按变量的重要程度，将变量由少到多、一个一个地引入，当每引入一个符合“纳入标准”的自变量后，对已选入的变量（包括刚被引入的）进行逐个检验，当原来引入的变量由于后面变量的引入而变得不再显著时，要按变量的（提出标准）将其剔除，每剔除一个自变量后，也要对仍留在回归方程中的自变量逐个检验。引入一个变量或从回归方程中剔除一个变量为逐步回归的一步，每一步都要进行基于偏回归平方和的偏检验，以确保每次引入新的变量之前回归方程中只包含显著的变量，这个过程反复进行，直到再无显著的自变量引入方程，也无不显著的自变量从方程中剔除为止。逐步回归的基本方法是：逐个引入自变量，所引入的自变量是对影响最显著的，并对引入方程中的所有自变量逐个检验，将对影响不显著的自变量剔除。最终得到的回归方程中只包含对影响显著的变量，而剔除的变量均是对影响不显著的。例 我国名航客运量（万人）受到x1国民收入（亿元）、x2消费额（亿元）、x3铁路客运量（万人）、x4民航航线里程（万公里）、x5来华旅游入境人数（万人）这些因素的影响，根据16年的统计数据（见已建立的SPSS数据文件），试建立我国民航客运量的回归模型，分析其变化趋势和主要影响因素。SPSS 操作步骤如下：（1）打开相关数据文件，选择菜单“AnalyzeRegressionLinear”，弹出“Linear Regression”对话框。（2）设置参与回归分析的变量。（3）单击“Statistics”按钮，在弹出的对话框设置输出统计量。设置完成后单击“Continue”按钮回到“Linear Regression”对话框。（4）单击“Plots”按钮，在弹出的对话框中设置回归分析诊断和预测图。设置完成后单击“Continue”按钮回到“Linear Regression”对话框。（5）单击“Save”按钮，在弹出的对话框中设置回归分析的表格文件。设置完成后单击“Continue”按钮回到“Linear Regression”对话框。（6）单击“Option”按钮，在弹出的对话框中设置回归分析的一些选项。设置完成后单击“Continue”按钮回到“Linear Regression”对话框。（7）单击“OK”按钮，SPSS即开始计算。SPSS的输出结果及其分析如下：表1Descriptive StatisticsMeanStd. DeviationNy1159.12960.67216x19611.696643.54016x26447.254251.94616x31.02E511009.67416x438.400023.6201816x51.9309E31244.0053316表2Correlationsyx1x2x3x4x5Pearson Correlationy1.000.989.985.227.987.924x1.9891.000.999.258.984.930x2.985.9991.000.289.978.942x3.227.258.2891.000.213.505x4.987.984.978.2131.000.882x5.924.930.942.505.8821.000Sig. (1-tailed)y.000.000.199.000.000x1.000.000.167.000.000x2.000.000.139.000.000x3.199.167.139.214.023x4.000.000.000.214.000x5.000.000.000.023.000.上表表明参与回归分析的6个变量之间大部分相关系数都比较高。表3Model SummarybModelRR SquareAdjusted R SquareStd. Error of the EstimateChange StatisticsDurbin-WatsonR Square ChangeF Changedf1df2Sig. F Change1.999a.998.99749.480.9981128.862510.0001.994a. Predictors: (Constant), x5, x3, x4, x2, x1b. Dependent Variable: y上表表明模型拟合效果较好；DW值为1.994，接近于2，可认为模型不存在自相关。表4ANOVAbModelSum of SquaresdfMean SquareFSig.1Regression1.382E752763777.7791.129E3.000aResidual24482.857102448.286Total1.384E715a. Predictors: (Constant), x5, x3, x4, x2, x1b. Dependent Variable: y上表显示回归方程的F值为1.129E3，P值为0.000，可见方程整体而言是显著的。表5CoefficientsaModelUnstandardized CoefficientsStandardized CoefficientstSig.CorrelationsCollinearity StatisticsBStd. ErrorBetaZero-orderPartialPartToleranceVIF1(Constant)451.155178.0942.533.030x1.354.0852.4474.154.002.989.796.055.0011.963E3x2-.562.125-2.485-4.480.001.985-.817-.060.0011.740E3x3-.007.002-.083-3.511.006.227-.743-.047.3153.173x421.5784.029.5315.356.000.987.861.071.01855.487x5.435.052.5648.443.000.924.936.112.04025.201a. Dependent Variable: y上表给出了回归方程的非标准化估计系数、标准化估计系数、系数的统计显著性检验结果以及共线性诊断的方差膨胀因子。，的VIF均大于10，存在显著的多重共线性，选最大的方差膨胀因子的变量为多余变量，这里依次剔除，也就是最终只将，纳入回归方程，得最终有关结果表如下所示。表6Model SummarybModelRR SquareAdjusted R SquareStd. Error of the EstimateChange StatisticsDurbin-WatsonR Square ChangeF Changedf1df2Sig. F Change1.997a.994.99379.789.994720.821312.0001.908a. Predictors: (Constant), x5, x3, x4b. Dependent Variable: y上表显示模型调整后的模拟效果较好，且不存在自相关。表7ANOVAbModelSum of SquaresdfMean SquareFSig.1Regression1.377E734588991.884720.821.000aResidual76396.099126366.342Total1.384E715a. Predictors: (Constant), x5, x3, x4b. Dependent Variable: y上表显示回归模型是极显著的。表8CoefficientsaModelUnstandardized CoefficientsStandardized CoefficientstSig.CorrelationsCollinearity StatisticsBStd. ErrorBetaZero-orderPartialPartToleranceVIF1(Constant)592.121257.8082.297.040x3-.010.003-.119-3.933.002.227-.750-.084.5041.985x426.4342.249.65011.752.000.987.959.252.1506.651x5.317.048.4116.568.000.924.885.141.1178.518a. Dependent Variable: y上表显示消除多重共线性后，估计方程的常数项和各变量系数对应的p值都小于0.05，因此均具有统计显著性，而且，的VIF均小于10，可认为不存在显著的多重共线性。表9Residuals StatisticsaMinimumMaximumMeanStd. DeviationNPredicted Value198.153356.631159.13958.01816Residual-154.214127.381.00071.36616Std. Predicted Value-1.0032.294.0001.00016Std. Residual-1.9331.596.000.89416a. Dependent Variable: y图10表9和图10表明