SPSS初中级培训——简单回归分析

1、常量 在实际问题中，由于所要研究的现象的在实际问题中，由于所要研究的现象的总体单位数一般是很多的，在许多场合总体单位数一般是很多的，在许多场合甚至是无限的，因此无法掌握因变量甚至是无限的，因此无法掌握因变量y总总体的全部取值。也就是说，总体回归方体的全部取值。也就是说，总体回归方程事实上是未知的，需要利用样本的信程事实上是未知的，需要利用样本的信息对其进行估计。显然，样本回归方程息对其进行估计。显然，样本回归方程的函数形式应与总体回归方程的函数形的函数形式应与总体回归方程的函数形式一致。式一致。 通过样本数据建立一个回归方程后，不通过样本数据建立一个回归方程后，不能立即就用于对某个实际问题的预

2、测。能立即就用于对某个实际问题的预测。因为，应用最小二乘法求得的样本回归因为，应用最小二乘法求得的样本回归直线作为对总体回归直线的近似，这种直线作为对总体回归直线的近似，这种近似是否合理，必须对其作各种统计检近似是否合理，必须对其作各种统计检验。一般经常作以下的统计检验。验。一般经常作以下的统计检验。 （1）拟合优度检验）拟合优度检验 回归方程的拟合优度检验就是要检回归方程的拟合优度检验就是要检验样本数据聚集在样本回归直线周围的验样本数据聚集在样本回归直线周围的密集程度，从而判断回归方程对样本数密集程度，从而判断回归方程对样本数据的代表程度。据的代表程度。 回归方程的拟合优度检验一般用判定系回

3、归方程的拟合优度检验一般用判定系数数R2实现。该指标是建立在对总离差平实现。该指标是建立在对总离差平方和进行分解的基础之上。方和进行分解的基础之上。 （2）回归方程的显著性检验（）回归方程的显著性检验（F检验）检验） 回归方程的显著性检验是对因变量回归方程的显著性检验是对因变量与所有自变量之间的线性关系是否显著与所有自变量之间的线性关系是否显著的一种假设检验。的一种假设检验。 回归方程的显著性检验一般采用回归方程的显著性检验一般采用F检验，检验，利用方差分析的方法进行。利用方差分析的方法进行。 （3）回归系数的显著性检验（）回归系数的显著性检验（t检验）检验） 所谓回归系数的显著性检验，就是根

4、据样本估计所谓回归系数的显著性检验，就是根据样本估计的结果对总体回归系数的有关假设进行检验。的结果对总体回归系数的有关假设进行检验。 之所以对回归系数进行显著性检验，是因为回归之所以对回归系数进行显著性检验，是因为回归方程的显著性检验只能检验所有回归系数是否同时与方程的显著性检验只能检验所有回归系数是否同时与零有显著性差异，它不能保证回归方程中不包含不能零有显著性差异，它不能保证回归方程中不包含不能较好解释说明因变量变化的自变量。因此，可以通过较好解释说明因变量变化的自变量。因此，可以通过回归系数显著性检验对每个回归系数进行考察。回归系数显著性检验对每个回归系数进行考察。 回归参数显著性检验的

5、基本步骤。回归参数显著性检验的基本步骤。 提出假设提出假设 计算回归系数的计算回归系数的t统计量值统计量值 根据给定的显著水平根据给定的显著水平确定临界确定临界值，或者计算值，或者计算t值所对应的值所对应的p值值 作出判断作出判断简单回归的基本适用条件线性回归分析的具体步骤线性回归分析的具体步骤 SPSS软件中进行线性回归分析的选择项为AnalyzeRegressionLinear。如图3.9所示。下面通过例题介绍线性回归分析的操作过程。 Regression 分析功能菜单分析功能菜单 例3. 仍然用例2的数据，考察火柴销售量与各影响因素之间的相关关系，建立火柴销售量对于相关因素煤气户数、卷烟

6、销量、蚊香销量、打火石销量的线性回归模型，通过对模型的分析，找出合适的线性回归方程。 解：建立线性回归模型的具体操作步骤如下： 1、打开数据文件SY-9，单击Analyze Regression Linear打开Linear 对话框如图3.10所示。 2、从左边框中选择因变量Y进入Dependent 框内，选择一个或多个自变量进入Independent框内。从Method 框内下拉式菜单中选择回归分析方法，有强行进入法(Enter)，消去法(Remove)，向前选择法(Forward)，向后剔除法(Backward)及逐步回归法(Stepwise)五种。本例中选择逐步回归法(Stepwise)

7、。 Linear Regression对话框对话框 3、单击Statistics，打开Linear Regression： Statistics对话框，可以选择输出的统计量如图3.11所示。 Regression Coefficients栏，回归系数选项栏。 Estimates (系统默认): 输出回归系数的相关统计量：包括回归系数，回归系数标准误、标准化回归系数、回归系数检验统计量（t值）及相应的检验统计量概率的P值（sig）。本例中只选择此项。 Confidence intervals:输出每一个非标准化回归系数95的置信区间。 Covariance matrix: 输出协方差矩阵。与模型

8、拟合及拟合效果有关的选择项。Model fit是默认项。能够输出复相关系数R、R2及R2修正值，估计值的标准误，方差分析表。R squared change: 引入或剔除一个变量时，R2的变化。Descriptives: 基本统计描述。Part and Partial correlations：相关系数及偏相关系数。Collinearity diagnostics：共线性诊断。主要对于多元回归模型，分析各自变量的之间的共线性的统计量：包括容忍度和方差膨胀因子、特征值，条件指数等。本例中选择上面所有的统计项。 Residuals 残差栏 Durbin-Watson：D.W检验. Casewise

9、 diagnostics: 奇异值诊断,有两个选项： Outliers outside( )standard deviations:奇异值判据，默认项标准差3。 All case 输出所有观测量的残差值。 本例中选择D.W检验及奇异值诊断，选择标准差为2，即置信度约为95%。 Linear Regression： Statistics 4、如果需要观察图形，可单击Plots按纽，打开Linear Regression：Plots对话框如图3.12所示。在此对话框中可以选择所需要的图形。 Linear Regression：Plots对话框对话框 在左上角的源变量框中，选择Dependent 进

10、入X（或Y）轴变量框，选择其它变量进入Y（或X）轴变量框，除因变量外，其客观存在变量依次是：ZPRED:标准化预测值，ZRESID:标准化残差，DRESID:剔除残差，ADJPRED:修正后预测值，SRESID学生化残差，SDRESID:学生化剔除残差。 Standardized Residual Plots栏，标准化残差图类型，有选择项： Histogram: 标准化残差直方图 Normal probability plot 标准化残差序列的正态分布概率图. Produce all partial plots 依次绘制因变量和所有自变量的散布图 本例中选择因变量Dependent与标准化残差

11、ZRESID的残差图。 5、单击Options按纽，打开Linear Regression：Options对话框，如图3.13所示。可以从中选择模型拟合判断准则Stepping Method Criteria 及缺失值的处理方式。Linear Regression：Options对话框对话框 Stepping Method Criteria 栏，设置变量引入或剔除模型的判别标准。 Use probability of F:采用F检验的概率为判别依据。 Use F value: 采用F值作为检验标准。 Include constant in equation 回归方程中包括常数项。 Missin

12、g Values 缺失值的处理方式。本例中选择系统默认项。 6、如果要保存预测值等数据，可单击Save按纽打开Linear Regression：Save对话框。选择需要保存的数据种类作为新变量存在数据编辑窗口。其中有预测值、残差，预测区间等。本例中不做选择。 7、当所有选择完成后，单击OK得到分析结果。主要的分析结果见表3.4。 Model Summary(d) 模型综合分析表模型综合分析表ModelRR SquareAdjusted R SquareStd. Error of the EstimateChange Statistics变动分析Durbin-Watson R Square C

13、hangeF Changedf1df2Sig. F Change 1.879(a).772.7552.44047.77244.085113.0002.994(b).988.986.58304.216215.772112.0003.997(c).994.993.41783.00612.365111.0052.066a Predictors: (Constant), 卷烟销量（万箱）b Predictors: (Constant), 卷烟销量（万箱）, 打火石销量（百万粒）c Predictors: (Constant), 卷烟销量（万箱）, 打火石销量（百万粒）, 煤气户数（万户）d Depen

14、dent Variable: 火柴销量（万件） 表3.4（a）模型综合分析中有模型的复相关系数R，样本决定系数R2，修正的可决系数，估计标准误，模型变化导致的可决系数及F值的变化，D.W检验值等。由上表中知模型3的修正的可决系数为0.993，其模型的拟合程度最好， DW值为2.066，显然通过DW检验，说明残差项不存在一阶自相关。 ANOVAd262.5661262.56644.085.000a77.427135.956339.99314335.9142167.957494.090.000b4.07912.340339.99314338.0733112.691645.483.000c1.920

15、11.175339.99314RegressionResidualTotalRegressionResidualTotalRegressionResidualTotalModel123Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), 万箱a. Predictors: (Constant), 万箱, 百万粒b. Predictors: (Constant), 万箱, 百万粒, 万户c. Dependent Variable: 万件d. 方差分析表3.4（b）同时给出了3个模型的方差分析表。其中模型3的F值最大，说明模型3的回归效果最显著

16、。回归系数回归系数Model 非标准化回归系数Unstandardized Coefficients标准化回归系数Standardized Coefficients检验统计量tP值Sig.相关系数Correlations共线性统计Collinearity Statistics BStd. ErrorBeta 单相关Zero-order偏相关PartialPart容忍度Tolerance方差膨胀因子VIF1(Constant)13.3921.999 6.698.000 卷烟销量（万箱）.320.048.8796.640.000.879.879.8791.0001.0002(Constant)17

17、.240.545 31.647.000 卷烟销量（万箱）.315.012.86527.347.000.879.992.865.9991.001 打火石销量（百万粒）-.243.017-.465-14.689.000-.490-.973-.464.9991.0013(Constant)17.420.394 44.243.000 卷烟销量（万箱）.254.019.69813.228.000.879.970.300.1855.417 打火石销量（百万粒）-.243.012-.465-20.526.000-.490-.987-.465.9991.001 煤气户数（万户）.049.014.1853.51

18、6.005.826.727.080.1855.415a Dependent Variable: 火柴销量（万件） Model栏中，模型1是先将卷烟销量作为自变量进入模型，模型2将卷烟销量与打火石销量两个自变量进入模型，模型3是将卷烟、打火石和煤气户数三个自变量进入模型。第四个自变量蚊香销量没有通过检验自动剔除。 回归系数表的输出结果可以看出，回归系数都通过检验，模型中自变量与因变量的偏相关系数都在0.7以上，说明进入模型的自变量对因变量的影响都比较显著。由最后两列的容忍度Tolerance和方差膨胀因子VIF的值来看，自变量之间不存在强烈的共线性。 相关系数表相关系数表Correlations

19、 火柴销量（万件）煤气户数（万户）卷烟销量（万箱）蚊香销量（十万盒 ）打火石销量（百万粒）Pearson Correlation火柴销量（万件）1.000.826.879.808-.490 煤气户数（万户）.8261.000.903.949-.023 卷烟销量（万箱）.879.9031.000.903-.029 蚊香销量（十万盒 ）.808.949.9031.000-.007 打火石销量（百万粒）-.490-.023-.029-.0071.000Sig. (1-tailed)火柴销量（万件）.000.000.000.032 煤气户数（万户）.000.000.000.468 卷烟销量（万箱）.0

20、00.000.000.458 蚊香销量（十万盒 ）.000.000.000.490 打火石销量（百万粒）.032.468.458.490.N火柴销量（万件）1515151515 煤气户数（万户）1515151515 卷烟销量（万箱）1515151515 蚊香销量（十万盒 ）1515151515 打火石销量（百万粒）1515151515 相关分析表中表示的相关系数是全部变量（自变量与因变量）的两两变量之间的简单相关系数和相关性检验。Residuals Statisticsa17.927232.153225.98934.9140715-.9332.9950.0000.3703715-1.6411.

21、254.0001.00015-2.2332.381.000.88615Predicted ValueResidualStd. Predicted ValueStd. ResidualMinimumMaximumMeanStd. DeviationNDependent Variable: 万件a. 残差统计残差统计 残差统计表3.4（e）表示了预测值、残差、标准化预测值和标准化残差的特征值。其中包括预测值及残差项的最小值和最大值、均值、标准误和样本容量。 共线性诊断表：共线性诊断表：Collinearity Diagnosticsa1.9491.000.03.03.0516.184.97.972

22、.7421.000.01.01.03.2123.597.03.12.84.0467.735.96.86.133.6641.000.01.00.02.00.2623.742.00.01.74.02.0647.568.84.01.24.07.01118.329.15.98.00.91Dimension121231234Model123EigenvalueConditionIndex(Constant)万箱百万粒万户Variance ProportionsDependent Variable: 万件a. 共线性诊断表中第二列是特征值，第三列是条件指数，最后一列是方差比。最大的条件指数小于20，说明自

23、变量之间不存在比较强烈的共线性。 奇异值表（奇异值表（标准化残差值大于标准化残差值大于2 2）Casewise Diagnosticsa2.38129.6928.6950.9950-2.23331.0531.9832-.9332Case Number1214Std. Residual万件PredictedValueResidualDependent Variable: 万件a. 奇异值表3.4（g）中依次是序号，标准化残差值，实际观测值、预测值及残差值。表中给出的两个个体数据的标准化残差（数据号为12和14）超出了2。 标准化残差图标准化残差图：ScatterplotDependent Variable: 万件万件34323028262422201816Regression Standardized Residual3210-1-2-3 由图中可以看出，残差图中的点分布是随机的，没有出现趋势性，所以回归模型是有效的。最终得回归模型为：421243. 0049. 0254. 042.17xxxy 练习 铝合金化学铣切工艺中，为了便于生产操作，需要对腐蚀速度