《SPSS数据分析教程》中的回归分析解释

1、SPSS数据分析教程 回归分析 SPSS数据分析教程中的回归分 析解释 本章学习目标 掌握线性回归分析的基本概念 掌握线性回归的前提条件并能进行验证 掌握线性回归分析结果的解释 掌握多重共线性的判别和处理 能用线性回归模型进行预测 SPSS数据分析教程中的回归分 析解释 回归分析的基本概念 SPSS数据分析教程中的回归分 析解释 什么是回归分析 回归分析是研究变量之间相关关系的一种统计方法 如果两个变量之间的Pearson相关系数绝对值较大， 从散点图看出变量间线性关系显著，那么下一步就是 应用回归分析的方法来找出变量之间的线性关系。 例如，房屋的价格和房屋的面积，地理位置，房龄和 房间的个数

2、都有关系。又比如，香烟的销量和许多地 理和社会经济因素有关，像消费者的年龄，教育，收 入，香烟的价格等。 SPSS数据分析教程中的回归分 析解释 回归方程 回归关系一般用下列方程表示 Y=f(X1,X2,Xp)+ () Y被称作因变量，或者响应变量；而X1,X2,Xp 称作自变量、控制变量、解释变量或者预测变 量；而f(.)则称为回归函数， 为随机误差或随 机干扰，它是一个分布与自变量无关的随机变 量，我们常假定它是均值为0的正态变量。 SPSS数据分析教程中的回归分 析解释 回归分析的分类 根据回归函数的形式，回归分析可以分为 线性回归和非线性回归： 线性回归： Y= 0 +1 X1+2 X

3、2 + +p Xp + (y) 非线性回归 如果预测变量和响应变量之间有上页()所 示的关系，但是不能表示为(y)所示的线性 方程的形式，我们称该回归关系为非线性 回归。 SPSS数据分析教程中的回归分 析解释 回归术语 对于有一个响应变量的线性回归，当p=1时， 我们称为简单线性回归(Simple Linear Regression，或称为一元线性回归)，当 p2 时我们称为多元线性回归(Multiple Linear Regression)。 SPSS数据分析教程中的回归分 析解释 回归和相关分析 回归分析是在相关分析的基础上，确定了 变量之间的相互影响关系之后，准确的确 定出这种关系的数

4、量方法。因此，一般情 况下，相关分析要先于回归分析进行，确 定出变量间的关系是线性还是非线性，然 后应用相关的回归分析方法。在应用回归 分析之前，散点图分析是常用的探索变量 之间相关性的方法。 SPSS数据分析教程中的回归分 析解释 应用回归分析的步骤 步骤1：写出研究的问题和分析目标 步骤2：选择潜在相关的变量 步骤3：收集数据 步骤4：选择合适的拟合模型 步骤5：模型求解 步骤6：模型验证和评价 步骤7：应用模型解决研究问题 SPSS数据分析教程中的回归分 析解释 简单线性回归 简单线性回归的形式为： Y = 0 +1 X + 其中变量X为预测变量，它是可以观测和控制的； Y为因变量或响应

5、变量，它为随机变量； 为随 机误差。 通常假设 N(0,2)，且假设与X无关。 SPSS数据分析教程中的回归分 析解释 回归模型的主要问题 进行一元线性回归主要讨论如下问题： (1) 利用样本数据对参数0, 1和2，和进行点 估计，得到经验回归方程 (2) 检验模型的拟合程度，验证Y与X之间的线性 相关的确存在，而不是由于抽样的随机性导致 的。 (3) 利用求得的经验回归方程，通过X对Y进行预 测或控制。 SPSS数据分析教程中的回归分 析解释 简单回归方程的求解 我们希望根据观测值估计出简单回归方程 中的待定系数0和1，它们使得回归方程 对应的响应变量的误差达到最小，该方法 即为最小二乘法。

6、 也就是求解0和1，使得 达到最小。 把得到的解记为 ,则回归方程为 n i ii xy 1 2 1010 )(),(S XY 10 0 1 SPSS数据分析教程中的回归分 析解释 或者 预测误差为 SPSS在输出回归系数的估计值的同时还会 给出回归系数估计值的标准误差值；SPSS 还可以给出预测值和各种预测误差 ii x 10 y iii yye SPSS数据分析教程中的回归分 析解释 回归方程拟合程度检验 回归方程的检验也就是验证两个变量之间的线性关系 的确在统计上显著。一般进行如下的假设检验 ，它 包括 1）常数项的t检验 H0: 0 = 0 常数项的估计值的标准误差为 检验统计量为：

7、) .(. 0 es ) .(. 0 00 es t SPSS数据分析教程中的回归分 析解释 回归系数显著性检验 2）回归系数的显著性检验 H0: 1 =0 检验统计量为： ) .(. 1 11 es t SPSS数据分析教程中的回归分 析解释 回归的三个平方和 我们把拟合值和真实值的差值的平方和称 为残差平方和，记为SSE；把由于采用拟合 回归直线后预测值较采用响应变量均值提 高的部分的平方和称为回归平方和，记为 SSR；真实值和响应变量均值的平方和称为 总平方和，记为SST。 SPSS数据分析教程中的回归分 析解释 决定系数R2 平方和定义 三者之间的关系为： SST = SSR +SSE

8、 R2 = SSR /SST n i i yySST 1 2 )( n i i yySSR 1 2 )( n i ii yySSE 1 2 )( SPSS数据分析教程中的回归分 析解释 R2的解释 决定系数R2的大小反映了回归方程能够解释 的响应变量总的变差的比例，其值越大， 回归方程的拟合程度越高。 一般情况下，随着预测变量个数的增大， 决定系数的值也变大，因此在多重回归分 析中，需要反映回归方程中预测变量的个 数，即引入了调整的决定系数。 SPSS数据分析教程中的回归分 析解释 回归模型的显著性的F检验 总平方和SST反映因变量Y的波动程度或者 不确定性，在建立了Y对X的回归方程后， 总平

9、方和SST分解成回归平方和SSR与参差 平方和SSE两部分。其中SSR是由回归方程 确定的，SSE是不能由自变量X解释的波动， 是由X之外的未加控制的因素引起的。这样， SST中能够由自变量解释的部分为SSR，不 能由自变量解释的部分为SSE。这样回归平 方和越大，回归的效果越好，据此构造F检 验统计量 残差均方 回归均方 MSE MSR nSSE SSR pnSSE pSSR F )2/( 1/ ) 1/( / SPSS数据分析教程中的回归分 析解释 SPSS在回归输出结果的ANOVA表中给出SSR， SSE，SST和F统计量的取值，同时给出F值 的显著性值（即p值）。 SPSS数据分析教程

10、中的回归分 析解释 用回归方程预测 在一定范围内，对任意给定的预测变量取 值，可以利用求得的拟合回归方程进行预 测。其预测值为： SPSS可以提供标准化的预测值和调整的预 测值 0100 x SPSS数据分析教程中的回归分 析解释 简单线性回归举例 一家计算机服务公司需要了解其用电话进 行客户服务修复的计算机零部件的个数和 其电话用的时间的关系。经过相关分析， 认为二者之间有显著的线性关系。下面我 们用线性回归找到这两个变量之间的数量 关系。 SPSS数据分析教程中的回归分 析解释 SPSS回归分析 在SPSS中打开数据文件 ComputerRepair.sav，变量Units记录了修 复的零

11、部件的个数；变量Minuts记录了服 务所占用的电话时间。 选择【分析】【回归】【线性】。把 Units选入到自变量框中；把Minuts选入到 因变量框中。其他选项保留默认值。 SPSS数据分析教程中的回归分 析解释 SPSS回归分析 SPSS数据分析教程中的回归分 析解释 回归分析的结果及其解释 SPSS数据分析教程中的回归分 析解释 拟合优度检验 SPSS数据分析教程中的回归分 析解释 多元线性回归 实际应用中，很多情况要用到多个预测变 量才能更好地描述变量间的关系，如果这 些预测变量在预测方程中的系数为线性， 那么回归方程称为多元线性回归方程。就 方法的实质来说，处理多个预测变量的方 法

12、与处理一个预测变量的方法基本相同。 SPSS数据分析教程中的回归分 析解释 多元线性回归的模型 多元线性回归的模型为： Y = 0 +1 X1 + 2 X2 + +p Xp + 回归系数的估计和简单线性回归一样，仍 然应用最小二乘法 SPSS数据分析教程中的回归分 析解释 回归方程的显著性检验 与一元的情形一样，上面的讨论是在响应 变量Y与预测变量X之间呈现线性相关的前 提下进行的，所求的经验方程是否有显著 意义，还需对X与Y间是否存在线性相关关 系作显著性假设检验，与一元类似，回归 方程是否有显著意义，需要对回归参数 0,1,p进行检验。 SPSS数据分析教程中的回归分 析解释 检验每个回归

13、系数是否显著 H0:i =0, i=0,1,2, p 这里和一元线性回归的检验一样，检验统 计量为t统计量。 检验所有回归系数都不显著,即 H0:0 =1=p 这里的检验统计量为 MSE MSR pnSSE pSSR F ) 1/( / SPSS数据分析教程中的回归分 析解释 F检验的 被拒绝，并不能说明所有的自变 量都对因变量Y有显著影响，我们希望从回 归方程中剔除那些统计上不显著的自变量， 重新建立更为简单的线性回归方程，这就 需要对每个回归系数做显著性检验。 即使所有的回归系数单独检验统计上都不 显著，而F检验有可能显著，这时我们不能 够说模型不显著。这时候，尤其需要仔细 对数据进行分析

14、，可能分析的数据有问题， 譬如共线性等。 0 H SPSS数据分析教程中的回归分 析解释 调整的R2 随着自变量个数的增多，不管增加的自变 量是否和因变量的关系密切与否，R方都会 增大；调整的R方是根据回归方程中的参数 的个数进行调整的R方，它对参数的增多进 行惩罚，调整R方它没有直观的解释意义， 它的定义为 )1 ( 1 1 1 ) 1/(SST ) 1/( -1 2 2 R pn n n pnSSE R 调整 SPSS数据分析教程中的回归分 析解释 应用举例 数据文件performance.sav记录了一项企业 心理学研究的数据。它调查了一个大型金 融机构的雇员，记录了他们和主管的交互 情

15、况的评价和对主管的总的满意情况。我 们希望该调查来了解主管的某些特征和对 他们的总的满意情况的相互关系。 SPSS数据分析教程中的回归分 析解释 打开数据文件performance.sav，选择【分 析】【回归】【线性】，如图8-3所示。 把变量Y选入到因变量框中，把变量X1到X6 选入到自变量框中，其他选项保留默认值。 单击【确定】。 SPSS数据分析教程中的回归分 析解释 SPSS数据分析教程中的回归分 析解释 结果及其解释 SPSS数据分析教程中的回归分 析解释 “t”列记录了各回归系数t检验的t统计量， 而Sig.列记录了相应的显著性值。这里， 只有X1和X3的显著性值小于0.1，注意到回 归方程的常数项也不显著。然而，大部分 情况下不显著的预测变量都要从回归方程 中移除，而回归常数代表了响应变量的基 本水平，不管显著与否，大部分情况都保 留在回归方程中。因此，我们可以仅仅考 虑Y和X1、X3之间的关系而忽略其他预测变 量。 SPSS数据分析教程中的回归分 析解释 简约回归模型 SPSS数据分析教程中的回归分 析解释 动手练习 数据文件world95.sav记录了1995年统计的各个国家