第九章spss的线性回归分析

第九章SPSS回归分析本章内容9.1 回归分析概述9.2 线性回归分析9.3 回归方程的统计检验9.4 多元回归分析中的其他问题9.5 线性回归分析的基本操作9.6 线性回归分析的应用举例9.7 曲线估计9.1 回归分析概述1.线性回归分析的内容（ 1）能否找到一个 线性组合 来说明一组自变量和因变量的关系（ 2）如果能的话，这种关系的 强度 有多大，也就是利用自变量的线性组合来预测因变量的能力有多强（ 3） 整体 解释能力是否具有统计上的 显著 性意义（ 4）在整体解释能力显著的情况下， 哪些自变量 有显著意义2.回归分析的一般步骤（ 1）确定回归方程中的解释变量（自变量）和被解释变量（因变量）（ 2）确定回归模型 -选用合适的数学模型概括回归线（ 3）确定回归方程 -根据样本数据及确定的回归模型，在一定的统计拟合准则下估计模型的参数，得到确定的回归方程。（ 4）对回归方程进行各种检验 -基于样本得到的回归方程是否真实地反映了总体间的统计关系？回归方程能否用于预测？（ 5）利用回归方程进行预测9.2.1线性回归模型1.一元线性回归模型的数学模型其中： x为自变量；y为因变量；为截距，即常量；为回归系数，表明自变量对因变量的影响程度9.2 线 性 回 归 分 析X的变化引起的 y的线性变化部分：其他随机因素引起的 y的变化部分：用 最小二乘法 求解方程中的两个参数，得到：多元线性回归模型2.多元线性回归方程：（ 1） 1、 2、 p为偏回归系数。（ 2） 1表示在其他自变量保持不变的情况下，自变量 x1变动一个单位所引起的因变量 y的 平均变动9.3.1回归方程的拟合优度检验回归直线与各观测点的 接近程度 称为回归方程的拟合优度，也就是 样本观测值聚集在回归线周围的 紧密程度 。1.离差平方和的分解建立直线回归方程可知： y的观测值的总变动可由 来反映，称为总变差。引起总变差的原因有两个：（ 1)由于 x的取值不同，使得与 x有线性关系的 y值不同；（ 2）随机因素的影响。9.3 线性回归方程的统计检验xy总离差平方和可分解为（ 1）总平方和（ SST)=剩余平方和 (SSE) +回归平方和（ SSR)（ 2） SST:反映因变量的 n 个观察值与其均值的总离差。（ 3） SSR：由 x和 y的直线回归关系引起的，可以由回归直线做出 解释；（ 4） SSE：除了 x对 y的线性影响之外的随机因素所引起的 Y的变动，是回归直线所不能解释的。2.可决系数（判定系数、决定系数）（ 1） 可决系数：回归平方和在总平方和中所占的比例（ 2）用来衡量 X与 Y 的关系密切程度以及回归直线的代表性好坏。（ 3）对于一元线性回归方程：（ 4）对于多元线性回归方程多元线性回归分析中，引起判定系数增加的原因有两个： 方程中的 解释变量个数增多 方程中引入了对被解释变量 有重要影响 的解释变量 如果某个自变量引入方程后对因变量的线性解释有重要贡献，那么必然会使误差平方和显著减小，并使平均的误差平方和也显著减小，从而使调整的判定系数提高 如果某个自变量对因变量的线性解释不明显，那么将其引入只会使 SSE减少，但不会使平均的 SSE减少，因此， 多元线性回归分析中，调整的判定系数比判定系数更能准确的反映回归方程的拟合优度（ 1）回归方程的显著性检验是要检验 被解释 变量与 所有的 解释变量之间的 线性 关系是否 显著 。（ 2） 对于一元线性回归方程，检验统计量为： 平均的 SSA/平均的 SSE，反映了回归方程所 能 解释的变差与 不能 解释的变差的比例。 SPSS自动计算 F统计量值和 p值，根据 p值与显著性水平的大小进行判断。9.3.2 回归方程的显著性检验（方差分析 F检验）（ 3）对于多元线性回归方程，检验统计量为 也即： 回归方程的拟合优度越高 回归方程的显著性检验也会越显著 回归方程的显著性检验越显著 回归方程的拟合优度越高 回归方程的拟合优度检验仅是一种 刻画性描述 ，不涉及假设检验中：提出原假设、选择检验统计量、计算检验统计量的值、决策等内容，而回归方程的显著性检验均涉及这些内容。9.3.3回归系数的显著性检验（ t检验）（ 1）回归系数的显著性检验是要检验回归方程中 被解释变量 与 每一个 解释变量之间的 线性 关系是否 显著 。（ 2）对于一元线性回归方程，检验统计量为： 为回归方程的标准误差，是 SSE的均方根，反映了回归方程无法解释 y 变动的程度。 SPSS自动计算 t值和 p值，根据 p值进行决策。 一元线性回归中，回归方程显著性检验和回归系数显著性检验的作用相同，可相互替代，且回归方程显著性检验的 F统计量等于回归系数显著性检验t统计量的平方（ 3）对于多元线性回归方程，检验统计量为： SPSS自动计算 统计量的值和相应的 p值，可根据 p值进行决策 多元线性回归中，回归方程显著性检验和回归系数显著性检验的作用不相同：（ a）回归方程显著性检验 检验 所有 偏回归系数是否同时为零。即使偏回归系数不同时为零，并不能保证方程中不存在解释力较差的自变量。（ b）回归系数显著性检验对 每个 偏回归系数是否为零逐一进行检验（ c）两种检验不能相互替代。（ 1）残差是指由回归方程计算得到的 预测值 与 实际样本值 之间的差距，定义为：（ 2）对于线性回归分析来讲，如果方程能够较好的反映被解释变量的特征和规律性，那么残差序列中应 不包含 明显的 规律性 和 趋势性 。（ 3）残差分析包括以下内容： 残差是否服从均值为零的正态分布； 残差是否为等方差的正态分布； 残差序列是否独立； 借助残差探测样本中的异常值。9.3.4 残差分析9.3.4.1残差均值为零的正态性检验（ 1）通过绘制残差图进行分析（ 2）残差图是一种散点图：横轴为解释变量，纵轴为残差。（ 3）如果残差均值为零，残差图的点应该在纵坐标为 0的中心带状区域中 随机散落 ，（ P290图 9-1）9.3.4.2残差独立性检验1.残差序列独立性指：残差序列 前期 和 后期 数值之间 不 存在 相关关系 ，即：2.方法（ 1） 绘制残差序列散点图：时间为横轴，残差为纵轴，若残差随时间推移呈有规律变化，则存在相关性。（ 2） 计算残差的自相关系数：（ 3） DW检验 DW检验用来检验残差的自相关。检验统计量为： DW=2，表示无自相关， DW=4，表示完全负自相关 DW=0，表示完全正自相关 DW在 0-2之间说明存在正自相关， DW在 2-4之间说明存在负的自相关。 一般情况下， DW值在 1.5-2.5之间即可说明无自相关现象（ 4）残差序列存在自相关可能表明： 回归方程没有充分说明被解释变量的变化规律，遗漏了一些重要的解释变量 变量存在取值滞后性 回归模型选择不合适9.3.4.3异方差分析1.残差分析的方差不随解释变量或被解释变量取值的变化而变化，否则，存在异方差。2.异方差的后果（ 1）参数的最小二乘估计 不再是 最小方差、无偏、有效 估计（ 2）导致回归系数显著性检验的 t值偏高 ，进而容易拒绝原假设，使无用变量保留下来， 增大 模型的预测 偏差 。3.异方差的检验（ 1）绘制散点图横轴解释变量，纵轴残差，若残差随解释变量的增加呈增加（减少）趋势，则存在异方差。（ 2）等级相关分析 对残差序列取绝对值 计算残差和解释变量的秩 计算Spearman等级相关系数。 若等级相关分析检验统计量的 p值 给定的显著性水平，则拒绝原假设，解释变量与残差存在相关关系，出现了异方差。4.异方差的处理（ 1）对解释变量实施 方差稳定变换 ，再进行回归方程参数的估计。 残差与预测值的平方根成比例变化 对解释变量作开方处理 残差与预测值成比例变化 对解释变量取对数 残差与预测值的平方成比例变化 对解释变量求倒数（ 2）利用 加权最小二乘法 估计回归方程参数9.3.4.4.探测样本中的异常值1. 异常值：远离均值的样本数据点，对回归方程参数估计有较大影响。2.被解释变量中异常值的探测方法（ 1） 标准化残差对残差进行标准化，根据 准则， 的绝对值大于 3的为异常值（ 2） 学生化残差计算学生化残差， 绝对值大于 3对应的观察值为异常值。（ 3） 剔除残差 计算第 i个样本残差时，用剔除该样本后剩余的（ n-1）个样本拟合方程，并计算第 i个样本的预测值和相应的残差，此残差称为剔除残差。 剔除学生化残差的绝对值大于 3对应的观察值为异常值。3.解释变量中异常值的探测方法（ 1） 杠杆值（ 2） 库克距离（ 3） 标准化回归系数的变化和标准化预测值的变化 在剔除第 i个样本后，观察标准化回归系数的前后变化，如果标准化回归系数变化的绝对值大于 ，则可认为第 i个样本可能是异常值。 观察预测值的前后变化，如果标准化预测值变化的绝对值大于 ，则可认为第 i个样本可能是异常值。9.4 多元回归中的其他问题9.4.1解释变量的筛选问题1.引入 多少个 解释变量 ？ 太少 不能很好解释因变