第八章SPSS线性回归ppt课件.ppt

第八章SPSS线性回归分析 第一节回归分析概述 一 回归分析 一 何为回归分析 回归分析侧重于考察变量之间的数量变化规律 并通过回归方程的形式描述和反映这种关系 进而为预测提供科学依据 二 回归分析和相关分析比较 相关分析和回归分析都是研究变量间的关系 而且都是用来分析定距变量间的关系 但它们研究的侧重点不同 1 在回归分析中有明确的因果关系假设 变量y称为因变量 处于被解释的特殊地位 而在相关分析中 变量y与变量X处于平等的地位 2 相关分析是测定变量之间的关系密切程度 所使用的工具是相关系数 而回归分析则侧重于考察一个或者几个变量的变化对另一个特定变量的影响程度 因而可以进行预测 二 回归分析的一般步骤 1 确定回归方程中的解释变量和被解释变量2 确定回归模型3 建立回归方程4 对回归方程进行各种检验5 利用回归方程进行预测 三 参数估计的准则 线性回归的统计原理 两个定距变量的回归是用函数y f x 来分析的 我们最常用的是一元回归方程 其中x为自变量 y为因变量 a为截距 即常量 b为回归系数 表明自变量对因变量的影响程度 Y 350 20 x 在统计学中 这一方程中的系数是靠x与y变量的大量数据拟合出来的 X Y Y a bx x y 由图中可以看出 回归直线应该是到所有数据点最短距离的直线 该直线的求得使用 最小二乘方法 使 在拟合的回归直线方程中 回归系数 表示x每变化一个单位时 y变化的程度 比如通过上学年数和工资的关系计算得出下列的回归公式 y 472 14 8x可知上学年数每增长1年 工资会增加14 8元 也可推测 上学年数为15年的人 工资收入应为472 14 8 15 694元 三 线性回归的适用条件 1 线性趋势 即自变量与因变量的关系是线性的 2 独立性 因变量Y的取值相互独立 反映在方程中即残差独立 3 正态性 即自变量的任何一个线性组合 Y应该服从正态分布 反映在方程中即残差Ei服从正态分布 4 方差齐性 自变量的任何一个线性组合 Y的方差相同 第二节一元线性回归分析 一 一元线性回归分析的含义是在排除其他影响因素或假定其他影响因素确定的条件下 分析某一个因素是如何影响另一事物的过程 所进行的分析是比较理想化的 一元线性回归方程为 二 一元线性回归分析的步骤 1 利用样本数据建立回归方程2 回归方程的拟合优度检验3 回归方程的显著性检验4 回归系数的显著性检验5 预测 三 一元线性回归分析的检验 一 拟合优度检验1 目的 检验样本数据聚集在样本回归直线周围的密集程度 从而判断回归方程对样本数据的代表程度 2 统计量 一般用判定系数 或决定系数 来实现 的取值在0 1之间 越接近于1 说明回归方程对样本数据点的拟合程度越高 越接近于0 说明回归方程对样本数据点的拟合程度越低 二 回归方程的显著性检验 1 目的 回归方程的显著性检验就是要检验被解释变量与所有解释变量之间的线性关系是否显著 用线性模型来描述它们之间的关系是否恰当 2 一元线性回归方程的显著性检验一元线性回归方程显著性检验的原假设是 即回归系数与零无显著差异 意味着x无法解释y的线性变化 它们之间不存在线性关系 检验的统计量是 F统计量 SPSS将自动计算F统计量的观测值和对应的概率 三 回归系数的显著性检验 1 目的 研究回归方程中的每个解释变量和被解释变量之间是否存在显著的线性关系 它们能否保留在线性回归方程中 2 一元线性回归方程回归系数的显著性检验原假设是 即回归系数与零无显著差异 它意味着 x无法解释y的线性变化 它们之间不存在线性关系 检验统计量 t统计量 SPSS将自动计算t统计量的观测值和对应的概率 第三节多元线性回归分析 一 多元线性回归分析的涵义研究在线性相关条件下 两个或两个以上自变量对一个因变量的数量变化关系 称为多元线性回归分析 多元线性回归方程为 四 多元线性回归方程的检验 一 拟合优度检验多元线性回归方程的拟合优度检验采用 该统计量称为调整的判定系数或调整的决定系数 二 回归方程的显著性检验原假设为 即各个偏回归系数同时与零无显著差异 意味着所有x无法解释y的线性变化 y与x的全体不存在线性关系 检验采用F统计量 SPSS将自动计算F统计量的观测值和对应的概率 三 回归系数的显著性检验 原假设是 即第i个偏回归系数与零无显著差异 意味着当偏回归系数为零时 无论取值如何变化都不会引起y的线性变化 检验统计量 SPSS将自动计算统计量的观测值和对应的概率 线性回归菜单简介及变量筛选 LinearRegression对话框 多元线性回归分析中解释变量的筛选 1 向前选择法 Forward 2 向后选择法 Backward 向后消元法 3 逐步筛选策略 Stepwise 4 强制进入法 Enter 1 向前选择法 Forward 向前选择法是自变量不断进入回归方程的方法 向前选择法的具体做法是 它从模型中自变量个数为零开始 第一个被纳入模型中的是与因变量有绝对值为最大的相关系数 且符合 纳入标准 的自变量 下一个将被纳入模型中的自变量 应该是在剩余的备选变量中偏相关系数的绝对值为量大 且符合 纳入标准 的自变量 这种叠代过程一直进行下去 直到再也没有备选自变量符合 纳入标准 为止 2 向后选择法 Backward 向后选择法是自变量不断剔出回归方程的方法 向后消元法从模型中包含所有的备选自变量开始 一个备选自变量如果与因变量的偏相关系数是最小的 且其F值小于 剔出标准 则被剔出模型 下一个被剔出模型的自变量是在剩余的自变量中偏相关系数最小 且其F值小于 剔出标准 的备选自变量 这种叠代过程一直进行下去 直到再也没有备选自变量符合 剔出标准 为止 3 逐步筛选策略 Stepwise 逐步筛选策略是向前法和向后法的结合 逐步回归法的基本思路是 如果一个备选的自变量所对应的F统计量的值大于我们预先指定的 纳入标准 则这个自变量将被纳入模型 如果所对应的F统计量的值小于我们事先指定的 剔出标准 则这个自变量将被剔出模型 从模型中有零个自变量开始 逐步按 纳入标准 和 剔出标准 进行这种取舍 直到按 纳入标准 和 剔出标准 没有备选自变量可以被纳入或剔出模型为止 变量筛选方法的选择应注意 1 变量选择不仅仅是数学问题 不能脱离研究的目的进行 2 最好多做尝试 对不同方法所得结果的差异认真思考 五 多元回归分析中的多重共线性检测 检测并确认 1 容忍度越接近于0表示多重共线性越强 2 方差膨胀因子大于等于10 3 某特征根既能刻画某解释变量方差的大部分 70 以上 又能刻画另一个解释变量方差的较大部分比例 则表明这两个解释变量间存在较强的线性相关关系 4 条件指数大于10 第四节线性回归分析的基本操作 一 命令及基本窗口介绍例题 课本309 为研究高等院校人文社会科学研究中立项课题数受到哪些因素的影响 收集到31个省市自治区部分高校有关社科研究方面的数据 请利用线性回归方法进行分析 被解释变量是X5 课题数 解释变量是X2 X3 X4 X6 X7 X8 1 调用命令Analyze Regression Linear 出现如下图的对话框 当存在异方差时候 按此扭采用加权最小二乘法代替普通最小二乘法估计回归系数 并指定一个权重变量 可设置不止一组的解释变量和变量筛选策略 并放置在不同的块中 选择条件变量 并按rule键给定判断条件 设定样本数据点的标志变量 以输出在回归分析的图形中 2 单击Statistics按钮 出现如下的窗口 输出与回归系数相关统计量输出回归系数95 的置信区间输出各自变量间的相关系数矩阵和各变量的协方差矩阵 模型拟合 输出判定系数 调整的判定系数 回归方程的标准误和F检验等每个解释变量进入或剔除后r方 F值的变化量自变量和因变量的各描述统计量变量间的简单相关系数和偏相关系数多重共线性诊断 输出D W检验量设置奇异值的判据 默认为3倍的标准化残差 3 单击Plots按钮 出现如下的窗口 X轴或Y轴中有一个是因变量标准化的预测值标准化的残差删除的残差修正后的预测值 用户的残差用户的删除的残差 输出带有正态曲线的标准化残差的直方图 输出标准化残差的正态概率图 对每一个自变量 会产生一个自变量与因变量残差的散点图 主要用于回归诊断 3 单击主对话框中的Save按钮 弹出如图所示对话框 保存回归系数的结果到指定的文件中将模型的有关信息输出到一个XML文件中 产生的变量将反映 因排除一个特定的观测值所引起的回归系数的变化量产生的变量将反映 因排除一个特定观测值所引起的预测值的变化生成一个协方差比矩阵 剔除一个可能是影响点的观测量后的协方差矩阵与全部观测量的协方差矩阵比 4 单击主对话框中的Options按钮 打开对话框 单击continue ok按钮即可得到SPSS回归分析的结果 如一个变量的F统计量的p值是小于Entry值的 这个变量就进入模型 如一个变量的F统计量的p值是大于Removal值的 这个变量就从模型中删除 Entry值必须小于Removal值且都为正 如想模型中有更多的变量就提高Entry值 如想模型中减少变量就减少Removal值 用F统计量的值 同上 选择此项表示显示回归方程中常数项 删除所有带缺失值的样本数据如果计算涉及到带缺失值的变量 则暂时删除那些在该变量上是缺失值的个案将所有变量的缺失值都以相应变量的均值代替 二 结果分析1 采用Enter强制法进行多元线性回归分析的结果 该表对回归方程进行拟合优度检验 各列的含义分别为 被解释变量和解释变量的复相关系数 判定系数R方 调整的判定系数 回归方程的估计标准误差 由于是多元回归 应考察调整的判定系数0 924 认为拟合优度较高 回归方程的显著性检验 各列的含义为 别解释变量的方差来源 离差平方和 自由度 均方 回归方程显著性检验中F统计量的值和相伴概率 由于相伴概率值近似等于0 可以认为各回归系数不同时为0 被解释变量和解释变量全体的线性关系是显著的 可建立线性模型 回归系数的显著性检验和检验多重共线性 各列数据的含义为 偏回归系数 偏回归系数的标准误差 标准化偏回归系数 回归系数显著性检验中t检验统计量的观测值 相伴概率值 解释变量的容忍度和方差膨胀因子 由表知 除 投入人年数 外 其他变量回归系数显著性检验的概率值都大于0 05 因此认为这些偏回归系数与零无显著差异 它们与被解释变量的线性关系不显著 不应保留在模型中 多重共线性检测 各列的含义为 特征根 条件指数 各特征根解释解释各解释变量的方差比 各列比例之和为1 从方差比看 第7个特征根既能解释投入人年数方差的84 也可解释投入高级职称的人年数方差的98 同时还可解释专著数方差的44 因此有理由认为这些变量间存在多重共线性 从条件指数看 第5 6 7个条件指数都大于10 说明变量间确实存在多重共线性 2 向后筛选策略分析结果 经过6步分析完成方程的建立 最终模型为第6个模型 最终保留的变量是投入人年数 第6个模型是最终的方程 由于回归系数的显著性检验的概率值小于显著性水平0 05 因此被解释变量与解释变量之间的线性关系显著 建立线性模型是恰当的 每个模型中各解释变量的偏回归系数及其显著性检验的情况 前五个模型中由于都存在回归系数不显著的解释变量 因此这些方程都不可用 第六个模型是最终的模型 最终的方程为y 94 524 0 492 投入人年数 上表显示了变量剔除方程的过程 各数据项的含义为 在剔除其他变量的情况下 如果该变量保留在模型中 其标准化回归系数