spss5.7回归分析.ppt

5 7回归分析 1 5 7 1线性回归模型 总体回归模型 j也被称为偏回归系数 partialregressioncoefficients 表示在其他解释变量保持不变的情况下 Xj每变化1个单位时 Y的均值E Y 的变化 样本回归函数 2 参数估计最小二乘法模型统计推断检验拟合优度检验方程显著性检验 F检验 变量显著性检验 t检验 3 1 拟合优度检验回归方程的拟合优度检验就是要检验样本数据聚集在样本回归直线周围的密集程度 从而判断回归方程对样本数据的代表程度 回归方程的拟合优度检验一般用调整判定系数R2实现 该统计量的值越接近于1越好 注 在一元线性回归中拟合优度的检验可用判定系数R2实现 4 2 回归方程的显著性检验 F检验 回归方程的显著性检验是对因变量与所有自变量之间的线性关系是否显著的一种假设检验 回归方程的显著性检验一般采用F检验 利用方差分析的方法进行 注意 一元线性回归模型不进行F检验 5 F 6 3 回归系数的显著性检验 t检验 所谓回归系数的显著性检验 就是根据样本估计的结果对总体回归系数的有关假设进行检验 之所以对回归系数进行显著性检验 是因为回归方程的显著性检验只能检验所有回归系数是否同时与零有显著性差异 它不能保证回归方程中不包含不能较好解释说明因变量变化的自变量 因此 可以通过回归系数显著性检验对每个回归系数进行考察 7 回归参数显著性检验的基本步骤 提出假设 计算回归系数的t统计量值 根据给定的显著水平 确定临界值 或者计算t值所对应的p值 作出判断 H0 j 0 j 1 2 k 8 一 一元线性回归y a bx例2 7 1已知我国分地区家庭人均食品支出 人均收入 试作一元线性回归分析 e5 7 1 9 操作步骤 使用系统默认选择项进行线性回归分析分析 回归 线性 确定因变量和自变量 10 输出结果及结果分析 变量引入或剔出表 模型1引入变量income 用输入法 11 模型摘要表相关系数R 0 923 R2 0 852 调整后的R2 0 847 估计值的标准误差为73 83注 在一元线性回归中可用R2来判断模型的拟合度 R2的值越大 模型的拟合优度越好 12 变量显著性检验 t检验 回归系数 t 12 694 p 0 00 拒绝原假设 显著不为0常数项 t 0 781 p 0 441 不能拒绝原假设 常数项与0没有显著差异 注意 在实际中一般不以t检验决定常数项是否保留在模型中 而是从经济意义方面分析回归线是否应该通过原点 13 回归方程 常数项 53 086 回归系数 0 422 则线性回归方程为 14 二 多元回归分析1 从分析 回归 线性 打开线性回归主对话框 15 2 在左侧的源变量栏中选择一数值变量进入因变量栏中 选择一个或更多的变量进入自变量栏中 3 如果要对不同的自变量采用不同的引入方法 可利用 上一页 与 下一页 按钮把自变量归类到不同的自变量块中 然后对不同的变量子集选用不同的引入方法 输入 强迫引入法 默认选择项 定义的全部自变量均引入方程 删除 强迫剔除法 定义的全部自变量均删除 前进 向前引入法 自变量由少到多一个一个引入回归方程 直到不能按检验水准引入新的变量为止 该法的缺点是 当两个变量一起时效果好 单独时效果不好 有可能只引入其中一个变量 或两个变量都不能引入 后退 向后剔除法 自变量由多到少一个一个从回归方程中剔除 直到不能按检验水准剔除为止 能克服向前引入法的缺点 当两个变量一起时效果好 单独时效果不好 该法可将两个变量都引入方程 逐步 逐步引入一剔除法 将向前引入法和向后剔除法结合起来 在向前引入的每一步之后都要考虑从已引入方程的变量中剔除作用不显著者 直到没有一个自变量能引入方程和没有一个自变量能从方程中剔除为止 缺点同向前引入法 但选中的变量比较精悍 16 说明 为弥补各种选择方法和各种标准的局限性 不妨分别用各种方法和多种引入或剔除处理同一问题 若一些变量常被选中 它们就值得重视 4 选择变量 可从源变量栏中选择一个变量 单击规则按钮后 通过该变量大于 小于或等于某一数值 选择进入回归分析的观察单位 5 个案标签 在左侧的源变量框中选择一变量作为标签变量进入个案标签框中 17 6 Statistics 统计 对话框单击 Statistics 按钮 进入统计对话框如图 置信区间 18 估计 默认选择项 回归系数的估计值 B 及其标准误 Std Error 常数 Constant 标准化回归系数 Beta B的t值及其双尾显著性水平 Sig 模型拟合度 默认选择项 列出进入或从模型中剔除的变量 显示下列拟合优度统计量 复相关系数 R 判定系数 R2 调整R2 AdjustedRSquare 估计值的标准误以及方差分析表 置信区间 回归系数B的95 可信区间 95 ConfidenceintervalforB 描述性 变量的均数 标准差 相关系数矩阵及单尾检验 协方差矩阵 R方变化 R2和F值的改变 以及方差分析P值的改变 部分相关和偏相关 显示方程中各自变量与因变量的零阶相关 Zero一order 即Pearson相关 偏相关 Partial 和部分相关 part 进行此项分析要求方程中至少有两个自变量 共线性诊断 显示各变量的容差 Tolerance 方差膨胀因子 VIF VarianceInflationFactor 和共线性的诊断表 19 容差 Tolerance 是不能由方程中其它自变量解释的方差所占的构成比 所有进入方程的变量的容差必须大于默认的容差水平值 该值愈小 说明该自变量与其他自变量的线性关系愈密切 该值的倒数为方差膨胀因子 VarianceInflationFactor VIF 当自变量均为随机变量时 若它们之间高度相关 则称自变量间存在共线性 在多元线性回归时 共线性会使参数估计不稳定 逐步选择变量是解决共线性的方法之一 容差小于0 1或0 2 或VIF大于5或10时可以认为模型存在共线性问题 Durbin Waston 用于随机误差项的分析 以检验回归模型中的误差项的独立性 如果误差项不独立 那么对回归模型的任何估计与假设所做出的结论都是不可靠的 计算DW值给定 由n和k的大小查DW分布表 得临界值dL和dU比较 判断 20 0 D W dL存在正自相关dL D W dU不能确定dU D W 4 dU无自相关4 dU D W 4 dL不能确定4 dL D W 4存在负自相关 说明 当D W 值在2左右时 模型不存在一阶自相关 21 个案诊断 对标准化残差 服从均数 0 标准差 1的正态分布 进行诊断 判断有无奇异值 离群值 outliers 离群值 显示标准化残差超过n个标准差的奇异值 n 3为默认值 所有个案 显示每一例的标准化残差 实测值和预测值 残差 7 绘图对话框单击 绘图 按钮 对话框如下图所示 绘图可帮助分析资料的正态性 线性和方差齐性 还可帮助检测奇异值或异常值 22 23 1 散点图 可选择如下任何两个变量为Y 纵轴变量 与X 横轴变量 作图 为获得更多的图形 可单击 Next 按钮来重复操作过程 DEPENDENT 因变量 ZPRED 标准化预测值 ZRESID 标准化残差 DRESID 删除的残差 ADJPRED 调整残差 SRESID Student氏残差 SDRESID Student氏删除残差 2 标准化残差图直方图 标准化残差的直方图 并给出正态曲线 正态概率图 标准化残差的正态概率图 P P图 3 产生所有部分图 输出每一个自变量的残差相对于因变量残差的散点图 24 8 保存 对话框单击 保存 按钮 对话框如下图所示 每项选择都会增加新变量到正在使用的数据文件中 25 1 预测值 PredictedValues 未标准化 未标准化的预测值 简称预测值 新变量为pre 1 标准化 标准化的预测值 新变量为Zpr 1 S E Ofmeanprediction 预测值的标准误 新变量为Sep l 2 残差 Residuals 未标准化 未标准化残差 新变量为res 1 标准化 标准化残差 新变量为Zre 1 3 预测区间 PredictionIntervals 平均值 是总体中当X为某定值时预测值的均数的可信区间 新变量lmci 1为下限 umci 1为上限 单值 个体Y值的容许区间 即总体中 当X为某定值时 个体Y值的波动范围 新变量lici 1为下限 uici 1为上限 置信区间 默认为95 的可信区间 但用户可以自己设定 26 9 选项对话框单击 选项 按钮 打开选项对话框 如下图 27 1 逐步方法准则 SteppingMethodCriteria 使用F的概率 当候选变量中最大F值的P值小于或等于引入值 默认 0 05 时 引入相应的变量 已进入方程的变量中 最小F值的P值大于或等于剔除值 默认 0 10 时 剔除相应的变量 所设定的引入值必须小于剔除值 用户可设定其它标准 如引入0 10 剔除0 11 放宽变量进入方程的标准 使用F值 含义同上 在等式中包含常量 线性回归方程中含有常数项 2 缺失值的处理方法 MissingValue 按列表排除个案 剔除所有变量中有缺失值的观测量 按对排除个案 仅剔除正在参与运算的一对变量中有缺失值的观测量 使用平均值替换 以平均数代替缺失值 28 11 WLS权重 1 利用加权最小平方法给于观测量不同的权重值 它或许用来补偿采用不同测量方式时所产生的误差 2 将左侧源变量框中的加权变量选入WLSWeight框中 应用举例例2 7 2在例2 7 1中增加一自变量粮食价格price 数据如下图 试作多元线性回归分析 e5 7 2 sav 29 30 操作步骤 1 从菜单 分析 回归 线性 打开线性回归主对话框 2 在左边的源变量栏中选择foodexp作为因变量进入因变量t栏中 选择income price作为自变量进入自变量栏中 在方法栏中选择逐步 逐步引入一剔除法 3 单击 选项 按钮 进入选项对话框 在使用F的概率栏中的输入框内输入0 10 删除框中输入0 11 4 单击 Statistics 按钮 进入Statistics对话框 选择描述性 31 5 单击 保存 按钮 选择保存以下新变量 1 预测值中的未标准化的预测值 新变量为pre l 均值预测值的S E 新变量为sep l 2 残差中的末标准化 新变量为res 1 6 单击 确定 按钮 运行程序 得到结果如下 32 描述统计量表 均值 标准差 观测量的个数 33 相关系数表 相关系数 检验概率 观测量个数 34 变量引入 剔除表 模型1中 引入自变量income模型2中 又引入Price 没有剔除变量 所以有两个自变量 35 模型摘要表模型1中 R 0 923 R2 0 852 调整后的R2 0 847 估计值的标准误为73 83模型2中 R 0 940 R2 0 884 调整后的R2 0 876 估计值的标准误为66 47 36 方差分析表模型2中 F 103 167 P 0 000 说明因变量foodexp与自变量income price之间有线性关系 37 回归分析系数表模型2中回归方程为 foodexp 87 378 0 354income 206 538price经t检验 在0 05检验水平下 回归系数b1 b2有显著性意义 而常数项的P 0 173 无显著性意义 38 模型外的变量模型1中方程外的变量price的t检验概率P 0 011 0 10 所以在模型2中被引入方程 39 残差统计表 40 41 多元线性回归 1 因变量 自变量的确定2 变量引入 剔除方法的选择3 常用选择项 42 4 检验 1 模型拟合检验 调整后的R2 43 4 检验 2 模型线性关系检验 方差分析表 F统计量零假设 回归系数全为0 44 4 检验 3 模型回归系数检验 t检验零假设 相对应的回归系数为0 45 应用举例 全国财政收入的回归分析 46 采用输入法 引入全部变量 47 48 移除GNP后 剩余的自变量采用ENTER法 49 Y 2311 598 0 9X1 1 819X2 0 0458X3 0 03368X4其中 x1 税收 x2 其它收入 X3 从业人数 X4 进出口额为什么从业人数的系数为负 注意 本题变量的引入 剔除可采用逐步法由计算机自动完成 50 2020 1 27 51 5 7 2曲线估计 曲线拟合 一 曲线拟合的功能与应用在很多情况下有两个相关的变量 用户希望利用其中的一个变量对另一个变量进行预测 此时采用的方法也很多 从简单的线性模型到复杂的时间序列模型 如果不能马上根据观测数据确定一种最佳模型 可利用曲线估计在众多的回归模型中建立一个简单而又比较适合的模型 52 二 曲线拟合的应用示例例5 7 3已知变量X Y的数据如下 试拟合曲线 e5 7 3 sav x 50 00100 00150 00200 00250 00300 00400 00500 00y 687 398 200 121 090 050 020 010 1 作散点图 53 54 2 曲线估计 55 56 l 因变量 2 自变量变量 把左侧源变量栏的某变量放入该栏作为自变量 系统默认值 时间 以时间序列作为自变量 3 个案标签 数据标签栏 把左侧源变量栏的某变量放入该栏 该栏的变量值作为结果散点图中的点标记 4 模型 曲线模型选择栏 有11种类型曲线可供选择 5 显示ANOVA表 结果中显示方差分析表 6 在等式中包含常量 方程包含常数项 系统默认值 7 根据模型绘图 绘制曲线拟合图 系统默认值 8 保存 按钮 变量储存按钮 激活变量储存对话框 57 58 保存变量 点击一个或全部选项 可将相应的数值以新变量形式储存到数据库中 这些变量的定义将在结果中显示 预测值 fit 1 残差 观察值与预测值之差 err 1 预测值区间 上 下限 lcl 1 ucl 1 置信区间 预测个案 预测观测量栏 仅在以时间序列作为自变量时有效 从估计期到最后一个个案的预测 可计算样本中和样本之后的预测值仅用于时间序列的数据 预测范围观察值 59 60 61 62 线性模型 63 指数模型 64 65 66 结果分析如下 1 方差分析表 线性拟合 F 12 39758 SignifF P值 0 0125 指数拟合 F 701 9507 SignifF 0 0000可见两种拟合方法都通过0 05水平检验 即有统计意义 但指数拟合比线性拟合更为显著 2 判定系数 线性拟合 0 620指数拟合 0 990 3 自变量X检验 线性拟合 t 3 521 P 0 0125 指数拟合 t 26 490 P 0 0000 4 拟合方程线性拟合 y 0 505543 0 001266x指数拟合 y 0 929305e 009412x 5 新增变量的描述数据文件增加了8个变量 前四个为线性拟合的 后四个为指数拟合的 指数估计法的拟合效果比线性估计法好 两种方法的自变量系数都通过t检验 67 结论 通过方差分析两种模型都具有统计意义 但指数拟合模型的拟合效果好 说明 首先 判断模型的方差分析结果 如果模型没有统计意义 那么即使它有最好的R2值 与其它呈显著意义的模型进行比较是没有意义的 然后 比较模型的R2值 68 在例5 7 3中 对y进行按时间序列做曲线估计 69 5 7 2逻辑回归分析 逻辑斯谛回归 一 逻辑回归分析的基本概念使用多元线性回归来分析多个自变量与一个因变量的关系 因变量要求正态分布的连续随机变量 所谓Logistic回归 是指因变量为二级计分或二类评定的回归分析 这在经济学研究中经常遇到 如 如人的素质的高低跟人的受教育年数等因素有关 这类变量称二项分类变量 0 1 如果因变量是二项分类变量 显然不满足正态分布的条件 这时可用Logistic回归分析 在Logistic回归分析中常把自变量 Independentvariable 称为协变量 Covariate SPSS10 0以上版本增加了可以处理多项逻辑分析的功能 多项的含义是指有时事物的状态不止两种 用二项分类变量不足以描述 无论是处理二项分类变量还是处理多项分类变量逻辑分析统称为逻辑分析 70 二项Logistic回归模型 令Y服从二项分布 取值为0 1 Y 1的概率为P Y 1 则k个自变量分别为X1 X1 X3 Xk所对应的Logistic回归模型为 71 或者写为 72 参数估计方法 最大似然估计法 73 1 2对数似然 2loglikelihood 2LL 模型检验 2对数似然值 2LL 是检验模型拟合度的一个统计量 当 2LL 0时模型非常完美地拟合数据 74 2 模型分类表 75 3 Wald统计量 Wald统计量用于判断一个变量是否应该包含在模型中 其检验步骤如下 1 提出假设 零假设 变量的系数等于0 2 构造Wald统计量 3 作出统计判断 76 二 操作步骤 分析 回归 二元Logistic 77 1 Logistic回归过程对话框 l 因变量栏 用于放入因变量 因变量可以是数值型或短字符型的二分变量 2 块 B 1的1 设定不同区组 Block 的协变量 可以用不同的协变量筛选方法对不同区组的协变量进行筛选 3 协变量栏 用于放入协变量或一级交互作用的协变量 用 a b 按钮 4 方法 协变量筛选方法选项 可选择七种筛选协变量方法的其中之一 78 输入 所有自变量强制进入回归方程 向前 有条件 以假定参数为基础作似然比概率检验 向前逐步选择自变量 向前 LR 以最大局部似然为基础作似然比概率检验 向前逐步选择自变量 向前 Wald 作Wald概率统计法 向前逐步选择自变量 向后 有条件 以假定参数为基础作似然比概率检验 向后逐步选择自变量 向后 LR 以最大局部似然为基础作似然比概率检验 向后逐步选择自变量 向后 Wald 作Wald概率统计法 向后逐步选择自变量 79 5 选择变量 放入将要按规则选择观察值的变量 规则按钮 激活 定义选择规则 对话框 设定规则 选择变量等于 不等于 小于 小于或等于 大于 大于或等于某值 80 6 分类 定义分类协变量按钮 激活定义分类协变量对话框 可定义一个或多个字符型和数值型分类变量 7 保存 储存新变量按钮 激活储存新变量对话框 8 选项 选择按钮 激活选择对话框 81 4 选项对话框 82 统计和图 分类图输出 在每个步骤中 显示每一步的结果 系统默认值 在最后一个步骤中 显示综合中间过程和最后结果 步进概率 协变量引入或删除的概率标准选项进入 引入协变量标准 默认值为0 05 删除 删除协变量标准 系统默认值为0 10 分类标准值 因变量分类界限 系统默认值为0 5 最大迭代次数 设定最大迭代次数 系统默认值为20次 在模型中包含常数项 系统默认值 83 研究问题在一次关于