《研回归分析》PPT课件.ppt

回归分析 追求 回归分析 一元回归多元回归全部强行进入回归 逐步回归 回归 揭示出不确定数量关系的内在数量变化规律 并通过一定的表达式描述数量之间的这种内在关系的方法 不确定性的函数关系 回归的涵义 数据之间的关系函数 确定性的函数关系 回归方程 回归分析的任务 1 通过分析大量的样本数据 确定变量之间的统计关系 并以数学表达式形式给出 2 对确定的数学关系式的可信度进行统计检验 找出对某一特定变量影响较为显著的变量和不显著的变量 3 利用确定的数学关系式 根据自变量预测或控制因变量的取值 并找出这种预测或控制的精确度 回归分析时变量的设定 回归分析的被解释变量必须是刻度级的 如果是顺序级的 要用Numeric型的来表示 如果被解释变量是名义级的 将用Logistic回归等方法处理 解释变量可以是刻度级 顺序级 名义级的变量 不论是什么级别的数据 都必须用Numeric型的来表示 一元线性回归分析 高斯假设 一元线性回归模型的求解 一元线性回归模型的SPSS实现 一元线性回归模型的设定 SPSS的实现 Analyze菜单Regression项中选择Linear命令 Enter 强行进入法 即所选自变量全部进入模型 Remove 强制剔除法 即建立回归方程时 根据设定的条件从回归方程中剔除部分自变量 Backward 向后剔除法 根据Option对话框中设定的判据 先建立全模型 然后根据设置的判据 每次剔除一个使方差分析中的F值最小的自变量 直到回归方程中不再含有不符合判据的自变量为止 Forward 向前选择法 Stepwise 逐步进入法 根据Option对话框中设定的判据及方差分析结果 选择符合判据的自变量与因变量相关程度最高的进入回归方程 依据Forward选入自变量 依据Backward将模型中F值最小且符合剔除判据的变量剔除 重复 Method处下拉菜单 共有5个选项 WLS选项是存在异方差时 利用加权最小二乘法替代普通最小二乘法估计回归模型参数 通过WLS可以选定一个变量作为加权变量 在实际问题中 如果无法自行确定权重变量 可以用SPSS的权重估计来实现 Descriptives 输出自变量和因变量的均值 标准差相关系数矩阵及单侧检验概率 Estimates 输出与回归系数相关统计量 有 回归系数 回归系数的标准误差 标准回归系数 T统计量和相应的相伴概率 各自变量的容忍度 Confidenceintervals 输出每一个非标准化回归系数95 的可信区间 Covariancematix 输出方程中各自变量间的相关系数矩阵及各变量的协方差矩阵 Modelfit 输出判定系数 调整的判定系数 回归方程的标准误差 F检验的ANOVA方差分析表 Rsquaredchange 当回归方程中引入或剔除一个自变量后 判定系数 F值产生的变化 Casewisediagnostics 输出标准化残差绝对值 3的样本数据点的相关信息 包括 标准化残差 观测值预测值 最小 最大 预测值 残差 最小 最大 残差以及它们的均值和标准差 Outliersoutsidestandarddevistion 设置奇异值的判据 默认 3倍的标准差 Allcase 输出所有样本数据有关残差值 Partandpartialcorrelation 输出方程中各自变量与因变量之间的简单相关系数 偏相关系数与部分相关系数 Collinearitydiagnostics 多重共线性分析 输出各自变量的容限度 方差膨胀因子 最小容忍度 特征值 条件指标及方差比例等 Durbin Watson 输出Durbin watson检验值 Plots对话框用来检验残差序列的正态性 随机性和是否存在异方差现象 Produceallpartialplots 输出每一个自变量残差相对于因变量残差的散布图 ZPRED选项 标准化预测值 ZRESID选项 标准化残差 DRESID选项 剔除残差 ADJPRED选项 修正后预测值 SRESID选项 t分析残差 SDRESID选项 t分析剔除残差 Mahalanobis 保存Mahalanobis距离 Cook s 保存Cook距离 Leveragevalues 保存中心点杠杆值 Individual 保存一个观测量上限与下限的预测区间 Studentized 标准化残差 Deleted 剔除残差 Studentizeddeleted 标准化剔除残差 DfBeta s 因排除一个特定的观察值所引起的回归系数的变化 若该值 2 则被排除的观测值有可能是影响点 DfFit 因排除一个特定的观测值所引起的观测值的变化 UseprobalitlityofF 以回归系数显著性检验中各自变量的F统计量的相伴概率作为自变量是否引入模型或者从模型中剔除的标准 实际应用中 应使Entry值小于Remove值 否则 自变量一进入方程就会被立即剔除 UseFvalue 以回归系数显著性检验中的各自变量的F统计量作为自变量进入模型或者从模型中剔除的标准 IncludeconstantinequationF 表示回归方程中将包含常数项 练习 某企业产品广告费和销售收入资料如下 判断广告费和销售收入之间关系密切程度如何 310284066117140404 序号 广告费 万元 销售收入 百万元 1234567 357811131461 1245691037 9254964121169196633 1416253681100263 合计 多元线性回归分析 一个被解释变量 因变量 的线性模型 多个解释变量 自变量 多元回归的高斯假设 多元回归方程为 回归方程的显著性检验 多元线性回归的检验与估计 二 多元线性回归 三 回归系数的显著性检验 四 回归分析的置信区间 五 标准回归系数 回归效果的检验 回归系数 总体均值 方程的检验 多元线性回归的三大基本问题 多重共线性 序列相关问题 异方差问题 多元线性回归的SPSS实现 多元回归的SPSS处理 逐步回归 第一种方法 第二种方法 第三种方法 逐步回归的SPSS处理 逐步回归 从数学上看 如果变量xj可以表达为另外一些变量xt xs等的线性组合 则 而 会出现计算溢出问题 称变量xj xt xs具有多重共线性 多重共线性在经济管理问题上的表现是 多个变量有共同的变化趋势 多重共线性的后果 或者说 xj与其它自变量xt xs等的复相关系数接近1 多重共线性是指各个解释变量之间存在线性相关关系的现象 多重共线性常常会回归系数方差增大 从而使t检验难以通过 会导致 趋向于1 给出虚假的回归效果好的结论 统计量将普遍变小 3 1 计算 将溢出 因为 时 2 的方差将变得很大 因为 是矩阵 的对角线元素 导致错误地删除变量 式中 4 因为 的溢出 的溢出 所以会导 致 5 仍无偏 如果输出的F统计值很大 R趋于1 同时许多t统计值小 显著性概率大于 估计系数的标准差大 则表明存在多重共线性问题 判断是否存在多重共线性的方法 1 容忍度 对应于解释变量xj的容忍度定义为 Tolj 1 R2 R2是解释变量xj与方程中其他所有解释变量之间的复相关系数平方 可以衡量xj与其他解释变量的线性相关程度 多共线性问题的处理 逐步删除不重要的 t相对小的 解释变量 可直接用逐步回归法完成 此外 也可以采用如下方法 1 用变量的比例代替原来的变量 2 方差膨胀因子 方差膨胀因子定义为容忍度的倒数 即 VIFj 1 1 R2 一般认为 方差膨胀因子大于10时 就认为存在多重共线性 例如 在 中 可用如下变量替代 共线性问题 解决多重 取对数后得到如下回归方程 就可以消除多重共线性问题 2 改变模型结构 例如 用 代替 等 很容易出现多重共线性问题 3 恰当处理滞后变量 回归方程 由于滞后变量 的同趋势性 解决的办 法是 于是 同时有 于是 前式 后式 有 这就消除了解释变量之间的多重共线性问题 4 增大样本容量 令 用SPSS处理多重共线性 是指随着解释变量的变化 被解释变量的方差存在明显的变化趋势 不具有常数方差的特征 这也是经济与管理领域中经常出现的问题之一 高斯假设的第 3 条是 异方差问题 对多元线性回归模型而言 一是不存在序列相关 即 二是具有同方差性 齐次方差性 按照高斯条件 被解释的随机性 实际上是由随机干扰项的随机性所决定的 因此被解释变量的异方差性 实际上也是由随机干扰项的异方差性决定的 即方差与下标i有关 若 则 这等价于 回归参数的估计值仍无偏 但是不再有最小方差所以不再有效 由于不满足关于高斯 马尔柯夫定理的条件 所以其结论也不成立 异方差问题出现时的后果 异方差问题是否存在的判断 1 用散点图判断 与Xij的Spearman相关系数的绝对值大 意味着存在非齐次方差 2 求 与Xij的Spearman等级相关系数 异方差问题的处理 1 试算异方差的形式 选出回归效果最好的形式 由 和 计算出 得到 3 WLS处理异方差 若找到回归形式 则用 去除原模型 得 记 可以证明 具有同方差性 实际是计算中权重 广义最小二乘法的估计公式 2 用广义最小二乘法 求原方程的系数 异方差问题的SPSS处理 检验异方差是否存在 以1 收入为权重 作如下回归 用加权最小二乘法估计回归方程的系数 直接回归 1 定义变量 储蓄 收入 和 1 收入 2 进入一元线性回归过程用加权最小二乘法估计回归系数 检验异方差是否得到改善 产生新的未标准化残差 重新计算未标准化残差绝对值与收入倒数的等级相关系数 判别异方差性是否已经得到矫正 得出回归方程 用加权最小二乘法估计回归系数 方法一 此方法不能输出残差图 需要另外计算等级相关系数 检查异方差是否已经消除 用加权最小二乘法估计回归系数 方法二 此方法也不能输出残差图 需要另外计算等级相关系数 检查异方差是否已消除 这里的最佳权重变量是 自相关问题 是指随着不同期的样本值 不同编号的样本值 之间存在相关关系 这也是经济与管理领域中经常出现的问题之一 它违反了高斯 马尔柯夫定理的条件 从而使最小二乘法估计值不再具有最优的性质 所谓序列相关问题就是指 4 灾害的影响是多年的 也会出现序列相关 1 固定资产变量本来就前后期相关 2 漏掉的变量被包含在随机干扰项中了 3 系统观察误差 会引起序列相关问题 经济管理问题中产生序列相关的主要原因 置信区间太大 3 序列相关问题的影响 1 OLS估计值不具最小方差性 2 统计量的值不准确 3 随机干扰项的估计值 有偏 4 用这样的模型预测不准 失去意义 4 一阶序列相关的检验 所谓一阶序列相关 是指前后相邻两期样本之间的 序列相关问题 其检验的工具是DW统计量 DW统计量的定义如下 其中 由于 所以 与 所以 DW 2 当 时 DW 0 完全正自相关 由于 只能接近1 只能接近完全正自相关 可用下图表示 当 时 与 完全没有自相关 当 时 DW 4 完全负相关 由于 只能接近 1 所以 与 只能接近完全负自相关 具体的判别准则 图DW统计量的值的分布区域与判别 图中 DW3 4 DW2 DW4 4 DW1 当 时 存在正一阶序列相关 当 时 不能断定是否存在序列相关 当 时 不存在一阶序列相关 当 时 不能断定是否存在序列相关 当 时 存在负一阶序列相关 一阶序列相关是指 二阶序列相关是指 三阶以上类推 这里是序列相关的 观察形式 自相关的 理论 形式 是把上面的 换成 用SPSS处理序列相关 观察 检验序列相关 试算序列相关形式 估计序列相关系数 按照最佳序列相关形式 消除序列相关 得出估计值 估计自相关系数的DW两步法 试算序列相关形式 估计序列相关系数 产生2个新变量e t 1 和e t 2 用SPSS中的transformCompute中的LAG函数产生 用e t 对e t 1 回归 观察回归系数 用e t 对e t 1 和e t 2 回归 观察回归系数 选择回归效果相对好的回归系数 即为自相关系数 按照最佳序列相关形式 消除序列相关 得出估计值 用SPSS中的TransformCompute产生新变量 即用原变量 t 减去自相关系数乘以原变量 t 1 回归分析中有几个变量 就相应产生几个变量 对新变量进行回归 观察DW值是否已经得到改善 估计自相关系数的DW两步法 若得出e t 对e t 1 的回归效果好 则对因变量 t 1 原自变量及自变量 t 1 进行多元回归分析 找出自相关系数 用自相关系数分别重新计算上一步的自变量和因变量 再对重新计算的自变量和因变量进行回归 则效果更好 人均收入与人均食品支出关系的散点图 一元线性回归模型的设定 人均收入与多孩率的散点图 一元线性回归模型的设定 1 总体回归模型 2 样本回归模型 样本回归直线 服从 高斯假设 1 2 3 4 5 6 分布 正态性假设 为随机变量 即所有随机误差都具有相同方差 随机扰动项协方差等于零 相互独立 无序列相关假设 独立性假设或零均值假设 一元线性回归模型的求解 最小平方法 普通最小二乘法估计式 在模型中 代入样本观察值之后 可得 此式也可用向量 矩阵方式表达为 式中 是 阶矩阵 这就是普通最小二乘法估计系数的公式 若估计出 则有 所以 于是有 两边左乘 得 由几何解释 故而上式中 所以可以求出 如下 回归方程的显著性检验 F检验 回归方程不显著 回归方程显著 总离差平方和 剩余平方和 残差平方和 回归离差平方和 判定相关系数越接近1 表明回归平方和占总离差平方和的比例越大 用x的变动解释y值变动的部分就越多 回归的效果就越好 回归效果的检验 判定相关系数检验 若全部观测值都落在回归直线上 则 若x完全无助于解释y的变动 则 F检验 校正的判定系数 统计量中不含有自由度 所谓校正的判定系数是指 考虑了自由度的判定系数 其定义如下 剔除了自由度的影响 校正的判定系数Adjusted 式中 回归效果的检验 F检验 样本容量 自变量的个数 含常数项 判定系数 回归系数的显著性检验 T检验 成立 即 当 时 显著异于0 针对回归系数的 统计量的显著性检验决定了相 应的变量能否作为解释变量进入回归方程 总体均值的置信区间 用 代替可以得到统计量 回归系数的置信区间 给定一置信水平 区间 为 水平上的置信区间 例 则 即 标准化即剔除自变量单位的影响 是指对变量 标准回归系数 进行如下处理 转化为标准方程 于是原始方程 式中 多元回归的高斯假设 1 为随机向量 2 3 4 包括 5 或者X为确定矩阵 6 秩 7 行列式 远离零