第六章回归分析

第六章回归分析 一元线性回归方程的几何意义 截距a表示在没有自变量x的影响时 其它各种因素对因变量y的平均影响 回归系数b表明自变量x每变动一个单位 因变量y平均变动b个单位 回归模型的有效性检验 回归模型的有效性检验就是对求得的回归方程进行显著性检验 看是否真实地反映了变量间线性关系 回归方程的总体检验判定通常使用方差分析的思想与方法 平方和与自由度的分解 回归方程方差分析表 回归系数的有效性检验 的抽样分布 二 回归系数的标准误 三 测定系数 测定系数是指回归平方和在总平方和中所占比例 也就是Y变量能用另一个变量来解释的部分 测定系数意义 回归平方和占总离差平方和的比例反映回归直线的拟合程度取值范围在 0 1 之间 说明回归方程拟合得越好 说明回归方程拟合得越差判定系数等于相关系数的平方 即 线性回归的基本假设 线性关系假设 正态性假设 独立性假设 误差等分散性假设 误差等分散性假设 特定X水平的误差 除了应呈随机化的常态分布 其变异量也应相等 称为误差等分散性 正态性假设 与某一X值对应的一组Y值构成变量Y的一个子总体 所有子总体都服从正态分布 各子总体方差均相等 经由回归方程所分离的误差项e也呈正态分布 其平均数为0 独立性假设 某一X值对应的一组Y值和另一个X值对应的一组Y值之间没有关系 彼此独立 其二是误差项独立 即不同的X所产生的误差之间应相互独立 误差项也与自变量X相互独立 一元线性回归模型的假定 一元线性回归分析 简单线性回归与多元线回归 绘制菜单 提供各种残差图用于诊断拟合情况 标准化残差 标准化预测值 因变量 残差值统计量 包括预测值 残差值 标准化预测值 标准化残差 观察是否在三个标准差以内 满足残差为正态分布的假设 Y轴为标准化残差 用于观测残差是否随因变量而变化 如果随之发生变化 表明方差不齐性 多元线性回归 一个因变量与两个及两个以上自变量之间的回归描述因变量y如何依赖于自变量x1 x2 xp和误差项 的方程称为多元线性回归模型 b0 b1 b2 bp是参数 是被称为误差项的随机变量y是x1 x2 xp的线性函数加上误差项 说明了包含在y里面但不能被p个自变量的线性关系所解释的变异性 多元线性回归方程 描述y的平均值或期望值如何依赖于x1 x1 xp的方程称为多元线性回归方程多元线性回归方程的形式为E y 0 1x1 2x2 pxp b1 b2 bp称为偏回归系数bi表示假定其他变量不变 当xi每变动一个单位时 y的平均平均变动值 多元线性回归的估计方程 总体回归参数是未知的 利用样本数据去估计 用样本统计量代替回归方程中的未知参数即得到估计的回归方程 是估计值是y的估计值 多重样本决定系数 回归平方和占总离差平方和的比例 反映回归直线的拟合程度取值范围在 0 1 之间R2 1 说明回归方程拟合的越好 R2 0 说明回归方程拟合的越差等于多重相关系数的平方 即R2 R 2 修正的多重样本决定系数 由于增加自变量将影响到因变量中被估计的回归方程所解释的变异性的数量 为避免高估这一影响 需要用自变量的数目去修正R2的值用n表示观察值的数目 p表示自变量的数目 修正的多元判定系数的计算公式可表示为 回归方程的显著性检验 检验因变量与所有的自变量和之间的是否存在一个显著的线性关系 也被称为总体的显著性检验检验方法是将回归离差平方和 SSR 同剩余离差平方和 SSE 加以比较 应用F检验来分析二者之间的差别是否显著如果是显著的 因变量与自变量之间存在线性关系如果不显著 因变量与自变量之间不存在线性关系 回归方程的显著性检验 提出假设H0 1 2 p 0线性关系不显著H1 1 2 p至少有一个不等于0 2 计算检验统计量F 3 确定显著性水平 和分子自由度p 分母自由度n p 1找出临界值F 4 作出决策 若F F 拒绝H0 若F F 接受H0 回归系数的显著性检验 如果F检验已经表明了回归模型总体上是显著的 那么回归系数的检验就是用来确定每一个单个的自变量xi对因变量y的影响是否显著对每一个自变量都要单独进行检验应用t检验在多元线性回归中 回归方程的显著性检验不再等价于回归系数的显著性检验 回归系数的显著性检验 提出假设H0 bi 0 自变量xi与因变量y没有线性关系 H1 bi 0 自变量xi与因变量y有线性关系 计算检验的统计量t 确定显著性水平 并进行决策 t t 拒绝H0 t t 接受H0 异方差性 方差不齐性 随机误差项的方差不齐性异方差性带来的问题 参数估计值不是有效的参数的显著性检验失效回归方程的应用效果极不理想诊断 残差图分析法处理方法 加权最小二乘法 多元回归中的问题 多重共线性问题 多重共线性 自变量之间存在相关关系问题 回归结果造成混乱 如多元回归模型显著 但自变量中有很多回归系数不显著 对参数估计的正负号可能产生影响 甚至bi的正负号可能与预期的正负号相反 对回归系数的解释是危险的 多元回归中的问题 诊断 模型中各自变量显著相关当模型的线性关系检验显著时 几乎所有回归系数的t检验却不显著 回归系数的正负号与预期的相反 消除方法 将一个或多个相关的自变量从模型中剔除 使保留的自变量尽可能不相关如果要保留所有的自变量 就应该 避免根据t统计量对回归系数进行检验对因变量y值的推断限定在自变量样本值的范围内 多重共线性问题 多元回归中的问题 一元线性回归分析 简单线性回归与多元线回归 估计方法 Enter 将自变量一次全部引进方程Remove 剔除法 进入的自变量一步中删除Forward 向前引入法 自变量由少到多一个一个引入回归方程Backward 自变量由多到少一个一个从回归方程中剔除 Stepwise 逐步回归法 将向前与向后结合起来 每引入一个变量 均把方程不显著的变量剔除出去 标准 进入概率小于0 05 移出概率大于0 1 模型拟合指数 回归系数的估计值及标准误 常数 标准化回归系数及检验 检验共线性问题 绘制菜单 提供各种残差图用于诊断拟合情况 标准化残差 标准化预测值 因变量 保留与删除变量的标准 幼儿园级别 月收入与教龄均进入方程 共同解释的变量为0 169 调整后为0 117 回归方程显著 回归系数 月收入与教龄的回归系数显著 幼儿园级别不显著 容忍度 1 r方 该自变量不可被其它自变量解释的百分比 小于0 1 表明有严重的共线性问题 变量膨胀因素 为容忍度的倒数 越大 共线性问题越严重 特征值 是对自变量进行主成分分析 当共线性问题严重时 第一个特征值会很大 其它特征值会接近于0 低贵妇人0 02时表明共线性问题严重 条件指数 当某些维度指数大于30时 可能存在共线性问题 残差值统计量 包括预测值 残差值 标准化预测值 标准化残差 观察是否在三个标准差以内 满足残差为正态分布的假设 Y值为预测值的累积比率 X轴为观测值的累积比率 散点图最好呈直线分布而满残差为正态分布的假设 Y轴为标准化残差 用于观测残差是否随因变量而变化 如果随之发生变化 表明方差不齐性