一元线性回归模型及其假设条件

4 2 一元线性回归模型及其假设条件 1 理论模型 y a bx X 是解释变量 又称为自变量 它是确定性变量 是可以控制的 是已知的 Y 是被解释变量 又称因变量 它是一个随机性变量 是已知的 A b 是待定的参数 是未知的 2 实际中应用的模型 xbay x 是已知的 是未知的 a b y 回归预测方程 称为回归系数 若已知自变量 x 的值 则通过预测方程xbay a b 可以预测出因变量 y 的值 并给出预测值的置信区间 3 假设条件 满足条件 1 E 0 2 D 2 3 Cov 0 i j 4 Cov i i j 0 条件 1 表示平均干扰为 0 条件 2 表示随机干扰项等方差 条件 3 i j 表示随机干扰项不存在序列相关 条件 4 表示干扰项与解释变量无关 在假定条件 4 成立的情况下 随机变量 y N a bx 2 一般情况下 N 0 2 4 需要得到的结果 a b 2 4 3 模型参数的估计 1 估计原理 回归系数的精确求估方法有最小二乘法 最大似然法等多种 我们这里介绍最小二乘法 估计误差或残差 5 3 1 yy e ii i xba yi ee yy ii ii xba 误差的大小 是衡量 好坏的重要标志 换句话讲 模型拟合是否成功 就看残差 ei a b 是否达到要求 可以看出 同一组数据 对于不同的 有不同的 所以 我们的问a b ei 题是如何选取 使所有的都尽可能地小 通常用总误差来衡量 a b ei 衡量总误差的准则有 最大绝对误差最小 绝对误差的总和最小 误差的平方和最小等 我们的准则取 误差的平方和最小 最小二乘法最小二乘法 令 5 3 2 使 Q 达 n i n i n i ix bayyye i i ii Q 11 2 2 1 2 到最小以估计出 的方法称为最小二乘法 a b 理论推导 微积分极值理论的拉格朗日极值法 2 估计结果 n i ixx y x y x n i i n i i n i i n i i i n n b 1 2 1 2 111 xby n b n a n i i n i i x y 11 2 2 n Q 是 y 的算术平均数 是 x 的算术 n i n i n i ix bayyye i i ii Q 11 2 2 1 2 yx 平均数 4 5 回归方程的检验 一 离差平方和的分解与可决系数 当根据历史数据估计出回归预测方程后 我们要思考这样的一些问题 回归直线是否有意 义 可否用于预测和控制 参与计算的两个变量 x 和 y 是否有线性关系 若有线性关系 其关系的密切程度如何度量 1 离差平方和的分解 第一 表示观察值 yI与其平均值的总离差平方和 用 S总表示 总变差或 n i yyi 1 2 离差平方和 第二 是总离差平方和中由回归直线方程中 x 的变化所引起 它的大小反映 n i yyi 1 2 了自变量 x 的重要程度 称为回归平方和 用 U 表示 回归变差 第三 反映了不能由回归直线解释的部分 是由其他未能控制的随机干扰 n i yy ii 1 2 因素引起的 称为残差平方和 用 Q 表示 剩余变差 2 可决系数R 2 S总 U Q 1 U S总 Q S总 R2 U S总 1 Q S总表示由解释变量 x 的变化而引起 因变量 y 的变差占总离差的百分比 称为可决系数 3 相关系数 在一元线性回归中 相关系数是可决系数的平方根 相关系数 是描述变量 x 与 y 之间的线性关系密切程度的一个数量指标 计算公式为 n i n i n i i i yyx x y x ii yx r 11 2 2 1 结论 第一 当 0 时 变量 x 与 y 无任何线性关系 表现为 XI YI 的散布是完全没 r 有规则的 第二 当 2 1 时 所有的样本点都落在回归直线上 称变量 x 与 y 完全相关 r 1 是完全正相关 1 是完全负相关 第三 一般情况是 0 0 称为正 r r r r 相关 0 称为负相关 0 3 视为无相关 0 3 0 5 为低度相关 0 5 0 8 为 r rrr 显著相关 0 8 为高度相关 r 二 回归方程的检验 1 相关系数检验法 建立回归方程前要考察的大小 以确定回归方程有无使用价值 r 相关系数计算后 要进行统计检验 判别是否具有统计意义 检验方法是 根据置信度 r 自由度 样本数据个数 1 和自变量与因变量的总个数查相关系数表 确定临界值 若计 算所得到的相关系数小于临界值 则无统计意义 反之 则有统计意义 是有效的 r 2 F 检验法 解释 F 检验法的含义 回归方程显著性检验的含义 即检验 对实际的 y 和 x 的拟合是否有统计意义 xbay 所用统计量为 F U Q n 2 检验步骤是第一步计算统计量 F 的值 第二步根据给出 的置信度 得到临界值 F 1 n 2 第三步将统计量值 F 与临界值 F 进行比较 若统 计量值 F 大于 F 则认为回归方程显著 线性假设成立 有统计意义 否则回归方程没有 统计意义 实际应用中 统计软件给出了 F 值 3 T 检验 解释 T 检验法的含义 P129 T 检验法 关于 0 的假设检验 有专门的 t 检验 在一元线性回归模型中 F 检验与 t 检验等同 b 4 6 预测区间 1 点预测 设预测点为 则预测值为 y x 0 0 xy ba 0 0 2 预测置信区间 S t y n 02 0 2 x x x x S i n 2 2 0 0 1 1 3 控制区间 已知 求的变动范围 称为对的控制 我们在这里不在讲述