对直线回归的进一步分析

一 对直线回归的进一步分析 1 令随机变量于是又 个残差表示第iYYe iii 0 E ii iiiii xxxEYEYYEe 由于 的一个线性函数仍是的一个线性函数 所以是 iii YYYxY iii Y 时有 也是服从正态分布 此的正态性意味着此时 i esYi 1 1 V 2 2 j j i iii xx xx n YYVe 估计值代替 此时得到残差的用将 22 S 2 将残差标准化 注意到当 n 很大时有 j j i ii i xx xx n S yy e 2 1 1 S e e i i 二 诊断图 许多统计学家推荐用于评价模型有效性的基本图形如下 缺图 在横轴上 在纵轴上 而 i 1 xeore ii 在横轴上 在纵轴上 而 i 2 yeore ii 在横轴上 在纵轴上 而 i 3 yyi 4 标准化残差的正态概率分布图 1 和 2 为残插图 如果 3 给出的点靠近于经过 0 0 点且斜率为 1 的直线 那么就证明回归函数有很 精确的预测 所以 3 给出了模型预测有效性的直观评价 而 4 则让分析者判断所假设的是否真的服从于正 态分布 三 估计得困难和补救的措施 尽管我们想要得到满足上面四个评价的模型 但是 很多时候 我们会碰到下面的一些问题 1 在 x 和 y 之间一个非线性的概率模型是适合的 2 或者 Y 的方差不是一个常数而是依赖于 x 2 3 除了一些很特殊的点之外 我们所选择的模型是比较合适的饿 但是 这些特殊的点又对我们选择最适 合的模型有很大的影响 4 误差不服从正态分布 5 下标 i 标明观测值是随着时间而变化的 但是是不随时间而变化的 i 6 一个或者更多的相关独立的变量从模型总除去 缺图 现在我们来简单的介绍如何来解决这些问题 为了要有一个综合的讨论 一个或多个关于回归模型的 分析需要同时考虑 下面分别对以上六种情况进行分析 1 如果残插图如图 a 那么放弃线性模型 然后一个非线性模型应该建立 2 残插图如图 b 表示 尽管一个线性模型是合理的 但所做的假设对于每个 i 成立确 2 i YV 实值得怀疑的 1 如果假设是成立的 那么利用最小二乘法去估计则是有效地 此时所作的估计给予每个 和 xi yi 的权重是相同的 2 如果 Y 的方差随着 x 而变大 那么当 yi s 对于较大的 xi时应给予较小的权重 反之则较小 这表明而求得 这里最小应该通过使和 wiii xywf 的变化而变化 是权重值 并随 ii xsw 这种方法称为权衡最小二乘法 weighted least squares 例如 如果 的最好估计量 和能够得出那么表明 2 2 1 i i x wkxYV 3 当散点图或者其他证据表明这些数集包含对模型影响较大的点时 一个可行的办法便是忽略这些点 并重新进行计算 这在记录错误或者实验有误差时是非常有用的 如果没有确凿的证据去证明这些 时 那么最好在分析时分忽略和不忽略两种情况 4 当随机误差不服从正态分布 我们可以利用 MDA minimize absolute deviations 法求得的估 和 计值 即使最小 这种方法很繁琐 一般由计算机来完成 i xy i 5 当一个散点图表明误差随时间而变化时 一个有效的分析便是转换 y s 或者重新建立一个包含时间 变量的精确模型 6 当如图 f 所示时 表明一个包括忽略变量的多元回归模型是比较合适的 四 对的估计 i e 估计统计量为 2 1 1 2 0 2 ndfwith xx xx n S e n SSE e T j j i ii 五 511 页的 14 题 六 对变量进行变换后的回归 如果联系 x 和 y 的函数是通过转换 x 或 y 而得到的 并且这个函数可以表示为 则这个函数是内线性模型 intrinsically linear xy 这里得到的独立变量转换得到的独立变量转换yyxx 常用的有四种 函数转变为线性模型形式线性模型模型 原 xy xy xy 指数 x ey xxyylog log log xy x ey 幂指数 xy xxyylog log log xy xy xylog xxlog xy xylog 倒数 x y 1 x x 1 xy x y 1 而 则不是 rxyrey x 和 模型转换的优势在于我们可以通过最小二乘法来估计 和 补充 在利用残插图来衡量线性模型时 一般所应考虑的是 两种图yyxe 与 在分析转换数据时应时刻注意以下几点 1 通过转换的直线模型得到的直线模型中的参数估计值代入原模型求得的而求得原模型的估计值 与 直接利用原模型使用最小二乘法求得的参数估计值是不同的 例如 对于指数模型 我们可以通过 对利用最小最小二乘法求得 但这与通过转换为直线模型求得的值是不同的 2 x i ey 和 2 如果所选色模型不是内线性模型 那么转化为直线模型再求其参数的方法就不能用 但是也是对原 模型使用最小二乘法求得 例如对于指数模型 我们可以通过对利用最小最小二乘 2 x i ey 法求得 和 3 当转化的直线模型满足所有以前所描述的满足直线回归模型假设条件时 利用转换为直线模型通过 最小二乘法求得的参数值是最好的 但是 转换后的直线模型很难达到那样的标准 尽管它们是合 理的 例如 在指数模型中 尽管误差变量是正态分布 这是 虽 的无偏估计不是 e 然利用原模型求参数会很繁琐 但还是建议用这种方法进行 4 如果 y 被转换 并且希望用标准化的方法去假设检验和建立相应的置信区间时 至少应该是接近 于正态分布 为了检验这些条件 转换后回归模型的残差应该得到检验 5 当 y 转化时 从转化的模型中得到的能够解释而不是 尽管一个大的值意味着已观察 2 i y i y