第七章　线性回归

第七章 线性回归第一节 一元线性回归一、回归线、回归方程与回归系数1、回归的概念回归分析是在分析观测数据的基础上，确定一个能反映变量之间关系的近似函数表达式，是研究相关关系的一种有效方法。回归与相关的区别：相关表示：一个变量的变化会导致另一个变量的变化，反过来同样成立，它们的关系是双向的；而回归有因变量和自变量之分，它们的关系是单向的，反映的是因果关系。可以说相关是回归的必要条件，有相关关系不一定有回归关系，没有相关关系，肯定没有回归关系。线性回归与一元线性回归：一元线性回归是最简单的线性回归二、回归线、回归方程与回归系数1、散点图与线性回归：画散点图的目的是为了避免将非线性的关系当作线性关系来处理。 2、回归线与回归方程最佳拟合：指根据这条直线由估计得到的估计值比起由其它所有直线得到的估计值误差最小。我们将这条最佳直线称为回归线。根据直线的一般表达式，回归线的函数式可以表示为： 该式称为 y对 x的回归方程，式中常数项 称为截距， 称为回归系数。回归系数 实际上是回归直线的斜率，反映了自变量 x对因变量 y的作用幅度。 回归系数的作用方向是单向的。 根据上式计算出的值只是一个估计值。凡是估计值必然处在回归线上，然而实际观测值却未必处在回归线上，两者之间一般都存在误差，即： 三、最小二乘法和回归系数的计算只要确定了方程中的常数项和回归系数，也就确定了回归方程。在线性回归中，人们都是利用最小二乘法来求常数项和回归系数的。 因为 所以回归方程可表示为 从上式可以直接得出一个结论：回归直线必定通过散点 的重心 。 例题：考察 “人均食品支出 ”与 “人均收入 ”之间的关系。 地区 人均食品支出 人均收入 地区 人均食品支出 人均收入1 1016 2359 16 644 16122 928 2087 17 717 19063 650 1959 18 723 20454 576 1691 19 1267 33295 540 1532 20 874 21066 829 1987 21 968 20327 638 1641 22 772 20088 621 1611 23 716 17059 1234 2925 24 763 196310 852 2101 25 1072 267511 992 2512 26 650 176412 767 1727 27 665 168313 968 2139 28 711 168414 627 1542 29 654 195115 733 1929 30 609 1877 计算得到平均人均收入 元，元，平均人均食品支出 元， 元， ，试求回归方程。假定某地区的人均收入为2200元，试估计该地区的人均食品支出。 变到 ，相应有 ，则 的变化幅度为： 将 x =2200元代入上式，得 875.3元。这是一个估计值。 在应用回归方程分析变量之间关系时，要注意时效性的问题。 第二节 多元线性回归的建立与解释一、多元线性回归方程的建立设影响 y的自变量共有 k个，则多元回归模型的一般表达式为通过调查得到相应数据 N个，根据这些数据，可以在 与 之间建立线性回归方程 二、回归方程的解释对回归方程的解释也就是对回归系数的解释。如果 增加 1个单位，即 变到 ，而其它自变量均保持不变，相应有 三、标准回归方程与标准回归系数令第三节 回归方程的检验一、模型的整体线性拟合度检验我们必须判断与之间是否存在线性关系，也可以说，必须判断所得到的回归方程在多大程度上解释了因变量的变化，回归方程是否有效，这就是所谓的线性拟合度检验。1、线性回归的方差分析其虚无假设为对于全部观测数据，恰好存在下述关系：证明： 自变量的数目和样本的容量均会对回归平方和与残值平方和的值产生很大影响，为此，不能直接比较回归平方和与残值平方和的大小，应先将它们除以各自的自由度，得到平均回归平方和与平均残值平方和，然后考察它们的比值。自由度的确定服从自由度为（ ）的 F分布。方差分析表 k N-k-1 变 异来源 平方和 SS 自由度 df 均方 mS F值回 归变 异（Regression）残 值变 异（ Residual）总变 异（ Total）N-1变 异来源 平方和 SS 自由度 df 均方 mS F值 F0.05回 归变 异残 值变 异总变 异2636114 3 878704 3.158645601 31 27889011281714 342.912、复相