统计学10线性回归分析

第十章线性回归分析变量之间的关系有两种： 确定型的函数关系 不确定型的函数关系这里主要研究不确定型的函数关系，如收入与受教育程度之间的关系，等等问题。 但它们之间存在明显的相互关系（称为相关关系），又是不确定的。回归分析是研究随机变量之间相关关系的统计方法。其研究一个被解释变量（因变量）与一个或多个解释变量（自变量）之间的统计关系。例 ：人均收入 X 与人均食品消费支出 Y 的散点图的关系如图。1.一元线性回归是研究一个自变量与一个因变量的统计关系。一 . 一元线性回归人均收入 X人均食品支出Y这两个变量之间的不确定关系，可以用下式表示：式 中，人均食品消费支出 Y 是被解释变量， 人均收入 X 是解释变量， 1， 2是待估计参数； u 是随机干扰项， 且与 X 无关， 它反映了 Y 被 X 解释的不确定性 。如果随机干扰项 u 的均值为 0， 对上式求条件均值，有反映出从 “平均 ”角度看，是确定性关系。例： 地区的多孩率与人均国民收入的散点图如下：人均收入 X多孩率 Y这两个变量之间的不确定关系，大致可以用下式表示：设 Z =Ln X ， 可将上式线性关系为：线性回归的任务： 就是用恰当的方法，估计出参数 1， 2 ，并且使估计出来的参数具有良好的统计特征，所以，回归问题从某种视角看，视同参数估计问题。如果把 X， Y的样本观测值代到线性回归方程中，就得到i =1,2, ,n, n 为样本容量 .从 重复抽样的角度看， Xi， Yi也 可以视为随机变量。2. 高斯基本假设对于线性回归模型i =1,2, ,n, n 为样本容量 .高斯基本假设如下 :(1) ui 为随机变量 ( 本假设成立 , 因为我们研究就是不确定关系 ).(2) E(ui) =0, 随机干扰项的期望值等于零 (本假设成立 , 如果其均值不是零 , 可以把它并入到 1 中 ).(3) Var(ui) =2u , 随机干扰项的方差等于常数 (本假设有可能不成立 , 以后讨论不成立时如何处理 ).(4) E(uiuj)=0 (ij) 随机干扰项协方差等于零 (本假设有可能不成立 , 以后讨论不成立时如何处理 ).(5) ui 服从 N(0, 2u )分布 ;(6) E(Xiuj)=0, 对 Xi 的性质有两种解释 :a. Xi 视为随机变量 , 但与 uj无关 , 所以 (6)成立 .b. Xi 视为确定型变量 , 所以 (6)也成立 .3. 普通最小二乘法 (OLS)设线性回归模型其中 为 1， 2 的估计值 , 则 Y 的计算值 , 可以用 下式表达 :所要求出待估参数 , 要使 Y 与其计算值 之间的 “误差平方和 ”最小 . 即： 使得最小 . 为此 , 分别求 Q 对 的偏导 , 并令其为零 :由上两式 , 就可求出待估参数 的值 .4. 所求参数的计算公式的 另一个表达式为 :例 :： 在上述家庭 可支配收入 -消费支出 例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。 参数估计的计算表 iX iY ix iy ii yx 2ix 2iy 2iX 2iY 1 800 594 -1350 -973 1314090 1822500 947508 640000 352836 2 1100 638 -1050 -929 975870 1102500 863784 1210000 407044 3 1400 1122 -750 -445 334050 562500 198381 1960000 1258884 4 1700 1155 -450 -412 185580 202500 170074 2890000 1334025 5 2000 1408 -150 -159 23910 22500 25408 4000000 1982464 6 2300 1595 150 28 4140 22500 762 5290000 2544025 7 2600 1969 450 402 180720 202500 161283 6760000 3876961 8 2900 2078 750 511 382950 562500 260712 8410000 4318084 9 3200 2585 1050 1018 1068480 1102500 1035510 10240000 6682225 10 3500 2530 1350 963 1299510 1822500 926599 12250000 6400900 求和 21500 15674 5769300 7425000 4590020 53650000 29157448 平均 2150 1567 因此，由该样本估计的回归方程为： 5. 几何解释残差向量 e =Y = (Y-Y) - (-Y) = y- 向量 y, , e 三者之间关系如图所示 ,普通最小二乘法要使残差平方和 e2i 最小 , 也就是要使 e 的长度尽可能小 , 等价于在几何上 e x . 或者说 , 的长度应当是 y 在 x 上的投影长度 .yxe二 . 多元线性回归本节要研究一个被解释变量 (因变量 ) , 多个解释变量 (自变量 )的线性模型 , 即1. 基本假设(1) u 为随机变量向量 ；(2) E(u) =0；(3) cov(u) =E(u uT) = 2u In (包含了两个其本假设：一是不存在序列相关，即 ij 时 , cov(ui, uj)=E(uiuj)=0;二是具有同方差性 (齐次方差性 ), 即 Var(ui) =2u ).(4) u N(0, 2u In ) (5) E(XTu) =0 , 或者 , X 为确定矩阵(6) 秩 ( X ) = k, ( k f(k-1, n-k), 就表示回归效果是好的 , 在 水平下 , 已解释方差 (Y的变化中已经解释的部分 )明显大于未解释方差 (Y的变化中尚未解释的部分 ).8. F与 R2的关系F 统计量与 R2的统计量的关系 , 可以从下式的推演中看到 :推演中用到勾股定理： 。一个二元线性回归的例子销 售 额 、人口数和年人均收入数据地区编 号销 售 额（万元） y人口数(万人 ) x1年人均收入(元 )x21234567891033.335.527.630.431.953.135.629.035.134.532.429.126.331.229.240.729.823.028.226.91250165014501310131015801490152016201570【例】【例】 一家百货公司在一家百货公司在 10个地区设有经销分公司。个地区设有经销分公司。公司认为商品销售额与该公司认为商品销售额与该地区的人口数和年人均收地区的人口数和年人均收入有关，并希望建立它们入有关，并希望建立它们之间的数量关系式，以预之间的数量关系式，以预测销售额。有关数据如下测销售额。有关数据如下表。试确定销售额对人口表。试确定销售额对人口数和年人均收入的线性回数和年人均收入的线性回归方程，并分析回归方程归方程，并分析回归方程的拟合程度，对线性关系的拟合程度，对线性关系和回归系数进行显著性检和回归系数进行显著性检验验 (=0.05)。一个二元线性回归的例子(Excel 输出的结果 )一个二元线性回归的例子(计算机输出结果解释 )销售额与人口数和年人均收入的二元回归方程为2. 多重判定系数多重判定系数 R2= 0.9373； 调整后的调整后的 R2= 0.91943. 回归方程的显著性检验回归方程的显著性检验 F = 52.3498 FF0.05(2,7)=4.74， 回归方程显著回归方程显著4. 回归系数的显著性检验回归系数的显著性检验 t= 9.3548t=0.3646，；，； t2 = 4.7962 t=2.3646；两个回归系数均显著两个回归系数均显著一个含有四个变量的回归9. 校正的判定系数（ Adjusted R2）统计量 R2中不含有自由度。所谓校正的判定系数，就是指 “考虑了自由度的判定系数 R2adj”。 其定义如下：这样， R2adj剔除了自由度的影响。10. 回归系数的 T 检验假设 Ho: j=0;备择假设 H1: j 0 (即 Ho 不成立 ).用 统计量 : 服从 t (n-k), 可以完成上述假设检验 .当 时 , H1成立 , 即 j 显著异于 0.( n 5 时 , 若取 =0.05, 则当 t 2 时 , 有 H1 成立 , 即 j显著异于 0 )针对回归系数的 t 统计量的显著性检验 , 决定了相应的变量能否作为解释变量进入回归方程 .注意 :11. 回归系数的置信区间得到区间 为