旧课件4.1多重共线性

1、第 4 章4.1多重共线性4.1.1 多重共线性含义一、多重共线性含义“多重共线性”一词由 R. Frisch 1934 年提出，它是指模型中的两个线性回归经典假设的分析或多个解释变量间存性关系。具体地，存在不全为 0 的c1, c2 ,., cK ，使得：c1 X1 c2 X 2 . cK XK 0其中 X1 为常变量。一般地，完全多重共线性c1 X1 c2 X 2 . cK XK 0近似多重共线性当解释变量完全多重共线性时，模型违背 CLRM 中的假设 X k 或cX X 0 。不妨设c2 0 ，于是：rX . cKX , i 1, 2,., n3iKicc2221X 21X K11XX

2、2 NX 22K2X = k1XKN X X 0r两个解释变量间的线性相关关系 rX X ，它有三种简单起见，k l可能：1、解释变量 Xk 和 Xl 相互正交rXk Xl 0如果模型中两两解释变量 Xk 和 Xl 无线性关系，相互正交，则此时不需要多元回归，每个参数 k 都可以通过 Y 对 Xk 的一元回归而得到。例如，在包含 X2 和 X3 的二元回归模型中，如果 rX X 0 ，2 3即 x2i x3i 0 ，则 x y 2i i3ixx y2y3i i2i i222i2、解释变量 Xk 和 Xl 完全多重共线性 rXk Xl 1此时模型参数将无法确定，最小二乘估计量无解。直观地看，当两

3、变量按同一方式变化时，要区别每个解释变量对被解释变量的1影响程度就非常。3、解释变量 Xk 和 Xl 存在一定程度的线性关系0 1rX Xk l 1 ，实际中常遇到的是这种情形。随着共线性程度的加强 rX X k l对参数估计值的准确性、稳定性带来影响。当 rX X 接近于 1 时，k l称为近似多重共线性。无需考虑完全多重共线性，于是简称近似多重共线性为多重共线性。关心的不是有无多重共线性，而是多重共线性的程度。二、多重共线性原因1、经济变量在时间上有共同变化的趋势如在经济上升时期，收入、消费、就业率等都增长，当经济处于收缩期，这些变量都下降或增长率下降。当这些变量同时作为解释变量就会给模型

4、带来多重共线性问题。2、解释变量与其滞后变量同时作为解释变量3、多重共线性本质上是样本现象或数据问题X3样本X2如果解释变量本身之间具有精确的线性关系，则模型设定存在问题，而不是数据问题。模型设定正确是模型估计的前提。4.1.2 多重共线性引起的一、多重共线性的理论实际上，在近似多重共线性情况下，模型仍满足 CLRM 的基本假设，根据1、无偏性定理，参数的 OLS 估计量仍是 BLUE。无偏性属重复抽样性质：假设可获得多个样本，对每个样本都可计算相应的 OLS 估计量，这些估计量的平均值将趋于总体参数。但实际中不可能得到多个样本。估计量的无偏性对于给定一个样本情况下意义不大。2、有效性在所有线

5、性无偏估计量中，OLS 估计量的方差最小，即 仍具有有效性（书上“丧失有效性”说法欠妥），但并不意味着方差本身X X 0 时， var = 2 X X 1 变得很大，估会很小。当计很确。2二、多重共线性的实际1、OLS 估计量方差或标准差偏大二元回归模型： 3i2xvar 222 2x x2i 3i121 r2x2i23 2VIF 2i2x1其中，VIF ，r23 是X2 和X3 的简单相关系数。称 VIF 为方1 r 223差膨胀因子。 2同理， var VIF 。 3i32x估计量的方差取决于： 2 、该变量的离差平方和和方差膨胀因子。 21补充： var =k2x1 R2kikR2 为第

6、 k 个解释变量对其他所有解释变量回归的拟合优度。k2、置信区间变宽3、t 值变小4、R2 较大，t 值偏小甚至不显著注：计量经济学基础古蒂中文第四版 P333每个解释变量都不显著，但联合显著。See (4-54) on page 90 from Econometricysis (7th Edition, 2012) by Greene.35、OLS 估计量(回归系数)变得不稳定，甚至符号有误y xx yb b b2 3iy 2y3 32i2i3i21 r22x x232i 3i其中，by2、by3 和 b32 分别为 Y 对 X2 、Y 对 X3 和 X3 对 X2 回归的斜率系数。当 X2

7、 和 X3 高度相关时， 的分母近似为 0。2OLS 估计量和它们的标准差对于数据的微小变化很敏感。6、难以区分每个解释变量单独对回归平方和 RSS(或 R2)的贡献4.1.3 多重共线性的检验多重共线性不是存在不存在、而是是否严重是样本问题。一、R2 或 F 值高，但 t 值普遍偏小，甚至不显著二、其中两个解释变量高度相关三、辅助回归辅助回归：一个解释变量对其余解释变量的回归主回归：Y 对所有解释变量的回归。多重共线性Klein 经验法则：当某个辅助回归的 R2 大于主回归的 R2 时，多重共线性将是有害的。四、特征根与指数X X 0 ，所以特征根均不为 0，且均大于 0。由于X X 12

8、K ， 1, 2 , K 为 X X 的特征根。X X 0 时，至少有一个特征根近似为 0；反之，当有一个特当X X 0 ，X 的列向量之间必存在多重共线征根近似为 0 时，性。实际上，设是 X X 的一个近似为 0 的特征根，c 是对应该特征根的特征向量，则X Xc c 0对上式两边c，得cX Xc 0Xc 0 c2 X 2i cK XKi 0 ， i 1, 2, nc1 X1i注意式中不应有c0 。X X 有多少个特征根近似于 0，数据矩阵 X 就有多少个如式的多重共线性性关系。m指数CIk ， k 1, 2, Kk其中， m 为 X X 的最大特征根。4经验法则：当 0CI10 时，数据

9、矩阵 X 没有多重共线性；当 10CI 0，k 称为岭参数或偏参数。性质 1 在岭参数 k 与 Y 无关情况下，岭回归估计量 (k) 是最小二乘估计量 的一个线性变换，也是 Y 的线性组合。 (k) X X kI 1 X Y X X kI 1 X X + e X X kI 1 X X 性质 2 岭回归估计量 (k) 是回归参数 的有偏估计。1E (k) EX X kIX Y X X kI 1 X E Y X X kI 1 X X 性质 3 存在 k，使得 MSE (k ) MSE 。向量的均方误差定义： MSE E MSE E E E E E E p p 2var bias iii1i1p M

10、SE ii1岭回归法实际上是用偏误换取更小方差。岭参数的选择74.1.5 多重共线性检验及克服举例表 4.2.wf1Y财政收入X1工业X4消费X2农业X5X3建筑X6受灾ls y c x1 x2 x3 x4 x5 x6Dependent Variable: YVariableCoefficientStd. Errort-SisticProb.C X1 X2 X3 X4 X5X6-6922.5880.125541-0.9360260.0396810.5721060.091992-0.04669715050.790.2826830.1090301.2421770.1506330.1419490.0

11、30448-0.4599480.444104-8.5850400.0319453.7980040.648068-1.5336930.65780.66870.00000.97530.00530.53510.1636R-squaredAdjusted R-squared0.997856F-sistic0.996248Prob(F-sistic)620.56070.000000一、多重共线性性检验1、R2 大，但 t 值大部分偏小，很可能存在多重共线性。2、两两变量相关系数show x1 x2 x3 x4 x5 x6view/CovarianceX1ysisX2X3X4X5X6X1 X2 X3 X4 X5X61.0000000.944935 1.0000000.998864 0.949525 1.0000000.996144 0.924858 0.992650 1.0000000.983926 0.953156 0.985532 0.977385 1.000000 0.3704340.328126 0.267888