第三讲 多重共线性

1、多重共线性多重共线性一、多重共线性的概念一、多重共线性的概念 对于模型对于模型 Yi= 0+ 1X1i+ 2X2i+ kXki+ i i=1,2,n其基本假设之一是解释变量是互相独立的。其基本假设之一是解释变量是互相独立的。 如果某两个或多个解释变量之间出现了相如果某两个或多个解释变量之间出现了相关性，则称为关性，则称为多重共线性多重共线性(Multicollinearity)。 如果存在如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其中其中: ci不全为不全为0，则称为解释变量间存在，则称为解释变量间存在完全共线完全共线性性（perfect multicollineari

2、ty）。 如果存在如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其中其中ci不全为不全为0，vi为随机误差项，则称为为随机误差项，则称为 近似近似共线性共线性（approximate multicollinearity）或或交交互相关互相关(intercorrelated)。 在矩阵表示的线性回归模型在矩阵表示的线性回归模型 Y=X + 中，中，完全共线性完全共线性指：指：秩秩(X)k+1，即，即knnnkkXXXXXXXXXX212221212111111中，至少有一列向量可由其他列向量（不包括第中，至少有一列向量可由其他列向量（不包括第一列）线性表出。一列）线性表

3、出。 如：如：X2= X1，则，则X2对对Y的作用可由的作用可由X1代替。代替。二、实际经济问题中的多重共线性二、实际经济问题中的多重共线性 一般地，产生多重共线性的主要原因有以一般地，产生多重共线性的主要原因有以下三个方面：下三个方面：（1 1）经济变量相关的共同趋势）经济变量相关的共同趋势 时间序列样本：时间序列样本：经济经济繁荣时期繁荣时期，各基本经，各基本经济变量（收入、消费、投资、价格）都趋于增济变量（收入、消费、投资、价格）都趋于增长；长；衰退时期衰退时期，又同时趋于下降。，又同时趋于下降。 （2 2）滞后变量的引入）滞后变量的引入 在经济计量模型中，往往需要引入滞后经济变在经济计

4、量模型中，往往需要引入滞后经济变量来反映真实的经济关系。量来反映真实的经济关系。 例如例如，消费，消费=f(当期收入当期收入, 前期收入）前期收入） 显然，两期收入间有较强的线性相关性。显然，两期收入间有较强的线性相关性。横截面数据横截面数据：生产函数中生产函数中，资本投入与劳动力资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，投入往往出现高度相关情况，大企业二者都大，小企业都小。小企业都小。（3 3）样本资料的限制）样本资料的限制 由于完全符合理论模型所要求的样本数据较难由于完全符合理论模型所要求的样本数据较难收集，特定样本可能存在某种程度的多重共线性。收集，特定样本可能存在某种程

5、度的多重共线性。 多重共线性是一个样本特性多重共线性是一个样本特性 一般经验一般经验： 时间序列数据时间序列数据样本：简单线性模型，往往样本：简单线性模型，往往存在多重共线性。存在多重共线性。 截面数据截面数据样本：问题不那么严重，但多重样本：问题不那么严重，但多重共线性仍然是存在的。共线性仍然是存在的。 三、多重共线性的后果三、多重共线性的后果1 1、完全共线性下参数估计量不存在、完全共线性下参数估计量不存在如果存在如果存在完全共线性完全共线性，则，则(XX)-1不存在，无法得不存在，无法得到参数的估计量。到参数的估计量。XY的的OLS估计量为：估计量为：YXXX1)(2 2、近似共线性下、

6、近似共线性下OLS估计量非有效估计量非有效 近似共线性下，可以得到近似共线性下，可以得到OLS参数估计量，参数估计量， 但参数估计量但参数估计量方差方差的表达式为的表达式为 由于由于|XX| 0，引起，引起(XX) -1主对角线元素较主对角线元素较大，使参数估计值的方差增大，大，使参数估计值的方差增大，OLS参数估计量参数估计量非有效。非有效。12)()(XXCov仍以二元线性模型仍以二元线性模型 y= 1x1+ 2x2+ 为例为例: 2221221212221222122211121)(1/)()()var(iiiiiiiiiixxxxxxxxxxXX221211rxi2221221)(ii

7、iixxxx恰为恰为X1与与X2的线性相关系数的平方的线性相关系数的平方r2由于由于 r2 1，故，故 1/(1- r2 ) 1多重共线性使参数估计值的方差增大多重共线性使参数估计值的方差增大，1/(1-r2)为为方方差膨胀因子差膨胀因子(Variance Inflation Factor, VIF)当完全不共线完全不共线时, r2 =0 2121/)var(ix当近似共线近似共线时, 0 r2 15.19，故认上述粮食生产的总体线，故认上述粮食生产的总体线性关系显著成立。但性关系显著成立。但X4 、X5 的参数未通过的参数未通过t检验，且检验，且符号不正确，故符号不正确，故解释变量间可能存在

8、多重共线性解释变量间可能存在多重共线性。54321028. 0098. 0166. 0421. 0213. 644.12816XXXXXY (-0.91) (8.39) (3.32) (-2.81) (-1.45) (-0.14)2 2、检验简单相关系数、检验简单相关系数n发现：发现： X1与与X4间存在高度相关性。间存在高度相关性。 列出列出X1，X2，X3，X4，X5的相关系数矩阵：的相关系数矩阵：X1X2X3X4X5X11.000.010.640.960.55X20.011.00-0.45-0.040.18X30.64-0.451.000.690.36X40.96-0.040.691.0

9、00.45X50.550.180.360.451.003 3、找出最简单的回归形式、找出最简单的回归形式n可见，应选可见，应选第第1 1个式子个式子为初始的回归模型。为初始的回归模型。 分别作分别作Y与与X1，X2，X4，X5间的回归：间的回归：1576. 464.30867XY (25.58) (11.49) R2=0.8919 F=132.1 DW=1.562699. 018.33821XY (-0.49) (1.14) R2=0.075 F=1.30 DW=0.124380. 00 .31919XY (17.45) (6.68) R2=0.7527 F=48.7 DW=1.115240.

10、 219.28259XY (-1.04) (2.66)R2=0.3064 F=7.07 DW=0.364 4、逐步回归、逐步回归 将其他解释变量分别导入上述初始回归模型，寻找将其他解释变量分别导入上述初始回归模型，寻找最佳回归方程。最佳回归方程。CX1X2X3X4X52RDWY=f(X1)308684.230.88521.56 t值25.5811.49Y=f(X1,X2)-438714.650.670.95582.01t值-3.0218.475.16Y=f(X1,X2,X3)-119785.260.41-0.190.97521.53t值0.8519.63.35-3.57Y=f(X1,X2,X3

11、,X4)-130566.170.42-0.17-0.090.97751.80t值-0.979.613.57-3.09-1.55Y=f(X1,X3,X4,X5)-126905.220.40-0.200.070.97981.55t值-0.8717.853.02-3.470.375 5、结论、结论最优回归：最优回归：32119. 041. 026. 511978XXXY案例二：经济增长的结构研究案例二：经济增长的结构研究（岭回归法的应用）（岭回归法的应用） 1、问题的提出、问题的提出 改革开放以来，经济结构调整已经成为引改革开放以来，经济结构调整已经成为引致经济持续高速增长的一个重要因素。但经济致经

12、济持续高速增长的一个重要因素。但经济结构调整在何种程度上，以及通过何种机制影结构调整在何种程度上，以及通过何种机制影响了我国的高速经济增长，仍然是一个理论上响了我国的高速经济增长，仍然是一个理论上没有完全解决的问题。而西方对经济结构和经没有完全解决的问题。而西方对经济结构和经济增长关系的研究由于抽象了所有制结构和区济增长关系的研究由于抽象了所有制结构和区域结构等因素，从而有一定的局限性。域结构等因素，从而有一定的局限性。2、模型的确定、模型的确定首先以首先以C-D生产函数为基础模型生产函数为基础模型eKLAY假定该生产函数满足假定该生产函数满足规模报酬不变规模报酬不变（+=1）的假设，则为避免

13、多重共线性可将模型变换的假设，则为避免多重共线性可将模型变换为下式：为下式：eLKALYu)/(/1模型的变换模型的变换在此基础上加入产业结构特征系数在此基础上加入产业结构特征系数x1 、区域、区域结构特征系数结构特征系数x2、企业所有制结构特征系数、企业所有制结构特征系数x3、工业结构系数、工业结构系数x4 用用y y替代替代Y/LY/L，k k替代替代K/LK/L，替代替代1-1-，则，则上式可以进一步正规化为：上式可以进一步正规化为：ekAyu指标含义指标含义产业结构系数（产业结构系数（X1）：）：主要反映非农产业的变化主要反映非农产业的变化情况，该指标以非农产业产值占情况，该指标以非农

14、产业产值占GDP的比重来表示的比重来表示地区结构系数（地区结构系数（X2）：）：主要反映城乡差距，主要反映城乡差距，X2=（1-农民人均纯收入农民人均纯收入/城镇居民人均可支配收入），城镇居民人均可支配收入），如过如过X2增大，则意味着城乡收入差距的拉大增大，则意味着城乡收入差距的拉大所有制结构系数（所有制结构系数（X3）：）：主要反映非公有制企业主要反映非公有制企业的发展对产出的影响，该指标以非公制企业产值占的发展对产出的影响，该指标以非公制企业产值占工业总产值的比重来表示工业总产值的比重来表示工业结构系数（工业结构系数（X4）：）：主要反映轻工业与重工业主要反映轻工业与重工业结构变化对产出

15、的影响，该指标以轻工业占重工业结构变化对产出的影响，该指标以轻工业占重工业产值的比重来表示产值的比重来表示模型形式的进一步确定模型形式的进一步确定 Yln895. 02R955. 0R2 = -2.352 + 13.578 x1 (-4.791) (19.633) se =0.186 F=385.449 以以x1为例，通过线性模型、双对数模型、为例，通过线性模型、双对数模型、半对数模型，最终选择如下模型（半对数半对数模型，最终选择如下模型（半对数模型）模型）模型最终形式模型最终形式ekAyxxxx44332211模型初步回归结果模型初步回归结果yln799. 02R996. 0R2= -1.7

16、66 + 0.949lnk +4.062 x1 2.974 x20.012 x3 +0.013 x4 (-2.091) (11.528) (3.123) (-3.230)(-2.091) (11.528) (3.123) (-3.230)( (-0.070-0.070) ) （0.0430.043） se=0. 054 DW=1.686 F=221.761通不过通不过t检验，并且检验，并且X3的系数的系数为负也明显不合理为负也明显不合理解释变量的相关系数矩阵解释变量的相关系数矩阵lnkx1x2x3x4lnk1.954(*).761(*).810(*)-.851(*)x1.954(*)1.696

17、(*).915(*)-.787(*)x2.761(*).696(*)1.495(*)-.877(*)x3.810(*).915(*).495(*)1-.637(*)x4-.851(*) -.787(*) -.877(*)-.637(*)1多重共线性多重共线性严重严重多重共线性问题的补救措施之一多重共线性问题的补救措施之一n岭回归岭回归 核心思想核心思想保证逆矩阵的存在保证逆矩阵的存在yXkIXXk1)()(利用利用SPSS软件做岭回归过程软件做岭回归过程0.000000.200000.400000.600000.800001.00000-0.2000000.0000000.2000000.4000000.6000000.8000001.000000lnkKx1Kx