专题二多重共线性

1一、多重共线性的概念二、产生多重共线性的原因三、多重共线性对OLS估计量的影响四、多重共线性现象的侦察五、对多重共线性问题的补救专题二：多重共线性Multi-Collinearity27.1多重共线性的概念

1.多重共线性的概念

对于模型

Yi=0+1X1i+2X2i++kXki+i

i=1,2,…,n其基本假设之一是解释变量是互相独立的。如果某两个或多个解释变量之间出现了相关性，则称为多重共线性(Multicollinearity)。3

一、完全多重共线性

如果存在

c1X1i+c2X2i+…+ckXki=0

i=1,2,…,n

其中:ci不全为0，则称为解释变量间存在完全多重共线性（perfectmulticollinearity）。在矩阵表示的线性回归模型Y=X+中，完全共线性指：秩(X)<k+1，即：中，至少有一列向量可由其他列向量（不包括第一列）线性表出。如X2=kX1，则X2对Y的作用可由X1代替。4注意：

完全多重共线性的情况在经济学中并不多见，一般出现的是在一定程度上的共线性，即不完全的多重共线性。二、不完全多重共线性如果存在

c1X1i+c2X2i+…+ckXki+vi=0

i=1,2,…,n

其中ci不全为0，vi为随机误差项，则称为不完全多重共线性或欠完全多重共线性（approximatemulticollinearity）。57.2.产生多重共线性的原因

一般地，产生多重共线性的主要原因有以下四个方面：

（1）经济变量相关的共同趋势

时间序列样本：经济繁荣时期，各基本经济变量（收入、消费、投资、价格）都趋于增长；衰退时期，又同时趋于下降。

横截面数据：生产函数中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，小企业都小。（2）滞后变量的引入

在经济计量模型中，往往需要引入滞后经济变量来反映真实的经济关系。

例如，消费=f(当期收入,前期收入），显然，两期收入间有较强的线性相关性。

6（3）多项式项的引入

如研究企业的成本与产量之间的关系时，往往在成本模型中引进产量的三次方，即：在这种模型中，解释变量之间可能存在一定程度的多重共线性。（4）样本资料的限制

由于完全符合理论模型所要求的样本数据较难收集，特定范围内抽取样本可能存在某种程度的多重共线性。进一步地讲，如果在实际应用中我们有足够多的样本，解释变量的多重共线性程度就会大大降低。这就再次说明，多重共线性本质上是样本问题。77.3多重共线性对OLS估计量的影响一、完全多重共线性对OLS估计量的影响1、完全共线性下参数估计量不确定的的OLS估计量为：如果存在完全共线性，则(X’X)-1不存在，无法得到参数的估计量。2、参数估计量方差无穷大对于模型：，其OLS估计量的方差为：8

在完全多重共线性下，导致上面两式的分母都等于0，因此OLS估计量的方差和标准误都是无穷大。

二、不完全多重共线性下OLS的后果

不完全的多重共线性下，可以得到OLS参数估计量，但参数估计量方差的表达式为

由于|X’X|0，引起(X’X)-1主对角线元素较大，使参数估计值的方差增大，OLS参数估计量仍然是有效，但有效并不意味着方差的值较小。1.参数估计量的方差增大以二元线性离差模型

：y=1x1+2x2+为例:9X1与X2的线性相关系数的平方r2，由于r2

1，故1/(1-r2)1。在X1与X2为不完全多重共线性时，OLS估计量方差会很大，而且随着共线性程度增加，两个估计量的方差也将随之增大。因此，从这个角度看，解释变量具有不完全多重共线性时，OLS的估计量虽然仍具有最小方差性，但方差最小是相对其他的线性和无偏估计量而言。2.参数的估计精度较低当存在不完全多重共线性时，从上面已经知道，参数的OLS估计量方差较大，其标准误也就较大，从而使得参数估计量的精度较低。10

3.参数估计量经济含义不合理如果模型中两个解释变量具有线性相关性，例如X2=X1

，这时，X1和X2前的参数1、2并不反映各自与被解释变量之间的结构关系，而是反映它们对被解释变量的共同影响。1、2已经失去了应有的经济含义，于是经常表现出似乎反常的现象：例如1本来应该是正的，结果恰是负的。在含两个解释变量的回归模型中，的经济含义是：在X2保持不变的条件下，X1变化一个单位会导致被解释变量平均变化个单位，显然如果两个解释变量存在较强的线性关系，则在保持X2不变的条件下，X1变化一个单位时，X2也会变化，因此，不能正确度量解释变量X1单独对被解释变量的平均影响。114.显著性检验的结论可能失效存在不完全多重共线性时参数估计值的方差与标准差变大容易使通过样本计算的t值小于临界值，误导作出参数为0的推断可能将重要的解释变量排除在模型之外*注：使本来影响显著的变量变得不显著。或者更准确地说，在不完全多重共线性下，t检验更容易接受原假设。125.OLS估计量及其标准误对样本数据微小变化较敏感

以两个解释变量的回归模型为例，OLS估计量的方差和标准误都与解释变量之间的相关系数有关，而相关系数的微小变化，都导致的变化非常明显，从而使标准误会发生显著变化。如：当由0.9增加到0.95时，的值由10增加到20。13总结：

除非是完全多重共线性，否则多重共线性并不意味着任何基本假设的违背；也就是说，不完全的多重共线性并不违背经典假定；因此，即使出现较高程度的多重共线性，OLS估计量仍然具有最佳线性无偏估计量的统计性质，即高斯-马尔科夫定理仍然成立；

问题在于，即使OLS法仍是最好的估计方法，它却不是“完美的”，尤其是在统计推断上无法给出真正有用的信息。因为，模型存在多重共线性时，OLS估计量的方差会增大，因此，无论是参数的估计还是参数的统计推断都是不可靠的。14

多重共线性表现为解释变量之间具有相关关系，所以用于多重共线性的检验方法主要是统计方法。

1、相关系数法

(1)对两个解释变量的模型，采用简单相关系数法求出X1与X2的简单相关系数r，若|r|接近1，则说明两变量存在较强的多重共线性。经验表明，当r的值大于或等于0.8时，说明存在多重共线性。

(2)对多个解释变量的模型，采用相关系数矩阵法，但是相关系数矩阵法是存在多重共线性的充分条件而不是必要条件。尤其在多于两个解释变量的回归模型中，有时较低的简单相关系数也意味着可能存在比较严重的多重共线性，因此仅利用相关系数来判断是否存在多重共线性，有时不能准确判断多重共线性的严重程度。7.4对多重共线性现象的侦察15162、辅助回归法利用模型中每一个解释变量分别以其余解释变量为解释变量进行回归，并计算相应的拟合优度。如果某一种回归的判定系数较大，说明Xj与其他X间存在共线性。判别的标准是回归模型是否通过F检验。具体可进一步对上述回归方程作F检验，构造如下F统计量

式中：Rj•2为第j个解释变量对其他解释变量的回归方程的判定系数，若存在较强的共线性，则Rj•2较大且接近于1，这时（1-Rj•2

）较小，从而Fj的值较大。因此，给定显著性水平，计算F值，并与相应的临界值比较，来判定是否存在相关性。1718192021

3.根据回归结果来判断（1）对于原始的多元回归模型，当增加、剔除或者改变一个变量的观测值(不是异常值)时，回归参数的估计值和标准误发生较大变化，据此可以判断回归方程可能存在严重的多重共线性。这是因为数据的微小变化，引起了解释变量之间的相关关系发生明显变化，从而导致回归系数的估计值和标准误发生较大变化。因此，在实证研究中，由于样本数据发生的微小变化而对估计结果产生较大影响，隐含着模型中可能存在严重的多重共线性。（2）在回归方程中，一些理论上显著的重要解释变量的回归系数的标准误较大，t统计量值较小而不能拒绝原假设，同时又很高(或F检验能显著拒绝原假设)，这种情况可初步判断存在严重的多重共线性。22

上式的第一行是对应参数估计值的t统计量，第二行是对应的t检验的p-值。从回归结果来看，当显著性水平为5%时，所有参数OLS估计量的p值都大于0.05，说明t检验的结论是都不能拒绝原假设。而从模型的F检验来看，F统计量的p值是0，说明模型是显著成立的，同时R2很高(=0.97)。综上所述，如果按照t检验的结果，所有的解释变量对被解释变量的影响是不显著的，而按照F检验的结果，模型又具有总体显著性。也就是说，t检验的结果和F检验的结果相互矛盾，这种矛盾的根源在于多元线性回归模型存在严重的多重共线性现象。在例7.1中，利用Eviews6.0对模型进行估计，估计的结果如下：23（3）如果有些解释变量的回归系数的符号与经济原理相违背，这种现象表明很可能存在多重共线性。我们在前面已经说明，多重共线性可能扭曲了参数的经济含义。4.方差膨胀因子(VIF)检验

对于多元线性模型，解释变量的参数估计值的方差可以表示为：其中是的方差膨胀因子，即：

是第j个解释变量与其它所有解释变量回归时的判定系数，经验表明：当方差膨胀因子大于10时，认为存在严重的多重共线性。24

在例7.1中，在上面辅助回归的基础上，可以直接得到各个解释变量的方差膨胀因子，分别是VIF1＝8.176；VIF2=48.41；VIF3=15.42；VIF4=39.281;；VIF5=105.03

除了第一个解释变量的VIF小于10以外，其余四个解释变量的VIF都大于10，说明模型存在严重的多重共线性。25

1.剔除变量法这是消除多重共线性最简单的一种方法。当回归方程中存在严重的多重共线性，可以删除引起多重共线性的解释变量。以辅助回归模型(7.4.1)为例，通过F检验发现变量Xj是其他解释变量的近似的线性组合，一个最为简单的方法是在回归模型中去掉变量Xj。这种去掉变量的方法可以持续下去，直到所有的辅助回归模型都不能通过F检验为止。注意：根据经济理论建立的回归模型，去掉某些解释变量会导致模型的设定误差，从而使参数的OLS估计产生偏误，因此在使用该方法时要慎重。

7.5对多重共线性问题的补救262.增大样本容量造成多重共线性的直接原因是参数OLS估计量的标准误增大，因此如何减小因多重共线性导致OLS估计量的标准误是解决多重共线性问题的目的之一。我们知道，增加样本容量，可以提高回归参数的估计精度，即可以导致回归参数的方差和标准误减小，t检验值也随之增大，因此尽可能地收集足够多的数据可以改进模型参数的估计，提高参数估计的精度和假设检验的有效性。3.变换模型形式将原设定的模型形式作适当的变换，可以有效地消除或减弱原模型中解释变量之间的相关性，从而减弱多重共线性的影响。一般的变换方式包括：①变换模型的函数形式，如把线性模型变换为对数模型等；②变换模型的变量形式，如差分变换和对变量做对数变换等。以差分变换为例，对变量进行差分可以减弱多重共线性，因为增量之间的相关性往往要低于水平值之间的相关性。差分变换的缺陷是丢弃了X、Y变量水平值之间的数量关系。274.逐步回归法

逐步回归法是指在选择变量时，遵从“由少到多”的原则，即从所有解释变量中间先选择影响最为显著的变量建立模型，然后再将模型之外的变量逐个地引入；每引入一个变量，就对模型中所有解释变量进行显著性检验，并从中剔除不显著变量；逐步引入-剔除-引入，直到模型之外所有变量均不显著。

具体步骤：先利用相关系数从所有解释变量中选取相关性最强的变量建立模型；然后在一元回归模型中引入第二个变量，第三个变量，…，选择原则是：每个解释变量影响显著、参数符号正确、修正的判定系数有所提高。

28293031325.无为而治——什么也不做以上对多重共线性的补救方法，每种补救方法都存在一定程度上的缺陷，所以什么也不做常常是正确的选择。原因在于，多重共线性对回归参数估计量的影响并非总是导致它的符号与经济理论不同，多重共线性对假设检验的影响并非总是使得t检验本应显著而降低到不显著。因此，除非所面对的多重共线性极其严重，否则，通常的补救方法是无为而治，即不对多重共线性进行任何补救。具体而言，对于一个估计的多元线性回归模型，如果假设检验的结论是正确或者与经济理论一致，其估计结果与经济学的理论或者预期吻合，或者估计结果已经揭示了经济现实的特征、体现出明显的现实意义。对于这种估计的模型中所隐含的多重共线性，不予检验，也不予补救，这就是无为而治——什么也不做的内涵。33本章小结:1.多重共线性是指解释变量X之间有准确或近似的线性关系。多重共线性问题本质上是样本问题。2.多重共线性分为两种：完全多重共线性和不完全多重共线性，其中不完全多重共线性比较普遍，而完全多重共线性很少出现。3.不完全多重共线性虽然不违反经典假定，但他会导致参数的OLS估计量具有较大的方差和标准误，因而统计推断不可靠。4.

多重共线性的侦察包括相关系数矩阵法、辅助回归法、方差膨胀因子法、回归结果的直观判断法。5.多重共线性的补救包括增加样本容量、去掉引起共线性的解释变量、变换变量或者变换模型的形式、逐步回归法、无为而治等方法。操作练习——中国粮食生产函数

根据理论和经验分析，影响粮食生产（Y）的主要因素有：农业化肥施用量（X1）；粮食播种面积(X2)

成灾面积(X3);农业机械总动力(X4);

农业劳动力(X5)

已知中国粮食生产的相关数据，建立中国粮食生产函数：

Y=0+1X1+2X2+3X3+4X4