第四章 多重共线性

第四章多重共线性第一页，共六十二页，2022年，8月28日2

基本假定的回顾与分析：●

零均值假定

(只影响截距项，不影响斜率系数)●同方差假定●无自相关假定●

解释变量非随机，或虽随机但与u不相关

在单一方程模型中，从重复抽样的角度一般是合理的。在某些单一方程模型中和联立方程模型中可能会违反。●

无多重共线性假定●正态性假定（不影响OLS估计是BLUE）根据中心极限定理，样本容量无限增大时，OLS趋于正态分布结论：需要专门讨论无多重共线性、同方差、无自相关第二页，共六十二页，2022年，8月28日第三页，共六十二页，2022年，8月28日违背假定6的情况在随机误差项不再服从正态分布的条件下，如果建立回归模型的目的仅是估计参数的话，则这一假定是否成立并不重要。但如果利用参数估计对总体进行统计推断，则这一假定不满足将对分析会产生影响。当在大样本情况下，根据中心极限定理，随机误差项应近似地服从正态分布。基于上述描述，对假定6是否成立可弱化看待。三、对违背假定2、3、4、5讨论的思路给出违背假定的定义；提出违背假定时对模型的影响后果；对违背假定的各种表现的检验（诊断）；修正违背假定的表现（其中假定4的讨论将在第七章第四节、第九章第三节和第十一章第一节介绍）。第四页，共六十二页，2022年，8月28日5引子：

发展农业和建筑业会减少财政收入吗？

为了分析各主要因素对国家财政收入的影响，建立财政收入模型:其中:CS财政收入(亿元);

NZ农业增加值(亿元);GZ工业增加值(亿元);

JZZ建筑业增加值(亿元);TPOP总人口(万人);

CUM最终消费(亿元);SZM受灾面积(万公顷)

。数据样本时期1978年-2003年（资料来源：《中国统计年鉴2004》，中国统计出版社2004年版）

采用普通最小二乘法得到以下估计结果第五页，共六十二页，2022年，8月28日6

VariableCoefficientStd.Errort-StatisticProb.农业增加值NZ-1.5350900.129778-11.828610.0000工业增加值GZ0.8987880.2454663.6615580.0017建筑业增加值JZZ-1.5270891.206242-1.2659890.2208总人口TPOP0.1511600.0337594.4776460.0003最终消费CUM0.1015140.1053290.9637830.3473受灾面积SZM-0.0368360.018460-1.9953820.0605截距项-11793.343191.096-3.6957040.0015R-squared0.995015Meandependentvar5897.824AdjustedR-squared0.993441S.D.dependentvar5945.854S.E.ofregression481.5380Akaikeinfocriterion15.41665Sumsquaredresid4405699.Schwarzcriterion15.75537Loglikelihood-193.4165F-statistic632.0999Durbin-Watsonstat1.873809Prob(F-statistic)0.000000财政收入模型的EViews估计结果关注：1.、F统计量；2.t统计量；3.参数估计值.第六页，共六十二页，2022年，8月28日7●可决系数为0.995，校正的可决系数为0.993，模型拟合很好。模型对财政收入的解释程度高达99.5%。F统计量为632.10，说明0.05水平下回归方程整体上显著

●

t检验结果表明，工业、农业增加值和总人口对财政收入影响显著，其他因素对财政收入的影响均不显著。

●农业增加值和建筑业增加值的回归系数为负数，

农业和建筑业的发展反而会使财政收入减少吗？!这样的结果显然与理论分析和实践经验不相符。为什么会出现这样的异常结果呢？如果模型设定和数据真实性没有问题，问题出在哪里呢？模型估计检验结果分析：第七页，共六十二页，2022年，8月28日888估计结果：取，查临界值表得

分析：样本回归方程的较大，F检验也十分显著但是所有斜率系数的t统计量均小于临界值（全不显著！）肉X4、蛋X5的参数为正，而鱼虾X6的参数为负，如何解释？

为什么出现这种奇怪结果！？引例2：天津市粮食销售量及影响因素分析第八页，共六十二页，2022年，8月28日9第四章多重共线性本章讨论四个问题：●多重共线性的实质与产生原因●多重共线性的后果●多重共线性的检测（判断）方法●多重共线性的补救方法

第九页，共六十二页，2022年，8月28日在第三章多元线性回归模型中,为了对参数采用OLS法进行估计,我们给出了六个假定,其中之一就是假定解释变量之间没有多重共线性(Multi-Collinearity)，即假定各个解释变量之间不存在线性关系,或者说各个解释变量的观测值之间线性无关.

现实计量经济研究中,这种无多重共线性的假定往往会被违反.一、多重共线性的含义

如果某两个或多个解释变量之间出现了相关性，则称为多重共线性。第十页，共六十二页，2022年，8月28日

在计量经济学中所谓的多重共线性(Multi-Collinearity)，不仅包括完全的多重共线性，还包括不完全的多重共线性,或者说不仅包括精确的线性关系,还包括近似线性关系。对于解释变量，如果存在不全为0的数，使得则称解释变量之间存在着完全的多重共线性。第十一页，共六十二页，2022年，8月28日用矩阵表示,解释变量的数据矩阵为第十二页，共六十二页，2022年，8月28日当时，表明在数据矩阵中，至少有一个列向量可以用其余的列向量线性表示，则说明存在完全的多重共线性。

在经济现象中完全多重共线性十分少见。因为，实际数据不会有这么巧的精确的数学关系式。但是个别情况也是存在的，如消费与收入有关，如果用劳动收入和财产收入作为解释变量，还要用总收入作为解释变量，而总收入=劳动收入+财产收入这就存在完全多重共线性的危险，在这种情况下，只能得到总收入对消费的影响，而无法区分劳动收入、财产收入各自对消费的影响。因此，在建模过程中需要特别注意。完全多重共线性只是共线性的一种极端情况，大多数经济现象是下面的不完全多重共线性，怎样表示才符合在经济学中解释的那种变量之间的非精确关系呢？第十三页，共六十二页，2022年，8月28日不完全的多重共线性

实际经济问题中中，完全多重共线性并不多见,常见的情形是解释变量之间存在不完全的多重共线性。

对于解释变量，存在不全为0的数，使得

为随机变量。这表明解释变量只是一种近似的线性关系。其中，第十四页，共六十二页，2022年，8月28日如果k-1个解释变量之间不存在完全或不完全的线性关系,则称为无多重共线性,若用矩阵表示,这时的X是满秩矩阵,即Rank(X)=k.注意:解释变量之间不存在线性关系,并不是包括不存在非线性关系,即使存在非线性关系,也并不违反多重共线性的假定.第十五页，共六十二页，2022年，8月28日16能找到不全为0的数，使得（正交变量）完全线性关系不完全线性关系完全无线性关系多重共线性——指解释变量间的线性关系，既包括完全的线性关系，又包括不完全的线性关系

注意：▲多重共线性有个程度的问题▲无多重共线性只排除解释变量间的线性关系，不排除相互之间的非线性关系第十六页，共六十二页，2022年，8月28日

二、产生多重共线性的背景

多重共线性产生的经济背景主要有几种情形：

1.经济变量之间具有共同变化趋势。

比如:对于时间序列数据收入、消费、就业率，在经济上升是都呈现出增长趋势，在经济紧缩时有都呈现出下降趋势。如果将这些变量同时作为解释变量进入模型，就可能造成多重共线性问题。

2.模型中包含滞后变量。

比如：模型中引入解释变量的滞后项时，解释变量与滞后变量呈现出高度相关性，也易于导致多重共线性问题。例如，消费=f(当期收入,前期收入）显然，两期收入间有较强的线性相关性。第十七页，共六十二页，2022年，8月28日

3.利用截面数据建立模型也可能出现多重共线性。利用截面数据建立模型，许多变量变化与发展规模相关，会呈现出共同增长的趋势，这时易于产生多重共线性问题。如生产函数中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，小企业都小。

4.样本数据自身的原因。

样本取值局限于一个有限范围，使得变量变异不大，或多个解释变量受总体所限，样本数据之间存在相关关系，这时易于出现多重共线性。第十八页，共六十二页，2022年，8月28日19第二节多重共线性产生的后果从参数估计看，在完全无多重共线性时，各解释变量都独立地影响被解释变量，多元回归是否还有必要呢?例如，对于与完全不相关时，相关系数即此时对比一元回归时第十九页，共六十二页，2022年，8月28日201.解释变量完全线性相关时——OLS估计式不确定▲从OLS估计式看：此时可以证明（见108页）同理

▲

从偏回归系数意义看：在和完全共线性时，无法保持不变，去单独考虑对Y的影响（和的作用不可区分）

2.解释变量不完全线性相关，但存在高度多重共线性时——回归系数虽可以确定，但方差会变得很大，OLS估计式不精确（下面讲）

一、存在多重共线性时

——OLS估计式变得不确定或不精确第二十页，共六十二页，2022年，8月28日21

二、OLS估计式方差变得很大，标准误差增大

1.当和完全线性相关时——OLS估计式的方差成为无穷大

（证明见P109）

2.当和不完全线性相关时——OLS估计式的方差会增大，例如在有两个解释变量时，可证明(见P110)

当增大时，VIF2

增大，

也会增大，

思考:

当时(与一元回归比较)

第二十一页，共六十二页，2022年，8月28日22例如例如当时，引入任意不为0的数模型变换估计结果当时，所估计的的参数与真实的符号可能相反。

还可能造成参数的联合显著性很高（通过F检验），但各个参数单独的t检验却不显著三、当多重共线性严重时，甚至可能使估计的回归系数符号相反，得出完全错误的结论第二十二页，共六十二页，2022年，8月28日23

1.多重共线性严重时，对总体参数的置信区间趋于增大因为（共线性越严重，和越大，置信区间也增大）2.严重多重共线时，假设检验作出错误判断的概率增大（A）参数的置信区间扩大，使得接受一个本应拒绝的假设（“以假当真”的第二类错误）的概率增大（B）因为，当方差变大时会使t值减小，导致使本应否定的“参数为０”的原假设被接受

四、区间估计和假设检验会出现错误第二十三页，共六十二页，2022年，8月28日24

分析多重共线性后果时应注意：

●存在多重共线性时,OLS估计式还是最佳线性无偏估计式（BLUE）

理解:

无偏性是重复抽样的特性；"最小方差"是相对于其他估计方法而言：

（相对于其他方法方差最小，并不是说相对于估计量的值就小）

“方差变大”是相对于无多重共线性而言

●多重共线性的影响程度与解释变量在方程中的相对“地位”有关

第二十四页，共六十二页，2022年，8月28日25

●如果研究目的仅在于预测Y，而解释变量X之间的多重共线性关系的性质在未来将继续保持（前提条件），这时多重共线性可能并不是严重问题，而应着重于可决系数高，F检验显著。

（理解:出现高度共线性时，虽然无法精确估计个别回归系数，但可精确估计这些系数的某些线性组合。）第二十五页，共六十二页，2022年，8月28日26

第三节多重共线性的检验（判断是否严重）

一、利用解释变量之间的相关系数去判断

1.

只有两个解释变量时：用二者相关系数判断

2.两个以上解释变量时：可用两两变量的相关系数判断（K个变量可用相关系数矩阵）

判断规则：一般而言，如果每两个解释变量的简单相关系数(零阶相关系数)比较高，例如大于0.8，则可认为存在着较严重的多重共线性。注意:简单相关系数只是多重共线性的充分条件，不是必要条件。在有多个解释变量时，较低的相关系数也可能存在较严重多重共线性,因此，不能简单地依据相关系数进行多重共线性的准确判断。第二十六页，共六十二页，2022年，8月28日2727二、直观判断法

（经验方法）以下情况的出现提示可能存在较严重多重共线性：(1)当增加或剔除一个解释变量，或者改变一个观测值时，回归参数的估计值发生较大变化

(2)从定性分析认为一些是重要的解释变量，但其回归系数的标准误差较大，在回归方程中没有通过显著性检验(3)有些解释变量的回归系数的正负号与定性分析结果违背(4)可决系数较高，F检验显著，但偏回归系数的t检验不显著第二十七页，共六十二页，2022年，8月28日28三、利用解释变量之间的辅助回归及检验判断辅助回归：逐次将每一个解释变量作为被解释变量对其它解释变量进行回归分别估计其参数、计算可决系数、作F检验●若辅助回归的F检验显著，认为该变量与其它变量可能存在较严重的多重共线性●若F检验不显著，认为该变量与其它变量不存在严重的多重共线性第二十八页，共六十二页，2022年，8月28日2929四、方差扩大因子法（容许度）多元线性回归模型中，可分别以每个解释变量为被解释变量，作与其他解释变量的辅助回归。以为被解释变量作对其他解释变量的辅助线性回归的可决系数用表示。原回归方程中解释变量的参数估计值的方差可表示为（证明从略）其中的

VIFj

是变量所对应参数估计量的方差扩大因子，也称容许度。其中第二十九页，共六十二页，2022年，8月28日3030对比在只有两个解释变量时(如前面的讨论)当有多个解释变量时，作对其他解释变量的辅助回归，并计算可决系数，注意：

是多个解释变量辅助回归的多重可决系数，

而相关系数只是说明两个变量的线性关系。（一元回归中可决系数的数值等于相关系数的平方）第三十页，共六十二页，2022年，8月28日3131由

越大多重共线性越严重VIFj越大VIFj的大小可以反映解释变量之间存在多重共线性的严重程度。优点：可从数量上判断多重共线性的程度

（给出了一种经验规则）经验表明：

VIFj≥10时，说明该解释变量与其余解释变量之间有严重的多重共线性，且这种多重共线性可能会过度地影响最小二乘估计。

方差扩大因子的作用第三十一页，共六十二页，2022年，8月28日ＶＩＦ的计算以引子为例：１.建立以建筑业增加值ＪＺＺ为被解释变量，其余５个解释变量为解释变量的回归方程，即进行回归，并在ＥｑｕａＴＩｏｎ窗口Ｎａｍｅ处将其命名为ｅｑｊｚｚ。２.在主窗口输入命令：ｓｃａｌａｒｖｉｆｊｚｚ＝１/（１-ｅｑｊｚｚ.@R2）3.双击Ｗｏｒｋｆｉｌｅ中的ｖｉｆｊｚｚ，在主窗口左下角出现建筑业增加值的方差膨胀因子．第三十二页，共六十二页，2022年，8月28日3333五、逐步回归检测法基本思想：将变量逐个的引入模型，每引入一个解释变量后，都要观察可决系数的变化，进行Ｆ检验，并对已经选入的解释变量逐个进行t检验。（1）当引入新变量后可决系数显著改善，原来的解释变量的显著性不变化，说明新变量是独立解释变量（2）当引入新变量后可决系数变化不显著，或使得原来的解释变量变得不再显著时，说明新变量不是独立解释变量，则提示很可能引起了多重共线性。当出现多个解释变量之间高度相关的时候，逐步回归方法是一种检测多重共线性的方法。第三十三页，共六十二页，2022年，8月28日

(1)对两个解释变量的模型，采用简单相关系数法

求出X1与X2的简单相关系数r，若|r|接近1，则说明两变量存在较强的多重共线性。

Eviews中直接选用Corr命令

(2)对多个解释变量的模型，采用综合统计检验法

若在OLS法下，模型的与F值较大，但各参数估计值的t检验值较小，说明各解释变量对Y的联合线性作用显著，但各解释变量间存在共线性而使得它们对Y的独立作用不能分辨，故t检验不显著。一般而言,检验多重共线性是否存在第三十四页，共六十二页，2022年，8月28日多重共线性的主要后果是参数估计量具有较大的方差，所以采取适当方法减小参数估计量的方差，虽然没有消除模型中的多重共线性，但确能消除多重共线性造成的后果。第四节多重共线性的补救

第三十五页，共六十二页，2022年，8月28日1.剔除变量法

把方差扩大因子最大者所对应的自变量首先剔除再重新建立回归方程，直至回归方程中不再存在严重的多重共线性。一般而言，在选择回归模型时，应将回归系数的显著性检验、方差扩大因子的多重共线性检验与解释变量经济含义结合起来，通过经济分析确定变量的相对重要性，剔除不重要的解释变量。注意:

若剔除了重要变量，可能引起模型的设定误差（第九章）。第三十六页，共六十二页，2022年，8月28日372、增加样本容量

多重共线性的后果主要是方差变大，在有两个解释变量时

式中为常数，确定后，当样本容量越大时，越大，可使变小，从而减轻多重共线性的影响

注意：●增大样本容量只能减轻多重共线性的影响，不能根本解决它，当时，仍有●增大样本容量有时十分困难，受到数据来源的限制第三十七页，共六十二页，2022年，8月28日383、利用先验信息先验信息：在此之前的研究所提供的信息。

利用某些先验信息可把有共线性的变量组成新的变量，从而消除多重共线性（举例：生产函数,利用规模报酬不变的先验信息，把有共线性的变量组成新的变量,可避免共线性）（

与有多重共线性）第三十八页，共六十二页，2022年，8月28日394、截面数据与时间序列数据的结合有时在时间序列数据中多重共线性严重的变量，在截面数据中不一定有严重的共线性假定前提：截面数据估计出的参数在时间序列中变化不大方法：先用截面数据估计出一个变量的参数，再代入原模型

用时间序列数据估计另一个变量的参数如（Y商品销售量，P价格，I收入）先用截面数据估计（若各截面价格视为相同，即“保持价格不变”），即

再用时序数据估计第三十九页，共六十二页，2022年，8月28日405、变换模型的形式对存在多重共线性的变量，进行对数变换、一阶差分变换、比率变换等，有时可消除或减轻多重共线性的影响。如一阶差分：注意：一阶差分可能带来新的问题：●虽然和都是序列无关的，但常常是序列相关的，可能会违反无自相关假定.●一阶差分中减少了一个自由度●一阶差分不适于截面数据，因截面数据没有先后顺序第四十页，共六十二页，2022年，8月28日416、逐步回归法基本思想：

用逐步引入变量回归的方法，发现产生共线性的解释变量，并按一定原则将其剔除，从而减少多重共线性影响。方法：

这既是判断是否存在多重共线性的方法，又是解决多重共线性的方法：基本思路的框图为：(见下页)注意:逐步回归剔除变量时应非常谨慎，若剔除了重要变量，可能导致设定误差，而带来更严重的后果。

使用逐步回归剔除变量时要格外小心！第四十一页，共六十二页，2022年，8月28日42将Y对各个分别回归计算各

以最大的作逐步回归的基础逐个将其他变量加入模型回归比较检验新加入后的模型

改善不显著对其他变量影响很小

改善显著多余变量对先引入的变量的显著性无影响使先引入变量参数发生明显变化或使t检验不显著剔除可考虑保留此变量出现多重共线性经比较剔除对Y影响小的变量加入新变量保留最优变量再加入新变量第四十二页，共六十二页，2022年，8月28日7.岭回归方法基本思想:OLS是最佳线性无偏估计式（BLUE），严重多重共线性存在的后果主要是估计量的方差变大，能否设法使参数估计量的方差适当缩小，哪怕稍微牺牲点无偏性呢?设线性回归模型为

参数的OLS估计为

当有严重的多重共线性时，会有

，

将使

随之增大方法:设想给矩阵

加上一个正常数矩阵（）目的:使得的可能性比

的可能性小。43第四十三页，共六十二页，2022年，8月28日岭回归的方法：若

已知岭回归估计为其中称为岭回归估计量，为岭回归参数岭回归的性质：1）当时，实际就是OLS估计2）岭回归估计量是有偏估计当时，，是有偏的.越大时，偏倚越大，越小时，偏倚越小

44岭回归的方法与性质对比第四十四页，共六十二页，2022年，8月28日453）岭回归估计量的方差比OLS估计量

的方差小对比当

时可以证明当时,

为非负定矩阵,因此结论：岭回归虽有偏,但方差比OLS估计小,岭回归可以以牺牲无偏性来寻求参数估计量的方差减小。且当越大时，越大,即越小.第四十五页，共六十二页，2022年，8月28日岭回归系数的确定岭回归方法必须确定岭回归系数，而且岭回归估计的方差和偏倚都与岭回归系数有关：

值越大，

的偏倚越大，但其方差越小。

值越小，

的偏倚越小，但其方差越大。为了兼顾偏倚与方差，可用“最小均方误差MSE原则”选择值。46第四十六页，共六十二页，2022年，8月28日4747补充：关于均方误差(MSE)模型的设定有时需要对无偏性与有效性进行权衡，偏爱哪一方取决于模型的研究目的。为了在无偏性和有效性间加以权衡，可采用均方误差准则均方误差是参数估计值与参数真实值之差平方的期望:容易证明当无法找到无偏估计和最小方差估计时，需要在“较小偏倚”和“较小方差”间权衡，均方误差是可供选择的准则。方差偏倚的平方均方误差第四十七页，共六十二页，2022年，8月28日48目前还没有公认的确定岭回归系数的最优方法经验方法：实际操作上可用逐步搜索法。例如选择的

使各参数估计值的方差扩大因子接近1，参数估计值合理并稳定。但经验方法总是具有主观性，而且缺乏理论依据，这也是岭回归的局限性。岭回归系数的确定第四十八页，共六十二页，2022年，8月28日4949

第五节案例分析

案例1：中国国内旅游收入的分析研究目的：中国国内旅游市场发展迅速，需要定量地研究影响中国国内旅游市场发展的主要原因。经分析，可以旅游收入表示旅游市场发展，除了国内旅游人数和旅游支出外，还可能与旅游基础设施有关。模型设定：其中：——第t年全国旅游收入——国内旅游人数（万人）——城镇居民人均旅游支出（元）——农村居民人均旅游支出（元）——公路里程（万公里）——铁路里程（万公里）第四十九页，共六十二页，2022年，8月28日50501994—2003年的统计数据(教材数据)

年份国内旅游收入Y（亿元）国内旅游人数X2（万人次）城镇居民人均旅游支出X3（元）农村居民人均旅游支出X4（元）公路里程X5（万公里）铁路里程X6（万公里）19941023.552400414.754.9111.785.9019951375.762900464.061.5115.705.9719961638.463900534.170.5118.586.4919972112.764400599.8145.7122.646.6019982391.269450607.0197.0127.856.6419992831.971900614.8249.5135.176.7420003175.574400678.6226.6140.276.8720013522.478400708.3212.7169.807.0120023878.487800739.7209.1176.527.1920033442.387000684.9200.0180.987.30第五十页，共六十二页，2022年，8月28日5151OLS回归结果

第五十一页，共六十二页，2022年，8月28日5252结果分析该模型，可决系数很高，F检验值173.3525,明显显著。但是当时,

不仅、系数的t检验不显著，而且系数的符号与预期的相反，这表明很可能存在严重的多重共线性。

各解释变量的相关系数

各解释变量相互之间的相关系数较高，证实确实存在严重多重共线性。第五十二页，共六十二页，2022年，8月28日5353用方差扩大因子法检验例如作X3对X2、X4、X5、X6的辅助回归得方差扩大因子为：由于，根据经验，说明X3与其他解释变量间有严重多重共线性。其他变量间的多重共线性可用类似方式检验。第五十三页，共六十二页，2022年，8月28日修正多重共线性

—扩大样本到2007年数据年份国内旅游收入Y（亿元）国内旅游人数X2（万人次）城镇居民人均旅游花费X3（元）农村居民人均旅游花费X4（元）公路里程X5（万km）铁路里程X6（万km）19941023.552400414.754.9111.785.9019951375.762900464.061.5115.705.9719961638.463900534.170.5118.586.4919972112.764400599.8145.7122.646.6019982391.269450607.0197.0127.856.6419992831.971900614.8249.5135.176.7420003175.574400678.6226.6140.276.8720013522.478400708.3212.7169.807.0120023878.487800739.7209.1176.527.1920033442.387000684.9200.0180.987.3020044710.7110200731.8210.2187.077.4420055285.9121200737.1227.6193.057.5420066229.74139400766.4221.9345.707.7120077770.62161000906.9222.5358.377.80第五十四页，共六十二页，2022年，8月28日55结果：可决系数F统计量有改善X2变得显著了,但X5变得不显著.X6参数的符号仍然为负说明:

多重共线性问题

还没有解决！第五十五页，共六十二页，2022年，8月28日修正多重共线性

—模型变换56结果：可决系数改变不大,F统计量有改善X2、X3、X4都显著,但X5、X6不显著.X6参数的符号变为正,与经验符合说明:

多重共线性问题有改善,但需分析X5、X6的影响和多重共线性的作用.第五十六页，共六十二页，2022年，8月28日5757修正多重共线性—逐步回归采用逐步回归的办法，去检验和解决多重共线性问题。分别作Y对X2、X3、X4、X5、X6的一元回归。一元回归结果：变量X2X3X4X5X6参数估计值0.058814.022519.610322.59573025.062t统计量18.24889.30903.27108.70849.13920.96520.87840.47140.8634