第7章共线性(计量经济学-中南财经政法大学,向书坚)

经典假设1、回归模型对参数而言是线性的；2、各自变量X的值在重复抽样中是固定的；3、对给定的X，随机干扰项ui的均值为零；4、对给定的X，随机干扰项ui的方差不变；5、对给定的X，随机干扰项ui无自相关；6、如果X是随机的，则干扰项与各X是独立的或不相关；7、观测次数必定大于自变量的个数；8、自变量的取值必须有足够的变异性；9、回归模型是正确设定的；10、自变量之间无准确的线性关系，即无多重共线性；11、随机干扰项ui是正态分布的。2023/1/151CopyRightByShujianXiang经典假定的分类上述经典假定在实际应用中可以划分为两类：（1）关于对模型设定和对随机干扰项ui的假定问题；如上述假定中的1、2、3、4、5、9、11；（2）关于对数据的假定问题，如上述假定中的6、7、8和10；2023/1/152CopyRightByShujianXiang第一类经典假定面临的问题1、要偏离一个具体的假定多远才会产生不可忽视的差别，如正态分布问题；2、在一个具体问题中，怎样能发现某一假定是否被破坏？如正态性检验：卡方检验3、如果一个或多个假定是错误的，我们能采取什么补救性措施，如异方差问题2023/1/153CopyRightByShujianXiang1、某一具体问题的严重性如何，如多重共线性问题；2、怎样确定数据问题的严重性3、一些数据缺陷是否容易得到补救？记住：由于各种原因，无法对这些问题都给出令人满意的答案。对假定1、2、3、6、11中的问题不作探究。第二类经典假定面临的问题2023/1/154CopyRightByShujianXiang第7章多重共线性2023/1/155§7.1多重共线性的性质§7.3出现不完全多重共线性时的估计问题§7.2出现完全多重共线性时的估计问题§7.4多重共线性的理论后果§7.5多重共线性的实际后果§7.6说明性例子§7.7多重共线性的侦察§7.8多重共线性的补救措施

§7.9自变量的选择与回归方法第7章2023/1/156CopyRightByShujianXiang§7.1多重共线性的性质1.完全共线性:解释变量存在下列线性关系:2023/1/157CopyRightByShujianXiang2.欠完全线性关系:

是指解释变量与误差项存在下列线性关系:多重共线性仅仅对X变量之间的线性关系而言。对于非线性关系并不违反“无多重共线性假定”2023/1/158CopyRightByShujianXiang多重共线性的影响如果多重共线性是完全的，各X变量的回归系数将是不确定的，并且其标准误为无重大如果多重共线性是欠完全的，那么，回归系数虽然可以确定，但标准误较大，回归系数的估计精确度下降出现多重共线性时，估计值稳定性差，有时回归方程整体高度显著，有些回归系数则通不过显著性检验，回归系数的符号也可能出现倒置，使得无法对回归方程得到合理的经济解释直接影响到最小二乘法的应用效果，降低回归方程的应用价值应用回归分析例3.32023/1/159CopyRightByShujianXiang3.产生多重共线的原因:(1)数据采集所用的方法。如抽样限于总体中各自变量所取值的一个有限范围内;(2)模型或从中取样的总体受到约束。如电力消费对收入和住房面积的回归时，总体中的有形约束是：收入较高的家庭通常比收入较低的家庭有较大的的住房(3)模型设定。如在回归模型中添加多项式(4)一个过度决定的模型.即模型中的自变量个数大于观测次数，即k>n.

2023/1/1510CopyRightByShujianXiang§7.2出现完全多重共线性时的估计问题1.回归系数的不确定性(以三元为例):2.从(7.2.2)看出,它是一个不定式,说明个别回归系数的确定不是唯一的.2023/1/1511CopyRightByShujianXiang§7.3出现不完全多重共线性时的估计问题1.对于(7.2.1)的模型来说,若2.将(7.3.1)代入(5.4.7)得:3.如果充分的小,(7.3.2)就回到(7.2.2).2023/1/1512CopyRightByShujianXiang（1）对于近似多重共线性而言，OLS估计良仍然是无偏的。但无偏性是重复抽样的性质。即固定X变量反复抽取样本，并对每一个样本计算OLS估计量，随着样本个数的增加，估计量的样本值的均值收敛于真实总体值。（2）虽然说共线性并不破坏最小方差性质，但并不意味着在任一给定的样本中，一个OLS估计量的方差一定是最小的。（3）虽然多重共线性是一种样本现象，即总体中各X变量没有线性关系，但具体获得的样本有可能存在线性关系。此时，利用样本回归估计总体回归时，难以区分各X变量对Y的影响。§7.4多重共线性的理论后果2023/1/1513CopyRightByShujianXiang§7.5多重共线性的实际后果1.多重共线产生的实际后果(1).OLS估计是BLUE,但有大的方差和协方差,故难以作出精确的估计,(2).置信区间扩大,易接受“零虚拟假设”.(3).系数的t统计上不显著.(4).虽然t统计量不显著,但其拟合优度高.(5).OLS估计量及标准误差对数据的小变化敏感.2.OLS估计量的大方差与协方差2023/1/1514CopyRightByShujianXiang(1)方差协方差的计算公式:

从上述公式可见，随着X变量共线性增加，两各估计量的方差也增加，当两个自变量之间的相关系数为1时，方差变为无穷大。2023/1/1515CopyRightByShujianXiang(2).方差膨胀因子:方差膨胀因子与回归系数估计值的方差成正比关系2023/1/1516CopyRightByShujianXiang承前:(3).例题(表10.1):(4)图10.2:2023/1/1517CopyRightByShujianXiang承前3.更宽的置信区间(表10.2)4.“不显著”的t比率5.值高而显著的t比率少2023/1/1518CopyRightByShujianXiangOLS估计量及其标准误对数据中微小变化的敏感性1.表10.3的回归结果:2.用表10.4的数据得:2023/1/1519CopyRightByShujianXiang§7.6说明性例子1.据表10.5的回归结果:2.F是高度显著的3.方差分析表(表10.6)2023/1/1520CopyRightByShujianXiang4.下式表明和之间完全共线性:2023/1/1521CopyRightByShujianXiang5.Y仅对的回归结果:6.Y对的结果:2023/1/1522CopyRightByShujianXiang§7.7多重共线性的侦察1.值高而显著的t比率少.2.自变量之间有高度的两两相关如果自变量之间的简单相关系数都很高，表明有可能存在多重共线性，但并不一定存在多重共线性。即高的简单相关系数是多重共线性存在的充分条件，而不是必要条件。即使简单相关系数不显著，也可能存在多重共线性。2023/1/1523CopyRightByShujianXiang(以四变量模型为例说明).假定有:从而有2023/1/1524CopyRightByShujianXiang由(5.9.6)有:由完全共线性,得:2023/1/1525CopyRightByShujianXiang3.检查偏相关如果根据零阶相关或简单相关系数不能确定是否存在共线性时，可以考查偏相关系数。如果Y变量对所有X变量的判定系数很高，而对各个X变量的偏相关系数都比较低时，表明各X变量之间可能存在高度相关。但是，偏相关系数也并不完全可靠。2023/1/1526CopyRightByShujianXiang4.辅助回归即做每一个Xi

对其余X变量的回归，并计算Ri2.

然后再计算Fi值：如果计算的Fi超过选定显著性水平的临界F值,则认为Xi与其余的X变量有共线性，否则，就没有共线性关系。2023/1/1527CopyRightByShujianXiang5.本征值与病态指数（特征根与条件数）由于SPSS中计算的是CI，据此，如果CI在10和30之间有中强多重共线性；如果在30以上则认为存在严重多重共线性；也有教材中设定：0<CI<10，没有共线性；10<CI<100,较强多重共线性；100<CI,严重多重共线性2023/1/1528CopyRightByShujianXiang6.容许度与方差膨胀因子经验表明，当VIFj>10时，说明自变量X与其余自变量之间有严重多重共线性2023/1/1529CopyRightByShujianXiang7.多重共线性的直观判断法如果出现下列情况时，认为可能存在多重共线性（1）当增加或剔除一个自变量或者改变一个观察值时，回归系数的估计值发生较大变化（2）从定性分析认为，一些重要的自变量在回归方程中没有通过显著性检验（3）有些自变量的回归系数符号与定性分析结果违背时（4）自变量相关矩阵中，自变量之间的相关系数较大（5）一些重要的自变量的回归系数的标准误差较大2023/1/1530CopyRightByShujianXiang§7.8多重共线性的补救措施1.先验信息2.横截面与时间序列数据并用2023/1/1531CopyRightByShujianXiang3.剔除变量与设定偏误;4.变量代换;

作差分:5.补充新数据;样本增大会使偏相关系数和回归系数减少,从而降低标准误差,准确估计回归系数.2023/1/1532CopyRightByShujianXiang承前例题说明（10次观测值）：增加样本量（40次观测值）:2023/1/1533CopyRightByShujianXiang6.在多项式回归中降低共线性;7.拯救多重共线性的其它方法;(如因子分析法、主元法=主成分分析法，或脊回归=岭回归）。2023/1/1534CopyRightByShujianXiang§7.9.1关于自变量选择的几个准则

准则1

自由度调整复决定系数达到最大

§7.9自变量的选择与回归方法2023/1/1535CopyRightByShujianXiang准则2赤池信息量AIC达到最小AIC准则是日本统计学家赤池(Akaike)1974年根据极大似然估计原理提出的一种较为一般的模型选择准则,人们称它为赤池信息量准则(AkaikeInformationCriterion,简记为AIC)。2023/1/1536CopyRightByShujianXiang准则3统计量达到最小

1964年马洛斯(MalLows)从预测的角度提出一个可以用来选择自变量的统计量,pC2023/1/1537CopyRightByShujianXiangSSEm为包含全部m个自变量的回归模型中的残差平方和，SSEp为包含p个自变量的回归模型中的残差平方和据此构造出pC统计量为

2023/1/1538CopyRightByShujianXiang§7.9.2回归方法一、前进法

前进法的思想是变量由少到多,每次增加一个,直至没有可引入的变量为止。具体做法是首先将全部m个自变量,分别对因变量y建立m个一元线性回归方程,并分别计算这m个一元回归方程的m个回归系数的F检验值,记为,选其最大者记为2023/1/1539CopyRightByShujianXiang给定显著性水平α，若

则首先将引入回归方程,为了方便,设就是

再对因变量y分别与建立m-1个二元线性回归方程,对这m-1个回归方程中的回归系数进行F检验,计算F值,记为选其最大的记为

2023/1/1540CopyRightByShujianXiang若则接着将引入回归方程依上述方法接着做下去。直至所有未被引入方程的自变量的F值均小于时为止。这时,得到的回归方程就是最终确定的方程。

2023/1/1541CopyRightByShujianXiang二、后退法后退法与前进法相反,首先用全部m个变量建立一个回归方程,然后在这m个变量中选择一个最不重要的变量,将它从方程中剔除，即把回归系数检验的F值最小者对应的自变量剔除。设对m个回归系数进行F检验,记求得的F值为

选其最小者记为

2023/1/1542CopyRightByShujianXiang给定显著性水平，则首先将Xj从回归方程中剔除,为方便,设Xj就是Xm,接着对剩下的m-1个自变量重新建立回归方程,进行回归系数的显著性检验,像上面那样计算出

,如果又有

,则剔除Xj,重新建立y关于m-2个自变量的回归方程,依此下去,直至回归方程中所剩余的p个自变量的F检验值均大于临界值

,没有可剔除的自变量为止。这时,得到的回归方程就是最终确定的方程。

2023/1/1543CopyRightByShujianXiang前进法和后退法述评前进法可能存在这样的问题,即不能反映引进新的自变量后的变化情况。因为某个自变量开始可能是显著的,但当引入其他自变量后它变得并不显著了,却又没有机会将其剔除,即一旦引入,就是"终身制"的；这种只考虑引入,而没有考虑剔除的做法显然是不全面的。而且,我们在许多例子中会发现可能最先引入的某个自变量,当其他自变量相继引入后,它会变得对因变量y很不显著。2023/1/1544CopyRightByShujianXiang后退法的明显不足是,一开始把全部自变量引入回归方程,这