多重共线性的情形及其处理

1、多重共线性的情形及其处理一、多重共线性对回归模型的影响设回归模型存在完全的多重共线性，即对设计矩阵X的列向量存在不全为零的一组数，使得：（），此时设计矩阵X的秩Rank(X)p+1，此时|=0,正规方程组=的解不唯一，不存在，回归参数的最小二乘估计表达式不成立。在实际问题研究当中，虽然Rank(X)=p+1成立，但是|0，的对角线元素很大，的方差阵的对角线元素很大，而的对角线元素即为, ，因而的估计精度很低，这样，虽然OLSE能得到的无偏估计，但估计量的方差很大，不能正确判断解释变量对被解释变量的影响程度。例如在二元回归中，假定y与，都已经中心化，此时回归常数项为零，回归方程为，由此可以得到

2、,，其中，则，之间的相关系数。随着自变量与的相关性增强，和的方差将逐渐增大。当与完全相关时，r=1，方差将变为无穷大。当给定不同的值时，从下表可以看出方差增大的速度。为了方便，假设，相关系数从0.5变为0.9时，回归系数的方差增加了295%，相关系数从0.5变为0.95时，回归系数的方差增加了670%、当回归自变量与相关程度越高，多重共线性越严重，那么回归系数的估计值方差就越大，回归系数的置信区间就变得很宽，估计的精确性就大幅度降低，使估计值稳定性变得很差，进一步致使在回归方程整体高度显著时，一些回归系数则通不过显著性检验，回归系数的正负号也可能出现倒置，使得无法对回归方程得到合理的经济解释，

3、直接影响到最小二乘法的应用效果，降低回归方程的价值。如果利用模型去作经济结构分析，要尽可能避免多重共线性；如果是利用模型去作经济预测，只要保证自变量的相关类型在未来时期中保持不变，即未来时期自变量间仍具有当初建模时数据的联系特征，即使回归模型中包含有严重多重共线性的变量也可以得到较好的预测结果；如果不能保证自变量的相关类型在未来时期中保持继续不变，那么多重共线性就会对回归预测产生严重的影响。二、多重共线性的诊断1、方差扩大因子法对自变量作中心标准化，则为自变量的相关阵，记称其主对角线元素为自变量的方差扩大因子。（），其中为的离差平方和。记为自变量对其余p-1个自变量的复决定系数，则有，该式子同

4、样也可以作为方差扩大因子的定义。由于度量了自变量与其余p-1个自变量的线性相关程度，这种相关程度越强，说明自变量之间的多重共线性越严重， 也就越接近于1，也就越大。由此可见的大小反映了自变量之间是否存在多重共线性，因此可以由它来度量多重共线性的严重程度。经验表明，当10时，就说明自变量与其余自变量之间有严重的多重共线性，且这种多重共线性可能会过度地影响最小二乘估计值。也可以用p个自变量所对应的方差扩大因子的平均数来度量多重共线性，当远远大于1时就表示存在严重的多重共线性问题。对于只含两个解释变量和的回归方程，判断它们是否存在多重共线性，实际上就是计算和的样本决定系数，如果很大，则认为和可能存在

5、严重的多重共线性。为什么说可能存在多重共线性？因为和样本容量n有关，当样本容量较小时，容易接近与1，就像当n=2时，两点总能连成一条直线，=1。所以我们认为当样本容量还不算小，而接近于1时，可以肯定存在多重共线性。当某自变量对其余p-1个自变量的复决定系数超过一定界限时，SPSS软件将拒绝这个自变量进入回归模型。称为自变量的容忍度。下面看一个民航客运实例分析的结果：Unstandardized CoefficientsStandardized CoefficientstSig.Collinearity StatisticsBStd. ErrorBetaToleranceVIF(Constant

6、)450.909178.0782.5320.030x10.3540.0852.4474.1520.0020.0011963.000x2-0.5610.125-2.485-4.4780.0010.0011741.000x3-0.0070.002-0.083-3.5100.0060.3153.171x421.5784.030.5315.3540.0000.01855.488x50.4350.0520.5648.4400.0000.04025.193a. Dependent Variable: y从上面共线性诊断的分析结果可以看到，的方差扩大因子很大，分别为=1963, =1741,远远超过10，说

7、明民航客运量回归方程也存在这严重的多重共线性。和的简单相关系数为0.9989，高度相关。一般情况下，当一个回归方程存在严重的多重共线性时，有若干个自变量所对应的方差扩大因子大于10，这个回归方程多重共线性的存在就是方差扩大因子超过10的这几个变量引起的，说明这几个自变量间有一定的多重共线性关系存在。2、特征根判定法当矩阵有一个特征根近似为零时，设计矩阵X的列向量间必存在多重共线性，并且有多少个特征根接近于零，X就有多少个多重共线性关系。记的最大特征根为，称，（）为特征根的条件数。在一些书籍中，条件数定位为，没有开平方根，SPSS软件是采用开平方根的，使用软件时要注意这一点。条件数度量了矩阵的特

8、征根散步程度，可以用它来判断多重共线性是否存在以及多重共线性的严重程度。通常认为0k10时，设计矩阵X没有多重共线性；10k100时，认为X存在较强的多重共线性；当k100时，则认为存在严重的多重共线性。在看上面的例子，用SPSS软件计算出特征根与条件数结果如下所示。DimensionEigenvalueCondition IndexVariance Proportions(Constant)x1x2x3x4x515.578100000020.3783.84200000030.03712.2050.010000.030.1940.00436.4310.1700.010.090.50.0450.

9、00253.6430.7200.010.660.150.7160.262.7620.10.990.990.250.310.06a. Dependent Variable: y从条件数看到，最大的条件数=262.762，这与方差扩大因子法结果是一致。输入结果中特征根是按照从大到小的顺序排列的，不是按自变量的顺序排列的，这与方差扩大因子法不同。如何判定究竟是哪几个自变量间存在共线性呢？可以由条件数表中右边的方差比例粗略判断。如果有某几个自变量的方差比例值在某一行同时较大（接近1），则这几个自变量间就存在多重共线性。表中第6行和的系数都为0.99，说明和之间存在强的多重共线性；表中第5行（常数项）,

10、的系数分别为0.72，0.66，0.71说明（常数项）,之间存在多重共线性。由于设计矩阵X的第一列有一列1，代表常数项，X共有p+1列，是p+1阶方阵。当一个自变量的取值范围很小，接近常数时，这个自变量就与常数项存在多重共线性。如在多重共线性的定义式中，如果,而，这时自变量就与常数项存在多重共线性。3、直观判定法（1）当增加或剔除一个自变量,或者改变一个观测值时,回归系数的估计值发生较大变化。（2）从定性分析认为,一些重要的自变量在回归方程中没有通过显著性检验。（3）有些自变量的回归系数所带正负号与定性分析结果违背。（4）自变量的相关矩阵中,自变量间的相关系数较大。 （5）一些重要的自变量的回

11、归系数的标准误差较大。 三、消除共线性的方法1、删除一些不重要的解释变量在选择回归模型时，可以将回归系数的显著性检验、方差扩大因子VIF的多重共线性检验与自变量的经济含义结合起来考虑，以引进或剔除变量。2、增大样本容量建立一个实际经济问题的回归模型，如果所手机的样本数据太少，也容易产生多重共线性。例如，在建立二元回归模型时，假设数据都已经中心化，有,。其中，则，之间的相关系数,可以看到，在固定不变时，当样本容量n增大时，和都会增大，两个方差均可减小，从而减弱了多重共线性对回归方程的影响。因此，增大样本容量也是消除多重共线性的一个途径。在实践中，当所选的变量个数接近样本容量n时，自变量间就容易产

12、生共线性。所以在运用回归分析研究经济问题时，要尽可能使样本容量n远大于自变量个数p。但是，增加了样本数据，可能新的数据距离原来样本数据的平均值较大，会产生一些新的问题，使模型拟合变差，没有收到增加样本数据期望的效果。四、回归系数的有偏估计为了消除多重共线性对回归模型的影响，还可以采取有偏估计为代价来提高估计量稳定性的方法，如岭回归，主成份回归法，偏最小二乘法等。五、主成份回归主成分分析是多元统计分析的一个基本方法，是对数据做一个正交旋转变换，就是对原有变量做一些线性变换，变换后的变量都是正交的。为了避免变量的量纲不同所产生的影响，要先把数据做中心标准化，中心标准化后的自变量样本观测数据矩阵就是n行p列的矩阵，就是相关阵。六、一些问题在建立经济问题的回归模型时，当发现解释变量之间的简单相关系数很大时，可以断定自变量间存在着严重的多重共线性，但是，一个回归方程存在严重的多元共线性时，并不能完全肯定解释变量之间的简单相关系数就一定很大。例如对含有三个自变量的回归模型：，假定三个变量之间有完全确定的关系：，因为可以由和线性表示，所以变量与和的复决定系数=1,回归方程存在完全的多重共线性。再假定与的简单相关系数=-0.5，与的离差平方和=