多重共线性处理方法

.,多重共线性的处理,为了避免共线性的影响,目前多采用回归系数有偏估计的方法,即为了减小偏回归系数估计的方差而放弃对估计的无偏性要求。换言之,允许估计有不大的偏度,以换取估计方差可显著减小的结果,并在使其总均方差为最小的原则下估计回归系数。,.,解决多重共线性问题的方法,1、岭回归2、主成分回归3、偏最小二乘回归4、其它：神经网络、通径分析,.,1、岭回归：,1962年,A.E.Hoerl针对多重共线性的问题,提出了一种叫岭回归的回归估计方法。对线性模型定义偏回归系数的岭估计为其中k称为岭参数。,.,岭回归的核心思想是当出现多重共线性时,的特征根至少有一个非常接近于0，从而使参数的最小二乘估计很不稳定。给加上一个正常数矩阵kI(k0),则等于零的可能性就比的可能性要小得多，的特征根接近于0的程度就会得到改善。,.,且从理论上可以证明,存在k0,使得的均方误差比的均方误差小。因此，用岭回归来估计偏回归系数比用普通最小二乘法估计要稳定得多。这样就消除了多重共线性对参数估计的危害。,.,在实际应用中,通常确定k值的方法有以下几种:岭迹图法方差膨胀因子法控制残差平方和法,.,2、主成分回归,1965年,W.F.Massy提出了主成分回归(PrincipalComponentRegression,简称PCR)方法，首先提取自变量的主成分,由于各主成分之间相互正交，相关系数为0，此时即可用最小二乘法估计偏回归系数，建立因变量与相互独立的前几个主成分的回归模型,然后再还原为原自变量的回归方程式。,.,可见，主成分回归分析解决多重共线性问题是通过降维的处理而克服多重共线性的影响，正确表征变量间的关系。然而,由于PCR提取X的主成分是独立于因变量Y而进行的,没有考虑到X对Y的解释作用,这就增加了所建模型的不可靠性。,.,3、偏最小二乘回归,针对多重共线性干扰问题,S.Wold和C.Alban在1983年提出了偏最小二乘回归(PartiaLeastSquaresRegression,简称PLSR)方法。PLSR方法吸取了主成分回归分析从自变量中提取信息的思想,同时还考虑了自变量对因变量的解释问题。,.,基本思路,首先在自变量集中提取第一潜因子t1(t1是x1,x2,xm的线性组合,且尽可能多地提取原自变量集中的变异信息);同时在因变量集中也提取第一潜因子u1,并要求t1与u1相关程度达最大。然后建立因变量Y与t1的回归,如果回归方程已达到满意的精度,则算法终止。否则继续第二轮潜在因子的提取,直到能达到满意的精度为止。若最终对自变量集提取m个潜因子t1,t2,tm,偏最小二乘回归将建立Y与t1,t2,tm的回归式,然后再表示为Y与原自变量的回归方程式。,.,小结,以上介绍了三种解决多重共线性问题的方法,它们各自都有其特点及适用范围:偏最小二乘法在解决多因变量与自变量方面及预测方面有着比其它两种方法更优越的地方,但在t的实际意义解释方面与主成分一样比较欠缺。,.,岭回归由于在其K值的确定上有很大的人为因素,使之缺乏一定的科学性,但也正因为如此，使它能够很好地把定性分析与定量分析两者有机地结合起来。由于这三种方法估计出的参数值