统计学多元回归分析方法

#(b)图4.3误差方差随自变量变化图Q(,)n(yx)201i01ii1加权最小二乘法是在平方和中加入一个适当的权数，以消除方差非齐性的影i响，即Q(,)n(yx)2(4.22)TOC\o"1-5"\h\z01ii01ii1这里观测值的权数应该是误差项方差的倒数，即12.在实际问题的研ii究中，2通常是未知的，但是，当误差项方差随自变量水平以系统的形式变化i时，我们可以利用这种关系•例如，若2kx2,其中k为比例系数，由于这个ii系数在参数估计中可以消除，所以我们取权数为1X2•如果某个实际问题的ii误差方差与X的幂函数xm成比例，其中，m为待定参数，此时可取权数为1/xm，利用SPSS软件包可以确定幂函数的最优取值•在打开一个数据文件ii之后，依次点选Statistics—Regressiof^WeightEstimati进入估计权函数对话框，默认的幕指数m的取值为m2,1.5,1,0・5,0,0・5,1,1・5这个默认值可以更改.先将自变量x与因变量y选入各自的变量框，再把x选入Weight变量框，可得最优幂指数值.多元线性回归模型的加权离差平方和为Q1n(yxx)2(4.23)ii01i1pipi1多元线性回归模型中有多个自变量；通常取权函数为某个自变量x(i1,2,,p)的幂函数；即取Xm；在x,x,,x这p个自变量中；应该取ii12p

哪一个自变量呢？这只需要计算每一个自变量与普通残差的等级相关系数(Spearman相关系数)，选取等级相关系数最大的那个自变量构造权函数.然后利用与一元回归情形相同的方法确定最优的幂指数m.1.2.4.3误差独立性的检验在回归模型中，我们总是坚定误差项是不相关的，即Cov(,)0,ij.如ij果某个回归模型的误差项不满足这一点，则我们称其存在自相关(或序列相关)现象•当一个回归模型的随机误差项存在自相关时，会产生以下不良的后果：参数的估计量不再具有最小方差线性无偏性；变量的显著性检验失去意义；模型的预测失效.自相关性的检验方法有多种，目前比较常用的有Durbin-Watson,但它仅适用于一阶自相关的情况，即随机扰动项具有如下形式u(4.24)TOC\o"1-5"\h\zii1i由于实际问题中的未知，所以我们首先采用普通最小二乘法估计模型，然i后用残差e近似代替来判断是否存在自相关性•为了检验自相关性，构造的假ii设疋H:0o而构造的统计量为：n(ee)2ii1“、DW4(4.25)ne2ii2计算出该统计量的数值之后，根据样本容量n和自变量数目p查DW分布表，得到临界值d和d,然后按照下列准则考察计算得到的DW值，可以判断模型的lu准则：若0准则：若0DWd,则存在正自相关若dllDWdu不能确定若4dDWu4d,l不能确定若4dDW4,存在负自相关l从上面的准则可以看出，当值为2左右时，模型一般不存在一阶自相关•而且，经验表明，如果模型不存在一阶自相关，一般也不存在高阶序列相关.如果模型存在自相关，首先要查明原因•如果是回归模型选用不当，则应该用适当的回归模型；如果是缺少重要的自变量，则应加入相应的自变量•如果以上方法都不能消除自相关性，则需要采用新的方法估计模型,如广义最小二乘法、差分法、迭代法、移动平均法等等，在此只介绍一阶差分法和迭代法•对其他方法有兴趣的读者可以参阅时间序列方面的教材或著作.差分法用增量数据代替原来的样本数据，将原来的回归模型变为差分形式的模型・一阶差分法适用于原模型存在较高程度的一阶自相关的情况.令yiyi1矢碁沐吿kI'2,,p;i12,n1建立y关于x的线性回归方程……kyxxx(4.26)1122pp如果这个差分模型通过了各种检验和诊断，就可以利用它代替原模型做预测.这里以一元线性回归模型为例介绍迭代法.先求出y关于x的一元线性回归方程yX,计算出残差e,e,疋之间的一阶自相关系数，再令TOC\o"1-5"\h\z0112nyyy,x…Xx,i1,2,,n1ii1iii1i建立y关于x的一元线性回归方程yx;••通过残差e,e,,e0112n1检验这个回归方程是否存在自相关，如果y之间不相关；则迭代结束；如果存在自相关，则需计算残差e,e,,e之间的自相关系数，重复上述步骤；直到12n1因变量序列不存在自相关性为止•..1・2・4・4误差项正态性的检验检验总体分布是否为正态分布的方法比较多，下面介绍其中的两种.在前面我们指出过，当"N(X,2I)时，标准化残差SRE,SRE,,SRE可TOC\o"1-5"\h\zIIn12n近似看成来自N(0,1的随机子样，从而可通过检验SRE,SRE,,SRE…所属总体12n是否为N(0,1来检验模型误差的正态性.…方法一：频率检验法.可以粗略的统计一下SRE,SRE,,SRE中正负个数是否大致各占一半，介12n于(T,1)间的比例是否约为68%,介于(-2,2)间的比例是否为95%,介于(-3,3)间的比例是否约为99%，不过这种方法比较粗糙.方法二：正态概率图检验法.首先；将残差e,e,,e从小到大排列为e,e,,e;其次，对于每个12n(1)(2)(n)

i1,2,，n'计算q®Z(i0-5n)，其中Z(i0・5n)为标准正态分布的下侧i0・5h•分位数，即满足i0.5ni0.5n然后，以q为纵坐标，e为横坐标做散点图，即为残差的正态概率图•从直观上看,如果点(q(i)，e(i))(iI’2’卫)基本落在一条直线上，则可认为误差正态性的假定是合理的•当然还可以进•一步计算覽和q/心，•)之间的相关系数来判断它们之间的线性关系的强弱，若相关系数接近于1・；•则说明点5%)近似落在—条直线上.1・2・4・5多重共线性的处理多元线性回归模型中，假定自变量之间线性无关，因而资料矩阵X是满秩的.如果存在不全为零的P个常数c,,c，使得ipTOC\o"1-5"\h\zcxcx…cx0,i1,2,,n1i12i2pip则自变量x,x,,x之间存在着完全的多重共线(Multicollinearity)•在12p实际问题中完全共线性的情况并不多见，常见的是近似的多重共线关系，即存在不全为零的P个常数c,,c，使得ipcx・・cxcx0,i1,2,,n1i12i2pip如果回归模型y如果回归模型yx011x存在完的多重共线性，则资料阵Xpp的秩rank(X)p1,故(XtX)t不存在，无法得到回归参数的估计量•对于近似多重共线性的情况，此时虽有rank(X)p1,但|XTX|0,从而矩阵(XtX)1的主对角线上的元素很大,使得估计的参数向量的协方差阵D()2(XtX)1的对角线上元素也很大，导致普通最小二乘参数估计量并非有效.如何检验是否存在多重共线性？已经由不少的可行的方法，目前常用的有方差扩大因子法和特征根判别法•在此只介绍方差扩大因子(VIF)法.对自变量做中心标准化处理，则XtX(r)为自变量的相关矩阵，记ijC(c)(XTX)1ij称其对角线元素VIFc1/(1R2)(j1,2,,p)为自变量x的方差扩大TOC\o"1-5"\h\zjij°jj因子(VarianceInflationFactor)，其中R2是把x作为因变量与其余p1个jj自变量做线性回归所得到的复相关系数・VIF反映了没个变量所受到的多重共线j性的影响的大小•对每一个自变量x，都有VIF1•也可以用p个自变量所对应jj得方差扩大因子的平均数来度量多重共线性•当VTF丄pVIF远远大于1时，pj1j就表示存在严重的多重共线性问题.当发现自变量存在严重的多重共线性时，可以通过剔除一些不重要的自变量、增大样本容量、对回归系数做有偏估计(如采用岭回法、主成分法、偏最小二乘法等)等方法来克服多重共线性.1・2・5自变量的选择与逐步回归在前面讨论了线性回归模型的估计方法和检验问题，但在应用回归分析处理实际问题时，首先要解决的问题是自变量的选择和回归函数的选择•由于本书中，我们只介绍线性回归模型，在此，我们主要考虑自变量的选择问题.在多元线性回归分析中，一方面，为了获得较全面的信息，我们总是希望模型中包含尽可能多的自变量；另一方面，考虑到自变量越多，收集数据存在困难以及成本大大增加，加之，有些自变量与其他自变量作用重叠•如果把它们都引入模型，不只是增加了计算量，还对模型参数的估计和模型的预测带来不利影响.这样一来，我们自然希望模型中选人最合适的自变量，建立起既合理又简单实用的回归模型•下面我们介绍一些自变量选择的准则，以及相应的“最优”自变量子集的计算方法.1.2.5.1自变量选择对估计和预测的影响设我们研究某一实际问题时，根据经验或专业知识，确定一切可能对因变量y有影响的因素共有p个，记为x,x,,x,它们与y—起构成线性回归模型12pyx・・x(4.33)011pp我们称这个y与所有自变量的回归模型为全模型.如果我们从所有可供选择的p个变量中挑出q个，记为X,X,,x,建立如TOC\o"1-5"\h\z12q下的回归模型...yxx(4.34)011qq我们称其为选模型利用回归分析解决问题时，自变量的选择问题可以看成是应该采用全模型还是选模型去描述实际问题.下面我们不加证明的给出几个结论，说明自变量的选

择对参数估计和对因变量预测的影响.(1)模型正确而误用选模型的情况.结论1:当全模型正确时，选模型的回归系数的最小二乘估计是全模型相应参数的有偏估计，选模型的预测也有偏的.结论2：当全模型正确时，选模型的参数估计和预测残差以及均方误差都有较小的方差.(2)选模型正确而误用全模型的情况•如果选模型正确，怎其参数估计和预测值都是无偏的，此时全模型的参数估计和预测都是有偏估计•而且，全模型的预测值的方差和均方差都要大于选模型的相应方差.以上结论的证明参见《近代回归分析》(陈希孺等，1987)・上述结论告诉我们，建立回归方程时，丢掉那些对因变量影响不大，或虽有影响，但难于观测的自变量是有利的.1.2.5.2自变量的选择准则若在一个回归问题中有m个变量可供选择，那么我们可以建立C1个不同的mCm(m元线性回归Cm(m元线性回归mm方程，所有可能的回归方程共有C1C2Cm2m1mmm个，前面提到的多元线性回归中选变量也即选模型，即从这2m1个回归方程中选取“最优”的一个，为此就需要有选择的准则.下面从不同的角度给出选择的准则.从拟合角度考虑，可以采用修正的复相关系数达到最大的准则.准则1修正的复相关系数R2达到最大.a与这个准则等价的准则是：均方残差MSE达到最小，因为R2aR2aSSTn1从这个关系式容易看出，R2达到最大时MSE达到最小.a从预测角度考虑，可以采用预测平方和达到最小的准则以及C准则.p准则2预测平方和PRESS达到最小.p预测平方和(PredictionSumofSquares)准则的基本思想是：对于给定的某p个自变量x,x,,x,在样本数据中删除第i组观测值(x,x,,x;y)后12pi1i2ip利用这p个自变量和y的其余n1组观测值建立线性回归方程，并利用•所得的回归方程对y做预测，若记此预测值为y,则预测误差为ii

diyiy(i)依次取i1,2,,n,则得到n个预测误差•如果包含这p个自变量的回归模型预测效果较好，则所有d(i1,2,,n)的误差平方和达到或接近最小•即选取iTOC\o"1-5"\h\zPRESS使得…pPRESSnd2n(yy)2(4.35)pii(i)i1i1达到或接近最小的回归方程作为最优回归方程.准则3(准则)定义C统计量为p(n2p2)(4.36)SSE(n2p2)(4.36)TOC\o"1-5"\h\zC—pHMSE(x,x,,x)12m其中SSE是包含p个自变量的回归方程的残差平方和，MSE(x,x,,x)p12m表示含有所有m个自变量的回归方程的均方残差.C准则要求选择C值•小，且pp|Cpp|小的回归方程.从极大似然估计的角度考虑，可以采用赤池信息量准则(AIC准则).准则4(AIC准则)赤池信息量达到最小.这个准则由日本统计学家赤池(Akaike)提出，人们称它为AkaikeImformationCriterion，简称为AIC.AIC准则通常定义为AIC2lnL(,x)2p(4.37)L其中L(,x)表示模型的对数似然函数的极大值，p表示模型中独立的参数的个L数.在实用中，也经常用下式计算赤池信息量AICnlnSSE)2p(4.38)p选择AIC值最小的回归方程为最优回归方程.1.2.5.3逐步回归当自变量的个数不多时，利用某种准则，从所有可能的回归模型中寻找最优回归方程是可行的•但若自变量的数目较多时，求出所有的回归方程式很不容易的•为此，人们提出了一些较为简便实用的快速选择最优方程的方法，下面我们简单的介绍一下“前进法”和“后退法”再详细介绍“逐步回归法”・1.前进法和后退法前进法的思想是这样的：设所考虑的回归问题中，对因变量y有影响的自变

共有m个，首先将这m个自变量分别与y建立m个一元线性回归方程，并分别计算出这m个一元回归方程的偏F检验值，记为｛F(i),F⑴，，F⑴｝,若其中偏F12m值最大者(为方便叙述起见，不妨设为F(i))所对应的一元线性回归方程都不能1通过显著性检验，则可以认为这些自变量不能与y建立线性回归方程；若该一元方程通过了显著性检验，贝惜先将变量x引入回归方程；接下来由y与x以及其11他自变量x(j1)建立m1个二元线性回归方程对这m1个二元回归方程中的jx,x,,x的回归系数做偏F检验，检验值记为｛F⑵,F⑵,,F(2)｝，若其中最大23m23m者(不妨设为F⑵)通过了显著性检验，则又将变量x引入回归方程，依此方法22继续下去，直到所有未被引入方程的自变量的偏F值都小于显著性检验的临界值，即再也没有自变量能够引入回归方程为止•得到的回归方程就是最终确定的方程.后退法与前进法相反，首先用m个自变量与y建立一个回归方程，然后在这个方程中剔除一个最不重要的自变量，接着又利用剩下的m1个自变量与y建立线性回归方程，再剔除一个最不重要的自变量，依次进行下去，直到没有自变量能够剔除为止.前进法和后退法都有其不足，人们为了吸收这两种方法的优点，克服它们的不足，提出了逐步回归法.2.逐步回归法逐步回归法的基本思想是有进有出，具体做法是将变量一个一个得引入，引入变量的条件是通过了偏F统计量的检验•同时，每引入一个新的变量后，对已入选方程的老变量进行检验，将经检验认为不显著的变量剔除，此过程经过若干步，直到既不能引入新变量，又不能剔除老变量为止.设模型中已有l1个自变量，记这l1个自变量的集合为A,当不在A中的—个自变量x加入到这个模型中时，偏F统计量的一般形式为SSR(xA)MSE(A,x)SSR(xA)MSE(A,x)k(4.39)厂SSE(A)SSE(A,x)

F(4.39)SSE(A,x)nl1k■下面我详细叙述逐步回归法的具体步骤.首先，根据一定显著水平，给出偏统计量的两个临界值，一个用作选取自变量，记为F;E另一个用作剔除自变量，记为F・一般地，取FF，然后按下列步骤进行.DED第一步：对每个自变量x(lim),拟合m个一元线性回归模型iy0ixi(4.40)SSR(x」A)SSR(x),MSE(A,x)MSE(x),对每一个i,计算iiiSSR(x).,Qc八\F(1).,ih2，，m(4・41)iMSE(x)i设•••F(1)max{F(1)}t1imi若F⑴iF，则选择含自变量x的回归模型为当前模型，否则，没有自变量Ei这时，相当于统计量(4・39)中集合A为空集，因此，SSE(A)SST，故能进入模型，选择过程结束，即认为所有自变量对的影响均不显著.第二步：在第一步的选出模型的基础上，再将其余的m1个自变量分别加入到此模型中个，得到m1个二元回归方程，计算SSR(xx)ii_iiMSE(x,x)'1ii(