多元线性回归模型估计及t检验

1、多元线性回归：估计方法及回归系数显著性检验线性回归模型的基本假设：y0-0-iXii-2X21-kXki-Ui通常对模型提出若干基本假在普通最小二乘法中，为保证参数估计量具有良好的性质,设：1 .解释变量间不完全相关;2 .随机误差项具有0均值和同方差。即：2E(Ui)=0,Var(Ui)-；.一i=i,2,n，3 .不同时点的随机误差项互不相关(序列不相关)，即Cov(Ui,u)=0sw0,i=1,2,n-,4 .随机误差项与解释变量之间互不相关。即Cov(Xji,Ui)=0j=1,2,k；,i=1,2,5 .随机误差项服从0均值、同方差的正态分布。即一，一2、一UiN(0,二)i=1,2,

2、当模型满足假设14时，将回归模型称为标准回归模型”，当模型满足假设15时,将回归模型称为标准正态回归模型如果实际模型满足不了这些假设，普通最小二乘法就不再适用，而要发展其他方法来估计模型。广义(力口权)最小二乘估计(generalizedleastsquares当假设2和3不满足时，即随机扰动项存在异方差E(u2)=ffi2,i=1,2,n；且随机扰动项序列相关Cov(Uj,uj)=%,i#j,i=1,2,n,-j=1,2,n-,，此时OLS估计仍然是无偏且一致的，但不是有效估计。线性回归的矩阵表示：(1)则上述两个条件等价为:仃11仃12.Cr1n仃21仃22.仃2n2Var(u)=.#仃I

3、CTtiCTt2.CTnn/对于正定矩阵存在矩阵M,使得MQM'=I=MM=0。在方程(1)两辿同时左乘M,得到转换后的新模型：y=X3+u=My=MX3+Mu,令y*=My,X*=MX,u*=Mu,新的随机误差项的协方差矩阵为*_*_*y=Xu+uvar(u)=E(Muu'M')=MQM'=I,显然是同万差、无序列相关的。目标函数，即残差平方和为：Q=u*'u*=u'M'Mu=u'Gu。目标函数是残差向量的加权平方和，而权数矩阵则是u的协方差矩阵的逆矩阵(因此，广义最小二乘估计法也称为加权最小二乘估计法)。而新模型的OLS估计量

4、则是原模型的GLS估计量。?Gls=(X*'X*)-X*'y*=(X'M'MX尸X'M'My=(X'以)-X'与Var(0gls)=(X*X*)-1=(XMMX)-1=(X，-1X)-1(Var(Pols)=(XX)-1X，X(XX)-1)。由于变换后的模型(2)满足经典OLS的所有假设，所以根据高斯-马科夫定理可知，GLS估计量是BLUE(BestLinearUnbiasedEstimator)。虽然从理论上讲，GLS比OLS有效，但由于多数情况下残差序列的协方差矩阵未知，当我们用代替GLS估计式中的以获得估计时，估计量虽然仍旧

5、是一致的，但却不是最好线性无偏估计。而且，也很难推导出估计量的小样本性质。继而用White(1980)的异方差一致协方差估计方法(残差序列有未知形式的异方差，但序列不相关)和Newey-West(1987)的异方差-自相关一致协方差估计方法(有未知形式的异方差且自相-n.关存在)得到修正的Var(Pols)是相对较好的选择。(使用White或Newey-Wes屏方差一致协方差估计不会改变参数的点估计，只改变参数估计的标准差。)White协方差矩阵公式为：cnc',?W=(XX)£uiXiXi(XX)n-kg)其中n是观测值数，k是回归变量数，ui是最小二乘残差。Newey-W

6、est协方差矩阵公式为：?NW=(XX)?(XX)nnq斤n其中我=-Ui2Xik+£.1-J氏(XiUjUX；+XiaUUiX：)>,q是滞n-kMlq+V'4力后截尾，一个用于评价OL酷差Ui的动态的自相关数目的参数。q=(4(n/100)29)。二阶段最小二乘法(TSLS,TwostageleastsquaresSargan(1958)当假设4不成立时，即随机误差项与某些解释变量相关时，OLS和广义LS都是有偏的和不一致的。有几种情况使右边某些解释变量与误差项相关。如：在方程右边有内生决定变量，或右边变量具有测量误差。为简化起见，我们称与残差相关的变量为内生变量，

7、与残差不相关的变量为外生变量。解决解释变量与随机误差项相关的方法是使用工具变量回归。就是要找到一组变量满足下面两个条件：(1)与内生变量相关；(2)与残差不相关；这些变量称为工具变量。用这些工具变量来消除右边解释变量与扰动项之间的相关性。考虑工具变量时，应注意以下问题：1)使用TSLS估计，方程说明必需满足识别的阶条件，即工具变量的个数至少与方程的系数一样多(Davidson&MacKinnon(1994)和Johnston&DiNardo(1997)。2 )根据经济计量学理论，与扰动项不相关的解释变量可以用作工具变量。3 )常数渥一个合适的工具变量。在二阶段最小二乘估计中有两

8、个独立的阶段。在第一个阶段中，找到内生变量和工具变量。这个阶段包括估计模型中每个内生变量关于工具变量的最小二乘回归。第二个阶段是对原始方程的回归，所有内生变量用第一个阶段回归得到的拟合值来代替。这个回归的系数就是TSLS估计。令Z为工具变量矩阵，y和X是因变量和解释变量矩阵。则二阶段最小二乘估计的系数由下式计算出来：?Tsls=(XZ(ZZ)/ZX)口XZ(ZZ)1Zy系数估计的协方差矩阵为：Var(?)=s2(XZ(ZZ)，ZX)其中s2是估计残差的协方差矩阵。广义矩方法(GMM,GeneralizedMethodofMomentsHansen(1982)由于传统的计量经济模型估计方法，例如

9、普通最小二乘法、工具变量法、极大似然法等，都有它们的局限性，其参数估计量必须在模型满足某些假设时才具有良好的性质，而GMM估计是一个稳健估计量，因为它不要求扰动项的准确分布信息，允许随机误差项存在异方差和序列相关，所得到的参数估计量比其他参数估计方法更合乎实际；而且可以证明，普通最小二乘法、工具变量法、极大似然法都是GMM的特例设模型为：yt=xtB+ut其中,Xt=(Xit，X2t，XKt),3=(瓦%Pk)',zt为工具变量(1XL)。令wt=(yxt,zt),则L个矩条件为:m(wt,e尸E(zt'ut户EN'(ytXtM=0lm对应的样本矩条件为:.1.T1xB

10、)=0LM市(wt，8)=r£zt(ytxtB)j=：z(yIt-1等价于解方程:K(3)MM方法,q=£m?l2=m（wt,0）'m（wt,o）=0l=4当存在L代工具变量时，共有母矩方程，而只有代未知参数。因此，根据共有IKIL；个组合，可以得到的矩估计量的个数为O这时，每个组合得到的MM估计量都不能满足（3）式，即（3）式不会恰好为0。但可以考虑将各种不同的估计结果综合起来,使（3）式最小化，即使得母矩条件的平方和最小。因为不同矩的方差不同，因此更科学的方法是使用加权的平方和,q=m(wt,0)'wtm(wt,0)GMM估计量是求下式的最优解:Q=ar

11、gmin抽(wt,0)'Wrr?(wt,M?3MM|Wt|与GL呼目类似，GMM方法中，目标函数为各个矩的加权平方和，权数的选择则要考虑各个矩的异方差和相关性。最优权数即是各个矩的协方差矩阵的逆矩阵。如果市(wt,0)为一致估计量?Gmm对应的矢I,则S的一致估计量为：S=Var("r0(wt,0)=TVar(rt?(wt,1T)1T=TVar£相(wt,0)=£m(wt,8)r(wt,8)lTt"Ty、，、'因此，最优权数矩阵为：内c1T一一丁wtp=S/=xm(wt,a)m(wt,ej其是Wt的一致估计。回归系数显著性t检验H0:3=

12、0vsH1:”0检验统计量：t=F/std(M)iM.iM.Whitet检验：t=0/std(0white)ft-ft-Newey-Westt检验：t=P/std(Pn-w)参考文献：Newey,W.K.,West,K.D.,Asimple,positivesemi-dedinite,heteroskedasticityandautocorrelationconsistentcovariancematrix.Econometrica,55,703-708.Sargan,T.D.,1958,Theestimationofeconomicrelationshipsusinginstrumental

13、variables.Econometrica,26,393-415.White,H.,1980,Heteroskedasticity-consistentcovaricncematrixestimatorandadirecttestforheteroskedasticity.Econometrica,48,817-838.White,H.,1980,Instrumentalvariablesregressiononcross-sectiondata.SanDiego:UniversityofCaliforniaPress.Hansen,L.P.,Hodric,R.J.,1980,Forwardexchangeratesasoptionalpredictorsoffuturespotrate:aneconometricanalysis.TheJournalofPoliticalEconomy,5(88),829-853.Hodric,R.J.,1982,Dividendyieldsandexpectedstockreturns:alternative