计量经济学第三章多元线性回归与最小二乘估计

1、(整理)计量经济学第三章多元线性回归与最小二乘预计(整理)计量经济学第三章多元线性回归与最小二乘预计20/20(整理)计量经济学第三章多元线性回归与最小二乘预计精选文档第三章多元线性回归与最小二乘预计3.1假设条件、最小二乘预计量和高斯马尔可夫定理1、多元线性回归模型：y=x+2xt2+k-1xtk-1+ut(3.1)t0+1t1此中yt是被解说变量（因变量），xtj是解说变量（自变量），ut是随机偏差项，i,i0,1,k-,1是回归参数（平常未知）。对经济问题的实质意义：yt与xtj存在线性关系，xtj是t的重要,j=0,1,k-,1,y解说变量。ut代表众多影响yt变化的细小要素。使yt的

2、变化偏离了E(yt+1t12t2)=0 x+x+k-1xtk-1决定的k维空间平面。当给定一个样本（yt,xt1,xt2,xtk-1）,t=1,2,T时,上述模型表示为y=x+2x12+k-1x1k-1+u,10+1111y2=0+1x21+2x22+k-1x2k-1+u2,(3.2).yT=0+1xT1+xk-1xTk-1+uT2T2+经济意义：xtj是yt的重要解说变量。代数意义：yt与xtj存在线性关系。几何意义：yt表示一个多维平面。此时yt与xti已知，j与ut未知。y11x11x1jx1k10u1y21x21x2jx2k11u2(3.3)yT(T1)1xT1xTjxTk1(Tk)k

3、1(k1)uT(T1)Y=X+u(3.4)假设条件为保证获取最优预计量，回归模型（3.4）应满足以下假设条件。假设随机偏差项ut是非自相关的，每一偏差项都满足均值为零，方差2相同且为有限值，即精选文档精选文档0100200E(u)=0=,?2Var(u)=E(uu)=I=0010假设解说变量与偏差项互相独立，即E(Xu)=0假设解说变量之间线性没关。rk(XX)=rk(X)=k此中rk()表示矩阵的秩。假设解说变量是非随机的，且当T时T1XXQ此中Q是一个有限值的非退化矩阵。最小二乘预计最小二乘(OLS)法的原理是求残差（偏差项的预计值）平方和最小。代数上是求极值问题。minS=(Y-X?)(

4、Y-X?)=YY-?XY-YX?+?XX?=YY-2?XY+?XX?(3.5)因为YX?是一个标量，因此有YX?=?。的一阶条件为：XY(1.5)S=-2XY+2XX?=0(3.6)?化简得XY=XX?因为(XX)是一个非退化矩阵（见假设），因此有?=(XX)-1XY（3.7）因为X的元素是非随机的，(XX)-1X是一个常数矩阵，则?是Y的线性组合，为线性预计量。求出?，预计的回归模型写为精选文档精选文档Y=X?(3.9)+u此中?=(?是的预计值列向量，u?=(Y-X?)称为残差列向量。因为01k1)?=Y-X?=-1-1(3.10)uY-X(XX)XY=I-X(XX)XY因此u也是Y的线性

5、组合。?的希望和方差是?E(?)=E(XX)-1XY=E(XX)-1X(X+u)=+(XX)-1XE(u)=(3.11)因为：?(XX)1XY(XX)1X(Xu)(XX)1XX(XX)1Xu(XX)1XuVar(?)=E(?)(?)=E(XX)-1XuuX(XX)-1=E(XX)-1X2IX(XX)-1=2(XX)-1(3.12)例：3.1（P113）略高斯马尔可夫定理：高斯马尔可夫定理：若前述假设条件建立，OLS预计量是最正确线性无偏预计量。?拥有无偏性。?拥有最小方差特征。?拥有一致性，渐近无偏性和渐近有效性。3.2残差的方差2et2etet(3.13)?TkTk?2是的无偏预计量，E(?

6、2)=。证明过程以下：?11YX(XX)XYIX(XX)XYeYYYX记：IX(XX)1X=P简单证明：P为相同幂矩阵，即P=P，P2=PeIX(XX)1XYIX(XX)1X(Xu)Puvar(e)E(ee)EPu(Pu)EP(uu)PPE(uu)PP(2I)PPP2P2精选文档精选文档利用矩阵迹的性质，有：et2eetr(ee)E(et2)E(ee)Etr(ee)trE(ee)trP22trItX(XX)1X2trIttrX(XX)1X2TtrIk(Tk)2的预计的方差协方差矩阵是Var(?)=?2(XX)-1的置信区间（1）所有i的联合置信区间接受F=1(-?)(XX)(-?)/s2F(k

7、,T-k)k(-?)(XX)(-?)2(k,T-k)，它是一个k维椭球。skF（2）单个i的置信区间?j=(?jj)Var(?)j(?jj)?2(XX)1t=jjt(T-k)s(?j)i=?i?2(XX)1jtk.OLS预计量的分布若uN(0,I)，则每个ut都遵从正态分布。于是有YN(X,I)因?也是u的线性组合（见公式1.7），依照（3.11）和（3.12）有N(,(XX)-1)3.3多元回归模型的检验多重确立系数（多重可决系数）Y=X?+?=?+?uYu总平方和(3.14)(3.15)(3.16)(3.17)(3.18)(3.19)(3.20)精选文档精选文档SST=T(yty)2=Ty

8、t2TT2t1t1t12ytyyt1=T2TTy2=YY-Ty2,t1yt2yt1yt此中y是yt的样本均匀数，定义为y=(T。同理，回归平方和为yt)/Tt1SSR=Ty)2=?-T2t1(y?tYYy此中y的定义同上。残差平方和为T2T?2=?SSE=?=t1utuut1(ytyt)则有以下关系存在，SST=SSR+SSER2=SSR?Ty2YYSSTYY-Ty2明显有0R2。R2，拟合优度越好。11(3.21)(3.22)(3.23)(3.24)(3.25)调整的多重确立系数当解说变量的个数增添时，平常R2不降落，而是上升。为调整因自由度减小带来的损失（增添方差的无偏预计量2et2ete

9、t，会系数的置信区间及展望精度降低），?TkTk又定义调整的多重确立系数R2以下：R2=1-SSE/(Tk)T1SSTSSR=1-T12)(3.26)SST/(T1)1(k)()T(1RTSSTk关于包括解说变量个数不一样的模型，就用调整后的确定系数。3方差分析与F检验与SST相对应，自由度T-1也被分解为两部分，（T-1）=(k-1)+(T-k)(3.27)回归均方差定义为MSR=SSR，偏差均方差定义为MSE=SSEk1Tk表1.1方差分析表方差本源平方和自由度均方回归?2k-1MSE=SSE/(k-1)SSE=YY-Ty偏差SSR=?T-kMSR=SSR/(T-k)uu精选文档精选文档总

10、和SST=YY-Ty2T-1H0:1=2=k-1=0;H1:j不全为零F=MSE=SSE/(k1)F(k-1,T-k)(3.28)MSRSSR/(Tk)设检验水平为，则检验规则是，若FF(k-1,T-k)，接受H0；若FF(k-1,T-k),拒绝H0。图3.1F检验表示图图3.2t检验表示图4t检验H0：j=0,(j=1,2,k-1),H1：j0?j?21(T-k)t=s(?j)=(XX)t(3.29)jVar()jjj鉴别规则：若ttk接受H0；若ttk拒绝H0。5、模型构造的稳固性检验：Chow检验关于多元回归模型：yt=0+1t1+2t2+k-1xtk-1txx+u我们可以获取一组大样本

11、，这组大样本C1-Cn，可能因为某一原由（时间序列的政策原由、战争；截面数据如不一样地区等），分为两组小样本：C1-Ci，Ci-Cn，关于这两组小样本，模型构造能否相同，有待检验。方步骤以下：1）、利用大样本对模型回归，得残差平方和：et22）利用两组小样本对模型分别进行回归，得残差平方和：et21、et22。3）构造统计量：Fet2et21et22/kn22k)et21et22/(n1n2F(k,n12k)4）给定明显性水平，检F分布表，得临界值f(k,n1n22k)5）判断：若F大于f(k,n1n22k)，以为方程存在明显差异，即两个样本反响的两个经济关系明显不一样，说模型构造发生了变化；

12、反之，模型构造比较稳固。精选文档精选文档例3.3（P129）略。3.4多元回归方程展望1、点展望因为E(?)=E(?0?1f1+?k-1fk-1=E（yf）yf+xx?Eyyf和E（yf）的预计值。因此yf是（f）的元偏预计值，可以作为C=(1xxx)(3.30)T+11T+12T+1k-1则T+1期被解说变量yT+1的点展望式是，yT1=C?=?0+?1xT+11+?k-1xT+1k-1(3.31)?2、E(yT+1)的置信区间展望第一求点展望式C?的抽样分布E(?1)=E(C?)=C(3.32)yTVar(?1)=Var(C?)=E(C?-C)(C?-C)yT=EC(?-)C(?-)=CE

13、(?-)(?-)C=CVar(?)C=C2(XX)-1C=2C(XX)-1C,(3.33)因为?遵从多元正态分布，因此C?也是一个多元正态分布变量，即?1=C?N(C,2-1C)(3.34)yTC(XX)构成t分布统计量以下?CCt=yT1E(yT1)=t(T-k)(3.35)sC(XX)1CsC(XX)1C置信区间C?t/2(1,T-k)sC(XX)1C(3.36)3、单个yT+1的置信区间展望yT+1值与点展望值y?T1有以下关系yT+1=yT1+uT+1(3.37)?此中uT+1是随机偏差项。因为精选文档精选文档E(yT+1)=E(yT1+uT+1)=C(3.38)?2C(XX)-1C+

14、2Var(yT+1)=Var(yT1)+Var(uT+1)=2(C(XX)-1C+1)(3.39)因为?遵从多元正态分布，因此yT+1也是一个多元正态分布变量，即yT+1N(C,2C(XX)-1C+1)与上相仿，单个yT+1的置信区间是C?t/2(T-k)sC(XX)1C1(3.40)4、展望的议论指标注意，以下6个公式中的et表示的是展望偏差，不是残差。可以在样本内、外展望。展望偏差。展望偏差定义为et=y?t-yt,t=T+1,T+2,是对单点展望偏差大小的丈量。(2)相对偏差PE(PercentageError)。?yt,t=T+1,T+2,PE=ytyt是对单点展望相对偏差大小的丈量。

15、(3)偏差均方根rmserror(RootMeanSquaredError)1T?yt)2rmserror=(ytTt1经过若干个展望值对展望成效进行综合议论。(4)绝对偏差均匀MAE(MeanAbsoluteError)MAE=1T?ytTtyt1经过若干个展望值对展望的绝对偏差进行综合议论。(5)相对偏差绝对值均匀MAPE(MeanAbsolutePercentageError)MAPE=1TT?ytytt1yt综合运用以上4种方法，经过若干个展望值对展望的相对偏差进行综合议论。精选文档精选文档以上5个式子中，?表示实质值。公式中的累加范围是用1至T表yt表示展望值，yt示的，自然也可以用

16、于样本外展望议论。3.0Forecast:YFYF?2S.E.Actual:Y2.5Forecastsample:115Includedobservations:152.0RootMeanSquaredError0.0194741.5MeanAbsoluteError0.016331MeanAbs.PercentError1.295560TheilInequalityCoefficient0.0060071.0BiasProportion0.000000VarianceProportion0.0002640.5CovarianceProportion0.9997360.012345678910

17、1112131415图3EViews只给出样本内展望议论（前三个指标对应于公式3，4，5）Theil不等系数的范围是0，13.5建模过程与应注意的问题300002500020000150001000050000GDPGDP(f)80818283848586878889909192图3.41、多元线性回归模型的计算过程1）依据样本写出以下矩阵：y11x11x1jx1k1y21x21x2jx2k1YXyT1xT1xTjxTk1(Tk)(T1)）计算XX、(XX)1、XY23）计算参数向量B的最小二乘预计?：?(XX)1XYBB?4）计算应变量向量Y的拟合值：YXB精选文档精选文档2et2ee5）计

18、算残差的预计值：?ttTkTk6）计算多重决定系数及修正后的决定系数。7）计算参数的标准差。8）计算统计量t与F的值，作参数及回归方程明显性检验。9）若模型未经过检验，则重新建立模型并重复上述过程；若经过检验，且满足模型的古典假设，则可用模型进行构造分析或经济展望等实质应用。2、建立模型应注意的问题（1）研究经济变量之间的关系要剔除物价变动要素。以上图为例，按当年价格计算，我国1992年的GDP是1980年的5.9倍，而按固定价格计算，我国1992年的GDP是1980年的2.8倍。其余从图中还可看出，1980-1992时期按名义价格计算的GDP曲线向来是上升的，而按不变价格（1980年价格）计

19、算的GDP曲线在1989年出现一次降落。可见研究经济变量应该剔除物价变动要素。（1988、1989年居民花费价格指数分别为18.8%、18%。）依照经济理论以及对详尽经济问题的深入分析初步确立解说变量。例：我国粮食产量=f（耕地面积、农机总动力、施用化肥量、农业人口等）。但依据我国当前状况，“耕地面积”不是“粮食产量”的重要解说变量。粮食产量的提升主要来自科技含量的提升。例：关于某市的食用油花费量，文革前常驻人口必定是重要解说变量。此刻则不一样，花费水平是重要解说变量，因为食用油供应方式已改变。当引用现成数据时，要注意数据的定义能否与所选定的变量定义符合。例：“农业人口”要差异是“从事农业劳动

20、的人口”还是相关于城市人口的“农业人口”。例：2002年起我国将执行新的规定划分三次家产。马上农、林、牧、副、渔服务业从原第三家产划归第一家产。经过散点图，相关系数，确立解说变量与被解说变量的详尽函数关系。（线性、非线性、没关系）精选文档精选文档图3.5（nonli8，1982-1998）（5）谨慎对待离群值（outlier）。离群值可能是正常值也可能是异常值。不可以把建立模型简单化为一个纯数学过程，目的是找寻经济规律。（欧盟对华投资和中国从欧盟进口）年INV（投资）IMPORT（进口）19912.56200023.4700019922.42970032.2900019936.71240063

21、.99000199415.3760078.75000199521.31000149.1300199627.37000113.8100199741.71000106.1500199839.78000112.200060LABOR504030201007880828486889092949698000204图3.6把5.1282错输入为51.28。过原点回归模型与非过原点回归模型对比有以下不一样点。以一元线性过原点模型，yt=1tt，为例，x+u正规方程只有一个（不是两个），(?2)ut?1xt)(-xt)=0?=2(yt-1精选文档精选文档即u?txt=0，而没有u?t=0，即残差和等于零不必定

22、建立。可决系数R2有时会得负值！原由是有时会有SSESST。为保持SSE+SSR=SST，迫使SSRt)=,P(tt)=图3.7图3.8关于多元回归模型，当解说变量的量纲不相同时，不可以在预计的回归系数之间比较大小。若要在多元回归模型中比较解说变量的相对重要性，应该对回归系数作以下变换精选文档精选文档?*=?s(xtj),j=1,2,k-1(3.41)jjs(yt)此中s(xt)和tt和yt的样本标准差。?s(y)分别表示xj*可用来直接比较大小。以二元模型为例，标准化的回归模型表示以下（标准化后不存在截距项），yty=1*xt1x1+2*xt2x2+uts(yt)s(xt1)s(xt2)双侧

23、同乘s(yt)，得(yt-y)=1*s(yt)(xt1-x1)+2*s(yt)(xt2-x2)+uts(yt)s(xt1)s(xt2)因为均值点必在回归直线上，去掉上式中由均值点构成的方程，则必有yt=1*s(yt)xt1+2*s(yt)xt2+uts(yt)s(xt1)s(xt2)因此有j*s(y)j,i=1,2,k-1,即j*=js(xtj)t=,i=1,2,k-1s(xtj)s(yt)既是(1.41)式。利用回归模型展望时，解说变量的值最好不要走开样本范围太远。原由是：依据展望公式离样本均匀值越远，展望偏差越大。以一元回归模型为例；?N(0+1F(1+1+(xFx)2yFx,T(xtx)

24、2)从公式看，当xF=x时，y?F的分布方差最小，即展望区间最小，展望精度最高。而展望点xF越远离x，y?F的分布方差越大，即展望区间越大，展望精度越差。有时，样本以外变量的关系不清楚。当样本外变量的关系与样本内变量的关系完全不一样时，在样本外展望就会发生错误。图3.10给出青铜硬度与锡含量的关系曲线。若以锡含量为0-16%为样本，求得的关系近似是线性的。当把展望点选在锡含量为16%以外时，明显这类展望会发生严重错误。因为锡含量超出16%以后，青铜的硬度急剧下精选文档精选文档降，不再依照锡含量为0-16%时的关系。图3.9yt的区间展望的变化图3.10青铜硬度与锡含量的关系121086LOG(

25、TRADE)4556065707580859095回归模型的预计结果应与经济理论或知知趣一致。如边沿花费偏向预计结果为1.5，则模型很难被接受。（产出对劳动力的弹性为负值！）残差项应非自相关（用DW检验，亦可判断虚假回归）。不然说明仍有重要解说变量被遗漏在模型以外。采纳的模型形式不当。经过对变量取对数除掉异方差。防范多重共线性。解说变量应拥有外生性，与偏差项不相关。应拥有高度概括性。若模型的各种检验及展望能力大体相同，应选择解说变量较少的一个。模型的构造稳固性要强，超样本特征要好。精选文档精选文档世界是变化的，应该随时间的推移及时更正模型。建模事例1：全国味精需求量的计量经济模型（file:1

26、c02）1依照经济理论选择影响味精需求量变化的要素依照经济理论一种商品的需求量主要取决于四个要素，即商品价格，代用品价格，花费者收入水平，花费者偏好。模型为：商品需求量=f(商品价格，代用品价格，收入水平，花费者偏好)关于特定商品尝精，当建立模型时要对上述四个要素能否作为重要解说变量逐个鉴别。商品价格：味精是一种生活常用品，当时又是一种价格较高的调味品。初步判断价格会对需求量产生影响。因此确立价格作为一个重要解说变量。代用品价格：味精是一种独到的调味品，当前尚没有代替商品。因此不考虑代用品价格这一要素。花费者收入：明显花费者收入应该是一个较重要的解说变量。偏好：因为因偏好不食味精或大批食用味精

27、的情况极少见，因此每人用量只会在小范围内颠簸，因此不把偏好作为重要解说变量，而归并入随机偏差项。分析结果，针对味精需求量只考虑两个重要解说变量，商品价格和花费者收入水平。味精需求量=f(商品价格，收入水平)2选择合适的变量（既要考虑代表性，也要考虑可能性）用销售量取代需求量。因需求量不易胸襟，味精是自由销售商品，不存在囤积现象，因此销售量可较好地代表需求量。味精商品价格即销售价格。用人均花费水平取代收入水平。因为花费水平与味精销售量关系更亲近。花费水平数据在统计年鉴上便于查找（收入水平的资料不全）。味精销售量=f(销售价格，人均花费水平)用均匀价格作为销售价格的代表变量。不一样地区和不一样品牌的味精价格是不一样样的，应取均匀价格（加权均匀最好）。取不变价格的人均花费水平：花费水平都是用当年价格计算的，应用物价指数进行修正。味精销售量=f(均匀销售价格，不变价格的花费水平)3采集样本数据（抽样检查，引用数据）精选文档精选文档从中国统计年鉴和相关部门采集样本数据(1972-1982,T=11。数据见下页。)。定义销售量为yt（吨），均匀销售价格为x1（元/公斤），不变价格的花费水平为x2（元）。相关系数表以下：均匀销售价格(x1t)不变价格的花费水平(x2t)味精销售量(yt)-0.36710.9771注：临界值r0.05(9)=0.60。4确