多元线性回归与最小二乘估计

1、多元线性回归与最小二乘估计1.假7E条件、取小二乘估计重和图斯马尔可夫7E理多元线性回归模型:yt=30+31xt1+32xt2+.+3k-1xtk-1+ut(1.1)其中yt是被解释变量(因变量)，xtj是解释变量(自变量)，ut是随机误差项，3i,i=0,1,k-1是回归参数(通常未知)。对经济问题的实际意义：yt与xtj存在线性关系，xtj,j=0,1,，k-1,是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E(yt)=多元线性回归与最小二乘估计1.假定条件、最小二乘估计量和Wj斯马尔可夫定理多元线性回归模型:yt=30+31xt1+32xt2+.+3k-x

2、tk-1+ut(1.1)其中yt是被解释变量(因变量)，xtj是解释变量(自变量)，ut是随机误差项，3i,i=0,1,k-1是回归参数(通常未知)。对经济问题的实际意义：yt与xtj存在线性关系，xtj,j=0,1,k-,1,是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E(yt)=30+31xt1+32xt2+3k-1xtk-1决定的k维空间平面。当给定一个样本(yt,xt1,xt2,，xtk-1),t=1,2,T时，上述模型表示为y1=30+31x11+32x12+3k-1x1k-1+u1,经济意义：xtj是yt的重要解释变量。Vy2=30+31x21+32

3、x22+3k-1x2k-1+u2,代数意义：yt与xtj存在线性关系。.几何意义：yt表示一个多维平面。IyT=30+31xT1+32xT2+3k-1xTk-1+uT,(1.2)xljilll沏o1Ji-1矢来1MH1Utx1x2“天与H3iS1ee3与yykkHX1X211?Tsueu67B+1k1o1F-妣b;两kE(u)=0=Var(u)=E(?u?')=o-I=oo1ONOP2°®2-o(1.4)仃2相同且(1.3)Y=X3+u,为保证得到最优估计量，回归模型(1.4)应满足如下假定条件。假定随机误差项ut是非自相关的，每一误差项都满足均值为零，方差为有限值

4、，即假定解释变量与误差项相互独立，即E(X'u)=0.假定解释变量之间线性无关。rk(XX)=rk(X)=k.其中rk()表示矩阵的秩。假定解释变量是非随机的，且当T一国时一一1_TX'X一Q.其中Q是一个有限值的非退化矩阵。最小二乘(OLS)法的原理是求残差(误差项的估计值)平方和最小。代数上是求极值问题。minS=(Y-X?)'(Y-X?)=YY-?'XY-Y'X?+?'X'X?(1.5)=Y'Y-2?'X'Y+?'X'X?.因为Y'X口是一个标量，所以有Y'XPP'X&

5、#39;Yo(1.5)的一阶条件为:化简得?S-2X'Y+2X'X?=0(1.6)XY=X'X?因为(X'X)是一个非退化矩阵(见假定)，所以有?=(X'X)-1X'Y(1.7)因为(1.5)的二阶条件?2S科？8(1.8)得到满足，所以(1.7)是(1.5)的解。因为X的元素是非随机的，(X'X)-1X是一个常数矩阵，则估计量。B是Y的线性组合，为线性求出B,估计的回归模型写为Y=X?+u?(1.9)其中？=(久*？_1)是3的估计值列向量，u?=(Y-X(?)称为残差列向量。因为?=Y-X?=Y-X(X'X)-1X'Y

6、=I-X(X'X)-1X'Y(1.10)所以U?也是Y的线性组合。底的期望和方差是E(?)=E(X'X)-1X'Y=E(X'X)-1X'(X3+u)=3+(X'X)-1X'E(u)=3Var(?)=E(?-3)(B3),=E(X'X)-1X'uu'X(X'X)-1=E(X'X)-1X'CT2IX(X'X)-1=b2(X'X)-1.(1.12)高斯一马尔可夫定理：若前述假定条件成立，OLS估计量是最佳线性无偏估计量。胃具有无偏性。P具有最小方差特性。？具有一致性，渐近无

7、偏性和渐近有效性。2 .残差的方差2s=?'?/(T-k)(1.13)s2是b2的无偏估计量，E(s2)=/oF的估计的方差协方差矩阵是Var(?)=s：(X'X)-1(1.14)3 .多重确定系数(多重可决系数)Y=X?+u?=Y?+?(1.15)总平方和一T,_、22sst=?t=1(yt-y)=yy-Ty2,(1.16)其中y是yt的样本平均数，定义为y=(?yt)/T。回归平方和为(1.17)(1.18)(1.19)(1.20)SSR=?T=1(?t-y)2=Y?'Y?-Ty2其中y的定义同上。残差平方和为T2T2sse=?t=1(yt-?t)=?t=1&

8、;=?'«?则有如下关系存在，SST=SSR+SSE2SSR«>?-Ty2R=7SSTYY-Ty2显然有0<R2<1oR21,拟合优度越好。4. 调整的多重确定系数当解释变量的个数增加时，通常R2不下降，而是上升。为调整因自由度减小带来的损失，又定义调整的多重确定系数R2如下：片(1-R2)(1.21)2SSE/(T-k).T-1、/SST-SSR、R2=1-=1-()()=1-SST/(T-1)T-kSST5. OLS估计量的分布若uN(0,b2I),则每个ut都服从正态分布。于是有YN(X3,b2I)(1.22)因？也是u的线性组合(见公式1.

9、7),依据(1.11)和(1.12)有BN(3,b2(X'X)-1)(1.23)6. 方差分析与F检验与SST相对应，自由度T-1也被分解为两部分，(T-1)=(k-1)+(T-k)(1.24)SSRSSE回归均方定义为MSR=,误差均万7E乂为MSE=k-1T-kMSRF=MSESSR/(k-1)SSE/(T-k)F(k-1,T-k)(1.25)表1.1方差分析表1回归SSR=Y?'Y?-Ty2k-1MSR=SSR/(k-1)误差SSE=?1yT-kMSE=SSE/(T-k)总和2SST=Y'Y-Ty2T-1H0：31=32=3k-1=0;H1：3j不全为零设检验水平

10、为ot,则检验规则是，若F<Fa(k-1,T-k),接受H0;若F>Fl，拒绝H0°F检验示意图t检验示意图7. t检验H。：3j=0,(j=1,2,k-1,),H1：Pj丰0t=口jVar(B)j+1二口j、S(X'X)j+1t(T-k)s(E)(1.26)判别规则：若tIwtqT*)接受H°若t>t«R)拒绝h08. 3i的置信区间(1)全部口的联合置信区间接受F=1(3-0)'(X'X)(3-0)/s2Fjk,T-k)K(3-P)'(X'X)(3邛)<s2KFk,T-K),它是一个K维椭球。(2

11、)单个3i的置信区间储=?i±vj+7sQqRj9.预测(1)点预测C=(1XT+11XT+1211,XT+1K-1)则T+1期被解释变量yT+1的点预测式是，?1书=C?=?0+?1XT+11+?K-1XT+1K-1(2)E(yT+1)的置信区间预测首先求点预测式C口的抽样分布E(?T1)=E(C?)=CVar(?T1)=Var(C?)=E(C?-C)(C?-C-)'=EC(?)C(?)'=CE(?-D(?-)'C'=CVar(?)C'=C，(X'X)-1C'=?C(X'X)-1C',因为B服从多元正态分布，所

12、以c?也是一个多元正态分布变量，即?t1=C?N(C,cC(X'X)-1C')构成t分布统计量如下?t+1-E(yT+1)Cb?-Cbt=sC(X'X)-1C'svC(X'X)-C'(1.35)置信区间C?,t：/2(1,T-K)s.,C(X'X)1C'(3)单个yT+1的置信区间预测yT+1值与点预测值+1有以下关系yT+1=?T+1+UT+1其中Ut+i是随机误差项。因为E(yT+1)=E(?t+ut+i)=C3Var(yT+1)=Var(9+1)+Var(ut+i)=02C(X'X)-1C'+g2(1.(27

13、)(1.(28)(1.(29)(1.(30)(1.(31)(1.(32)(1.(33)(1.(34)t(T-K)(1.(36)(1.(37)(1.(38)(1.(39)=b2(C(X'X)-1C'+1)因为£服从多元正态分布，所以yT+i也是一个多元正态分布变量，即yT+iN(C3,C(X'X)-1C'+1)与上相仿，单个yT+i的置信区间是C?_t：/2(T-k)s.C(X'X),C'1(1.40)计算举例：(见计量经济分析第19-27页，熟悉矩阵运算)10.预测的评价指标注意，以下6个公式中的et表示的是预测误差，不是残差。可以在样

14、本内、外预测。(1)预测误差。预测误差定义为et=弁-yt,t=T+1,T+2,(2)相对误差PE(PercentageError)。PE=yt-yt,t=T+1,T+2,yt(3)误差均方根rmserror(RootMeanSquaredError)1T2rmserror=.-?(?t-yt),Tt=1(4)绝对误差平均MAE(MeanAbsoluteError)1TMAE=?t-ytit=1(5)相对误差绝对值平均MAPE(MeanAbsolutePercentageError)贸-ytyt1TMAPE=?T?1(6)Theil系数(TheilCoefficent)jT?p-yt)2The

15、il=J1_T=,t=1,2,T,：.?t)2+Jl(yt)2,Tt=1-,Tt=1以上6个式子中，？t表示预测值，yt表示实际值。Theil的取值范围是0,1。显然在预测区间内，当其与yt完全相等时，Theil=0;当预测结果最差时，Theil=1。公式中的累加范围是用1至T表示的，当然也可以用于样本外预测评价。11.建模过程中应注意的问题30000(1)研究经济变量之间的关系要剔除物价变动因素。以上图为例，按当年价格计算，我国1992年的GDP是1980年的5.9倍，而按固定价格计算，我国1992年的GDP是1980年的2.8倍。另外从图中还可看出，1980-1992期间按名义价格计算的G

16、DP曲线一直是上升的，而按不变价格(1980年价格)计算的GDP曲线在1989年出现一次下降。可见研究经济变量应该剔除物价变动因素。(2)依照经济理论以及对具体经济问题的深入分析初步确定解释变量。例：我国粮食产量=f(耕地面积、农机总动力、施用化肥量、农业人口等)。但根据我国目前情况，“耕地面积”不是“粮食产量”的重要解释变量。粮食产量的提高主要来自科技含量的提高。例：关于某市的食用油消费量，文革前常驻人口肯定是重要解释变量。现在则不同，消费水平是重要解释变量，因为食用油供应方式已改变。(3)当引用现成数据时，要注意数据的定义是否与所选定的变量定义相符。例：“农业人口”要区别是“从事农业劳动的

17、人口”还是相对于城市人口的“农业人口”。例：2002年起我国将执行新的规定划分三次产业。即将农、林、牧、副、渔服务业从原第三产业划归第一产业。(4)通过散点图，相关系数，确定解释变量与被解释变量的具体函数关系。(线性、非线性、无关系)(5)谨慎对待异常值。不能把建立模型简单化为一个纯数学过程，目的是寻找经济规律。年INV(投资)IMPORT（进口）19912.56200023.4700019922.42970032.2900019936.71240063.99000199415.3760078.75000199521.31000149.1300i99627.37000ii3.8i00i9974

18、i.7i000i06.i500i99839.78000ii2.2000(6)过原点回归模型与非过原点回归模型相比有如下不同点。以一元线性过原点模型,yt=3ixt+ut,为例，£H=0不一定成立。原因是正规方程只有一个(不是两个)?=比(yt*ixt)(-xt)=°，即u?txt=0,而没有Eu?t=0。所以残差和等于零不一定成立。可决系数R2有时会得负值！原因是有时会有SSE>SST。为维持SSE+SSR=SST,迫使SSR<0。(7)改变变量的测量单位可能会引起回归系数值的改变，但不会影响t值。即不会影响统计检验结果。(8)回归模型给出估计结果后，首先应进行

19、F检验。F检验是对模型整体回归显著性的检验。(检验一次，H0：3i=32=3k-i=0;Hi:3j不全为零。)若F检验结果能拒绝原假设，应进一步作t检验(检3佥k-次,H0：3j=0,(j=i,2,k-,i),Hi：3j#0)。t检验是对单个解释变量的回归显著性的检验。若回归系数估计值未通过t检验，则相应解释变量应从模型中剔除。剔除该解释变量后应重新回归。按经济理论选择的变量剔出时要慎重。(9)在彳F与t检验时，不要把自由度和检验水平用错(正确查临界值表)。回归系数的t检验是双端中验，但t检验表的定义有P(|t|>t&=ot,P(t<to)=aF：(k-i,T-k)(i0)

20、对于多元回归模型，当解释变量的量纲不相同时，不能在估计的回归系数之间比较大小。若要在多元回归模型中比较解释变量的相对重要性，应该对回归系数作如下变换j=?js(xtj)s(yt)j=i,2,k-i(i.4i)其中s(xt)和s(yt)分别表示xt和yt的样本标准差。%*可用来直接比较大小。以二元模型为例，标准化的回归模型表示如下(标准化后不存在截距项)yt-ys(yt)xti-xixt2-x2i*+32*s(xti)s(xt2)+Ut*两侧同乘s(yt),得(yt-y)=3i*-s(L)(xti-xi)+32*-(百2-/2)+ut*s(yt)s(xti)s(xt2)所以有3j*s(yt)s(

21、Xtj)3j,即3j*=3js(xtj)s(yt)i=1,2,k-1既是(1.41)式。(11)利用回归模型预测时，解释变量的值最好不要离开样本范围太远。原因是根据预测公式离样本平均值越远，预测误差越大；有时，样本以外变量的关系不清楚。当样本外变量的关系与样本内变量的关系完全不同时，在样本外预测就会发生错误。图3.10给出青铜硬度与锡含量的关系曲线。若以锡含量为0-16%为样本，求得的关系近似是线性的。当把预测点选在锡含量为16%之外时，显然这种预测会发生严重错误。因为锡含量超过16%之后，青铜的硬度急剧下降，不再遵从锡含量为0-16%时的关系。12(12)回归模型的估计结果应与经济理论或常识

22、相一致。如边际消费倾向估计结果为1.5,则模型很难被接受。(13)残差项应非自相关(用DW检验，亦可判断虚假回归)。否则说明仍有重要解释变量被遗漏在模型之外。选用的模型形式不妥。(14)通过对变量取对数消除异方差。(15)避免多重共线性。(16)解释变量应具有外生性，与误差项不相关。(17)应具有高度概括性。若模型的各种检验及预测能力大致相同，应选择解释变量较少的一个。(18)模型的结构稳定性要强，超样本特性要好。(19)世界是变化的，应该随时间的推移及时修改模型。建模案例1：全国味精需求量的计量经济模型(见预测1987年第2期)1 .依据经济理论选择影响味精需求量变化的因素依据经济理论一种商

23、品的需求量主要取决于四个因素，即商品价格，代用品价格，消费者收入水平，消费者偏好。模型为：商品需求量=f（商品价格，代用品价格，收入水平，消费者偏好）对于特定商品味精，当建立模型时要对上述四个因素能否作为重要解释变量逐一鉴别。商品价格：味精是一种生活常用品，当时又是一种价格较高的调味品。初步判断价格会对需求量产生影响。所以确定价格作为一个重要解释变量。代用品价格：味精是一种独特的调味品，目前尚没有替代商品。所以不考虑代用品价格这一因素。消费者收入：显然消费者收入应该是一个较重要的解释变量。偏好：由于因偏好不食味精或大量食用味精的情形很少见，所以每人用量只会在小范围内波动，所以不把偏好作为重要解

24、释变量，而归并入随机误差项。分析结果，针对味精需求量只考虑两个重要解释变量，商品价格和消费者收入水平。味精需求量=f（商品价格，收入水平）2 .选择恰当的变量（既要考虑代表性，也要考虑可能性）用销售量代替需求量。因需求量不易度量，味精是自由销售商品，不存在囤积现象，所以销售量可较好地代表需求量。味精商品价格即销售价格。用人均消费水平代替收入水平。因为消费水平与味精销售量关系更密切。消费水平数据在统计年鉴上便于查找（收入水平的资料不全）。味精销售量=f（销售价格，人均消费水平）用平均价格作为销售价格的代表变量。不同地区和不同品牌的味精价格是不一样的，应取平均价格（加权平均最好）。取不变价格的人均

25、消费水平：消费水平都是用当年价格计算的，应用物价指数进行修正。味精销售量=f（平均销售价格，不变价格的消费水平）3 .收集样本数据（抽样调查，引用数据）从中国统计年鉴和有关部门收集样本数据（1972-1982,T=11）。定义销售量为比（吨），平均销售价格（x1t）小艾价格的消费水平(x2t)味精销售量（yt）-0.36710.9771注：临界值0.05（9）=0.60o60000平均销售价格为x1t（元/公斤），不变价格的消费水平为x2t（元）。相关系数表如下：500004000030000200001000010012014016018060000Y50000_140000_30000_工

26、20000_-*10000_.X104!11.011.211.411.611.812.012.24 .确定模型形式并估计参数(1)yt=-144680.9+6313.4x1t+690.4x2t(-3.92)(2.17)(15.32)R2=0.97,DW=1.8,t0.05(8)=2.3回归系数6313.4无显著性（x1t与x2t应该是负相关，回归系数估计值却为正，可见该估计y；=-65373.6+642.4x2t(-10.32)(13.8)问题：国=6313.4,为什么检验结果是值不可信）。剔除不显著变量x1t,再次回归,（2）R2=0.95,DW=1.5,to.05（9）=2.26?1=0?

27、量纲的变化对回归结果会造成影响吗？建模案例2:用回归方法估计纯耕地面积（见数理统计与管理1986年第6期）目前对土地的调查大多采用航空摄影，从照片上把各类资源图斑转绘到1:10000的地形图上，然后再从地形图上测绘图斑面积。在处理如何获得实际耕地面积时，关键技术难题是如何将耕地图斑中包含的田展、土坎、空隙地、宽度小于2米的路、沟、渠等面积从图斑中分离出来。因为它们在航空图片上的分辨率很低，无法直接勾绘，测算。设一个毛耕地图斑面积用S表示，其中不能耕种的面积（扣除面积）用AS表示，则扣除系数，yi=&S/S=（扣除面积）/（毛耕地图斑面积）。对于每一个图斑，知道精确的扣除系数yi,就很容

28、易根据毛耕地图斑面积S计算出纯耕地面积。现在用回归分析方法，寻找影响扣除系数变化的主要因素，从而建立关于“扣除系数”的回归模型。该论文研究的是湖南地区的耕地面积调查。湖南省属丘陵山区，地形复杂，各种地类犬牙交错，影响扣除系数的因素很多。如田展宽度、地块大小、地块坡度、空隙地、地貌类型等。通过实际调查和分析，初步确定三个主要因素，即“坡度、“地块面积”和“田展宽度”论文作者在五个县共调查了867个样本点，其中水田样本522个，旱田样本345个。具体做法是首先把867个样本数据按“坡度”分成25个等级，然后再把属于同一个等级的样本数据用加权平均的方法求出另两个因素的观测值，“平均地块面积”和“平均

29、田展宽度”。整理样本数据如下：iyiX1iX2iX3i14.235601.93000.631824.883811.49180.731237.830021.12530.97312539.4151241.06004.0721拟建摸型为，yi=-0+-1X1i+-2X2i+'3X3i+Ui利用样本得估计的回归方程yi=1.672+1.145X1i+0.608X2i+2.081X3i(7.3)(0.4)(1.85)F=221.62(F.05(3,21)=3.07,F.01(3,21)=4.87,t.05(21)=2.08,t.01(21)=2.84)统计检验结果表明X2i,X3i为非重要解释变

30、量。剔除之，用yi对X1i再次回归得,yi=3.34+1.35X1i实际的验证结果表明，用只考虑“地块坡度”计算出来的扣除系数估计“纯耕地面积”完全能满足精度要求，从而为减少野外作业强度（不必再测量“地块面积”和“田展宽度”）,迅速完成测算，提供了科学依据。+p1Xt1+&Xt2+Pk-1Xtk-1决定的k维空间平面。当给定一个样本（yt,Xt1,Xt2，Xtk-1）,t=1,2,T时，上述模型表示为y1=P0+P1X11+P2X12+Pk-y2=|.0+j：'1X21+|.;2X22+|；k-1X1k-1+Ui,1X2k-1+U2,经济意义代数意义几何意义Ut,xtj是yt的

31、重要解释变量。yt与Xtj存在线性关系。yt表示一个多维平面。(1.(2)xti已知，E|与Ut未知。、1、1X11X1jX1ky21X21X2jX2kAAA.,JiAA,-,1TX)11XT1XTjXtkY=XP+u,此时yt与(Tk)回归模型（yT=B+B1XT1+P2XT2+Pk-1XTk-1+/01Pik(k1)UiU2WT(TX)(1.(3)(1.(4)为保证得到最优估计量,假定随机误差项为有限值，即1.4）应满足如下假定条件。ut是非自相关的，每一误差项都满足均值为零，方差仃2相同且E(u)=0=Var(u)=E(?u?')=02I=假定解释变量与误差项相互独立，即E(X&

32、#39;u)=0.假定解释变量之间线性无关。rk(XX)=rk(X)=k.其中rk（）表示矩阵的秩。假定解释变量是非随机的，且当T-8时TTX'X一Q.其中Q是一个有限值的非退化矩阵。最小二乘（OLS）法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。minS=(Y-X?)'(Y-X?)=y'y-?'XY-Y'X?+?'X'X?(1.5)=Y'Y-2?'X'Y+?'X'X?.因为Y'X日是一个标量，所以有Y'X?=P'X'Y。（1.5）的一阶条件为:=

33、-2X'Y+2X'X?=0(1.6):?化简得XY=XX?因为(X'X)是一个非退化矩阵(见假定)，所以有?=(X'X)-1X'Y(1.7)因为(1.5)的二阶条件二2s金?=X”0(1.8)得到满足，所以(1.7)是(1.5)的解。因为X的元素是非随机的，(X'X)-1X是一个常数矩阵，则B是丫的线性组合，为线性估计量。求出B,估计的回归模型写为Y=X?+U?(1.9)其中B=(?0耳Pk)是P的估计值列向量，1?=(Y-XP)称为残差列向量。因为?=Y-X?=Y-X(X'X)-1X'Y=I-X(X'X)X'Y(

34、1.10)所以u?也是Y的线性组合。P的期望和方差是E(?)=E(X'X)-1X'Y=E(X'X)-1X'(X+u)=一：+(X'X)-1X'E(u)=1(1.11)Var(B)=E(P-P)(?-.=E(X'X)-1X'uu'X(X'X)-1=E(X'X)-1X'02IX(X'X)-1=02(X'X)-1.(1.12)高斯一马尔可夫定理：若前述假定条件成立，OLS估计量是最佳线性无偏估计量。白具有无偏性。P具有最小方差特性。？具有一致性，渐近无偏性和渐近有效性。2.残差的方差2s=

35、?'?/(T-k)(1.13)s2是仃的无偏估计量，E(s2)=a2P的估计的方差协方差矩阵是Var(?)=s：(X'X)-1(1.14)3.多重确定系数(多重可决系数)(1.15)Y=X?+u?=9+P总平方和T,、22SST=tj(yt-y)=Y'Y-Ty,(1.16)其中y是yt的样本平均数，定义为y=（Z：yt）/T。回归平方和为SSR="；（?ty）2=W-Ty2其中y的定义同上。残差平方和为(1.17)T_2T_2SSE=.二y(yt-yt)=二t？t(1.18)则有如下关系存在，SST=SSR+SSE(1.19)2SSRY?Y?-Ty2R=SST

36、YY-Ty2(1.20)显然有0<R2<1。R2T1,拟合优度越好。4.调整的多重确定系数当解释变量的个数增加时，通常R2不下降，而是上升。失，又定义调整的多重确定系数R2如下：为调整因自由度减小带来的损5.R2=1-SSE/(T-k).1_(Xz1)(SST-SSR)=1SST/(T-1)T-kSSTOLS估计量的分布u、N（0,a?）,则每个ut都服从正态分布。于是有E-2)(1.21)YN（X；0I）因B也是u的线性组合（见公式1.7）,依据（1.11）和（1.12）有(1.22)?、N(：c-(X'X)-1)(1.23)6.方差分析与F检验与SST相对应，自由度T-

37、1也被分解为两部分,(T-1)=(k-1)+(T-k)(1.24)回归均方定义为MSR=-SSR,误差均方定义为MSE=-SSEk-1T-k1回归SSR=Y?'.Ty2k-1MSR=SSR/(k-1)误差SSE=?'U?T-kMSE=SSE/(T-k)总和2SST=Y'Y-Ty2T-1表1.1方差分析表Ho：p1=P2=Pk-1=0;H1：Pj不全为零MSRMSESSR/(k-1)SSE/(T-k)-F(k-1,T-k)(1.25)F检验示意图t检验示意图7. t检验H0：'-j=0,(j=1,2,k-1),Hi：居丰0?js(?j)=?jaar(2)j1=?j

38、,s2(X'X)j1”t(T-k)(1.26)判别规则：若tIwtqTjk)接受Ho；若t>拒绝h08 .耳的置信区间(1)全部口的联合置信区间接受F=1(-7)'(X'X)(：-?)/s2.-F.(k,T-k)(1.27)k(P-B)'(X'X)(P-B)<s2kFqkkT-k),它是一个k维椭球。(1.28)(2)单个口的置信区间Pi=?i±Jvj韦st旗R)(1.29)9 .预测(1)点预测C=(1XT+11XT+12XT+1k-1)(1.30)则T+1期被解释变量yT+1的点预测式是，?T4t=C?=?0+?1XT+11+?

39、k-1XT+1k-1(1.31)(2)E(yT+1)的置信区间预测首先求点预测式C片的抽样分布E(yT1)=E(C?)=c(1.32)Var(?t1)=Var(C?)=E(C?-C)(C?-C：)'=EC(?)C(2-：)'=CE(?-)(？-：)'C'(1.33)=CVar(?)C'=C；立(X'X)-1C'="C(X'X)-1C',因为E服从多元正态分布，所以c0也是一个多元正态分布变量，即?T1=C?、N(Cr2c(X'X)(1.34)构成t分布统计量如下,y?Ti-e(?ti)c?-cl,t=-t

40、(T-k)s.,.C(X'X)，C's.c(X'X),C'置信区间C?_t-/2(1,T-k)S.C(X'X),C,(3)单个yT+i的置信区间预测yT+i值与点预测值有以下关系yT+1=?Th+UT+1其中UT+1是随机误差项。因为E(yT+1)=E(?T1+UT+1)=C:Var(yT+1)=Var(yT1)+Var(uT+1)=02C(X'X)-1C'+02=02(C(X'X)-1C'+1)因为F服从多元正态分布，所以yT+1也是一个多元正态分布变量，即yT+1N(C-,二2c(X'X)-1C'+1)

41、与上相仿，单个yT+1的置信区间是C?,t：/2(T-k)S.,C(X'X)C'1计算举例：(见计量经济分析第19-27页，熟悉矩阵运算)-1C)(1.35)(1.36)(1.37)(1.38)(1.39)(1.40)10 .预测的评价指标注意，以下6个公式中的et表示的是预测误差，不是残差。可以在样本内、外预测。(3)预测误差。预测误差定义为et=寅-yt,t=T+1,T+2,(4)相对误差PE(PercentageError)。yt-ytPE=-,t=T+1,T+2,yt(3)误差均方根rmserror(RootMeanSquaredError)rmserror=.二&qu

42、ot;(yt-Yt)2(4)绝对误差平均MAE(MeanAbsoluteError)I J一MAE=y?t-ytT11(5)相对误差绝对值平均MAPE(MeanAbsolutePercentageError)mape=(6)Theil系数(TheilCoefficent)户出)2Theil=一,t=1,2,T,rT(yt)2.；"t)21Tp1Tp以上6个式子中，？t表示预测值，yt表示实际值。Theil的取值范围是0,1。显然在预测区间内，当区与yt完全相等时，Theil=0;当预测结果最差时，Theil=1。公式中的累加范围是用1至T表示的，当然也可以用于样本外预测评价。II .

43、建模过程中应注意的问题(1)研究经济变量之间的关系要剔除物价变动因素。以上图为例，按当年价格计算，我国1992年的GDP是1980年的5.9倍，而按固定价格计算，我国1992年的GDP是1980年的2.8倍。另外从图中还可看出，1980-1992期间按名义价格计算的GDP曲线一直是上升的，而按不变价格(1980年价格)计算的GDP曲线在1989年出现一次下降。可见研究经济变量应该剔除物价变动因素。(2)依照经济理论以及对具体经济问题的深入分析初步确定解释变量。例：我国粮食产量=f(耕地面积、农机总动力、施用化肥量、农业人口等)。但根据我国目前情况，“耕地面积”不是“粮食产量”的重要解释变量。粮

44、食产量的提高主要来自科技含量的提高。例：关于某市的食用油消费量，文革前常驻人口肯定是重要解释变量。现在则不同，消费水平是重要解释变量，因为食用油供应方式已改变。(3)当引用现成数据时，要注意数据的定义是否与所选定的变量定义相符。例：“农业人口”要区别是“从事农业劳动的人口”还是相对于城市人口的“农业人口”。例：2002年起我国将执行新的规定划分三次产业。即将农、林、牧、副、渔服务业从原第三产业划归第一产业。(4)通过散点图，相关系数，确定解释变量与被解释变量的具体函数关系。(线性、非线性、无关系)lOOOO(nonli8)目的是寻找经济规律。年INV(投资)IMPORT(进口)19912.56

45、200023.4700019922.42970032.2900019936.71240063.99000199415.3760078.75000199521.31000149.1300199627.37000113.8100199741.71000106.1500199839.78000112.2000(6)过原点回归模型与非过原点回归模型相比有如下不同点。以一元线性过原点模型,yt=Pixt+ut,为例，£倒=0不一定成立。原因是正规方程只有一个(不是两个)(O'H2)=2(yt-?ixt)(-xt)=0,即£U?txt=0,而没有£Ut=0。所以残差和

46、等于零不一定成立。可决系数R2有时会得负值！原因是有时会有SSE>SST。为维持SSE+SSR=SST,迫使SSR<0。(7)改变变量的测量单位可能会引起回归系数值的改变，但不会影响t值。即不会影响统计检验结果。(8)回归模型给出估计结果后，首先应进行F检验。F检验是对模型整体回归显著性的检验。(检验一'次，H0：P1=鸟=Pk-1=0；H1:口不全为零。)若F检验结果能拒绝原假设，应进一步作t检验(检3k次，H0：Pj=0,(j=1,2,k-1),Hi：耳丰0)。t检验是对单个解释变量的回归显著性的检验。若回归系数估计值未通过t检验，则相应解释变量应从模型中剔除。剔除该解

47、释变量后应重新回归。按经济理论选择的变量剔出时要慎重。(9)在彳F与t检验时，不要把自由度和检验水平用错(正确查临界值表)。回归系数的t检验是双端中验，但t检验表的定义有P(|t|>崎=ot,p(t<to)=口(10)对于多元回归模型，当解释变量的量纲不相同时，不能在估计的回归系数之间比较大小。若要在多元回归模型中比较解释变量的相对重要性，应该对回归系数作如下变换?s(Xtj)?j*_?j,j_1,2,k-1s(yt)(1.41)其中s(xt)和s(yt)分别表示xt和yt的样本标准差。5*可用来直接比较大小。以二元模型为例，标准化的回归模型表示如下(标准化后不存在截距项)yt-y

48、_s(yt)两侧同乘s(yt),得1*上1+卧至m+ut*s(Xt1)s(Xt2)所以有(yt-y)=&*_见的1-又1)+22*)(玄2-X2)+ut*s(yt)s(Xt1)s(Xt2):*s(yt)Js(Xtj)耳，即耳*=耳s(Xtj),is(yt)=1,2,k-1既是(1.41)式。(11)利用回归模型预测时，解释变量的值预测公式离样本平均值越远，预测误差越大；最好不要离开样本范围太远。原因是根据有时，样本以外变量的关系不清楚。当样本0-16%时的关系。(%)3.10给出外变量的关系与样本内变量的关系完全不同时，在样本外预测就会发生错误。图青铜硬度与锡含量的关系曲线。若以锡含量

49、为0-16%为样本，求得的关系近似是线性的。当把预测点选在锡含量为16%之外时，显然这种预测会发生严重错误。因为锡含量超过16%之后，青铜的硬度急剧下降，不再遵从锡含量为(12)回归模型的估计结果应与经济理论或常识相一致。如边际消费倾向估计结果为1.5,则模型很难被接受。(13)残差项应非自相关(用DW检验，亦可判断虚假回归)。否则说明仍有重要解释变量被遗漏在模型之外。选用的模型形式不妥。(14)通过对变量取对数消除异方差。(15)避免多重共线性。(16)解释变量应具有外生性，与误差项不相关。(17)应具有高度概括性。若模型的各种检验及预测能力大致相同，应选择解释变量较少的一个。(18)模型的

50、结构稳定性要强，超样本特性要好。(19)世界是变化的，应该随时间的推移及时修改模型。建模案例1：全国味精需求量的计量经济模型(见预测1987年第2期)1 .依据经济理论选择影响味精需求量变化的因素依据经济理论一种商品的需求量主要取决于四个因素，即商品价格，代用品价格，消费者收入水平，消费者偏好。模型为：商品需求量=f(商品价格，代用品价格，收入水平，消费者偏好)对于特定商品味精，当建立模型时要对上述四个因素能否作为重要解释变量逐一鉴别。商品价格：味精是一种生活常用品，当时又是一种价格较高的调味品。初步判断价格会对需求量产生影响。所以确定价格作为一个重要解释变量。代用品价格：味精是一种独特的调味

51、品，目前尚没有替代商品。所以不考虑代用品价格这一因素。消费者收入：显然消费者收入应该是一个较重要的解释变量。偏好：由于因偏好不食味精或大量食用味精的情形很少见，所以每人用量只会在小范围内波动，所以不把偏好作为重要解释变量，而归并入随机误差项。分析结果，针对味精需求量只考虑两个重要解释变量，商品价格和消费者收入水平。味精需求量=f(商品价格，收入水平)2 .选择恰当的变量(既要考虑代表性，也要考虑可能性)用销售量代替需求量。因需求量不易度量，味精是自由销售商品，不存在囤积现象，所以销售量可较好地代表需求量。味精商品价格即销售价格。用人均消费水平代替收入水平。因为消费水平与味精销售量关系更密切。消费水平数据在统计年鉴上便于查