多元线性回归模型

1、第四章多元线性回归模型在一元线性回归模型中，解释变量只有一个。但在实际问题中，影响因变量的变量可 能不止一个，比如根据经济学理论，人们对某种商品的需求不仅受该商品市场价格的影响， 而且受其它商品价格以及人们可支配收入水平的制约；影响劳动力劳动供给意愿(用劳动参与率度量)的因素不仅包括经济形势(用失业率度量)， 而且包括劳动实际工资；根据凯恩斯的流动性偏好理论，影响人们货币需求的因素不仅包 括人们的收入水平，而且包括利率水平等。当解释变量的个数由一个扩展到两个或两个以上时，一元线性回归模型就扩展为多元线性回归模型。本章在 理论分析中以二元线性回归模型为例进行。 一、预备知识(-)相关概念对于一个

2、三变量总体，若由基础理论，变量 Xi, X2和变量y之间存在因果关 系，或xX2的变异可用来解释y的变异。为检验变量Xi,X2和变量y之间因果关系是否存 在 度量变量Xi,X2对变量y影响的强弱与显著性 以及利用解释变量X,X2去预测因变量y， 引入多元回归分析这一工具。将给定Xu, Xa条件下y的均值E (yi|X,i,X2i)-o-rX.A4.0定义为总体回归函数(Population Regression Function,PRF )。定义 yE (y汁Xii,Xz) 为误差项(errorterm )，记为，即* =yE ( y刈，x?D，这样yi=EW l的J卞剂， 或yl=<0

3、1 刈：2X2ii( 4.2 )(4.2)式称为总体回归模型或者随机总体回归函数。其中，Xi,X2称为解释变量(explanatory variable )或自变量(independent variable ) ; y 称为被解释变量(explained variable )或因变量(dependent variable );误差项二解释了因变量的变 动中不能完全被自变量所解释的部分。在总体回归模型(4.2 )中参数rI2是未知的，叫是不可观察的，统计计量分析的 目标之一就是估计模型的未知参数。给定一组随机样本(yi,Xii,X2i)5 i = 1j2,jn (4.1 ) 式进行估计，若e(&

4、quot; x，X/，°,的估 A A A A计量分别记为aro ri2，则定义(4.3)式为样本回归函数AAAA»八 o iXh ： 2X21( i = 1,2/,n)( 4.3 )AAA注意，样本回归函数随着样本的不同而不同，也就是说。，匚匕是随机变量， 它们的随机性是由于3的随机性（同一组（Xii,X2i）可能对应不同的yj、X,X2各自的变异、以及七X2之间的相关性共同引起的。定义V3为残差项（residualterm)，记为 e ,即 e = yi，这样 y = yi+ e，或(4.4)（4.4）式称为样本回归模型或者随机样本回归函数。样本回归模型中残差项e可视为

5、总体回归模型中误差项叫的估计量。（二）多元线性回归模型的矩阵表示多元线性回归模型的参数估计比一元线性回归模型要复杂得多，为了便于计算和分析，便于将结果由三变量总体推广到一般的多变量总体，引入矩阵这一工具简化计算和分 析。设（yi,Xii,X2i） ,i=12，n是取自总体的一组随机样本。在该组样本下，总体回归模 型（4.2 ）式可以写成方程组的形式yXXyXX2 = -0-1 12 -2 22Yiyn =必仆2X2111 Xn(4.5)1 Xl2yjXl2X22y2Xin利用矩阵运算，可表示为An j Xm o 以则在该组样本下，总体回归模型的矩阵表东崎乐(4.6)e/le2° =

6、Xi x2ien则样本回归模型的矩阵表示为(4.7)（三）模型假定假定1回归模型是参数线性的，并且是设定正确的假定2随机误差项与解释变量不相关。 即cov(Xji, 0L|)=O , j =1,2。如果解释变量是非随机的，则该假设自动满足。假定3零均值假定。即E(叫)=0, i =1,2，n假定4同方差假定。即var(叫)2, i =1,2, ,n假定5无自相关假定。即两个误差项之间不相关cov( 曲)=0 i = j，i =1,2 厂，n，j =1,2,n假定6解释变量Xi与X2之间不存在完全共线性，即两个解释变量之间无确切的的线性关系。假定7正态性假定。即2叫N。匚)n=1,2, ,n(四

7、)参数估计与估计量的分布系数向量：的OLS估计为A一 (XTX)j XTy(4.8 )其中，XT为X的转置矩阵。在随机误差项服从正态分布的假定下，系数向量的估计量也服从正态分布，即A1 N( 1 , ； r2(XTX)9(4.9 )记C =(XTX)J的第j个主对角元素为Cjj，贝UAj N(j； r2Cjj)(4.10 )有了系数估计量的分布，就可以对总体参数做假设检验。与双变量总体相同，A总体误差7是不可观察的，因而其方差二2是未知的。若用二2的无偏估计量二2代替二2 ,则OLS估计量服从自由度为n-3的t分布，而不是正态分布，即At(n-3)(4.11 )se(: j)2其中's

8、e( ：j)=2 5，匚 2:。n-3(五)预测原理回归分析的目的之一是利用回归模型预测因变量。假设三变量总体的回归模型为(4.2 )，即(4.2)在一组随机样本(y,Xi,X2),i =1,2, ,n下，利用OLS求得样本回归函数为(4.3 )A NNA(4.3)yj： 0j Xi2X2( i =1)给定样本外一点Xf=(1,X/X2f)T，贝u因变量yf的点预测为(4.12)y XXf311a2 2fA点预测yf的标准误为(4.13)A Ase( yf) = ； r 1 Xf(XX)Xf因变量yf的置信度为1 -：的区间预测为AA AA(4.14 )yt-tg( n-3)se(yt), y

9、AA2( n-3)se(yt) 二、案例案例1 Woody餐馆的选址分析Woody餐馆是一家价位适中、24小时营业的家庭连锁店，公司邀请你决策下一家连 锁店的选址问题你决定建立一个回归模型来解释每一家连锁餐馆的毛销售额Y(the gross sales volume )，通过文献的阅读，你认为以下变量对毛销售额的影响较大，N=竞争变量：餐馆位置半径2里以内市场直接竞争者的数量；P=人口 ：餐馆位置半径3里以内人口的数量；匚收入：餐馆位置半径3里以内家庭平均收入。并且通过调研，你获得了 33家Woody餐馆连锁店的数据。案例2经济形势和实际工资 对人们工作意愿的影响在第三章，我们根据劳动经济学理

10、论，分析了经济形势对人们工作意愿的影响存在两 种效应：受挫工人效应和增加工人效应；并且利用19802002年的数据实证了受挫工人 效应占主导地位。但根据劳动经济学理论，影响人们工作意愿的因素，除了经济形势以外，还有实际的工资 水平。从理论上说，实际工资增加对劳动供给具有两种效应：替代效应与收入效应。替代效应趋于使劳动供给增加，而收入效应则趋于使劳动供给降低，两种效应的相对影响取决于家庭的偏好(参考文献4，p49)。本案例考察实际工资对人们工作意愿是否有影响，以及在有影响的情况下，那种效应 占优。数据见表3.1。三、实验目的案例1 Woody餐馆的选址分析1、绘制丫对N P、I的散点图，并在散点

11、图中附加回归线。2、建立丫对N、P、I的线性回归模型，并定性分析解释变量N、P、I对丫的影响。3、利用样本数据及OLS法对回归模型进行估计，并报告回归结果。4、观察回归系数的显著性和方程的显著性，并解释回归系数的含义。案例2经济形势和实际工资对人们工作意愿的影响1、绘制dfpr对ahe82的散点图，并附回归线，观察城市劳动参与率与实际工资之间的 线性关系。2、建立dfpr对ahe82的一元线性回归模型，利用1980-2002年的数据估计模型，并 观察回归系数的显著性和方程的显著性。3、同时考虑经济形势与实际工资对人们工作意愿的影响，建立二元线性回归模型，利用 1980-2002年的数据估计模型

12、，观察回归系数的显著性和方程的显著性，并解释回归系数 的经济含义。4、对上面（2）与（3）中估计结果的差别进行解释。5、模型的选择问题，在以下三个模型之间，哪个模型更好呢？clfprt = ： o cunrt t（I）clfpr二：。ahe82tt（n）clfprt=： o rahe82t ： 2cu nrA-t（川）四、实验原理 五、实验步骤案例1 Woody餐馆的选址分析180.000180.000160.000140,000120.000100.000B0.000N160,000140.000120,000 100,00080.0000100.000200.000300.000P图4.1

13、 丫对NP、I的散点图180,000 1160.000 140.000120,000.100,000 80,00010.00020.00030.0001、打开Eviews工作文件Woody.wfl，按住Ctrl键，点击工作文件目录中的序列丫、N、P、I图标，点击鼠标右键，点击Open/as Group,出现包含序列丫、N、P、I的组对象窗点击组对象窗口工具栏的View按钮，选择Graph，在Spedfi选项中选择Scatter，在 Fit lines 中选择 Regression Line，在 Multiple 中选择 Multiple graphs-First vs.AII,设定完毕后点击确

14、定按钮，则出现丫对N P、I的三张散点图，点击鼠标右键，选 择Copy,将散点图复制到Word文档中，如图4-1所示。2、Y对N P、I的线性回归模型为Yi 。1 1 N i一 ： 2Pi13li（4.15）一般来说，人口越多，餐馆的毛销售额越大；人们的收入水平越高，餐馆的毛销售额 越大；竞争者的数量越多，餐馆的毛销售额越低。即P和I对丫有正的影响，N对丫有负 的影响，从而J；的预期符号为正，、的预期符号为负。图4-1散点图中回归线的斜率与理论的预期是一致的。3、在文件窗口点击object/new object,在出现的对象类型中选择equation,在 对象名中填写eq1，点击0K出现对话框

15、图4.2Equation EstimationSpeci f icat 1 on Opt 1(nuEciuat ion sued fl cationDependent variable followed by List of resressoi's 丑 nd FDL 1cAjnsj OR an eKjaliclt equalico like y c i n p|FsTiwaTi on srt tingsMethod: LS - Leas t Squiaures <NLS arid AKMA)Sample: 1 33制走l取消图4.2回归方程的设定在估计方法中选择最小二乘法，样本范

16、围填写1到30。设定完毕后点击确定。出现图4.3 EQuation: EQI Workfilt: WOOrtssionXI n vifiw Pr cic ob jeet Pr i<nt |fJArne | IPr1| For ecrtst 弓上日 氏r>ApF5nci!F?nt X/h厂 V Method: Least Squares Date 1 1/1 7/1 2 Time.Sample-1 33Included observations-1 o.so33VariableCoefficientStd Error t-StatisticProk>.c1Q2192 41837

17、O000011.2079230.5432942.3705040.0246N-9074 674-4OOOOIc0 35<iee80 072A814 9798100 0000R-squared0©181S4初 n 口 n dependent var1 ZS634 6Adjust&d R-squared0 578653S 0 dependent var22404 09S.E. of regression14642.7SAkaike info criterion22.12O7USum hqu Bro Ed0 1 3F 八DS3SSuhw ui crirt=rionNN3OS?1

18、RLog likelihood-3O 9930> lannan-Ouinn criter.22.18102F*rob(F-statisticA1 &Q 000003Our Liiiri-WiJtAori103图4.3方程估计的输出根据图4.3，报告估计结果如下Y= 102192.4 - 9074.67*N + 0,35*P + 1.29*1(2052.67)(0.073)(0.54 )t= -4,424.872.372R =0.584、从估计输出结果可知，回归系数的符号方向（正、负）和大小均与理论分析一致，t统计 量的值显示也在0.05的显著性水平下显著（这一点也可以从边际概率值

19、观察到），F统计量 的值为15.64 （相应的概率值为0.000003），表明三个 解释变量对被解释变量联合显著。多元回归系数的含义为，当其他变量（控制变量）不变时，该变量对因变量的边际影响。对于本例各系数的含义为，收入增加一个单位会使餐馆的销售收入增加1.29个单位；人口增加一个单位会使餐馆的销售收入增加0.35个单位；竞争者的数量增加一个单位将使餐馆的销售数量减少9074.67个单位。案例2经济形势和实际工资对人们工作意愿的影响在以下操作中5假设包含clfpr、ahe82和cunr三个序列的Eviews工作文 件clfpr.wfl已经存在。1、打开Eviews工作文件clfpr.wfl，建

20、立包括序列ahe82和clfpr的组对象，点击组对象窗 口工具栏的View按钮，选择Graph，在Specifi选项中选择Scatter，在Fit lines中选择 Regression Line，设定完毕后点击确定按钮，出现图4.4。 Group： UNTITLED Workfile: CLFPR-CUNR;Untit1ed 1八八 H 耳J户 rocjgtijwcfc Print 宙殆 rnpl5 sh 轻画宙 ta 词耆 pt 寸57 567.0 -66 5 -64.5 O64 0 _788 08 2AHE8263 5 - 766 0 -65 5 -65 0 -图4.4 clfpr对ah

21、e82的散点图由散点图可见，dfpr与ahe82之间存在非常弱的线性关系，回归线斜率为负，且接近 于水平线。2、建立一元线性回归模型如下：clfprt =iahe82t 7(4.16)用1980-2002年的数据估计上述模型，估计结果如图4.5所示Equation: UNTITLED Workfile:CLFPR-CUMR:UntitL r=| H)|Saj|ViewprocObject printName | Freeze Estliimate (Fore-caiStStats |Dependent Viariable CLFPR Method: Least Squares Date: 1

22、1/18/12 Time: 1 0:1 7Sample 1980 2002 Included observations 23VariableCoefficientStd. Errort-StatisticProb.AHE92 C-0 8845191 227799-0 720409O 479272.685679.4284 斗 57.7091900.0000R-Aquar&dAdjusted R-squared S.E. of regression Sum squared resid Log likelihood F-statistic Prob(F-statistic)0 024118

23、-0ean dependent var S.D.65 89565 1 168713022353 dependent var Akaike info criterion 3.254731 3.353469 1.181 703Schwarz criterion H;annan-Quinn3 2795S329 32484 -35crrter Durbin-Watson stat0.05685429400.5189890.479216图4.5 clfpr对ahe82回归的估计结果从图4.5的t统计量和概率值均可知，实际工资对劳动参与率没有显著影响，拟合优度 （0.024118）很低，调整的拟合优度更是

24、为负值，F统计量和概率值也显示方程常数项和解 释变量（ahe82）对因变量（dfpr ）的联合影响不显著。回归的结果与理论分析相悖。3、同时考虑经济形势与实际工资对人们工作意愿的影响，建立二元线性回归模型如下(4.17)clfprt = ： o rahe82t ： 2CunrA'-t利用1980-2002年的数据估计模型，估计结果如图4.6所示1 1 Equation: UNTITLED Workfile:CLFPR-CUNR:Unt1tl. ISI|AA|I View | Proc | Object PrintName | FreezeEstimateFoe 二a stStats R

25、esidsDependent Variable CLFPRMethod. Least SquaresDate： 1 1/10/12 Time1°：19Sample 1 980 2002Included observations-23VariableCoefficientStd.匚 rrort*8tatisticProbAHE82-1 410432CUNR-0 071631C80.951220.610348 0 082705 4.770337-2.310967-8 T2084516 96971 0316 ooooo0.0000R-squaredAdjusted R-squared匚一

26、of regression Sum squared resid Log likelihood F-statistic Prob(F-statistic0 7729140 7502050.5841 176 823S46-18.6622734 03611o aooooafJesn dependent var S O dependent var Akaike info criterion Schwarz criterion Hannan-Quinn ci rter.Durbin-Watson 5tat65 895651 1687131.8836762 0317841.9209240 7S7065图4.6 clfpr对ahe82和cunr回归的估计结果由图4.6中间部分的t统计量和概率值可知，解释变量ahe82和cunr均在0.05的水平上对clfpr有显著影响；调整的拟合优度为0.750205，拟合度较高；F统计量的 值为34.03611，相应的概率值为0.000000,表明ahe82和cunr对clfpr的联合影响显著。解释变量ahe82和cunr的回归系数分别为.41和0.67，它们的经济含义为，在cunr保持不变的条件下，实际小时工资增加1美元，劳动参与率降低1.41个百分点，表明实际工资对劳动供给影响的收入效应占优，即收入效应大于替